Analytics Space : Мониторинг чистых данных

В отличии от мониторинга сырых сообщений, для того, чтобы заметить пропажу 100 конкретных записей, нужно проводить сравнение с каким-то эталоном. В данном репорте будет отображен мониторинг основных таблиц:
1) g1-site.KAFKA_CLEAN.payments - сравниваем с бекофисными g1-site.clean.payments
2)g1-site.KAFKA_CLEAN.bonus_issue - сравниваем с бекофисными g1-site.clean.bonus_issue

В основном, если провалы присутствуют в двух этих таблицах, то они присутствуют и в остальных. На данный момент мы активно используем топики balance transactions, payments, bonus issue, freespins issue, user. Эти топики являются основными и пока мы запрашивает дозагрузки данных только по ним.

Репорт для мониторинга: https://prod-uk-a.online.tableau.com/#/site/globalnet/views/KAFKAMonitor/Cleancheck

В репорте доступно 3 фильтра:
1) BrandName - бренды, по стандарту выбраны все;
2) Monthly filter - фильтр дат для помесячных списков, по стандарту за последние 2 года;
3) Daily filter - фильтр дат для подневных списков, по стандарту за текущий месяц.

Дальше идут сами списки, они идентичны для бонусов и пейментов. Первый список помесячный, показано кол-во записей в беке, кафке и их разница, красным подсвечены месяцы, в которых данных недостает.

Подневный график такой же.

Зная каких данных нам не хватает, мы можем их запросить. Основной алгоритм такой:
1) Формируем список дней по брендам для перегрузки;
2) Просим Milany (Unlicensed) запросить эти данные у СС в kafka чате в Слаке;
3) Данные приходят в export топик датасета g1-site.KAFKA_MESSAGES для соответствующего бренда;
4) Мы проверяем данные и если чего-то не хватает, то запрашиваем снова.