Analytics Space : Мониторинг сырых сообщений

На данный момент самые частые проблемы это:

1. Лайв данные не приходят;

2. Данные запаздывают;

3. Не приходят переливаемые данные (из export топика).

По всем этим проблемам будет один алгоритм - спросить у Каспера. Всё будет зависеть от ответа - если знаем в чём проблема и она у нас - ждём решения (уточняем статус, если решение затянулось), если не знаем - пишем СС и спрашиваем у них. В репорте всё по киевскому времени.

Репорт для мониторинга: https://prod-uk-a.online.tableau.com/#/site/globalnet/views/KAFKAMonitor/TopicsDB

1. Данные кафки не приходят

Слева названия топиков, для каждого бренда показана дата крайнего ивента. Если горит зелёным - норм, если горит красным - плохо, а если фиолетовым - такое может быть и на это можно не обращать внимание.

Такие ситуации могут возникать и на нашей стороне, и на стороне СС. В любом случае, если видим красный квадрат на этом графике, первым делом нужно оповестить об этом Casper (Unlicensed) в kafka чате и кинуть скриншот:

Casper (Unlicensed) у нас не приходят данные топика [вставить название топика] из кафки на [вставить название бренда] , проверь, пожалуйста.

2. Данные запаздывают

Для каждого бренда на этих графиках выведено кол-во ивентов, которые пришли за текущую дату (которая сверху, сегодняшние ивенты) и за предыдущую дату (если на графике 07.10.2024, то подсчитываются ивенты за 06.10.2024, вчерашние данные). Данные за 06.10.2024 должны приходить 06.10.2024, если данные приходят через сутки - что-то не так. Немного (до 5000) вчерашних данных - это норма, но если их около 100 000 это точно проблема и график засветится красным.

Такие проблемы возникали только на нашей стороне. Это означает, что инстансы (штуки, которые берут данные у СС и кладут к нам) не успевают обрабатывать данные текущего дня и они задерживаются на следующий. Если так продлится больше 25 дней - начнем данные терять. Пишем в kafka чат и кидаем скриншот:

Casper (Unlicensed) у нас большая задержка по данным из топика [вставить название топика] кафки на [вставить название бренда] , проверь, пожалуйста, у нас нет проблем с инстансами?

3. Не приходят переливаемые данные (из export топика)

Для этого не будет графика с показателями норм/не норм, так как это ситуативные данные. И экспорт у нас может работать одновременно только на двух брендах. Если СС оповестил нас о начале перелива данных, то в ближайшее время при открытии репорта (в самом низу четыре графика для четырёх брендов) в соответствующей строке должны появиться цифры. Пример, если сегодня 11.10.2024 и в 11:00 СС оповестил о начале перелива, то в 12:00 должно быть как на картинке.

Такие проблемы могут происходить по куче причин. Если данные не приходят, делаем скрин и пишем в чат кафки:
Casper (Unlicensed) у нас не приходят переливаемые данные из export топика на [вставить название бренда], проверь, пожалуйста.

Пример текущей проблемы на Вонтеде, нам должны приходить export данные по payment топику. На графике снизу проблема видна не вооруженным взглядом.