Data Engineer

Описание проекта и команды
Команда занимается развитием внутренней аналитической платформы банка - её ключевая задача заключается в повышении скорости и надежности работы с данными. Суть проекта — переход с зарубежного решения Power BI на отечественный DataLens.

Обязательные требования
- Опыт с СУБД ClickHouse - создание и оптимизация витрин данных;
- Умение оптимизировать сложные SQL-запросы и диагностировать проблемы производительности (включая анализ системных таблиц и работу с планировщиком запросов);
- Опыт работы с инструментами визуализации данных — DataLens или Power BI;
- Опыт с инструментами оркестрации (Airflow) и трансформации данных (dbt, Zeppelin).
- Понимание методологий моделирования данных и опыт создания витрин;
- Умение создавать и вести базы знаний (документировать решения и процессы);
- Опыт в миграции больших массивов отчётов из Power BI/Tableau в другие аналитические экосистемы (будет являться преимуществом);
- Умение объяснять сложные технические ограничения («почему нельзя так писать запрос») простым и доступным языком для продуктовых аналитиков и представителей бизнеса;
- Продуктовое мышление — способность не просто переносить данные, а создавать удобные и быстрые решения для конечного пользователя; - Проактивность — способность самостоятельно выявлять потенциальные проблемы в процессах миграции и предлагать решения до возникновения инцидентов.
- Клиентоориентированность — навык прямого взаимодействия с потребителями данных (доменами), умение внимательно слушать их потребности и оперативно решать возникающие.

Задачи на проекте
- Миграция и подготовка данных (основной пул задач):
- Изучение внутреннего обучающего курса по работе с ClickHouse и DataLens в оперативном режиме;
- Анализ источников данных и инвентаризация существующих отчётов Power BI.
- Проектирование и создание витрин данных (Data Marts) в ClickHouse, оптимизированных для запросов из DataLens;
- Миграция отчёта Power BI в DataLens «под ключ», включающая согласование с владельцами домена и сохранение ключевых метрик;
- Оптимизация отчётов под конкретные бизнес-запросы доменов.
- Техническая поддержка и оптимизация
- Решение инцидентов производительности перенесённых отчётов (включая диагностику и устранение причин медленных запросов);
- Консультирование и менторство в рамках комьюнити Data Lens (более 150 пользователей), а также обогащение базы знаний по работе с Data Lens;
- Проведение воркшопов и написание методических гайдов: «Как мигрировать отчёт», «Лучшие практики SQL для ClickHouse», «Антипаттерны в витринах»;
- Контроль качества создаваемых витрин, включающий проверку на соответствие требованиям (по метрикам, объёму данных, типам связей).