Data Platform Lead Engineer

Описание проекта:

• Развитие и сопровождение системы класса CDP (Customer Data Platform);
• Объединение данных из 20+ источников в единую «Карточку клиента» с обеспечением требований Business Critical;
• Система включает компоненты online профиля клиента (streaming processing) и offline профиль клиента (batch processing);
• Выходным продуктом системы являются данные по клиентам, готовые для использования в бизнес-процессах.

Чем предстоит заниматься:

• Проектировать архитектуру системы (Online и Offline профиль клиента) и её компоненты, определять стек технологий, оформлять архитектурные решения (ADR);
• Принимать ключевые решения по модели данных, хранению историчности (SCD), обеспечению качества и непрерывной поставки данных;
• Разрабатывать архитектуру интеграционного слоя системы с 20+ системами-источниками;
• Обеспечивать соответствие требований системы категории Business Critical;
• Управлять жизненным циклом разработки (SDLC);
• Формировать стратегию развития проекта на горизонте нескольких лет;
• Выстраивать процессы CI/CD, а также системы мониторинга и логирования на уровне всей системы, формировать процессы управления инцидентами;
• Управлять командой разработки, бэклогом, рисками;
• Коммуницировать с представителями бизнеса.

Наши ожидания:

• Опыт работы от 5 лет в инженерных ролях с данными, из них 2+ года в роли TechLead/TeamLead с реальной ответственностью за команду и систему;
• Практический опыт разработки CDP/MDM/GoldenRecord/Customer360 уровня Business Critical;
• Опыт и экспертиза в разработке Streaming-систем на базе Kafka, Flink/Spark/Java;
• Опыт проектирования высоконагруженных API (REST, GraphQL);
• Уверенное владение Java, практическое понимание Python и Airflow, а также опыт работы с СУБД SQL/NoSQL (PostgreSQL, ClickHouse, Redis);
• Практическое понимание и конфигурация CI/CD, мониторинга, логирования;
• Приветствуется навык работы с ИИ-инструментами для оптимизации процессов разработки и аналитики.

Наш стек:

• Java — основной язык для потоковой (streaming) обработки и интеграционного слоя;
• Python — основной язык для DAGs Airflow (оркестрация батч-потоков, DQ-пайплайны);
• Стриминг: Kafka;
• Оркестрация: Airflow;
• Основные СУБД: PostgreSQL, ClickHouse, Redis;
• Интеграционный слой: REST, GraphQL.

Мы предлагаем:

• Работу среди профессионалов финансового рынка;
• Насыщенную корпоративную жизнь;
• Возможность карьерного роста и профессионального развития;
• Стабильный конкурентный доход;
• Оформление согласно ТК РФ;
• Комфортный офис в центре (м. Проспект Мира);
• График работы 5/2 с 9:30 до 18:00, удаленный формат работы;
• ДМС, корпоративные скидки и предложения для сотрудников.