Инженер данных в команду распознавания окружения

О команде:

Команда распознавания окружения решает задачи обучения нейронных сетей для распознавания в самых разных сценариях. Мы твёрдо знаем: создать эффективный нейросетевой алгоритм без качественных данных невозможно. Именно поэтому мы строим собственную инфраструктуру для подготовки, обработки и интеграции данных во фреймворки обучения моделей распознавания.

В нашу команды мы ищем специалиста, который хорошо знаком с устройством нейронных сетей и понимает реальные потребности инженеров в области глубокого обучения — ведь именно с ними предстоит тесно взаимодействовать. Нам нужен человек, который поможет разрабатывать пайплайны подготовки данных, заниматься их предобработкой и сбором. Работа предполагает взаимодействие с большими объёмами технических данных, использование различных сервисов для работы с ними и написание алгоритмов обработки на Python.

Чем предстоит заниматься:

• Проектирование и разработка пайплайнов для сборки, обработки и доставки данных;
• Подготовка и форматирование данных для обучения нейросетевых моделей с учётом требований инженеров в области глубокого обучения;
• Создание инструментов для эффективной работы с данными;
• Построение систем мониторинга данных и контроля процессов их обработки.

Что мы ждем от кандидата:

• Разработка на языке Python, хорошее знание SQL (на уровне джойнов);
• Опыт работы со Spark;
• Опыт обработки данных с использованием Python (Pandas/Polars);
• Опыт работы с задачами поддержки команд машинного/глубокого обучение.

Будет плюсом:

• Опыт работы с Clickhouse;
• Опыт работы с данными для компьютерного зрения;
• Опыт работы с Dagster.