Задачи:
- обучение собственных gpt-like языковых моделей (QWEN, LLAMA и аналоги) с нуля;
- развитие и продолжение существующих экспериментов по обучению моделей;
- работа с полным циклом: сбор и подготовка текстовых датасетов, обучение векторизатора, подготовка векторизированных версий текстов;
- инициализация и обучение моделей (в т.ч. с нуля), подбор архитектуры и гиперпараметров;
- оценка качества моделей, проведение экспериментов и итеративное улучшение результатов.
Требования:
- опыт обучения gpt-like LLM-моделей (QWEN, LLAMA и аналоги) с нуля (приоритетное требование);
- глубокое понимание процесса обучения: инициализация весов, подготовка датасетов, тренировочный пайплайн;
- опыт работы с векторизаторами и подготовкой текстовых данных;
- сильный Python и опыт с ML-фреймворками (PyTorch и др.);
- понимание distributed training и работы с GPU;
- как альтернатива: сильный опыт качественного файн-тюнинга предобученных gpt-like моделей;