Senior NLP/LLM Engineer (Quality Evaluation / RAG
Компания Centicore💙 находится в поисках Senior NLP/LLM Engineer (Quality Evaluation / RAG).
Мы занимаемся продуктовой и платформенной разработкой под ключ для крупных заказчиков. В рамках проекта команда развивает решение автоматической оценки качества работы операторов: новые направления, модели и повышенные требования к качеству.
Формат работы: Удаленка по РФ
Вилка: 370–400k на руки (в зависимости от опыта и пожеланий кандидата)
Уровень: Middle+/Senior
- Опыт в машинном обучении и NLP от 2 лет (Middle+) / от 4 лет (Senior)
- Понимание архитектур и опыт работы с моделями GPT, BERT и аналогами
- Уверенное владение Python и ML-стеком (PyTorch, transformers) на уровне кастомных циклов обучения и инференса
- Опыт вывода NLP-моделей в прод и оптимизации (качество/латентность/стоимость)
- Опыт построения RAG-пайплайнов (retrieval, reranking, vector DB и т.д.)
- Знание основ работы с большими данными и опыт обработки (Spark, Hadoop)
- Базовые инженерные навыки: bash, git, docker
- Обучение и улучшение моделей для оценки работы операторов
- Каскадная гибридная оценка: segmentation + retrieval/RAG + rules+DL + LLM-judge, агрегирование в финальные оценки и объяснения
- Построение воспроизводимых пайплайнов
- Системно искать ошибки, формировать гипотезы, быстро проверять, доводить до прироста качества
- Разметка и данные (в связке с командой аналитики): выбор стратегии - сэмплинг, активное обучение, контроль качества разметки, сложные кейсы и гайдлайны.
- Прод: совместно с MLE/MLOPS доводить модели до прода, с командой аналитики следить за деградацией метрик, мониторинг метрик качества и дрейфа, планировать переобучение
💌 Для откликов и вопросов — писать в лс @ktvsk_d
Будем рады знакомству! ❤️
