Research Engineer/Research Scientist - Post Training, North Stars

О позиции

Команда Personal AGI отвечает за обучение моделей, которые разворачиваются для миллионов пользователей через ChatGPT и API. North Stars — подкоманда, которая определяет направления развития возможностей: использование инструментов, персонализация, следование инструкциям, мультиязычность и агентные сценарии. Цель — превратить ChatGPT из чат-бота в универсального персонального суперассистента и сократить разрыв между продвинутыми пользователями и широкой аудиторией.

Будет плюсом

• Опыт в области personalization, instruction following или tool-use для LLM
• Опыт работы с RLHF / reward modeling
• Публикации или вклад в открытые исследования по поведению моделей
• Понимание многоязычных и агентных сценариев

Условия

• Работа над одной из самых значимых AI-систем в мире — ChatGPT
• Гибридный формат: 3 дня в офисе в Сан-Франциско, 2 дня удалённо
• Помощь с релокацией для новых сотрудников
• Возможность формировать собственную исследовательскую повестку
• Среда с высочайшей концентрацией экспертизы в области AI/ML
• Равные возможности трудоустройства и программы разумных адаптаций

Навыки

• Python
• Machine Learning
• Deep Learning
• Large Language Models
• Reinforcement Learning from Human Feedback
• Evaluation Design
• PyTorch
• Research Engineering
• Natural Language Processing
• Reward Modeling
• Instruction Tuning
• Agents
• Distributed Training
• Data Engineering

Могут спросить на собеседовании

1. Как бы вы подошли к проектированию эвалюации для измерения улучшения instruction following в языковой модели? Какие метрики и edge cases вы бы рассмотрели?
2. Опишите случай, когда вы обнаружили неожиданное поведение модели в большом ML-коде. Как вы его диагностировали и устранили?
3. Какие подходы к reward modeling вы считаете наиболее перспективными для снижения reward hacking при RLHF?
4. Как бы вы измерили 'capability overhang' между power users и средним пользователем ChatGPT? Какие данные вам понадобятся?
5. Расскажите о своём подходе к формированию исследовательской повестки в условиях высокой неопределённости и быстро меняющихся приоритетов.