Agent Post-Training, Computer Use Research

О позиции

Команда Agent Post-Training создаёт frontier-агентов, которых OpenAI выпускает в мире: модели для Codex, ChatGPT, API и других продуктов. Направление Computer Use специализируется на обучении моделей управлять компьютером — навигации в браузерах и на рабочем столе, использованию инструментов, выполнению длинных цепочек задач. Работа объединяет исследования, инженерию, продуктовую разработку и безопасность.

Будет плюсом

• Опыт с многоагентными системами (multi-agent coordination)
• Работа с coding-агентами или tool-using агентами
• Опыт проектирования сред для обучения с подкреплением
• Понимание alignment и safety-аспектов обучения моделей
• Опыт работы с производственными агентными системами

Условия

• Работа в команде, создающей лучшие в мире модели для управления компьютером
• Прямое влияние на возможности frontier-моделей OpenAI, попадающие в продукты миллионов пользователей
• Высокая степень самостоятельности и агентности в принятии решений
• Кросс-функциональное взаимодействие с ведущими исследователями, инженерами и продуктовыми командами
• Офис в Сан-Франциско, конкурентная компенсация (включая equity) по стандартам ведущей AI-компании
• Участие в формировании следующего поколения агентных систем ИИ

Навыки

• Machine Learning
• Reinforcement Learning
• RLHF
• RLAIF
• LLM Post-Training
• Model Evaluation
• Synthetic Data Generation
• Data Pipelines
• Python
• Distributed Systems
• MLOps
• Reward Modeling
• Agent Systems
• Computer Use Agents
• Software Engineering
• Statistics

Могут спросить на собеседовании

1. Опишите эксперимент по post-training, который вы проектировали или запускали: какую проблему поведения модели вы решали, как формулировали reward signal и какие результаты получили?
2. Как вы подошли бы к построению grader для оценки качества выполнения задачи управления компьютером (например, бронирование авиабилета через браузер)? Какие вызовы вы предвидите?
3. Как вы обнаруживаете и диагностируете регрессии в поведении модели после крупного тренировочного прогона, если нет явного метрического сигнала?
4. Какой опыт у вас есть с синтетическими данными для post-training? Как вы балансируете качество и масштаб синтетики, чтобы избежать деградации модели?
5. Представьте, что продуктовая команда сообщает: модель нестабильно выполняет многошаговые задачи в реальных браузерах, хотя бенчмарки в норме. Как бы вы структурировали исследование и что предприняли бы в первую очередь?