Agent Post-Training Research

О позиции

Команда Agent Post-Training создаёт модели, которые управляют агентами OpenAI: Codex, ChatGPT и продуктами на основе API. Команда определяет, что должны уметь агенты следующего поколения, строит обучающий сигнал, среды, оценщики и циклы обратной связи, а затем проводит эти возможности через крупные тренировочные прогоны вплоть до реальных пользователей. Работа охватывает программирование, использование инструментов, computer use, мультиагентную координацию, долгосрочное выполнение задач, следование инструкциям и откалиброванное мышление.

Будет плюсом

• Опыт работы с мультиагентными системами или computer use агентами.
• Опыт участия в крупных тренировочных прогонах (large-scale training runs).
• Понимание вопросов safety и alignment применительно к агентным системам.
• Опыт работы с production ML-инфраструктурой и её observability.
• Публикации или значимые проекты в области LLM post-training или RL для языковых моделей.

Условия

• Работа в передовой AI-компании, напрямую влияющей на frontier-модели, используемые миллионами людей.
• Высокая степень автономии: возможность владеть целыми исследовательскими направлениями и доводить их до продакшна.
• Доступ к крупнейшим в мире тренировочным инфраструктурам и данным.
• Сотрудничество с ведущими исследователями, инженерами и safety-специалистами.
• Работа над продуктами с реальным глобальным влиянием: Codex, ChatGPT, API.
• Офис в Сан-Франциско; компания декларирует равные возможности и поддержку разнообразия.

Навыки

• Machine Learning
• Reinforcement Learning
• RLHF
• RLAIF
• Large Language Models
• Post-Training
• Evaluation (ML)
• Synthetic Data Generation
• Python
• Data Pipelines
• Reward Modeling
• Multi-Agent Systems
• Software Engineering
• Systems Programming
• Statistics
• Distributed Training
• MLOps
• Experiment Design
• Coding Agents
• Tool Use (LLM)
• Computer Use (AI)

Могут спросить на собеседовании

1. Опишите, как вы подходили к разработке reward-сигнала или grader для задачи, где правильный ответ было сложно определить формально. Какие компромиссы вы принимали?
2. Как вы отличаете проблему, которую нужно решать через данные/обучение, от проблемы, которую нужно решать через изменение промпта или архитектуры? Приведите конкретный пример.
3. Расскажите о случае, когда eval, который вы создали или использовали, оказался ненадёжным или misleading. Как вы это обнаружили и что сделали?
4. Как вы обеспечиваете воспроизводимость экспериментов при работе с большими нестохастическими системами (например, при использовании frontier LLM в качестве grader или среды)?
5. Представьте, что продуктовая команда сообщает: «Модель ведёт себя плохо в задачах X». Опишите ваш процесс от этого описания до конкретного эксперимента с измеримым результатом.