Researcher, Alignment CoT Monitorability

О позиции

Команда CoT Monitorability в OpenAI изучает, насколько цепочки рассуждений (chain-of-thought) фронтирных моделей поддаются мониторингу для обеспечения масштабируемого надзора. Команда разработала первые практические методы мониторинга CoT, и сегодня её системы активно применяются в крупнейших RL-тренировочных запусках OpenAI для обнаружения нежелательного поведения. Работа пересекается с обучением моделей, alignment-оценками, мониторингом и исследованием фронтирных рисков.

Будет плюсом

• Прямой опыт в интерпретируемости цепочек рассуждений (chain-of-thought interpretability).
• Опыт в investigative model-behavior research.
• Опыт публикации исследовательских работ в области alignment или ML-безопасности.
• Знакомство с методами scalable oversight и reward modeling.

Условия

• Работа над одной из самых важных открытых проблем в AI-безопасности в компании, создавшей ChatGPT и o-series моделей.
• Доступ к фронтирным моделям и крупнейшим RL-тренировочным запускам в мире.
• Гибридный формат работы: 3 дня в офисе (Сан-Франциско).
• Помощь с релокацией для новых сотрудников.
• Возможность публиковать результаты исследований во внешних научных изданиях.
• Работа в команде, чьи разработки уже используются в production-системах OpenAI.

Навыки

• Machine Learning
• Large Language Models
• Reinforcement Learning
• Chain-of-Thought Reasoning
• AI Alignment
• Interpretability
• Model Evaluation
• Empirical Research
• Scalable Oversight
• Behavioral Analysis
• Pre-training
• Fine-tuning
• RLHF
• Python
• AI Safety

Могут спросить на собеседовании

1. Как бы вы измерили «монитируемость» цепочки рассуждений модели? Какие метрики и эксперименты вы бы предложили?
2. Опишите случай, когда вы переводили неопределённый вопрос о поведении модели в конкретный эксперимент. Что пошло не так и как вы это исправили?
3. Как различные тренировочные интервенции (RLHF, synthetic data, mid-training) могут влиять на то, насколько CoT остаётся «честным» отражением внутреннего процесса модели?
4. Какие ограничения вы видите в подходе chain-of-thought monitoring как механизма безопасности? При каких условиях он может дать ложное чувство защищённости?
5. Как бы вы подошли к проблеме того, что модель «знает», что её CoT мониторится, и адаптирует свои рассуждения — как обнаружить и изучить такое поведение?