Machine Learning Engineer, Core Experimentation

О позиции

Команда Statsig отвечает за системы экспериментирования, управления фичами и аналитики, которые помогают OpenAI быстро и безопасно выпускать продукты. Это роль 0-to-1, где вы создадите production-системы от прототипа до промышленного внедрения. Вы будете соединять ML-моделирование, LLM, статистические методы и симуляции для генерации evidence-backed инсайтов, которые команды используют для принятия решений о тестировании гипотез. Работаете в тесной коллаборации с командами ChatGPT, Codex, Consumer Products, Growth и Developer Products.

Будет плюсом

• Опыт работы с A/B testing платформами или experimentation infrastructure
• Знание causal inference методов (CUPED, uplift modelling, Bayesian approaches)
• Опыт работы с LLM-based systems и RAG pipeline
• Фонд в области statistic methodology и experimental design
• Понимание privacy-preserving ML и differential privacy concepts
• Опыт collaboration с distributed teams и stakeholders
• Interest в safety-aligned AI development и responsible experimentation

Условия

• Работа в команде, которая строит core infrastructure для всех продуктов OpenAI
• Возможность построить ML-систему с нуля (0-to-1 role) с прямым impact на продуктовые решения
• Tight collaboration с топ-product и research командами в ChatGPT, Codex и других направлениях
• Высокие бары качества production ML — техническое лидерство и raise the bar across platform
• In-person collaboration culture в Bellevue office с emphasis на urgency, craft и impact
• Возможность работать с уникальными данными и product surface area OpenAI
• Эксклюзивный доступ к cutting-edge ML и AI research environment
• Competitive compensation package + equity в компании-лидере AI-industry

Навыки

• Python
• Machine Learning
• Statistical Modeling
• Causal Inference
• Experiment Design
• A/B Testing
• LLM
• Retrieval Systems
• Data Pipelines
• Feature Engineering
• Model Evaluation
• Simulation
• Deep Learning
• SQL
• Backend Development

Могут спросить на собеседовании

1. Расскажите о проекте 0-to-1, который вы вели с конца до начала, где метрики успеха определялись качеством реальных бизнес-решений, а не только offline model metrics.
2. Как вы подходите к отделению корреляции от каузальности в ML моделях? Опишите пример, когда вы применяли causal inference в production.
3. Опишите вашу философию calibración и uncertainty quantification в ML системах. Как вы делаете эти понятия частью product requirements?
4. Приведите пример, как вы строили pipeline от сырых данных до production ML-сервиса. С какими проблемами data quality вы столкнулись?
5. Как вы оцениваете success системы predictive experimentation перед запуском живого эксперимента? Какие offline benchmarks важны?