Machine Learning Scientist 5 - Bidding & Pacing

О позиции

Мы запускаем новую ad-supported версию платформы в ноябре 2022 года и создаём собственную экосистему ad tech мирового уровня. Наша команда Core Ads Algorithms является движущей силой искусственного интеллекта, обеспечивающего персонализацию рекламы на Netflix. Мы разрабатываем инновационные решения, основанные на данных, которые доставляют релевантные рекламные опыты членам нашей платформы и создают измеримую ценность для рекламодателей — при этом сохраняя исключительное качество и персонализацию, определяющую опыт Netflix.

Чем заниматься

• Разработка и реализация машинно-обучаемых алгоритмов bidding, оптимизирующих рекламные показатели против целей (клики, конверсии, CPA, ROAS)
• Построение, обучение и оценка алгоритмов bidding на больших объёмах продакшн-данных, обеспечение устойчивости к динамике рынка, сезонности и сдвигам распределения
• Разработка онлайн и офлайн фреймворков оценки для строгого измерения влияния алгоритмов bidding и изменений политики
• Влияние на дизайн аукционных и ценовых механизмов, обеспечивая согласованность между алгоритмами bidding, эффективностью рынка и бизнес-целями
• Сотрудничество с product-командой для определения целей bidding, ограничений и компромиссов, согласованных с продуктовыми и revenue целями
• Коммуникация технических решений, trade-offs и результатов экспериментов техническим и нетехническим стейкхолдерам

Что ждут

• Продвинутая степень (PhD или Master's) по Computer Science, Statistics, Mathematics или связанной количественной области
• Уверенное владение Python, Scala или Java
• Глубокие знания методов машинного обучения, оптимизации и анализа данных
• Опыт прототипирования и деплоя алгоритмов на больших производственных данных
• Сильный бизнес-бэкграунд и способность переводить технические результаты в бизнес-impact
• Опыт разработки bidding algorithms
• Отличные коммуникативные и коллаборативные навыки

Будет плюсом

• Опыт работы в ad tech или advertising
• Знание auction mechanisms и pricing strategies
• Опыт работы с big data processing frameworks
• Публикации в топовых ML/AI конференциях

Условия

• Конкурентная компенсация в диапазоне $500,000–$860,000 годовых (вы выбираете соотношение зарплата vs stock options ежегодно)
• Комплексные benefits включая Health Plans и Mental Health support
• Пенсионная программа 401(k) с employer match
• Stock Option Program
• Disability Programs, Health Savings и Flexible Spending Accounts
• Benefits related to family forming
• Life и Serious Injury Benefits
• Paid leave of absence programs
• 35 дней оплачиваемого time off в год (full-time hourly) или flexible time off (full-time salaried)

Навыки

• Machine Learning
• Python
• Scala
• Java
• Optimization
• Data Analysis
• Bidding Algorithms
• Auction Mechanisms
• Large-scale Data Processing
• Experimentation Frameworks
• Statistical Modeling
• Business Acumen

Могут спросить на собеседовании

1. Расскажите о вашем опыте разработки bidding или pricing алгоритмов. Какие метрики вы оптимизировали и каков был результат?
2. Как вы подходите к оценке ML-алгоритмов на production данных? Какие frameworks используете для offline и online экспериментов?
3. Приведите пример ситуации, когда ваш algorithm показал неожиданные результаты. Как вы диагностировали проблему и исправляли её?
4. Как вы объясняете сложные technical trade-offs нетехническим stakeholders? Приведите пример из прошлого опыта.
5. Как бы вы проектировали bidding algorithm с учётом seasonality и marketplace dynamics?