Software Engineer 4/5 – Model Serving Systems, AI Platform

О позиции

Команда Model Serving Systems предоставляет вычислительную платформу для почти всех AI/ML приложений Netflix — как для потребителей контента, так и для студий. Вы будете разрабатывать инфраструктуру для обслуживания AI/ML моделей на больших масштабах, включая платформу реал-тайм инференса, фундаментальные абстракции для консистентности между онлайн и офлайн системами, а также инфраструктуру для LLM и больших foundation моделей.

Чем заниматься

• Разработка и масштабирование compute infrastructure для поддержки растущих AI потребностей
• Создание платформ для обслуживания ML моделей с фокусом на высокую доступность и производительность
• Оптимизация латентности и затрат при обслуживании генеративных моделей и LLM
• Участие в end-to-end pipeline от research to production workflows
• Кросс-функциональное взаимодействие с инженерами, product менеджерами, ML инженерами и data scientists

Что ждут

• Опыт построения high-traffic distributed services для online ML model inference
• Понимание scalable model-serving решений для generative models и LLM
• Профицит в объектно-ориентированном программировании (preferably Java)
• Опыт работы с Triton Inference Server, TensorRT, Docker для деплоя ML моделей
• Знание public cloud (AWS, Azure, GCP)
• Опыт performance tuning, deployment management, capacity planning
• CS/MS degree или related field

Будет плюсом

• Опыт observability и best practices в logging
• Работа в мультидисциплинарной среде
• Готовность работать в распределённой команде across US time zones

Условия

• Конкурентоспособный годовой salary без bonus структуры
• Stock Option Program
• Comprehensive Health Plans и Mental Health support
• 401(k) Retirement Plan with employer match
• Flexible time off policy
• Family-forming benefits и Disability Programs
• Life and Serious Injury Benefits

Навыки

• Java
• Distributed Systems
• Machine Learning Operations
• Triton Inference Server
• TensorRT
• Docker
• AWS
• Azure
• GCP
• Model Serving
• LLM Infrastructure
• Performance Tuning
• High Availability

Могут спросить на собеседовании

1. Как вы подходите к проектированию системы для обслуживания тысяч ML моделей одновременно?
2. Расскажите о вашем опыте оптимизации latency в системах ML инференса
3. Какие подходы вы используете для обеспечения consistency между offline training и online serving?
4. Как вы решаете проблемы с resource utilization при масштабировании inference workload?