baseten
Software Engineer - Inference Platform
- Удалённо
- San Francisco
- Полная занятость
- 46 дн. назад
Baseten ищет инженера платформы инференса для разработки распределённой инфраструктуры запуска крупных языковых моделей. Команда работает на стыке системного программирования, ML-инфраструктуры и продуктовых решений для deployment моделей в продакшене.
О позиции
Компания Baseten строит критически важную платформу для инференса ИИ-моделей. Мы объединяем прикладные исследования, гибкую инфраструктуру и инструменты для разработчиков, позволяя компаниям выводить передовые модели в производство. Платформа обеспечивает развертывание и эксплуатацию моделей с лидерскими показателями производительности, масштабируемости и надёжности.
Будет плюсом
- Опыт работы с LLM inference engines и фреймворками: vLLM, SGLang, TensorRT-LLM, TGI, Dynamo
- Глубокий опыт работы с Kubernetes: operators, custom resources, service meshes, API gateways
- Опыт distributed scheduling, autoscaling или service orchestration
- Производственный опыт работы с GPU workloads
- Бэкграунд в developer-facing инфраструктуре или API, вклад в open-source инфраструктуру или ML-системы
- Знание observability tooling, CI/CD систем, release automation
Условия
- Конкурентная компенсация с значимой equity
- 100% покрытие medical, dental и vision insurance для сотрудника и зависимых
- Гибкая PTO policy включая Winter Break (офисы закрыты с Рождества до Нового года)
- Paid parental leave
- Fertility and family-building stipend через Carrot
- 401(k) через компанию
- Доступ к разнообразным ML-стартапам с unparalleled learning и networking opportunities
Навыки
- Kubernetes
- Distributed Systems
- API Design
- System Design
- Performance Optimization
- Go
- Python
- gRPC
- Prometheus
- OpenTelemetry
- Load Balancing
- GPU Computing
- Cloud Infrastructure
- CI/CD
Сложность отбора
Требуется глубокая экспертиза в distributed systems, Kubernetes и backend-инженерии уровня Senior/Mid-Senior с реальным опытом production deployments
Оценка JobPathЗарплата по рынку
1 100 000 – 1 500 000 ₽ в месяц
Оценка основана на рыночных данных для Distributed Systems Engineers в SF Bay Area для уровня Mid-Senior в Series F+ стартапах. Конвертация из диапазона $115k-$160k годовых в месячный рублёвый эквивалент (~95 RUB/USD курс)
Оценка JobPath по рынку, не предложение работодателяМогут спросить на собеседовании
- Расскажите о самом сложном инциденте с производительностью или надёжностью, который вы разбирали в production-системе. Какие были root causes и какие меры предприняли?
- Как бы вы спроектировали систему автоматического масштабирования для LLM инференса в условиях переменного трафика? Какие метрики используете и как избегаете over-provisioning?
- Приведите пример, когда вам пришлось найти баланс между performance, reliability и developer experience в вашем дизайне системы. Как приняли решение?
- Какой у вас опыт с GPU workloads и оптимизацией под них? Какие подходы к profiling и tuning вы применяли?
- Опишите вашу методологию внедрения observability в проект. Какие инструменты использовали и какие best practices установили?
Прорепетировать это собеседование
Голосовой ИИ-интервьюер задаст вопросы под эту вакансию и разберёт каждый ответ.
Начать бесплатноСохрани похожие вакансии
Новые вакансии с такой должностью будут собираться в кабинете.
Сохранить фильтр