baseten
Software Engineer - Inference Performance
- Удалённо
- San Francisco
- Полная занятость
- 46 дн. назад
Ищем инженера по оптимизации инференса для работы с LLM на передовой ИИ-разработки. Участвуйте в создании высокопроизводительных решений для запуска моделей в продакшене.
О позиции
Baseten работает с лидерами в области искусственного интеллекта, обеспечивая быструю и эффективную работу самых сложных AI-задач. Мы объединяем прикладные исследования, гибкую инфраструктуру и инструменты разработки для вывода продвинутых моделей в промышленное использование. Эта роль идеально подходит тем, кто хочет напрямую влиять на скорость и эффективность работы моделей клиентов.
Будет плюсом
- Опыт повышения производительности ПО для LLM
- Вклад в проекты типа vLLM/SGLang/TensorRT-LLM
- Опыт распределенного обслуживания больших моделей
- Написание GPU-ядер (CUDA, Triton, CUTLASS)
- Работа с квантованием (FP8/FP4) и специкулятивным декодированием
Условия
- Конкурентный уровень оплаты и значительный пакет опционов
- 100% покрытие медицинских, стоматологических и страховых расходов
- Гибкий график отпуска включая корпоративные праздники
- Отпуск по уходу за ребенком
- Финансовая поддержка семьи через Carrot
- Доступ к проектам стартапов в сфере ML
Навыки
- Python
- C++
- PyTorch
- TensorRT
- TensorRT-LLM
- CUDA
- Triton
- GPU Optimization
- LLM Quantization
- Speculative Decoding
- Distributed Serving
Сложность отбора
Роль требует глубокого понимания архитектуры GPU, современных техник оптимизации LLM и опыта работы с производственными системами высокого уровня нагрузки.
Оценка JobPathЗарплата по рынку
1 000 000 – 1 500 000 ₽ в месяц
Оценка основана на среднем уровне зарплат для специализированных ролей в области оптимизации LLM в Сан-Франциско. Конвертация из USD (~$220k/год) с курсом 90₽/$.
Оценка JobPath по рынку, не предложение работодателяМогут спросить на собеседовании
- Опишите ваш опыт работы с техниками оптимизации GPU-вычислений для LLM.
- Как вы подходите к профилированию производительности инференс-системы?
- Приведите пример вашего участия в открытой разработке ML-фреймворков.
- Как бы вы упростили баланс между скоростью вывода и затратами GPU?
Прорепетировать это собеседование
Голосовой ИИ-интервьюер задаст вопросы под эту вакансию и разберёт каждый ответ.
Начать бесплатноСохрани похожие вакансии
Новые вакансии с такой должностью будут собираться в кабинете.
Сохранить фильтр