baseten
Base Labs Research Scientist - RL Environments
- Удалённо
- San Francisco
- Полная занятость
- сегодня
Исследователь в области подкрепляющего обучения для создания и калибровки RL-среды. Исследуйте как модели учатся, проектируйте задачи и вознаграждения, проводите эксперименты — формируйте открытые стандарты для оценки агентов ИИ в Baseten.
О позиции
Base Labs — исследовательская лаборатория компании Baseten, которая специализируется на создании открытых сред и изучении того, как модели обучаются в них. Вы будете работать над задачами распределения, взаимодействий, вознаграждений и верификаторов, развивать методы масштабирования создания сред без потери качества. Ваша работа напрямую повлияет на обучение моделей и разработку инструментов для индустрии машинного обучения.
Чем заниматься
- Выявлять способности и режимы отказов, достойные изучения, опираясь на реальное использование моделей — включая разработку ПО, использование инструментов, научное рассуждение и выполнение сложных инструкций
- Проектировать распределения задач, взаимодействия, вознаграждения и верификаторы; устанавливать, что задачи решаемы и успех зависит от предполагаемой способности
- Разрабатывать методы масштабирования создания окружений без снижения стандарта качества; изучать генерацию разнообразных задач, калибровку сложности и обнаружение дефектов
- Проводить RL-эксперименты для измерения обучения и переноса; сравнивать учебные планы, смеси задач и конструкции вознаграждений
- Разрабатывать методы оценки, различающие разницу в способностях от шума выборки, ошибок грейдеров или артефактов инструмента агента
- Работать с исследователями безопасности на средах, выявляющих взлом вознаграждения и misalignment, тестировать способы обучения более надёжному поведению
- Публиковать среды, датасеты, рецепты обучения и результаты исследований, чтобы другие команды могли их использовать
Что ждут
- Глубокие знания в области подкреплённого обучения (reinforcement learning), оценки моделей, систем агентов, синтетических данных или экспериментальной методологии
- Умение писать код для создания сред, проведения экспериментов и детального анализа неудач
- Способность выбирать полезные исследовательские вопросы, проектировать информативные эксперименты и аккуратно анализировать результаты
- Коммуникативные навыки для работы с research engineers, applied researchers и командой Base Labs
Будет плюсом
- Опыт с обучением LLM
- Опыт создания инструментов, которые используют другие исследователи
- Публикации или открытый исходный код
- Фон PhD или предыдущая роль Research Scientist (не требуется, но приветствуется)
Условия
- Конкурентоспособная компенсация и значительная доля компании
- Покрытие 100% медицинских, стоматологических и зрительных страховок для сотрудника и зависимых лиц
- Гибкая политика оплачиваемого отпуска (PTO)
- Оплачиваемый отпуск по рождению ребёнка
- Ассигнования на фертильность и построение семьи через Carrot
- Софинансируемый работодателем план 401(k)
- Возможности нетворкинга и обучения с различными ML-стартапами
Навыки
- Python
- PyTorch
- Reinforcement Learning
- Machine Learning
- Experimental Design
- Model Evaluation
- Agent Systems
- Neural Networks
- Data Analysis
- Scientific Writing
Сложность отбора
Роль требует глубокой экспертизы в RL и машинном обучении, навыков независимой исследовательской работы, а также умения коммуницировать результаты и работать в кросс-функциональной команде.
Оценка JobPathЗарплата по рынку
1 200 000 – 2 200 000 ₽ в месяц
Оценка для Research Scientist уровня в сфере AI/ML в Сан-Франциско; реальный пакет может включать значительную долю в компании
Оценка JobPath по рынку, не предложение работодателяМогут спросить на собеседовании
- Как вы определяете, что задача в RL-среде действительно измеряет целевую способность, а не случайные паттерны?
- Опишите пример из вашего опыта, когда вы обнаружили и диагностировали неожиданное поведение в RL-эксперименте
- Как вы балансировали бы сложность среды при масштабировании на тысячи задач?
- Какие метрики вы используете для оценки переносимости обученной модели на новые задачи?
- Как бы вы оценили безопасность среды и риск reward hacking?
Прорепетировать это собеседование
Голосовой ИИ-интервьюер задаст вопросы под эту вакансию и разберёт каждый ответ.
Начать бесплатноСохрани похожие вакансии
Новые вакансии с такой должностью будут собираться в кабинете.
Сохранить фильтр