Cohere
Member of Technical Staff, North Modelling (Evals)
- Удалённо
- London
- Полная занятость
- 95 дн. назад
Cohere ищет инженера по машинному обучению для разработки систем оценки эффективности языковых моделей в корпоративной среде. Вы будете связующим звеном между продуктовой командой и командами моделирования, создавая метрики и фидбек-лоупы, которые напрямую влияют на качество ИИ-продукта.
О позиции
North — это рабочая платформа Cohere для предприятий, обеспечивающая безопасное использование ИИ в реальных бизнес-процессах. В этой роли вы станете голосом North внутри команд моделирования: будете определять, что такое «хороший результат» для продукта, создавать системы оценки агентских рабочих процессов и преобразовывать фактическое использование в измеримые метрики. Это не чисто исследовательская или обычная продуктовая роль — это прикладная MLE-позиция с фокусом на строгие измерения, поведение моделей и реальное качество продукта.
Будет плюсом
- Опыт с eval frameworks и бенчмарками в области NLP/LLM
- Знание архитектур агентов и multi-agent систем
- Понимание privacy-preserving data collection методов
- Бэкенд разработка на Python
- Работа с облачными ML-платформами
- Опыт collaboration с product и customer teams
Условия
- Еженедельный обеденный стипендиат £75/эквивалент в местной валюте
- Полное медицинское и стоматологическое страхование, включая отдельный бюджет на ментальное здоровье
- Взносы RRSP matching, 401K, Пенсионная схема
- 100% компенсация отпуска по уходу за ребенком до 6 месяцев для каждого родителя
- Ежегодные enrichment benefits: искусство и культура, фитнес/wellness, время с семьей, кредит на улучшение рабочего места
- Образовательный стипендиат на конференции, курсы и коучинг
- 6 недель оплачиваемого отпуска (30 рабочих дней)
- Бюджет на переезд в другие офисы при удалённой работе + ежегодная компания offsite
- $500 home office stipend на обустройство рабочего места
Навыки
- Python
- Machine Learning
- Large Language Models
- Model Evaluation
- Agent Systems
- Data Curation
- Product Analytics
- A/B Testing
- API Design
- Cloud Infrastructure
Сложность отбора
Высокий уровень сложности: требуется глубокая экспертиза в оценке ИИ-моделей, понимание агентских систем, баланс между техническим и продуктовым знанием, работа с неструктурированными качественными данными
Оценка JobPathЗарплата по рынку
650 000 – 1 400 000 ₽ в месяц
Оценка основана на уровне Member of Technical Staff в лондонском офисе Cohere с учётом конкурентных зарплат в UK AI/ML секторе; конвертация из годовых зарплатных диапазонов £75,000–£140,000/год в ежемесячные рубли по курсу ~125₽/£
Оценка JobPath по рынку, не предложение работодателяМогут спросить на собеседовании
- Как вы определяете успех для eval системы? Какие метрики вы бы использовали и почему?
- Опишите случай, когда ваша оценка модели показала один результат, а пользователи сообщали об обратном. Как вы действовали?
- Как вы балансируете скорость разработки новых evals против тщательности и репрезентативности существующих?
- Что делает good eval agentic workflow, который использует внешние инструменты и human feedback?
- Как вы объясните результаты оценки продуктовой команде без глубокого технического бэкграунда?
Прорепетировать это собеседование
Голосовой ИИ-интервьюер задаст вопросы под эту вакансию и разберёт каждый ответ.
Начать бесплатноСохрани похожие вакансии
Новые вакансии с такой должностью будут собираться в кабинете.
Сохранить фильтр