НовоеAI-конструктор резюме: правишь прямо на листе A4, а нейросеть подсказывает, что усилитьКонструктор резюме на листе A4Попробовать
JobPath
Начать бесплатно

Cohere

Member of Technical Staff, North Modelling (Evals)

  • Удалённо
  • London
  • Полная занятость
  • 95 дн. назад

Cohere ищет инженера по машинному обучению для разработки систем оценки эффективности языковых моделей в корпоративной среде. Вы будете связующим звеном между продуктовой командой и командами моделирования, создавая метрики и фидбек-лоупы, которые напрямую влияют на качество ИИ-продукта.

О позиции

North — это рабочая платформа Cohere для предприятий, обеспечивающая безопасное использование ИИ в реальных бизнес-процессах. В этой роли вы станете голосом North внутри команд моделирования: будете определять, что такое «хороший результат» для продукта, создавать системы оценки агентских рабочих процессов и преобразовывать фактическое использование в измеримые метрики. Это не чисто исследовательская или обычная продуктовая роль — это прикладная MLE-позиция с фокусом на строгие измерения, поведение моделей и реальное качество продукта.

Будет плюсом

  • Опыт с eval frameworks и бенчмарками в области NLP/LLM
  • Знание архитектур агентов и multi-agent систем
  • Понимание privacy-preserving data collection методов
  • Бэкенд разработка на Python
  • Работа с облачными ML-платформами
  • Опыт collaboration с product и customer teams

Условия

  • Еженедельный обеденный стипендиат £75/эквивалент в местной валюте
  • Полное медицинское и стоматологическое страхование, включая отдельный бюджет на ментальное здоровье
  • Взносы RRSP matching, 401K, Пенсионная схема
  • 100% компенсация отпуска по уходу за ребенком до 6 месяцев для каждого родителя
  • Ежегодные enrichment benefits: искусство и культура, фитнес/wellness, время с семьей, кредит на улучшение рабочего места
  • Образовательный стипендиат на конференции, курсы и коучинг
  • 6 недель оплачиваемого отпуска (30 рабочих дней)
  • Бюджет на переезд в другие офисы при удалённой работе + ежегодная компания offsite
  • $500 home office stipend на обустройство рабочего места

Навыки

  • Python
  • Machine Learning
  • Large Language Models
  • Model Evaluation
  • Agent Systems
  • Data Curation
  • Product Analytics
  • A/B Testing
  • API Design
  • Cloud Infrastructure

Сложность отбора

Высокий уровень сложности: требуется глубокая экспертиза в оценке ИИ-моделей, понимание агентских систем, баланс между техническим и продуктовым знанием, работа с неструктурированными качественными данными

Оценка JobPath

Зарплата по рынку

650 000 – 1 400 000 ₽ в месяц

Оценка основана на уровне Member of Technical Staff в лондонском офисе Cohere с учётом конкурентных зарплат в UK AI/ML секторе; конвертация из годовых зарплатных диапазонов £75,000–£140,000/год в ежемесячные рубли по курсу ~125₽/£

Оценка JobPath по рынку, не предложение работодателя

Могут спросить на собеседовании

  1. Как вы определяете успех для eval системы? Какие метрики вы бы использовали и почему?
  2. Опишите случай, когда ваша оценка модели показала один результат, а пользователи сообщали об обратном. Как вы действовали?
  3. Как вы балансируете скорость разработки новых evals против тщательности и репрезентативности существующих?
  4. Что делает good eval agentic workflow, который использует внешние инструменты и human feedback?
  5. Как вы объясните результаты оценки продуктовой команде без глубокого технического бэкграунда?

Прорепетировать это собеседование

Голосовой ИИ-интервьюер задаст вопросы под эту вакансию и разберёт каждый ответ.

Начать бесплатно

Сохрани похожие вакансии

Новые вакансии с такой должностью будут собираться в кабинете.

Сохранить фильтр

Перед откликом

Попробовать бесплатно

Связаться с поддержкой

Выбери, где удобнее написать