Analytical Evaluator - AI Feedback

О позиции

Mercor — это платформа, объединяющая элитных специалистов технического и творческого направления с ведущими лабораториями по исследованию ИИ. Компания базируется в Сан-Франциско и привлекает внимание таких инвесторов, как Benchmark, General Catalyst, Питер Тиль, Адам Д'Анджело, Ларри Саммерс и Джек Дорси. Эта позиция позволяет внести реальный вклад в совершенствование искусственного интеллекта и работу с передовыми моделями машинного обучения.

Чем заниматься

• Оценивать ответы, сгенерированные нейросетями, для улучшения качества рассуждений и строгости выходов моделей
• Предоставлять структурированные письменные комментарии для повышения качества тренировочных данных и производительности модели
• Разрабатывать ясные, точные и хорошо обоснованные письменные объяснения, выходящие за рамки поверхностных наблюдений
• Обеспечивать последовательную и честную оценку, включая критические оценки там, где это уместно
• Работать самостоятельно в асинхронном режиме с соблюдением дедлайнов

Что ждут

• Высшее образование (бакалавр) в одном из ведущих вузов мира — топ-500 глобального рейтинга желательно
• Сильные аналитические навыки и способности к письменной коммуникации
• Умение работать независимо и следовать детальным инструкциям к задачам
• Навыки критического чтения с умением выявлять нюансы, неявный смысл и пробелы в логике
• Родной уровень владения английским языком обязателен

Условия

• Гибкий удалённый формат работы
• Конкурентная оплата $70 в час
• Возможность влиять на развитие передовых технологий ИИ
• Работа в команде с экспертами мировой квалификации
• Асинхронный график работы с чёткими дедлайнами

Навыки

• analytical thinking
• written communication
• critical reading
• data quality assessment
• AI model evaluation

Могут спросить на собеседовании

1. Приведите пример ситуации, когда вы оценивали сложные текстовые материалы и должны были выявить скрытые пробелы в логике или аргументации.
2. Как вы подходите к обеспечению последовательности оценок при выполнении большого объёма однотипных задач?
3. Опишите случай, когда вам пришлось работать с подробными инструкциями, требующими строгого соблюдения методологии.