Language Model Analyst - Fully Remote | Upto $20/hr Part-time

О позиции

Mercor — компания из Сан-Франциско, связывающая элитных специалистов по искусственному интеллекту с ведущими исследовательскими лабораториями. Инвесторы включают Benchmark, General Catalyst, Питера Тилья и других известных предпринимателей. Вам предстоит работать с крупными языковыми моделями, оценивать их ответы и помогать в развитии передовых AI-технологий.

Чем заниматься

• Проверка фактов с использованием общественных источников и внешних инструментов
• Генерация данных для оценки качества ответов ИИ с определением сильных сторон и областей улучшения
• Оценка качества рассуждений, ясности, тона и полноты ответов моделей
• Обеспечение соответствия ответов моделей ожидаемому поведению и системным рекомендациям

Что ждут

• Высшее образование
• Свободное владение каттхада на родном уровне
• Опыт работы с большими языковыми моделями (LLM)
• Отличные письменные навыки на английском языке
• Внимательность к деталям
• Навыки структурного аналитического мышления

Будет плюсом

• Предыдущий опыт работы с RLHF, оценкой моделей или аннотацией данных
• Опыт написания или редактирования качественного контента
• Умение сравнивать несколько выходов модели и принимать качественные решения

Условия

• Полностью удалённая работа из любой точки мира
• Гибкий график для совмещения с другими проектами
• Работа с передовыми технологиями ИИ от ведущих инвесторов Кремниевой долины
• Привлекательная почасовая оплата

Навыки

• Kannada
• English
• Large Language Models
• Fact Checking
• Data Annotation
• RLHF
• Model Evaluation
• Analytical Thinking
• Quality Assessment

Могут спросить на собеседовании

1. Как вы подходите к проверке фактов при работе с разными источниками?
2. Расскажите о вашем опыте работы с большими языковыми моделями.
3. Какие критерии вы используете для оценки качества ответа ИИ?
4. Что для вас значит быть носителем языка на естественном уровне?