Language Specialist - Fully Remote | Upto $20/hr Part-time

О позиции

Mercor — компания из Сан-Франциско, которая связывает элитных технических и творческих специалистов с ведущими исследовательскими лабораториями в области AI. Среди инвесторов компании Benchmark, General Catalyst, Питер Тиль, Адам Д'Анджело, Ларри Саммерс и Джек Дорси. Эта позиция предполагает удалённую контрактную работу по оценке и улучшению качества ответов больших языковых моделей (LLM) на двух языках: английский и телугу.

Чем заниматься

• Проводить фактчекинг с использованием надёжных публичных источников и внешних инструментов
• Генерировать качественные данные для оценки ИИ, выявляя сильные стороны ответов, зоны улучшения и фактические неточности
• Оценивать качество рассуждений, ясность, тон и полноту ответов модели
• Обеспечивать соответствие ответов модели ожидаемому поведению в диалоге и системным гайдлайнам
• Независимо работать асинхронно, соблюдая дедлайны и улучшая производительность AI-моделей

Что ждут

• Высшее образование (Bachelor's degree)
• Родной язык телугу
• Значительный опыт использования больших языковых моделей (LLM)
• Отличные навыки письма на английском языке
• Внимание к деталям
• Опыт или знания в областях, требующих структурированного аналитического мышления

Будет плюсом

• Предварительный опыт с RLHF, оценкой моделей или работой по разметке данных
• Опыт написания или редактирования высококачественного текстового контента
• Опыт сравнения множественных выходов моделей и принятия детализированных качественных решений

Условия

• Удалённая работа из любой точки Австралии
• Гибкий график (part-time position)
• Работа с ведущими AI Research Lab проектами
• Конкурентная почасовая оплата ($15–20/час)
• Возможность улучшить свои навыки работы с LLM и ML-технологиями

Навыки

• Natural Language Processing
• Large Language Models
• AI Evaluation
• RLHF
• Data Annotation
• Fact Checking
• Analytical Thinking
• English
• Telugu

Могут спросить на собеседовании

1. How would you approach fact-checking an AI-generated response when no single authoritative source provides the answer?
2. Describe a situation where you identified factual inaccuracies in technical or domain-specific content. How did you resolve it?
3. What factors do you consider most important when evaluating the quality of a conversational AI response?
4. How do you handle subjective judgments when comparing multiple AI outputs?