AI Safety Practitioner - Fully Remote | Upto $70/hr

О позиции

Mercor соединяет лучших технических специалистов с ведущими лабораториями исследований ИИ. Компания headquartered в Сан-Франциско, среди инвесторов Benchmark, General Catalyst, Питер Тиль, Адам Д'Анжело, Ларри Саммерс и Джек Дорси. Позиция полностью удалённая, возможна работа из Северной Македонии. Вы будете оценивать ответы, сгенерированные искусственным интеллектом, на безопасность, фактическую точность, соответствие политикам и общее качество. Работайте с контентами, связанными с дезинформацией, политическим влиянием, самоповреждениями, насилием, кибербезопасностью, биоинформатикой и другими чувствительными областями.

Чем заниматься

• Оценивать ответы, сгенерированные ИИ, на безопасность, фактическую точность и соответствие внутренним политикам
• Анализировать контент в чувствительных областях: дезинформация, политика, насилие, киберугрозы, биоинформатика
• Применять и уточнять оценочные критерии для RLHF, SFT и бенчмаркинга безопасности ИИ
• Выявлять небезопасные выходы модели, галлюцинации, ошибки в рассуждениях и нарушения политик
• Предоставлять структурированную обратную связь для улучшения alignment и performance моделей
• Сотрудничать с исследователями ИИ и командами безопасности над инициативами оценки

Что ждут

• Бакалавр или выше в журналистике, коммуникациях, психологии, социологии, публичной политике, праве, биологии, химии, компьютерных науках или смежной области
• 5+ лет профессионального опыта в безопасности ИИ, Trust & Safety, журналистике, публичной политике, научных исследованиях или смежных областях
• Отличные письменные навыки английского языка и критическое мышление
• Способность последовательно оценивать сложные и чувствительные к политикам ситуации
• Аналитические навыки и внимание к деталям
• Опыт работы с высокорисковым или неоднозначным контентом

Будет плюсом

• Опыт работы с безопасностью ИИ, RLHF, SFT или оценкой качества ИИ
• Знакомство с политиками безопасности, модерацией контента или разработкой оценочных рубрик
• Опыт научного или технического письма
• Понимание машинного обучения и нейронных сетей

Условия

• Конкурентная оплата: $60-70 в час (около 1 млн ₽ в месяц)
• Полностью удалённый формат работы
• Возможность работать с передовыми лабораториями ИИ
• Гибкий график
• Поддержка и ресурсы от команды
• Ежедневный обзор заявок командой

Навыки

• AI Safety
• RLHF
• SFT
• Trust & Safety
• Content Moderation
• Policy Evaluation
• Natural Language Processing
• Model Alignment
• Critical Thinking
• Risk Assessment

Могут спросить на собеседовании

1. Как вы определяете, что ответ ИИ является небезопасным или нарушает политику?
2. Опишите сложный случай с неоднозначным контентом, который вам приходилось оценивать. Как вы приняли решение?
3. Какие подходы вы используете для обеспечения consistency при долгосрочной оценке контента?
4. Как бы вы описали риски misuse генеративных моделей в sensitive domains?
5. Что для вас означает 'alignment' между моделью и человеческими ценностями?