AI Safety Practitioner - Fully Remote | Upto $70/hr

О позиции

Mercor связывает элитных специалистов по ИИ с ведущими лабораториями исследования искусственного интеллекта. Мы предлагаем контрактную роль в области безопасности ИИ — оценивать ответы генеративных моделей, разрабатывать критерии оценки качества и работать над улучшением выравнивания ИИ. Это возможность внести вклад в создание безопасных и ответственных систем ИИ высокого уровня.

Чем заниматься

• Оценивать ответы, сгенерированные ИИ, на предмет безопасности, фактической точности, соответствия политикам и общего качества; анализировать контент, связанный с дезинформацией, политической пропагандой, причинением вреда себе, насилием, кибербезопасностью и биобезопасностью; применять и совершенствовать критерии оценки для RLHF, SFT и бенчмаркинга безопасности ИИ; выявлять небезопасные выводы, галлюцинации модели, ошибки рассуждения и нарушения политик; предоставлять структурированную обратную связь для улучшения alignment моделей и показателей безопасности; сотрудничать с исследователями ИИ и командами безопасности над постоянными оценочными инициативами.

Что ждут

• Высшее образование (бакалавр или выше) по журналистике, коммуникациям, психологии, социологии, государственной политике, праву, биологии, химии, компьютерным наукам или смежной дисциплине; 5+ лет профессионального опыта в области безопасности ИИ, Trust & Safety, журналистики, государственной политики, научных исследований, безопасности или смежной области; отличное письменное и устное знание английского языка; развитые навыки критического мышления и аналитического рассуждения; способность последовательно оценивать нюансированные и чувствительные к политикам ситуации.

Будет плюсом

• Опыт работы с безопасностью ИИ, RLHF, SFT, Trust & Safety или оценкой ИИ; знакомство с политиками безопасности, модерацией контента или разработкой оценочных рубрик; опыт рассмотрения сложного, высокорискованного или неоднозначного контента.

Условия

• Конкурентная оплата $60–70/час (~$125k–$145k в год); полностью удалённая работа, гибкий график; сотрудничество с ведущими лабораториями ИИ; интересные задачи в быстрорастущей области безопасности ИИ; поддержка и ресурсы для завершения собеседования и процесса оценки.

Навыки

• AI Safety
• RLHF
• SFT
• Trust & Safety
• Content Moderation
• Machine Learning Evaluation
• Policy Compliance
• Natural Language Processing
• Critical Thinking
• Risk Assessment

Могут спросить на собеседовании

1. Как вы определяете безопасный vs опасный вывод модели? Приведите пример.
2. Опишите ваш подход к оценке ambiguous или спорного контента.
3. Какие факторы вы учитываете при разработке или применении оценочных рубрик?
4. Как бы вы поступили, если обнаружили ошибку в существующих политиках безопасности?
5. Опишите опыт работы с данными из деликатных областей (био-безопасность, насилие, психологический вред).