AI Safety Practitioner - Fully Remote | Upto $70/hr

О позиции

Mercor связывает элитных творческих и технических специалистов с ведущими лабораториями исследований ИИ. Мы ищем практика по безопасности ИИ для оценки ответов генеративных моделей на безопасность, фактическую точность и соответствие политикам. Вы будете работать над улучшением выравнивания и производительности безопасного искусственного интеллекта вместе с исследовательской командой.

Чем заниматься

• Оценивать ответы, сгенерированные ИИ, на предмет безопасности, фактической точности, соответствия политикам и общего качества
• Анализировать контент, связанный с дезинформацией, политической пропагандой, самоповреждением, насилием, кибербезопасностью, биобезопасностью и другими чувствительными областями
• Применять и совершенствовать критерии оценки для RLHF, SFT и бенчмаркинга безопасности ИИ
• Выявлять небезопасные выводы, галлюцинации ИИ, ошибки рассуждений и нарушения политик
• Предоставлять структурированную обратную связь для улучшения выравнивания модели и показателей безопасности
• Сотрудничать с исследователями ИИ и командами безопасности в рамках непрерывных инициатив по оценке

Что ждут

• Бакалаврская степень или выше в области журналистики, коммуникаций, психологии, социологии, общественного управления, права, биологии, химии, информатики или смежной дисциплины
• 5+ лет профессионального опыта в области безопасности ИИ, доверия и безопасности, журналистики, общественного управления, научных исследований, безопасности или смежной области
• Отличные письменные навыки английского языка, критическое мышление и аналитические способности
• Способность последовательно оценивать тонкие и чувствительные к политикам сценарии

Будет плюсом

• Опыт работы с безопасностью ИИ, RLHF, SFT, доверием и безопасностью или оценкой ИИ
• Знакомство с политиками безопасности, модерацией контента или разработкой критериев оценки
• Опыт проверки сложного контента высокого риска или неоднозначного содержания

Условия

• Полностью удалённая работа
• Контрактная позиция с гибким графиком
• Конкурентная почасовая оплата $60–$70/час
• Возможность работать с ведущими лабораториями ИИ
• Поддержка и ресурсы для успешной работы

Навыки

• AI Safety
• RLHF
• SFT
• Content Moderation
• Trust and Safety
• Policy Analysis
• Critical Thinking
• Analytical Reasoning
• Natural Language Processing

Могут спросить на собеседовании

1. Как вы определяете «безопасный» вывод ИИ и какие критерии используете при оценке?
2. Расскажите о случае, когда вы выявили ошибку или нарушение политики в контенте ИИ. Как вы поступили?
3. Как вы подходите к оценкеambiguous или спорного контента, где нет чёткого правильного ответа?
4. Какие политики или руководства по безопасности вы считаете наиболее эффективными и почему?
5. Как вы обеспечиваете согласованность своих оценок при работе с большим объёмом контента?