AI Safety Specialist - Fully Remote | Upto $70/hr

О позиции

Mercor — компания из Сан-Франциско, которая соединяет выдающихся креативных и технических специалистов с ведущими лабораториями по исследованию искусственного интеллекта. Среди инвесторов компании Benchmark, General Catalyst, Питер Тиль, Адам Д'Анджело, Ларри Саммерс и Джек Дорси. Мы ищем опытного практикующего специалиста по безопасности ИИ для работы на контрактной основе в полностью удалённом формате.

Чем заниматься

• Оценка ответов, сгенерированных ИИ, на безопасность, фактическую точность, соответствие политикам и общее качество
• Анализ контента, связанного с дезинформацией, политической пропагандой, суицидальным поведением, насилием, кибербезопасностью, биобезопасностью и другими чувствительными областями
• Применение и совершенствование критериев оценки для RLHF, SFT и бенчмаркинга безопасности ИИ
• Выявление небезопасных выходов модели, галлюцинаций, ошибок рассуждений и нарушений политик
• Предоставление структурированной обратной связи для улучшения выравнивания модели и показателей безопасности
• Сотрудничество с командами исследователей ИИ и специалистов по безопасности над проектами оценки

Что ждут

• Бакалавр или высшее образование в журналистике, коммуникациях, психологии, социологии, государственном управлении, юриспруденции, биологии, химии, компьютерных науках или смежных дисциплинах
• Более 5 лет профессионального опыта в области безопасности ИИ, доверия и безопасности, журналистики, государственной политики, научных исследований, информационной безопасности или смежной области
• Отличные письменные навыки английского языка, критическое мышление и аналитические способности
• Способность последовательно оценивать нюансированные и чувствительные к политикам сценарии

Будет плюсом

• Опыт работы с безопасностью ИИ, RLHF, SFT, доверием и безопасностью, оценкой ИИ
• Знание политик безопасности, модерации контента или разработки критериев оценки
• Опыт работы со сложным, высокоприоритетным или неоднозначным контентом

Условия

• Полностью удалённая работа
• Контактная позиция с гибким графиком
• Возможность работать с передовыми исследованиями ИИ от ведущих компаний
• Команда с сильными техническими экспертами и исследователями

Навыки

• AI Safety
• RLHF
• SFT
• Content Moderation
• Critical Thinking
• Policy Evaluation
• Analytical Reasoning

Могут спросить на собеседовании

1. Как вы подходите к оценке безопасности ответов, сгенерированных ИИ, в сложных или неоднозначных ситуациях?
2. Опишите ваш опыт применения критериев оценки для обучения моделей через RLHF или SFT.
3. Приведите пример ситуации, когда вы обнаружили нарушение политики безопасности в ИИ-системе, и как вы это communicated команде.
4. Как вы балансируете между различными типами рисков (например, вредоносный контент vs ограничения свободы выражения)?