AI Safety Practitioner - Fully Remote | Upto $70/hr

О позиции

Mercor — компания, соединяющая элитный технический и креативный талант с ведущими лабораториями исследований искусственного интеллекта. Офис расположен в Сан-Франциско, инвесторы включают Benchmark, General Catalyst, Питера Тила, Эда Д'Анджело, Ларри Саммерса и Джека Дорси. Позиция предлагает возможность работать с передовыми проектами в области безопасности ИИ на контрактной основе в полностью удалённом формате.

Чем заниматься

• Оценивать ответы, сгенерированные искусственным интеллектом, на предмет безопасности, фактологической точности, соответствия политикам и общего качества
• Анализировать контент,涉及 misinformation, политическое влияние, самоповреждение, насилие, кибербезопасность, биобезопасность и другие чувствительные домены
• Применять и совершенствовать оценочные рубрики для RLHF, SFT и бейчмаркинга безопасности ИИ
• Выявлять небезопасные выводы, галлюцинации, ошибки рассуждения и нарушения политик
• Предоставлять структурированную обратную связь для улучшения alignment и показателей безопасности модели
• Сотрудничать с исследователями ИИ и командами безопасности над инициативами оценки

Что ждут

• Степень бакалавра или выше по журналистике, коммуникациям, психологии, социологии, общественному праву, юриспруденции, биологии, химии, компьютерным наукам или смежной дисциплине
• 5+ лет профессионального опыта в области безопасности ИИ, доверия и безопасности, журналистики, общественного права, научных исследований, безопасности или смежных областях
• Отличные письменные навыки английского языка, критическое мышление и аналитические способности
• Способность последовательно оценивать сложные и чувствительные к политикам сценарии

Будет плюсом

• Опыт работы в области безопасности ИИ, RLHF, SFT, Trust & Safety или оценки ИИ
• Знакомство с политиками безопасности, модерацией контента или разработкой оценочных рубрик
• Опыт анализа сложного, высокорискованного или неоднозначного контента

Условия

• Полностью удалённая работа
• Конкурсная оплата за час ($60–$70/час)
• Работа с ведущими лабораториями исследований ИИ
• Возможность влиять на развитие технологий безопасности ИИ

Навыки

• AI Safety
• Trust & Safety
• RLHF
• SFT
• Content Moderation
• Policy Analysis
• Risk Assessment
• Critical Thinking
• Analytical Reasoning
• English Language

Могут спросить на собеседовании

1. Как вы определяете безопасность ответа ИИ? Какие критерии для вас наиболее важны?
2. Расскажите о случае, когда вы выявили серьёзную проблему в сгенерированном контенте. Как вы это сделали и как поступили дальше?
3. Как вы относитесь к дилеммам между безопасностью и полезностью при оценке ответов?
4. Опишите ваш опыт работы с RLHF или SFT. Какие задачи вы выполняли?
5. Как вы поддерживаете актуальность своих знаний о политиках и стандартах безопасности ИИ?