AI Safety Practitioner - Fully Remote | Upto $70/hr

О позиции

Mercor связывает элитных специалистов креативного и технического направления с ведущими лабораториями искусственного интеллекта. Компания базируется в Сан-Франциско и привлекает инвестиции от известных инвесторов, включая Benchmark, General Catalyst, Питера Тиля, Адама Д'Анджело, Ларри Саммерса и Джека Дорси. Мы ищем опытного специалиста для работы над критически важными задачами обеспечения безопасности генеративных моделей ИИ.

Чем заниматься

• Оценивать ответы, сгенерированные ИИ, на предмет безопасности, фактической точности, соответствия политикам и общего качества. Анализировать контент, затрагивающий вопросы дезинформации, политической пропаганды, самоповреждения, насилия, кибербезопасности и биобезопасности. Применять и совершенствовать оценочные рубрики для RLHF, SFT и бенчмаркинга безопасности ИИ. Выявлять некорректные выходные данные, галлюцинации, ошибки рассуждений и нарушения политик. Предоставлять структурированную обратную связь для улучшения согласованности модели и показателей безопасности. Сотрудничать с исследователями ИИ и командами безопасности в рамках текущих инициатив оценки.

Что ждут

• Бакалаврская степень или выше по журналистике, коммуникациям, психологии, социологии, государственному управлению, праву, биологии, химии, информатике или смежной дисциплине. Минимум 5 лет профессионального опыта в сфере безопасности ИИ, доверительной безопасности, журналистики, государственной политики, научных исследований, безопасности или смежной области. Отличные письменные навыки английского языка, критическое мышление и аналитические способности. Способность последовательно оценивать тонкие и чувствительные к политикам сценарии.

Будет плюсом

• Опыт работы с безопасностью ИИ, RLHF, SFT, доверительной безопасностью или оценкой ИИ. Знакомство с политиками безопасности, модерацией контента или разработкой оценочных рубрик. Опыт работы со сложным, высоко рисковым или неоднозначным контентом.

Условия

• Конкурентоспособная hourly ставка в диапазоне $60–70 в час. Полностью удалённая работа из любой локации. Возможность работать с ведущими лабораториями ИИ и передовыми исследованиями. Гибкий график контракта. Поддержка команды и ресурсы для успешного завершения проектов.

Навыки

• AI Safety
• RLHF
• SFT
• Trust & Safety
• Content Moderation
• Policy Evaluation
• Model Alignment
• Risk Assessment

Могут спросить на собеседовании

1. Как вы определяете и классифицируете потенциально опасный контент при работе с генеративными моделями?
2. Расскажите о вашем опыте разработки или применения оценочных рубрик для оценки качества ответов ИИ.
3. Какие этические дилеммы вы встречали при работе с политиками безопасности и как вы их решали?
4. Как вы балансируете между безопасностью и удобством использования при оценке результатов работы моделей?
5. Опишите ваш опыт работы с политически чувствительным или высокорисковым контентом.