AI Safety Specialist - Fully Remote | Upto $84/hr

О позиции

Mercor связывает лучших креативных и технических специалистов с передовыми лабораториями по исследованию искусственного интеллекта. Штаб-квартира находится в Сан-Франциско, инвесторы включают Benchmark, General Catalyst, Питера Тила, Адама Д'Анджело, Ларри Саммерса и Джека Дорси. Позиция связана с ред-тимингом и оценкой безопасности Frontier AI моделей, что требует глубокого понимания как технических аспектов машинного обучения, так и потенциальных рисков при их применении.

Чем заниматься

• Разрабатывать враждебные промпты для стресс-тестирования передовых AI-моделей
• Выявлять методы обхода ограничений (jailbreaks), небезопасное поведение, галлюцинации и провалы в соблюдении политик
• Оценивать устойчивость моделей в областях дезинформации, кибербезопасности, биобезопасности, мошенничества, политического контента и других чувствительных доменов
• Документировать уязвимости и участвовать в создании отчетов по ред-тимингу и бенчмаркингу безопасности
• Сотрудничать с исследователями ИИ для улучшения alignment, устойчивости и безопасности моделей

Что ждут

• Бакалавр или выше по Computer Science, Cybersecurity, Journalism, Communications, Psychology, Biology, Chemistry, Public Policy или смежной области
• 5+ лет профессионального опыта в AI Safety, AI Red Teaming, Trust & Safety, кибербезопасности, расследовательской журналистике или наук о жизни
• Сильные аналитические навыки, умение проектировать промпты и хорошие письменные коммуникационные способности
• Опыт разработки враждебных промптов или оценки Frontier AI систем

Будет плюсом

• Опыт работы с AI Red Teaming, RLHF, SFT, AI Alignment, Trust & Safety
• Знакомство с методами тестирования jailbreak, prompt engineering или adversarial evaluation
• Экспертиза в одной или более grey-area domains: кибер, биобезопасность, политический контент, дезинформация, научная безопасность

Условия

• Конкурентоспособная ставка за час ($70–84/час)
• Полностью удалённая работа из Австрии или любой другой локации
• Проект в ведущей сфере исследований искусственного интеллекта
• Возможность внести вклад в безопасность технологий будущего
• Поддержка команды на всех этапах проекта

Навыки

• AI Safety
• Red Teaming
• Trust & Safety
• Cybersecurity
• Prompt Engineering
• Adversarial Testing
• RLHF
• SFT
• AI Alignment
• Model Evaluation
• Jailbreak Testing
• Research Methods
• Technical Writing

Могут спросить на собеседовании

1. Расскажите о конкретном случае обнаружения критической уязвимости в AI-модели во время red-teams. Как вы её документировали и какие меры были приняты?
2. Какие методологии adversarial prompt design вы применяете при тестировании Frontier AI? Приведите пример успешной техники.
3. Как вы балансируете между thoroughness тестирования и practical constraints при работе с большими языковыми моделями?
4. Объясните разницу между RLHF и SFT, и когда каждая применяется в контексте AI Safety.
5. Какие этические considerations возникают при тестировании моделей на sensitive topics вроде misinformation или political content?