AI Adversarial Specialist - Fully Remote | Upto $62/hr

О позиции

Mercor соединяет элитных технических специалистов с передовыми лабораториями исследований ИИ. Штат-офис компании находится в Сан-Франциско, инвесторы включают Benchmark, General Catalyst, Питера Тила, Адама Д'Анджело, Ларри Саммерса и Джека Дорси. Мы ищем экспертов по безопасности ИИ, владеющих английским и норвежским языками, для работы над тестированием и улучшением моделей разговорного ИИ.

Чем заниматься

• Проводить red teaming разговаривающих ИИ-моделей и агентов
• Выявлять уязвимости: jailbreaks, prompt injection, кейсы злоупотребления, эксплуатация смещений
• Генерировать качественные человеческие данные: аннотировать неудачи, классифицировать уязвимости, отмечать системные риски
• Применять структуры через таксономии, бенчмарки и плейбуки для последовательного тестирования
• Документировать результаты воспроизводимым образом: создавать отчёты, датасеты и примеры атак
• Работать самостоятельно и асинхронно, соблюдая дедлайны при улучшении производительности ИИ-моделей

Что ждут

• Свободное владение английским и норвежским языками
• Опыт проведения red teaming в сфере ИИ, кибербезопасности или социо-технического анализа
• Сильные коммуникативные навыки для объяснения рисков техническим и нетехническим стейкхолдерам
• Способность адаптироваться к различным проектам и клиентам
• Самоорганизация и умение работать асинхронно

Будет плюсом

• Опыт в Adversarial Machine Learning, Кибербезопасности, Socio-technical risk
• Знание jailbreak datasets, prompt injection, RLHF/DPO attacks, model extraction
• Опыт документирования и создания аналитических отчётов по безопасности ИИ

Условия

• Контактная должность с гибким графиком
• Полностью удалённая работа из Норвегии
• Высокая оплата за час ($48–$62)
• Возможность работать с передовыми лабораториями ИИ
• Поддержка команды на всех этапах проекта

Навыки

• Red Teaming
• AI Security
• Prompt Engineering
• Adversarial Machine Learning
• Cybersecurity
• LLM Evaluation
• Data Annotation
• Risk Assessment
• ML Models
• Jailbreaking
• Prompt Injection Detection
• Bias Analysis

Могут спросить на собеседовании

1. Расскажите о вашем опыте проведения red teaming для ИИ-моделей. Какие техники вы использовали?
2. Как вы оцениваете риски использования больших языковых моделей? Приведите пример обнаруженного уязвимого паттерна.
3. Объясните концепцию prompt injection простыми словами. Как её можно предотвратить?
4. Опишите ваш подход к разработке методологии тестирования ИИ-моделей. Какие метрики важны?
5. Как вы справляетесь с работой асинхронно в международном распределённом проекте?