openai
Certification Assessment Specialist
- Удалённо
- San Francisco
- Полная занятость
- сегодня
OpenAI ищет специалиста по сертификационным оценкам в Сан-Франциско. Вы будете создавать практические задания для проверки компетенций ИИ-разработчиков и обеспечивать объективную оценку их работы.
О позиции
Вы присоединяетесь к команде сертификации в подразделении Customer Education компании OpenAI. Ваша задача — разработать и поддерживать систему hands-on оценок для технических ролей, связанных с искусственным интеллектом. Это позволяет кандидатам продемонстрировать реальные навыки, а работодателям убедиться в готовности команды к работе с ИИ-продуктами. Вы будете работать с методологиями оценки, инструментами разработки и техническими экспертами для создания надежных процессов сертификации.
Чем заниматься
- Превращать модели компетенций и блейупринты оценок в практические задачи и среды проведения экзаменов
- Настраивать и автоматизировать процессы provisiong для учетных записей, инструментов и данных кандидатов
- Создавать пайплайны для захвата результатов тестирования и применения правил оценки
- Тестировать оценку на основе моделей вместе с человеческими экспертами
- Проводить полное тестирование от настройки окружения до фиксации доказательств и оценки
- Работать с инжинирингом над интеграциями платформы доставки экзаменов
- Документировать процедуры настройки и устранения неполадок для команд доставки
- Вести версионное управление задачами, средами и конфигурациями оценки
Что ждут
- Личный опыт проектирования и создания performance-based экзаменов, лабораторий или симуляций для технических ролей
- Опыт использования скриптинга и автоматизации для построения технических сред оценки
- Опыт работы в технологической компании в динамичной среде
- Способность работать с blueprint и rubric для проектирования реалистичных задач
- Опыт внедрения рабочих процессов захвата submitted работ и подсчета оценок
- Понимание реализации model-assisted scoring и критериев эскалации для человеческого обзора
- Знание требований доступности и защиты конфиденциальных данных
Будет плюсом
- Опыт создания hands-on экзаменов для разработки ИИ-приложений, agentic workflows или customer deployments
- Опыт работы с психометристами по калибровке рубрик и валидации performance оценок
- Опыт запуска performance-based сертификационных экзаменов с live и remote доставкой
- Знание принципов измерения образовательных результатов (learning analytics)
Условия
- Работа в одной из ведущих компаний области artificial intelligence
- Участие в разработке стандартов сертификации ИИ-компетенций глобального уровня
- Возможность применять свои навыки в области assessment design и evaluation methodology
- Международная команда и культура открытого обмена знаниями
- Конкурентоспособный пакет компенсаций и Benefits по стандартам Silicon Valley
- Гибкий график и возможность удаленной работы (flexible remote work policy)
- Бюджет на профессиональное развитие и обучение
Навыки
- Assessment Design
- Technical Training
- Python
- Automation
- CI/CD
- API Integration
- Performance Testing
- Rubric Development
- Data Security
- Accessibility Standards
Сложность отбора
Роль требует глубокого понимания методики разработки практических экзаменов, опыта автоматизации проверочных сред и способности балансировать между техническими требованиями оценки и удобством для кандидатов.
Оценка JobPathЗарплата по рынку
280 000 – 500 000 ₽ в месяц
Оценка основана на уровне Senior Engineer/Specialist позиции в San Francisco для roles, связанных с Assessment Engineering и Technical Training. Годовая зарплата $75,000–$120,000 переводится в ежемесячную выплату ~₽280,000–₽500,000 по курсу ₽95 за USD.
Оценка JobPath по рынку, не предложение работодателяМогут спросить на собеседовании
- Опишите ваш опыт создания performance-based экзаменов для технических ролей. Какие метрики успеха вы использовали?
- Как вы подходите к дизайну среды проведения практического экзамена? На какие факторы обращаете внимание?
- Расскажите о случае, когда вы работали с model-assisted scoring. Как вы валидировали согласованность оценок?
- Как вы обеспечиваете traceability оценок к конкретным доказательствам от кандидатов?
- Опишите ситуацию, когда вы выявили дефект в процессе оценки после его запуска. Как вы его устранили?
Прорепетировать это собеседование
Голосовой ИИ-интервьюер задаст вопросы под эту вакансию и разберёт каждый ответ.
Начать бесплатноСохрани похожие вакансии
Новые вакансии с такой должностью будут собираться в кабинете.
Сохранить фильтр