НовоеAI-конструктор резюме: правишь прямо на листе A4, а нейросеть подсказывает, что усилитьКонструктор резюме на листе A4Попробовать
JobPath
Начать бесплатно

openai

Certification Assessment Specialist

  • Удалённо
  • San Francisco
  • Полная занятость
  • сегодня

OpenAI ищет специалиста по сертификационным оценкам в Сан-Франциско. Вы будете создавать практические задания для проверки компетенций ИИ-разработчиков и обеспечивать объективную оценку их работы.

О позиции

Вы присоединяетесь к команде сертификации в подразделении Customer Education компании OpenAI. Ваша задача — разработать и поддерживать систему hands-on оценок для технических ролей, связанных с искусственным интеллектом. Это позволяет кандидатам продемонстрировать реальные навыки, а работодателям убедиться в готовности команды к работе с ИИ-продуктами. Вы будете работать с методологиями оценки, инструментами разработки и техническими экспертами для создания надежных процессов сертификации.

Чем заниматься

  • Превращать модели компетенций и блейупринты оценок в практические задачи и среды проведения экзаменов
  • Настраивать и автоматизировать процессы provisiong для учетных записей, инструментов и данных кандидатов
  • Создавать пайплайны для захвата результатов тестирования и применения правил оценки
  • Тестировать оценку на основе моделей вместе с человеческими экспертами
  • Проводить полное тестирование от настройки окружения до фиксации доказательств и оценки
  • Работать с инжинирингом над интеграциями платформы доставки экзаменов
  • Документировать процедуры настройки и устранения неполадок для команд доставки
  • Вести версионное управление задачами, средами и конфигурациями оценки

Что ждут

  • Личный опыт проектирования и создания performance-based экзаменов, лабораторий или симуляций для технических ролей
  • Опыт использования скриптинга и автоматизации для построения технических сред оценки
  • Опыт работы в технологической компании в динамичной среде
  • Способность работать с blueprint и rubric для проектирования реалистичных задач
  • Опыт внедрения рабочих процессов захвата submitted работ и подсчета оценок
  • Понимание реализации model-assisted scoring и критериев эскалации для человеческого обзора
  • Знание требований доступности и защиты конфиденциальных данных

Будет плюсом

  • Опыт создания hands-on экзаменов для разработки ИИ-приложений, agentic workflows или customer deployments
  • Опыт работы с психометристами по калибровке рубрик и валидации performance оценок
  • Опыт запуска performance-based сертификационных экзаменов с live и remote доставкой
  • Знание принципов измерения образовательных результатов (learning analytics)

Условия

  • Работа в одной из ведущих компаний области artificial intelligence
  • Участие в разработке стандартов сертификации ИИ-компетенций глобального уровня
  • Возможность применять свои навыки в области assessment design и evaluation methodology
  • Международная команда и культура открытого обмена знаниями
  • Конкурентоспособный пакет компенсаций и Benefits по стандартам Silicon Valley
  • Гибкий график и возможность удаленной работы (flexible remote work policy)
  • Бюджет на профессиональное развитие и обучение

Навыки

  • Assessment Design
  • Technical Training
  • Python
  • Automation
  • CI/CD
  • API Integration
  • Performance Testing
  • Rubric Development
  • Data Security
  • Accessibility Standards

Сложность отбора

Роль требует глубокого понимания методики разработки практических экзаменов, опыта автоматизации проверочных сред и способности балансировать между техническими требованиями оценки и удобством для кандидатов.

Оценка JobPath

Зарплата по рынку

280 000 – 500 000 ₽ в месяц

Оценка основана на уровне Senior Engineer/Specialist позиции в San Francisco для roles, связанных с Assessment Engineering и Technical Training. Годовая зарплата $75,000–$120,000 переводится в ежемесячную выплату ~₽280,000–₽500,000 по курсу ₽95 за USD.

Оценка JobPath по рынку, не предложение работодателя

Могут спросить на собеседовании

  1. Опишите ваш опыт создания performance-based экзаменов для технических ролей. Какие метрики успеха вы использовали?
  2. Как вы подходите к дизайну среды проведения практического экзамена? На какие факторы обращаете внимание?
  3. Расскажите о случае, когда вы работали с model-assisted scoring. Как вы валидировали согласованность оценок?
  4. Как вы обеспечиваете traceability оценок к конкретным доказательствам от кандидатов?
  5. Опишите ситуацию, когда вы выявили дефект в процессе оценки после его запуска. Как вы его устранили?

Прорепетировать это собеседование

Голосовой ИИ-интервьюер задаст вопросы под эту вакансию и разберёт каждый ответ.

Начать бесплатно

Сохрани похожие вакансии

Новые вакансии с такой должностью будут собираться в кабинете.

Сохранить фильтр

Перед откликом

Попробовать бесплатно

Связаться с поддержкой

Выбери, где удобнее написать