Senior Director, Technical Product Management — AI Quality & Evaluation

О позиции

Salesforce — ведущий провайдер CRM с искусственным интеллектом, где люди и агенты работают вместе для достижения успеха клиентов. Мы находимся на пороге трансформации рабочей среды через агентные системы. Ваша роль — помочь построить следующее поколение Agentforce, объединив предпринимательский дух стартапа с доступом к корпоративным клиентам и масштабам Salesforce. ЭтоHands-on индивидуальная лидирующая роль с фокусом IC до 2027 года, требующая глубокой экспертизы в ИИ/ML и продуктах.

Чем заниматься

• Сформировать согласованную стратегию продукта и дорожную карту для качества и оценки ИИ, соединяя потребности клиентов, технические возможности и измеримые бизнес-результаты
• Установить общие определения качества, требования к оценке, приоритеты покрытия и критерии выпуска совместно с исследователями, инженерами и продуктовыми партнёрами
• Принимать явные инвестиционные компромиссы между улучшениями качества клиентов, возможностями оценки и функциями продукта
• Лично вести расследования клиентов и эксперименты: анализировать причины ошибок агентов, определять ожидаемое поведение, тестировать изменения
• Построить операционный подход, связывающий фидбек клиентов, оценочные данные, эксперименты, релизы и обучение между командами
• Разрабатывать оценивания вместе с исследователями и научными сотрудниками, применяя принципы обучения ML и отладки моделей
• Вести доставку возможностей, помогающих клиентам понимать и улучшать производительность ИИ
• Наставлять продуктовых партнёров, младших дизайнеров и технических менеджеров проектов

Что ждут

• Подтверждённый опыт построения AI/ML продуктов с измеримыми клиентскими результатами
• Глубокий hands-on опыт создания AI агентов и возможностей оценки в тесном сотрудничестве с исследователями и инженерами
• Применимое суждение AI/ML по поведению моделей, промптингу, retrieval, рабочим процессам агента/инструментов
• Текущие практические навыки инспекции данных и трасс, прототипирования с кодинговыми агентами, анализа экспериментов
• Принципиальное гибкое мышление: формулирование проблем, проверка гипотез, изменение подхода при необходимости
• Опыт установления общих стандартов и разрешения разногласий между командами
• Подтверждённые способности к наставничеству без формальной власти управления людьми
• Чёткая коммуникация с клиентами, техническими командами и руководством

Будет плюсом

• Опыт работы с платформами оценки, системами агентов, observability ИИ, enterprise AI продуктами
• Работа в AI-native стартапе или предпринимательской среде
• Hands-on прототипирование с кодинговыми агентами и доставка клиентского опыта
• Руководство инициативами, требующими согласия между research, engineering, product и клиентскими организациями

Условия

• Карьерный рост в компании, лидирующей workforce transformation в агентную эпоху
• Возможность формировать будущее ИИ через платформу Agentforce
• Работа с передовыми технологиями и доступом к корпоративным клиентам Salesforce
• Культура инноваций как образа жизни, а не buzzword
• Преимущества и ресурсы для work-life balance
• Возможности для менторства и развития команды

Навыки

• Artificial Intelligence
• Machine Learning
• Product Management
• Agentic AI
• AI Evaluation
• Prompt Engineering
• Retrieval-Augmented Generation
• Observability
• Technical Leadership
• Stakeholder Management
• Cross-functional Collaboration
• Data Analysis
• Experimentation
• Model Behavior Assessment

Могут спросить на собеседовании

1. Опишите ваш опыт построения AI/ML продуктов с измеряемыми клиентскими результатами. Какие метрики вы использовали?
2. Как вы устанавливаете shared quality standards для недетерминированных AI систем? Приведите пример из практики.
3. Расскажите о ситуации, когда вы должны были изменить направление продукта на основе данных и экспериментов. Как вы мотивировали команду?
4. Как вы балансируете tradeoffs между investment в customer quality improvements vs evaluation capabilities vs product features?
5. Опишите, как вы строили operating approach, связывающий customer feedback, experiments и learning across teams?