Researcher, AI Evaluations

О позиции

Это должность старшего индивидуального специалиста без подчинённых в команде исследований Figma. Вы будете работать непосредственно с командой AI Research и инженерами платформы AI, занимаясь разработкой методологий оценки, рубрик качества и анализом результатов для улучшения моделей и продуктов компании. Роль полностью соответствует миссии Figma — делать дизайн доступным для всех через инновационные инструменты и искусственный интеллект.

Будет плюсом

• Опыт интеграции автоматических оценок в инженерные воркфлоу (Braintrust, LangSmith, DeepEval)
• Умение разрабатывать масштабируемые переиспользуемые фреймворки оценки
• Бэкграунд в product design, product management, data science или engineering
• Знакомство с Figma или подобными инструментами дизайна
• Сильная статистическая экспертиза: sampling, significance testing, agreement metrics
• Продвинутое обучение в количественной или поведенческой дисциплине

Условия

• Конкурентоспособный пакет компенсации с акциями
• Страхование здоровья, зубов, зрения
• Пенсионныеbenefits с взносами компании
• Родительский отпуск и поддержка планирования семьи
• Ментальное здоровье и wellness benefits
• Оплачиваемый отпуск и sick leave
• Гибкий оплачиваемый PTO
• Компensation days, reimbursement за телефон и интернет
• Lifestyle spending accounts
• Ежегодный бонус для eligible ролей

Навыки

• AI Evaluation
• Research Methodology
• Data Analysis
• Human-in-the-loop Evaluation
• Benchmark Design
• Rubric Creation
• LLM-as-Judge
• Statistical Analysis
• Inter-rater Agreement
• Qualitative Research
• Quantitative Research
• Stakeholder Management
• Regression Testing
• Experimental Design
• Model Assessment

Могут спросить на собеседовании

1. Как вы оцениваете качество outputs от генеративных моделей и какие метрики используете?
2. Расскажите о случае, когда ваши выводы по оценке повлияли на продукт или модель.
3. Как вы балансируете скорость оценки и её строгость в условиях дедлайнов?
4. Какие методы вы используете для валидации автоматических оценок и выявления bias?