Member of Technical Staff (Web Access Engineer, Crawler)

О позиции

Вы будете работать над инфраструктурой, которая поставляет контент для downstream-систем индексации и поиска, управляя процессами получения и отрисовки веб-страниц. Команда занимается исключительно общедоступным публичным контентом, соблюдая политики доступа сайтов и законодательные требования. Это роль на стыке веб-технологий, сетевых протоколов и машинного обучения — вы повлияете на качество данных, которые питают ИИ-поиск.

Будет плюсом

• Опыт разработки CDN, кэширующих систем или систем производительности веба.\\n
• Опыт эксплуатации краулеров, headless-браузеров или распределённых систем сбора контента в масштабе.\\n
• Вклад в браузерный движок или runtime JavaScript.

Условия

• Работа с передовыми технологиями в сфере веб-доступа и краулинга для ИИ-поиска.\\n
• Возможность влиять на качество данных, питающих одну из ведущих ИИ-поисковых систем.\\n
• Тесное сотрудничество с инженерами высокого уровня в области веб-инфраструктуры и ML.\\n
• Свобода исследования и самостоятельность в решении нестандартных задач.\\n
• Конкурентная компенсация и возможности профессионального роста.

Навыки

• Go
• Python
• Rust
• C++
• HTTP
• HTTPS
• TLS
• DNS
• CDN
• Browsers
• JavaScript
• DevTools
• Chrome DevTools Protocol
• Networking
• Web Crawling
• System Design

Могут спросить на собеседовании

1. Как вы различаете технические ошибки при загрузке страницы от намеренных ограничений доступа?
2. Опишите, как вы подойдёте к отладке проблемы, где страница загружается частично в разных средах.
3. Как вы проектируете систему кэширования для краулера, чтобы балансировать между свежестью и производительностью?
4. Приведите пример, как вы оптимизировали производительность веб-запросов на практике.