Создаем поисковый сервис для ответа на запросы пользователей на естественном языке. Ломаем барьер между статичными знаниями языковой модели и постоянно меняющимся миром. Предоставляем GigaChat доступ к актуальной информации, чтобы пользователи получали точные ответы на любые вопросы, включая вопросы о свежих новостях и событиях.
Обязанности
- определять техническую стратегию и целевую архитектуру системы
- проектировать системы, готовые к масштабированию от миллионов до миллиардов сущностей: горизонтальное масштабирование, шардирование, геораспределение
- принимать ключевые технологические решения: выбор стека, стратегии хранения, архитектурные паттерны (event-driven, CQRS, и др.)
- проектировать end-to-end пайплайны: URL discovery → fetch → parse → deduplicate → store → deliver
- писать код самых сложных и критичных компонентов: планировщик обхода, URL-фронтир, дедупликация, проводить performance engineering: профилирование, нагрузочное тестирование, устранение bottleneck-ов
- оптимизировать прокси-инфраструктуру и маршрутизацию трафика на глобальном уровне, исследовать и внедрять новые технологии: HTTP/3, QUIC, eBPF, io_uring для максимизации throughput, разрабатывать стратегии оптимизации стоимости инфраструктуры (FinOps)
- руководить командой из 3–6 инженеров: планирование, декомпозиция, приоритизация формировать и поддерживать технические стандарты: Code Review, coding guidelines, архитектурные ADR, менторить разработчиков, проводить 1-1, помогать в профессиональном развитии, взаимодействовать с потребителями данных и смежными командами для планирования roadmap.
Требования
- коммерческий опыт разработки на Python и Go от 7 лет, из них не менее 2 лет в роли техлида/тимлида
- экспертиза в проектировании распределённых высоконагруженных систем (миллионы RPS, петабайты данных)
- глубокое понимание сетевого стека: TCP/UDP, HTTP/1.1/2/3, TLS, DNS, QUIC
- практический опыт построения масштабных систем краулинга или аналогичных data acquisition систем
- экспертиза в асинхронном и параллельном программировании
- опыт проектирования микросервисной и event-driven архитектуры
- опыт работы с Kafka, Redis, PostgreSQL, ClickHouse (или аналогами)
- уверенное владение Kubernetes, Docker, Terraform, CI/CD
- опыт работы с облачными платформами
- навыки глубокого troubleshooting: tcpdump, strace, perf, ebpf-инструменты
- опыт управления командой: планирование, Code Review, менторинг, 1-1, найм
Будет плюсом:
- знание Rust или C++ для написания высокопроизводительных компонентов
- опыт работы в компаниях с масштабным краулингом (поисковые системы, data aggregators)
- опыт работы с io_uring, eBPF, zero-copy networking
- опыт построения геораспределённых систем
- опыт применения ML для оптимизации crawl-стратегий (приоритизация, фильтрация, классификация), публичные выступления, статьи.
Условия
- комфортный современный офис рядом с м. Кутузовская
- гибридный формат работы
- ежегодный пересмотр зарплаты, годовая премия
- корпоративный спортзал и зоны отдыха
- система обучения для профессионального и карьерного развития
- расширенный полис ДМС с первого дня работы и страхование для семьи
- программа ипотеки для сотрудников
- вознаграждение за рекомендацию друзей в команду Сбер.
