Senior Big Data Engineer
г. Москва
Архитектура данных
15 сентября 2026 г.
Чем предстоит заниматься:
- Разрабатывать и совершенствовать лучшую на рынке платформу данных электронной коммерции нового поколения;
- Проектировать и разрабатывать ETL пайплайны на Airflow для Spark (Batch, Streaming), Iceberg, Trino;
- Оптимизировать действующие пайплайны и джобы на Spark - мониторить нагрузку на кластер и оптимальность затрачиваемых джобами ресурсов и если необходимо оптимизировать;
- Взаимодействовать с аналитиками и ML специалистами для создания/развертывания инструментов и наборов данных, соответствующих их вариантам использования - поддерживать регулярные связи с data ops для развития дата-платформы;
- Анализировать и внедрять инструменты инжиниринга данных (Lineage, DQ);
- Проектировать хранилища данных на основе k8s, настраивать производительность, мониторинг, планировать емкости кластера и другой инфраструктуры - думать над тем что и как грузить и в каких партициях;
- Решать задачи, связанные с внедрением облачной инфраструктуры - разрабатывать новую архитектуру хранилища;
- Проводить code review и принимать участие в архитектурных решениях по дата платформе в команде.
Мы ожидаем:
- Kubernetes - понимание ресурсной модели, просмотр конфигураций, troubleshooting.
- Опыт работы с Hadoop (HDFS, Hive Metastore).
- Опыт работы со Spark (spark SQL, streaming, понимание ньюансов работы с pyspark);
- Apache Icberg – владение процедурами, snapshots, maintenance.
- Глубокое понимание Airflow (2, 3) – идемпотентность, assets, backfills.
- Уверенное знание Git, CI/CD;
- Python, Scala/Java – ООП, проектирование библиотек, интеграционные/юнит тесты;
- Хорошее понимание СУБД, SQL; Опыт работы с Docker (уверенное владение для поднятия локального окружения проекта);
- Опыт работы с Kafka – понимание архитектуры и слабых мест;
- Опыт с облачными технологиями: преимущественно Yandex Cloud;
- Опыт с Clickhouse.
- AI-native подход к разработке: активное использование Claude Code / Codex и подобных инструментов, опыт построения harness-систем — агентов с инструментами, автоматизации через LLM, RAG.
Мы предлагаем:
- ДМС со стоматологией, телемедициной и программой поддержки ментального здоровья;
- Страхование жизни;
- Ежемесячные промокоды на Lamoda: два по 25%, два по 15% и в день рождения — 40%;
- Программа привилегий и скидок от BestBenefits;
- До 15 дней больничного в год оплачиваем в размере 100% от действующего оклада;
- Бесплатные юридические консультации;
- Дополнительные выходные в случае важных событий;
- Яркие мероприятия и много неформального общения.
Развитие для каждого:
- Опытный наставник для каждого новичка;
- Обучение и участие во внешних конференциях;
- Помогаем развивать личный бренд, выступать на конференциях и писать статьи;
- Performance Review дважды в год, чтобы развиваться системно;
- Проводим митапы и demo-дни для обмена знаниями;
- Погружаем в fashion и каждый сезон знакомим с модными трендами.
Откликайтесь
Фамилия
Имя
E-mail
Введите данные
+7
* – поля обязательные для заполнения
Здесь можно написать что-то особенное
Введите данные
Выберите файл или перетащите резюме сюда (pdf,doc,docx) Не более 10МБ
Перед отправкой резюме убедитесь, что во вложенном файле указаны контактные данные (email, телефон) для обратной связи
Ссылка на резюме
Я даю согласие на обработку персональных данных
Откликнуться
Просьба принять правила работы с cookie перед отправкой отклика.
