«Детмир Тех» развивает цифровую экосистему группы компаний «Детский мир». Мы создаём продукты для миллионов клиентов и сервисы, которые помогают бизнесу принимать решения на основе данных.
Ищем Data Engineer в команду Big Data Platform. Платформа построена на Hadoop 3 и Apache Spark и является основным источником данных для всей группы компаний.
Главная задача — развивать надёжную и производительную платформу обработки больших объёмов данных: проектировать пайплайны, оптимизировать Spark-приложения, развивать Data Lake и совершенствовать архитектуру Hadoop-кластера.
Чем предстоит заниматься:
- Разрабатывать и оптимизировать batch-процессы на Apache Spark.
- Проектировать ETL/ELT-пайплайны для обработки больших объёмов данных.
- Создавать и поддерживать витрины данных в Hadoop.
- Оптимизировать Spark jobs: partitioning, shuffle, data skew, использование памяти и ресурсов кластера.
- Развивать архитектуру Data Lake и подходы к организации и хранению данных.
- Организовывать загрузку и передачу данных через Kafka и S3 API (MinIO).
- Автоматизировать процессы с помощью Apache Airflow и Apache NiFi.
- Поддерживать трансформации данных в dbt Core.
- Развивать и поддерживать витрины данных в ClickHouse.
- Оптимизировать запросы и процессы загрузки данных в ClickHouse, разбираться с проблемами производительности.
- Поддерживать аналитическую платформу на Apache Superset, решать возникающие технические проблемы.
- Внедрять проверки качества данных и мониторинг пайплайнов.
- Исследовать причины сбоев и деградации производительности.
- Помогать аналитикам и дата-сайентистам эффективно работать с платформой.
- Участвовать в развитии внутренних инструментов и стандартов Data Engineering.
- Участвовать в развёртывании и эксплуатации компонентов платформы в Kubernetes.
Что для нас важно:
- От трёх лет опыта работы с Hadoop и Apache Spark.
- Знание основных компонентов Hadoop и принципов работы HDFS и Spark.
- Глубокое понимание архитектуры Spark и принципов распределённых вычислений.
- Опыт разработки и оптимизации Spark batch jobs.
- Уверенное владение SQL.
- Опыт проектирования DWH или Data Lake.
- Опыт построения ETL/ELT-процессов.
- Практический опыт работы с Apache Airflow.
- Знание форматов хранения данных.
- Понимание принципов партиционирования и организации данных в Data Lake.
- Умение диагностировать проблемы с shuffle, partitioning, data skew, памятью и использованием ресурсов кластера.
- Умение анализировать производительность распределённых приложений и находить узкие места.
- Умение писать чистый, тестируемый и поддерживаемый код.
- Готовность принимать технические решения и отвечать за результат.
Будет преимуществом:
- Опыт разработки на Scala.
- Знание Kafka и принципов потоковой обработки данных.
- Опыт работы с ClickHouse и оптимизации запросов.
- Опыт работы с Apache Superset.
- Знакомство с Apache NiFi и dbt Core.
- Опыт эксплуатации приложений в Kubernetes.
- Знание Docker, Helm и GitLab CI/CD.
- Опыт работы с DataHub или другими Data Catalog решениями.
- Опыт построения мониторинга data-платформ и пайплайнов.
- Знакомство с VictoriaMetrics, Grafana, Hue или Jupyter.
- Опыт работы с большими Hadoop-кластерами и высокими объёмами данных.
Наш стек:
Хранение и обработка: Hadoop 3, HDFS, Apache Spark
Доставка и обмен данными: Kafka, S3
Оркестрация и трансформации: Apache Airflow, Apache NiFi, dbt Core
Аналитические хранилища: ClickHouse
Ad-hoc аналитика: Hue, Jupyter
Каталог данных: DataHub
BI и визуализация: Apache Superset, Grafana
Мониторинг: VictoriaMetrics, Grafana
Инфраструктура: Kubernetes, Docker, Helm
CI/CD: GitLab CI/CD
Мы предлагаем:
- Официальное оформление в соответствии с ТК РФ в IT-аккредитованную компанию;
- Совокупный доход: оклад + годовой бонус;
- График работы: 5/2 (гибридный формат работы);
- Вакансия открыта для кандидатов, проживающих в РФ, удалённый формат работы из других стран не рассматривается;
- Техника для работы;
- Полис ДМС;
- Программа Best Benefits;
- Внутреннее обучение;
- Спортивные и развлекательные мероприятия, участие в корпоративной жизни компании.
Присоединяйтесь к нам и станьте частью истории бренда с историей!
