Сопровождение Big Data Platform (BDP) — внутренней платформы данных банка, используемой дата-инженерами и аналитиками для сбора, хранения и обработки больших объёмов данных из различных источников.
Платформа обеспечивает работу с данными для построения аналитической и BI-отчётности, дашбордов и внутренних сервисов. В её основе — архитектура Data Lake / Lakehouse и технологии S3 Object Storage, Kubernetes, Apache Spark, Airflow, Flink и Kafka.
Команда отвечает за стабильность и доступность инфраструктуры платформы, производительность хранилищ и устранение возникающих инцидентов. Один из ключевых компонентов — высоконагруженное S3-хранилище, обрабатывающее сотни терабайт данных ежедневно.
Чем предстоит заниматься:
- Сопровождение и эксплуатация внутренней Big Data Platform (BDP)
- Обеспечение стабильной работы компонентов Data Lake / Lakehouse
- Администрирование и поддержка высоконагруженной инфраструктуры S3 / Object Storage
- Сопровождение Kubernetes-платформы и развёрнутых в ней компонентов обработки и хранения данных
- Эксплуатация и администрирование Apache Spark, Airflow, Flink, Kafka, Apache Iceberg
- Мониторинг состояния платформы, анализ метрик и логов, контроль доступности и производительности сервисов
- Диагностика и устранение инцидентов, связанных с производительностью и отказоустойчивостью инфраструктуры
- Анализ и оптимизация CPU, RAM, сетевых ресурсов, дисковой подсистемы, задержек и пропускной способности
- Проведение RCA, подготовка postmortem и реализация мероприятий по повышению надёжности платформы
- Автоматизация эксплуатационных процессов и рутинных операций
- Взаимодействие с командами Data Engineering и инфраструктуры по вопросам эксплуатации и развития платформы
Наши пожелания к кандидатам:
- Экспертный опыт администрирования Linux
- Опыт сопровождения высоконагруженных распределённых систем
- Глубокое понимание S3 / Object Storage и архитектуры распределённых хранилищ
- Практический опыт эксплуатации Kubernetes-платформ
- Опыт администрирования и сопровождения компонентов Data Lake: Apache Spark, Airflow, Flink, Kafka, Apache Iceberg
- Практический опыт эксплуатации MinIO или других решений Object Storage
- Понимание принципов репликации, erasure coding, consistency и fault tolerance
- Практический опыт диагностики проблем производительности: CPU, RAM, network, disk I/O, latency, throughput
- Опыт работы с системами мониторинга и наблюдаемости: Prometheus, Grafana, alerting, анализ логов
- Навыки автоматизации с использованием Ansible, Terraform, Bash или Python
- Понимание процессов incident management, problem management и практик SRE
- Опыт проведения RCA, postmortem analysis и внедрения решений по повышению надёжности инфраструктуры
Будет преимуществом
- Опыт эксплуатации Data Lake / Lakehouse платформ в крупных компаниях
- Опыт сопровождения S3-хранилищ с интенсивными потоками чтения и записи данных
- Опыт масштабирования распределённых систем хранения и обработки больших объёмов данных
- Понимание особенностей эксплуатации платформ, используемых большим количеством внутренних потребителей
Что мы предлагаем:
- Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI
- Гибкий график работы: вы сможете планировать время так, как удобно вам и вашей команде
- Удалённый формат работы, а также уютный ИТ-хаб в Москве и сезонный коворкинг в Сочи
- Сложные и интересные задачи, современный стек технологий
- Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного
- Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
- Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр
- Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий
- Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины
