Data Engineer (Senior)

AO "ANOR BANK" ищет опытного Data Engineer, который будет отвечать за создание и оптимизацию высоконагруженных ETL/ELT-процессов, проектирование архитектуры хранения и обработки данных (Data Lake, Data Warehouse), а также интеграцию с разными источниками (реляционные и NoSQL-базы, стриминг, API)

ДОЛЖНОСТНЫЕ ОБЯЗАННОСТИ:

• Проектирование и развитие архитектуры Data Lake, Data Warehouse, потоковых и пакетных систем обработки данных.
• Создание и сопровождение масштабируемых и отказоустойчивых ETL/ELT-процессов (Airflow, Kafka, Spark и др.).
• Оптимизация производительности и тюнинг Data-пайплайнов (партиционирование, шардинг, индексация).
• Разработка механизмов проверки качества данных (валидация, дедупликация, мониторинг метрик качества).
• Интеграция и управление различными источниками данных (реляционные и NoSQL-базы, очереди, API).
• Настройка мониторинга, логирования и алертинга для систем обработки данных. Обеспечение безопасности и контроля доступов (шифрование, конфигурация ролей, управление правами).
• Сотрудничество с командами Data Science, DevOps, аналитиками и бизнес-стейкхолдерами.
• Коучинг и менторство младших инженеров, проведение код-ревью и формирование стандартов разработки.
• Участие в планировании и реализации новых решений, улучшение существующих подходов.

ТРЕБУЕМЫЕ НАВЫКИ И КВАЛИФИКАЦИИ:

• Опыт работы в роли Data Engineer от 3 лет (Senior-уровень).
• Уверенные знания Python и SQL, опыт оптимизации запросов для больших объёмов данных.
• Практический опыт работы с распределёнными системами (Spark, Kafka, Hadoop или аналогами).
• Навыки создания и администрирования ETL/ELT-процессов (Airflow). Опыт работы с реляционными (PostgreSQL, Oracle) и NoSQL-базами (MongoDB, Cassandra).
• Понимание принципов Data Lake, Data Warehouse, колоночных и MPP-хранилищ (Greenplum, ClickHouse).
• Знание контейнеризации (Docker) и инструментов CI/CD (GitLab CI, Jenkins).
• Навыки работы в Linux/Unix-средах, базовое понимание сетевых протоколов и инфраструктуры.
• Коммуникабельность и умение взаимодействовать с разнопрофильными командами.

*будет плюсом: знание Kubernetes и инфраструктурных инструментов (Terraform, Ansible). Механизмов Data Quality (Great Expectations, Soda SQL) и Data Catalog систем. Инструментов и библиотек для Machine Learning пайплайнов (MLflow, Kubeflow). Основ DevOps-практик и принципов GitOps.

МЫ ПРЕДЛАГАЕМ:

• Работу в инновационном цифровом банке страны;
• Программу профессионального развития и карьерного роста;
• Корпоративное обучение и тренинги;
• Комфортные условия труда;
• Современный офис;
• Официальную заработную плату.

Мы ждем с нетерпением вашего портфолио и надеемся видеть Вас в нашей команде!