Senior Data Engineer

Основные задачи

• Взаимодействие с владельцами данных по вопросам сбора и качества данных, проведение системного анализа источников
• Разработка и поддержка пайплайнов загрузки данных на Python с использованием DAG’ов Airflow
• Разработка dbt-моделей по ключевым бизнес-процессам по схеме «звезда», создание витрин данных
• Автоматизация процессов, настройка CI/CD пайплайнов, мониторинга и алёртинга
• Участие в развитии процессов Data Quality, Data Catalog и Data Lineage, а также инфраструктуры платформы данных
• Взаимодействие с BI разработчиками и аналитиками

Мы ожидаем

• Опыт работы с PostgreSQL как источником данных для ELT (понимание OLTP-структуры, извлечение без нагрузки на прод, работа с репликацией/CDC)
• Глубокое знание ClickHouse: архитектура и внутреннее устройство (движки, партиционирование, репликация, шардирование), оптимизация запросов и производительности
• Опыт разработки на Python: ELT-пайплайны и DAG'и Airflow, проектирование архитектуры сервисов, разработка внутренних фреймворков и инструментов
• Уверенное знание SQL и опыт оптимизации запросов
• Понимание принципов построения DWH
• Опыт работы с dbt
• Уверенное владение Linux, Docker, Git, CI/CD

Будет плюсом

• Опыт работы с Kafka
• Опыт настройки и поддержки CDC
• Опыт работы с S3
• Опыт работы с облачной инфраструктурой: виртуальные машины, сети, сетевые диски, бэкапы, IAM; опыт работы с Terraform
• Опыт работы с Data Lake архитектурой (Trino, Spark, форматы Parquet, Iceberg)
• Навыки администрирования ClickHouse

Про здоровье и спорт

• Ежемесячная надбавка за некурение
• ДМС + стоматология + офисный врач* (с первого дня работы)
• Компенсация психологических консультаций: онлайн или в кабинете психолога
• 50% оплата абонемента в фитнес-клуб и спортивный зал в офисе*
• Внутренние спортивные турниры, корпоративные тренировки и участие в спортивных мероприятиях (забеги, велозаезды, заплывы, «Гонка героев», кибертурниры)
• Офисный душ*

Про досуг

• Образовательные мероприятия (мастер-классы, лекции, квизы, экскурсии)
• Тематические киновечера и регулярные вечера настолок (обожаем DnD и спортивную мафию!)
• PlayStation zone*, кикер и настольный теннис
• Несколько крупных тусовок в году, а также зимой ездим гонять на сноубордах и лыжах, а осенью в пейнтбол

Про развитие

• От 50% до 100% оплаты обучения английскому и еженедельные бесплатные разговорные клубы с носителями
• Внутренние обмены знаниями: lightning & thunder talks, Selectel MasterClass
• Внутренняя база знаний и курсов
• Рекомендации по обучению и развитию
• Персонализированный подход к обучению, возможность участия в конференциях по всему миру
• Онлайн-библиотека Alpina Digital

*пока что только для питерского офиса