Data Engineer

Наша команда инфраструктуры аналитики помогает аналитикам делать свою работу. Мы обеспечиваем доставку данных в единое хранилище для аналитики и поддерживаем инструменты для их обработки и презентации.

В компании много самодостаточных команд. В каждой команде свои сервисы, свои разработчики и аналитики. Так что у нас достаточно потоков данных самого разнообразного формата и объема. Это данные о букингах, на которые смотрит вся компания, и каждая запись проверяется чуть ли не руками, а еще — данные о билетах объемом более терабайта в сутки. Это требует разных подходов с нашей стороны.

Работаем на современном стеке на базе LakeHouse архитектуры: Spark, Trino, AWS S3, DeltaLake format, DBT, Kafka, Airbyte, Apache Airflow, DataHub, Great Expectations.

Нам нужен еще один дата инженер в нашу дружную команду, который в ближайшей перспективе будет сфокусирован на задачах одной из продуктовых команд.

Что нужно будет делать:

— подключение новых источников и разработка/модернизация data pipelines;

— настройка/поддержка аналитического окружения;

— отправка/обмен данными с внешними и внутренними сервисами;

— участие в принятии архитектурных решений для новой дата платформы;

— модернизация текущей дата платформы вместе с Core командой дата инженеров.

Что мы ждем от тебя:

— опыт работы инженером данных от 3 лет;

— отличное знание Python, SQL;

— опыт разработки процесса для тестирование данных;

— опыт работы и внедрение дата каталогов будет большим плюсом;

— умение строить высоконагруженные streaming и batch пайплайны;

— опыт работы в нашем стеке Apache Spark, Apache Airflow, Trino будет плюсом;

— опыт работы с Kubernetes, Terraform и с с AWS приветствуется;

— самостоятельность и ответственность, умение коммуницировать с разными командами и людьми;

— желание развиваться и выстраивать процессы вокруг себя.

Как мы работаем:

— в любой точке мира: не привязываемся к локации, платим в долларах, любим путешествовать;

— без бюрократии: удобные процессы здорового человека, горизонтальные и открытые коммуникации, быстрое обсуждение идей и принятие решений;

— компенсируем: ДМС, психотерапию или иностранные языки, занятия спортом и больничный;

— на райском острове: можно работать на Пхукете с видом на океан.