Backend
June 1
ID 3840.Python developer
Ставка: до 1 290 р./час(*указывайте в форме ставку с налогами)
Требования
- Опыт работы в роли Python-разработчика от 2 лет.
- Уверенное знание MPP-баз данных — Greenplum (или аналогов: Redshift, Vertica).
- Умение писать сложные SQL-запросы, понимание партиционирования, distribution keys, работы с большими объёмами данных.
- Знание PostgreSQL: индексы, транзакции, оконные функции, работа pg-драйверами.
- Уверенное владение Python для задач обработки данных: pandas, psycopg2 / SQLAlchemy для работы с БД, boto3 для Object Storage, requests для работы с REST API.
- Умение писать читаемый, поддерживаемый код.
- Опыт работы с Apache AirFlow: написание DAG-ов на Python, управление зависимостями, настройка расписаний, мониторинг и отладка.
- Понимание принципов ETL.
- Опыт работы с Informatica (или аналогами: Talend, dbt, SSIS) будет плюсом.
- Умение реализовывать загрузку CSV и структурированных данных в БД
- Опыт работы с S3-совместимыми хранилищами (Yandex Object Storage, AWS S3 и пр.) — загрузка, хранение промежуточных и выходных данных.
Задачи
- Разработка и поддержка витрин данных: Проектирование и реализация физических моделей данных, написание сложных SQL-запросов для формирования аналитических витрин и отчётов.
- Оптимизация производительности: Анализ медленных запросов, настройка партиционирования и распределение данных (distribution keys) в MPP-системе для повышения скорости обработки.
- Создание ETL-пайплайнов: Разработка и поддержка автоматизированных процессов извлечения, преобразования и загрузки данных с использованием Apache AirFlow.
- Интеграция систем: Написание Python-скриптов для сбора данных из внешних источников через REST API (requests), их предварительной обработки (pandas) и последующей загрузки в базу данных (psycopg2, SQLAlchemy).
- Работа с данными в облаке: Организация процесса выгрузки обработанных данных и сырых логов в объектное хранилище (S3/Yandex Object Storage) для долгосрочного архивирования или передачи другим сервисам.
- Мониторинг и отладка: Настройка мониторинга состояния DAG-ов в AirFlow, оперативное решение инцидентов и проблем с производительностью пайплайнов.
Тип работ: Outstaff / FullTime
Для рассмотрения специалиста необходимо заполнить форму