Aleksei Bogatyrev

Собесы ДЕ: Топ технологий и вопросов ОСЕНЬЮ 2025 года

2025-09-22T02:15:40.528Z

Превью

Введение

В найме есть 2 пиковых сезона:

Сентябрь - Ноябрь
Февраля - Май

А уже начало октября. Давно пора выходить на рынок.

В статье разберем:

Что там по рынку
Какой актуальный стек
Топ вопросов для собесов
И советы по подготовке

Статья будет полезна всем, кто собирается искать работу ДЕ в ближайшее время

Кто я

Я - Алексей Богатырев. В IT 5 лет. Работал в топ банках по типу Райффайзенбанк и Альфа банк.

Сейчас работаю техлидом в Денум. Занимаюсь менторством и вкатываю людей в DE.

В тг канале более подробно рассказал про свой путь

Что видно по вакансиям?

Статистика собиралась с хх.ру. По сути - это единственный адекватный агрегатор на данный момент

КАК Я ДЕЛАЛ АНАЛИЗ

Я собрал 300 вакансий, проанализировал их и для начала вычленил топ обязанностей.

Чтобы было наглядно я нарисовал графики

Смотри - на первом графике мы видим что в твоих обязанностях чаще всего будет работа с SQL и ETL процессами.

Проектирование и Построение витрин тоже попадается, но реже.

Топ обязанностей.

Дальше надо бы понять какой топ технологий сейчас на рынке. Я посмотрел как часто встречалась технология.

Их получилось 12.

На втором графике у нас получается что прям топ это SQL, Python, Airflow
Но дополнительно еще - Greenplum, Spark, Clickhouse и Теория DWH

Топ технологий, которые часто встречаются в вакансиях

Отдельная технологии это прикольно, но надо еще знать их комбинации.

Я взял топ технологий и глянул какие связки из этих технологий чаще всего встречаются в вакансиях.

(Обещаю, это последний график)

На третьем графике самые основные связки это Python + SQL, ETL + SQL, ETL+ Python, Airflow + SQL, Airflow + Python

Набор этих 5 связок встречался в среднем в 70%+ вакансий

Частые связки из 2 технологий

А чо по Hadoop?

По стате Hadoop встречается в 18–19% вакансий и он даже не попал в графики. Чаще всего он не обязателен, а идет как "плюс".

Компании потихоньку от него отказываются. Hadoop остаётся в основном в банках.

А облака?

Западные облака (AWS / Azure / GCP) — встречаются в 5–7% вакансий.
Локальные облака (Яндекс Cloud, VK Cloud) — в 8–10% вакансий.
S3-совместимые хранилища (MinIO, Yandex Object Storage) — в 15% вакансий.

Западным облакам тяжко в РФ (известно почему), а вот РФ решения чувствуют себя получше

Актуальный стек

И вот что мы получаем:

Актуальный стек сейчас это SQL, PYTHON, AIRFLOW, и Теория ДВХ.

Последнюю на практике спрашивают гораздо чаще, чем оно есть в вакансиях.

Такое комбо технологий есть в 70-75% вакансиях. Это те самые 20% усилий которые дадут 80% результата.

Топ ВОПРОСОВ для собесов

Теперь мы знаем конкретные технологии. Встает вопрос, а что конкретно учить по ним?

Вот некоторые самые частые вопросы:

SQL

Порядок выполнения команд
Физические Join
Как оптимизировать запрос?

Python

Основные коллекции. Изменяемые и неизменяемые типы
Декоратор
Генератор и итератор

Теории DWH

SCD
OLTP vs OLAP
Индексы в БД

Airflow

Хуки. Чем отличается от Оператора?
XCOM
Сенсоры. Какие использовал?

А как подготовиться к собесам?

Есть много гайдов, как быстрее получить оффер. И я подумал - надо бы свой гайд сделать.

Вот, например, в сентябре я сходил на собес в Райф (больше по приколу).
Узнать как там по ЗП и усложнился ли собес:

Оффер Райф

Ну офферы моих учеников:

Раз Оффер

Тут ученик буквально искал работу мидлом, но прошел на техлида))))

Два Оффер

КАК ЛУТАТЬ ТАКИЕ ОФФЕРЫ

Если хочешь также, то ты 100% должен ИДЕАЛЬНО знать ответы на самые частые вопросы.

Топ 30 вопросов с ответами ищи в моем тг канале

Data Engineer: Индивидуальное наставничество с доведением до трудоустройства

2025-06-28T22:06:29.466Z

Сейчас я подробно расскажу, что тебя ждет во время нашей совместной работы.

Почему я

Я в IT суммарно 5 лет, прошел путь от локальных компаний до топ банков.

Мой путь

Максимум получал 460к, работая по 3 часа в день
Работаю техлидом, провожу собеседования и набираю людей. У меня в подчинении 5 ДЕ.
Получаю 810к. С премиями выходит около 1кк.
Мои ученики устраиваются на 300к за 2 месяца обучения

В тг канале более подробно рассказал про свой путь

Обучение

Как тебе такой роадмап?

Самый быстрый способ бросить обучение)

И вот по этому ~~роадмапу~~ жести ты выгораешь, путаешься и бросаешь нахер всю эту затею. А если и осилишь это все, то сколько времени у тебя на это уйдет? Год, два, три...

А что если я скажу что тебе все это ~~не надо~~ вредно учить? Тебе 70-80% знаний в этом роадмапе в работе не нужны.

Принцип моего обучения - убираем ненужное, оставляем важное

Цель моего обучения - это трудоустройство и прохождение испыталки в кратчайшие сроки, а не копошение в ~~говне~~ тонкостях каждой технологии. Оставим это веселье снобам-сеньорам.

Как выглядит обучение у меня?

Этап 1

ВАЖНО

Я сопровождаю тебя на каждом блоке.

Не бывает глупых вопросов - мне нужно, чтобы ты усвоил весь материал и успешно нашел работу

Первым делом ты проходишь онбординг, где ты найдешь:

Описание инфраструктуры и каждого отдельного сервиса
Как и где получить доступ к ней
Пошаговые гайды текстом (и через видео) как подключить эти сервисы и пользоваться ими

Получишь доступ к Хабу где указаны:

Все сервисы, поиск по названию и тегам
Их краткое описание, ссылки на них
Развернутую документацию

Хаб инфраструктуры

И уже после прохождения онбординга ты переходишь к обучению

Сроки обучения индивидуальны, но в среднем люди доходят до оффера за 4-5 месяца.

Вот ты ко мне пришел, хочешь обучаться. Что дальше?

Ты получаешь список материалов, учишь теорию, выполняешь задания, я их проверяю.
Созваниваемся и разбираем любые твои вопросы 1 раз в неделю

После освоения теории, практики и пет проектов ты получаешь:

полное понимание архитектуры
как именно сервисы взаимодействуют между собой

И дальше ты переходишь на 2 этап, где я подготавливаю тебя к собесам:

Этап 2

И уже тут наконец ты идешь на испыталку

Этап 3

Ну, ты уже понял. Я сопровождаю тебя все время с полного нуля и до момента пока ты не закроешь испыталку.

Быстро найдешь работу, да еще и менталку себе сбережешь.

Условия обучения

У меня самая справедливая система оплаты.

Сначала ты платишь небольшую сумму и мы начинаем работать.
Остальную часть ты платишь ПОСЛЕ того как устроишься на работу.

8к/месяц в рассрочку от банка или 2 платежа по 40к (суммарно 80к) + 150% от суммы оффера уже ПОСЛЕ трудоустройства (Первые 3 месяца испыталки по 50% от ЗП)

Поддержка в чате почти 24/7
Созвоны раз в неделю по твоей инициативе
Составление резюме и легенды
Мок собеседования на каждом этапе
Просмотр твоих собеседований

Полное доведение до оффера
Помощь в закрытии испыталки
Оплата уже после того, как нашел работу
Список вопросов с реальных собеседований

Я работаю официально через ИП и плачу налоги. Оплата и рассрочки также проходят официально. В соответсвии с офертой возврат средств за обучение возможен только в течении 7 дней после оплаты

Гарантии

Нужно понимать, что я не могу за тебя:

Ходить на собеседования
Решать тестовые задания
Изучать материалы

НО я могу гарантировать трудоустройство если:

Ты готов уделять обучению от 2-3 часа каждый день
Ты мотивирован найти работу

Я даю только необходимые материалы, но ты должен проделать много самостоятельной работы.
По 2-3 часа каждый день. На протяжении 4-5 месяцев.

Чем больше времени ты будешь учиться - тем быстрее получишь работу

Что по итогу?

У тебя есть 2 варианта:

Обучение со мной
Самостоятельный поиск работы

НО

Если будешь искать работу сам, то скорее всего найдешь ее за год (если вообще найдешь). Со мной - за 3 месяца.

9 месяцев * 300 000 руб/месяц = 2 700 000 рублей.

Это почти 3 млн....сколько всяких ништяков ты бы купил? Мб купил бы машину? Или мега комп чтобы играть в любимые игры?

Да и за 9 месяцев испыталка давно закрыта, работаешь почти год, сгонял в 1-2 отпуска и думал бы уже о смене работы на большие деньги...

Результаты моей работы

Например, моему менти после выхода на рынок за неделю написали 75 hr

переписка 1

15 из которых ему написало в 1 день.

переписка 2

За неделю собесов он получил 2 оффера. Вот один из них:

320к до вычета налогов + годовая премия

оффер. Принял он кстати другой)

ДО обучения он зарабатывал 50к, ПОСЛЕ начал 330к. Появилось куча времени и денег чтобы ходить в походы, зал, вкусно кушать и просто кайфовать

Вот еще офферы других моих учеников:

Буквально искал работу мидлом, но прошел на техлида))))

Устроился по ИП. Найти по ИП работу сейчас довольно тяжело и муторно)

Что дальше?

Приглашаю тебя в личку со мной обсудить возможности твоего быстрого вката

Анализ рынка ДЕ в 2025 году

2025-06-17T12:27:07.469Z

Превью

Введение

В последнее время мои ученики начали часто задавать вопросы про найм.

- Вот раньше было легко вкатываться в DE. А сейчас как?
- А я сейчас вижу в тг людей кто не может найти работу в DE
- Про фронтенд и бэкенд слышал, а про DEсовсем ничего. Это направление точно актуально?

Поэтому я решил написать статью чтобы сразу ответить на все вопросы.

В сегодняшней статье разберем:

Простым языком про DE
Тренды рынка и куда он движется
Найм в целом и зп
Грейды и типы собесов
Актуальный стек

Кто я

Я - Алексей Богатырев. В IT 5 лет. Работал в топ банках по типу Райффайзенбанк и Альфа банк.

Сейчас работаю техлидом в Денум. Занимаюсь менторством и вкатываю людей в DE.

В тг канале более подробно рассказал про свой путь

Кто такой этот ваш DE

Представь, как ты заходишь в Яндекс.Музыку, включаешь свою Волну

Яндекс.Музыка. Моя волна.

И тут начинает играть просто неебический трек, но ты слышишь его впервые в жизни.

Он словно идеально подобран под тебя... Это нейронка Яндекса подобрала его исходя из сотни тысяч пользователей с похожими на твои музыкальными вкусами

Так вот.

Data Engineer (DE) - это тот, кто все эти данные с пользователей собрал и передал для тренировки нейронки

Рынок DE

Данные - новая нефть.

В этом уже никто не сомневается. Это конечно прикольно, но куда вся эта движуха идет? И куда важнее что все это значит для нас.

Бизнес любит собирать инфу

Вот кайфует он от этого.Хочет знать что ты ищешь в инете, что покупаешь, о чем пиздишь с друзьями. И вообще а чо бы тебе такого впихнуть?

Вот и собираются аналитики, графики смотрят и много думают. А чтобы им было над чем думать - нужны DE.

Они и данные соберут и гадость всякую оттуда выкинут и красиво подадут. Нужные ребята.

Насколько бизнес любит собирать инфу

А вот если данные собираются, все с кайфом но чет долго. Что делать? Раньше бизнес любил залить деньгами чтобы снова все было классно. Но сейчас уже не получается, а делать что-то с этим надо.

И бизнес стал очень любить качество доставки данных. Вот без лишнего вливания бабла чтобы все работало как надо.

А тут подключился бизнес поменьше. Данных у них поменьше, но они также хотят урвать свой кусок. Да и инфра для данных перестала стоить как крыло от боинга. Теперь им тоже нужны DE.

Из исследования «Мониторинг цифровой трансформации бизнеса» Института статистических исследований и экономики знаний (ИСИЭЗ) НИУ ВШЭ:

Треть организаций уже работающих с биг датой начали делать это после ковида

Более 50% компаний пользуются биг датой

65% организаций отметили что у них отлаженен процесс работы с большими данными

Внедрение нейронок

Сейчас они абсолютно везде. Умные ленты, рекомендации, подборки...

Бизнес хочет нейронки в своих приложениях, а вкатуны повально хотят писать нейронки, но ДАЖЕ НЕ ЗНАЮТ, что нейронки тренируются на том что собрал DE.

Импортозамещение и рост данных

В 22-ом году западный бизнес сказал пока и пошло импортозамещение. Вот подъехала еще работа для DE. Ну и самих вакансий стало больше.

Из исследования Notamedia:

Российский рынок разработки ПО вырос на 12,5% до 1890 млрд рублей.

В ближайшие годы ожидается ускорение темпов роста на 13-15%

По оценкам Минцифры, уровень внедрения российского общесистемного и прикладного ПО в 2022 г. составлял 50% — оценка также была обнародована в октябре 2023 г. Планируется, что в 2023 г. он увеличится до 54%, в 2024 г. — до 58%, в 2025 г. — до 63%, а к 2030 г. достигнет 71%.

Сами данные пухнут, их все больше. Больше и новых компаний, а они тоже хотят вступить в гонку за данными. DE это очень кстати.

Рост объема данных

И что получается?

ЗП растут, вакансий становится больше. DE всем нужны и будут нужны еще очень долго.

Ну вот нужны спецы, которые будут данные собирать и что-то с ними делать.

Без таких людей процессы просто встанут.

Единственное что с улицы теперь не залететь. Нужно немного больше постараться, но если следовать простым правилам, то залететь - изи.

В тг канале более подробно рассказал про то насколько DE востребован

Поломанный найм

Я и мои менти проходим много собесов. Плюс сам собеседую людей.

Компании не понимают как собеседовать людей.

Чаще всего - прохождение собесов это рутина. На той стороне есть опросник или же просто погуглили вопросы по каждой теме.

Быть чуть умнее большинства гарантирует получение оффера.

Лайфкодинг

На собесе тебя просят расшарить экран или дают ссылку где ты будешь от 1 до 4 задачек в реал тайме по sql и(или) python. Задачки не сложные, обычно подготовки на leedcode достаточно.

Ниже реальные кейсы лайфкодинга на собесах

По Python.

1) Необходимо в массиве найти повторяющиеся значения, если такие найдены, вернуть-True, иначе-False

Input: nums = [1,2,3,1]
Output: true

Input: nums = [1,2,3,4]
Output: false

2) Имеется 2 массива, один содержит название, второй значения необходимо получить значение score_2, 
если score_2 - нет, то значение будет 0.23241

Input:
names = ['score_1', 'score_2', 'score_3']
values = [0.2323, 0.12131, 1.2241]
Output: 0.12131

Input:
names = ['score_1', 'score_3', 'score_4']
values = [0.2323, 0.12131, 1.2241]
Output: 0.23241

По SQL

Напишите SQL-запрос над таблицей user_activity_log, который вернёт три поля: 
client_id — идентификатор клиента;
month — месяц данных (должен иметь тип date);
visit_to_login_events — количество событий типа login, следующих сразу, 
без каких-либо промежуточных событий, после события visit за месяц.

Необходимо вычислить метрику в витрине  
visit_to_login_events - количество событий типа login после события visit за месяц по каждому клиенту. 
Промежуток времени между событиями не ограничен.

Таблица user_activity_log

client_id   hitdatetime action
123         2023-11-23:00:00:00  login
123         2023-11-23:00:01:11  visit
123         2023-11-23  visit
125         2023-11-23  visit
123         2023-11-24  visit
125         2023-11-23  login

Алгоритмы

Подтип лайфкодинга. Спрашивают про сложность кода.

Вот ты решаешь задачку по лайфкодингу, у тебя есть решение:

nums = [4, 5, 1, 2, 0, 4]
# → 5

from collections import Counter

def first_unique(nums):
    freq = Counter(nums)  # O(n)
    for num in nums:      # O(n)
        if freq[num] == 1:
            return num
    return None

И тут тебя спрашивают про сложность по времени и памяти.

В данном случае будет линейная - 0(n).

Но на собесах также часто попадаются:

O(1) -Константная
O(log n) Логарифмическая
O(n^2) Квадратичная

Может будет что-то поэкзотичнее

И да - они тебе никогда не пригодятся на работе

Но иногда на душных собесах они попадаются. Тебе о них говорят заранее, если спросишь у hr.

Архитектурный этап

Отдельный душный этап. Тебя просят спроектировать пайплайн, архитектуру DWH или как бы ты реализовал стриминг. Вкидывают минимальные данные, чо надо - а дальше крутись как знаешь.

Я бы не советовал на первый парах туда идти, но если все таки пойдешь то вот пара советов:

Задавай вопросы (от тебя этого ждут)
Описывай все поэтапно
Старайся не терять контекст
Объясняй выбор инструментов

По прохождение собесов понятно, а чо по рынку?

Как сейчас дела на рынке

Из нового, бустанулась веселая вещь - сервисы по отсеиванию резюме. Такие сервисы и раньше были, новнедрение нейронок все изменило. Теперь сначала твое резюме смотрит не человек, а сервис с нейронкой на борту.

Сайт хантфлоу

И появилась нехилая вероятность того что твое резюме просто не посмотрит живой человек. Оно просто до него не дойдет, его отсеет нейронка.

Т.е. начинает решать навык написания резюме и умение продавать себя. Идея накрутки опыта становится необходимостью.

По грейдам и зп:

Сначала про количество вакансий и средние зп на агрегаторах и прочее. Поглядим на стату в гетматч, ХХ.ру и то что собрали независимые ребята.

В хх.ру общее количество вакансий около 1500, но указаны зп только у 300. Средняя зп 250-300к.

hh.ru

В getmatch меньше выборка но по зп более понятно. Можно выбрать вилку и глянуть вакансии. Прикольно и удобно.

getmatch

Тут еще получше, но наверно лучше по DE и не будет. Ребята собрались и организовали более независимую стату.

Независимая статистика

Но это все оффициальная стата, которая не пойми как собирается.

Поэтому каждому надо собрать свою статистику по вакансиям.

Вот моя статистика

Джун. По зп - залупа за воротник. Даже не смотри. Идти на джуна вообще не имеет смысла.

Мидл. По зп - 300-370к. Легко можно залететь на первую работу, если правильно подойти к обучению.

Сеньор. По зп - 400к+. Потолок очень размыт, но где-то 500-600к в топ вакансиях. Лучше пытаться идти сюда после того как уже устроился на мидла. Для первой работы можешь выгореть или просто не вывезти.

Стоит понимать что грейды это вообще условная штука. Могут на Мидла дать 400к+, а могут за Сеньор дать 300к.

По типам собесов:

Вопрос-ответ.
Это высокий приоритет по поиску работы, к нему легче готовится, быстрее можно получить оффер. Зп 300-350к.
Таких собесов больше всего - 80%.

Многоэтапные собесы.
Приоритет - кал. Ты сможешь не пройти 1 этап и тебя скипнут, а потратишь много времени. По некоторым таким собесам процесс получение оффера может затянуться до 6 месяцев.
Из сомнительных плюсов - ЗП 400к+ (но на деле довольно редко) и я очень советую заранее подумать чем влипать в такие собесы.
Таких собесов - 10%.

Как пример, в Авито можно пройти и залутать оффер в 450-500к. Но часто они на этапе оффера занижают планку до средней.

Пиздеж по опыту.
Чел смотрит твое резюме и гоняет по кейсам, стеку, направлению домена. Может уйти вообще в изотерику или же прийти к холивару.
Приоритет средний. Непонятно как готовится, но потенциально может быть интересное общение.
Нужен опыт реальной работы - без него будет очень тяжко. Гарантия получения собеса средняя. Зп 300-350к, иногда бывают можно выбить 400к+.
Таких собесов - 7%.

Доеб по технологии.
Берется 1 технология (чаще всего самая важная для проекта) и по ней копают насколько ты хорошо знаешь. Душная херня, вообще не интересно.
Приоритет низкий. Подготовиться можно но отнимаешь слишком много времени.
Зп 300-350к, иногда бывают можно выбить 400к+.
Таких собесов - 3%.

Поверь - оно тебе не надо.

Еще раз - ты можешь идеально пройти собес, но тебя не возьмут. Потому что ты чем-то не понравился.

Это нормально, просто иди на след собес. Не надо грызть себя за это.

Актуальный стек для DE

Всегда роляют общие принципы а не конкретные технологии.

Даже если смотреть на технологии - стек не особо меняется.
Опен сорс прикольно и удобно.

Новое есть, но бизнесу на них обычно похер. Он просто не хочет рисковать, пробовать.

Но все-таки с 22-года есть изменения.

Напомню про минималку

Зарисовка минимального стека ДЕ

В тг канале более подробно рассказал про минималку
Еще и заснял видео на своем ютуб канале

А теперь про сами изменения на рынке.

Clickhouse чаще начали писать в вакансиях, чаще стали юзать. Он и до этого был хорош, бизнес его любил, еще и условно бесплатный.
Прям мастхев.

С GreenPlum тоже самое что и с Clickhouse, но есть проблемы опен сорсовости. Решается накаткой бесплатной версии. Бизнес тоже его любит.

Облака встречаются редко. Западные рабята и их инфра ушла (aws, azure), но появились рос. аналоги(vk, yandex). С ними пока идет туго. Кто
знает что будет дальше но пока бизнесу прикольнее с s3 minio и т.д.

На классике стека вышли новые версии с прикольными фичами.

Airflow, Kafka, Clickhouse, S3 minio, Greenplum и т.д.

В заключении

Выходит так.
DE нужны. Очень нужны. И будут нужны дальше.

Также можете подписаться на мой канал. Там много чего будет выходить про стек DE и про тенденции рынка.

Сейчас готовлюмега материал по моему эксперименту с резюме и что из этого вышло.
Будет весело)

Менторинг в Data Engineering

2025-03-21T13:37:28.874Z

Привет! Я дата-инженер с опытом прохождения собеседований в бигтех, аутсорс, зарубежные русскоязычные компании. За 2024 год больше 10 технических собеседований.

В IT уже 4 года, из них 2 года как Data Engineer. Пока только на СНГ рынок.

Через тернии — к звездам

Все суммы указаны чистыми

в 2022 повысил свою ЗП в 4 раза, пройдя около 5 собеседований
в 2023 перешел на DE с повышением в 3 раза с 2 работ, пройдя порядка 15 собеседований. Тратил на 2 работы 4-6 часов
в ноябре 2024 получил оффер на 460к
продолжаю ходить на собеседования и анализировать рынок в поисках вкусного оффера

С чем помогу?

Получить заветный оффер и успешно пройти испытательный срок
Ревью резюме
Мок-собеседование
Проработка менталки(страх, неуверенность, тревожность и т.д.)
Советы и практики как вывозить 2 работы без вреда менталке
Оптимизация работы - максимум дохода в час, минимум рабочих часов.

Самое главное - это формирование правильного майндсета

Научиться решать проблемы в найме.
Не бояться собеседований, а успешно их проходить.
Беречь свою менталку

С чем не помогу?

проходить собеседования за тебя
делать тестовые
добиваться результатов без твоих личных усилий

Услуги и цена

Вводный созвон

Первый звонок на 30 минут — бесплатный ознакомительный (познакомимся, поймем есть ли мэтч, оценим масштаб работы).

💰Бесплатно

Сопровождение до оффера/ Рейз ЗП

Предоставлю необходимый роудмап
Оптимизирую твое резюме и подготовлю легенду
Проведу мок-собеседование с обратной связью
Буду проводить регулярные созвоны
Поддержка в чате вплоть до успешного прохождения испытательного срока

💰 49 000 руб. + 150% оффера (можно рассрочкой)

💬Как созвониться?

Для связи → Telegram

Пиши в любое время сообщение:

Указав текущий блокер
Расскажи от какой точки стартуем (что нравится, какие есть скиллы, волнующие проблемы)
Сформулируй цель через SMART
Подумай над тем, какие шаги нужны для достижения этой цели
Подумай, на каких этапах могут возникнуть проблемы, что может являться блокером в процессе

Юридическая информация и документы