\" [] _ () "/

PostgreSQL. Использование USING и RETURNING в команде DELETE.

2026-01-17T08:32:44.404Z

В заметке рассказывается использование предложений USING и RETURNING в команде DELETE.

Воспользуемся известной схемой SCOTT. Допустим, мы хотим удалить из таблицы emp всех работников из департамента с названием SALES.

Таблица департаментов dept

По стандарту эту задачу можно решить так:

delete
from scott.emp e
where e.deptno in (select deptno from scott.dept d where d.dname = 'SALES');

Но PostgreSQL при удалении позволяет ссылаться на столбцы других таблиц в условии WHERE, когда эти таблицы перечисляются в предложении USING. Таким образом решение указанной задачи с использованием предложения USING выглядит так:

delete
from scott.emp e
using scott.dept d
where e.deptno = d.deptno and d.dname = 'SALES';

По сути, это дилит с джойном. В MS SQL Server можно было бы в лоб написать join (код ниже), а PostgreSQL пошёл своим путём.

-- вариант удаления в ms sql server через join 
-- (но это не точно, пишу по памяти)
delete e
from scott.emp e
join scott.dept d
  on e.deptno = d.deptno and d.dname = 'SALES';

В документации пишется, что "В ряде случаев запрос в стиле соединения легче написать и он может работать быстрее, чем в стиле вложенного запроса". Так это или нет можно убедиться только на практике.

Кстати, чтобы посмотреть реальный план команды DELETE без фактического её выполнения, можно начать транзакцию, выполнить explain analyze запроса, и потом откатить выполнение командой rollback (рисунок ниже).

Просмотр реального плана выполнения команды с последующим откатом.

Если бы вдруг перед удалением захотелось посмотреть, какие записи из таблицы удаляются, то помогла бы кляуза RETURNING.

Вывод удаляемых записей

Также RETURNING может использоваться в командах INSERT, UPDATE и MERGE для получения данных из модифицируемых строк. Подробно об этом можно почитать в документации.

P.S. А ещё кляуза USING может использоваться в ORDER BY. Если верить документации.

Синтаксис команды SELECT в доке

Но почему-то в статье документации 7.5. Сортировка строк (ORDER BY) USING уже отсутствует. Может, плохо искал (

Python. Задачи с собесов (draft)

2025-12-15T15:19:30.478Z

В заметке приведено несколько задач с собесов, которые нужно было решать онлайн. Со временем возможно будут дополнения.

Задача: Написать функцию, которая считает сумму произведений всех элементов массива, исключая одно на каждом шаге. В массиве только положительные целые числа.

# multsum([1,5,6]) = 5*6 + 1*6 + 1*5 = 41

# multsum([1,5,6,7]) = 5*6*7 + 1*6*7 + 1*5*7+ 1*5*6 = 317

import math

def multsum(arr: list):
    total_product = math.prod(arr) # Вычисляем общее произведение всех чисел
    sum_of_excluded_products = 0
    
    for num in arr:
        sum_of_excluded_products += total_product // num
            
    return sum_of_excluded_products

Задача: Есть массив целых чисел и число K. Найти два таких (не обязательно различных) числа в массиве, сумма которых равна K, либо вывести, что таких чисел нет.

def find_two_sum(nums, K: int):
    """
    Находит два числа в массиве, сумма которых равна K.
    
    Args:
        nums: Список целых чисел.
        K: Целевая сумма.
        
    Returns:
        Кортеж из двух чисел, если пара найдена, или строка "null", если не найдена.
    """
    
    # Словарь для хранения чисел, которые мы уже встречали
    seen_numbers = {} 
    
    for num in nums:
        # Вычисляем число, которое дополнит текущее `num` до `K`
        complement = K - num
        
        # Если `complement` уже есть в нашем словаре `seen_numbers`,
        # значит, мы нашли нужную пару.
        if complement in seen_numbers:
            return (complement, num)
        
        # Если `complement` не найден, добавляем текущее `num` в словарь,
        # чтобы его могли найти на следующих шагах.
        # Значение в словаре (например, True или индекс) не имеет значения для этой конкретной задачи,
        # главное, чтобы ключ был добавлен.
        seen_numbers[num] = True 
        
    # Если цикл завершился, и мы не нашли пару, возвращаем "null"
    return "null"

Задача: Дана строка из латинских заглавных букв. Необходимо заменить все повторы одинаковых подряд идущих букв на букву + цифру. Одиночные буквы заменять не надо.

def compress_rle(s: str) -> str:
    """
    Сжимает строку: для подряд идущих одинаковых символов длины >= 2
    заменяет их на 'символ' + 'число'. Одиночные символы не меняет.
    Пример: "AAAABBB CAAA" -> "A4B3C A3" (пробелы сохраняются)
    """
    if not s:
        return ""
    
    res = []
    prev = s[0]
    count = 1
    
    for ch in s[1:]:
        if ch == prev:
            count += 1
        else:
            # Завершили блок
            if count == 1:
                res.append(prev)
            else:
                res.append(f"{prev}{count}")
            prev = ch
            count = 1
    
    # Добавляем последний блок
    if count == 1:
        res.append(prev)
    else:
        res.append(f"{prev}{count}")
    
    return "".join(res)

Задача о «Правильной скобочной последовательности» (Valid Parentheses)

Дана строка, состоящая только из символов скобок: '(', ')', '{', '}', '[' и ']'.
Определите, является ли входная строка валидной.
Строка считается валидной, если:

1. Открытые скобки должны быть закрыты скобками того же типа.

2. Открытые скобки должны быть закрыты в правильном порядке.

3. Каждая закрывающая скобка должна иметь соответствующую ей открывающую скобку того же типа.
Примеры:

Вход: s = "()" — Вывод: True
Вход: s = "()[]{}" — Вывод: True
Вход: s = "(]" — Вывод: False
Вход: s = "([)]" — Вывод: False
Вход: s = "{[]}" — Вывод: True

def is_valid(s: str) -> bool:
    # Словарь соответствия закрывающей скобки открывающей
    bracket_map = {
        ")": "(",
        "}": "{",
        "]": "["
    }
    
    # Стек для хранения открывающих скобок
    stack = []
    
    for char in s:
        # Если символ — это закрывающая скобка
        if char in bracket_map:
            # Извлекаем верхний элемент из стека, если он не пуст,
            # иначе присваиваем заглушку (например, '#')
            top_element = stack.pop() if stack else '#'
            
            # Если открывающая скобка из стека не совпадает с нужной для этого типа
            if bracket_map[char] != top_element:
                return False
        else:
            # Если символ — открывающая скобка, кладем её в стек
            stack.append(char)
            
    # Если в конце стек пуст — все скобки закрыты корректно
    return not stack

Реализация Data Vault в Pentaho DI. SCD2 для сателлитов.

2025-11-09T14:24:13.428Z

В заметке проверяется корректность пайплайна по сбору сателлита и реализации SCD2 при изменении данных на источнике.

В предыдущей заметке мы рассмотрели вариант реализации пайплайна по сбору Data Vault и его первичного заполнения. Но случай с изменением данных в источнике и его обработка в сателлите не был рассмотрен.

Будем тренироваться на таблице актеров, изменим актерам с ид 1 и 2 имена. До изменения они выглядят так.

Исходные данные

Пускай с сегодняшнего дня актёр с именем PENELOPE станет OLEG, а NICK - Petr. Сказано - сделано.

update sakila.actor set first_name = 
  case actor_id when 1 then 'OLEG' else 'Petr' end
where actor_id in (1,2)

Смотрим изменения

Актеры на источнике с новыми именами.

Выполняем трансформацию sat_actor, у нас должно появиться 2 новые записи в таблице сателлита и 2 старые записи должны закрыться текущей датой. Проверяем.

select * 
from sakila_data_vault.sat_actor
where hub_actor_id in (1,2)

Сателлит после работы трансформации.

На рисунке видно, что трансформация отработала корректно. SCD2 присутствует.

P.S. Если посмотреть код забора данных источника в трансформации, то видно, что каждый раз берутся все данные.

Код в степе, забирающий данные с источника.

В реальности, конечно, мы бы не стали при последующих запусках тащить все данные источника, а использовали бы в запросе условие-привязку к дате обновления на источнике.

from actor
where last_update > 
/* тут возможно будет дата предыдущего запуска трансформации
 чтобы взять только инкремент */
order by 1

Реализация Data Vault в Pentaho DI

2025-10-22T19:10:09.716Z

Это даже не заметка, просто ссылка на главу в древней книге "Pentaho Kettle Solutions" и мои комментарии, как можно этим воспользоваться. Приложена ссылка на sql-код для создания таблиц хабов, линков и сателлитов и файлы джобов и трансформаций Pentaho DI.

Итак, глава 19 Data Vault Management.

Источником является учебная БД Sakila, MySQL. В книге она описывается, но можно и тут про неё прочитать https://dev.mysql.com/doc/sakila/en/.

Почему-то репозиторий с файлами книги у меня на раз не нагуглился, поэтому выложил примеры к 19 главе на свой гитхаб. Все файлы джобов и трансформаций можно взять здесь

Там же находится файл sakila_data_vault_schema.sql с DDL формирующим таблицы хабов, линков и сателлитов.

Основная проблема, на которую я наткнулся при воспроизведении ETL из книги, это незаполненный степ Filter rows в трансформациях по сбору сателлитов (на картинке ниже)

Трансформация по сбору сателлита sat_staff.ktr

Баг со степом.

Я в паре трансформаций этот баг исправил, и сбор этих сателлитов завёлся.

Степ с заполненным условием

И, к сожалению, авторы не приложили sql-код для эмуляции изменений данных на источнике. Т.е. доступно только первичное наполнение данных, без инкремента. Так что для проверки корректности ведения SCD2 это тоже нужно будет делать самому.

После построения хоронилища по Data Vault предлагается натянуть на него star schema. Джобы и трансформации прилагаются, но их работоспособность и корректность я уже не проверял.

Файлы репозитория

И, кстати, странно, что не был создан финальный джоб, запускающий наполнение Data Vault целиком. Что-то вроде такого

Вариант финального джоба, которого в файлах книги нет.

В общем и целом для "потрогать" data vault приемлемый вариант.

SQL. Задачи с собесов (draft).

2025-09-17T19:54:58.525Z

Некоторые задачи из подборки не с собесов, а из тестовых заданий, которые раньше давали на дом. Была такая эпоха, до пришествия ChatGPT и прочих. Но сейчас такие задачи на онлайн кодинге наваливают. Все скрипты приведены для PostgreSQL.

Заметка будет дополняться со временем.

1)Имеется таблица курсов валют следующей структуры:

create table scott.rates(
curr_id int, — ид валюты
date_rate DATE, — дата курса
rate numeric)

Исходные данные.

Курс валюты устанавливается не на каждую календарную дату и действует до следующей смены курса

Уникальный ключ: curr_id + date_rate.

Напишите запрос, который покажет действующее значение курса заданной валюты на любую заданную календарную дату.

Требуемый результат:

Для валюты 1 на 03.01.2010 получить курс 32

Для валюты 2 на 10.01.2010 получить курс 41

Решение через оконные функции самое универсальное, хотя в PostgreSQL можно решить через distinct on - см заметку (а в Oracle через keep (dense_rank ...)).

Решение:

with prep as (
select * 
,row_number() over (partition by curr_id order by date_rate desc) rn
from scott.rates
where true
and curr_id = 1
and date_rate <= '2010-01-03'
)
select * from prep where rn = 1

Также собеседующий может поинтересоваться, как такую задачу можно решить без оконных функций - на собесе в Т такое было емнип.

2)Посчитайте по таблице FactSales скользящее среднее по продажам (поле SalesAmount) за окно в 3 дня (время в поле OrderDate) в разрезе StoreId, ProductId.

FactSales
OrderDate
StoreId
ProductId
SalesAmount

Решение:

Select f.*
, avg(FactSales) over(partition by StoreId, ProductId 
order by OrderDate rows between 2 preceding and current row) running_avg
From FactSales f

3)Дана таблица валют (справочник), необходимо написать запрос, который возвращает отсортированный список валют в алфавитном порядке по столбцу ISO_CODE, причем первыми должны идти основные валюты, с которыми работает банк: RUR, USD, EUR.

create table scott.currency_dict (iso_code text, iso_name text);

Исходные данные.

Решение:

select
iso_code,
iso_name
from scott.currency_dict
order by 
  case iso_code when  'RUR'then 1 when 'USD' then 2 when 'EUR' then 3 end
  , iso_code

4)Необходимо получить в результате запроса только актуальные данные по каждой товарной позиции и дате начала действия ее цены
из этих данных построить периоды действия где дата окончания действия текущей цены является датой начала действия следующей -1 день

create table scott.scd2 (  
article     int,     --id товарной позиции
price       numeric,   --цена
date_from   date,    --дата начала действия цены
date_change date    --техническое поле даты изменения версии строки SCD2
)

Исходные данные

Требуемый результат

Честно признаться, ни на собесе, ни сейчас не понял, что нужно сделать. Мутное ТЗ. Нужно уточнять, пока такой вариант решения.

with base as (
select
    article,
    price,
    date_from,
    row_number() over (partition by article, date_from order by date_change desc) as rn
from scott.scd2

)
select
    article,
    price,
    date_from,
    lead(date_from, 1, '4000-01-01'::date) over (partition by article order by date_from) as date_to
from base
where rn = 1

5) Вариация на тему задачи 1

Исходные данные

Напишите sql запрос, который будет переводить сумму транзакций из rub в usd (ccy_code = 840) с учетом того, что в таблице rates данные только за рабочие дни. Транзакции, совершенные в выходные, пересчитываются по курсу последнего рабочего дня перед праздником/выходным. Результат: Клиент, дата, сумма операций в usd.

Решение:

select client_id, t.report_date, txn_amount/r.ccy_rate amount_usd
from dbo.transactions t
left join lateral
(select * from dbo.rates r 
where r.ccy_code  = '840' 
and r.report_date <= t.report_date 
order by r.report_date desc limit 1) r 
  on true

Это, кстати, частый обоснованный пример использования lateral join - получение TOP N значений в внешнем запросе. В том же MS SQL Server 2005 такое ещё 10+ лет назад приходилось делать, но используя кляузу outer apply вместо lateral join. В оракеле с 12 версии тоже так можно делать.

Исходные данные

В таблице oper_data содержится информация по транзакциям клиентов в офисах физической сети. txn_type принимает значения debit, credit

Напишите sql запрос, который для каждого клиента выводит сумму debit, credit операций и последний посещенный офис по месяцам. Результат представьте в виде:

Формат требуемого результата

Решение:

select client_id, report_date
,sum (case when txn_type = 'debit' then txn_amount else 0 end) over (partition by client_id, date_part('month', report_date)) debit_amount
,sum (case when txn_type = 'credit' then txn_amount else 0 end) over (partition by client_id, date_part('month', report_date)) credit_amount
,last_value (office_number) over (partition by client_id, date_part('month', report_date) 
  order by report_date  rows between unbounded preceding and unbounded following) last_office
from dbo.oper_data

Тут вместо староверного подсчёта суммы через case (я - старовер) можно использовать кляузу filter. Ну и помнить про такие оконки, как first value/last value. Я их в проде ни разу не использовал. ¯\_(ツ)_/¯
Можно обойтись без last_value, если вынести расчёт последнего посещенного офиса в разрезе клиента и месяца в CTE, а потом зажойнить с расчитанными дебетовыми и кредитовыми оборотами.

Это такая не редкая задача на собесах - показать, что ты владеешь магией написать sum (case when ... Иногда даже достаточно это проговорить, что ты знаком с этой магией)).

SQL. Стоит ли "орать" капсом при написании sql-кода.

2025-07-10T16:51:36.814Z

Есть ли ещё староверы, которые капсом пишут служебные слова типа UPDATE?!

Я весь сиквельный код пишу в лоу-кейсе, если иное не вменяется код-стайлом.

Хорошую цитату нашёл сегодня, читая книжку. Она про то, что писать в аппер-кейсе - не стильно))

Uppercase keywords are associated with older programming languages, such as
assembly, Fortran, and COBOL. SQL is an old language, which has some advantages, but there are negative connotations with our code looking ancient. Decades ago, there were good technical reasons to use upper case, but those reasons no longer apply.
The cultural convention today is to use lower case for programming. And lower case, or mixed case, is obviously the typical choice for normal writing. (There is a consensus that it is easier to read lowercase writing than uppercase writing. But it’s debatable why lower case is easier to read, and I’m not sure if the research applies to monospaced fonts used in programming languages.)
But there are certainly still times when upper case is helpful. When embedding small SQL statements inside other languages, it helps to use upper case to contrast the SQL with the other language. Upper case is also useful when writing emails or posts. And upper case can be useful for helping parts of our PL/SQL programs stick out, like for global constants.
Most of our time looking at code is in an IDE, where the syntax highlighting is more
important than using case for identifying keywords. There aren’t huge advantages to using lower case, but if it looks better, is more readable, and is easier to type, we might as well abandon upper case.

Greenplum. План запроса. Рекомендации по оптимизации (draft).

2025-04-19T10:15:07.285Z

Решил законспектировать основные вещи по сабжу из пары учебных курсов.

Перед тем, как смотреть план запроса, стоит посмотреть на сам запрос. Возможно, в глаза сразу бросится код, который выглядит подозрительно неоптимальным. Например, бывает, что остаются отладочные артефакты в коде, типа сортировки в подзапросах (order by). Или ошибочный union вместо union all. Или distinct по большому количеству полей. Соединения таблиц по условию неравенства или OR на ключи join. Проход таблицы более 1 раза на ровном месте (мне такие запросы аналитики регулярно подкидывают, причём разные люди, как по шаблону пишут). И тд и тп.

На что обратить внимание в плане запроса:

Узлы с наибольшей добавочной стоимостью
Узлы с наибольшим временем выполнения (при explain analyze)
Большое количество возвращаемых строк на сегмент
Nested Loop join при большом количестве строк
Hash join при небольшом количестве строк
Отсутствие Partition Selector при обращении к партиционированной таблице
Операторы Redistribute Motion, Broadcast Motion (Появление Redistribute или Broadcast Motion перед операторами соединения значит, что ключ распределения таблицы не совпадает с ключом join. Иногда это говорит о неоптимальной физической модели данных). Оператор Gather Motion, появившийся в середине плана (Это значит, что данные со всех сегментов обрабатываются на мастере, который значительно уступает по производительности множеству сегментов кластера.
В норме Gather Motion появляется только в самом конце запроса (наверху плана) для вывода результатов запроса через мастер клиенту).
Наличие факта создания спилл-файлов (в выводе команды EXPLAIN ANALYZE один или несколько слайсов запроса отмечены звёздочкой, например * (slice1))
rows=1 в операторах Seq Scan, Dynamic Seq Scan, Index Scan и Bitmap Heap Scan
Несколько Seq Scan одной таблицы (Seq Scan on my_table ... Seq Scan on my_table my_table_1 и тп)

Планировщик может построить неоптимальное дерево плана запроса по разным причинам:

Отсутствующая или неактуальная статистика, из-за которой планировщик неверно оценивает стоимость плана.
Неоптимальная физическая модель данных, из-за которой планировщику приходится добавлять тяжёлые операторы Redistribute / Broadcast Motion и неэффективно читать данные из таблиц.
Сам SQL-запрос, в котором логика получения результата может быть слишком сложной: планировщик не может упростить логику самостоятельно и выбирает среди заведомо неоптимальных вариантов.

Как можно ускорить тяжёлый запрос? Или переписать сам запрос, или оптимизация окружения выполнения запроса. Или и то, и то.

По рефакторингу запроса это скорее магия, чем последовательность чётких инструкций. А по второму варианту - это актуализация статистики, изменение физической модели и, возможно, изменение типа планировщика.

В Гринплуне существует 2 оптимизатора - легаси и GPORCA. Предания гласят, что в большинстве случаев GPORCA справляется лучше. Поэтому стоит знать, что если в коде используются чисто постгресовские кляузы типа distinct on, то будет использоваться не GPORCA, а легаси оптимизатор.

Изменение физической модели это, например, разбиение сложного запроса с большим количеством джойнов на несколько, с последующей материализацией промежуточных результатов в таблицы (и созданием подходящих ключей дистрибуции в них). И в финале собрать исходный запрос уже с этими таблицами.

P.S. Автор ТГ-канала Инженерообязанный на ютубе выложил вполне годное видео по сабжу Простая оптимизация запросов в GreenPlum + кейсы

dbt. Pre-hooks and Post-hooks (draft)

2025-04-17T18:13:52.877Z

Pre-hook - это 1 или более sql-выражений, выполняемых до построения ресурса типа модели (или seed, snapshot). Post-hook - то же самое, но выполняемое, соответственно, после построения. Также в хуках могу вызываться макросы, которые выполняют sql-выражения.

Если в хуке выполняется единственный запрос, текст запроса оформляется в кавычки (см пример такого конфига модели ниже)

{{ config
(materialized='table',
alias='emp',
schema='ods_scott',
tags=['ods_layer'],
pre_hook="
insert into scott.model_run_log (log_text, log_dt) 
values ('{{this.schema}}.{{this.table}} start' , now())
"
)
}}

В случае, если в хуке несколько sql-выражений или происходит вызов макроса, всё это оборачивается в квадратные скобки.

Пример вызова нескольких команд DDL в прехуке:

pre_hook=["truncate table t1;", "truncate table t2;","truncate table t3;"]

Пример вызова макроса в прехуке:

pre_hook = ["{{truncate_table()}}"]

Для реляционных СУБД хуки выполняются в той же транзакции, что и выполнение базового ресурса (модели и тд).

Чтобы изменить такое поведение и реализовать что-то навроде автономных транзакций, можно использовать в блоке конфигурации ресурса вспомогательные макросы before_begin и after_commit.

На рисунке ниже модель не будет собрана, но sql-statement из прехука (запись в таблицу аудита) выполнен будет.

Пример конфигурации с макросами before_begin и after_commit

IRL в прехуке видел только truncate таблицы в инкрементальных моделях. В постхуках мне пока ничего кроме команды analyze не встречалось.

P.S. Напоминаю, что одиночный sql-statement, не возвращающий dataset, также можно выполнить с использованием функции run_query(), например:

{%do run_query ('truncate table scott.model_run_log')%}

Разные полезности в dbt (draft)

2025-04-16T14:57:13.657Z

Решил собрать разные полезные при работе с dbt вещи в одной заметке. Все примеры для работы с PostgreSQL.

Использование функций ref и sources.

Не нужно использовать прямые ссылки на реальные таблицы БД, как вы это делаете в обычных запросах SQL. Вместо этого используйте функцию ref - для ссылки на существующую модель, и функцию sources.

Даже если проект никогда не будет запускаться целиком и проблема неверного порядка сбора моделей отсутствует, теряется фича dbt в части сбора зависимостей. И, соответственно, у вас нет lineage из коробки и генерации верной документации.

Конфигурации

Пояснять буду на блоке конфигурации для модели ods_emp.sql. Весь код модели ниже.

{{ config
(materialized='table',
alias='emp',
schema='ods_scott',
tags=['ods_layer'],
enabled = true
)
}}

select * 
from scott.dept
{% if var('use_limit') == 1 %}
limit 1
{% endif %}

Явно указав значение alias и schema, при выполнении модели получим таблицу с именем emp (а не ods_emp, как название модели) в кастомной схеме ods_scott.

Указав тег ods_layer, можно запустить выполнение всех моделей с этим тегом таким образом:

dbt run --select tag:ods_layer

Запуск всех моделей с выбранным тегом

Кстати, если бы все модели с этим тегом лежали бы в папке models/ods - как у меня в учебном проекте - этот же результат получался командой

dbt run -m ods

При необходимости можно запустить все модели с указанным тегом, исключая указанные, используя флаг exclude

dbt run --select tag:ods_layer --exclude ods_emp

Если бы PostgreSQL поддерживал обращение к разным базам на одном инстансе, помимо параметра конфигурации schema можно было бы указать и в параметре database название БД, отличной от прописанной в файле profiles.yml. Но в постгресе так не получится, выбросится ошибка типа ERROR: Cross-db references not allowed in postgres.

Для enabled значение true по умолчанию, т.е. стоит использовать со значением false, если указанный ресурс по каким-то причинам нужно отключить, чтобы он не участвовал в проекте. Если нужно исключить модель из конкретного запуска, стоит использовать флаг exclude - смотри пример выше.

Запуск модели с переменными

Можно передать значение 1 переменной 'use_limit' нашей модели ods_emp при запуске из CLI таким образом:

dbt run -m ods_emp --vars "{'use_limit': 1}"

В проде, скорее всего, значения переменных по умолчанию будут прописаны в файле проекта dbt_project.yml, а по запросу они будут передаваться из стороннего приложения, например, Airflow.

Analyses

Это отдельная сущность в проекте dbt, по сути представляет собой запрос, сохраненный не где-то в папке у аналитика или разработчика, а в самом проекте. Плюсы в возможности использования jinja и макросов для сложносочиненной логики. И хранение под системой контроля версий.

При выполнении никакой объект в БД не материализуется, получаем готовый запрос ресурса analyses мы при компиляции, найти его можно в папке \target\compiled\dbt_edu_proj\analyses\

Analysis в проекте

Для подобных целей - хранений запросов в проекте без их материализации в БД - могут служить модели с материализацией типа ephemeral. Но в отличие от Analyses такие модели (для dbt это CTE) могут использоваться в сборке других. Что, скорее всего, упростит чтение и усложнит понимание кода.

Расширение dbt Power User для VS Code

Очень полезная вещь, кучу времени экономит.

Execute dbt SQL

Запускается из блока пиктограмм в правом верхнем углу IDE

Можно запускать отдельно селекты моделей. Посмотришь данные, а при инвалидном запросе получишь ошибку.

Пример неуспешного запуска

Пример успешного запуска

Кстати, в терминале посмотреть вывод результатов - или сам факт, что результаты возвращаются, можно командой dbt show (ни же 2 варианта использования)

dbt show -m dds_emp_ext
dbt show --inline "select * from {{ ref('dds_emp_ext') }}"

Применение команды dbt show

Lineage

Можно смотреть lineage сразу в IDE, без использования других инструментов. Находится через верхнее меню Terminal=> New Terminal.

Для примера на рисунке ниже это не очень важная опция, но если моделей уже порядка десятка, это сильно облегчает жизнь.

Очень полезная пиктограмма для показа скомилированного кода в соседнем окне IDE Compiled dbt Preview:

Есть пиктограммы, которые просто дублируют команды терминала dbt run, dbt test, dbt compile.

Создание виртуальной среды в Windows и использование её в PyCharm и VS Code.

2025-03-11T16:48:46.350Z

В заметке кратко рассказывается о создании вручную виртуальной среды и дальнейшем использовании её в PyCharm и VS Code.

Для создания виртуальной среды я заранее создал папку c:\IT_Learning\py_venv\. В терминале командой cd делаем эту папку текущей

cd c:\IT_Learning\py_venv\

Создаем следующей командой виртуальную среду

python -m venv venv

Активируем её

.\venv\Scripts\activate

В терминале (см рисунок ниже) в последней строке отображается имя активной виртуальной среды

На картинке папка с виртуальной средой называется py_venv_new, т.к. py_venv мной была использована ранее. Для целей заметки это неважно.

Теперь открываем PyCharm, создаём новый проект и в появившемся окне выбираем следующие настройки (на рисунке ниже указаны стрелками)

Как видите, необязательно, чтобы виртуальная среда находилась там же, где и файлы самого проекта.

Ура, теперь если у меня опять возникнет перерыв на несколько месяцев с работой в PyCharm, я уже не буду гуглить, как там настраивается venv.

VS Code

В IDE нажимаем одновременно Ctrl + Shift + P, чтобы открыть Command Palette.

Набираем в ней Python: Select Interpreter.

Жамкаем Enter interpreter path

Выбираем нужный python.exe

В панели активности в левом нижнем углу IDE видим выбранную версию. Ура!

P.S. Понадобилось использовать более свежую версию python, чем та, что установлена у меня основной. Установил 3.11 и далее создал виртуальную среду следующей командой.

py -3.11 -m venv venv

Этого же можно было достичь, используя вместо venv, идущей в комплекте, virtualenv

pip install virtualenv
virtualenv venv -p 'c:\Progs\Python311\python.exe'

P.P.S. Посмотреть установленные пакеты можно командой pip list, сторонние пакеты - pip freeze.

Посмотреть все установленные версии питона можно командой Powershell

py -0p