Нюансы по оптимизации SQL скриптов

Наткнулся на небольшую методичку по оптимизации SQL скриптов и решил выложить перевод, чтобы всегда был под рукой. Может быть, кому-то ещё пригодится.

Возможно, можно поспорить относительно некоторых утверждений автора, так что всё обсуждаемо.

Сперва привожу пример плохих практик с обозначением "Bad Practice", а затем - хороших "Good Practice".

# 1

Используйте 'REGEXP_LIKE' вместо оператора 'LIKE'

SELECT *
FROM
    table1
WHERE
    LOWER(item_name) LIKE '%samsung%' 
    OR
    LOWER(item_name) LIKE '%xiaomi%' 
    OR
    LOWER(item_name) LIKE '%iphone%' 
    OR
    LOWER(item_name) LIKE '%huawei%'

SELECT *
FROM
    table1
WHERE
    REGEXP_LIKE(LOWER(item_name), 'samsung|xiaomi|iphone|huawei')

# 2

Используйте 'REGEXP_EXTRACT' вместо 'CASE-WHEN LIKE'

SELECT
CASE
    WHEN CONCAT(' ', item_name, ' ') LIKE '%acer%' THEN 'Acer'
    WHEN CONCAT(' ', item_name, ' ') LIKE '%advance%' THEN 'Advance'
    WHEN CONCAT(' ', item_name, ' ') LIKE '%alfalink%' THEN 'Alfalink'
...
END AS brand
FROM item_list  

SELECT
    REGEXP_EXTRACT(item_name, '(asus|lenovo|hp|acer|dell|zyrex|...)')
    AS brand
FROM item_list

# 3

Преобразуйте длинный список условий в операторе IN во временную таблицу

SELECT *
FROM table1 AS t1
WHERE
    item_id IN (3363134, 5189076, ..., 4062349)

SELECT *
FROM table1 AS t1
JOIN (
      SELECT
          item_id    
      FROM (
            SELECT
                SPLIT('3363134, 5189076, ...,' ,',') AS bar
           )
           CROSS JOIN
               UNNEST(bar) AS t(item_id)
     ) AS table2 as t2
ON
    t1.item_id = t2.item_id

Этот совет не выглядит 100% очевидным для меня. Возможно, запрос более оптимальный, но явно более сложный для восприятия. На мой взгляд, хорошую читаемость и простоту редактирования тоже нельзя сбрасывать со счетов при написании SQL скриптов.

# 4

Всегда сортируйте ваши JOIN от больших таблиц к меньшим таблицам

SELECT *
FROM 
    small_table
JOIN
    large_table
ON small_table.id = large_table.id

SELECT *
FROM
    large_table
JOIN
    small_table
ON large_table.id = small_table.id

# 5

Используйте простые соединения в JOIN

Две таблицы со строкой даты, например, ‘2020-09-01’, но в одной из таблиц есть столбцы только для отдельных значений года, месяца, дня.

SELECT *
FROM
    table1 t1
JOIN
    table2 t2
ON t1.date = CONCAT(t2.year, '-', t2.month, '-', t2.day) 

SELECT *
FROM
    table1 t1
JOIN (
      SELECT
          name,
          CONCAT(t2.year, '-', t2.month, '-', t2.day) as date
      FROM
          table2 t2
     ) new
ON t1.date = new.date

# 6

Всегда сортируйте "GROUP BY" по убыванию от атрибута/столбца с наибольшим количеством уникальных сущностей/значений к атрибуту/столбцу с наименьшим количеством уникальных сущностей/значений

SELECT
    main_category,
    sub_category,
    item_id,
    SUM(price)
FROM
    table1
GROUP BY
    main_category, sub_category, item_id

SELECT
    main_category,
    sub_category,
    item_id,
    SUM(price)
FROM
    table1
GROUP BY
    item_id, sub_category, main_category

# 7

Избегайте подзапросов в операторе WHERE

SELECT
    SUM(price)
FROM
    table1
WHERE
    item_id IN (
                SELECT
                    item_id
                FROM
                    table2
               )

WITH t2 AS
          (
           SELECT
               item_id
           FROM
               table2
          )

SELECT
    SUM(price)
FROM
    table1 AS t1
JOIN 
    t2
ON t1.item_id = t2.item_id

# 8

Используйте MAX вместо RANK

SELECT *
FROM (
      SELECT
          user_id,
          RANK() OVER(ORDER BY prdate DESC) AS ranking
      FROM
          table1
     ) new
WHERE ranking = 1

SELECT
    user_id,
    MAX(prdate)
FROM table1
GROUP BY 1

# 9

Другие советы

• Используйте approx_distinct() вместо count(distinct) для очень больших
  наборов данных
• Используйте approx_percentile(метрика, 0,5) для медианы
• Избегайте UNION, где это возможно
• Используйте оператор WITH вместо вложенных подзапросов

© Kadek Dwi Pradnyana
April 2022

Перевод и адаптация:
@sinister_stark
December 2022

Введение

Хочу поделиться с вами впечатлениями от книги немецкого автора бизнес-литературы Бодо Шефера «Пёс по имени Мани». К бизнес-бестселлерам можно относиться по-разному, ведь они часто грешат тем, что пара дельных мыслей размазана по всему увесистому и недешёвому томику. В то же время хорошо, если дельные мысли там вообще есть. Они могут быть банальными, но это не делает их плохими или бесполезными.

Мы живем в век повсеместного засилья инфоцыган, которые за солидный взнос якобы научат нас «делать деньги», но нет никакой пилюли или тайного знания, которые сделают нас богатыми, знаменитыми и успешными в одночасье. Все успехи - это плоды работы над собой: интеллектуальной, моральной, эмоциональной, физической. Ну и удача, куда без неё? Но, ладно, это так… лирическое отступление.

К сожалению, в нашей стране финансовая грамотность населения оставляет желать лучшего. В данной книге есть азы финансового воспитания. Я, как и господин Шефер, считаю, что грамотному обращению с деньгами стоит научиться как можно раньше.

Понравилась форма доведения до читателей простых вещей. Это история двенадцатилетней девочки Киры, которая обрела друга и наставника – пса Мани, который не просто учит, а ещё и подталкивает новообретённую хозяйку к решениям, влияющим на всю её жизнь. И ведь такая форма повествования работает! Окунаясь в историю, мы устанавливаем эмоциональную связь с героями, «проживаем» с ними события. Ведь нам проще и приятнее воспринимать идеи, которые вызывают в нас эмоциональный отклик.

О чем же ещё, помимо азов финансовой грамотности, говорится в книге? Об уверенности в себе и стремлении к поставленной цели. История девочки Киры учит никогда не сдаваться и следовать к мечте, не давая ничему сбить себя с пути.

Кратенько о том, что обозревается в книге:

• постановка цели;
• умение копить;
• уверенность в себе;
• долги;
• роль удачи и страха;
• головокружение от успеха;
• инвестиции.

Давайте рассмотрим более подробно то, о чём ведётся речь в книге.

Начало

Главная героиня – двенадцатилетняя девочка Кира. Она живет с родителями, которые вечно не в духе из-за долгов и финансовых проблем.

Как часто нам приходилось слышать от родителей или ещё кого-нибудь, что не в деньгах счастье. А может быть деньги – это вообще зло? Да, деньги - не самое главное, но они приобретают исключительную важность, когда их постоянно не хватает. Детей же стараются оградить – вы ещё слишком малы, чтобы заниматься такой сложной темой, как деньги. А что в итоге? Они так и не могут научиться обращаться с деньгами.

Не лучше ли взяться за большие дела, пока они ещё маленькие?

Пёс Мани

Семья Киры находит на пороге дома раненого пса, выхаживает его, а девочка даёт ему имя Мани («мы зовем деньги (money) и они сами к нам приходят», в этом что-то есть).

Мани оказывается весьма необычным. Он начинает наставлять Киру: не спускать все деньги на ерунду, быть уверенной в себе, не сдаваться.

Цели

Большинство людей не знает, чего хочет. Но они знают, что хотят больше, чем есть.

Нужно чётко поставить перед собой цель и идти к ней. Не должно быть отговорок. Надо делать, а не пробовать. Основная сложность - отделить зёрна от плевел и понять какие желания действительно важные, а какие – мимолётные хотелки.

Поставь перед собой цель, представь как ты будешь жить, когда обретёшь, то, чего жаждешь.

Будут желания – легче будет разглядеть возможности.

Важно перестроить мысли и учиться. Учёба – это новые мысли и идеи. Продолжая мыслить как прежде, будешь приходить к таким же результатам.

Как достичь цели, если не представляешь куда пролегает твой путь?

Копилка мечты

Чем больше доходы – тем больше расходы. Важно не количество денег, а умение с ними обращаться. Если научился обращаться с маленькими деньгами, значит созрел для больших денег.

Это банально, но многие люди вообще не умеют копить. И зарабатывая больше денег, всё равно спускают всё подчистую.

Уверенность в себе

Главное качество. Способен ли ты, веришь ли в себя. Если не веришь, то очень легко опустить руки и бросить любую затею, даже не попытавшись. Не возьмёшься – не сделаешь.

Заведи «дневник успеха», хвали себя. Кто тебя полюбит и поверит в тебя, если ты сам не веришь в себя и не любишь?

Когда ты веришь в себя, всё даётся легче.

Сохраняй позитивный настрой и не делай из мелочей трагедий.

На твоём пути над тобой будут смеяться, но будет больше тех, кто будет уважать.

Находи время на себя и пусть это будет дисциплиной. У каждого человека всегда куча срочных дел, но никогда не хватает времени на важные.

Никогда не сдавайся!

Никогда не сдавайся! Тысяча вещей могут сбить тебя с пути, но никогда не опускай руки и не сдавайся. Проблемы будут всегда, но нужно активно работать, даже когда их много. Каждый день делай то, что важно для будущего. Не жди обстоятельств, меняйся сам и меняй всё вокруг.

Получай удовольствие

Большинство считает, что работа – это трудное и неприятное. Но настоящего успеха можно добиться тогда, когда занимаешься любимым делом.

Делу время, а потехе час? А что интересного? Ты будешь в конце жизни жалеть, что провёл слишком мало времени в офисе?

С деньгами легче реализовать мечты.

Дело не в деньгах, а в том, чтобы каждый день приносил радость.

Долги

Как не погрязнуть в долгах? И как с ними разобраться?

В книге приведены такие правила (речь, в первую очередь, о банковских ссудах):

1. Выбрось кредитки
2. Возвращай медленнее
3. Свободные деньги после базовых расходов дели 50/50. 50% на погашение долга, 50% откладывай.
4. Большинство потребительских долгов образуются по глупости. Не будем делать глупости?
5. Положи себе в бумажник записку со словами «тебе это действительно нужно?». Вдруг, когда ты решишь купить какую-то дребедень, лишний раз задумаешься нужна ли эта вещь тебе.

Удача

При ближайшем рассмотрении удача оказывается результатом подготовки и упорного труда.

Один раз может повезти и дураку, а умному везёт постоянно.

Страх

Страх... Мы все чего-то боимся. Как можно получать удовольствие, если боишься?

Делать то, что хочешь – не значит, что не будет страшно. Самые прекрасные вещи происходят тогда, когда боишься, но делаешь.

Мы растём, преодолевая свой страх.

Страх перед трудностями, ошибками и неудачами разрушил уже не одну человеческую жизнь.

Успех

Не все хотят платить за успех.

Успех может вскружить голову. Если начнёшь задирать нос, то перестанешь учиться. Так что, когда ты приходишь к успеху, просто не забывай, что тебя к нему привело.

Инвестиции

Деньги должны делать деньги.

Про страх мы уже говорили, люди боятся того, чего они не понимают или того, что кажется им слишком сложным. Так финансисты и создали себе сакральный мир «не для каждого».

Шефер даёт базовые принципы работы фондового рынка. Считаешь, что детям рано знать об этом? Многие взрослые люди этого боятся и не понимают: биржа, брокеры, акции, облигации, фонды, ETF, волатильность… Если мы не понимаем, то уж дети-то что поймут? Помнишь заголовок статьи? Или нужно во всём слушаться старших, потому что у них большой жизненный опыт?

А ведь это речь и про страх. Люди боятся потерять всё.

Кира с друзьями учится инвестировать. Они познают на себе эффект падения биржевых котировок, что повергает их в уныние, но они учатся важному правилу: теряешь деньги только тогда, когда фиксируешь убытки (аналогично с прибылью, ты ничего не получил, пока не зафиксировал).

Многие не понимают и не доверяют таким инструментам.

Для кого-то самое важное – надёжность. Их можно понять. Для кого-то лучше синица в руках, чем журавль в небе.

Но нужно ясно понимать, что нельзя держать все деньги в акциях и прочих биржевых инструментах. Всегда нужно иметь резерв на чёрный день.

Выше упоминались долги. В свете этого хотел бы припомнить историю, произошедшую с легендарным инвестором "Оракулом из Омахи" Уорреном Баффетом:

Одна из подруг спросила, как лучше поступить с деньгами, которые ей удалось заработать. Первым делом Баффет узнал, есть ли у неё долг по кредитной карте. У неё была задолженность и процентная ставка размером в 18% годовых.

«Если бы я занял деньги по 18%, первое, что я сделал бы с любой суммой, которая у меня появилась, - погасил бы этот долг, - объяснил Баффет, - это намного лучше, чем любая инвестиционная идея, которая у меня есть».

Резюме

В итоге Кира вынесла из всей истории, описанной в книге:

• осознание того, что ты любишь деньги и хочешь их зарабатывать;
• уверенность в себе, идеи и готовность делать то, что нравится;
• как распределять деньги на ежедневные нужды, исполнение долгосрочных желаний, и «курицу, несущую золотые яйца»;
• как умело вкладывать деньги;
• как получать наслаждение от всего этого процесса.

Думаю, что и для тебя это не будет лишним.

Эпилог by @sinister_stark

Деньги не являются самой важной вещью в мире. Они не являются хорошими или плохими, они – нейтральны. Деньги могут быть увеличительным стеклом, под которым становятся заметнее черты характера человека.

Деньги – это лишь инструмент для достижения целей, реализации мечты. И если они не помогут сделать этот мир лучше, то пусть сделают лучше хотя бы твою жизнь.

Книга не о деньгах, вернее не только о них, а о том, как не сдаваться на пути к мечте. Ведь дорогу всегда будут преграждать страхи, неуверенность в себе, просто неверие в конечный успех. Но нужно идти вперёд и не сдаваться.

Путь к мечте, обретение денег как инструмента открывает перед нами прекрасный мир познания себя, своих сил, умений, страхов, способностей. Перед нами открывается интересная и увлекательная дорога приключений, появляется жажда знаний. Мы обретаем новый смысл в жизни, получаем новые впечатления, знакомимся с новыми людьми. Мы живём!

Так нужно ли беречь детей от мира денег? Мы же учим их управляться с инструментами, будь то молоток или нож, чтобы они не поранились и могли сделать с их помощью что-то полезное. Деньги – это такой же инструмент, так почему не научить детей обращаться с ним?

А может ты просто боишься? Тогда самое время и тебе научиться.

Берегите себя и никогда не сдавайтесь.

© @sinister_stark, 2021