Дмитрий

Как забирать данные из Google Sheets по API через Python:

2025-10-07T21:48:17.906Z

🔥 Google Sheets — это удобный инструмент для хранения и обмена данными, особенно когда нужно быстро поделиться таблицей с коллегами или клиентами. И может возникнуть потребность поработать с этими данными в Python или вовсе построить на них аналитику. Давайте представим, что мы хотим анализировать свои расходы, которые мы ведем в "Гугл Табличках".

1) Первым шагом нам нужно зарегистрировать аккаунт gmail, думаю, что с этим трудностей не возникнет.
2) Далее мы переходим по ссылке и создаем проект. Если ссылка на работает, то сервис называется https://console.cloud.google.com/

3) Теперь нам нужно включить API Google Sheets для нашего проекта - для этого делаем следующее:

4) Теперь после того, как мы настроили аккаунт и получили json ключ, нужно добавить этот аккаунт в качестве редактора в наш google sheet:

5) Отлично, теперь можем забирать данные из google sheet в который мы добавили наш аккаунт, для этого используем библиотеки в python (Pandas и gspread):

Ставим библиотеки через pip:
pip install gspread pandas

Ну и далее - мы забираем данные из google sheet

Вод код, чтобы можно было скопировать:

import gspread import pandas as pd

#Загрузка через API google_sheet

gc = gspread.service_account("путь до json файла с кредами") sh = gc.open_by_url("url") worksheet_dash = sh.worksheet("название_листа")

df = pd.DataFrame(worksheet_dash.get_all_values())

print(df)

Итог:
😎 Теперь вы можете автоматизировать импорт из Sheets в любой пайплайн — от простого в Jupyter до сложных ETL. Это сэкономит часы на рутине!

Machine Learning в Бизнесе - как просто сделать Прогноз Временных Рядов при помощи Prophet

2025-08-17T19:24:49.097Z

Сначала разберём, что такое временной ряд — это важно для понимания. Временной ряд (time series) — это последовательность данных, которые собираются через равные интервалы времени. Например, ежедневные продажи в магазине, ежемесячный трафик на сайте или ежечасные метрики revenue. Такие данные имеют паттерны: тренд (общий рост или спад со временем), сезонность (повторяющиеся циклы, как пики продаж по выходным) и случайные шумы (непредсказуемые колебания).

Давайте представим, что у вас есть задача спрогнозировать, сколько можно ожидать выручки (GMV) в следующем квартале — типичный запрос от бизнеса. С этим отлично справится инструмент Prophet.

1️⃣ Устанавливаем нужные библиотеки:
pip install pandas prophet holidays

2️⃣ Создаём и подготавливаем данные:
import pandas as pd # Импортируем pandas — это библиотека для работы с таблицами данных (DataFrames) import holidays # Импортируем holidays — библиотека для получения дат праздников в разных странах

# Создаём простой DataFrame с вымышленными данными: даты и значения KPI (y) data = { # Это словарь — простой способ задать данные 'ds': ['2025-01-01', '2025-01-02', '2025-01-03', '2025-01-04', '2025-01-05'], # Колонка ds: даты в формате строки (потом преобразуем в настоящие даты) 'y': [100, 120, 110, 130, 105] # Колонка y: значения KPI, например, ежедневная сумма ставок } df_pred = pd.DataFrame(data) # Создаём DataFrame из словаря — теперь df_pred это таблица с колонками ds и y

df_pred['ds'] = pd.to_datetime(df_pred['ds']) # Преобразуем колонку ds в настоящий тип даты (datetime), чтобы Prophet мог с ней работать

3️⃣ Добавляем праздники (для России):
Prophet может учитывать праздники, чтобы прогноз был точнее. Мы выгружаем их автоматически и создаём таблицу.

# Определяем диапазон лет на основе наших данных (от минимального года до максимального +1) years = range(df_pred['ds'].min().year, df_pred['ds'].max().year + 1) # Здесь min() и max() находят самые раннюю и позднюю даты в ds

ru_holidays = holidays.RU(years=years) # Получаем словарь праздниками за эти годы (например, 1 января — 'New Year's Day')

# Преобразуем словарь в DataFrame для Prophet: колонки ds (дата) и holiday (название праздника) df_holidays = pd.DataFrame(list(ru_holidays.items()), columns=['ds', 'holiday']) # list(ru_holidays.items()) превращает словарь в список пар (дата, название)

df_holidays['ds'] = pd.to_datetime(df_holidays['ds']) # Преобразуем ds в тип даты, как и в основных данных

4️⃣ Создаём и обучаем модель Prophet:
Важный момент: Prophet ожидает данные в конкретном формате — DataFrame обязательно должен иметь колонку 'ds' (с датами в формате datetime) и колонку 'y' (с числовыми значениями, которые вы прогнозируете). Если в ваших данных колонки названы иначе (например, 'date' и 'value'), переименуйте их перед обучением: df_pred = df_pred.rename(columns={'date': 'ds', 'value': 'y'}).

Теперь главная часть — модель. Мы укажем сезонность (еженедельную и годовую) и передадим праздники. Если праздники не нужны, просто напишите Prophet(..., holidays=None) — модель заработает без них, но может быть менее точной для данных с праздничными спадами.

5️⃣ Делаем прогноз на будущее:
prediction_days = 200 # Задаём, сколько дней вперёд прогнозировать (здесь 200 — можно изменить)

future = model.make_future_dataframe(periods=prediction_days) # Создаём таблицу будущих дат: make_future_dataframe() берёт даты из df_pred и добавляет prediction_days новых

forecast = model.predict(future) # Делаем прогноз: predict() применяет модель к future и возвращает таблицу с предсказаниями (yhat — основное значение, плюс интервалы и компоненты)

6️⃣ Анализируем результаты: Агрегация по кварталам и расчёт отклонения:
Чтобы бизнесу было удобно смотреть (они любят квартальные отчёты), суммируем данные по кварталам и считаем процент отклонения (warn) от истинного значения — полезно, чтобы увидеть, насколько прогноз верно предсказывает. По хорошему, нужно из базового DataFrame взять рандомно 70% выборки и на ней обучить модель, а на остальных 30% проверить прогнозную модель и посчитать метрики отклонения, но это уже тема отдельного поста, можете почитать про это самостоятельно, сейчас обойдемся без этого.

# Добавляем колонку с кварталом (например, 2025Q1) для группировки df_pred['quarter'] = df_pred['ds'].dt.to_period('Q') # dt.to_period('Q') превращает дату в квартал (Q значит quarter)

forecast['quarter'] = forecast['ds'].dt.to_period('Q') # То же самое для прогноза

# Суммируем реальные данные по кварталам real_quarters = df_pred.groupby('quarter')['y'].sum().reset_index() # groupby() группирует по quarter, sum() суммирует y, reset_index() делает из этого новую таблицу

# Суммируем прогноз по кварталам forecast_quarters = forecast.groupby('quarter')['yhat'].sum().reset_index() # Аналогично, но для yhat (предсказанное значение)

# Объединяем таблицы по кварталам (outer — чтобы включить все, даже если в одной нет данных) all_quarters = pd.merge(real_quarters, forecast_quarters, how='outer', on='quarter', suffixes=('_actual', '_forecast')) # merge() соединяет, suffixes добавляют _actual и _forecast к колонкам

# Считаем отклонение в %: насколько прогноз (yhat) отличается от реала (y) all_quarters['warn'] = ((all_quarters['yhat'] / all_quarters['y']) - 1) * 100 # Формула: (прогноз / реал - 1) * 100 = процент изменения

Это базовый пример — в реальности добавьте больше данных для точности. Тестируйте модель на исторических данных: разделите df_pred на "обучение" и "тест", чтобы проверить, насколько прогноз совпадает с реальностью.

Как за 5 минут превратить CSV файл в полноценную базу данных через SQLite в DBeaver 🔥

2025-08-11T20:00:14.865Z

💎 Представьте: у вас куча CSV файлов с данными, и вы хотите быстро выполнить анализ - выполнить между ними JOIN'ы или провести агрегацию GROUP BY. Давайте превратим эти CSV файлы в полноценную базу!

1️⃣ Создаём подключение к SQLite

2️⃣ Выбираем создать и указываем путь где будет храниться наша база данные и даем ей любое имя

3️⃣ Импортируем CSV файлы
Нажмете по базе данных ПКМ (правой кнопкой мыши) и увидите импорт данных, далее там будет предложено выбрать csv файл и различные настройки. Советую самостоятельно по изучать этот функционал.

4️⃣ Наслаждаемся полноценной поддержкой SQL для csv файлов:

Итог:
😎 Если эта инструкция вам помогла, то кидайте 🔥 или ❤️!

❓ А вы используете SQLite для аналитики? Пишите в комментариях, какие ещё способы работы с CSV хотели бы узнать!

Эффективная база знаний для обучения и работы: мой опыт с Obsidian

2025-07-05T14:19:09.024Z

1) Думаю, у каждого была такая ситуация:

Ты нашёл классный материал, статью, видео или у тебя возникла идея — и ты говоришь себе: «Запомню», «Вернусь потом», «Потом запишу»... Но проходит время, и всё теряется. Где это было? В каком чате? В какой заметке телефона? Может, в Google Docs? Или в Telegram?

Вот именно для этого и нужна база знаний — единое место, где ты структурируешь, сохраняешь и возвращаешься к нужной информации. И я хочу рассказать, как именно я это делаю с помощью приложения Obsidian.

2) Как я веду базу знаний:

У меня есть простая система. В течение дня, когда у меня возникает идея, мысль или просто задача «на подумать», я быстро кидаю её себе в личные сообщения в Telegram. Это удобно, потому что это всегда под рукой.

А когда я сажусь за компьютер, я открываю Obsidian и разбираю эти сообщения. Записываю все в общий backlog (пример на фото):

Таким образом, я не перегружаю голову. Всё, что меня заинтересовало, теперь записано и системно сохранено в одном месте.

3) Применение Obsidian в обучении:

Отдельный мощный кейс — это изучение курсов, книг, лекций. В Obsidian можно использовать заголовки, ссылки, оглавление, разбивать одну тему на подтемы и легко между ними переключаться. Всё благодаря Markdown-разметке, которая делает структуру чистой и управляемой.

Я, например, создаю отдельную заметку на каждый курс/тему/и т.п. и делаю подзаметки по каждому модулю.

Например:

4) Продвинутый obsidian:

Да, в Obsidian есть граф знаний — визуальная схема, где ты можешь увидеть, как все темы и заметки связаны между собой. Можно делать двусторонние ссылки, видеть, какие темы ты пересекаешь чаще всего, и даже строить на этом свои выводы. Это уже следующий уровень.

Но честно? Для начала — этого всего не нужно. Нам нужно просто навести порядок в голове и информации. Начни с одной заметки. С одной идеи. С одной темы.

А если захочешь углубиться, для этого есть сотни гайд-видео на YouTube. Я рекомендую вот это видео (от Автора - "Диджитализируй!"), которое покрывает 90% базовых и нужных сценариев:

5) Заключение:

Если ты чувствуешь, что тонешь в потоке идей, ссылок, заметок и мыслей, и всё теряется — попробуй Obsidian. Это не просто редактор. Это привычка вести порядок в голове и вокруг себя.

Начни с одного файла. А потом увидишь, как всё начнёт складываться.

Telegram-бот, который работает, пока ты отдыхаешь

2025-06-28T20:51:51.146Z

Как аналитик, я часто запускаю тяжёлые SQL-скрипты. Некоторые из них выполняются долго, могут упасть, а иногда — наоборот, неожиданно быстро отрабатывают. Раньше я просто сидел и смотрел в экран. Или забывал проверить вовремя, теряя время.

Теперь всё проще — я настроил Telegram-бота, который сам шлёт мне сообщение, когда скрипт завершился. Или если вдруг он упал. Даже если я в это время на встрече, завтракаю или не у компа — уведомление приходит прямо на часы, телефон, куда угодно.

Это экономит кучу времени и реально повышает продуктивность: не нужно постоянно следить вручную, бот сам говорит, когда можно брать данные и работать дальше. А если что-то пошло не так — я узнаю об этом сразу.

И всё это делается за 5 минут на Python. Сейчас покажу, как.

Шаг №1: Создаём Telegram-бота:

1) Открываем Telegram и пишем в поиске @BotFather — это официальный бот для управления другими ботами.

2) Отправляем команду: /newbot

3) Придумываем:

Имя для бота: Можно любое (это имя, которое будет отображаться в чатах)
Username (обязательно должно заканчивается на bot, например: ssos_alert_bot)

4) Получаем в ответ токен — это строка вида: "9107281927:GvGWxBBiGTbPBvPubgWW-tBGTR-pWnuT-y1" (копируем ее без кавычек)

Шаг №2: Переходим в python:

Теперь нам нужно узнать свой chat_id, чтобы бот знал, куда писать

1) Устанавливаем библиотеку requests, если не установлена - для этого выполняем следующий код:

pip install requests

2) Пишем любое сообщение в чат боту (это нужно чтобы в следующем пункте мы нашли свое сообщение).

3) Пишем и выполняем следующий код:

Заполняем переменные своими значениями и выполняем код

import requests

TOKEN = 'ВАШ_ТОКЕН_БОТА' # здесь ваш token от бота из пункта 1.4
url = f'https://api.telegram.org/bot{TOKEN}/getUpdates'

response = requests.get(url).json()
print(response)

4) В ответе ищем кусок вида:

'chat': {'id': 4815162342, ...}

копируем этот id

Шаг №3: Отправляем себе любое сообщение:

Заполняем переменные своими значениями и выполняем код

bot_token = 'ВАШ_ТОКЕН_БОТА' # здесь ваш token от бота из пункта 1.4
chat_id = 'ВАШ_CHAT_ID' # здесь ваш chat_id из пункта 2.4
message = '✅ Скрипт завершён, можно работать!'

url = f'https://api.telegram.org/bot{bot_token}/sendMessage'

payload = {
    'chat_id': chat_id, 
    'text': message
}

requests.post(url, data=payload)

Поздравляю, если вы все сделали правильно, на этом моменте вы должны были получить свое первое сообщение от бота.