Weekly Charts

Визуализируем данные мониторинга температуры процессора Rapsberry PI Zero W

2022-09-21T00:52:43.260Z

#week02

#температура

#raspberry_pi

#step_line_chart

Прошлый пост был посвящен автоматическому скачиванию и подготовке данных о погоде в регионах России для создания интерактивной плиточной карты РФ. Для автоматического обновления данных используется скрипт на языке R, который выполняется по расписанию (ежедневно каждые три часа) на моем маленьком домашнем устройстве — Raspberry PI Zero W.

Маленький домашний помощник, работающий в режиме 24/7

Исходные данные: cpu_temp.log

В этот раз мы будем визуализировать данные поминутного изменения температуры процессора Raspberry PI, которые сохраняются в специальным лог-файле c помощью bash-скрипта:

#!/bin/bash
date +"%d.%m.%Y %T" | tr '\n' '\t' >> /home/pi/cpu_temp.log ; vcgencmd measure_temp| tr -d "temp=" | tr -d "'C" >> /home/pi/cpu_temp.log

Для запуска bash-скрипта по расписанию через cron была добавлена запись (каждую минуту):

*/1 * * * * ~/cpu_temp.sh

В результате выполнения скрипта данные о температуре процессора сохраняются в лог:

Эти данные мы и будем визуализировать с помощью R (cpu_temp.R), лого для вставки на график: https://disk.yandex.ru/d/dP16Vwq9sH6RNQ

library(tidyverse)
library(readr)
library(geomtextpath)
library(glue)
library(here)
# Загружаем логотип Raspberry Pi
# лого: https://disk.yandex.ru/d/dP16Vwq9sH6RNQ
png <- magick::image_read("raspberrypi-logo.png")
img <- grid::rasterGrob(png, interpolate = TRUE)
# Загружаем данные (лог температуры)
cpu_temp <- read_delim(
    "cpu_temp.log",
    delim = "\t",
    col_names = c("datetime", "cpu_temp"),
    trim_ws = TRUE) %>%
  mutate(datetime = lubridate::as_datetime(datetime,
                                           "%d.%m.%Y %H:%M:%S",
                                           tz = "Asia/Yekaterinburg"))
# Временной интервал для графика -- последние 3 часа из лога
last_datetime <- cpu_temp$datetime[length(cpu_temp$datetime)]
first_datetime <- last_datetime - lubridate::hours(3)
# Описательные для графика (мин, макс, среднее)
maxTempCPU <- max(cpu_temp$cpu_temp[between(cpu_temp$datetime,
                                            first_datetime, last_datetime)])
minTempCPU <- min(cpu_temp$cpu_temp[between(cpu_temp$datetime,
                                            first_datetime, last_datetime)])
meanTempCPU_period <-
  round(mean(cpu_temp$cpu_temp[between(cpu_temp$datetime,
                                       first_datetime, last_datetime)]), 1)
# для вставки лого
# mt <- ceiling(max(cpu_temp$cpu_temp[between(cpu_temp$datetime,
                                            # first_datetime, last_datetime)]))
mt <- ceiling(max(cpu_temp$cpu_temp))
mt_min <- floor(min(cpu_temp$cpu_temp))
x_max <- last_datetime + lubridate::minutes(25)
x_min <- last_datetime + lubridate::minutes(10)

cpu_temp %>%
  filter(between(datetime, first_datetime, last_datetime)) %>%
  ggplot(aes(datetime, cpu_temp)) +
  annotation_custom(
    img,
    ymin = mt ,
    ymax = mt + 8.25,
    xmin = x_min,
    xmax = x_max
  ) +
  geom_texthline(
    yintercept = mean(cpu_temp$cpu_temp),
    size = 3.75,
    linetype = "dashed",
    linewidth = 0.25,
    label = glue("Среднее за всё время: <b>{round(mean(cpu_temp$cpu_temp),1)}</b>°C"),
    hjust = 0.985,
    vjust = -0.2,
    color = "gray70",
    rich = TRUE
  ) +
  geom_texthline(
    yintercept = meanTempCPU_period,
    size = 3.75,
    linewidth = 0.25,
    label = glue("Среднее за 3 часа: <b>{meanTempCPU_period}</b>°C"),
    hjust = 0.985,
    vjust = -0.2,
    color = "gray70",
    rich = TRUE
  ) +
  geom_step(color = "gray10") +
  scale_y_continuous(
    breaks = seq(mt_min, mt + 1, 2),
    limits = c(mt_min, mt + 1),
    labels = c(as.character(seq(mt_min, mt - 1, 2)),
               glue::glue("{mt + 1}°C"))
  ) +
  scale_x_datetime(
    "Время",
    date_breaks = "30 min",
    date_labels = "%H:%M",
    expand = c(0.15, 0)
  ) +
  labs(
    title = "Температура процессора Raspberry Pi Zero W",
    subtitle = glue(
      "Поминутное изменение температуры за последние 3 часа\n",
      "{format(first_datetime, format = '%d %b %H:%M')} - {format(last_datetime, format = '%H:%M')}",
      " | Мин {minTempCPU}°C | Среднее {meanTempCPU_period}°C | Макс {maxTempCPU}°C"
    ),
    x = "Время",
    y = ""
  ) +
  coord_cartesian(clip = "off") +
  theme(text = element_text(family = "Open Sans"),
        panel.background = element_blank(),
        axis.title.x = element_text(size = 14),
        plot.margin = margin(25, 30, 10, 12),
        plot.title.position = "plot",
        plot.subtitle = element_text(size = 12, color = "gray60"),
        title = element_text(size = 16),
        axis.text.y = element_text(size = 12),
        axis.text.x = element_text(size = 12)
  )
ggsave(
  glue("img/cpu_temp_{format(last_datetime, '%d_%m_%Y_%H_%M')}.png"),
  dpi = 300,
  scale = 1.5
)

Для запуска скрипта каждые три часа создадим задачу в cron:

0 */3 * * * Rscript /home/pi/cpu_temp/cpu_temp_pi.R

Полученный график будем отправлять себе в телеграм через телеграм-бота, созданного специально для отправки личных уведомлений простой командой в конце нашего скрипта:

bot$sendPhoto(chat_id,
              photo = glue("~/cpu_temp/img/cpu_temp_{format(last_datetime, '%d_%m_%Y_%H_%M')}.png")
)

Мой телеграм-канал: https://t.me/weekly_charts

Погода в регионах России

2022-09-13T20:59:01.407Z

#datawrapper

#weather

#плиточные_карты

#api

В русскоязычном датавиз-чате спросили:

Почему бы не попробовать сделать подобное для России?

Исходные данные

Я вспомнил, что как-то давно для Екатеринбурга уже получал данные о погоде в R с помощью API от OpenWeather и пакета owmr. Можно попробовать с помощью R скачать данные о погоде для всех административных центров субъектов РФ, а визуализацию сделать в виде интерактивной плиточной карты в Datawrapper.

Краткое описание процесса получения и предобработки данных в R

Если вы не знаете R, можете пропустить эту часть, сохранив себе ссылку на гугл-таблицу из 5 шага.

Шаг 1) Из Википедии скачиваем список регионов и список административных центров регионов:

library(tidyverse)
library(rvest)

url <- "https://ru.wikipedia.org/wiki/Административные_центры_субъектов_Российской_Федерации"

regions <- read_html(url) %>%
  html_element("table") %>%
  html_table() %>%
  filter(!is.na(`Код ОКАТО`)) %>%
  mutate(`Субъект Российской Федерации` = gsub("\\[1\\]", "", 
                                               `Субъект Российской Федерации`)) %>%
  select(`Субъект Российской Федерации`, `Административный центр`) %>% 
  rename("region" = "Субъект Российской Федерации", 
             "city" = "Административный центр")

Итак, таблица со списком регионов и их админ-центрами выглядит так:

Файл: Административные центры субъектов РФ regions.csv

Шаг 2) Для получения данных о погоде через API командой find_city() пакета qwmr нам необходимо получить ID городов, сохранив в виде csv-таблицы:

Файл: ID городов city_admin.csv

Шаг 3) Также нам пригодится два файла: эмодзи-символы погоды и их соответствие кодам иконок сервиса и таблица-ключ с названиями регионов для последующего объединения датасетов (данных о погоде и названий регионов), в котором присутствует наименование регионов и метки (аббревиатуры) регионов, чтобы их распознал Datawrapper.

Файл: иконки и символы погоды weather_icons.csv

Файл: таблица-ключ регионов regions_key.csv

Шаг 4) Получаем данные о погоде по 85 городам c помощью предварительно написанной функции:

# Текущая погода по административным центрам
get_city_weather <- function(city) {
  res <- get_current(city, units = "metric", lang = "RU") %>%
    owmr_as_tibble() %>%
    mutate(name = city) %>%
    select(name, dt_txt, temp, temp_min, 
           temp_max, weather_id, 
           weather_main, weather_description, weather_icon) %>%
    mutate(icon_url = get_icon_url(weather_icon))
  Sys.sleep(2) # пауза в 2 секунды, чтобы не выйти за лимиты API 
  return(res)
}

df <- pro_map_df(city$name, get_city_weather)

Шаг 5) Объединяем данные, делаем небольшие преобразования и загружаем итоговый датасет в гугл-таблицы:

city <- left_join(city, df, by = c("city_eng" = "name")) 
city <- left_join(city, weather_icons, by = c("weather_icon" = "icon_weather"))
city <- left_join(city, regions_key, by = c("region", "city"))
city$temp <- round(city$temp) #округляем значения температуры до целых
# создаем метку аббревиатура города, температура и эмодзи-символ погоды
city$labels <- glue::glue("{city$RNabbr}<br>{city$temp}°C {city$utf_code}")

# Сохраняем локально в csv данные о погоде на конкретную дату и время запроса
write_csv2(city, glue("data/city_{format(Sys.time(), '%d_%m_%Y_%H_%M')}.csv"))
# Обновляем гугл-таблицу
write_sheet(city, ss = "ID_гугл-таблицы", sheet = "city")

Обновляемая гугл-таблица с данными о погоде, которую используем как источник данных для Datawrapper:

https://docs.google.com/spreadsheets/d/1wDqElULkz4Eycz03q8CmtFTi0oRO4kYan_MEkkRZABU/edit?usp=sharing

Полный R-скрипт:

library(tidyverse)
library(owmr)
library(purrrgress)
library(glue)
library(googlesheets4)
library(here)

# проходим авторизацию через сервисный аккаунт Google Cloud
# см. инструкцию https://habr.com/ru/post/488756/
# API-key OpenWeatherMap

gs4_auth(path = "_ваши_данные_.json")
owmr_settings("_ваш_API_key_")

# Загрузка данных
weather_icons <- read_csv("weather_icons.csv")
regions <- read_csv2("regions.csv")
regions_key <- read_csv("regions_keys.csv")
city <- read_csv("city_admin.csv")

# Текущая погода по административным центрам
get_city_weather <- function(city) {
  res <- get_current(city, units = "metric", lang = "RU") %>%
    owmr_as_tibble() %>%
    mutate(name = city) %>%
    select(name, dt_txt, temp, temp_min, 
           temp_max, weather_id, 
           weather_main, weather_description, weather_icon) %>%
    mutate(icon_url = get_icon_url(weather_icon))
  Sys.sleep(2) # пауза, чтобы не выйти за лимиты запросов API
  return(res)
}

df <- pro_map_df(city$city_eng, get_city_weather)

city <- left_join(city, df, by = c("city_eng" = "name")) 
city <- left_join(city, weather_icons, by = c("weather_icon" = "icon_weather"))
city <- left_join(city, regions_key, by = c("region", "city"))
city$temp <- round(city$temp)
city$labels <- glue::glue("{city$RNabbr}<br>{city$temp}°C {city$utf_code}")

# Сохраняем локально в csv данные о погоде на конкретную дату и время запроса
write_csv2(city, glue("data/city_{format(Sys.time(), '%d_%m_%Y_%H_%M')}.csv"))
# Обновляем гугл-таблицу
write_sheet(city, ss = "ID гугл-таблицы", sheet = "city")

Создаем плиточную карту РФ в Datawrapper

Шаг 1) Открываем Datawrapper, в меню выбираем создать новую карту (Create Map) и выбираем тип карты "Choropleth map", через поиск находим плиточный вариант карты для России (Russia >> Regions (squares)):

Шаг 2) Указываем, что наши данные в виде ссылки на внешний источник данных Link external dataset

Вставляем ссылку на гугл-таблицу (см. 5 шаг выше). Если все ОК, то напротив будет зеленая галочка. Выбираем пункт Use Datawrapper server и нажимаем кнопку Connect:

Убеждаемся, что данные успешно загрузились:

Шаг 3) Настраиваем нашу визуализацию (плиточную карту). Выбираем столбец (переменную, которая будет кодировать цвет плиток) — temp (1), выбираем палитру (2), тип палитры (3), а также указываем дополнительные атрибуты палитры (4) — количество интервалов, максимальное и минимальные значения:

Важно изменить направление цветов палитры, чтобы положительным значениям температуры соответствовали оттенки красного, а отрицательным — синего: нажмите на ключ, затем на кнопку Reverse:

На вкладке Annotate напишите заголовок визуализации, а также задайте метки для плиточек регионов. Для этого активируйте переключатель Show labels, выберите столбец (переменную) labels, в котором у нас хранятся метки регионов, температура и эмодзи-символ погоды.

Попробуйте далее самостоятельно дооформить визуализацию: добавить описание, автора, источник данных, ссылку на источник данных, определить возможные размеры плиточной карты и т.п. После этого переходите к шагу публикации визуализации -- получения ссылки на нее (вкладка Publish&Embed).

Финальный вариант плиточной карты эмодзи-погоды в России:

Мой телеграм-канал: https://t.me/weekly_charts