Vadim Apenko

Нахуя ansible

2021-05-21T14:59:59.555Z

Давайте сразу определимся, я буду рассказывать про Ансибл в рамках Пайтон разработчика. Может немного бОльше, но всё же буду рассматривать то, как он нам поможет в разворачивании наших поделок на сервера.
В этой статье будет вводная информация про Ансибл. Не ждите реальный проект, тема слишком обширна и конкретная статья призвана только заинтересовать.

До того как мы начнём, поставь ансибл, братиш!
pip install --user ansible

Для чего?

Очень часто мы руками раскатываем наши сервисы на сервера. Как это обычно происходит?

Влезть за сервер по ssh
Скопировать туда код
Запустить какие-то действия

миграция
сборка контейнера Докер
обновление конфигов
поставить новые пакеты\софт
etc

Остановить старую версию сервиса
Запустить новую
Убедиться что все конфиги поднялись.

Где тут проблема?
Проблема в куче ручных шагов, на которых можно ошибиться, тупануть, вставить не то, обрушить всё к хуям собачьим. Да и не удобно это всё. Точнее оно может и удобно до какой-то стадии повышения сложности, но потом точно не удобно.

Именно для этого и нужен Ансибл. Он позволяет всё это автоматизировать. Надёжно и просто(если понимаешь что делаешь).

Как это работает?

У ансибл есть два режима работы:

Работа с модулями Ансибл напрямую
Работа в режиме плейбуки

Работа напрямую

Это как разовый вызов модуля в пайтоне, а ля python -m pip install aiohttp.
Лично я это использую для разовой операции на куче серверов (да хоть на одном), чтоб что-то мелкое выполнить.
Например узнать uptime всех серверов:
ansible all -i inventory.yaml -m shell -a "uptime"

Работа в режиме плейбуки

Это более серьёзный режим. Playbook - это список правил, действий, по которым ваш сервер приводится к нужному состоянию.

Стоит упомянуть, что Ansible именно приводит к нужному состоянию.

Например у вас в плейбуке написано, чтоб ансибл установил nginx.
1. Ансибл лезет на первый сервер, собирает кучу инфы о сервере и пакетах, установленных там. Устанавливает nginx.
2. Ансибл лезет на второй сервер, собирает кучу инфы... смотрит, nginx уже стоит и ничего не делает вообще.

На выходе серверов может быть 10000 и на всех по итогу будет установлен nginx. Можно поставить тригер, чтоб nginx был установлен именно последней доступной в репозитории версии или определённой версии, тогда ансибл везде сделает nginx именно нужной версии.

Круто? Круто!

Немножко практики и ещё чуть теории

На данный момент нам важно узнать про две вещи.

inventory

inventory - это список серверов\машин\компьютеров с которым ansible работает.
inventory может быть в формате ini, в формате yaml (мой любимчик) и динамический.
Формат ini я не буду рассматривать, если интересно, найдёте в документации. А вот yaml я покажу.
Динамический inventory нигде не хранится кроме оперативной памяти. Чаще всего используется, когда вы автоматически листите какие-то ваши сервера в датацентре и\или создаёте сервер с нуля тем же ansible. Тобишь послали запрос на создание сервера, дождались статуса создания, записали в inventory его параметры.

Давайте напишем свой inventory.
Например у меня есть 2 машины, я назвал их raspi_four и raspi_zero.
Для интереса, я настрою всё так, чтоб ssh вход на raspi_four был по ssh ключу, а на raspi_zero по паролю.
Доступ по ключу на raspi_four настраиваем заранее. (прописываем ваш публичный ключ в authorized_keys на raspi_four, в интернете куча инструкций).

Дальше пишем в файле inventory.yaml

all:
  hosts:
    raspi_four:
      ansible_ssh_host: 192.168.0.119
      ansible_user: pi
    
    raspi_lite:
      ansible_connection: ssh
      ansible_ssh_host: 192.168.0.115
      ansible_user: pi
      ansible_ssh_pass: raspberry

Вместо имён, например raspi_four, можно написать доменное имя и не указывать ip. Ансибл сам разберётся.

Теперь команда ansible all -i inventory.yaml -m shell -a "uptime" будет работать.

Плейбука!

Давайте напишем простую плейбуку.
Рассмотрим два простых действия:
1. Установить какой-нибудь софт на сервер.
2. Скопировать файл с хоста (на котором запущена плейбука) на сервер.
3. Выполнить это на всех машинах в inventory

Приступим. Создаём файл test_playbook.yaml и пишем там это

- name: my tasks
  hosts: all
  tasks:
    - name: install nmap
      apt:
        name: ["nmap"]
      become: True

    - name: copy file
      copy:
        src: "{{ playbook_dir }}/some_file.txt"
        dest: /tmp/tempConfig.txt

Давайте разберёмся что тут происходит.

Если вы знакомы со структурой yaml, вы сразу видите список, а именно список из одного элемента, в котором лежит всё написанное. Этих элементов может быть несколько и все будут выполняться последовательно. Конкретно этот элемент отвечает за исполнение наших, так называемых tasks и называется my tasks. Это будет фигурировать в логах исполнения и весьма полезно давать осмысленные названия.

Далее мы указываем hosts: all. Помните инвентори, там в основе всего была группа all (да, там разделение по группам, но о них подробнее я расскажу в следующий раз, может быть). Вот со всеми входящими в группу хостами мы и производим действия.
Кстати вместо all можно указать local, и тогда все действия будут происходить на машине, на которой запустилась плейбука. Это удобно для разделения задач, например на локальной машине можно собрать артефакт или сбилдить образ, залив его на докер-хаб, а на хосте уже спуллить образ и запустить.

Далее мы видим список tasks. У каждой таски есть одинаковые параметры, это имя name, где любой текст, и имя модуля.
К слову о модулях, из коробки в ансибл есть ооооооочень дохуя модулей на все случаи жизни, да и сторонние можно ставить, их ещё больше. Описывать весь список я не смогу, но подробности есть в документации. Сейчас рассмотрим два модуля, это apt и copy.

apt имеет дополнительный параметр name:, который принимает строку или список строк с названиями того, что надо установить из apt. И ниже мы видим странное become: True, которое направлено на всю задачу. Как мы помним из inventory, мы заходим под пользователем pi, а он не имеет прав на установку пакетов. Чтоб он это умел, надо повысить права дописав перед командой sudo. (само собой юзер pi должен быть включён в sudoers). Именно для задач, где надо повысить права, прописывается become: True (можно так же become: yes)

copy, как можно понять из названия, копирует файл (или директорию) с хоста на целевую машину. Из параметров src: путь до файла на хосте и dest: куда положить на целевой машине. В src мы использовали переменную ансибла, где лежит путь до директории, где лежит текущая плейбука. Этих переменных у ансибла куча и о них поговорим потом. И да, знающие уже увидели тут Jinja2. Чтож - это он и есть) Всё (почти) что можете писать в jinja2, можете и тут.

Я рассмотрел только малую часть возможностей модулей apt и copy, там куча параметров и куча возможностей.

Запускаем

ansible-playbook test_playbook.yaml -i inventory.yaml

и наблюдаем за исполнением. Если запустить ещё раз, то ансибл просто пройдётся по задачам, убедится что всё уже сделано ранее и ничего менять не надо, поставить везде ok вместо changed и не будет нихрена делать =)

Если интересно посмотреть что он делает подробнее, можно к команде запуска дописать -vvv

На этом наша вводная лекция закончена.
Специально для python_sripts, Вадик.

[MicroPython] Как начать писать?

2020-09-29T00:12:48.264Z

В прошлой статье мы обсудили выбор микроконтроллера, кто не читал - настоятельно рекомендую.

В этой статье попробуем что-нибудь написать. Для примера и общей популярности будем рассматривать кодинг под Windows. У меня Windows 10 Pro.

Что нам понадобится:

Интерпретатор Python любой из последних версий. (качаем, ставим)
Прошивка под ваш микроконтроллер (ниже чуть подробнее)
Пара нужных утилит (о них ниже)
Среда разработки (очень громкое название для этого) Thonny

Железо

Я буду использовать TTGO T-Display v1.4, потому что она первая попалась мне под руку. Вы же можете использовать любую железку на основе ESP32.

TTGO T-Display v1.4

Ставим всё нужное

Качаем с сайта Python.org последнюю стабильную версию пайтон.

На момент выхода статьи стабильная версия 3.8.5

Устанавливаем. Не забываем добавить в PATH. (галочка на одном из шагов)

Открываем терминал Windows (cmd) и пишем pip install esptool. Эта команда установит в систему esptool для прошивки esp32.

Обязательно устанавливаем драйвер для usb-ttl конвертера вашего микроконтроллера, обычно это легко гуглится. Например в моей железке это CP2105, в вашей может быть CH340 или что-то ещё. Вообще чип ttl конвертера указан на странице продавца, или просто потыкайте глазами через лупу в черные микрухи около USB порта вашей железки, там точно написано.

Если драйвер вы поставили верно, то при подключении у вас будет определён какой-либо COM порт. У меня это COM9.

Лезем на сайт Micropython и качаем оттуда последнюю стабильную версию микропитона под ваше железо. Например в моей железке нет SPIRAM, но я скачал с его поддержкой, и в будущем буду видеть сообщение E (10) spiram: SPI RAM not initialized при загрузке. Это не страшно.

Прошивка

Первым шагом надо очистить память микроконтроллера. Делать это надо ВСЕГДА перед прошивкой. Даже если прошиваете той же самой прошивкой.

>esptool.py --port COM9 erase_flash
esptool.py v2.8
Serial port COM9
Connecting.....
Detecting chip type... ESP32
Chip is ESP32D0WDQ6 (revision 1)
Features: WiFi, BT, Dual Core, 240MHz, VRef calibration in efuse, Coding Scheme None
Crystal is 40MHz
MAC: 24:6f:28:25:4c:44
Uploading stub...
Running stub...
Stub running...
Erasing flash (this may take a while)...
Chip erase completed successfully in 8.0s
Hard resetting via RTS pin...

Прошиваем!
Инструкция как прошивать есть там же, где качали прошивку. Я делаю чуть не по канону, но работает хорошо. Можете делать как я.

>esptool.py --port COM9 write_flash 0x1000 esp32spiram-idf3-20200902-v1.13.bin
esptool.py v2.8
Serial port COM9
Connecting....
Detecting chip type... ESP32
Chip is ESP32D0WDQ6 (revision 1)
Features: WiFi, BT, Dual Core, 240MHz, VRef calibration in efuse, Coding Scheme None
Crystal is 40MHz
MAC: 24:6f:28:25:4c:44
Uploading stub...
Running stub...
Stub running...
Configuring flash size...
Auto-detected Flash size: 4MB
Compressed 1534288 bytes to 955298...
Wrote 1534288 bytes (955298 compressed) at 0x00001000 in 85.1 seconds (effective 144.2 kbit/s)...
Hash of data verified.

Leaving...
Hard resetting via RTS pin...

Всё, прошивка завершена.

Кодим!

Для начала открываем Thonny

Окно настроек Thonny

В настройках интерпретатора надо выбрать MicroPython (Общий) и порт, на котором определилась ваша железка.

Собственно всё, можно кодить.

Окно Thonny

Внизу мы видим консоль из интерпретатора Python вашего Esp32. (работает TAB для автодополнения)
Слева сверху файлы внутри ESP32.
Снизу слева файлы на локальном ПК в выбранной папке.

Файлы можно перекидывать туда и обратно. (ПКМ по файлу) Можно открывать файлы на редактирования прямо с микроконтроллера, так в общем окне они будут в квадратных скобках.

Сразу ясно какой файл откуда открыт.

Давайте подключимся к Wi-Fi. Для начала открываем документацию и смотрим как. Кстати MicroPython позволяет испытать всё в консоли снизу.

Теперь вам известен мой пароль от вайфай)

Теперь когда мы точно знаем что всё работает, логично прописать это в файл boot.py.

Мой файл после правок выглядит так.

Жмём на иконку сохранить и можем смело перезагружать железку. После загрузки исполнится boot.py и мы подключимся к вайфай. (всё будет видно в консоли внизу). Можно ещё принтов натыкать.

WARNING: Показанный способ подключения к вайфай ужасен, так как не гарантирует подключение. Нет ожидания подключения перед исполнением любого другого кода. Способ показанный в примере в документации лучше, но тоже не идеален.

Немного о файлах и этапе загрузки

После загрузки микроконтроллера запускается интерпретатор Python и в него передаётся сначала файл boot.py, а затем main.py. Если какого-то из файлов нет, то шаг пропускается. Так как интерпретатор у нас один, то всё что мы определим внутри boot.py будет доступно и внутри main.py. То есть заново импортировать совсем не обязательно.

Установка пакетов из сети

Конечно вы можете просто скопировать нужные вам пакеты прям в корень и спокойно импортировать их из любых файлов вашего проекта, но есть возможность воспользоваться pip, точнее его местной интерпретацией upip. Вообще привыкайте, что многие пакеты тут начинаются с "u", чтоб показать свою обрезанную натуру и адаптацию под микропайтон.

Для установки пакетов есть модуль upip. Например сейчас поставим местный аналог requests - модуль urequests. Он поможет нам работать с сетью и обращаться к разным API через http(s).

Устанавливаем urequests

Как видите, процесс реально очень прост. После этого файлы urequests сохранились в /lib/ (её не видно из браузера файлов, но всё же через модуль os можно туда заглянуть). Файлы останутся там даже после перезагрузки.

Кстати кучку библиотек доступных для установки (но не все) можно посмотреть в официальном Github

WARNING: Код установки библиотек не стоит вставлять внутрь файлов проекта, лучше сделать это один раз из консоли и забыть.

Ну и давайте попробуем воспользоваться любым API сервисом. Например получим номер дня в году с помощью worldtimeapi.org.

GET запрос в api сервис.

Всё получилось, внутрь urequests засунули даже парсер json для нашего удобства.

На этом я заканчиваю статью: мы с вами научились прошивать железку, научились пользоваться Thonny, подключаться к Wi-Fi, устанавливать пакеты, работать с API. Ждите следующих статей, где мы, возможно, сделаем что-то полезное =)

Не забывайте про нашу телеграм группу https://t.me/micropython_faq_ru

Спасибо за внимание.
Ваш Вадик.

[MicroPython] С чего начать?

2020-07-07T17:54:05.843Z

Если вы не знаете Python

Суть MicroPython в том, чтоб быстро разрабатывать устройства обладая знаниями Python. Отсюда вывод, знать Python на базовом уровне нужно, без этого никак. Советую курсы или группу по Python

Если Python вы знаете

Для начала надо найти устройство, железку под которую вы будете писать. Ведь вся суть наших плясок - получить работающий девайс с вашим кодом в физическом исполнении.

Дальше я соберу несколько вариантов с ссылками на Али.
Во всех девайсах есть Wifi, так что на этот счёт можно не беспокоиться.

После списка девайсов будет краткая информация по самому MicroPython.

Девайсы M5Stack

Официальный магазин

Официальный сайт

M5Stack девайсы можно назвать словосочетанием "Дорого и круто". Стоят они и правда не мало, но обычно хорошо продуманы, имеют внутри себя много аппаратных устройств типа экранов, индикаторов, кнопок и тд. Обычно к каждому девайсу есть целая россыпь модулей расширений, от плат под пайку до GPS молулей и клавиатур.

M5Stack Fire

Девайс имеет на борту:

Контроллер ESP32 с PSRAM 4 мегабайт, Wi-Fi, dual mode Bluetooth
Слот для MicroSD до 16 гигабайт
LCD экран 320х240, яркий и цветной
3 кнопки
Спикер динамик
Акселерометр + гироскоп
10 программируемых RGB светодиодов по контуру (5 слева + 5 справа), очень яркие.
Li-Pol аккумулятор с контроллером заряда (доступен программно по i2c)
Порты расширений для модулей, которые можно заказать у m5Stack или спаять самому.
Магнитная площадка сзади, позволяющая легко перемещать девайс и ставить его на зарядку. (док в комплекте уже есть)

На мой скромный взгляд, это лучший девайс. Законченный вид, куча памяти, аккумулятор.

Купить можно за 3700 рублей + доставка

M5Stack Gray

Почти как Fire, но меньше памяти, без светодиодов, и без магнитной док станции.

Девайс имеет на борту:

Контроллер ESP32, Wi-Fi, dual mode Bluetooth
Слот для MicroSD до 16 гигабайт
LCD экран 320х240, яркий и цветной
3 кнопки
Спикер динамик
Акселерометр + гироскоп
Li-Pol аккумулятор с контроллером заряда (доступен программно по i2c)
Порты расширений для модулей, которые можно заказать у m5Stack или спаять самому.

Купить можно за 2500 рублей + доставка

M5StickC

Совсем малыш размером с палец, но с экраном и богатым внутренним миром.

Имеет множество модулей расширения, смотрите в официальном магазине (сверху ссылка)

Девайс имеет на борту:

Контроллер ESP32-Pico, Wi-Fi, dual mode Bluetooth
LCD экран 80х160, яркий и цветной
2 кнопки
IR передатчик
Микрофон
Акселерометр + гироскоп
Li-Pol аккумулятор с контроллером заряда (доступен программно по i2c)
Порты расширений для модулей, которые можно заказать у m5Stack или спаять самому.

Купить можно за 900 рублей + доставка.

M5Stack Atom
Самый маленький из м5. Без батареи.

Девайс имеет на борту:

Контроллер ESP32-Pico, Wi-Fi, dual mode Bluetooth
Диодный экран 5х5, яркий и цветной
1 кнопка под светодиодами
IR передатчик
Акселерометр + гироскоп
Порты расширений для модулей, которые можно заказать у m5Stack или спаять самому.

Купить можно за 660 рублей + доставка

TTGO

Официальный магазин

Девайсы TTGO это по китайски, много, и дешево. При этом они не плохо продуманы и вполне подойдут для начального уровня. Забудьте про красивые корпуса, их тут делать придётся самому. А так же забудьте про модули расширения. Всё своими руками.

Я покажу только малую часть их девайсов, открывайте магазин и смотрите сами всё что интересно.

TTGO T4 1.3

Плата с довольно большим экраном. Можно сделать автономной в виду входа под аккумулятор и встроенной разводки для его заряда. Корпуса нет, но я находил под 3д печать и печатал сам.

Дешево и сердито.

Девайс имеет на борту:

Контроллер ESP32, Wi-Fi, dual mode Bluetooth + SPRAM 8M
Слот для MicroSD до 16 гигабайт
LCD экран 240x320, яркий и цветной
3 кнопки
Контроллер заряда LiPo аккумулятора (доступен программно по i2c)
Порты расширений для модулей, которые можно спаять самому.

Купить можно за 1200 рублей + доставка

TTGO T-Watch 2020

Для тех, кто хочет замутить свои часы, с блекджеком и ...
Сразу предупреждаю, девайс продуман не плохо, но над энергосбережением надо подумать серьёзно, так как постоянно горящий экран и запущенный WIFI будет кушать батарею.

Девайс имеет на борту:

Контроллер ESP32, Wi-Fi, dual mode Bluetooth + PSRAM 8M
LCD экран, яркий и цветной
Сенсор над экраном (да, ещё и сенсорные)
1 кнопка
IR трансмиттер
Аккумулятор + Контроллер заряда LiPo аккумулятора (доступен программно по i2c)
Акселерометр
Вибромотор
Звуковой процессор + Динамик
Встроенный модуль Часов реального времени (RTC)

Очень вкусную девайсину можно купить за 1900 рублей + доставка

TTGO T1

Для тех, кому не нужны экраны и навороты, кто хочет прикручивать нужное ему оборудование сам.

Девайс имеет на борту:

Контроллер ESP32, Wi-Fi, dual mode Bluetooth + PSRAM 8M
Слот под MicroSD до 16 Гигабайт
Контроллер заряда LiPo аккумулятора (доступен программно по i2c)

Можно купить за 370 рублей + доставка

MicroPython

#micropython

Все железки выше можно кодить на С++ и на MicroPython. Некоторые, типа M5Stack можно даже в графической среде UI Flow.
Но мы тут собрались ради Микропитона, так что речь пойдёт о нём.

Микропитонов основных два (на самом деле больше). Ванильный и от Лобо.

Ванильный - это тот, который качается с официального https://micropython.org/ (кстати на нём не самая плохая документация и довольно активный форум на английском языке)

От Лобо, это тот, который с Гитахаба пользователя loboris. Микропитон на стероидах. Этот Лоборис обладает регулярными поставками разных дымных смесей и накрутил в свой микропитон столько всего, что разбегаются глаза. Именно этот микропитон я и советую использовать для всех девайсов с LCD экранами. Но учтите, перед прошивкой, скорее всего, придётся собрать свою версию, включив в неё то, что нужно именно вам для девайса.

Кратко о работе и устройстве прошивки MicroPython

MicroPython представляет из себя прошивку, написанную на C++. Внутри имеется интерпретатор Python версии 3.5 с обрезанным функционалом. (Подробнее о вырезанном в доке официального сайта) А так же специальные драйвера для работы устройств и файловой системы.

Микропайтон создаёт под себя файловую систему, в которую вы можете закидывать ваши .py и иные файлы (через USB, FTP или через WEBREPL). Обычно места под это дело 4 мегабайта - место под прошивку. Но некоторые производители расширяют место до 8 или 16 мегабайт. Как правило, это достаточно. Но всё расширяется картами памяти.

После запуска и загрузки ядра Микропайтона, он ищет в памяти файл boot.py и исполняет его. Этот же файл исполняется после пробуждения контроллера из сна.

После успешного исполнения запускается файл main.py

Внутри этих файлов, как можно предположить, уже ваша логика написанная на пайтоне.

Можно подключить девайс по USB порту, подключится на найденный COM порт и мы попадём в интерактивный интерпретатор, в котором можно поиграться с пайтоном на железке.

Пример из офф. документации:

import network
wlan = network.WLAN(network.STAIF) # create station interface
wlan.active(True)       # activate the interface
wlan.scan()             # scan for access points
wlan.isconnected()      # check if the station is connected to an AP
wlan.connect('essid', 'password') # connect to an AP
wlan.config('mac')      # get the interface's MAC address
wlan.ifconfig()         # get the interface's IP/netmask/gw/DNS addresses

ap = network.WLAN(network.APIF) # create access-point interface
ap.config(essid='ESP-AP') # set the ESSID of the access point
ap.config(max_clients=10) # set how many clients can connect to the network
ap.active(True)         # activate the interface

Как видите, всё максимально просто.

Теперь покупайте нужные вам девайсы и давайте экспериментировать вместе на нашем канале по MicroPython

Ваш Вадик.