Работа с позами в Teachable Machine

В Teachable Machine есть возможность работы с позами. Мы хотим показать вам как это делать, ведь для дальнейших задач это может потребоваться.

Вам понадобится:
https://stretch3.github.io/
https://teachablemachine.withgoogle.com/train/pose

Разбирать работу с позами, мы будем сразу на примере.
Наша задача - реализовать маленькую игру, где при принятии определённой позы, у нас загорается новогодняя ёлка. Очень простая задача, но которая в полной мере показывает возможности strech и Teachable Machine.

Создадим модель для определения поз:
1. Заходим на сайт https://teachablemachine.withgoogle.com/
2. Нажимаем на кнопку "Начать"
3. Выбираем проект по позированию
4. Далее у нас есть 2 способа загрузить примеры поз в датасет: загрузить картинки или использовать веб-камеру. Мы воспользуемся вторым.
5. Включаем веб-камеру, нажав соответствующую кнопку, у далее принимаем позу, которая нам нужна и зажимаем кнопку "Удержание для записи.
6. Повторяем для всех поз.
Создадим саму программу в Sctrech
1. Заходим на https://stretch3.github.io/
2. Слева снизу нажимаем на фиолетовую кнопку. У нас откроется список расширений.
3. Среди расширений нам нужно выбрать TMpose2Scratch
4. Расставляем блоки в соответствующем образом:

Работа Strach с Teachable Machine интуитивно не очевидна. В отличии, от ML4K, мы не отсылаем картинки в нашу модель и получаем какую позу он разобрал, вместо этого мы настраиваем, что у нас постоянно (принудительно) отсылаются картинки в модель с определённым интервалом и в этот момент приходит какую позу он разобрал. Поэтому нам приходится ставить блоки "When received pose label", они означают, что когда модель распознает определённую позу, то у нас сработают блоки ниже.

Соответственно, что происходят в этом коде:

pose classification model URL - Мы загружаем нашу модель с Tachable Machine
Label once every 1 seconds - как часто мы будем отсылать изображения в Tachable Machine
turn video on - включаем веб-камеру (по хорошему она должна включится у вас сама, когда вы добавили расширение)
turn classification on - по факту, запуск нашей модели.

Ну и при срабатывании определённых факторов, у нас меняет костюм ёлки, на разукрашенный.