@yupest

Разбор Финала НТО Junior: Технологии и Искусственный интеллект

2024-12-12T10:04:31.706Z

О сложностях и успехах в цифрах

В финале участие приняли 171 команда! Мы подготовили аналитику, чтобы выяснить сложность задач и направлений: какие навыки Джуниоры освоили на все 100%, а какие нужно прокачать.

Зеленый показывает количество команд, которые успешно решили задачу

Серый, которые не отправили (не приступили к решению)

Красный - решение оказалось неверным

Процент решаемости показывает долю команд с верными решениями задач ко всем (кто решение отправлял).

Цвет столбцов соответствует рекомендуемым ролям в команде:

Лучшие решения команды показали в задачах:

реализованных на платформах машинного обучения Machine learning for kids и Teachable Machine,

теории вероятности,
теории графов,
назначения метрик качества модели, в особенности f1-меры.

Самыми сложными задачами оказались:

на форматирование данных (json-структуры) через Python-код,
проекты-Scratch,
расчет метрики IoU.

Задача №2. Виртуальный помощник

#вероятность

Модель работает с погрешностью. Она распознает положительные отзывы с вероятностью 0.85 , а также ошибочно классифицирует нейтральные как положительные с вероятностью 0.1 и отрицательные как положительные с вероятностью 0.05. Известно, что положительные отзывы составляют 70% от всех поступающих отзывов, нейтральные – 20%, а отрицательные – 10%.

Решение

Вероятность распознавания положительного отзыва как положительного:
P(P∣P)=0.85

Вероятность распознавания нейтрального отзыва как положительного:
P(P∣N)=0.1

Вероятность распознавания отрицательного отзыва как положительного:
P(P∣B)=0.05

Доли отзывов:
P(P)=0.7 (положительные)
P(N)=0.2 (нейтральные)
P(B)=0.1 (отрицательные)

Формула полной вероятности:

Подставим значения из условия в формулу:

Вычисления:

0.85⋅0.7=0.595
0.1⋅0.2=0.02
0.05⋅0.1=0.005

Теперь подставляем полученные значения:

P(положительный)=0.595+0.02+0.005=0.602

Вероятность того, что очередной отзыв будет распознан как положительный, составляет 0.602 или 60,2%.

Задача №3. Сортировка мест в системе «Автопилот»

#классификация_текста

Создать проект распознавания текста
Создать метки классов и загрузить данные с экземплярами из txt файлов

3. Обучить модель

4. Протестировать

Пример ответа для входных данных:

"Рынок рыцарей" - это торговый центр, предлагающий широкий выбор товаров и услуг для всей семьи. На территории центра расположены магазины одежды, обуви, аксессуаров, электроники, товаров для дома, продукты питания и многое другое. Для удобства посетителей предусмотрены кафе, рестораны, зоны отдыха и развлечений. "Рынок рыцарей" - это место, где можно провести время с пользой и удовольствием, совершая покупки и наслаждаясь атмосферой.

business 95

Задача №4. Геокодирование системы «Автопилот»

#программирование_python

Cоставьте запрос для получения координат мест и их категорий, используя спецификацию API (https://yupest2.pythonanywhere.com/api/v2024). Откройте полученную ссылку в браузере и скопируйте содержимое формата JSON. Запишите его в переменную data.

Напишите программу, которая по категории мест (category) выводит список координат в формате:

lon,lat
100,500
200,300

Решение

Составить запрос для получения координат мест: https://yupest2.pythonanywhere.com/api/celestial/get_locations/
Перейти по этой ссылке, скопировать содержимое и записать его в переменную (data).
Получить список локаций.
Создать структуру словаря для записи координат мест по категориям.
Осуществить запись координат в виде отформатированной строки (как в формате csv) с заголовками «lon,lat», где каждая строка записывается с новой.
Осуществить вывод данных для вводимой категории (в любом регистре)

Задача №5. Умный гид в системе «Автопилот»

#классификация_категорий

Подробнее о задаче на классификацию категорий было в разборе задач отборочного этапа: https://teletype.in/@yupest/CfiDhy5tuK5#NkND

Пример входных данных:

{'lon': 850, 'lat': 1000}

Обучим модель «Распознавание числа» на тренировочных данных.

Протестируем результат.

Ответ для примера:

business 48

Задача №6. Расчет кратчайшего маршрута

#кратчайший_путь

#scratch

Формула для расчета евклидова расстояния между двумя точками x_1, y_1 и x_2, y_2 в двумерном пространстве выглядит так:

Где:

d — евклидово расстояние,
x_1, y_1 и x_2, y_2 — координаты двух точек.

Нужно узнать для какая точка ближайшая к целевой и ее путь

Решение

Получить координаты точки (по id) из входных данных (a_lon, a_lat).
Задать изначально большое значение min_distance.
Обход локаций в цикле:

Получение координат каждой точки.
Расчет евклидового расстояния точки из входных данных с каждой из цикла.
Проверка расстояния на минимальность, исключая 0 (ту же самую точку).
Получение идентификатора точки с минимальной дистанцией.

Ссылка на проект Scratch с решением: https://disk.yandex.ru/d/sRMhbFgW0NlwlA

Аналогичное решение на Python. Данные переменной data скопированы из функции API о получении локаций: https://yupest2.pythonanywhere.com/api/celestial/get_locations/

Задача №7. Транспортная сеть с прогнозированием времени поездки

#оптимальный_маршрут

#граф

Матрица входных данных в задаче задается генеративно. Решение приводится для одного из вариантов генерации с целью объяснения подхода к получению верного ответа.

Этап 0. Для удобства граф, соответствующий матрице, можем нарисовать.

Обратим внимание на тот факт, что дороги могут быть, как односторонними так и двусторонними. Время движения туда и обратно выставляется согласно прогнозной модели и может не совпадать.

Этап 1. Определяем начальные условия

Мы начинаем в пункте A и хотим добраться до пункта D. Для этого нужно проверить все возможные пути и найти самый короткий.

Из A в D напрямую — невозможно.
Из A в B — 10 минут.
Из A в C — 15 минут.
Из A в E — 30 минут.

Этап 2. Проверка путей через другие пункты

Через пункт B:

Из A в B — 10 минут.
Из B в D — 25 минут.
Общая сумма: 10+25=35 минут.

Через пункт C:

Из A в C — 15 минут.
Из C в D — невозможно (∞).

Через пункт EEE:

Из A в E — 30 минут.
Из E в D — 15 минут.
Общая сумма: 30+15=45 минут.

Этап 3. Вывод

Через B: A→B→D время: 35 минут.
Через E: A→E→D, время: 45 минут.

Таким образом, наибыстрейшим путем передвижения из точки A в точку D для нашего концепт-кара будет маршрут: A→B→D, время передвижения по которому составит 35 минут.

Рекомендуем тренажер: https://clck.ru/36d34k

Задача №8. Детекция дорожных знаков: создания классификатора

#распознавание_изображений

#teachable_machine

Обучите вашу модель на данных (по ссылке №1 или по ссылке №2) с параметрами по умолчанию. После обучения в самом правом окне, в правом верхнем углу нажмите кнопку “Экспорт модели”, после чего нажмите кнопку “Загрузить мою модель” (она будет расположена там же, где на картинке Обновить облачную модель). Скопируйте ссылку, под надписью “Ссылка общего доступа”.

2. Зайдите на Machine learning for kids в раздел Pretrained (Предобученный). В самом конце вы найдете карточку TensorFlow, в которой будет кнопка “open a TensorFlow model”, нажмите её.

3. Вставьте в верхнее поле публичную ссылку на модель Teachable Machine, которую вы скопировали ранее. Далее у вас откроется Scratch-проект с вашей моделью.

4. Загрузите шаблон сцены.

5. Добавьте блок распознавания "recognise (data) (label)" костюма "costume image", чтобы полученная метка добавлялась к списку predictions и запустите сцену при помощи зелёного флажка справа сверху.

6. Экспортируйте список predictions из 100 записей на сцене в текстовый файл. Для этого кликните на полученном списке правой кнопкой мыши (ПКМ) и нажмите экспорт.

Ссылка на проект с решением (с обученной моделью), можно загружать через обычный Scratch.

Задача №9. Оценка классификации. Расчёт f1-меры

#метрики

#оценка_моделей

#программирование

F1-мера показывает, насколько хорошо модель находит положительные объекты из всех положительных объектов и какая доля объектов, определённых как положительные, действительно является положительными. Таким образом, F1-мера помогает оценить общее качество работы модели, при этом ей ещё и не мешает дисбаланс классов.

Подробнее о ней рассказано на каждом этапе нашей сферы на платформе: https://orbita.education/ru/events/379/5797

Решение проще всего осуществить программно с помощью Python-кода или на Scratch.

Решение

Создать счетчик для обхода в цикле значений из data и predictions
По условию, соответствующим матрицы ошибок рассчитать значения TP, FP, TN, FN.
По формуле вычислить recall и precision.

Precision = TP / (TP + FP) и показывает долю объектов, названных нашей моделью положительными и при этом действительно являющимися положительными.

Recall = TP / (TP + FN) и показывает нам какую долю объектов положительного класса из всех объектов положительного класса нашел алгоритм.
По формуле вычислить F1-меру.

Расчет recall и precision был разобран в отборочных попытках. В финале оставалось только вычислить F1-меру.

Ссылка на проект Scratch с решением: https://disk.yandex.ru/d/nn-ixk41C3hnNg

Программный способ решения:

Задача №10. Детекция дорожных знаков: сегментация

#программирование

#сегментация

В каждом спрайте (сегменте изображения) считываем часть картинки с помощью backdrop image.
Проверяем сегмент на наличие знака.
Если знак обнаружен, подсвечиваем сегмент (рамку) с помощью костюма thin-border.

Решение

Спрайты

Проект-Scratch с решением: https://disk.yandex.ru/d/88pXI5nr5G1P-Q

Задача №11. Оценка качества детекции

#метрики

#программирование

#iou

IoU

Bounding box — это прямоугольник, который обводит объект на картинке. Например, если на картинке есть кошка, bounding box — это прямоугольник, который обводит эту кошку.

Как рассчитывается IoU?

Пересечение (Intersection) - это область, где предсказанный прямоугольник и правильный прямоугольник перекрываются (Area of Overlap).
Объединение (Union) - это общая область, которую покрывают оба прямоугольника (Area of Union).

Формула: IoU=Intersection/Union

Рассмотрим частные случаи пересечений правильного и предсказанного областей прямоугольников:

Чтобы узнать площадь пересечения прямоугольников, нужно перемножить его стороны по формуле площади прямоугольника:

Intersection=a⋅b

Рассмотрим частный случай, чтобы получить стороны a и b:

Зная координаты точек "верхнего правого" угла и "нижнего левого" (отмечены фиолетовыми точками), можем рассчитать стороны a и b.

Для получения общей площади Union нужно сложить площади настоящего прямоугольника и предсказанного и отнять площадь пересечения:

Union=data+predictions−Intersection

На вход подаются координаты области data и predictions (соответственно - 8 списков). В списках каждая строка рассматривает некоторый случай.

Решение

Программное решение:

Также эту задачу можно решить с помощью Табличных вычислений, например в Excel (_i - обозначает номер):

Задача №12. Назначение метрик для оценки качества моделей машинного обучения

Accuracy

Это самая простая и интуитивно понятная метрика, но к сожалению она крайне неправильная при дисбалансировки классов, из-за чего редко используется.

Precision

Доля объектов, которые классифицировались положительным и при этом действительно являются положительными.

Recall

Доля найденных положительных классов, по-русски её называют «Полнота».

F1-мера

Одна из самых распространённых метрик, потому что при её простом расчете не боится дисбалансировки классов.

IoU

Метрика используемая для понимания качества детекции, в её названии скрыта её суть.

Подготовка к финалу НТО Джуниор "Технологии и искусственный интеллект" 2024

2024-10-31T05:09:28.422Z

Финальные испытания для джуниоров проходят в необычном городе Поднебесный. В мире Поднебесного магия заключается в вашем умении программировать, анализировать данные и решать задачи, которые делают жизнь в городе лучше.

Этот город не напоминает футуристический мир из стекла и стали — напротив, его улочки утопают в зелени, а величественные здания, с их изысканной архитектурой, навевают мысли о тайнах древней магии. Кажется, что здесь, среди каменных арок и старинных фонтанов, в тенистых аллеях парков, могут скрываться древние коды. Но разве современная технология — не магия? А люди, владеющие знаниями, не волшебники?

Поднебесный

В компании «Альтернативное будущее», участвующей в технологическом развитии города, джуниоры помогают создавать чудо — систему автопилота, которая кажется фантастикой, но основана на программном коде.

Автопилот — сложная информационная система, где собраны математические модели, данные о каждом уголке города, и мощные программы машинного обучения.

Согласно техническому заданию, у «Автопилота» должны быть реализованы следующие возможности:

знание лучших мест в городе, чтобы подсказывать туристам и местным жителям, что посетить.
понимание описания мест для выбора подходящего варианта по запросу пассажира.
ориентация в городе: знание рекреационного районирования, включая фудкорты, развлекательные центры, гостиницы, зоны отдыха и культурные пространства. Автопилот определяет кратчайший маршрут до выбранного места с учётом пробок.
соблюдение правил дорожного движения: распознавание дорожных знаков и своевременная реакция на них.

Задачи поделены на три категории по направлениям:

математики создают точные расчёты,

аналитики исследуют город и собирают данные,

а программисты, как настоящие маги кода, пишут программы, которые «учат» автопилот принимать решения.

В скобках () рядом с задачей указано время, на которое следует ориентироваться участникам финала при желании достичь максимально возможного результата за определенный для финала период времени.

Также у задач указана тематика и уровень сложности в виде звёздочек.

Команда джуниоров работает вместе, чтобы разработать прототип решения для Автопилота, который сможет безопасно перемещаться по улицам города Поднебесный, а также будет оснащена умными сервисами, позволяющими пассажирам получать консультации по городской инфраструктуре.

После проведения математических расчетов, сбора данных и разработки моделей умных сервисов, обязательно необходимо сделать оценку точности функционирования модели.

Подготовка по ролям

Математик

Джуниоры-математики глазами Шедеврума

работает асессором, размечает данные,
рассчитывает вероятность,
понимает графовые структуры и рассчитывает путь.

В качестве методов и инструментов рекомендуется использовать:

таблицы для наглядного формирования структуры данных
Scratch - для автоматизированного расчёта

Описание проекта в образовательном курсе.

Аналитик

Джуниоры-аналитики глазами Шедеврума

1. Разрабатывает модели машинного обучения:

классификации текста,
классификации категорий,
и распознавания изображений.

Модели обучаются на платформе Machine learning for kids.

2. Знает методы оценки точности моделей.

Плейлист видео Вконтакте с уроками Machine learning for kids.

Описание работы с платформой в образовательном курсе.

Программист

Джуниоры-программисты глазами Шедеврума

понимает спецификацию API и умеет работать с форматом json (словари Python),
разрабатывает программный интерфейс Автопилота,
реализует алгоритмы оценки точности моделей.

В качестве инструментов разработки предложены:

платформа Scratch,
язык программирования Python в среде разработки trinket.io.

Плейлист видео Вконтакте с уроками сбора данных на платформе trinket.

Группа Вконтакте: https://vk.com/junior_ii
Образовательный курс
Отборочный этап. Первая попытка
Отборочный этап. Вторая попытка

Генерация презентаций

2024-10-28T10:04:17.648Z

В данном разделе рассматривается использование инструментов искусственного интеллекта для создания презентаций.

Основное внимание уделяется программам SlidesGo, Gamma, которые помогают создавать качественные слайды без необходимости тратить много времени на дизайн.

Также рассматривается применение нейросети Kandinsky для генерации иллюстративного материала, который может быть использован в презентациях.

Для более опытных пользователей представлены методы генерации кода создания презентации из её структуры в текстовом формате, что позволяет автоматизировать процесс разработки презентаций.

Схема взаимодействия инструментов ИИ для создания презентаций

Описание алгоритма работы

На первом этапе идет подготовка - формирование промпта для создания презентаций.

В рамках курса рассмотрим 2 вида инструментов генерации презентаций с помощью искусственного интеллекта.

В первом варианте для создания презентаций платформам генерации (SlidesGO, Gamma) потребуется только название темы.

Во втором (инструмент MagicSlides) - описание структуры презентации. В качестве генератора идей и содержимого слайдов воспользуемся инструментами (чатами) генерации текстов, например: Gigachat или Yandex.GPT (Алиса).

На втором этапе - генерация презентации: стиль, формат, содержимое и ее правка.

На третьем - воспользуемся инструментами генерации медиа-файлов (изображения и видео-контент) для их использования на слайдах.

Технические требования

Подготовьте Google-аккаунт для использования платформ: Email и пароль от почты. Если у вас нет google-почты, зарегистрируйтесь.

Чтобы использовать Gigachat - потребуется вход на сайт через приложение Сбербанка или номер телефона; или вход в Telegram для использования чат-бота.

Генерация идей и структуры презентации

Для генерации идей можно использовать различные инструменты генерации текста (например, Gigachat или Yandex.GPT (Алиса)), основанные на языковых моделях. Такие инструменты могут предложить идеи для уроков, докладов или даже структурировать презентацию по новой теме.

Примеры использования:

1. Придумать тему внеучебного занятия:
- Вводный запрос: "Придумайте тему для внеучебного занятия, которое будет интересно ученикам".
- Модель может предложить следующие темы: "Как создать свой блог", "Как организовать школьный спектакль", "Как писать научные статьи".

2. Сгенерировать темы докладов:
- Вводный запрос: "Предложите темы для докладов учеников по математике".
- Модель может предложить следующие темы: "Решение задач на проценты", "Алгоритмы Евклида и их применение", "Математические головоломки".

3. Разработать структуру презентации по новой теме:
- Вводный запрос: "Создайте структуру презентации на тему 'Фракталы'".
- Модель может предложить следующую структуру:
- Введение: Что такое фракталы?
- Источники возникновения фракталов в природе.
- Примеры фрактальной геометрии.
- Применение фракталов в науке и технике.
- Заключение: выводы и перспективы изучения фракталов.

Преимущества использования генеративного подхода:

- Экономия времени: генеративные модели позволяют быстро генерировать большое количество идей и структур, что значительно ускоряет процесс подготовки материалов.
- Качество контента: современные модели способны генерировать качественный контент, соответствующий высоким стандартам.
- Инновационные решения: возможность генерировать необычные и креативные идеи, которые могут стать основой для новых проектов и инициатив.

Задание

В любом инструменте генерации текстов сформируйте запросы для получения:

Перечня тем презентаций по какой-либо предметной области.
Структуры презентации по одной из тем, предложенных в пункте 1.

SlidesGo

SlidesGo — это онлайн-платформа, которая использует искусственный интеллект для создания профессиональных презентаций. Инструмент бесплатен и не имеет ограничений.

Вот несколько шагов, чтобы начать работать с SlidesGo:

1. Регистрация: Зарегистрируйтесь на сайте SlidesGo, используя свой электронный адрес или аккаунт Google.

2. Создание презентации: На главной странице выберите AI presentation maker.

3. Заполнение информации: Заполните информацию о вашем проекте. Поле Topic - название проекта. Выберите стиль повествования (writing tone), язык (language), количество слайдов (number of slides) и шаблон презентации (style). Нажмите Generate presentation.

4. Редактирование слайдов: Каждый слайд можно редактировать отдельно, добавляя тексты, изображения, графики и другие элементы. Используйте панель инструментов слева для добавления новых слайдов, изменения их порядка и других действий.

5. Шаблоны и стили: Вы можете выбрать различные шаблоны и стили для каждого слайда, чтобы сделать вашу презентацию уникальной и запоминающейся.

6. Просмотр и экспорт: Когда ваша презентация готова, вы можете просмотреть её перед экспортом. SlidesGo поддерживает экспорт в форматах PDF, PPTX и HTML.

7. Поделиться презентацией: Если вы хотите поделиться своей презентацией с другими людьми, вы можете отправить им ссылку на просмотр или скачивание через платформу SlidesGo.

Gamma

https://teletype.in/@yupest/aS-M2L8Hjh4

Задание

1. Придумайте тему презентации. В этом Вам могут помочь инструменты искусственного интеллекта - чат-боты (например, GigaChat, Яндекс Алиса). Попросите придумать несколько тем определенной предметной области и выберите ту, которая вам понравилась больше.

2. Для выбранной темы сгенерируйте презентацию с помощью любого инструмента генерации презентаций, который был рассмотрен на практике.

3. Поправьте презентацию. Проверьте адекватность содержимого слайдов: текста, изображений и графиков.

4. Дополните презентацию медиа-контентом (изображениями или видео), сгенерированным с помощью специальных инструментов (Кандинский, GigaChat или другие). 1-2 шт.

В отклик к заданию пришлите ссылку на презентацию или сам файл презентации (форматы pptx, pdf). Прикрепите дополнительно медиа-контент из 4 пункта.

Специальные инструменты ИИ для педагогов: Magic School

2024-10-28T09:56:15.335Z

Практическая работа с сервисом MagicSchool AI

Сделайте презентацию из скриншотов запросов-ответов.

Задание 1.1. Генерация плана урока

1. Выберем соответствующий инструмент сервиса

2. Заполним необходимые для генерации плана урока поля

Введите в первое поле тему урока. Например: " Законы Ньютона. Свободное падение тел. Закон всемирного тяготения. Ускорение свободного падения".
Прикрепите дополнительные материалы. Например, файл fizika.pdf, прикрепленный к разделу.

Сгенерируйте план урока.

3. Выберите Действия-Перевод ( так, как это показано на рисунке ниже), переведите текст плана урока на русский язык.

4. Рассмотрите дополнительные опции. Выберите одну из них. Например, "Какие ресурсы я могу использовать, чтобы помочь студентам лучше понять силу притяжения?" (правая опция, см. рисунок с переводом текста)

Можете продолжить изучать опции запросов в подсказках, выберите теперь левый вариант.

5. Если вы получили достаточно информации к занятию, то можете перейти к составлению проверочно теста. Смотрите риснок ниже.

6. Экспортируйте все материалы, чтобы их можно было использовать.

Задание 1.2. Составьте план урока по вашему предмету.

Получите необходимые дополнительные материалы к уроку. Составьте вопросы для оценки знаний, резюме и глоссарий по теме урока.

Задание 2. Чат-бот Райна

На платформе есть чат-бот Райна, цель которого помочь педагогам научиться использовать ИИ для создания креативных уроков. Давайте научимся работать с Райной. Выберите этот инструмент на панели слева. Так, как показано на рисунке ниже.

Теперь можно задавать Райне вопросы

Спросим, например, как можно использовать музыку в уроках по дробям?

Получилось? Это, действительно, интересно и полезно. Можете экспортировать материал к себе в копилку.

Задание 3. Презентация

Выберите в инструментах сервиса генерацию презентаций.

Введите тему. Например, "Законы Ньютона". Запустите процесс генерации. Экспортируйте результат в двух вариантах: в файле презентаций *.pptx, а также в формате *.docx (последний вариант пригодится нам чуть позже для работы с другим инструментов генерации презентаций). Просмотрите, получившиеся материалы.

Задание 4. Своя игра

Разработайте вопросы для интерактивного урока в стиле "Своя игра". Используйте соответствующий инструменты сервиса.

Задание 5*. Разработка учебных материалов на основе видео YouTube (необязательно)

Используя ссылку на тематический ролик, расположенный на видеохостинге YouTube и два инструмента сервиса, вы можете разработать учебные материалы. Вообще, стоит отметить, что в большинстве инструментов вы можете вставлять ссылку на ролик YouTube, а платформа будет обрабатывать информацию и выдавать необходимый материал. Сейчас же мы говорим о двух инструментах, которые отображены на рисунке ниже.

Добавьте ссылку на видео, выбрав из один их представленных ниже вариантов.

1. Три закона Ньютона: https://youtu.be/1jSAgHFawxM?si=B8u57h59RhYJpcQ -
2. Что такое искусственный интеллект?: https://youtu.be/3I93dQqkISc?si=7EjI4sRACb8fq16X
Составьте пересказ видео на две страницы, составьте вопросы теста к видео.

Задание 6. Создайте, используя сервис, собственную методическую разработку.

Разбор Отборочного этапа НТО Junior: Технологии и Искусственный интеллект

2024-10-23T10:39:53.012Z

Решаемость задач

Решаемость задач по двум попыткам

Процент решаемости показывает долю участников с верными решениями ко всем.

Цвет столбцов соответствует решаемости: самые красные - решили мало, самые зеленые - много.

Решаемость Задач, реализуемых на платформе Machine learning for kids. значительно выше, чем у других, что говорит о том, что новый инструмент был отлично усвоен.

Самыми сложными задачами оказались:

Задачи на Автопилот - разработка программного кода с помощью блоков на платформе Scratch. Требовалось в соответствии с алгоритмом действий выстроить правильную последовательность блоков.
Сбор данных через API, баллов за нее начислялось больше всего и она требовала знание и понимание кода на языке Python и внимательности при соблюдении формата ввода.
Разметка текста - задача для Асессоров на разделение отзывов по настроению: позитивному, негативному и нейтральному. Задача требовала внимательности участников и соблюдение формата ввода.

Задача №1. Задание для асессоров

#разметка_текста

1.1. Разметка отзывов по контексту настроения: позитивные, негативные и нейтральные

Разметка отзывов на отрицательные и позитивные на основе личного опыта. Цветом подсветили строки:

зеленые - позитивные
красные - негативные
серые - нейтральные

1.2. Количество ошибочных отзывов vs 1.2. Автоматическая разметка

Определить ключевые слова для формирования однозначного ответа:

Первая попытка: каждый положительный отзыв снабжен фразой «отличный парк», каждый отрицательный ключевой подстрокой «разочарова»
каждый положительный отзыв снабжен фразой «замечательное место», каждый отрицательный «отвратительный сервис»
остальные отзывы нейтральные.

Ошибочными считаются те, которые не имеют ключевые фразы и тогда, при автоматическом разделении отзывов, они будут отнесены к нейтральным

Пример входных данных:

Я влюбился в это место! Прекрасные виды и уютные зоны отдыха.

Мы с детьми просто в восторге! Отличный парк, стал настоящим открытием.

Парк оставил только разочарование. Всё выглядело гораздо лучше на фото.

Дети были в восторге! Отличный парк! просто фантастический!

Средний уровень, без ярких впечатлений. Можно посетить один раз.

Действительно отличный парк. Заслуживает высокой оценки. Всё было прекрасно.

Парк не стоит потраченных на него денег. Сплошное разочарование.

Приятно удивлён уровнем: отличный парк! Впечатления незабываемые!

Парк оказался очень скучным. Никаких новых впечатлений. Ставлю дизлайк.

Вернусь сюда снова! Отличный парк, оставил самые лучшие впечатления.

Ощущение, что парк уже давно нуждается в обновлении. Разочарован.

Атмосфера в парке просто волшебная. Рекомендую всем друзьям.

Обычный парк, со стандартными развлечениями. Ничего особенного.

Отличный парк для любителей приключений. Нам очень понравилось!

Место совсем не соответствует ожиданиям. Разочарование на каждом шагу.

Количество позитивных: 8

Количество негативных: 5

Количество нейтральных: 2

Количество ошибочно нейтральных: 3 (сами нейтральные считать не нужно, из них 2 позитивных и 1 негативный)

Ключи: отличный парк и разочарова

Задача №2. Классификация дорожных знаков

#классификация_изображений

1. Создаем модель "Распознавание изображения" на платформе Machine learning for kids.

2. Заполняем данные в обучении модели:

Рисунок №1 к решению Задачи №2

3. Обучаем модель

4. Создаём пустую сцену с блоком «Обучить модель» и скачиваем её

Рисунок №2 к решению Задачи №2

5. Переходим на сайт для создания тестовых сцен и создаём сцену

Рисунок №3 к решению Задачи №2

6. Загружаем эту сцену и запускаем.

Рисунок №4 к решению Задачи №2

7. Нажимаем на список ПКМ и нажимаем экспорт
8. Отправляем текстовый файл на проверку

Задача №3. Автопилот

#scratch

Реагирование автопилота на знаки (сцена с машинкой):

Эффект паралакса (сцена со знаком):

Проект Scratch с решением

Прежде чем его запустить, обучите свою модель распознавание знаков с изображений. Создайте из модели проект Scratch и уже в него загрузите файл с решением. Затем замените блоки с использованием модели - на блоки своей модели в спрайтах с машинкой и road75.

Задача №4. Сбой портала сбора данных

#сбор_данных

Первая попытка

Пример входных данных:

#-------------------------------1--------------------------------
    reviews.extend(requests.get(f'https://yupest2.pythonanywhere.com/api/v2.0/riviya/get_reviews_by_id/?id={loc["id"]}').json())
#-------------------------------2--------------------------------
for loc in locations['locations']:
#-------------------------------3--------------------------------
with open('negative.txt', 'w') as file:
#-------------------------------4--------------------------------
    file.write(''.join(positive))
#-------------------------------5--------------------------------
with open('postitive.txt', 'w') as file:
#-------------------------------6--------------------------------
    file.write(''.join(negative))
#-------------------------------7--------------------------------
        negative.append(r['review'])
#-------------------------------8--------------------------------
    else:
#-------------------------------9--------------------------------
import <?>

locations = requests.get('https://yupest2.pythonanywhere.com/api/v2.0/riviya/get_locations/').json()

reviews = []

negative = []

positive = []
#-------------------------------10--------------------------------
for r in <?>:
#-------------------------------11--------------------------------
        <?>.append(r['review'])
#-------------------------------12--------------------------------
    if r['rating'] < 4:

Алгоритм:

Загрузка нужных библиотек и объявление переменных, в которых будут хранится списки локаций и отзывов. (Блок 9 - требуется загрузка модуля requests)
Сбор локаций Ривии, чтобы узнать их идентификаторы (id) с помощью функции из API. (Блок 9)
Сбор отзывов по id каждой локации с помощью функции из API. (Блоки 2, 1)
Проверка каждого отзыва (блок 10 - из списка reviews). Если оценка (rating) меньше 4 (блок 12), то отзыв относится к негативному списку (блок 7), а если 4 и выше - позитивному (блоки 8, 11 - добавление отзывов в список positive).
Запись сначала негативных отзывов в файл negative.txt (блоки 3, 6), а затем позитивных - positive.txt (блоки 5,4).

Решение задачи №4 первой попытки

Ответ для примера:

9 requests
2
1
10 reviews
12
7
8
11 positive
3
6
5
4

Вторая попытка

Пример входных данных:

#-------------------------------1--------------------------------
    rating = round(sum(stats['ratings'])/len(stats['ratings']), 2)
    category = loc['category']
#-------------------------------2--------------------------------
    if category not in result:
#-------------------------------3--------------------------------
        file.write(cols+"\n".join(result[<?>]))
#-------------------------------4--------------------------------
    result[category].append(f"{stats['likes']},{round(visit['<?>'], 2)},{rating}")
#-------------------------------5--------------------------------
for loc in locations['locations']:
#-------------------------------6--------------------------------
    with open(f'stats_by_{category}.csv', 'w') as file:
#-------------------------------7--------------------------------
locations = requests.get('https://yupest2.pythonanywhere.com/api/v2.0/omegapolis/get_locations/').json()
#-------------------------------8--------------------------------
    stats = requests.get(f'https://yupest2.pythonanywhere.com/api/v2.0/omegapolis/get_stats_by_id/?id={loc["<?>"]}').json()
    visit = requests.get(f'https://yupest2.pythonanywhere.com/api/v2.0/omegapolis/get_average_visits_by_id/?id={loc["id"]}').json()
#-------------------------------9--------------------------------
for category in result.keys():
#-------------------------------10--------------------------------
import requests
cols = 'like,visits,rating\n'
result = {}
#-------------------------------11--------------------------------
        result[category] = []

Алгоритм:

Загрузка нужных библиотек и объявление переменных, для хранения и создания наборов данных. (Блок 10)
Сбор локаций Омегаполиса, чтобы узнать их идентификаторы (id). (Блок 7)
Сбор количественных показателей по id каждой локации (блок 5), а именно: количество лайков, оценки пользователей из отзывов и среднее значение посещаемости (блок 8 - обращаемся к id локации при составлении запроса).
Для оценок отзывов подсчитывается среднее значение, известно, что для каждой локации всегда три оценки (блок 1). После чего, значения записываются в список по категории локации: количество лайков, средний показатель посещаемости и средний рейтинг (блок 4 - получаем среднюю посещаемость по ключу avg_visits). При этом, если категория встречается впервые - создается ключ-значение в формате категория-пустой список(блоки 2 и 11, должны стоять перед записью).
Для каждой категории (блок 9) записывается отдельный файл формата csv со значениями: like (количество лайков), visits (среднее число посещений), rating (средняя оценка отзывов) (блоки 6 и 3, обращаемся к category, чтобы получить записи по ней).

Решение задачи№4 второй попытки

Ответ для примера:

10
7
5
8 id
1
2
11
4 avg_visits
9
6
3 category

Задачи на классификацию категорий

Почему задача могла быть решена неверно?

Использовать платформу Machine learning for kids. нужно в Chrome - бразуере или Chromium.
Регистрация не требуется, нужно заходить через кнопку "Попробовать сейчас".

Были сделаны ошибки при загрузке экземпляров для обучения модели, так как требовалось разнести файлы по категориям.
Хранилище при создания проекта было выбрано не Браузер.

Пример задачи из второй попытки:

- достопримечательности (landmarks) - то, что можно посмотреть бесплатно и познакомиться с городом во время прогулок: исторические памятники, парки, пляжи, сады, фонтаны

- и места развлечений (attractions) - помещения с платным входом и развлекательной программой: аквариумы, зоопарки, музеи, театры, торговые центры.

Помогите «Омегаполис» оценить популярность мест по категориям. Какая категория мест имеет высокие оценки и пользуется спросом, а к какой - администрации города стоит присмотреться и улучшить?

Создайте модель классификации («распознавание числа») на платформе Machine learning for kids (https://machinelearningforkids.co.uk/) по числовым признакам:
like visits rating

Пример входных данных:

{'like': 50, 'visits': 50, 'rating': 2}

Обучим модель на тренировочных данных. Легенда к изображению №1:

sights - это attractions
walking - landmarks

Рисунок №1 к решению Задачи №5

Протестируем результат.

Рисунок №2 к решению Задачи №5

Ответ для примера:

landmarks 76

Пример создания проекта для первой попытки:

Нужно было задать параметры модели в точности также, как по условию задачи.

Задачи на вероятность

Первая попытка:

Модель машинного обучения, заложенная в виртуального помощника, распознает официальные письма с вероятностью 0,9. А иногда с вероятностью 0,01 она определяет тексты неформально переписки, как официальные. Известно, что официальные письма составляют всего 5% от всех писем, поступающих мэру. Найдите вероятность, что очередное письмо, отправленное в мэрию, будет распознано виртуальным секретарем, как официальное.

Рисунок №1 к решению Задачи №7

Решение задачи №7 - первая попытка

Вторая попытка:

В случае не выявления брака в первом тесте, разработчики предусмотрели повторный тест изделия. при не выявлении брака в повторном тесте, изделие отправляется в продажу.

Вероятность ложного обнаружения брака моделью составляет 0,005. Найдите вероятность того, что при таком подходе качественное изделие будет забраковано и не попадет в продажу.

Решение задачи №7 - вторая попытка

Материалы для самоподготовки:

Задача №9. Оценка своих успехов

#метрики

Precision & Recall

Precision = TP / (TP + FP) и показывает долю объектов, названных нашей моделью положительными и при этом действительно являющимися положительными.

Recall = TP / (TP + FN) и показывает нам какую долю объектов положительного класса из всех объектов положительного класса нашел алгоритм.

Расчет recall и precision

Проект Scratch с решением

Gamma

2024-10-22T04:32:55.124Z

📌 Gamma – это AI-сервис для создания презентаций, прототипов сайта и документов на основе текстового описания.

Ссылка на сервис: https://gamma.app

Возможности Gamma:

Создание презентаций;
Создание прототипов лендингов;
Создание документов.

Пошаговый алогритм создания презентации

Выбрать подходящий способ: создание презентации по тексту или с 0:

Создание презентации с 0 вместе с Gamma

Нажмите на кнопку Sign for free.
Войдите с помощью Google-аккаунта.
Создайте рабочее пространство.
Выберите: for personal use (для личного использования), other (или что-то другое на вопрос о виде работы).
Введите тему презентации, количество слайдов и язык и нажмите на фиолетовую кнопку.
Далее нужно проверить структуру, которую предложил сервис. Слайды можно удалять, редактировать, добавлять. Нажмите Продвинутые настройки (Advanced mode), чтобы задать расширенные настройки: количество текста на слайде, изображения стоковые или сгенерированные нейросетью.

Основные настройки презентации

Расширенные настройки презентации в разделе «Advanced mode»

После этого сервис предложит несколько стилей, из которых мы можем выбрать наиболее понравившийся. Выбрав стиль, нажимаем «Generate».

Теперь перед вами появится готовая презентация и редактор, с помощью которого вы можете доработать слайды: поменять заголовки, сгенерировать картинки или графики, удалить ненужные элементы и так далее.

После завершения редактирования презентации, можно экспортировать ее в формате pdf. или pptx.

Второй формат работы – генерация презентация на основе имеющегося текста, который вы можете ввести в стартовое окно или загрузить в виде документа. Остальные шаги не меняются!

Сбор данных по API

2024-10-10T10:25:21.331Z

Знакомство с API

API (Application Programming Interface) – это набор правил, которые позволяют одной программе взаимодействовать с другой. API часто используется для доступа к веб-сервисам, чтобы получать или отправлять данные. Такой набор правил описывает спецификация API. Как несложно догадаться - разработчики создают функции, необходимые для конкретной программы, поэтому для каждой программы нужно изучать спецификацию.

Как читать спецификацию API?

Базовый URL: Это адрес, к которому будут отправляться все запросы. А именно, https://yupest2.pythonanywhere.com
Методы HTTP: Определяют тип запроса. Основные методы:

GET (получение данных) - все функции предложенного API реализованы этим методом.
POST (отправка данных)
PUT (обновление данных)
DELETE (удаление данных)

Эндпоинты (Адрес API): Это конкретные адреса, к которым можно отправлять запросы. Например, /api/v1.0/movies/<code>. Такой адрес можно добавить к базовому URL и открыть во вкладке браузера или отправить запрос программно.
Параметры запросов: Данные, которые нужно передать в запросе (могут отсутствовать). Они могут быть в URL (для GET запросов). Существуют 2 вида параметров:

Если описанный параметр отсутствует в эндпоинте, то он добавляется в конец эндпоинтов через «?». Далее следует название параметра (атрибута), знак «=» и само значение параметра. Например, «?genre=мелодрама». Если параметров несколько, они записываются через знак «&»: ?genre=мелодрама&country=Россия
Если указаны - такие параметры называют параметрами пути, например <code>. Вместо него нужно указать необходимое значение.

Ответ: результат запроса. Здесь описываются атрибуты и их значения в формат JSON.

Подытожим вышесказанное.

API - перечень доступных функций для получения информации в формате данных (JSON).

Спецификация API - содержит описание этих функций, так разработчик сможет определить какая функция будет нужна для той или иной задачи и как составить запрос.

Чтобы получить данные через API, нужно составить запрос:

Базовый URL + Эндпоинты + Параметры запросов

Например: https://yupest2.pythonanywhere.com/api/v1.0/movies/524

В этом примере параметр <code> был заменен на значение 524.

Ознакомьтесь со спецификацией API на сайте: https://yupest2.pythonanywhere.com/api/

Сбор данных

Мы уже научились формировать url ссылки и узнали набор функций API к данным фильмах. Теперь необходимо автоматизировать процесс сбора данных. Акитилана Кифарг подготовила для вас краткий экскурс в язык программирования Python и необходимые библиотеки, которые могут пригодиться при написании кода. В качестве среды разработки будем использовать trinket.

Чтобы использовать библиотеки в Python, их необходимо импортировать:

import <название библиотеки>

После чего к ним можно обращаться и использовать доступные методы через точку:

<название_библиотеки>.<название_метода>(<необходимые_параметры>)

Библиотека requests

Библиотека предназначена для работы с запросами. Вспомним: чтобы получить ответ от API, нужно сформировать запрос. В нашем случае в качестве запроса мы будем передавать только ссылку url с использованием метода get() и записывать ответ в переменную r

url = '<ссылка на ресурс>'
r = requests.get(url)

Чтобы получить содержимое ответа запишем его в переменную result в формате json:

result = r.json()

Формат json

Формат json имеет структуру ключ (key) и значение (value), записанные в фигурных скобках через :. При этом в качестве значений может быть задана последовательность в виде списка в [] через запятую или иметь вложенность, то есть в качестве значения также выступает ключ-значение, например:

{'key':['value1', 'value2'],
 'key1':'value',
 'key2':{'key3':'value'},
 'key4':[{'key5':'value'},{'key5':'value'}]
}

Чтобы получить значение по ключу, обратимся к нему в квадратных скобках:

result['key']

Если значение имеет вид списка, но может вернуться пустым, проверим это с помощью условия:

result['key']==[]

== - проверка на равенство значений, а != - проверка на неравенство

Чтобы получить значение key5 нулевого элемента из списка записей по ключу key4:

result['key4'][0]['key5']

То есть, берем значения по ключу, вернулся список в []. Далее получаем нулевую запись из списка и только теперь обращаемся к значению.

Циклы

Циклы позволяют выполнять один и тот же участок программного кода несколько раз. Например, нам необходимо получить записи о фильмах по нескольким жанрам. Чтобы не дублировать часть кода с получением данных по API воспользуемся циклом for, где будем использовать каждый жанр в отдельности из списка жанров. Каждый шаг цикла будет принимать значение соответствующего жанру в переменную genre.

Ввод данных пользователем осуществляется через метод input(). Ссылку сделаем шаблоном с помощью форматирования строки, для этого поставим f перед кавычками. В самой строке укажем в {} название переменной, которая будет подставляться в шаблон.

import requests

genre1 = input("Введите жанр: ")
genre2 = input("Введите другой жанр: ")

for genre in [genre1, genre2]:
  url = f'https://yupest2.pythonanywhere.com/api/v1.0/movies/?genre={genre}'
  print(url)
  r = requests.get(url)
  result = r.json()

Если мы не знаем количество шагов (последовательность значений), то будем использовать цикл while (пока). Такой цикл выполняется до тех пор, пока выполняется проверяемое условие.

while <условие>:
  pass

На данном этапе, содержимое ответа от API мы никуда не сохраняем и результат шага теряется при выполнении следующего. Исправим это с помощью сохранения записей в единый список.

Списки и сохранение результата в файл

Создадим пустую переменную films = [], в которую будем добавлять список записей. Чтобы в итоге получить единый список, воспользуемся методом extend. Он принимает в качестве параметра последовательность значений и добавляет их в список по отдельности.

В конце выведем количество полученных записей через метод len, который возвращает количество элементов в последовательности.

import requests

genre1 = input()
genre2 = input()
films = []

for genre in [genre1, genre2]:
  url = f'https://yupest2.pythonanywhere.com/api/v1.0/movies/?genre={genre}'
  r = requests.get(url)
  result = r.json()
  print(result['records'])
  films.extend(result['records'])

print(len(films))

Чтобы сохранить результат в файл, воспользуемся конструкцией:

import json

with open('test.json', 'w', encoding='utf-8') as f:
  json.dump(films, f, ensure_ascii=False)

Здесь вы можете заменить название файла test на свое.

@yupest

Разбор Финала НТО Junior: Технологии и Искусственный интеллект

О сложностях и успехах в цифрах

Задача №2. Виртуальный помощник

Задача №3. Сортировка мест в системе «Автопилот»

Задача №4. Геокодирование системы «Автопилот»

Задача №5. Умный гид в системе «Автопилот»

Задача №6. Расчет кратчайшего маршрута

Задача №7. Транспортная сеть с прогнозированием времени поездки

Этап 0. Для удобства граф, соответствующий матрице, можем нарисовать.

Этап 1. Определяем начальные условия

Этап 2. Проверка путей через другие пункты

Этап 3. Вывод

Задача №8. Детекция дорожных знаков: создания классификатора

Задача №9. Оценка классификации. Расчёт f1-меры

Задача №10. Детекция дорожных знаков: сегментация

Задача №11. Оценка качества детекции

IoU

Задача №12. Назначение метрик для оценки качества моделей машинного обучения

Подготовка к финалу НТО Джуниор "Технологии и искусственный интеллект" 2024

Подготовка по ролям

Математик

Аналитик

Программист

Генерация презентаций

Схема взаимодействия инструментов ИИ для создания презентаций

Описание алгоритма работы

Технические требования

Генерация идей и структуры презентации

Примеры использования:

Преимущества использования генеративного подхода:

Задание

SlidesGo

Gamma

Задание

Специальные инструменты ИИ для педагогов: Magic School

Практическая работа с сервисом MagicSchool AI​

Задание 1.1. Генерация плана урока

Задание 1.2. Составьте план урока по вашему предмету.

Задание 2. Чат-бот Райна

Задание 3. Презентация

Задание 4. Своя игра

Задание 5*. Разработка учебных материалов на основе видео YouTube (необязательно)

Задание 6. Создайте, используя сервис, собственную методическую разработку.

Разбор Отборочного этапа НТО Junior: Технологии и Искусственный интеллект

Решаемость задач

Задача №1. Задание для асессоров

Задача №2. Классификация дорожных знаков

Задача №3. Автопилот

Задача №4. Сбой портала сбора данных

Первая попытка

Вторая попытка

Задачи на классификацию категорий

Задачи на вероятность

Задача №9. Оценка своих успехов

Precision & Recall

Gamma

Пошаговый алогритм создания презентации

Создание презентации с 0 вместе с Gamma

Сбор данных по API

Знакомство с API

Сбор данных

Практическая работа с сервисом MagicSchool AI