По движениям рук в ходе видеозвонка можно определить набираемый текст

Исследователи из Техасского университета в Сан-Антонио и Университета Оклахомы разработали алгоритм, позволяющий по движению рук собеседника во время видеозвонка распознать слова, которые он печатает на клавиатуре. Алгоритм анализирует движения контуров плеч и рук и восстанавливает по ним список слов-кандидатов.

Сначала алгоритм удаляет на изображении собеседника фон вокруг его тела и переводит изображение в оттенки серого. Затем он определяет лицо человека, с помощью которого обозначается расположение рук. Выделив на изображении руки пользователя, алгоритм оставляет лишь их контур и делит на две части: область около плечевого сустава и остальная часть руки.

С помощью кадров с выделенными руками происходит расчет вектора смещения их контуров, а затем рассчитывается вероятность набираемых слов. Для повышения точности результатов также учитывается скорость печати, порядок использования рук во время набора и количество букв в слове.

Эксперты провели ряд экспериментов, протестировав алгоритм на разных моделях web-камер и приложениях для видеосвязи. В целом, результаты оказались не очень точными. При использовании словаря в 4 тыс. популярных слов 75% введенных на клавиатуре слов оказывались в списке из 200 слов, которым алгоритм присвоил самую большую вероятность.