Программу-посредника между языком жестов и голосовым помощником Alexa создал американский разработчик Абхишек Сингх. Программа использует встроенную камеру ноутбука. Распознает жесты алгоритм глубокого обучения.
После запуска программы пользователь дает команды на языке жестов, далее программа распознает их, проговаривает слова и отображает их на экране. В это время колонка слышит и распознает ответные слова компьютера, и через какое-то время выводит их на экран в виде текста.
Для удобства специалист разделил интерфейс программы на две части, представив ее в форме диалога.
Технические подробности создания программы разработчик пока не раскрывает, однако скоро он планирует представить исходный код программы.