Приложение основано на технологиях искусственного интеллекта, работает на ПК в режиме реального времени и на мобильных устройствах. Сейчас оно поддерживает только жестовую азбуку дактиль, но разработчик Ярослав Чеканов планирует усовершенствовать модель.
«Для создания приложения, над которым я работал самостоятельно, мне пришлось изучить русский жестовый язык. Очень трудоемкой была задача собирать огромный датасет (массив данных для обучения модели) и сделать тестовое решение на нем. Однако оно оказалось удачным. Я собрал приложение в исполняемый файл. Оно читает изображение с видеокамеры до момента, пока не будет закончен перевод, который в дальнейшем выводится на экран», – рассказал третьекурсник.
Подобное приложение уже выпустил «Сбер», но, по данным вуза, разработка студента НГУ работает быстрее, и результат перевода в RSL Interpreter – более точный.
