В Новосибирске была представлена первая версия интеллектуального помощника, предназначенная для слабовидящих и незрячих. Этот проект создается на базе крупных языковых моделей и технологий искусственного интеллекта. Демонстрация прошла во время визита Дмитрия Григоренко, заместителя председателя правительства РФ, в Новосибирский государственный университет.
Команда проекта включает специалистов из центра ИИ НГУ и филиала МНТК «Микрохирургия глаза». Их задача – разработать компактное носимое устройство, которое поможет пользователю ориентироваться в пространстве с помощью слуха.
Механизм работы системы следующий: видеокамера захватывает окружающую среду, изображение передается в портативный компьютер, который преобразует его в текстовое описание. Затем это описание озвучивается и передается пользователю через наушники.
Текущая модель уже может распознавать надписи, выявлять препятствия и предоставлять словесные описания предметов и помещений. В дальнейшем планируется добавить функцию задавания вопросов об объектах в поле зрения с получением развернутых ответов.
Для достижения высокой точности описания используется мультимодальная языковая модель. По мнению исследователей, это может стать более доступной альтернативой сложным и дорогим медицинским имплантам.
Предполагается, что прототип устройства будет готов к концу 2025 года. Он будет включать 16-ядерный одноплатный компьютер, видеокамеру и наушники, а общий вес системы составит менее одного килограмма.
Для получения профессиональных советов рекомендуется обращаться к специалистам.
Источник: ТАСС
