Ученые СПб ФИЦ РАН изобрели систему MASAI, которая может распознавать человеческие эмоции по видеороликам и аудиодорожкам.
Система с помощью нейронных сетей анализирует речь, мимику, жесты и текст, распознавая 7 базовых эмоций: спокойствие, радость, удивление, страх, грусть, злость и отвращение. Ее точность достигает 80%, что выше большинства современных аналогов.
Разработка эффективно работает даже в сложных условиях. При фоновом шуме, плохом освещении или если человек не смотрит прямо в камеру.
Кроме основных эмоций, технология способна улавливать иронию и сарказм, сопоставляя смысл сказанного с интонацией и выражением лица.
Для обучения ИИ использовались многоязычные базы с участниками разного возраста и национальности. Русскоязычный сегмент создавался с помощью студентов театральных вузов. Новаторы отмечают, что эту систему можно внедрять в цифровых помощников.
Известно, что разработка сделана при поддержке гранта Российского научного фонда.
Источник: пресс-служба Минобрнауки России
