Парализованная после инсульта женщина сумела реально заговорить с помощью своего аватара
Исследователям удалось создать цифровой аватар, который общался вместо женщины. Мозговой имплант успешно переводил мыслительный процесс в речь, которую транслировал искусственный интеллект.
После перенесенного инсульта у многих пациентов появляются трудности с речью и координацией. Им тяжело произносить длинные предложения, какие-то определенные звуки, нелегко дается ассоциация «объект — слово, которое его означает». Некоторые и вовсе лишаются способности говорить, так как остаются парализованными.
Так случилось с американкой Энн Джонсон. Женщина 18 лет назад перенесла инсульт, с тех пор она не может говорить и практически не двигается. Однако ее сознание ясное, она понимает окружающих людей и трезво оценивает происходящее вокруг. Ученые из Калифорнийского университета в Сан-Франциско и Калифорнийского университета в Беркли помогли женщине снова выражать свои мысли.
Исследователи создали инновационный имплант, который способен преобразовывать мозговую активность в слова и мимику. Помогает в этом человеку искусственный интеллект. Свой метод эксперты назвали ЭКоГ — это инвазивный способ регистрации электрических сигналов с головного мозга с помощью вживленных в ткани органа мультиэлектродных матриц.
Женщине дали задание: увидев текст на экране, она должна была постараться представить, как она физически произносит предложение, то есть вообразить движения этими мышцами. Электроды сканировали информацию, которая происходила в это время в головном мозге. Так искусственный интеллект фактически научился сопоставлять мозговую активность и те звуки и слова, которые с ней связаны.
В результате аватар на мониторе, который женщина сама выбрала, произносил слова, которые прокручивала в голове американка. Для синтезированной речи ученые использовали запись со свадьбы женщины, где она произносила тост.
Технологии удалось практически без ошибок предугадывать слова, которые должен воспроизвести аватар пострадавшей. Например, когда Энн Джонсон попыталась сказать: «Может быть, мы их потеряли», система расшифровала это как «Может быть, это имя». Однако половину предложений искусственный интеллект перевел и транслировал безошибочно.
Ученые надеются, что в ближайшем будущем технология поможет общаться всем пациентам, которые когда-либо потеряли речь из-за различных патологий. Пока что проблема технологии в использовании: искусственный интеллект сканирует с ошибками, а для работы необходимы провода, которые отходят от головы пациента из-за подключенной аппаратуры. Эксперты будут усовершенствовать разработку.
