Декодер мозговой активности может раскрывать истории в сознании людей

ОСТИН, Техас — Новая система искусственного интеллекта, называемая семантическим декодером, может переводить мозговую активность человека — когда он слушает историю или молча представляет, как рассказывает историю, — в непрерывный поток текста. Система, разработанная исследователями из Техасского университета в Остине, может помочь людям, которые психически сознательны, но не могут физически говорить, например, тем, кто ослаблен после инсульта, снова общаться внятно.

Исследование, опубликованное в журнале Nature Neuroscience, провели Джерри Танг, докторант компьютерных наук, и Алекс Хут, доцент кафедры нейробиологии и информатики в UT Остине. Работа частично опирается на модель преобразователя, аналогичную той, которая используется в ChatGPT Open AI и Bard от Google.

В отличие от других систем декодирования языка, находящихся в стадии разработки, эта система не требует от субъектов наличия хирургических имплантатов, что делает процесс неинвазивным. Участникам также не обязательно использовать только слова из заданного списка. Мозговую активность измеряют с помощью фМРТ-сканера после интенсивной тренировки с декодером, в ходе которой человек часами слушает подкасты на сканере. Позже, при условии, что участник открыт для расшифровки своих мыслей, его прослушивание новой истории или воображение, рассказывающее историю, позволяют машине генерировать соответствующий текст только на основе активности мозга.

«Для неинвазивного метода это настоящий шаг вперед по сравнению с тем, что делалось раньше, когда обычно использовались отдельные слова или короткие предложения», — сказал Хут. «Мы получаем модель, способную декодировать непрерывный язык в течение длительных периодов времени со сложными идеями».

Подробнее читайте в The New York Times: ИИ становится лучше в чтении мыслей

Результат не является дословной расшифровкой. Вместо этого исследователи разработали его так, чтобы уловить суть того, что говорят или думают, хотя и несовершенно. Примерно в половине случаев, когда декодер обучен отслеживать мозговую активность участника, машина выдает текст, который близко (а иногда и точно) соответствует предполагаемому значению исходных слов.

Например, в экспериментах мысли участника, слушающего говорящего: «У меня еще нет водительских прав», были переведены как: «Она еще даже не начала учиться водить машину». Слушание слов: «Я не знала, кричать ли, плакать или убегать. Вместо этого я сказала: «Оставь меня в покое!»» было расшифровано как: «Начала кричать и плакать, а потом она просто сказала: Я сказал тебе оставить меня в покое».

Начиная с более ранней версии статьи, которая появилась в виде препринта в Интернете, исследователи обратились к вопросам о потенциальном неправильном использовании технологии. В статье описывается, как декодирование работало только с участниками, которые добровольно участвовали в обучении декодера. Результаты для людей, на которых декодер не был обучен, были непонятными, и если участники, на которых был обучен декодер, позже оказывали сопротивление — например, думая о других мыслях, — результаты были также непригодны для использования.

«Мы очень серьезно относимся к опасениям, что это может быть использовано в плохих целях, и стараемся избежать этого», — сказал Тан. «Мы хотим, чтобы люди использовали такие технологии только тогда, когда они этого хотят, и чтобы это им помогало».

Помимо того, что участники слушали истории или думали над ними, исследователи просили испытуемых посмотреть четыре коротких безмолвных видеоролика, находясь в сканере. Семантический декодер смог использовать активность мозга, чтобы точно описать определенные события из видео.

В настоящее время эту систему нецелесообразно использовать за пределами лаборатории, поскольку она требует времени, необходимого для использования аппарата фМРТ. Но исследователи полагают, что эту работу можно перенести на другие, более портативные системы визуализации мозга, такие как функциональная спектроскопия ближнего инфракрасного диапазона (fNIRS).

«fNIRS измеряет, где в мозгу наблюдается больший или меньший кровоток в разные моменты времени, что, как выяснилось, является точно таким же сигналом, который измеряет фМРТ», — сказал Хут. «Итак, наш конкретный подход должен быть переведен на fNIRS», хотя, отметил он, разрешение с fNIRS будет ниже.