Система Brain2Qwerty v2 от компании Meta
Разработка Meta под названием Brain2Qwerty v2 демонстрирует впечатляющие возможности: она способна преобразовывать сигналы мозга в осмысленные фразы без хирургического вмешательства. В ходе самого удачного теста точность распознавания слов достигла 78%. Обучение нейросети проходило в Испании, в Баскском центре изучения познания, мозга и речи (Сан-Себастьян). В нем участвовали девять добровольцев без проблем со здоровьем, их возраст варьировался от 25 до 56 лет. За десять сеансов участники набрали более 2500 предложений, а активность их мозга фиксировалась методом магнитоэнцефалографии (МЭГ).
Магнитоэнцефалография улавливает мельчайшие электрические поля, возникающие при работе нейронов. Именно эта технология позволила добиться значительного улучшения результатов. Для Brain2Qwerty v2 характерно, что более половины декодированных фраз содержали не больше одной лексической ошибки. Для сравнения: предыдущая версия (Brain2Qwerty v1) в лучшем случае показывала точность всего 48%. В основе системы лежат алгоритмы распознавания образов, схожие с теми, что используются в чат-ботах ChatGPT и Llama от Meta.
Как происходит декодирование
Процесс извлечения информации из мозговой активности состоит из трех шагов:
- преобразование мозговых волн в токены;
- упорядочивание символов в слова;
- формирование из набора символов и слов готовых предложений с помощью большой языковой модели (LLM).
Это исследование стало первым случаем, когда LLM успешно применили для превращения «шумных» сигналов мозга в структурированные фразы. Инженеры Meta уверены, что их работа способна реально улучшить жизнь миллионов людей, у которых из-за повреждений мозга нарушена способность к общению.
Специалисты подчеркивают: если длительное обучение на неинвазивных данных МЭГ позволит отказаться от нейрохирургии для таких пациентов, это станет настоящей революцией в уходе за ними. Meta надеется, что открытые результаты этой работы ускорят развитие нейронауки, а значит — помогут быстрее выявлять, диагностировать и лечить неврологические расстройства. Код Brain2Qwerty v2 и ее предшественницы уже опубликован в открытом доступе, что открывает перед учеными новые горизонты.
Этот прорыв в технологии чтения мыслей способен кардинально изменить подходы к терапии пациентов с неврологическими заболеваниями и дать шанс на общение тем, кто был его лишен.
Открытый код системы Brain2Qwerty v2 может стимулировать дальнейшие изыскания в нейронауке и поспособствовать созданию новых методов лечения, основанных на естественной активности мозга.
Интересно, что даже под общим наркозом человеческий мозг сохраняет способность к восприятию речи и предугадыванию слов. Это открытие, сделанное в ходе недавнего исследования, подчеркивает, насколько сложным и удивительным является наш мозг. Узнайте больше о том, как мозг может функционировать в состоянии анестезии и какие перспективы это открывает для медицины.