Международная группа, состоящая из американских и немецких исследователей, добилась успехов в деле расшифровки сигналов, возникающих в мозге человека при естественной непрерывной разговорной речи. И данные этой расшифровки были использованы для преобразования «мысленной» речи в ее текстовое представление с достаточно высокой степенью точности. Дальнейшее развитие данной технологии может стать первым шагом на пути создания систем мыслеуправления компьютерами и другой техникой, новых технологий общения между людьми и многого другого.
Созданная система «Brain-to-Text» производила запись сигналов, считываемых при помощи матрицы ECoG-электродов (electrocorticographic), расположенных в соответствующих местах напротив лобных и боковых областей коры головного мозга.
В экспериментах были задействованы семь добровольных участников, которые находились в одном из медицинских учреждений, где они проходили курс клинического лечения имеющихся у них нервных заболеваний, в том числе и эпилепсии.
Все участники прочитали вслух и громко типовой текст, который состоял из ограниченного набора определенных слов.
Собранные данные мозговых сигналов были «скормлены» компьютеру, который при помощи алгоритмов компьютерного изучения и анализа извлек наиболее вероятную последовательность сигналов, соответствующих определенным словам. После этого, при помощи достаточно простого алгоритма, данные были преобразованы в текстовый формат.
Рис. 1.
К сожалению, точность работы такой системы пока еще оставляет желать лучшего. В нормальных условиях количество ошибок при определении произносимых человеком слов была на уровне до 25 процентов. А в случае, если пациент в силу каких-либо причин был неспособен произносить слова абсолютно правильно, изменяя некоторые фонемы при произношении, количество ошибок увеличивалось до 50 процентов.
Но ученые не собираются останавливаться на достигнутых результатах. Они объясняют высокий процент ошибок тем, что анализ данных производился при помощи универсального программного обеспечения, а не специализированного, которое должно работать намного более эффективно.
Когда такое узкоспециализированное программное обеспечение будет создано, процент совершаемых системой ошибок резко уменьшится и такие системы станут тем «мостом», который позволит общаться с людьми, неспособными разговаривать в силу различных причин.
Следует отметить, что данные работы проводились по заказу Научно-исследовательского управления армии США при поддержке нескольких научных фондов. Записи сигналов головного мозга осуществлялись специалистами Медицинского центре Олбани (Albany Medical Center), Олбани, Нью-Йорк, а алгоритмы обработки сигналов и автоматического распознавания речи были разработаны в лаборатории Cognitive Systems Lab Технологического института Карлсруэ (Karlsruhe Institute of Technology, KIT), Германия.
