Каждый раз, когда пятно подсветки попадает на ту букву, о которой думает экспериментатор, его мозг посылает чуть-чуть более сильный сигнал. После нескольких совпадений (для верности), то есть, примерно через 15 секунд, компьютер ставит эту букву в письмо, и человек начинает смотреть на новую букву.
Возможно, это невысокий темп, в сравнении с нормальным письмом. Но для парализованного пациента, к примеру, такая аппаратура станет настоящим сокровищем, позволяющим общаться с миром.
Примеры успешных разработок
Истоки. В 1988 году Фарвел и Дончин (Farwell 1988) впервые реализовали систему “виртуальной клавиатуры», позволившей печатать текст, распознавая компонент Р300 при съеме зрительных вызванных потенциалов (ВП). После этого было разработано много различных модификаций BCI систем со все возрастающими возможностями, уже нашедшими свое применение как в клинике для общения с пациентами, полностью утратившими возможность движения (Birbaumer 1999), так и инновационные технологические проекты по дистанционному управлению роботами (Millán 2004).
BrainGate
Мэттью Нейгл (Matthew Nagle), бывшая футбольная звезда из Веймута (штат Массачусетс), оказался парализованным от плечевого пояса и ниже после того, как во время драки в 2001 году получил ножевое ранение, безнадёжно травмировавшее спинной мозг.
Через некоторое время ему предложили поучаствовать в эксперименте, который мог бы частично решить проблему его обездвиженности. Для исследования использовали систему BrainGate, разрабатываемую американской компанией Cyberkinetics Neurotechnology Systems.
Общий принцип работы такого устройства несложен. Сигналы, которые формируются в мозге, передаются через сенсор — квадратную пластинку четыре на четыре миллиметра с сотней крошечных электродов. Эти электроды представляют собой крошечные миллиметровые металлические иголочки, проникающие непосредственно в кору мозга.
Этот сенсор контактирует с моторной зоной коры головного мозга, отвечающей за движение левой руки, и соединяется с разъёмом, укреплённым в отверстии в черепной коробке.
При попытке совершить какое-то движение в моторной зоне возникает электрический импульс, который передаётся через вживлённые электроды в компьютер.
Когда нужно начать эксперимент и задействовать какое-то внешнее устройство, техник подключает к разъёму кабель, ведущий к компьютеру. Если во время подключения Мэтт попытается представить себе движение собственной руки, то сенсор «подслушает» сигналы двигательных нейронов, которые активируются в тот момент, и передаст их на подключённое устройство, например, монитор или робот-протез.
Первым в мире человеком с мозговым имплантатом и стал 25-летний Мэттью Нейгл. С помощью вживлённого устройства он получил возможность управлять курсором на экране, читать электронную почту, играть в несложные видеоигры и даже что-то рисовать. Ещё он научился переключать каналы и громкость телевизора и шевелить электромеханической рукой, ни сделав для этого ни одного движения.
Рука EMAS
Кэмпбелл Эйрд лишился правой руки в 1982 году: её пришлось ампутировать по плечо, чтобы остановить рак мускулов. И когда в 1993 году группе исследователей из отделения ортопедической хирургии Эдинбургского университета (Edinburgh University Department of Orthopaedic Surgery) понадобился испытатель только что созданной электронной руки EMAS (Edinburgh Modular Arm System), Эйрд записался добровольцем. По словам Эйрда, бионическая рука дала ему возможность вернуться к любимому хобби - полетать на спортивном самолёте. А также позаниматься в тире стрельбой.
Над EMAS с 1987 года под руководством Дэвида Гоу (David Gow) работает группа из четырёх биоинженеров.
Бионическим протез называется, потому что с помощью техники восстанавливает биологическую функцию. В отличие от всех остальных электромеханических рук EMAS отличает возможность вращения в плече, тогда как ранее подвижность ограничивалась двумя основными узлами — локтем и запястьем.
Точно не известно, каким образом Эйрд руководил EMAS. Вроде как система «подбирает» нервные импульсы или слабые токи, исходящие от мускулов плеча. (а не от мозга). Эти сигналы электроника «переводит» в определённые движения.
BMI от Honda
Исследовательский институт Хонда (Honda Research Institute) в сотрудничестве с Advanced Telecommunications Research (ATR) и корпорацией Шимадзу (Shimadzu Corporation) добились управления роботов с помощью человеческого мозга, так называемого мозгово-машинного интерфейса (Brain Machine Interface).
Для этого человеку на голову одевается шапочка, которая с помощью датчиков для измерения электрического потенциала кожи, мозгового кровотока снимают сигнал от человека и передают роботу. А робот, соответственно должен выполнять эти команды. Прием, обработка сигнала и выполнение команды роботом занимает несколько секунд.
Данная технология не нова, с ней уже давно экспериментируют. Однако, разработчики утверждают, что данная технология сегодня достигает самой высокой в мире точности исполнения роботом мысленных приказов человека – точность до 90%, причем без необходимости в длительной специальной подготовке человека. Конечно, технология пока несовершенна: например, нужно несколько часов времени для адаптации системы под каждого конкретного пользователя.
Предполагается, что эта технология со временем может позволить миллионам инвалидов управлять роботами или инвалидными колясками, а также даст множество других возможностей.
Mindball
Mindball — настольная игра для двух игроков, в которой они должны с помощью электрической активности своего мозга управлять движениями катящегося по столу мячика. Игра производится шведской компанией Interactive Productline. Игроки надевают на лоб повязки с датчиками, регистрирующими активность различных областей мозга. Эта система основана на электроэнцефалографии (ЭЭГ), то есть — регистрации биоэлектрической активности отдельных зон, областей и долей мозга. Датчики отслеживают альфа— и тета-волны мозга, которые исходят при интенсивной концентрации и глубоком расслаблении. Датчики связаны с компьютером, который с помощью спрятанных под столом магнитов управляет перемещением стального мячика по игровому полю.
Побеждает тот, кто сумеет максимально расслабиться. В этом случае мяч покатится к воротам противника.
Электроэнцефалограммы игроков чётко отображаются на мониторе, что делает Mindball настоящим зрелищем для публики, которая видит не только катающийся мячик и лица игроков, но и «научные» диаграммы.
NIA
В марте на выставке CeBIT 2008 компания OCZ продемонстрировала на своем стенде игровой манипулятор, названный Neural Impulse Actuator (NIA). В отличие от прошлогодней выставки, где был представлен прототип NIA, в этом году OCZ показала уже полностью готовое к серийному производству изделие.
Внешне манипулятор NIA выглядит как мягкий обруч с вмонтированными датчиками, надеваемый на голову пользователя. При помощи тонкого провода он подсоединяется к аппаратному блоку, который, в свою очередь, подключается к USB-порту компьютера.
Работа NIA основана на применении так называемого нейронного интерфейса (NI). Это означает, что формирование управляющих команд, которые передаются в компьютер, осуществляется путем преобразования биопотенциалов, считываемых специальными датчиками с головы пользователя. Конструкция манипулятора позволяет анализировать мышечную, кожную и нервную активность пользователя, включая симпатические и парасимпатические компоненты.
По словам создателей, одним из основных преимуществ контроллера NIA по сравнению с мышами и клавиатурами является значительное (в 1,5-2 раза) сокращение времени реакции пользователя на изменения игровой обстановки. Кроме того, как пояснили сотрудники OCZ, манипулятор способен подстраиваться под особенности конкретного пользователя. Через одну-две недели регулярной эксплуатации точность интерпретации действий значительно повышается. Впрочем, в настоящее время NIA позиционируется не как полноценная альтернатива традиционным устройствам ввода, а как их дополнение.
Другие разработки
Добеллевским институтом (Dobelle Institute, www.dobelle.com) еще с 70-х годов разрабатывается система искусственного зрения Artificial Vision System, предназначенная для восстановления зрения у слепых. Система эта представляет собой миниатюрную видеокамеру, закрепленную на оправе очков.
Сигнал с камеры обрабатывается портативным компьютером и передается на разъем, вмонтированный в задней части черепа пациента. Оттуда он, при помощи имплантированных электродов, поступает непосредственно в область мозга, отвечающую за зрение (visual cortex).
Конечно, о полном восстановлении зрения речь не идет — пациенты видят только что-то вроде белых точек, очерчивающих предметы (так называемые phosphenes). Однако, научившись интерпретировать даже такую неполную визуальную информацию, некоторые из них уже могут свободно перемещаться по помещению и даже медленно водить машину (правда, только на территории института). Скорость обновления кадров составляет от 1 до 5 в секунду.
Операция уже проводится коммерчески и оценивается примерно в $120 тыс. Надо сказать, что данная технология позволяет вернуть зрение только людям, потерявшим его в результате несчастных случаев - то есть тех, кто уже «умел видеть» раньше.
Технологический университет в Сиднее (University of Technology, Sydney) привлёк $250 тысяч инвестиций из необычного источника — от Panthers Entertainment Group, компании работающей в индустрии развлечений.
Таким образом, речь идёт о разработке и продаже игрушек, роботов или автомобилей, которыми дети будут управлять не с помощью пульта дистанционного управления, а своим мозгом.