ЧТО МОЖНО СДЕЛАТЬ с лишней конечностью? Представьте себе хирурга, выполняющего деликатную операцию, требующую ее опыта и твердых рук — всех трех составляющих. Две ее биологические руки манипулируют хирургическими инструментами, а третья роботизированная конечность, прикрепленная к ее туловищу, играет вспомогательную роль. Или представьте рабочего-строителя, который благодарен за свою дополнительную руку-робот, поскольку он подпирает тяжелую балку, которую он закрепляет на месте двумя другими руками. Представьте, что вы носите экзоскелет, который позволит вам управлять несколькими объектами одновременно, как Доктор Осьминог из Человека-паука . Или представьте себе музыку, которую композитор мог бы написать для пианиста, у которого 12 пальцев на клавиатуре.
Такие сценарии могут показаться научной фантастикой, но недавний прогресс в робототехнике и неврологии делает возможным создание дополнительных роботизированных конечностей с помощью современных технологий. Наша исследовательская группа из Имперского колледжа Лондона и Фрайбургского университета в Германии вместе с партнерами по европейскому проекту NIMA сейчас работает над тем, чтобы выяснить, можно ли на практике реализовать такое увеличение для расширения человеческих способностей. Основные вопросы, которые мы решаем, связаны как с неврологией, так и с нейротехнологиями: способен ли человеческий мозг контролировать дополнительные части тела так же эффективно, как он контролирует биологические части? И если да, то какие нейронные сигналы можно использовать для этого управления?
Мы думаем, что дополнительные роботизированные конечности могут стать новой формой усовершенствования человека, улучшая способности людей выполнять задачи, которые они уже могут выполнять, а также расширяя их возможности делать то, что они просто не могут делать с помощью своих естественных человеческих тел. Если бы люди могли легко добавить и управлять третьей рукой, или третьей ногой, или еще несколькими пальцами, они, вероятно, использовали бы их в задачах и действиях, выходящих за рамки упомянутых здесь сценариев, открывая новые модели поведения, которые мы даже не можем себе представить. .
Уровни улучшения человека
Роботизированные конечности прошли долгий путь за последние десятилетия, и некоторые из них уже используются людьми для улучшения своих способностей. Большинство из них управляются с помощью джойстика или другого ручного управления. Например, именно так рабочие на производственных линиях владеют механическими конечностями, которые удерживают компоненты продукта и манипулируют ими. Точно так же хирурги, выполняющие роботизированные операции, сидят за консолью через комнату от пациента. В то время как хирургический робот может иметь четыре руки с разными инструментами на концах, руки хирурга могут одновременно управлять только двумя из них. Можем ли мы дать этим хирургам возможность управлять четырьмя инструментами одновременно?
Роботизированные конечности также используются людьми, перенесшими ампутацию или паралич. Сюда входят люди в инвалидных колясках с электроприводом , управляющие роботизированной рукой с помощью джойстика кресла, и те, у кого отсутствуют конечности, управляющие протезом с помощью оставшихся мышц. Но по-настоящему управляемый разум протез — большая редкость.
Если бы люди могли легко добавить третью руку и управлять ею, они, вероятно, использовали бы ее в новых действиях, которые мы пока даже не можем себе представить.
Пионерами протезов, управляемых мозгом, являются люди с тетраплегией , которые часто парализованы ниже шеи. Некоторые из этих людей смело вызвались участвовать в клинических испытаниях мозговых имплантатов, которые позволяют им управлять роботизированной конечностью одной лишь мыслью , отдавая мысленные команды, заставляющие роботизированную руку подносить напиток к их губам или помогая с другими простыми задачами повседневной жизни. Эти системы относятся к категории интерфейсов мозг-машина (ИМТ). Другие добровольцы использовали технологии BMI для управления компьютерными курсорами., позволяя им печатать сообщения, просматривать Интернет и многое другое. Но большинству этих систем ИМТ требуется операция на головном мозге, чтобы вставить нейронный имплантат, и они включают в себя оборудование, которое выступает из черепа, что делает их подходящими только для использования в лаборатории.
Увеличение человеческого тела можно рассматривать как имеющее три уровня. Первый уровень увеличивает существующую характеристику таким образом, как, скажем, экзоскелет с электроприводом может дать владельцу сверхсилу . Второй уровень дает человеку новую степень свободы, например, возможность двигать третьей рукой или шестым пальцем., но за это приходится платить — если дополнительный придаток управляется, например, ножной педалью, пользователь жертвует нормальной подвижностью ноги ради работы системы управления. Третий уровень аугментации, технологически наименее зрелый, дает пользователю дополнительную степень свободы, не лишая подвижности любую другую часть тела. Такая система позволит людям нормально использовать свое тело, используя некоторые неиспользуемые нейронные сигналы для управления роботизированной конечностью. Это уровень, который мы изучаем в нашем исследовании.
Расшифровка электрических сигналов от мышц
Аугментация человека третьего уровня, возможно, может быть достигнута с помощью инвазивных имплантатов ИМТ, но для повседневного использования нам нужен неинвазивный способ получать команды мозга снаружи черепа. Для многих исследовательских групп это означает полагаться на проверенную временем технологию электроэнцефалографии (ЭЭГ), которая использует скальповые электроды для улавливания сигналов мозга. Наши группы работают над этим подходом, но мы также изучаем другой метод: использование сигналов электромиографии (ЭМГ), производимых мышцами. Мы потратили более десяти лет на изучение того, как электроды ЭМГ на поверхности кожи могут обнаруживать электрические сигналы от мышц, которые мы затем можем расшифровать, чтобы выявить команды, посылаемые спинальными нейронами.
Электрические сигналы — это язык нервной системы. По всему мозгу и периферическим нервам нейрон «загорается», когда внутри клетки накапливается определенное напряжение — несколько десятков милливольт, и оно вызывает передачу потенциала действия вниз по его аксону, высвобождая нейротрансмиттеры в соединениях или синапсах с другими нейронами. , и потенциально запуская эти нейроны по очереди. Когда такие электрические импульсы генерируются моторным нейроном в спинном мозге, они проходят по аксону, который достигает мышцы-мишени, где они пересекают специальные синапсы с отдельными мышечными волокнами и заставляют их сокращаться. Мы можем записывать эти электрические сигналы, которые кодируют намерения пользователя, и использовать их для различных целей управления. Однако расшифровка отдельных нейронных сигналов на основе того, что можно прочитать с помощью поверхностной ЭМГ, — непростая задача. Типичная мышца получает сигналы от сотен или тысяч спинномозговых нейронов. Более того, каждый аксон разветвляется в мышце и может соединяться с сотней или более отдельных мышечных волокон, распределенных по всей мышце. Поверхностный ЭМГ-электрод улавливает выборку этой какофонии импульсов.
Прорыв в области неинвазивных нейронных интерфейсов произошел с открытием два десятилетия назад того, что сигналы, улавливаемые ЭМГ высокой плотности, в которой к коже прикреплены от десятков до сотен электродов, можно распутывать, предоставляя информацию о командах, посылаемых отдельными двигательными аппаратами . нейроны в позвоночнике. Такая информация ранее была получена только с помощью инвазивных электродов в мышцах или нервах. Работая с людьми с ампутированными конечностями в 2017 году, мы показаличто этот подход с ЭМГ высокой плотности потенциально может быть использован для улучшения контроля над протезами конечностей. Наши поверхностные электроды с высокой плотностью обеспечивают хорошую выборку в нескольких местах, что позволяет нам идентифицировать и расшифровывать активность относительно большой части спинномозговых мотонейронов, участвующих в задаче. И теперь мы можем делать это в режиме реального времени, что говорит о том, что мы можем разрабатывать неинвазивные системы ИМТ, основанные на сигналах от спинного мозга.
Типичная мышца получает сигналы от сотен или тысяч спинномозговых нейронов.
Текущая версия нашей системы состоит из двух частей: обучающего модуля и модуля декодирования в реальном времени. Для начала, с прикрепленной к коже сеткой электродов ЭМГ, пользователь выполняет легкие сокращения мышц, и мы передаем записанные сигналы ЭМГ в тренировочный модуль. Этот модуль выполняет сложную задачу идентификации импульсов отдельных двигательных нейронов (также называемых спайками), которые составляют сигналы ЭМГ. Модуль анализирует, как связаны сигналы ЭМГ и предполагаемые нейронные спайки, которые он суммирует в наборе параметров, которые затем можно использовать с гораздо более простым математическим рецептом для преобразования сигналов ЭМГ в последовательности спайков от отдельных нейронов.
Имея эти параметры, модуль декодирования может принимать новые сигналы ЭМГ и извлекать активность отдельных двигательных нейронов в режиме реального времени. Учебный модуль требует большого количества вычислений и будет слишком медленным для самостоятельного управления в реальном времени, но обычно его нужно запускать только один раз каждый раз, когда электродная сетка ЭМГ закрепляется на месте пользователя. Напротив, алгоритм декодирования очень эффективен, с задержками всего несколько миллисекунд, что является хорошим предзнаменованием для возможных автономных носимых систем BMI. Мы подтвердили точность нашей системы, сравнив ее результаты с сигналами, полученными одновременно инвазивными электродами ЭМГ, введенными в мышцу пользователя.
Использование дополнительной полосы пропускания в нейронных сигналах
Разработка этого метода извлечения сигналов от спинальных двигательных нейронов в режиме реального времени была ключом к нашей настоящей работе по управлению дополнительными роботизированными конечностями. Изучая эти нейронные сигналы, мы заметили, что они, по сути, имеют дополнительную полосу пропускания. Низкочастотная часть сигнала (примерно ниже 7 герц) преобразуется в мышечную силу, но сигнал также содержит компоненты на более высоких частотах, например, в бета-диапазоне от 13 до 30 Гц, которые слишком высоки, чтобы контролировать мышцы и, кажется, не используются. Мы не знаем, почему спинные нейроны посылают эти высокочастотные сигналы; возможно, избыточность является буфером на случай новых условий, требующих адаптации. Какой бы ни была причина, люди развили нервную систему, в которой сигнал, исходящий из спинного мозга, содержит гораздо больше информации, чем необходимо для управления мышцей.
Это открытие заставило нас задуматься о том, что можно сделать с запасными частотами. В частности, мы задавались вопросом, можем ли мы взять эту постороннюю нейронную информацию и использовать ее для управления роботизированной конечностью. Но мы не знали, смогут ли люди добровольно управлять этой частью сигнала отдельно от той части, которую они использовали для управления своими мышцами. Поэтому мы разработали эксперимент, чтобы выяснить это. В нашем первом эксперименте по проверке концепции добровольцы пытались использовать свои запасные нейронные способности для управления компьютерными курсорами. Установка была простой, хотя нейронный механизм и задействованные алгоритмы были сложными. Каждый доброволец сидел перед экраном, и мы поместили ему на ногу систему ЭМГ с 64 электродами на участке размером 4 на 10 сантиметров, прикрепленном к их голени над передней большеберцовой мышцей, которая сгибает стопу вверх при сокращении . . Большеберцовая мышца была рабочей лошадкой для наших экспериментов: она занимает большую площадь рядом с кожей, а ее мышечные волокна ориентированы вдоль ноги, что в совокупности делает ее идеальной для расшифровки активности спинальных мотонейронов, иннервирующих ее. Мы попросили наших добровольцев напрячь большеберцовую мышцу, удерживая ее в напряжении и напрягая стопу, чтобы предотвратить движение. На протяжении всего эксперимента мы смотрели на вариации извлеченных нейронных сигналов. Мы разделили эти сигналы на низкие частоты, которые контролировали сокращение мышц, и запасные частоты около 20 Гц в бета-диапазоне, и мы связали эти два компонента соответственно с горизонтальным и вертикальным управлением курсором на экране компьютера. Мы просили добровольцев попробовать перемещать курсор по экрану, охватывая все части пространства, но не объясняли и не могли им объяснить, как это сделать. Им приходилось полагаться на визуальную обратную связь о положении курсора и позволить своему мозгу понять, как заставить его двигаться.
Примечательно, что, не зная точно, что они делают, эти добровольцы смогли выполнить задание за считанные минуты, водя курсором по экрану, хотя и с дрожью. Начав с одного нервного командного сигнала — сокращения передней большеберцовой мышцы — они научились вырабатывать второй сигнал для управления вертикальным движением компьютерного курсора независимо от мышечного управления (которое направляло горизонтальное движение курсора). Мы были удивлены и взволнованы тем, как легко они сделали этот большой первый шаг к обнаружению канала нейронного контроля, отдельного от естественных двигательных задач. Но мы также увидели, что управление было слишком ограниченным для практического использования. Нашим следующим шагом будет выяснить, можно ли получить более точные сигналы и могут ли люди использовать их для управления роботизированной конечностью, выполняя при этом независимые естественные движения.
Нам также интересно узнать больше о том, как мозг выполняет такие действия, как управление курсором. В недавнем исследовании с использованием варианта задачи с курсором мы одновременно использовали ЭЭГ, чтобы увидеть, что происходит в мозгу пользователя, особенно в области, связанной с произвольным контролем движений. Мы были рады обнаружить, что изменения, происходящие с дополнительными нейронными сигналами бета-диапазона, поступающими в мышцы, были тесно связаны с аналогичными изменениями на уровне мозга. Как уже упоминалось, бета-нейронные сигналы остаются чем-то вроде загадки, поскольку они не играют известной роли в управлении мышцами, и даже неясно, откуда они берутся. Наш результат предполагает, что наши добровольцы учились модулировать мозговую активность, которая посылалась в мышцы в виде бета-сигналов.
Между тем, мы создали в Имперском колледже Лондона систему для тестирования этих новых технологий с дополнительными роботизированными конечностями, которую мы называем виртуальной средой с несколькими конечностями, или MUVE . Помимо других возможностей, MUVE позволит пользователям работать с четырьмя легкими носимыми роботами-манипуляторами в сценариях, имитируемых виртуальной реальностью. Мы планируем сделать систему открытой для использования другими исследователями по всему миру.
Следующие шаги в аугментации человека
Подключение нашей технологии управления к манипулятору или другому внешнему устройству является естественным следующим шагом, и мы активно преследуем эту цель. Настоящая проблема, однако, будет заключаться не в подключении оборудования, а в выявлении нескольких источников управления, достаточно точных для выполнения сложных и точных действий с частями тела робота.
Мы также изучаем, как технология повлияет на нейронные процессы людей, которые ее используют. Например, что произойдет после того, как кто-то получит шестимесячный опыт использования дополнительной роботизированной руки? Позволит ли естественная пластичность мозга им адаптироваться и получить более интуитивный контроль? Человек, рожденный с шестипалыми руками, может иметь полностью развитые области мозга.предназначен для управления дополнительными цифрами, что приводит к исключительным возможностям манипулирования. Может ли пользователь нашей системы со временем развить сопоставимую ловкость? Нам также интересно, какая когнитивная нагрузка потребуется для управления дополнительной конечностью. Если люди могут направлять такую конечность только тогда, когда они сосредоточены на ней в лабораторных условиях, эта технология может оказаться бесполезной. Однако, если пользователь может случайно использовать дополнительную руку при выполнении повседневных задач, таких как приготовление бутерброда, то это будет означать, что технология подходит для повседневного использования.
Какой бы ни была причина, люди развили нервную систему, в которой сигнал, исходящий из спинного мозга, содержит гораздо больше информации, чем необходимо для управления мышцей.
Другие исследовательские группы занимаются аналогичными вопросами нейронауки с различными типами механизмов контроля. Доменико Праттичиццо и его коллеги из Сиенского университета в Италии продемонстрировали мягкий роботизированный шестой палец, крепящийся на запястье . Это позволяет пользователю с ослабленной в результате удара рукой надежно удерживать предметы. Пользователи надевают шапочку с электродами ЭМГ и посылают команды на палец, поднимая брови. Группа Гарри Асада в Массачусетском технологическом институте экспериментировала со многими типами дополнительных роботизированных конечностей, в том числе с носимым костюмом, который использовал ЭМГ для обнаружения мышечной активности в туловище для управления дополнительными конечностями.
Другие группы экспериментируют с механизмами контроля, включающими ЭЭГ на основе скальпа или нейронные имплантаты. Это первые дни для увеличения движения, и исследователи во всем мире только начали решать самые фундаментальные вопросы этой новой области.
Выделяются два практических вопроса: можем ли мы добиться нейронного управления дополнительными роботизированными конечностями одновременно с естественным движением и может ли система работать без исключительной концентрации пользователя? Если ответ на любой из этих вопросов отрицательный, у нас не будет практической технологии, но у нас все равно будет новый интересный инструмент для исследования нейронауки моторного контроля. Если ответ на оба вопроса положительный, мы можем быть готовы вступить в новую эру аугментации человека. На данный момент наши (биологические) пальцы скрещены.