НЖ1.3-09-06-03 Создание неинвазивных интерфейсов глаз-мозг-компьютер

Постановка задачи

Разработать экспериментальный образец интерфейса глаз-мозг-компьютер для повышения точностно-скоростных и эргономических характеристик за счет дифференцирования движения глаз, используемых для управления, от движений, связанных с обеспечением зрительного восприятия.

Будет разработана гибридная система ввода информации и отдачи команд, которая объединит возможности неинвазивных нейроинтерфейсов мозг-компьютер (ИМК), использующих регистрацию электрофизиологических показателей (ЭЭГ/ERPs), и интерфейсов на основе айтрекинга. Оптимизация работы пользователя в контуре интерфейса будет также обеспечиваться с помощью мультимодальной обратной связи и избирательной детекции коммуникативных движений глаз. 

Справочно. Интерфейсы на основе айтрекинга позволяют парализованным людям взаимодействовать с компьютером с помощью движений глаз, но возможность их применения ограничивает нестабильность произвольного контроля глазодвигательной активности. Интерфейсы мозг-компьютер (ИМК) начинают использовать для помощи пациентам с тяжелыми нарушениями моторики и речи, а также в игровой индустрии. Они не получили пока широкого распространения из-за низких точностно-скоростных и эргономических характеристик.  Пользователь разрабатываемого интерфейса, как и пользователь систем на основе айтрекинга, будет использовать взгляд для указания объекта, над которым надо произвести действие, или позиции в пространстве, в которую надо переместить объект. Однако, в отличие от существующих систем, новый интерфейс должен различать движения глаз, используемые для управления, от движений глаз, связанных с обеспечением зрительного восприятия. Это будет сделано путем выявления в электрофизиологической активности мозга (ЭЭГ/ERPs) «маркеров» различных типов движений глаз. Таким образом, пользователь освобождается от обременительного и часто неэффективного подавления спонтанных движений глаз, принимаемых компьютером за управляющие команды.

Бюджет проекта: Запрашиваемый объем финансирования из средств федерального бюджета − 60 млн. руб. на период 2014-2016 гг. Для получения бюджетного софинансирования индустриальный партнер должен вложить в реализацию проекта не менее 15 млн. руб. (20% от общей суммы финансирования) в виде средств нераспределенной прибыли или заемных денежных средств.

Ожидаемый эффект

Разработка обеспечит быстрое и интуитивное управление без использования рук и голоса техническими устройствами для поддержки инвалидов с тяжелыми нарушениями движений и речи, и для здоровых людей, нуждающихся по роду своей деятельности в расширении сенсомоторных возможностей (эффект третьей руки). Технология будет адаптирована для нескольких областей практического применения, среди которых могут быть управление роботом-помощником (в т.ч. роботом-манипулятором), управление «умным домом», дополнительный канал ввода информации в компьютер или смартфон для здоровых пользователей, тренинг внимания и навыков невербальной коммуникации, нейрокомпьютерные и глазодвигательные игры, взаимодействие с ориентированными на учет актуального положения фокуса внимания и текущих намерений пользователя техническими устройствами.

Возможные индустриальные партнеры:

  • [ОАО "Институт электронных управляющих машин им. И.С.Брука" (ИНЭУМ)] (http://www.ineum.ru), г. Москва - разработчик и производитель разнообразных высокотехнологичных устройств, в т.ч. медицинского назначения.
  • [ООО "Медицинские компьютерные системы" (МКС)] (http://www.mks.ru), г. Зеленоград - разработчик и производитель высокотехнологичных медицинских изделий, имеет значительный опыт сертификации изделий медицинского назначения в России, получения CE в Западной Европе и одобрения FDA в США.
  • [ООО «Йота Девайсез» (Yota Devices)] (http://yotadevices.com), г. Москва – разработчик и производитель инновационных продуктов для пользователей Интернета, в т.ч. уникальных смартфонов «YotaPhone» (приз CNET Best of CES и др.) и «YotaPhone 2» («самый инновационный продукт» на MWC 2014 по версии Computer Bild и Laptop Magazine).
  • [ЗАО «Эврика»] (http://www.eureca.ru), г. Санкт-Петербург - разработчик и производитель компьютерной техники и медицинского оборудования.
  • Производители компьютерной техники для медицины, робототехнических устройств, компьютерной техники и мобильных устройств широкого назначения.

Публикации

Средний уровень исследований за рубежом: 7,2.

Кто может участвовать в конкурсе?

1) НИЦ «Курчатовский институт» (Б.М.Величковский, д.психол.н., проф., чл.-корр. РАН, нач. отделения нейрокогнитивных и социогуманитарных наук, ср. импакт 4,2)

Патенты:

  • Шевчик С.А., Величковский Б.М. и др. Способ и устройство для определения пространственного положения глаз для вычисления линии взгляда. Патент RU 2444275 (приоритет с 30.09.2010).
  • Velichkovsky B.M., Shevchik S.A. Method of object 3D position identification based on multiple image analysis applying to gaze tracking. Заявка на патент EP 2521007 A1 (приоритет от 05.06.2010).
  • Шевчик С.А., Величковский Б.М. и др. Способ определения направления линии взгляда. Заявка на патент RU 2013153482 (приоритет от 03.12.2013).
  • Шишкин С.Л., Величковский Б.М., Каплан А.Я. Способ управления устройством с помощью глазных жестов в ответ на стимулы. Заявка на патент RU 2013121752 (приоритет от 14.05.2013).

Гранты/контракты:

2) МГУ им. М.В.Ломоносова (А.Я.Каплан, д.б.н., проф., зав. лаб. нейрофизиологии и нейро-компьютерных интерфейсов, ср. импакт 1,9)

Патенты:

  • Каплан А.Я., Шишкин С.Л. Игра. Патент RU 2472561 (приоритет от 01.06.2011). (Примечание: патент на игровой интерфейс мозг-компьютер.)
  • Каплан А.Я., Логачев С.А. Игра и способ ее ведения. Патент RU 2406554 (приоритет от 14.07.2009.) (Примечание: патент на игровой интерфейс мозг-компьютер.)

Гранты/контракты:

  • Разработка технологии «интерфейс мозг-компьютер» для управления протезами конечностей и манипуляторами. Проект 1110034, фонд «Сколково» (с июня 2011 г.).

3) Институт высшей нервной деятельности и нейрофизиологии РАН (А.А.Фролов, д.б.н., проф., зав. лаб. математической нейробиологии обучения, ср. импакт 1,7)

4) Институт медико-биологических проблем РАН (И.Б.Козловская, д.м.н., проф., член-корр. РАН, зав. отделом сенсомоторной физиологии и профилактики, публикации по теме проекта в журналах без импакт-фактора)

Дополнительные материалы

Проект предложения: системный номер 2014-04-30-22682, регистрационный номер 3738.

Инициатор

Шишкин Сергей Львович

[[адрес эл. почты скрыт]]

Ссылка

Предложите свои аргументы в пользу или против этого проекта

  • Один аргумент должен содержать один обосновывающий довод. Например, если Вас не устраивает (а) формулировка темы проекта, и (б) Вы считаете, что указанные публикации не имеют отношения к теме проекта, то это два отдельных аргумента «против».
  • Аргумент НЕ должен содержать: вопросы; мнение об аргументе другого участника; одобрение/неодобрение тематики по иным критериям, кроме того, что результаты можно опубликовать в высокорейтинговом журнале. Аргументы желательно подтверждать ссылками на статьи.

Аргументы ЗА 0

На данный момент аргументов нет

Аргументы ПРОТИВ 0

На данный момент аргументов нет