Главная | Проекты | Платформа для разработки нейротренажеров и нейроинтерфейсов

Платформа для разработки нейротренажеров и нейроинтерфейсов

Платформа для разработки нейротренажеров и нейроинтерфейсов для управления мобильной робототехникой на базе свободного программного и аппаратного обеспечения, включающая в себя устройство для снятия сигнала мозга (нейрогарнитуру), ПО для обработки сигнала и ПО для управления роботом.

Задача

Проблема, на решение которой направлен проект - отсутствие простых инструментов с высокой достоверностью полученных результатов для изучения нейрокоммуникаций.

Необходимо было разработать комплексное и модульное решение, предлагающее не просто стандартный нейроинтерфейс, а ориентированную на практическое применение и развитие детей нейрообразовательную платформу, основными возможностями которой будут:

  • управление направлением и скоростью движения ведомых устройств (роботизированная платформа) с помощью нейроинтерфейса (устройство, считывающее сигналы мозговой активности пользователя и передающее их на процессор, который эти сигналы обрабатывает и передает их на процесс на основе данных с акселерометра/гироскопа;
  • управление действиями ведомых устройств (захват, бросок и т.д.) на основе данных о мозговой активности от нейрогарнитуры;
  • использование оператором элементов дополненной реальности (вид непосредственно от устройства на основе взаимодействия с внешней камерой и 3D очками).

Разработанное программное и аппаратное обеспечение должно быть опубликовано под свободной лицензией, что позволит школьникам, студентам и разработчикам детально разобраться в устройстве и создавать свои устройства на основе данного конструктора.

Скачать материалы

Решение

На данном этапе выполнения НИОКР разработана нейрогарнитура, которая позволяет получать сигналы мозговой активности (ЭЭГ), которые возможно использовать для генерации управляющих воздействий на внешние устройства, в том числе роботизированную платформу.

Так, например, было установлено, что возможным вариантом реализации функции «Захват» для разрабатываемой нейрогарнитуры является управление уровнем альфа-волн, который существенно повышается, если пользователь системы находится в расслабленном состоянии с закрытыми глазами.

Также разработанный АПК позволяет определять положение головы пользователя с помощью данных гироскопа и акселерометра, расположенных на микросхеме нейрогарнитуры, то есть система определяет поворот и угол наклона головы человека, на котором она находится. На основе таких данных для робота может быть сформировано управляющее воздействие по изменению скорости или направления движения.

Разрабатываемый АПК предназначен для организации управления робототехникой с помощью нейроинтерфейса, разработки собственных нейротренажеров и нейроинтерфейсов на базе данного комплекса, а также для создания нейротренажеров для повышения способностей мозга к концентрации, переключению внимания и т. д.

Себестоимость разработанной нейрогарнитуры значительно ниже аналогичных решений. Публикация ее под свободной лицензией позволит пользователям детально разобраться в этом устройстве и создавать свои на основе данного конструктора.

 

Документация и исходные коды

Скачать

  • Схема электрическая принципиальная. Схема устройства и файлы перечней компонентов со ссылками на источники закупок. В корневой директории находится файл с кратким описанием конструкции, материалами и предостережением для желающих использовать файлы проекта.
  • Исходный код проекта в Keil. Исходный код программной части нейроинтерфейса – прошивка микроконтроллера. Можно использовать как шаблон для реализации своей логики внутри нейрогарнитуры.
  • Комплект Gerber-файлов для заказа печатных плат. Комплект файлов, необходимых для производства печатных плат устройства (весь комплект одним архивом). Используя эти файлы, можно заказать изготовление печатной платы в rezonit.ru или в Китае в jlcpcb.com.
  • Модели для 3D печати корпуса – stl-файлы для печати корпуса нейрогарнитуры на 3D-принтере. Пояснение по печати в виде текстового файла см. там же.
 

Скачать на GitHub

  • Flutter-приложение, позволяющее получать данные с нейрогарнитуры Robbo Neuro (с использованием BLE), визуализировать данные в виде графика, а также передавать управляющие команды на внешнее устройство (тележка с манипулятором типа «клешня») по Bluetooth SPP.
 

Детали

На данном этапе разработана программно-аппаратная часть нейрогарнитуры, которая состоит из:

  • Гироскопа, акселерометра и магнитометра MPU9250;
  • Аналого-цифрового преобразователя для биомедицинского применения с предварительным малошумящим усилителем ADS1299 Texas Instruments;
  • nRF52 SoC с ARM DSP ядром и беспроводным BLE модулем;
  • Ag/AgCl электродами отечественного производства;
  • Корпусных элементов, доступных для печати на SLA 3D принтере.

Сигнал, получаемый после оцифровки  ADS1299 подвергается предварительной обработке, фильтрации и нормализации. Затем из спектрограммы сигнала вычленяются диапазоны частот, отвечающих за альфа-, бета- и тета-ритмы работы головного мозга.

АПК также позволяет исследовать исходный, не подвергшийся обработке сигнал. Для этого в устройстве имеется USB порт, через который устройство можно подключить к ПК для анализа данных средствами стороннего или самописного ПО. Для минимизации временных и финансовых затрат нами было использовано открытое свободное ПО BrainBay.

Проект реализуется в сотрудничестве с ООО «Линукс Формат» и при финансовой поддержке Фонда содействия развитию малых форм предприятий в научно-технической сфере (ФСИ).

Ключевые исполнители

  • Менеджер проекта: Е.В. Приданова
  • Разработчики: Д.В. Казаков, Д.И. Графов
  • Инженер: А.А. Корепанова

Индустриальные партнёры

ООО «Линукс-формат»

Дополнительные материалы

link

Схема электрическая принципиальная

Скачать
link

Исходный код проекта в Keil

Скачать
link

Комплект Gerber-файлов для заказа печатных плат

Скачать
link

Модели для печати 3D корпуса

Скачать
link

Flutter-приложение

Скачать на GitHub
file

Нейроконструктор

Листовка о проекте
file

Вебинар о платформе для ММСО-2020

Смотреть запись