Nghiên cứu phát triển hệ thống giao diện não-máy tính trên cơ sở tín hiệu điện não trong điều khiển các thiết bị điện tử gia dụng thông minh - Mã số đề tài: VAST01.03/16-17

Chủ nhiệm đề tài ThS. Nguyễn Thế Hoàng Anh
Đơn vị thực hiện Viện Công nghệ Thông tin
Thời gian thực hiện 2016 - 2018
Tổng kinh phí 600.000.000 đồng
Xếp loại đề tài Đạt
Mục tiêu đề tài

• Nghiên cứu các thuật toán phân tích tín hiệu EEG để có thể nhận dạng và hiểu một số thông điệp của người dùng.
• Phát triển qui trình huấn luyện tập lệnh cho hệ thống gồm các tác nhân kích thích cùng qui trình thu nhận và gán nhãn dữ liệu tương ứng.
• Nghiên cứu tối ưu hoá xử lí tín hiệu EEG trong thời gian thực để không ảnh hưởng tới quá trình giao tiếp hoặc điều khiển trực tiếp.
• Nghiên cứu và xây dựng hệ thống giao diện não-máy tính EEG-based BCI có chức năng thu thập, xử lý tín hiệu não và đưa ra tín hiệu điều khiển tắt/bật các thiết bị gia dụng thông minh (đèn/quạt/tivi,...).

Kết quả đạt được

- Sản phẩm nghiên cứu và phát triển công nghệ
- Hệ thống giao diện não-máy tính EEG-based BCI: hệ thống giao tiếp não-máy tínhdựa trên tín hiệu não EEG có khả năng truyền thông điệp và ra lệnh điều khiển bật/tắt các thiết bị điện gia dụng thông minh.

  •  Hệ BCI thực hiện chức năng:
    + Thu nhận tín hiệu não từ đầu đo tín hiệu não.
    + Xử lý, nhận dang nhu cầu, đưa ý muốn của người sử dụng thành lệnh điều khiển.
    + Gửi lệnh điều khiển xuống bộ WIoT qua truyền thông không dây.
  • Chỉ tiêu kỹ thuật:
    - CPU: ARM Cortex™-A7 Dual-Core
    - OS: Linux
    - Bộ nhớ: DDR2/DDR3/DDR3L controller, SD card
    - Connectitvity: USB, UART, I2C, GPIO, Wifi, etc.
    - Mô đun chương trình nhúng xử lý tín hiệu não.

  • Chỉ tiêu kỹ thuật và môi trường thử nghiệm:
    - Chỉ tiêu kỹ thuật: độ chính xác 80% trong thời gian điều khiển từ 1-3 phút
    - Môi trường thử nghiệm là môi trường phòng thí nghiệm trên đối tượng là người khỏe mạnh bình thường.
    • WIoT: là một bo mạch nhỏ gọn, gắn với cá thiết bị điện tử (đèn/quạt/tivi,... ) có chức năng:
    + Nhận lệnh điều khiển từ hệ BCI qua truyền thông không dây
    + Thực thi lệnh điều khiển: ví dụ, thực thi bật/tắt đèn nếu hệ BCI gửi lệnh điều khiển là bật/tắt đèn.

  • Chỉ tiêu kỹ thuật:
    - Nguồn vào từ 100-250V,
    - Load capacity 250V-10V,
    - Giao diện kết nối ngoại vi: UART, I2C, ADC, GPIO, Wi-Fi Direct (P2P), soft-AP, 802.11 b/g/n,
    - Built-in TCP/IP protocol stack,
    - Built-in low-power 32-bit CPU.
    - Mô đun chương trình nhúng thực hiện lệnh điều khiển

- Công bố: Trong đó có 01 bài tạp chí thuộc danh mục ESCI, 02 bài hội thảo quốc tế và 01 bài hội thảo quốc gia.
- Tài liệu kỹ thuật: Báo cáo kỹ thuật về các công nghệ được sử dụng và phát triển.
- Báo cáo khoa học tổng hợp: Báo cáo khoa học tổng hợp về kết quả thực hiện đề tài.
- Đào tạo: Hỗ trợ đào tạo 01 tiến sĩ theo hướng nghiên cứu này.

  1. Nguyễn Thế Hoàng Anh - Trường ĐH Công nghệ, Đại học Quốc gia Hà Nội Dự kiến bảo vệ 2019 "Nghiên cứu, phát triển một số phương pháp dựa trên học máy phục vụ phân tích và xử lý tín hiệu điện não hướng tới xây dựng hệ giao diện não – máy tính" do PGS. TS. Bùi Thế Duy và PGS. TS. Lê Thanh Hà hướng dẫn 

- Sở hữu trí tuệ: 01 đơn đăng ký sáng chế đã được chấp nhận đơn hợp lệ

Một số hình ảnh của đề tài:

T6.65.nthanh1

T6.65.nthanh2

T6.65.nthanh3

Những đóng góp mới
  • Đề tài đã tập trung vào các yêu cầu kỹ thuật như thuyết minh của đề tài, trong đó bao gồm 05 phương pháp mới được đề xuất gồm phương pháp (1) nhận diện, dò đếm giả tượng mắt EOG dựa trên biến đổi wavelet, (2) khử nhiễu tín hiệu điện não tự động sử dụng mạng mã hóa thưa – Sparse Autoencoder, (3) phân loại tín hiệu điện não trong các tác vụ suy nghĩ dựa trên bộ phân lớp SVM kết hợp biến đổi năng lượng wavelet tương đối (Relative wavelet energy), (4) phân loại tín hiệu điện não sử dụng mạng nơ-ron kết hợp phân ngưỡng donoho để lựa chọn đặc trưng và (5) phân loại tín hiệu điện não sử dụng mạng học sâu.
  • Sản phẩm đề tài là một hệ thống giao diện não máy tính hoàn chỉnh nhằm phục vụ những đối tượng như người tàn tật, người bệnh trong tình trạng nghiêm trọng… Sản phẩm này có thể được ứng dụng trong việc điều khiển các thiết bị trong nhà thông minh, điều khiển xe lăn hoặc các nhân vật trong trò chơi điện tử.
Sản phẩm

- Các bài báo đã công bố (liệt kê): 01 bài tạp chí thuộc ESCI, 02 bài đăng trong kỷ yếu hội thảo quốc tế, 01 bài đăng trong kỷ yếu hội nghị quốc gia..

  1. Nguyen The Hoang Anh, T. T. Quyen Bui, Nguyen Truong Thang, Thanh Ha Le, The Duy Bui. A Robust PCA-SURE Thresholding Deep Neural Network Approach for Mental Task Brain Computer Interface. Journal of Informatics and Mathematical Sciences. (Accepted for publication). ISSN 0975-5748.
  2. Nguyen The Hoang Anh, Tran Huy Hoang, Vu Tat Thang, T. T. Quyen Bui, “A combination of Independent Component Analysis, Relative Wavelet Energy and Support Vector Machine for Mental State Classification,” Proceedings of 16th International Conference on Control, Automation and Systems (ICCAS), 2016.
  3. Nguyen The Hoang Anh, Tran Huy Hoang, Vu Tat Thang, T. T. Quyen Bui, “An Artificial Neural Network Approach for Electroencephalographic signal classification towards Brain-Computer Interface implementation,” Proceedings of 12nd IEEE-RIVF International Conference on Computing and Communication Technologies (RIVF), 2016.
  4. Huy Hoang Tran, Hoang Anh T. Nguyen, Quoc-Vuong Do and Thanh Ha Le, “EOG Detection using Haar Wavelet Transform toward implementation of an IOT Brain computer interface”, Kỷ yếu Hội thảo Quốc gia CNTT lần thứ 21, 2018.

- Các bằng sáng chế, giải pháp hữu ích (liệt kê)

  1. PHƯƠNG PHÁP VÀ HỆ THỐNG THU NHẬN TÍN HIỆU ĐIỆN NÃO ĐỂ ĐIỀU KHIỂN THIẾT BỊ ĐIỆN TỬ TRONG NHÀ THÔNG MINH (Đã được chấp nhận đơn hợp lệ)

- Các sản phẩm cụ thể (mô tả sản phẩm, nơi lưu giữ)

  • Hệ thống giao diện não – máy tính trong điều khiển các thiết bị điện tử gia dụng thông minh hoàn chỉnh gồm: thiết bị thu tín hiệu Emotiv EPOC+, bộ phận WIoT, các thiết bị điện tử kết nối với WIoT và nhận lệnh điều khiển từ BCI.
  • Chương trình phân tích và xử lý tín hiệu điện não.
  • Chương trình nhúng WIoT nhận lệnh điều khiển từ BCI
  • 01 Báo cáo tổng hợp của đề tài
  • 04 bài báo
  • 01 Đơn đăng ký Sáng chế (đã được chấp nhận đơn hợp lệ)
Kiến nghị

Kính ?? ngh? lãnh ??o Vi?n Hàn lâm Khoa h?c và Công ngh? Vi?t Nam ti?p t?c quan tâm và t?o ?i?u ki?n ?? nhóm nghiên c?u có th? phát tri?n và nâng c?p h? th?ng ?ang có, ??a vào ?ng d?ng trong th?c t?.

Bản quyền thuộc về Viện Hàn lâm Khoa học và Công nghệ Việt Nam.
Địa chỉ: 18 Hoàng Quốc Việt, Cầu Giấy, Hà Nội. Email: This email address is being protected from spambots. You need JavaScript enabled to view it.
Khi phát hành lại thông tin trên Website cần ghi rõ nguồn: "Viện Hàn lâm Khoa học và Công nghệ Việt Nam".