Nghiên cứu phát triển hệ thống cảm biến găng tay, ứng dụng trong điều khiển thiết bị và trong thông dịch tương tác tiếng nói với ngôn ngữ ký hiệu - Mã số đề tài: VAST01.09/16-17

Chủ nhiệm đề tài PGS.TS. Lương Chi Mai
Đơn vị thực hiện Viện Công nghệ Thông tin
Thời gian thực hiện 2016 - 2017
Tổng kinh phí 600 triệu đồng
Xếp loại đề tài Khá
Mục tiêu đề tài

- Phát triển một thiết bị găng tay cảm biến, cảm ứng được trực tiếp và chính xác nhất hoạt động của bàn tay; dựa trên đó nghiên cứu phát triển hệ thống phân tích nhận diện hành động lệnh hay ký hiệu (ngôn ngữ ký hiệu).
- Hệ thống thông dịch giữa ngôn ngữ hội thoại và ngôn ngữ ký hiệu Việt (VSL- Vietnamese Sign Language).
- Trong quá trình phát triển hệ thống nêu trên, một số thành phần công nghệ cốt lõi cũng sẽ phải đạt được như:

  • Công nghệ thiết kế phần cứng wearable devices có khả năng giao tiếp không dây với các thiết bị điện tử thông minh.
  • Công nghệ dịch tự động giữa ngôn ngữ VSL và ngôn ngữ Việt thông thường (VSL thường là dạng ngữ pháp SOV - Subject Object Verb với lượng từ vựng hạn chế, trong khi tiếng Việt thông thường có cấu trúc SVO và đa dạng về từ vựng), cho phép nhận diện được các đơn vị chữ cái và từ vựng của VSL dựa trên tư thế bàn tay.
Kết quả đạt được

- Về khoa học:
+ Module cứng MC1 với một hệ thống các cảm biến trên găng tay, gom tín hiệu về MCU, và sau đó hỗ trợ truyền thông ngoại vi (qua COM và Wireless).
+ Module mềm MM1trên PC, mô phỏng 3D hoạt động bàn tay trong thời gian và không gian thực khi MC1 đẩy tín hiệu về PC.
+ Module mềm MM2 trên PC, thông dịch giữa ngôn ngữ ký hiệu Việt (VSL) sang ngôn ngữ Việt (văn bản), và chuyển đổi sang tiếng nói.
+ Hai phần mềm PM1 trên AndroidOS và PM2 trên iOS cho các thiết bị smartphones; thông dịch giữa ngôn ngữ ký hiệu Việt (VSL) sang ngôn ngữ Việt dạng văn bản và tiếng nói.
+ Bộ dữ liệu mẫu
+ 01 đăng ký sáng chế về sản phẩm của đề tài với tên “Hệ thống cảm biến găng tay dùng để chuyển đổi ngôn ngữ ký hiệu sang ngôn ngữ nói tiếng Việt” đã được chấp nhận đơn.
+ 03 bài báo đăng trên Kỷ yếu Hội nghị quốc gia

- Về ứng dụng:
+ Sản phẩm của đề tài là sản phẩm đầu tiên ở Việt nam có khả năng cảm biến, cảm ứng được chính xác hoạt động của bàn tay và chuyển đổi các ngôn ngữ ký hiệu sang ngôn ngữ tiếng Việt.
+ Kết quả và sản phẩm của đề tài có thể sử dụng cho giảng dạy tại các chuyên ngành Cơ điện tử, Tự động hóa, Điện tử tin học trong các trường đại học và Viện nghiên cứu.
+ Kết quả đề tài có thể hoàn thiện thêm để sử dụng trực tiếp như sản phẩm thương mại hoặc có thể sử dụng với mục đích xã hội.

Một số hình ảnh của đề tài:

T7.70.lcmai1

T7.70.lcmai2

Những đóng góp mới
  • Thiết bị phần cứng là găng tay cảm biến: Công nghệ thiết kế phần cứng, tự động hóa,
  • Hệ thống thông dịch phần mềm, trong đó tập trung vào mục đích chuyển đổi giữa ngôn ngữ kí hiệu sang tiếng nói của ngôn ngữ bình thường: Công nghệ nhận dạng ngôn ngữ ký hiệu dựa trên tập hợp các tín hiệu số (thu được từ bộ các sensor cảm biến gia tốc, cảm biến độ cong); Công nghệ tổng hợp tiếng nói tiếng Việt.
Sản phẩm

- Các bài báo đã công bố (liệt kê): 03 bài báo đăng trên kỷ yếu Hội nghị quốc gia

  1. PhíTùngLâm, TrầnHuyHoàng, “Xây dựng thử nghiệm hệ thống điện não đồvới chi phí thấp”, Một số vấn đề chọn lọc của Công nghệ thông tin & Truyền thông, QuyNhơn – BìnhĐịnh, 23-24/11/2017.
  2. PhíTùngLâm, TrầnHuyHoàng, “Nhận dạng ngôn ngữ kí hiệu sử dụng găng tay cảm biến”, Hội nghị Toán ứng dụngvà Tin học, Hà Nội, 12-13/11/2016.
  3. PhíTùngLâm, Nguyễn Trường Thắng, Nguyễn Thế Hoàng Anh, Mai Văn Thuỷ, Trần Huy Hoàng, “Một số kĩ thuật tăng cường hiệu quả hoạt động của hệthống Nhẫn đọc thông minh”, Hội thảo quốc gia lần thứ XXI: Một số vấn đề chọn lọc của Công nghệ thông tin & Truyền thông, Thanh Hóa, 27-28/07/2018.

- Các bằng sáng chế, giải pháp hữu ích (liệt kê): 01 sáng chế “Hệ thống cảm biến găng tay dùng để chuyển đổi ngôn ngữ ký hiệu sang ngôn ngữ nói tiếng Việt” (số đơn 1-2017-04908, đã chấp nhận đơn)

- Các sản phẩm cụ thể (mô tả sản phẩm, nơi lưu giữ):
+ Hệ thống cảm biến găng tay dùng để chuyên đổi ngôn ngữ ký hiệu sang ngôn ngữ nói tiếng Việt.
+ Bộ dữ liệu mẫu sử dụng cho huấn luyện phát triển kiểm thử.

- Các sản phẩm khác (nếu có):
+ 01 Báo cáo tổng kết đề tài
+ 01 Báo cáo kỹ thuật về nghiên cứu thiết kế và chế tạo thiết bị

Bản quyền thuộc về Viện Hàn lâm Khoa học và Công nghệ Việt Nam.
Địa chỉ: 18 Hoàng Quốc Việt, Cầu Giấy, Hà Nội. Email: This email address is being protected from spambots. You need JavaScript enabled to view it.
Khi phát hành lại thông tin trên Website cần ghi rõ nguồn: "Viện Hàn lâm Khoa học và Công nghệ Việt Nam".