| 论文中文题名： | 基于多模态生物电信号的游戏控制系统 |
| 姓名： | |
| 学号： | 18206206108 |
| 保密级别： | 公开 |
| 论文语种： | chi |
| 学科代码： | 085210 |
| 学科名称： | 工学 - 工程 - 控制工程 |
| 学生类型： | 硕士 |
| 学位级别： | 工程硕士 |
| 学位年度： | 2021 |
| 培养单位： | 西安科技大学 |
| 院系： | |
| 专业： | |
| 研究方向： | 脑机接口技术 |
| 第一导师姓名： | |
| 第一导师单位： | |
| 论文提交日期： | 2021-06-18 |
| 论文答辩日期： | 2021-05-29 |
| 论文外文题名： | Game Control System Based on Multi-Modal Bioelectric Signals |
| 论文中文关键词： | |
| 论文外文关键词： | Brain-computer Interface Technology ; Multi-modal Bioelectrical Signal ; Schulte Grid Pattern ; Attention ; Game System |
| 论文中文摘要： |
脑机接口系统是指将大脑与计算机或者其他设备连接，通过解析大脑信号，实现控制外部设备的交互系统，该系统可以有效增强肢体残疾患者控制外界设备的能力。随着控制环境越来越复杂，多模态脑机接口系统越来越受到研究者们的关注，其可以进行多维信号控制，具有更高的控制准确性和系统稳定性。本文将多模态生物电信号与游戏系统结合，研究并设计了一种利用人体眼电、肌电和脑电（EEG）信号组成的多模态生物电信号协同控制人物对战的游戏系统，该系统可为身体残疾人士提供很好的游戏体验。本文的主要研究内容如下： （1）本文设计了舒尔特方格范式，实现对不同注意类型脑电数据的采集以及自动标注，构建脑电多级注意力数据库，并采用经典专注度模型对注意力数据库进行分级准确性分析。实验得出：本注意力分级模型可以很好区分高中低三种注意力水平。 （2）在注意力分级研究中，针对脑电特征提取算法忽视原始脑电信号时序特征这一技术难点，设计了用于保存原始脑电信号的时序特征的长短期记忆深度学习网络。对比现有的五种基于EEG信号的注意力分级算法：小波变换、近似熵、共空间模式、基于相干系数的脑网络和卷积神经网络，在相同的EEG数据集上，本注意力分级模型识别准确率最高，最高准确率为92.64%。 （3）为解决脑机接口系统中常见的个体性差异问题，本系统设计了自适应面部表情子系统，每个受试者可以根据自己面部表情的舒适程度设计游戏动作触发的数据指标，从而提高玩家舒适度，增强系统的实用性。 （4）搭建完整的脑机接口游戏系统，采用Emotiv Epoc+脑电仪完成生物电信号的采集，分别设计并实现服务器端数据处理平台、用户数据报传输协议（UDP）和拳皇游戏客户端，完成信号的处理、转换以及传输，最终控制游戏进程。实验表明：被试者在多模态实时游戏系统中操作流畅，可以通过多模态信号实时控制游戏人物。 |
| 论文外文摘要： |
A brain-computer interface system refers to an interactive system that connects the brain with a computer or other equipment, and realizes control of external equipment by analyzing brain signals. This system can effectively enhance the ability of patients with physical disabilities to control external equipment. As the control environment becomes more and more complex, the multi-modal brain-computer interface system has attracted more and more attention from researchers. It can carry out multi-dimensional signal control and has higher control accuracy and system stability. This paper combines multi-modal bioelectrical signals with a game system to study and design a multi-modal bioelectrical signal composed of human ocular electricity, myoelectricity and brain electricity (EEG) signals to coordinately control the game system of characters. The system can provide a good gaming experience for people with physical disabilities. The main research contents of this paper are as follows: (1) This paper designs the Schulte grid paradigm to realize the collection and automatic labeling of EEG data of different types of attention, build a multi-level EEG attention database, and use the classic concentration model to analyze the accuracy of the attention database. Experiments have concluded that this attention grading model can well distinguish the three attention levels of high, medium and low. (2) In the study of attention grading, in view of the technical difficulty that the EEG feature extraction algorithm ignores the timing features of the original EEG signals, a long and short-term memory deep learning network is designed to save the timing features of the original EEG signals. Compare the five existing attention grading algorithms based on EEG signals: wavelet transform, approximate entropy, co-space mode, brain network based on coherence coefficients, and convolutional neural network. On the same EEG data set, this attention grading model The recognition accuracy rate is the highest, the highest accuracy rate is 92.64%. (3) In order to solve the common individual differences in brain-computer interface systems, this system has designed an adaptive facial expression subsystem. Each subject can design data indicators triggered by game actions according to the comfort level of their facial expressions, thereby improving player comfort Enhance the practicability of the system. (4) Build a complete brain-computer interface game system, use Emotiv Epoc+ EEG to collect bioelectric signals, design and implement server-side data processing platform, User Datagram Transmission Protocol (UDP) and King of Fighters game client respectively to complete signal processing , Conversion and transmission, and ultimately control the game process. Experiments show that the subjects operate smoothly in the multi-modal real-time game system, and can control the game characters in real time through multi-modal signals. |
| 参考文献： |
[2] 王东辉, 吴菲菲, 王圣明, 等. 人类脑科学研究计划的进展[J]. 中国医学创新, 2019, 16(07): 168-172. [4] 强晟. 脑机接口技术前景和风险分析[J]. 中国科技信息, 2020(22): 45-46. [5] 周伊婕, 宋西姊, 何峰, 等. 基于脑电的多模态神经功能成像新技术研究进展[J]. 中国生物医学工程学报, 2020, 39(05): 595-602. [6] 贾俊佳, 蒋惠萍, 张廷. 多模态情感识别综述[J]. 中央民族大学学报(自然科学版), 2020, 29(01): 54-58. [7] 刘燕敏, 张桂青. 定量脑电图对经颅微电流刺激疗法治疗儿童注意缺陷多动障碍的研究[J]. 中华临床医师杂志: 电子版, 2011, 005(008): 2462-2463. [8] 王丽君, 王党校, 郑一磊, 等. 基于力位协同控制的注意力状态客观监测方法[J]. 中国科学: 信息科学, 2019, 49(04): 422-435. [14] 吴昊. 基于眼电与运动想象多模态人机交互系统研究[D]. 重庆: 重庆大学, 2016. [15] 陈东伟, 翁省辉, 林洁文, 等. 基于移动平台的脑电波游戏设计与实现[J]. 信息技术, 2014, 3(02): 160-162. [16] 周旭. 基于EEG&fNIRS的多模态脑机接口应用研究[D]. 杭州: 杭州电子科技大学, 2017. [17] 张瑞, 李远清. 多模态脑机接口游戏系统的设计与应用[J]. 计算机工程与应用, 2012, 48(22): 65-69. [18] 黄佳琪, 徐庆, 高超, 等. 基于脑波控制的玩具赛车—意世界iCAN论坛[J]. 物联网技术, 2014, 4(03): 8-9. [19] 孙瀚. 基于多模态生物电信号人机交互技术研究[D]. 南京: 东南大学, 2019. [20] 黄保仔. 脑电波控制的网页游戏设计与实现[D]. 青岛: 青岛大学, 2013. [21] 彭璟. 基于脑机接口系统的VR新闻用户体验研究[D]. 成都: 电子科技大学, 2019. [23] 呙腾, 冯桑, 黄超. 基于生物电信号的驾驶疲劳检测方法[J]. 汽车电器, 2014, 4(8): 65-68. [24] 吴全玉, 张文强, 潘玲佼, 等. 一种结合自适应噪声完备经验模态分解和盲反卷积去除脑电中眼电伪迹的新方法[J]. 数据采集与处理, 2020, 35(04): 720-729. [25] 李帅, 郝冬梅, 杨琳, 等. 基于垂直眼电信号的眼疲劳评估系统的研发[J]. 中国医学装备, 2020, 17(06): 4-9. [26] 王昱, 吴向东, 施长城, 等.基于力跟踪的上肢康复机器人系统中视觉与触觉反馈融合技术研究[J]. 中国康复理论与实践, 2021, 27(04): 478-486. [27] 王彦凤, 王瑞, 蔡玉强, 等. 融合整体法和Simulink的人体肌肉力矩动态仿真计算[J]. 华北理工大学学报(自然科学版), 2020, 42(03): 96-103. [28] 路毅, 邓文冲. 不同运动方式对大脑结构及认知功能的调节作用及差异[J]. 中国组织工程研究, 2021, 25(20): 3252-3258. [30] 李恒智, 文冬, 魏振豪等. 轻度认知障碍患者EEG动力学特征提取与分类方法研究进展[J]. 中国生物医学工程学报, 2019, 38(3): 348-354. [31] 杜涵. 脑电生物反馈仪在ADHD儿童注意力治疗中的效果分析[J]. 中国医疗器械信息, 2020, 26(22): 12-13. [33] 王禹, 肖毅, 周前祥, 等. 基于脑电信号的脑力负荷监测技术研究现状[J]. 航天医学与医学工程, 2018, 31(05): 577-582. [36] 贺庆, 郝思聪, 司娟宁, 等.面向脑机接口的脑电采集设备硬件系统综述[J]. 中国生物医学工程学报, 2020, 39(06): 747-758. [37] 王志朋. 视觉和支撑面顺应性对人体静态站立平衡控制过程中脑电-肌电相干性的影响[J]. 中国运动医学杂志, 2019, 38(12): 1032-1038. [39] 陈泽龙, 谢康宁. 基于脑电EEG信号的分析分类方法[J]. 中国医学装备, 2019, 16(12): 151-158. [40] 高枫, 鲁昊, 高诺. 基于小波包和共同空间模型的运动想象脑电信号特征提取算法[J]. 生物医学工程研究, 2019, 38(04): 393-396+409. [41] 李君, 支锦亦, 李然, 等. 基于认知任务分析的智能系统交互设计路径研究[J]. 包装工程, 2020, 41(18): 29-37. [44] 韩向可, 郭士杰. 基于SSVEP-SSA融合的混合脑机接口研究[J]. 仪器仪表学报, 2019, 40(05): 213-220. [45] 王湃, 王晓伟. 基于脑波控制的3D游戏系统设计与实现[J]. 科技广场, 2016(05): 16-19. [47] 刘素杰. 基于脑网络测度的注意力脑电分级研究[D]. 郑州: 郑州大学, 2018. [48] 龚琦. 脑电信号与注意力的关联研究[D]. 武汉: 武汉工程大学, 2017. [49] 吴欢, 印想, 官金安. 频带能量与样本熵在注意力脑电信号中的对比研究[J]. 计算机与数字工程, 2020, 48(03): 6 03-606+622. [50] 陈群, 薄华. 基于深度森林的脑电注意力识别研究[J]. 电子设计工程, 2018, 26(17): 35-39. [53] 燕楠, 王珏, 魏娜, 等. 基于样本熵的注意力相关脑电特征信息提取与分类[J]. 西安交通大学学报. 2007, 10(41): 1237-1241. [54] 卢宏亮, 刘权辉, 朱霞. 重复经颅直流电刺激与舒尔特方格训练对健康大学生注意力的提升效果[J]. 第二军医大学学报, 2021, 42(02): 197-202. [56] 何雯, 季亚铮, 魏夏婷, 等. 基于眼动技术的认知康复策略对脑卒中患者执行功能的影响[J]. 康复学报, 2021, 31(02): 145-150. [57] 路荣, 黄力宇, 晋琅.小波包分解脑电复杂性特征提取的注意状态实时识别[J]. 医疗卫生装备. 2013, 290 34(2): 1-5. [58] 王康, 翟弟华, 夏元清. 面向人机交互的运动想象脑电信号感知算法研究[J]. 无人系统技术, 2020, 3(01): 31-37. [59] 袁瑞, 魏庆国. 基于小波包分解与近似熵的脑电特征提取方法研究及在脑机接口中的应用[J]. 南昌大学学报(理科版), 2017, 41(03): 282-287. [60] 田曙光, 宋耀莲, 杨俊. 基于子空间对齐与自适应CSP算法的运动想象脑电信号分类[J]. 光电子· 激光, 2021, 32(01): 42-46. [63] 徐国庆,马建文,吴晨辉,张安西.基于Attenton-LSTM神经网络的船舶航行预测[J].舰船科学技术,2019,41(23):177-180. [64] 徐鲁强, 刘静霞, 肖光灿等. 脑电注意水平的特征识别[J]. 计算机应用, 2012, 32(11): 3268-3270. [65] 胡正高, 朱飞, 徐壮. TCP/IP模型功能浅析[J]. 数字技术与应用, 2020, 38(08): 22-24. |
| 中图分类号： | TP273 |
| 开放日期： | 2021-06-24 |
谷歌
火狐
