矿工不安全行为是导致煤矿生产事故的主要原因，矿工个体不安全状态是不安全行为产生的前提，实现矿工岗前不安全状态检测，能够从根本上降低矿工不安全行为对安全生产的负面影响。但目前对于矿工岗前不安全状态，无论是理论还是智能检测都缺乏系统性的研究。本研究以实现矿工不安全状态“早发现、早干预、早控制”为目标，通过开展矿工岗前不安全状态理论、实验及算法研究，确定不安全状态检测指标及识别方法，开发矿工岗前不安全状态检测系统。研究结果对于有效降低矿工人为失误，提升煤矿安全生产水平具有重要理论意义和现实意义。本文具体研究工作及结论如下：

（1）矿工不安全状态理论研究。通过对HFACS模型及相关理论进行分析，明晰了不安全行为与不安全状态的关系，明确了矿工不安全状态概念。通过分析高危行业事故调查报告及相关研究文献，明确了矿工不安全状态表现特征为身体疲劳、身体状况不佳、精神疲劳、不安全情绪及心理压力大。运用ISM法组合赋权法，结合矿工作业环境，分析得到实现矿工岗前不安全状态精准检测的指标为身体疲劳与不安全情绪。

（2）矿工岗前不安全情绪检测算法研究。基于基本情绪和维度论，以厌恶、恐惧、愤怒、高兴、悲伤五种负向基本情绪作为研究对象，分析了不同情绪效价和情绪唤醒度对矿工行为方式的影响，将矿工不安全情绪分为4级，即安全情绪happy（-）和neutral；轻度不安全情绪happy（+）；中度不安全情绪anger（-）、disgust（-）、fear（-）和sadness（-）；重度不安全情绪anger（+）、disgust（+）、fear（+）和sadness（+）。采用预训练SSD模型实现矿工人脸检测，以提取矿工面部外观特征，采用预训练Xception模型完成情绪分类，最终应用softmax函数输出各情绪检测概率，编写了矿工岗前不安全情绪检测算法。

（3）矿工岗前身体疲劳状态检测算法及实验研究。为实现精准、便利、高效的检测矿工身体疲劳状态，以眼部PERCLOS值及嘴部打哈欠频率作为矿工身体疲劳检测指标。通过矿工身体疲劳状态分级实验提取相关指标数据，并运用K-mean-cluster算法，以综合疲劳指数作为评判指标将矿工岗前身体疲劳状态分为4级，即“清醒状态”下综合疲劳指数F＜0.133；“轻度疲劳状态”下综合疲劳指数0.133≤F＜0.468；“中度疲劳状态”下综合疲劳指数0.468≤F＜1；“重度疲劳状态”下综合疲劳指数F≥1，编写了矿工岗前身体疲劳状态检测算法。

（4）矿工岗前不安全状态检测系统研究。结合矿工岗前不安全情绪及身体疲劳状态的分级方法，将矿工岗前不安全状态分为4级，即“安全状态”、“轻度不安全状态”、“中度不安全状态”及“重度不安全状态”。通过融合矿工不安全情绪和身体疲劳状态检测算法，基于Python构建了矿工岗前不安全状态检测系统，包括视频获取、人脸检测、情绪检测、身体疲劳检测和不安全状态检测五个模块。通过实例验证了该系统具有较好的检测效果，对降低煤矿事故发生率意义重大。

Miners’ Unsafe behavior is the main cause of coal mine production accidents, and miners’ unsafe state is the premise of producing unsafe behavior. Therefore, realize and control the pre-work miners’ unsafe state can acheve the goal of reduce miners’ unsafe behavior frome the root. However, at present, there is no systematic research on the miners’ pre-work unsafe state, either in theory or intelligent detection. For realize the ‘Early intervention and early control’ of miners’ unsafe state, this paper studies the theory, experiment and algorithm of miners’ pre-work unsafe state, and establishes miners’ prework unsafe state detection system, so as to reduce human error and improve the safety production level of coal mine.

(1)Research on Theory of Miners’ Unsafe State. By analyzing the theories of accident cause and unsafe behavior, the relationship between unsafe behavior and unsafe state is clarified, the connotation of miners’ unsafe state is determined. By analyzing high-risk industry accident investigation report and related research literature, the characteristics of miners’ unsafe state are clried, including physical fatigue, poor physical state, mental fatigue, unsafe mood and psychological pressure. Using ISM model and combination weithing method, considering the actual situation of miners’ work place, it is clear that physical fatigue and unsafe emotions can be used as indicators to accurately detect miners’ pre-work unsafe state.

(2) Research on detecting algorithm of miners’ pre-work unsafe emotional state. From the perspective of basic emotion and dimensionality theory, five basic emotions of disgust, fear, anger, happiness and sadness are defined as the research objects. By analyzing the effect of different emotion valence and arousal on minera’ behavior, miners' unsafe emotion is divided into four levels, whichthe ‘Safe Emotion’ is happy (-) and neutral, ‘Mild unsafe Emotion’ is happy (+); ‘Moderate Unsafe Emotion’ is anger (-), doubt (-), fear (-) and safety (-); Major unsafe emotion is anger (+), doubt (+), fear (+) and safety (+). By analyzing the advantages and disadvantages of facial expression detection methods, pre-training SSD model is used to miners' face, andusing pre-training Xception model to clarify the emtionsFinally, miners’ pre-detectwork unsafe emotion dectect algorithm is completed.

(3) Research on detecting algorithm of miners’ pre-work physical fatigue state. The existing physical fatigue identification indicators are analyzed from perspective of identification accuracy and index extraction convenience degree, the PERCLOS value and yawning frequency are clearly used as identification indicators of miners’ physical fatigue. By analyzing the experimental data with K-means cluster ,miners’ pre-work physical fatigue state is divided into four levels, which F<0.1 is ‘Awake State’; 0.133≤F＜0.468 is ‘Mild Fatigue State’, 0.468≤F＜1 is ‘Moderate Fatigue State’; F≥1 is "Major Fatigue State". Finally, miners’ pre-work unsafe physical fatigue state dectect algorithm is completed.

(4) Research on miners’ unsafe state detect system. Combined with the classification method of miners’ pre-work unsafe emotion and physical fatigue, miners’ pre-work unsafe state divided into four levels, namely ‘Safe State’, ‘Mild Unsafe State’, ‘Moderate Unsafe State’ and ‘Major Unsafe State’. Based on python, the detect system of miners' unsafe state is established. The system includes five modules: video acquisition module, face detection module, emotion detection module, physical fatigue detection module and unsafe state detection module. It’s proved that the system has good detection effect and is significant to reduce the accident rate of coal mine.

[1] 孙喜民．煤炭工业高质量发展方略研究与实践[J]．煤炭工程，2019，51(1)：152-156.

[2] 孙旭东，张蕾欣，张博．碳中和背景下我国煤炭行业的发展与转型研究[J]．中国矿业，2021，30(2)：1-6.

[3] 刘灿．煤矿生产班组不安全行为及控制研究[D]．西安：西安科技大学，2015.

[4] 宁成浩．基于马尔科夫链的2030年中国煤炭生产格局预测[J]．中国煤炭，2017，43(1)：11-15.

[5] 成连华，郭慧敏．基于SEM的煤矿安全生产影响因素系统研究[J]．中国安全科学学报，2018，28(1)：137-142.

[6] 黄佳，卢明银，王苗等．基于ISM法的煤矿井下班组安全氛围影响因素分析[J]．煤矿安全，2017，48(5)：224-227.

[7] 王捷帆，李文俊．中国煤矿事故暨专家点评集[M]．北京：煤炭工业出版社，2003：5.

[8] 沈剑，李红霞．基于扎根理论的主动安全型矿工素质特征及行为驱动因素研究[J]．西安科技大学学报，2018，38(5)：852-859.

[9] 孔丽丽，易春求．矿用智能安全头盔的设计[J]．中国矿业，2020，29(12)：95-98+115.

[10] 仝泽友．基于RGB图像的皮带区矿工不安全行为检测研究[D]．北京：中国矿业大学，2020.

[11] 王国法，王虹，任怀伟，等．智慧煤矿2025情景目标和发展路径[J]．煤炭学报，2018，43(2)：295-305.

[12] 陈庆峰．矿井皮带区域矿工不安全行为检测方法的研究[D]．北京：中国矿业大学，2019.

[13] 杨赛烽．基于Kinect的罐笼内矿工不安全行为检测方法研究[D]．北京：中国矿业大学，2019.

[14] 贺方圆．基于压缩感知和3D图像矿井人员目标定位技术研究[D]．北京：中国矿业大学（北京），2020.

[15] 许志，李敬兆等．轻量化CNN及其在煤矿智能视频监控中的应用[J]．工矿自动化，2020，46(12)：13-19.

[16] 胡宏泽，杜志刚，储楠，等．基于智慧矿山平台的人员定位系统关键技术[J]．煤矿安全，2021，52(11)：134-138.

[17] 陈梓华，马占元，李敬兆．基于RNN的煤矿安全隐患信息关键语义智能提取系统[J]．煤炭工程，2021，53(3)：185-189.

[18] 马裕静，白东梅，刘雨田，等．煤矿井下人员安全可穿戴装置研究[J]．工矿自动化，2018，44(8)：96-99.

[19] Mei Wang, Songzhi Zhang, Yuanjie Lv,et al. Anxiety Level Detection Using BCI of Miner’s Smart Helmet [J]. Mobile Networks and Applications, 2018, 23(2): 336-343.

[20] 黄天昊．基于感性意象评价的矿用安全帽产品创新设计[D]．北京：中国矿业大学，2020.

[21] 孔丽丽，易春求．矿用智能安全头盔的设计[J]．中国矿业，2020，29(12)：95-98+115.

[22] Mehrabian A. Communication without word [J]. Psychological today, 1968, 2:53-55.

[23] Zhao Haitao, et al. Facial expression recognition in golden snub-nosed monkeys [J]. Current Zoology, 2020, 66(6): 695-697.

[24] Jenni Kommineni, et al. Accurate computing of facial expression recognition using a hybrid feature extraction technique [J]. The Journal of Supercomputing, 2020: 1-26.

[25] 柳永翔，付晓峰，付晓鹃，等．深度可分离CNN在表情检测中的应用研究[J]．工业控制计算机，2020，33(10)：71-73+76.

[26] 黄建恺．人脸检测的活体检测技术研究[D]．武汉：华中师范大学，2018.

[27] Rowley H. A., Baluja S., Kanade T. Neural Network-Based Face Detection[C]. IEEE Conference on Computer Vision and Pattern Recognition, IEEE Computer Society, 1998: 23-28.

[28] Rowley H. A., Baluja S., Kanade T. Rotation Invariant Neural Network-Based Face Detection[C]. 1998 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Santa Barbara, CA, USA, 1998.

[29] 王锋．基于Adaboost算法的人脸检测与检测技术研究[D]．扬州：扬州大学，2018.

[30] 宋万军．基于OpenCV视觉库的人脸检测[D]．长春：吉林大学，2014.

[31] Krizhevsky A., Sutskever I., Hinton G.E., ImageNet Classification with Deep Convolutional Neural Networks [J]. Advances in neural information processing systems, 2012, 25(2): 1097-1105.

[32] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition [J]. Computer Science, 2014.

[33] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]. Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.

[34] 赖振意，陈人和，钱育蓉．结合空洞卷积的CNN实时微表情检测算法[J]．计算机应用，2020，37(11)：1-5.

[35] 李旻择，李小霞，王学渊，等．基于多尺度特征卷积神经网络的实时人脸表情检测[J]．计算机应用，2019，39(9)：2568-2574.

[36] Wu, Y. Ji, Q. Facial Landmark Detection: A Literature Survey [J]. International Tounral of Computer Vision, 2019, 127(2): 115-142.

[37] Chu, W.S, De la Torre, F., Cohn, J.F. Learning facial action units with spatiotemporal cues and multi-label sampling [A]. New York: IEEE, 2019: 1-14.

[38] Doranaika F, Davoine F.Simultaneous facial action tracking and expression recognition in the presence of head motion [J]. International Journal of Computer Vision, 2008, 76(3): 257-281.

[39] 岳雷，沈庭芝．基于自动提取特征点的三维人脸表情检测[J]．北京理工大学学报，2016(5)：508-513.

[40] Pantic M., Rothkrantz L. Facial action recognition for facial expression analysis from static face images [J]. Copenhagen, Denmark: Association for Computational Linguistics, 2017(3): 1803-1807.

[41] 赵雪雅，戴惟嘉，崔建中，等．基于关键点LBP特征的人脸表情检测[J]．信息化研究，2018，44(3)：22-25.

[42] Bartlett M S., Littlewort G., Frank M. G., et al. Fully Automatic Facial Action Recognition in Spontaneous Behavior[C]. 7th International Conference on Automatic Face and Gesture Recognition (FGR06), Southampton, UK, 2006, 223-230.

[43] Deshmukh G. V., Bhandi S. H. , Facial Expression Recognition using Bandlet Transform and Centre Symmetric-Local Binary Pattern[C]. 2018 5th International Conference on Single Processing and Integrated Network (SPIN), IEEE, 2018: 726-729.

[44] Fanzhi Kong. Facial expression recognition method based on deep convolutional neural network combined with improved LBP features [J]. Personal and Ubiquitous Computing, 2019,23(3-4),50-57.

[45] 张雪梅，公维宾，邬建志，等．基于纹理特征融合的人脸表情检测[J]．计算机技术与发展，2020，30(3)：57-61.

[46] 刘娟，胡敏，黄忠．基于区域NSBP特征的加权证据融合表情检测[J]．电子测量与仪器学报，2020，34(11)：132-139.

[47] 程换新，王雪，程力，等．基于CNN和LSTM的人脸表情检测模型设计[J]．电子测量技术，2021，44(17)：160-164.

[48] 高婷婷，李航，殷守林．一种基于面部纹理特征融合的人脸表情检测方法[J]．河北科技大学学报．2021，42(2)：119-126.

[49] 孙正兴，徐文晖．基于局部SVM分类器的表情检测方法[J]．智能系统学报，2008, 3(5):83-94.

[50] Wang Shangfei, Pan Bowen, Chen Huaping, et al. Thermal Augmented Expression Recognition. [J]. IEEE transactions on cybernetics, 2018, 48(7), 2203-2214.

[51] Wang G. Facial Expression Recognition Method Based on Zernike Moments and MCE Based HMM[C]. International Symposium on Computational Intelligence&Design, IEEE, 2017:

[52] 杨杰，卢业力．驾驶员疲劳度的实时检测[J]．武汉理工大学学报（信息与管理工程版），2005，27(5)：21–24.

[53] 杨渝书，姚振强，李增勇，等．心电图时频域指标在驾驶疲劳评价中的有效性研究[J]．机械设计与制造，2002(5)：94-95.

[54] Katsis C D, Ntouvas N E, Bafas C G, et al. Assessment of Muscle Fatigue During Driving Using Surface EMG[J]. Biomedical engineering, 2004, 3: 259-262.

[55] Huo X Q, Zheng W L, Lu B L.Driving fatigue detection with fusion of EEG and forehead EOG [A].In: International Joint Conference on Neural Networks[C]. Vancouver, Canada: IEEE Inc, 2016:897-904.

[56] Haowen Luo, Taorong Qiu, Chao Liu, et al. Research on fatigue driving detection using forehead EEG based on adaptive multi-scale entropy [J]. Biomedical Signal Processing and Control, 2019,51(5):50-58

[57] 付荣荣，田永胜，王世超，等．基于动态贝叶斯估计的疲劳驾驶检测研究[J]．中国生物医学工程学报，2019，38(6)：759-763.

[58] Zontone Pamela, Affanni Antonio, Bernardini Riccardo, et a. Car Driver's Sympathetic Reaction Detection through Electrodermal Activity and Electrocardiogram Measurements.[J]. IEEE Trans Biomed. Eng., 2020, 67(12): 3413-3424.

[59] 牛耕田，王昌明，孟红波．基于多尺度稀疏表示的面部疲劳检测[J]．计算机科学，2016，43(8)：282-285+291.

[60] Kim K W,Hong H G,Nam G P,et al.A study of deep CNN-based classification of open and closed eyes using a visible light camera sensor[J]. Sensors, 2017, 17(7): 2-10.

[61] 潘志庚，刘荣飞，张明敏．基于模糊综合评价的疲劳驾驶检测算法研究[J]．软件学报，2019，30(10)：2954-2963.

[62] 罗元，云明静，王艺，等．基于人眼信息特征的人体疲劳检测[J]．计算机应用，2019，39(7)：2098-2102.

[63] 杨浩．基于面部细微运动检测及深度学习的疲劳驾驶检测[D]．南昌：南昌大学，2020.

[64] 刘媛媛．煤矿操作者状态对不安全行为的影响研究[D]．太原：太原科技大学，2015.

[65] 周海燕．人的不安全行为和物的不安全状态[J]．西部探矿工程，2011，23(2)：219-220.

[66] 叶龙，项芳芳，沈梅，等．人的安全性评价研究[J]．中国安全科学学报，2003，13(10)：15-18+85.

[67] 田水承，孙璐瑶，唐艺璇，等．矿工不安全状态评价指标体系的构建与分析[J]．西安科技大学学报，2021，41(3)：402-409.

[68] Aaronson L S, Teel C S, Cassmeyer V, et al. Defining and Measuring Fatigue[J]. Journal of Nursing Scholarship,1999,31(1): 45-50

[69] 田水承，杨鹏飞，唐凯，等．煤矿高概率险兆事件界定及其研究意义[J]．西安科技大学学报，2020，40(4)：566-571．

[70] 李红霞，薛建文，杨妍．疲劳对矿工不安全行为影响的ERP实验研究[J]．西安科技大学学报，2015，35(3)：376-380.

[71] 王翰锋，张彬．基于行为控制的煤矿安全管理对策[J]．煤炭科学技术，2008，36(4)，61-64．

[72] Adane M M, Gelaye K A,Beyera G K, et al. Occupational Injuries Among Building Construction Workers in Gondar City,Ethiopia[J]. Occupational Medicine & Health Affairs, 2013, 1(5).

[73] 李诚信，赵伟，李千，等．疲劳检测技术在智慧矿山安全管理中的应用[J]．煤炭科学技术，2021，49(1)：131-137.

[74] 吴锋广，牟海鹰．飞行疲劳表现、影响因素及检测技术[J]．西安航空学院学报，2015，33(5)：39-42．

[75] 唐秋生，孙龄波，刘世超，等．基于结构方程模型的公交驾驶员负性情绪驾驶下工作状态的影响因素分析[J]．科学技术与工程，2021，21(14)：6038-6043.

[76] 邓院昌，金杰灵．关于驾驶员“路怒症”的研究综述[J]．重庆交通大学学报(自然科学版)，2018，37(11)：105-111．

[77] 薛明月．矿工不安全行为发生机理及影响因素研究[D]．西安：西安科技大学，2011.

[78] 马德仲，周真，于晓洋，等．基于模糊概率的多状态贝叶斯网络可靠性分析[J]．系统工程与电子技术，2012，34(12)：2607-2611.

[79] 田水承，杨鹏飞，李磊，等．矿工不良情绪影响因素及干预对策研究[J]．矿业安全与环保，2016，43(6)：99-102．

[80] 林泽炎．人为事故预防学[M]．哈尔滨：黑龙江教育出版社，1998：12-15.

[81] 王浩，蒋承林，史莉莉．煤矿井下噪声危害分析及对策[J]．中国安全生产科学技术，2011，7(12)：183-187．

[82] 李焕．情绪与矿工不安全行为关系实验研究[D]．西安：西安科技大学，2015.

[83] 王春雪，吕淑然．情绪对建筑工人故意违章行为影响研究[J]．工业安全与环保，2017，43(7)：58-61.

[84] 杨雪，田阳，仝凤鸣．基于进化博弈的矿工情绪监管与不安全行为研究[J]．煤矿安全，2018，49(8)：299-302.

[85] 程静，张艺．不同情绪作用下的汽车驾驶行为预测[J]．交通运输工程与信息学报，2019，17(3)：125-132.

[86] 田水承，孔维静，况云，等．矿工心理因素、工作压力反应和不安全行为关系研究[J]．中国安全生产科学技术，2018，14(8)：106-111.

[87] Paulmann S, Furnes D, Bøkenes A M, et al. How Psychological Stress Affects Emotional Prosody [J].2016, 11(11): e0165022.

[88] 杨雪花，陈万明．不同心理压力对研究生身心健康的影响[J]．中国健康心理学杂志，2016，24(5)：758-761.

[89] 马正甲，李珍．医院职工个性特征、职业应激、应对方式与心理压力的相关性[J]．中国健康心理学杂志，2019，27(12)：1851-1853.

[90] 徐明津，黄霞妮，冯志远，等．应对方式在核企业员工工作压力与心理健康关系中的中介效应[J]．环境与职业医学，2016，33(2)：134-138.

[91] 张崑．建筑施工不安全行为前置反应:心理负荷测量与影响指标的研究[D]．天津：天津理工大学，2016.

[92] 黄锴强．基于ISM-ANP多级物元模型的废弃稀土矿山生态修复影响因素研究[D]．赣州：江西理工大学，2021.

[93] 刘晖．基于“AHP+熵权法”的A绿色办公楼技术经济效果评价研究[D]．南昌：南昌大学，2019.

[94] 梁飞，李红，王福顺．基本情绪的电生理活动：来自ERP的证据[J]．应用心理学，2021，27(1)：42-56.

[95] Russell J A.The psychology of facial expression [M]. New York: Cambridge University Press,1997:6.

[96] 李花．情绪强度和情绪类型对个体情绪调节策略选择的影响[D]．南京：南京师范大学，2020.

[97] 李飞．基于深度学习的面部表情检测技术研究[D]．大连：大连海事大学，2020.

[98] Chollet, Francois. Xception: Deep Learning with Depthwise Separable Convolutions IEEE, 2017.

[99] 魏薇．基于加权融合策略的情感检测建模方法研究[D]．北京：北京邮电大学，2019.

[100] 金国宜．基于人脸检测的疲劳驾驶检测系统与实现[D]．郑州：郑州大学，2013.

[101] 齐伟，张来刚，刘朝阳．基于人脸追踪和特征分析的疲劳驾驶预警系统设计[J]．时代汽车，2020(15)：169-170.