现代职业教育杂志社 > 论文中心 >

基于距离和角度特征的在线学习表情检测

2022-07-16  |  点击:  |  栏目:论文中心

本文作者:范凌云 发表期数:现代职业教育 2022年21期 本文字数:2572

  [摘           要]  针对在线学习表情检测数据量大、冗余数据多等问题,基于面部动作编码系统提出了精简后的在线学习表情对应的面部活动单元组合及其特征,然后基于RealSense实感技术捕获的人脸特征点提取在线学习表情的欧式距离和角度特征。通过OpenCV视觉库的实验验证,基于欧式距离和角度特征向量的在线学习表情检测能够有效减少冗余数据,对高兴、困惑、厌恶等在线学习表情具有良好的检测效果。
  [关    键   词]  在线学习表情检测;欧式距离;角度特征
  [中图分类号]  G712                    [文献标志码]  A                  [文章编号]  2096-0603(2022)21-0091-03
   人脸表情是人类表达情感的重要方式之一,表现为一种动态的变化过程,包括开始、峰值、结束三种状态。在线学习表情检测是指从在线学习视频中筛选出表情的起始帧、峰值帧和结束帧,截取出表情强度较大的帧序列[1]。
   在线学习环境下,如果逐帧存储学习过程,会造成存储空间的浪费,并增大表情识别算法的计算量。如时长5分钟的在线学习过程,以640*360的分辨率,30fps的帧速率录制RGB视频流,并按24位无压缩存储,大约会占用5.79G存储空间。而真正可用于表情识别的图片序列,可能只有几秒的时间,在实际应用中只需对这少部分的有效表情图片序列进行存储和识别即可。因此,通过在线学习表情检测将有效的表情数据从大量的数据中提取出来,可以极大降低存储空间的占用,并减少无关数据的处理,从而提高后续表情识别算法的效率。
   一、在线学习表情对应的面部活动单元
   (一)面部动作编码系统
   面部特征点是表情测量中最常用的一种面部特征信息,而选取人脸特征点的重要理论基础是美国心理学家Paul Ekman提出的面部动作编码系统(Facial Action Coding System,FACS)[2]。FACS根据面部肌肉分布,将一块肌肉或多块肌肉的组合定义为一个运动单元(Action Unit,AU),由此,将人的面部分为44个运动单元,而不同的运动单元进行组合又会形成不同的面部表情。人类的六种基本表情:高兴、悲伤、惊讶、恐惧、生气和厌恶,都可以通过上述运动单元的组合进行描述[3]。
   (二)在线学习表情
   学习情境的多样性和学习个体的差异性等因素会使学生产生丰富多样的复杂学习情感,进而导致学习表情的多样化、复杂化。因此,Ekman提出的六种基本表情无法直接应用于学习领域。鉴于此,国内外研究者对学习表情的分类架构进行了深入的研究探索。如D’Mello等人基于复杂学习情感动态变化模型,将学习表情分为投入、困惑、惊讶、高兴、挫折及厌恶[4];薛耀锋等人将在线学习表情定义为中性、高兴、困惑、生气、疲劳和惊奇六种类型[5]。
   学者们的研究结果虽不相同,但基本上都包含了学习过程中的三种关键情感表情,即高兴、困惑和厌恶。當学生处于认知平衡的学习状态时会呈现中性情感表情;如果学习者遇到困难无法理解学习内容,会打破认知平衡的学习状态,产生困惑情感表情;如果学生遇到的困难一直不能解决,最终会导致学生脱离学习状态,产生厌恶情感表情;如果及时解决了困难,学生就会感到快乐从而进入积极学习状态,表现出高兴情感表情,然后情绪平复再次进入认知平衡状态并表现出中性情感表情。因此,本文将困惑、高兴和厌恶表情作为在线学习表情检测的主要研究对象。
   (三)在线学习表情的面部活动单元
   北京师范大学的孙波等人基于面部动作编码系统,对高兴、困惑、厌恶等学习表情对应的面部活动特征进行了研究,并构建了学习表情数据库BNU-LVSED[6]。此外,,表情分析专家姜振宇也对相关的微表情进行了分析描述[7]。其中,高兴、困惑、厌恶表情对应的面部运动单元如表1所示。
   表1清晰描述了相应表情变化时相关面部运动单元呈现的关键特征,有助于区分不同的学习表情,但是没有具体到对应的特征点,所以还需进一步确定人脸特征点,以便提取对应表情的几何特征。
   二、在线学习表情的特征向量选取
   几何特征具有精度高、数据少、计算简单等优点,通过几何特征能够有效提高在线学习表情检测的效率,而定位面部特征点又是计算几何特征的基础。Intel公司的RealSense实感技术能够精确捕获面部78个特征点的平面坐标和以摄像头为中心点的世界坐标[8],如图1所示。
   (一)距离几何特征提取
   在线学习表情主要是通过表1中相关AU单元的变化来呈现,通过定位表1中相关AU单元的特征点,并计算特征点之间的距离,就可以将人脸的距离几何特征提取出来,并用于表情检测。欧式距离是常用的图像距离度量方法,因算法简单、高效被普遍应用于图像识别算法中[9]。由此,本文的距离特征采用欧式距离。
   为进一步减少数据量,按照幅度变化明显的原则,对图1中位于在线学习表情相关AU上的特征点进行筛选,形成欧式距离特征向量表,如表2所示。
   (二)角度特征提取
   在实际的在线学习过程中,学生不可能总是正襟危坐地直面摄像头,其面部由于坐姿等因素会产生一定的变化。此外,人的面部差异等也会使欧式距离产生一定的误差。而角度特征具有尺度不变特性,利用角度特征可以增强表情检测对图像旋转、姿态变化等的鲁棒性[10]。为提高计算效率,本文按照幅度变化明显、前后一致的原则,进一步对图1中位于在线学习表情相关AU上的特征点进行精简,形成角度特征向量表,如表3所示。

gzslib202207122229

相关文章:
  • 1 融媒体视角下高校思想政治理论课改革创新路径研究
  • 2 试析职业技能大赛英语赛项和高职英语课堂教学衔接融合
  • 3 成果导向教学模式下高职环境工程CAD课程改革探索
  • 4 技工教育数字化课程的实践与探究
  • 5 新媒体视域下高职院校思想政治教育工作思考
  • 6 漳州“五种精神”融入地方高校思想政治教育的路径探索
  • 7 基于网络课堂的高职公共英语在线课程思政教学初探
  • 8 基于社会性发展视角的大学生心理健康研究
  • 9 扬州红色文化融入高职院校思政课教学的不足及优化路径
  • 10 沈阳职业教育专业教学资源库建设与实践
  • 现代职业教育杂志论文在线投稿
    刊物简介
      现代职业教育
    • CN :14-1381/G4
    • ISSN:2096-0603
    • 邮发代号:22-382
    • 邮箱投稿:xdzyjy@163.com

    • 国家新闻出版总署收录
    • 中国知网、万方数据—数字化期刊群
    • 龙源期刊网、维普数据库全文收录。
    期刊目录
    杂志动态
    最近更新