婴幼儿面部表情分析系统

婴幼儿面部表情分析系统(Baby FaceReader):是一款自动分析婴幼儿(6-24月龄)面部表情的专业软件。该系统依据 Oster的婴幼儿面部运动编码系统(Baby FACS)来分析其面部表情，然后基于AAM模型(主动外观模型)得出相关表情参数。

为何要使用Baby   FaceReader

面部表情能反映出许多有价值的信息，特别是婴幼儿。目前对婴幼儿的相关研究需求越来越多，而用于成人面部表情分析的工具又不适用于婴幼儿，需要专业的研究分析工具对行为反应、表情等进行量化分析。

研究需求的逐步增加是催生婴幼儿面部表情分析系统 (Baby FaceReader)诞生的加速剂。除此之外，婴幼儿本身的一些特性也决定了要使用婴幼儿面部表情分析系统对其表情进行分析：

• 婴幼儿的头部比较小；
• 婴幼儿可见眉毛较少/甚至没有；
•  婴幼儿皮下脂肪较厚，导致对其面部单元活动的解释比较困难；
• 婴幼儿无法通过语言表达他们自身的感受，表情是真实的反映。

因此，该系统是目前测量婴幼儿面部行为的全面、专业的软件，能够详细描述和分析婴幼儿面部动作单元的活动，是研究影响与发育障碍相关的发展心理学问题的有利工具。

关于婴幼儿基本面部表情的分类，学术界目前尚有争议。 而关于正、负情绪的划分已达成共识。因此，婴幼儿面部表情分析系统(Baby FaceReader)不对其基本情绪进行划分，但对引起相关情绪的面部动作单元可进行详细分析。

系统特性

• 非接触性数据采集及分析，保证数据的客观性； 
• 采用标准的婴幼儿面部动作编码分析；
• 适用于6-24月龄的婴幼儿；
• 可分析头部朝向、面部状态及面部单元动作；
• 可分析情绪效价、唤醒度和情绪环状模型；
• 支持自定义表情分析；
• 可添加心率模块(RPPG)和校准模块。

应用范围

婴幼儿面部表情分析系统(Baby FaceReader)能够为研究提供一些量化的数据，应用范围及其广泛，主要体现在以下 几大方面：

• 通过婴幼儿对口味、气味及其它感官刺激的反应，对婴幼儿食物偏好进行探讨；
• 感官研究等； 
• 有助于分析认知-信息加工过程，检测自然环境或者实验环境中父母-婴幼儿交互时，婴幼儿的情感表达行为；
• 研究婴幼儿面部表情的变化和稳定性；
• 能够帮助解决影响与发育障碍相关的发展心理学问题，如自闭症谱系障碍(ASD)和注意力缺陷多动障碍 (ADHD)等。

食物偏好研究具体案例 

该研究是对婴幼儿面部表情分析系统的个验证结果。研究主要探讨了与食物偏好(AU1,4,7,9,10,15,18,26/27)、笑 (AU6,12)、哭(AU20)、睁大眼睛(AU5)和下巴抬起(AU17)相关的面部动作单元活动情况。

基于AAM模型(主动外观模型)，研究人员采用了高质量的婴幼儿图片对面部动作单元进行分析，经过去重之后， 终有74张图片。

图一为较好的AAM模型拟合效果与完 美AAM模型拟合效果的对比

表一为不同面部单元的频数分布

表二是AAM模型 拟合效果的面部动作单元的准确率(Accuracy)、召回率 (Recall)、率(Precision)、F1值(F1Score)、面部动作编 码一致性(FACS Agreement Score)分析(n=29)。其中准确率、召回率、F值是目前机器学习等建模之后对 模型效果进行评价的常用指标。

图二是74张图片不同面部 动作单元和两种模型拟合效果的F1值

以上数据表明，AAM模型拟合能更好地描述面部动作单元的动作。换言之，也验证了婴幼儿面部表情分析系统(Baby FaceReader)可用于食品偏好、感官研究等，是进行婴幼儿面部动作单元分析的有利工具。

参考文献

1、Maroulis, A.; Spink, A.J.; Theuws, J.J.M.; Oster, H. & Buitelaar, J. (2017). Sweet or sour. Validating Baby FaceReader to analyse infant responses to food. Poster presentation 12th Pangborn Sensory Science Symposium, 20-24 August, 2017.

2、Oster, H. (2005). The repertoire of infant facial expressions: An ontogenetic perspective. Emotional development, 261-292.

3、Oster, H. (2016). Baby FACS: Facial Action Coding System for infants and young children. Unpublished monograph and coding manual. New York University.