在一间动物行为实验室里,摄像机装在饲养箱上方,画面中是十几只小鼠在垫料间穿行。研究者真正需要的是整段视频里每只动物的轨迹、停留时长和区域进出次数,而不是某一帧里的位置。过去这类记录靠人工逐帧比对,二十分钟的录像常要耗去一整天。视频追踪软件改变的只是记录方式,观察问题本身并没有变。
先把目标从背景里分出来
软件的第一道工序是分割。常见做法有背景差分、颜色阈值和基于学习模型的目标检测。背景差分对固定机位、光照稳定的场景比较省事,需要先采集一段空场画面作为参考;颜色阈值适合目标与底衬反差明显的样本;学习模型在垫料纹理杂乱、目标相互重叠时更有余地。三种方式谈不上优劣,取决于拍摄条件。若光源有频闪,画面会出现周期性明暗,阈值会在两套参数之间来回跳。
分割之后是关联
每帧得到一个目标框,只是半成品。软件要把相邻帧的框按位置、速度、外观连成轨迹,这一步叫数据关联。目标是单只时关联简单,十几只同时活动,就要处理交叉、遮挡和短暂离开视野。常见办法是预测下一帧位置再与检测结果匹配,配合轨迹平滑。参数设得太紧,轨迹会断成几段;设得太松,两只动物会被并成一条。
指标与它的前提
轨迹出来之后才算进入分析。总路程、平均速度、区域停留、社交距离、转向次数,这些指标都能从坐标序列算出。需要注意的是,指标的可信度取决于标定。画面上一像素对应多少毫米,必须用标尺在拍摄平面校准;镜头有畸变时,边缘区域的距离会偏大。俯拍视角下动物贴壁行走,身体中心与投影位置存在偏差,速度会被低估。
用起来之后才知道的边界
软件的另一处用处是回看与复核。轨迹文件记录了每个时刻的坐标,复核时按时间点跳转,比在视频里拖进度条快得多。带事件标记的功能,可以把给药、刺激、开灯这些操作记在时间轴上,分析时直接取时间窗。需要注意的是,标记的时间来自操作者的按键,若与视频不同步,事件前后几十秒的行为就归错了段。多机位同步可以缓解遮挡问题,但机位之间的标定更麻烦,三维重建对场地和算力都有要求。
存储与备份也值得提前规划。长时间连续记录产生的数据量不小,按项目分目录、按日期命名、定期校验完整性,日后取用才不至于混乱。
软件适合重复性高、需要长时间连续观察的工作,比如昼夜节律、药物干预后的活动量变化。它替代不了判断。抽搐、姿态异常、行为序列的改变这类需要经验识别的现象,仍要人回看片段。实践中比较稳妥的做法是让软件完成计数与定位,把可疑片段标出来,再由人复核。参数与拍摄条件要连同结果一起存档,否则换一批人复现时,很难说清差异来自动物还是设置。