“AI，AI，告诉我，我家宠物究竟在想什么？”
自家宠物到底在想什么？这是困扰着无数人的未解之谜。
（图片来源：veer图库）
这些毛孩子们不会说话，人类只好从眼睛，耳朵，身体和尾巴等一切细节变化来解读它们的想法，比如：狗狗摇晃尾巴是表示友好，而猫摇晃尾巴则可能生气了。但是，这些经验之谈不但费眼，而且费脑，很多时候还是不能正确get 动物的意思。
谁能告诉我，它们到底在想什么？
洞察一切的火眼金睛
动物的行为确实能反映内心想法和情绪，但它们尾巴弯曲的角度，站立姿势的微妙不同，可能代表着完全不同的内心情绪。单凭人类的肉眼，要分辨出这种细微的差异实在是天方夜谭。为了捕捉到毛孩子们的任何一个小动作，我们需要一双更强大的“火眼金睛”。
5月13日，中国科学院深圳先进技术研究院王立平、蔚鹏飞团队在Nature Communications上在线发表了题为“A Hierarchical 3D-motion Learning Framework for Animal Spontaneous Behavior Mapping”的研究论文。该研究研发了一个动物三维行为分析软件系统Behavior Atlas，并通过其发现了小鼠的疾病相关刻板行为。深圳先进院王立平研究员、蔚鹏飞副研究员为该文章的共同通讯作者，在读博士生黄康、在读硕士生韩亚宁为该论文的共同第一作者，宾夕法尼亚州立大学的刘思源教授为论文的共同作者。
那么，这个系统是如何实现“读心术”的呢？
多只眼睛的升维打击
近年来，得益于机器学习算法和计算机性能的巨大飞跃，包括DeepLabCut、SLEAP在内的动物姿态追踪方法为行为量化打开了新的思路。但目前的多数动物行为视频拍摄都是基于单摄像头获取二维运动信息，而动物行为发生在三维空间中，二维行为采集不仅会因为动物身体遮挡产生误差和假信号，还丢失了一个维度的信息。例如，顶部的单个摄像头获取的二维行为数据就无法准确分辨出动物是否处于攀爬状态。
为了能全面获取动物的行为信息，Behavior Atlas突破了二维视频分析框架，使用“机器学习+三维重建”的方法，提出并构建了全自动的行为三维捕捉系统。该系统使用多视角相机的捕捉无惧遮挡，以极低成本在计算机中稳定获取动物三维数据，可以重建动物行为的三维运动结构（图1，视频1）。
图1 Behavior Atlas 三维多视角行为采集系统
视频1 三维行为采集系统效果。左侧的四个视频为四个相机从不同视角拍摄的动物的实际行为状况，右侧为对应的三维重建后的动物骨架。
时间动态序列分割：我全都要
动物的行为受神经活动控制而产生，但大多数行为分析方法忽略了神经活动的动态性，只采用单帧或定长滑窗的方法进行分割。这些方法不仅破坏了行为的动态结构，还不具备灵活的时间尺度，使对行为的识别效果受到了限制。举个通俗的例子：我们在说话的时候，每个音节和每个句子都是有停顿的。但即使是同一个人重复说同一句话，由于语速不同，音节和句子的持续节奏和停顿位置都难以相同；并且不同音节和句子的停顿也会不一样。如果简单粗暴地对语音进行分割与识别，自然无法理解人类语言。
Behavior Atlas应用了无监督的时间动态序列分割算法，保留了行为在时间上的自然结构。这样可以将不同行为对应准确分割到其相应的时间长度，不管是长达十秒的奔跑行为，还是几百毫秒的转向抬头，不同时间尺度下的行为尽收囊中。
海量数据，无需人工标注
目前，行为分析中使用的大部分都是基于有监督模型的机器学习方法，需要海量数据集进行训练，使模型能够完成复杂多变的识别任务。但标注数据是劳动密集型的，商业公司通常会花费巨大代价招募人员进行标注工作，实验室通常无法承受由此带来的时间成本和经济成本。
但Behavior Atlas可直接输出经过无监督学习客观分类的行为，不需要人工标注，研究者需要做的不过是在输出后进行简单的主观行为类别标记，即可在极短时间内获取大量优质数据集。这不仅推动了计算神经行为学的发展，从大数据及商业应用方面来讲，Behavior Atlas大大解放了科研工作者的生产力。
动物的“单词”和“句子”，教你慢慢读懂
Behavior Atlas遵循了动物行为的自然结构设计。Behavior Atlas基于层次化方法，利用无监督分类算法自底向上构建三层行为框架，将底层对应为每帧中的动物姿态，并向上组合成有意义的动作如奔跑、左转、站立、嗅探等，进而组成行为图谱。
如果将动物行为比喻成人类语言，那么动物的姿态就是最基础的字母，组成有意义的动作（单词），最终构成行为谱（句子）（图2，视频2）。这种做法避免了人类依靠主观印象对行为的粗暴划分。
图2 Behavior Atlas 遵循的动物行为层次化结构。在三层的行为结构中：最底层是动物在极短时间内由身体呈现的一种空间姿态（Pose）；第二层是若干姿态动态变化时形成的一个动作单元（Movement）；第三层是指由若干个动作完成的一次行为，多个行为则成为行为谱（Ethogram）。
视频2 三维行为层次动态分解。左侧为多视角拍摄及三维估计重建。右侧上部为48维的运动轨迹原始数据（16身体点的x, y, z坐标）；右侧下方为Behavior将连续的行为分解为对应时刻的姿态序列和人们可以理解的动作状态。
听到“你好”这个句子就知道别人在跟你打招呼，那么行为图谱真的能够让我们“读懂”动物吗？
Shank3B基因缺失会导致小鼠患上自闭症，但是这些小鼠与正常小鼠在外观上毫无分别，只能通过一些刻板行为来区分。然而，在旷场实验中（旷场试验是将动物放置在一个封闭的平面区域中观测其活动），几个传统的行为学参数无法精准量化疾病小鼠与正常小鼠间的行为差异。不过，基于Behavior Atlas，研究人员在Shank3B基因敲除小鼠中发现了新的亚秒级的自闭样刻板行为。
Behavior Atlas从两组小鼠的15分钟旷场自发行为测试中检测到8种具有差异的亚秒级行为模式。除了运动相关的行为Stepping（踱步）、Walking（行走）和Rising（爬起）外，Self -grooming（理毛）行为已被广泛报导，而Hunching（驼背）行为与先前少数研究报导的Rearing（站立）行为类似，因为这两种行为持续时间都非常短暂，处于亚秒级，所以几乎不可能通过人为观察区分它们的差异。而Behavior Atlas三维行为捕获的特性能精细比较这两种行为中小鼠脊柱的弯曲角度，以及头部、背部和尾巴根部的动作，发现其均存在显著差异。
最后，研究人员将所有的行为参数进行降维，构建“自闭样行为空间”，发现仅使用行为参数，就能够区分Shank3B基因敲除小鼠与正常小鼠。
结语
在Behavior Atlas火眼金睛下，毛孩子们的小动作再也无所遁形。随着动物行为分析技术的发展，小动物们的心思迟早会暴露得一干二净。届时，我们大概就能知道，猫的性格到底有多古怪了吧。
当然，Behavior Atlas用处远不止这些。对动物行为的观测在现代生命科学研究中也具有重要意义。比如，脑科学的核心目标就是研究大脑与行为的关系，比起传统的观测分析手段，Behavior Atlas能更准确、客观、高效的量化行为，帮助科研人员全面理解动物行为与脑功能、脑疾病的关系，从而促进人们对大脑认知机制、类脑智能以及脑疾病诊疗等研究领域的突破。
参考文献:
[1] 老舍.猫[J].中学语文,2000(12):5.
[2] Wiltschko, A. B. et al. Mapping sub-second structure in mouse behavior. Neuron 88, 1121–1135 (2015).
[3] Berman, G. J., Bialek, W. & Shaevitz, J. W. Predictability and hierarchy in Drosophila behavior. Proc. Natl Acad. Sci. USA 113, 11943–11948 (2016).
[4] von Ziegler, L., Sturman, O. & Bohacek, J. Big behavior: challenges and opportunities in a new era of deep behavior profiling. Neuropsychopharmacology 1–12 https://doi.org/10.1038/s41386-020-0751-7 (2020).
[5] Datta, S. R., Anderson, D. J., Branson, K., Perona, P. & Leifer, A. Computational neuroethology: a call to action. Neuron 104, 11–24 (2019).
[6] Mathis, A. et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nat. Neurosci. 21, 1281–1289 (2018).
版权说明：未经授权严禁任何形式的媒体转载和摘编，并且严禁转载至微信以外的平台！
文章首发于科学大院，仅代表作者观点，不代表科学大院立场。
推荐阅读
科学大院是中科院官方科普微平台，由中科院科学传播局主办、中国科普博览团队运营，致力于最新科研成果的深度解读、社会热点事件的科学发声。
转载授权、合作、投稿事宜请联系cas@cnic.cn
大院er拍了拍你：不要忘记
点亮这里的 赞 和 在看 噢~