Nature子刊 | 基于努力的决策中疲劳和坚持的计算神经机制
按：本文介绍一篇牛津大学Masud Husain教授等人于2021年发表在Nature Communications上的论文。本研究使用计算建模，揭示了在基于努力的决策中，两种潜在的疲劳状态，及其特异性的脑区。
从在健身房锻炼到坚持工作，我们总是面临这样的决策：这些活动是否值得继续付出努力（effort）？那么，随着时间的推移，哪些隐藏的内部状态会改变我们对努力的主观评估，并降低我们的坚持性呢？努力折扣效应指出，工作的意愿（willingness）可以通过成本收益（cost-benefit）的权衡来体现，即获得某一奖赏所需要的effort会对奖赏的价值进行贬值；当我们认为奖赏的价值与我们为获得它所付出的effort对等时，我们才愿意工作。
虽然有很多因素会影响这一价值评估，但是有研究者提出，由付出努力所引起的疲劳（fatigue）会降低随后的工作意愿。一方面，疲劳会增加effort对奖赏的折扣效应，导致个体坚持的意愿降低，更有可能回避低奖赏、高effort的行动。另一方面，休息具有恢复作用，能够减少疲劳、增加努力获得奖赏的意愿。然而，还没有研究考察当决策奖赏是否值得付出努力时，个体的意愿是如何动态、时刻变化的。
以往神经生理和神经影像的研究强调了个体在投入effort活动时大脑加工cost-benefit的核心系统。辅助运动区（supplementary motor area, SMA），前扣带回（anterior cingulate cortex, ACC），额中回（middle frontal gyri, MFG），额极（frontal pole, FP），腹侧纹状体（ventral striatum, VS）与计算价值、激发努力有关。有证据表明，这些脑区的活动也会随着任务时间的推移而发生改变。然而，目前还不清楚这一分布式系统是如何时刻变化的，以及这如何影响决策过程中的价值评估。
本研究设计的实验范式—— 基于努力的决策（effort-based decision-making）任务如图1所示。被试躺在扫描仪内（maintask），需要在work还是rest之间进行选择。Rest选项意味着，不需要付出努力，但只能得到小奖赏（1 credit）。Work选项意味着，需要付出努力（30,39,48%的最大随意收缩力[maximumvoluntary contraction, MVC]），才能获得奖赏（6,8,10 credit），并且effort水平和奖赏大小的组合会在每个trial变化。被试必须在5 s以内以所需的effort水平施加总共3 s的握力才能成功获得奖赏，失败则不会得到奖赏。Main task的每一个trial都需要付出即时的努力，为了确保被试在main task中选择work，所设置的offer（深橙色）往往具有高价值（高奖赏，低effort）。在进行fMRI扫描前，被试还需要完成pre-task，该任务只有随机10%的trial需要付出即时的effort，能够用来考察当疲劳很少时，个体的effort决策。
图1（a）trial流程。Offer阶段，圆饼中红色份额越多，代表该选项的effort水平越高。（b）main task（深橙色）和pre-task的offer对应的奖赏和effort信息
行为结果以决策阶段被试选择work的比例为因变量。Pre-task的结果发现，被试更愿意在高奖赏和低effort条件下选择work（图2a）。这说明，在一项几乎不会产生疲劳的任务中，个体会认为高价值的选项值得为之work。逻辑回归分析发现，奖赏会对个体的选择产生正向预测，而effort会对个体的选择产生负向预测（图2b）。Main task的结果发现，某些之前被认为是值得work的高价值选项（如48% effort，6 credits）也会被回避了（图2c）；并且，个体的选择在整个任务进程中存在相当大的可变性，个体更愿意在早期而不是晚期选择work（图2d-e）。逻辑回归分析发现，当前trial的effort水平会与累积的effort共同预测个体的选择（图2f）。这说明，在整个任务进程中被试会改变他们的主观评估，累积的effort会加剧effort对奖赏的折扣效应、降低work的主观价值。
图2 pre-task（a-b）和main task（c-f）中选择work的比例及逻辑回归分析。
为了更准确地量化effort评估的变化，研究者建立了疲劳及其影响effort决策的计算模型。以往的研究表明，短期的努力投入所引起的疲劳是可恢复的疲劳（recoverable fatigue, RF），可以通过rest得到恢复；而高需求的任务也会导致不可恢复的疲劳（unrecoverable fatigue, UF），仅通过短暂的休息无法轻易恢复。基于此，本研究最终确立的计算模型说明了这两种疲劳如何在整个任务中trial-to-trial的波动（图3a，模型5）。其中，参数α度量的是随着努力投入而增加的RF，参数δ度量的是因休息而降低的RF，参数θ度量的是随着努力投入而增加的UF。波动的可恢复疲劳、逐步增加的不可恢复疲劳，被整合到了抛物线努力折扣模型中（parabolic effort discounting model）：随着UF和RF增加，effort对奖赏的贬值效应也更大（图3b）。为了检验人们对effort评估的变化与恢复和不可恢复疲劳的状态相关，以及用以上三个参数来解释工作意愿改变的必要性，模型比较的结果发现，在被试的work决策上，全模型（模型5）的拟合效果最优（图3c）。为了进一步检验该模型，逻辑回归分析发现，RF和UF与effort的交互能够预测决策行为（图3d）。
图3 建立疲劳加权的努力和奖赏的主观价值模型。
fMRI结果上，为了验证是否有特异性的脑区编码不同时间尺度上的疲劳，作者对决策前的offer阶段中反映RF、UF、主观价值（SV）trial-by-trial变化的脑活动进行了全脑分析和ROI分析。并且，作者还检验了哪些voxel只能与某个参数产生共变，而不与其他参数产生共变。因此，接下来汇报的结果能够反映RF和UF的特异性脑响应。基于RF的t-contrast提取beta值，结果发现，扣带区后喙部（posterior rostral cingulate zone, RCZp）仅与可恢复疲劳（RF）显著负相关（图4d）。虽然有研究表明该脑区与决策任务中的坚持性有关，不过本研究发现了RCZp编码影响effort决策行为和价值评估的短期的瞬时的疲劳状态。
基于UF的t-contrast提取beta值，结果发现，扣带区前喙部（anterior rostral cingulate zone,RCZa）（包括pre-SMA）和背外侧前额叶的左额中回（left MFG）仅与不可恢复疲劳（UF）显著负相关（图4c, 4e）。以往研究发现，左侧MFG与对认知effort的主观厌恶有关，而损毁RCZa会降低动物付出effort的意愿，以及RCZa与对即将到来的挑战的坚持意愿有关。这说明，MFG加工的是影响effort决策行为的长期、累积的疲劳，而RCZa可能在effort任务中对于维持动机和坚持性具有关键作用。
图4 编码短期和长期疲劳的扣带回子区（a, c, d）和额中回（b, e）
进一步，验证哪些脑区整合价值和疲劳。基于SV的t-contrast提取beta值，结果发现，腹侧纹状体（VS）和额上回（SFG）/额极（FP）仅与主观价值（SV）显著正相关（图5a-b）。因此，额叶-纹状体环路加工了付出努力以获得奖赏的当前价值，整合即时的疲劳水平以调节决策选项的主观价值。
图5 额叶-纹状体环路编码疲劳加权的主观价值
综上所述，本研究对行为和fMRI扫描下的基于努力的决策任务进行计算建模，结果表明，可恢复和不可恢复这两种隐藏的疲劳状态会在不同时间尺度上波动，并且降低付出努力以获得奖赏的意愿。扣带区后喙部编码可恢复疲劳，扣带区前喙部和额中回编码不可恢复疲劳，并且额叶-纹状体环路会整合疲劳与主观价值，共同对奖赏是否值得付出努力进行决策。这些发现为理解坚持和瞬时疲劳的大脑机制提供了一个计算框架。
论文原文：
Müller, T.,Klein-Flügge, M. C., Manohar, S. G., Husain, M., & Apps, M. A. J. (2021). Neural and computationalmechanisms of momentary fatigue and persistence in effort-based choice. NatureCommunications, 12(1), 4593. https://doi.org/10.1038/s41467-021-24927-7
相关论文
年度总结 & 投稿邀请
感谢支持！欢迎留言、转发、分享！