且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

《中国人工智能学会通讯》——7.28 利用 PrAGMATiC 算法构建语义地 图集

更新时间:2022-10-01 20:27:29

7.28 利用 PrAGMATiC 算法构建语义地 图集

鉴于在不同的被试上,语义系统区域的语义选择性分布模式有很强的一致性,我们希望建立一个人类大脑皮层上的地图集来描述语义选择性功能区域的分布。为了实现这一目标,设计了一种新的贝叶斯算法 PrAGMATiC 来获得覆盖大脑皮层区域的概率生成模型。这个算法为体元精度下模拟的致密层叠的大脑功能同源区域地图的功能调谐模式建立了模型,同时考虑到了不同被试间大脑解剖结构和功能构造上的差异。不同功能区域的组织和选择性由使用 fMRI 数据通过类似对比散度 (contrastivedivergence) 的最大似然估计法学习得到的参数决定。其中一些参数在不同被试间是共享的,这些参数描述了被试群体大脑皮层语义地图的共有性质。其他的参数则是被试间独立的,这些参数反映了被试间的差异。通过估计这些共享的和独立的参数,能够规避一般建模时要将不同被试间大脑解剖结构和功能的数据进行相互对应的问题。

PrAGMATiC 算法包括两个部分:安排模型(arrangement model)决定不同功能区域在皮质表层的位置;发散模型(emission model)在不同功能区的安排的基础上生成语义地图。安排模型模拟一个物理学上的弹簧网络结构,将每个功能区域的质心和相邻的质心连接起来。每个被试建模时都有相同的平衡弹簧长度,但是每个弹簧均可以独立的拉伸或压缩。功能区域的安排同时也受限于大脑功能区域上的界标(functional landmark),这些界标是在每个被试独立的数据中标记我们感兴趣的大脑已知区域得到的。这些限制条件保证了在不同被试间,绘制的语义地图是相似的,但同时保留了在功能区域的大小和细节的安排上被试间的个体差异。借助于安排模型,发散模型能够将每个皮质表层区域的顶点分配给最近的区域质心点,从而创建大脑功能同源区域。每个皮质表层区域顶点的语义功能值通过多元正态分布得到。而每个区域的的平均语义功能值在每个被试间保持一致,通过算法自学习得到。我们将语义功能值定义为一个四维向量,这个四维向量能够反映估计模型中大脑每个体积元在前文中提到的共有的四个语义维度的表示情况。

PrAGMATiC 算法中的一个重要超参数是覆盖大脑皮层的区域数量。我们使用交叉验证的方法在每半个脑区选择合理的覆盖区域数量,同时测试这些区域是否具有语义选择性。首先使用 6 名被试的数据对 PrAGMATiC 算法模型进行估计,然后在仅获知第 7 名被试的大脑皮层生理结构和功能区域上的界标的条件下,对其大脑语义地图进行预测。使用预测得到的语义地图对第 7 名被试的血氧浓度进行预测,和实验中收集的真实数据进行比较,从而来观察 PrAGMATiC 算法模型在不同被试间的泛化能力。随着覆盖大脑皮层的区域数量从 8 上升到128,预测准确度快速上升,128 之后仍有缓慢提高(见图 3b)。在大脑左半球部分,预测准确度在区域数量超过 192 后没有统计学意义上的明显提升(FDR>0.1,使用包含被试个体随机差异影响的Tukey 事后检验法)。在大脑右半球部分,预测准确度在区域数量超过 128 后没有统计学意义上的明显提升。然而,由于 PrAGMATiC 算法模型对大脑皮层全覆盖处理,先前的这些区域中同时包含具有语义选择性和不具有语义选择性的区域。为了挑选具有语义选择性的区域,同时去除没有语义选择性的区域,在每个区域检测该区域的平均体积元语义模型是否能够比仅利用语速、音率、音素等低级语言特征的平均预测模型更好地预测血氧浓度变化。通过这种方式,能够去除对语义和低级语言特征没有选择性的区域,比如运动和视觉皮层区域;同时也能够去除没有专一语义选择性的区域,如 Broca区域,因为在这些区域语义模型权重的不确定性较大。

图 3c 展示了一名被试映射到大脑皮层表面的语义地图集的图像。左半球大脑包括 77 个语义区域(FDR<1/192,bootstrap 检验),右半球大脑包括 63 个语义区域(FDR<1/128,bootstrap 检验)。结果显示外侧顶叶皮层(LPC)、内侧顶叶皮层(MPC)和顶上前额叶皮层(SPFC)上覆盖有多个表示不同语义模块的区域。在外侧顶叶皮层和内侧顶叶皮层的中间区域(二者分别靠近角形脑回和顶下沟)对“social(社会)”词汇目录具有语义选择性,而它们的周边区域则对“numeric(数值)”、“visual(视觉)”和“tactile(触觉)”词汇目录具有语义选择性。在顶上前额叶皮层,中心区域主要对“social(社会)”词汇目录具有语义选择性,而背外侧的区域的语义选择性则更加多样。外侧顶叶皮层、内侧顶叶皮层和顶上前额叶皮层同属于默认模式神经网络(DMN,default modenetwork),通常认为与内省、沉思和意识思维有关。那么存在一种有趣的可能——我们的模型中确认的语义区域同样可以表示大脑进行意识思维活动时的语义模块。这也许表明人思考的内容和内心言语可以尝试使用体积元模型进行解码。相比外侧顶叶皮层、内侧顶叶皮层和顶上前额叶皮层三个区域,外侧颞叶皮层(LTC)在我们的语义地图集中只覆盖了极少的语义选择性区域。考虑到外侧颞叶皮层同属于默认模式神经网络,并且被认为在语言理解中发挥重要作用,这一实验结果非常令人惊讶。然而,由于实验中颞叶前部记录到的fMRI信号质量较差,因此外侧颞叶皮层可能包含其他使用我们现有技术方法不能覆盖到的语义选择性区域。外侧顶叶皮层、内侧顶叶皮层、顶上前额叶皮层、外侧颞叶皮层、腹侧颞叶皮层(VTC)、顶下前额叶皮层(IPFC)以及鳃盖骨皮层(opercular cortex)和岛叶皮层(insular cortex)上语义表示的详细分析、相关讨论和与早期神经影像、损伤实验结果的比较都可以在补充材料中获取。