模型使用电影观看功能磁共振成像和眼球追踪来预测认知得分
在最近发表在《心理放射学》杂志上的一篇文章中,西北工业大学的研究人员推出了“Attention-CensNet”(A-CensNet),这是一种融合模型,通过将观看电影的功能磁共振成像(mfMRI)和眼动成像相结合来预测认知分数。跟踪数据。
在此模型中,参与者充当节点,mfMRI 数据被转换为节点特征,眼动追踪细节在参与者之间建立联系,创建图形边缘。通过使用多个图作为通道,A-CensNet 合并图嵌入以提供统一的解释。
值得注意的是,A-CensNet 的性能优于仅基于个体模式和其他领先技术的模型,强调了大脑功能和行为在衡量认知特征方面的协同作用。
这种协同作用不仅对于理解认知畸变和潜在的精神标志物至关重要,而且还表明在诊断以注意力差异为特征的自闭症等疾病方面具有潜力。尽管对情绪分数的初始测试不太确定,但在未来的迭代中结合 LSTM 和 BERT 等先进算法可能会增强预测。
虽然该模型主要是为电影观看而设计的,但其应用并不受限。结合静息态功能磁共振成像等其他模式可以预测其他个人特征。最重要的是,整合本研究中所示的 不同数据源可以提高认知预测的准确性,这对于区分疾病研究中的患者和对照至关重要。