作者: Rabia Gondur, Usama Bin Sikandar, Evan Schaffer, Mikio Christian Aoi, Stephen L Keeley
提交日期: 2023年10月4日 (v1)， 最后修订于2026年2月11日 (v2)
主题分类: 机器学习 (cs.LG); 神经元与认知 (q-bio.NC)
会议信息: 已更新版本发表于 ICLR 2024
刻画神经群体活动与行为数据之间的关系是神经科学的一个核心目标。虽然潜变量模型 (LVMs) 在描述高维时间序列数据方面很成功，但它们通常只针对单一类型的数据设计，这使得难以识别不同实验数据模态之间共享的结构。本文通过提出一种无监督的 LVM 来解决这一不足，该模型能够为不同的、同时记录的实验模态提取随时间演化的共享和独立的潜变量。我们通过结合高斯过程因子分析 (GPFA) 和高斯过程变分自编码器 (GP-VAEs) 来实现这一点。GPFA 是一种用于神经尖峰数据的可解释 LVM，具有时间平滑的潜空间；而 GP-VAEs 同样使用 GP 先验来刻画潜空间中的相关性，但由于其通过深度神经网络映射到观测值，因此具有丰富的表达能力。我们通过将潜变量变异性划分为模态间共享或模态独立的组件，从而实现了模型的可解释性。我们在傅里叶域中参数化模型的潜变量，并展示了使用这种方法相对于标准 GP-VAE 方法在潜变量识别上的改进。我们在模拟的多模态数据上验证了我们的模型，该数据由泊松尖峰计数和随时间平滑缩放旋转的 MNIST 图像组成。我们表明，多模态 GP-VAE (MM-GPVAE) 不仅能够准确地识别跨模态的共享和独立潜结构，还能在保留试验中为图像和神经发放率提供良好的重建。最后，我们在两个真实世界的多模态实验场景中展示了我们的框架：果蝇全脑钙成像与跟踪的肢体位置，以及烟草天蛾在追踪视觉刺激时来自十个翅膀肌肉的尖峰序列测量。