成果｜当 AI 拥有「分子显微镜」：SciCore-Omics 首次打通病理图像、空间组学与语言

2026-06-11

当病理医生观察一张 H&E 切片时，他看到的不只是组织形态，更是在推断背后的分子状态与生物机制。对于 AI 系统而言，空间生物学相关信息却长期处于割裂状态：病理基础模型擅长看图，却不了解基因表达；组学模型精通转录本，却缺乏空间形态认知；语言模型能够解释生物学概念，却无法真正回答组织结构与分子活动的关联。

那么，一个模型能否同时理解：

「组织结构是什么样」、「局部细胞表达了什么基因」、以及「这些现象意味着什么」？

针对这一问题，我组与北京协和医学院、南京大学、国家蛋白质科学中心（北京）联合提出并开源 SciCore-Omics——首个统一病理图像（Histology）、空间转录组（Spatial Transcriptomics）与语言文本（Natural Language）的三模态基础模型，为空间生物学提供了一种全新的智能范式。

➤ 论文链接

🔗 https://www.biorxiv.org/content/10.64898/2026.05.30.728937v2

➤ 模型链接

🔗 https://huggingface.co/openbmb/SciCore-Omics

➤ 源代码与技术报告

🔗 https://github.com/OpenBMB/Scicore-Omics

➤ 在线 demo

🔗 https://huggingface.co/spaces/Alkaidxxy/SciCore-Omics

核心矛盾：形态学与分子世界之间的鸿沟

H&E 图像记录的是组织结构与细胞形态；空间转录组记录的是同一位置的基因表达状态；而生物领域的自然语言文本则承载着功能解释、通路机制和疾病知识。

过去几年，大多数模型只能完成「两两配对」：图像 ↔ 文本；组学 ↔ 文本；图像 ↔ 组学。

但始终缺少一个统一框架，让三种信息能够在同一个推理空间内协同工作。

结果是：

模型能识别组织，却说不清背后的分子机制；

模型能分析基因，却无法理解组织空间结构；

模型能生成解释，却缺乏真实生物证据支撑。

SciCore-Omics 的目标正是消除这层隔阂。

SciCore-Omics：构建空间生物学的多模态大脑

研究团队构建了一个语言驱动的统一生成框架。其中：病理图像/空间转录组由专用的编码器处理；自然语言由 LLM 负责推理与生成。不同模态最终被映射到统一 Token 空间，并进入同一个自回归生成模型。此时，模型可以在同一个语义空间中 同时感知组织结构、分子状态与生物知识。组织形态是「视觉语言」；基因表达是「分子语言」；自然语言则成为三者之间的统一解释层，为潜在复杂机制的可解释化提供了可能路径。

监督信号构建：首个图像-基因-文本三元配对数据集

监督信号的获取是SciCore-Omics训练过程中的关键挑战之一。目前暂无同时包含组织图像、空间转录组、生物学解释文本的大规模数据集。

为此，作者提出 Molecularly Grounded Semantic Pairing（分子驱动语义配对）。从空间转录组中提取高表达基因，结合 ssGSEA 获得富集通路，融合组织来源等生物学上下文，自动生成具有生物学依据的自然语言描述。最终构建出151,182 个空间位点级三模态样本，覆盖脑、乳腺、肺、肝脏、结肠、皮肤等多个组织体系。

训练策略：先学语言，再学组学，最后学融合

直接联合训练三种模态极易导致对齐失败。因此 SciCore-Omics 采用渐进式三阶段训练：

第一阶段：病理图像—语言预训练，以通用域视觉-文本模型为起点，迁移学习组织结构与病理语义。

第二阶段：组学—语言对齐，将基因表达专有编码器向语义表示空间靠近，为更精细化的对齐奠定基础。

第三阶段：图像—组学—语言联合优化，完成三模态统一认知。

实验结果：跨尺度能力全面提升

01 基因表达预测

仅依赖 H&E 图像预测空间基因表达。

相比当前代表方法 OmiCLIP：PCC 提升 23.6%，MSE 降低 15.8%

成功恢复多个关键心脏基因的空间表达图谱。

02 空间区域识别

在人脑 DLPFC 空间转录组数据集上：

Macro-F1 达到 0.850，相比最强外部表征基线提升 80.9%。

说明模型已经学会利用形态与转录信息共同理解组织空间结构。

03 零样本病理分类

无需任何任务微调，在 MHIST、BACH、CRC100K、PatchCamelyon 四个公开病理基准上：

SciCore-Omics 平均准确率达到 56.46%，超过 GPT-5 以及多个主流医学视觉语言模型。

04 H&E 病例级推理

仅输入全切片病理图像，模型即可完成：

肿瘤区域发现、病理特征提取、增殖状态判断、病例级综合分析。

在乳腺癌病例评估中获得最高专家评分。

创新意义：空间生物学的大模型新范式

SciCore-Omics 的真正价值，并不只是性能提升。它证明了一件更重要的事情：

病理图像、空间组学和生物知识并非天然割裂。只要建立统一语义空间，大模型便能够自动地捕捉组织形态与分子机制之间的联系。

这意味着未来的大模型不仅能够「看见细胞」，还能理解细胞正在发生什么。从组织结构到基因表达，从病理现象到生物机制，最终形成真正可解释的科学推理链条。

SciCore-Omics 展示的，也许正是 AI4Science 下一阶段的重要方向：

不是单纯更大的参数、更高的得分，而是更深层的科学认知融合，与潜在机理的可解释化。

让模型同时拥有「显微镜」、「测序仪」和「生物学教科书」——这或许是通往数字生命科学的关键一步。