给LLM装上“分子认知模块”：SciCore-Mol破解科学数据的异构难题

导读

追求“One-for-All”的万能模型，是否就意味着必须用单一的 Transformer 吞噬所有数据？大语言模型（LLM）擅长处理文字，可一旦遇到分子结构、蛋白质折叠这类极其复杂的科学异构数据时，就容易陷入巨大的计算浪费与认知错位。近期论文SciCore-Mol提出了一种新思路：不再硬生生把分子文本化后塞给LLM，而是为它外挂若干可插拔的专用模块。与工具学习不同，该方案在隐向量层直接融合信号，保证LLM对于分子数据的统一原生理解。实验表明，SciCore-Mol在分子理解、生成和反应预测等一系列任务上表现优异，以仅8B的规模就展现出超越GPT-5的能力，同时最大限度地保持了LLM的通用推理水平。这一工作，为普惠 AI4S 打开了全新范式。

➤ 论文链接

🔗 https://github.com/OpenBMB/SciCore-Mol/blob/main/SciCore_Mol_Technical_Report.pdf

➤ 源代码与模型

🔗 https://github.com/OpenBMB/SciCore-Mol

核心矛盾：当文本模型遇见几何世界

LLM最初是为处理离散的符号序列（如自然语言）而设计的，而分子实体本质上是拓扑/空间几何的存在：原子间的连接关系、键角、三维构象，这些都极难被无损地压缩成一串字符。

以往的工作试图通过线性化分子结构（SMILES、SELFIES）来适配LLM，用标准Transformer去理解高维几何等信息。但这种做法在数学上是极其低效的，很容易造成两种问题：

信息损失：空间构型、立体化学等关键特征被抹去；

语义噪声：线性化字符串中的括号、数字环标记会干扰LLM的正常推理。

可以这样类比：与其让“大脑”通过事无巨细的文本描述去理解“画面”，不如直接给它装上“眼睛”这样的感官接口。

SciCore-Mol：三个模块，各司其职

论文提出了 SciCore-Mol 架构，以LLM（基于Qwen3-8B续训）作为“总控大脑”，同时外挂三个可插拔的认知模块，分别处理不同类型的分子信号：

关键设计：

以LLM为主体：LLM 不再是被动接收信息的解码器，而是拥有主动调度权的“中枢神经”。它根据指令需求，动态决定激活哪个认知分区。

原生感知替代工具调用：这些模块并非通过语言调用（如“调用工具API”）接入，而是在隐向量层与LLM融合。这意味着，LLM不是在询问结果，而是在感受科学数据对象本身，实现真正的语义对齐。

训练策略：三阶段渐进优化

如果一上来就让所有模块与LLM联合训练，极易出现梯度冲突——不同模块的优化方向互相拉扯，训练极不稳定。因此，作者设计了一个三阶段渐进策略，让每个部分先学好自己的“专长”，再逐步融合。

第一阶段：分子基础预训练

各组件首先独立预训练：LLM基座在化学增强语料上继续预训练，并借助KL散度约束防止遗忘通用能力；GVP、DiT和反应Transformer分别在大规模分子数据库和开放反应数据库上预训练。其次，进行跨模态对齐：例如冻结LLM，只训练GVP编码器和一个轻量MLP适配器。通过对比学习（NT-Xent损失），让分子几何编码与LLM对该分子的文本描述在隐空间中对齐，教会LLM“看懂”几何信号。

第二阶段：联合多任务训练

所有模块共同在约36万条指令-回复对上联合训练。任务覆盖名称转换、性质预测、分子生成、合成预测、逆合成、分子描述生成、反应产物预测、产率估计、化学计量推理等，并辅以通用指令微调数据。在这一阶段，LLM学会什么时候调用哪个模块。

第三阶段：任务特定微调

针对下游应用，可选择冻结部分模块。例如，只做性质预测时可以冻结扩散和反应模块、只做反应任务时可以冻结GVP和扩散。这一设计让模型能够灵活适配不同场景，无需重新训练整个流水线。

创新点：解耦、可插拔、不牺牲通用性

异质数据解耦：文本与几何信号分道处理，互不干扰，避免了“模态错配”导致的语义噪声。

可灵活编排：模块可根据任务需求单独启用或组合，不修改LLM本体参数，最大化保留其通用能力。

隐层级融合：区别于传统的工具调用，这种设计让LLM“原生”感知科学数据，推理过程更流畅。

渐进式训练策略：先预训练各模块，再联合对齐优化，最后可选微调——既保证了模块专业性，又能实现系统的整体协同。

实验结论：综合性能优秀，泛化能力突出

论文在多种任务上对SciCore-Mol进行了评估，包括常用基准SMolInstruct、MMLU-Chem、ChemBench4K、ORD、MoleculeNet等。无论与同规模领域模型还是通用闭源模型相比，SciCore-Mol都表现出了非常均衡的性能；消融实验同样印证了外插组件的重要价值。更值得一提的事，在一个新发布的药物性质优化数据集DrugR上，模型展现出强大的分布外泛化能力，充分验证了其实际应用价值。

得益于模块化解耦设计，SciCore-Mol 完美解决了科学模型常见的微调崩溃难题。它支持在极小规模的专业数据上快速学习，而不会干扰 LLM 原有的逻辑基底。这种高效率，使得一个可以部署在端侧的 8B 模型，在分子性能预测与反应决策等能力上，展现出足以比肩 GPT-5 等超大规模云端模型的水准。

启示：学科大模型的第三条路

在通向AGI的时代，我们需要仔细思考学科大模型的定位与意义。SciCore-Mol给出了一种区别于“暴力扩大参数”和“简单线性化”的第三条路径：通过可插拔的异构模块，在隐层层面增强LLM的科学认知。这一框架不仅适用于分子，也有望推广到蛋白质、材料、物理场等其他需要处理异构科学数据的领域。SciCore-Mol 的成功证明：科学智能的终点或许不是一个无限膨胀的单体黑盒，而是一个结构精巧、能够自我演化的认知协同系统。

给 LLM 装上感官，让它从背诵走向理解化学——这或许才是通用模型迈向科学域的更优雅解法。