BMTrain
大模型训练“发动机”。BMTrain进行高效的大模型预训练与微调。与DeepSpeed等框架相比，BMTrain训练模型成本可节省90%。
GitHub文档
分享
GitHub 
性能强大 对比流行框架，BMTrain表现惊人。
简易使用 贴合PyTorch使用习惯，上手门槛更低，仅需简单替换即可完成训练提速。
原始代码 替换后代码
支持模型Encoder
bert-base-cased bert-base-uncased bert-large-cased bert-large-uncased bert-base-chinese bert-base-multilingual-cased
Decoder
CPM-1(large) GPT-2(base) GPT-2(medium) GPT-2(large) GPT-2(XL) GPT-J(6B)
Encoder-Decoder
CPM-2(large) T5-small T5-base T5-large T5(3B) T5(11B)
京公网安备 11010802039419号