孟子轻量化预训练模型

周明，张倬胜

为什么要训练轻量化模型

image-20211128090644420

两种方式：先训练大的模型，再将其变成小模型；直接研究轻量的模型

孟子轻量化预训练模型

image-20211128090817172

开源模型

image-20211128090919579

image-20211128091017219

孟子知识服务引擎

认知智能技术

image-20211128091059019

应用：可控文本生成

image-20211128091212555

image-20211128091312444

image-20211128091445565

孟子轻量化模型技术

image-20211128091626246

知识增强

image-20211128091815476

image-20211128092039625

训练优化

image-20211128092108401

image-20211128092156741

image-20211128092312220

之后会在中文上预测

image-20211128092417904

孟子多模态模型

image-20211128092438691

image-20211128092519647

image-20211128092551172

image-20211128092609695

image-20211128092641726

研究展望

image-20211128092709004