模型纪年LLM TIMELINE

开放状态

# 开源

开源相关模型与事件

开源发布

MIMicrosoft关键开源

Microsoft 发布 Orca

微软推出的模型，通过学习 GPT-4 的推理轨迹进行知识蒸馏与微调。

#开源#文本
00

开源发布

MOMosaicML关键开源

MosaicML 发布 MPT-7B

支持较长的上下文窗口，并采用允许免费商业使用的开源协议。

#开源#文本
00

开源发布

LMLMSYS重大开源

LMSYS 发布 Vicuna

基于用户共享的高质量对话数据微调，表现接近早期的 ChatGPT。

#开源#文本
00

开源发布

Z.Z.ai关键开源

Z.ai 发布 ChatGLM

针对中英双语优化，且支持单卡部署的对话模型。

#开源#文本
00

开源发布

MEMeta重大开源

Meta 发布 OPT

Meta 推出的开源大模型系列，性能对标 GPT-3。

#开源#文本
00

开源发布

MEMeta重大开源

Meta 发布 RoBERTa

改进 BERT 训练策略，移除下一句预测任务以提升性能。

#开源#文本
00

模型发布

OPOpenAI关键开源

OpenAI 发布 GPT-2

GPT-2 展示大规模语言模型的零样本迁移能力，并采用分阶段发布策略。

#开源#文本#分阶段发布#安全
00

论文发表

GOGoogle DeepMind重大开源

Google 发布 BERT

BERT 以双向预训练刷新多项自然语言理解基准。

#里程碑#开源#文本#预训练
00