重大论文发表已确认

Transformer 论文发表

Google 研究团队提出仅基于注意力机制的 Transformer 架构。

GOGoogle DeepMind2017-06-12已核验来源

事件详情

论文《Attention Is All You Need》用自注意力机制替代循环结构,显著提高并行训练效率,并成为此后大语言模型的基础架构。

影响评估

奠定现代大语言模型的核心架构基础。

技术影响5/5

能力、架构、训练方法或研究路线的推动程度

市场影响3/5

产品采用、商业模式和行业竞争格局的变化

生态影响5/5

对开发者、开源社区、平台和上下游的带动

政策与社会1/5

监管、安全、劳动方式和公众认知层面的影响

影响范围5/5

事件影响从局部团队扩展到全球行业的广度

持续性5/5

影响是否会沉淀为长期能力、惯例或结构性变化

关联事件

论文发表

GOGoogle DeepMind重大开源

Google 发布 BERT

BERT 以双向预训练刷新多项自然语言理解基准。

#里程碑#开源#文本#预训练
00