MODEL

Switch Transformer

采用 MoE 架构，参数量首次达到万亿规模级别。 参数规模：1571B；开放方式：开源；主要架构：混合专家 Transformer（MoE）。

发布日期：

2021-01-11

参数量：

1571B

架构：

混合专家 Transformer（MoE）

模态：

文本

开放方式：

开源