悟道 2.0
BAAI

AI 智能模型届又迎来了新的强者。在日前举办的 2021 北京智源大会上,智源人工智能研究院正式发布了悟道 2.0 智能模型。它的参数规模达到了 1.75 万亿,是一年前领域代表 OpenAI GPT-3 的 10 倍。相较 Google 的 Switch Transformers 超级语言模型,悟道 2.0 的参数规模也要多出 1,500 亿。值得一提的是,距离悟道 1.0 登场其实才过去了不到三个月的时间。在这过程中,模型的训练方向也从原来主要以中文文本为主,变成了文本与视觉集合,因而悟道 2.0 可以用于更多不同任务,通用性得到进一步提升。

智源新研发的 FastMoE 技术,是悟道 2.0 能成为兆级模型的关键。Google 目前所采用的 MoE(Mixture of Experts)方案,因其分布式训练框架和定制硬件需求,而使得大多数人都无法获得使用与研究的机会。悟道的 FastMoE 则是首个支持 PyTorch 框架的 MoE 系统,它具备「简单易用、灵活、高性能」等特点,而且支持大规模并行训练及 Switch、Gshard 等复杂均衡策略。相较之下,能提供更低的门槛和更多的弹性。

根据智源的介绍,悟道 2.0「在诗词创作、做对联、文本摘要、人设问答、绘画等方面都已接近突破图灵测试」。在大会上官方还展示了与小冰公司(源自微软)合力开发的虚拟学生「华智冰」,其发展方向是在多项认知智能上超越人类,在识别基础上还要有创造能力,以帮助 AI「从感知智能向认知智能时代迈进」。