记者昨日获悉，阿里巴巴达摩院已正式开源深度语言模型体系 AliceMind。历经三年研发，AliceMind 从通用语言模型 StructBERT 的基础上，拓展到多语言、生成式、多模态、结构化、知识驱动等领域，能力全面；先后登顶 GLUE 等六大 AI 权威榜单，6 月还入选了 2021 世界人工智能大会最高奖 SAIL 奖 TOP30 榜单。达摩院相关负责人表示，希望通过开源来降低业界研究和创新应用的门槛，助推语言 AI 进入大工业时代。
自然语言处理（NLP）被誉为 AI 皇冠上的明珠，传统 NLP 模型制作复杂，耗时耗力，且用途单一，难以复用，犹如手工作坊。但近几年兴起的预训练语言模型，正在改变局面，有望让语言 AI 走向入可规模化复制的工业时代。如果用炼钢来类比，以前要获得一个可用的 NLP 应用模型，要从铁矿石开始炼钢，周期长，费用高，产量低；但现在有了开源的预训练语言模型，相当于有了现成的粗钢，只需要把粗钢炼成所需的特定钢材，效率大为提升。
据介绍，达摩院深度语言模型体系 AliceMind，包括通用语言模型 StructBERT、多语言 VECO、生成式 PALM、多模态 StructVBERT、结构化 StructuralLM、知识驱动 LatticeBERT、机器阅读理解 UED、超大模型 PLUG 等，此次大部分已开源。（https://github.com/alibaba/AliceMind）
AliceMind 先后登顶了 GLUE Benchmark、多语言 XTREME 在内的六大权威 AI 榜单，上周再次登顶的多模态权威榜单 VQA Challenge 2021，类似看图问答，给定一张图像和关于图像的自然语言问题，AI 需要提供准确的自然语言答案。AliceMind 战胜了微软、Facebook 等几十家国际顶尖团队，将纪录从去年第一名的 76.36% 显著提升到 79.78%，接近人类水平（80.78%）。
霸榜背后，是 AliceMind 持续创新和进化。达摩院团队在 BERT 基础上提出优化模型 StructBERT，2020 年多次在 NLP 顶级赛事 GLUE Benchmark 上夺冠。该模型通过在句子和词级别引入两个新的目标函数，好比给 AI 装上 “语法识别器”，在面对语法错乱时，AI 依然能准确理解并给出正确回应，大大提高机器对语言的整体理解力。而此次在 VQA Challenge 2021 登顶的多模态模型 StrucVBERT，融合了通用模型 StructBERT 和结构化模型 StructuralLM，同时引入文本和图像模态，利用更高效的视觉特征和创新的注意力机制在统一的多模态语义空间进行联合建模。
据了解，AliceMind 掌握语言超过 100 种，具有阅读、写作、翻译、问答、搜索、摘要生成、对话等多种能力，目前已成为阿里的语言技术底座，日均调用量超过 50 亿次，活跃场景超过 200 个，已在跨境电商、客服、广告等数十个核心业务应用落地。在阿里之外，AliceMind 广泛运用于医疗、能源、金融等多个行业。其中，浙江电网公司以 AliceMind 为底座为员工构建智能化运维平台，应用于变压器检修、供电抢修等业务，已经开始在国家电网公司统一推广。
阿里达摩院深度语言模型团队负责人黄松芳表示，“预训练语言模型已成为 NLP 领域的基石和原材料，AliceMind 开源将降低 NLP 领域研究和应用创新的门槛，助推行业从手工业时代走向大工业时代。”
