元象大模型已通过《生成式人工智能服务管理暂行办法》备案，将陆续向公众开放服务，公司将持续推动国产大模型生态繁荣与产业应用快速发展。‍‍
元象大模型是由深圳元象信息科技有限公司（简称：元象XVERSE）从头训练、全链路自主研发的高性能通用大模型系列，具备优秀的中文创作、逻辑推理和任务执行能力，在多个国际权威基准测评中表现出色，中英文能力超越国内外同量级开源标杆。
研究表明，参数量越高，高质量训练数据越多，大模型性能才能不断提升。业界普遍共识是达到500亿到600亿参数门槛，大模型才能“智能涌现” ，在多任务中展现强大性能。但训练此量级模型成本高昂，技术要求较高，目前主要为闭源付费提供，Llama2、Falcon等开源模型标杆附带商用条件，且中文能力有明显短板。
面对研发时间紧、算力持续短缺等挑战，元象成功研发XVERSE-7B、13B、65B等多个量级的高性能大模型，并且全部开源，无条件免费商用，持续推动国产大模型开源生态繁荣与产业应用快速发展。
自研且免费商用的开源大模型图谱
其中，11月推出的XVERSE-65B是国内参数最大的开源可商用模型，业界尚属首次，填补了中文大模型开源生态空白。这一系列发布让海量中小企业、研究者和AI开发者能更早一步实现“大模型自由”，能根据其算力、资源限制和具体任务需求，自由使用、修改或蒸馏元象大模型，为研究、商业及生态创造三重价值。
具体而言，研发上，65B将为新技术、新工具、性能优化到模型安全提供“大杠杆”，让社区快速累积经验，也有助于推动国家科技自主可控的长远目标。商业上，海量中小企业能以零成本用上“大工具”，可突破局限，推动应用显著创新。元象也能深入了解用例、安全模型部署和潜在机会。在开发者生态上，社区能充分发挥组织协同优势，推动研发应用的“寒武纪大爆发”。
元象坚持“高性能”定位，显著提升了65B三方面能力：一、理解、生成、推理和记忆等基础能力，到模型的多样性、创造性和精度表现，从优异到强大；二、扩展了工具调用、代码解释、反思修正等能力，为构建智能体（AI Agent）奠定技术基础，提高模型实用性；三、显著缓解7B、13B中常见且可能很严重的幻觉问题，减少大模型“胡说八道”，提高准确性和专业度。

元象大模型系列均为全链条自研，涵盖多项关键技术与研发创新：
  1. 复杂分布式系统设计：借鉴团队研发腾讯围棋AI“绝艺”、王者荣耀AI“绝悟”等大系统上的丰富经验，自研高效算子、显存优化、并行调度策略、数据-计算-通信重叠、平台与框架协同等关键技术，打造高效稳定的训练系统，千卡集群峰值算力利用率达58.5%，位居业界前列。
  2. 全面提升性能：65B训练中采用FlashAttention2加速计算，3D并行基础上采用虚拟流水线（virtual pipeline）技术，降低较长流水线产生过高气泡率，提升计算推理效率；上下文窗口长度从8K逐步提升到16K，使其不仅能出色完成复杂任务，包括长文理解、长文生成和超长对话，还拓展了工具调用、代码解释及反思修正能力，能更好构建智能体（AI Agent）。
  3. 极致提升训练稳定性：因计算量庞大，通信拥塞、芯片过热或计算节点故障成为65B训练常态，初期出现过一周最高八次故障的情况。通过集群基础设施运营、资源调度、训练框架和调度平台协同等持续优化，元象打造出高稳定、低中断、强容错的训练系统，将每周有效训练率提升至98.6%。
‍
研究人员参考了一系列权威学术测评，制定了涵盖问答、理解、知识、推理、数学、代码等六个维度的11项主流权威测评标准。
在测评中，XVERSE-65B在国内尚无同量级模型可对比，在与国外标杆对比测评中，部分指标超越、综合性能媲美GPT3.5；全面超越开源标杆Llama2-70B和Falcon-180B；与GPT4仍有差距。
XVERSE-65B评测
升级的XVERSE-13B-2，比同尺寸模型增加了大量高质量数据，训练数据高达3.2万亿，极大提升了“小”模型的能力上限。它文理兼修，保持了文科优势，问答提升18%，理科长足进步，代码提升149%、数学提升198%，在测评中全面超越了Llama2、Baichuan2等国内外开源标杆。
升级版XVERSE-13B-2测评
元象大模型可在Github、Hugging Face、魔搭等多平台搜索“XVERSE”下载，经简单登记即可无条件免费商用，能满足中小企业、科研机构和个人开发者绝大部分的应用与迭代需求。
元象不仅提供大模型技术底座，也同时提供模型训练、推理、部署、精调等全方位技术服务，赋能文娱、金融、医疗等各行各业，帮助在智能客服、创意写作、精准推荐等不同场景和任务上打造行业领先的用户体验。
2023年10月，腾讯音乐宣布与元象大模型建立战略合作，共同推出lyraXVERSE加速大模型、全面升级其音乐助手“AI小琴”，未来将持续探索AI与3D前沿技术，引领音乐娱乐创新方向。
元象创始人姚星表示：“元象大模型致力于推动大模型国产可替代与持续技术创新，为实体经济、数字经济发展注入强劲动力，为企业和用户创造更大价值。元象期待与企业和开发者携手，共同开启大模型应用新时代！
免费下载元象大模型
Github / Hugging Face / 魔搭平台
搜索“XVERSE”即可免费下载
问询发送：[email protected]
加入元象大模型团队
简历发送：[email protected]
商业合作
请微信添加：lixing_lixing
媒体沟通
请联系：万琳 [email protected]
‍‍‍‍‍
继续阅读
阅读原文