腾讯混元大模型：由腾讯全链路自研的通用大语言模型，拥有超千亿参数规模，预训练语料超 2 万亿 tokens，具备强大的中文创作能力，复杂语境下的逻辑推理能力，以及可靠的任务执行能力

腾讯混元大模型是由腾讯全链路自研的通用大语言模型，拥有超千亿参数规模，预训练语料超 2 万亿 tokens，具备强大的中文创作能力，复杂语境下的逻辑推理能力，以及可靠的任务执行能力。

值得一提的是，腾讯混元大模型是一个“从实践中来，到实践中去”的实用级大模型。当前，腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档、微信搜一搜、QQ 浏览器等超过 50 个腾讯业务和产品，已经接入腾讯混元大模型测试，并取得初步效果。

混元AI大模型的特点

全链路自研是腾讯混元大模型的首要特点。腾讯集团副总裁蒋杰介绍，腾讯混元大模型从第一个 token 开始从零训练，掌握了从模型算法到机器学习框架，再到AI基础设施的全链路自研技术。

腾讯在算法层面进行了一系列自研创新，提高了模型可靠性和成熟度。

针对大模型容易“胡言乱语”的问题，腾讯优化了预训练算法及策略，让混元大模型的幻觉相比主流开源大模型降低了 30% 至 50%；通过强化学习的方法，让模型学会识别陷阱问题；通过位置编码优化，提高了超长文的处理效果和性能；提出思维链的新策略，让大模型能够像人一样结合实际的应用场景进行推理和决策。

此外，腾讯还自研了机器学习框架 Angel，使训练速度相比业界主流框架提升 1 倍，推理速度比业界主流框架提升 1.3 倍。

得益于全链路自研技术，腾讯混元大模型能够理解上下文的含义，并且有长文记忆能力，可以流畅地进行专业领域的多轮对话。除此之外，它还能进行文学创作、文本摘要、角色扮演等内容创作，做到充分理解用户意图，并高效、准确地给出有时效性的答复。

腾讯混元大模型架构

据报道，今年5月，腾讯针对ChatGPT对话式产品成立了“混元助手（HunyuanAide）”项目组，由腾讯首席科学家、腾讯AI Lab及Robotics X实验室主任张正友博士负责。

以太极平台的基础，配合强大的底层算力与低成本的高速网络基础设施，腾讯打造了首个可在工业界海量业务场景直接落地，并投入应用的万亿NLP大模型——HunYuan-NLP 1T。混元最快仅用256卡在一天内即可完成万亿参数大模型的训练，整体训练成本仅为直接冷启动训练万亿模型的1/8。

纵观混元在腾讯应用层、模型层的布局，我们可以发现，这样的布局策略，很有可能是想以统一的平台，实现技术复用和业务降本，支持更多的场景和应用。而这样的技术复用和多场景支持，则与腾讯在互联网领域独特的生态位有着密切关系。

混元大模型应用

在2023年腾讯全球数字生态大会上，蒋杰展示了腾讯会议、腾讯文档、腾讯广告等多个业务，在接入腾讯混元大模型后的实际应用情况。

比如腾讯会议基于混元大模型打造了腾讯混元助手，只需要简单的自然语言指令，就能完成会议信息提取、内容分析等复杂任务，会后还能生成智能总结纪要。据实测，在指令理解、会中问答、会议摘要、会议待办项等多个方面，混元大模型均获得较高的用户采纳率。

在文档处理方面，腾讯混元大模型支持数十种文本创作场景，在腾讯文档推出的智能助手功能中已有应用。同时，混元还能够一键生成标准格式文本，精通数百种Excel公式，支持自然语言生成函数，并基于表格内容生成图表，目前这些功能正在内测阶段，将在成熟后面向用户开放。

在广告业务场景，腾讯混元大模型支持智能化的广告素材创作，能够适应行业与地域特色，满足千人千面的需求，实现文字、图片、视频的自然融合。此外，基于混元大模型的能力，广告智能导购能够帮助商家在企业微信等场景，提升服务质量和服务效率。

混元大模型历史消息

3月30日，腾讯集团高级执行副总裁、云与智慧产业事业群CEO汤道生向媒体表示，腾讯正在研发类ChatGPT聊天机器人。

腾讯在大模型领域的布局早已有之，其“混元”系列AI大模型覆盖了NLP、CV、多模态等基础大模型以及众多行业/领域大模型。这成为了腾讯构建类ChatGPT产品的坚实技术储备。

2022年5月，腾讯混元AI大模型在CLUE总排行榜、阅读理解、大规模知识图谱三个榜单同时登顶，一举打破三项纪录。

腾讯混元大模型：https://cloud.tencent.com/product/hunyuan

视频教程