通义千问

“通义千问”（英文名：Tongyi Qianwen）是阿里云开发的大型语言模型，旨在通过自然语言处理技术为用户提供跨领域的智能服务。该模型具备文本创作、代码编写、多语言翻译以及角色扮演对话等功能。

阿里云于2023年逐步推进通义千问大模型的发展。4月初开始邀请测试，随后在当月中旬的阿里云峰会上正式发布，并宣布阿里巴巴所有产品将接入该模型。同年9月，通义千问通过备案并向公众开放。10月底，阿里云在云栖大会上发布了通义千问2.0版本，模型参数提升至千亿级别。进入2024年，6月初发布Qwen2大模型，并在开源平台上线。最终，在2025年初，阿里云推出了旗舰版模型Qwen2.5-Max。

除了基础大模型，阿里云还基于通义大模型开发了多个行业应用模型，包括通义灵码、通义智文等多个领域特定的应用，以满足不同行业的需求。

自2019年起，阿里巴巴集团便启动了大模型的研发工作。到了2023年4月7日，阿里云宣布“通义千问”大模型开始邀请企业用户进行测试。紧接着在4月11日的阿里云峰会上，阿里云智能首席技术官周靖人正式发布了这一大模型。发布会上，阿里巴巴集团董事会主席兼CEO、阿里云智能集团CEO张勇宣布，阿里巴巴旗下的所有产品，包括天猫、钉钉、高德地图、淘宝、优酷、盒马等，都将接入“通义千问”大模型进行全面升级改造。

一周后的4月18日，钉钉总裁叶军宣布钉钉正式接入通义千问大模型。他现场演示了接入后的功能，用户通过在钉钉中输入“/”，即可唤起10余项AI能力，如使用AI生成推广文案、绘图创建应用、视频会议中生成摘要等。

在2023年4月27日举行的第六届数字中国建设峰会上，阿里巴巴董事会主席兼CEO、阿里云智能集团CEO张勇透露，阿里云工程师正在实验将通义千问大模型接入工业机器人。通过这项技术，用户只需在钉钉对话框输入一句人类语言，即可远程指挥机器人工作。随后，在8月3日，通义千问宣布旗下70亿参数通用模型Qwen-7B和对话模型Qwen-7B-Chat正式上架魔搭平台。这两款模型不仅开源且免费，还可以用于商业用途。同时，它们支持在消费级显卡上部署和运行模型。用户可以从魔搭社区下载这些模型到本地进行部署，也可以直接在魔搭平台上一键启动阿里云机器学习平台PAI，在云端对模型进行微调、部署和推理操作。

通义千问在模型开源方面持续取得显著进展：2023年8月25日，发布了大规模视觉语言模型Qwen-VL及其视觉AI助手Qwen-VL-Chat，并宣布开源。随后的9月25日，通义千问140亿参数模型Qwen-14B及其对话模型Qwen-14B-Chat也宣布开源。同年12月1日，阿里云通义千问进一步推出了720亿参数模型Qwen-72B、18亿参数模型Qwen-1.8B以及音频大模型Qwen-Audio的开源计划。至此，通义千问已经开源了涵盖18亿、70亿、140亿和720亿参数的四款大型语言模型，以及视觉理解和音频理解两款多模态大模型。这一系列举措实现了“全尺寸、全模态”的开源策略，累计下载量已超过150万次，激发了150多款新模型和新应用的开发。

2023年9月，通义千问大模型成功通过备案并向公众开放。用户可通过通义千问官网进行体验，企业用户则可以通过阿里云调用相关API。同时，阿里旗下的网络零售平台淘宝也推出了内测应用“淘宝问问”，接入通义千问服务。

2023年10月，在云栖大会上，阿里云正式发布了升级版的通义千问2.0，其模型参数达到了千亿级别。与此同时，通义千问APP也在各大手机应用市场上线。此外，基于通义大模型训练的8大行业模型组团上线发布，涵盖了多个领域。

2023年11月7日，通义千问App在苹果App Store上架，安装包大小为25.9MB。此前，通义千问2.0发布时已同步在各大安卓应用市场上架。

2023年11月16日，阿里巴巴集团公布了截至9月30日的2024财年第二季度财务报告。报告显示，钉钉的17条产品线已全面集成了大模型技术，并且开放了其人工智能平台AI PaaS给客户和生态系统合作伙伴，以支持生态系统参与者的产品创新。

2024年5月21日，阿里云宣布通义千问GPT-4级主力模型Qwen-Long的API输入价格从0.02元/千tokens降至0.0005元/千tokens，降幅达97%。6月7日，阿里发布了通义千问Qwen2大模型，并在Hugging Face和ModelScope上同步开源。Qwen2系列包括五个尺寸的预训练和指令微调模型，上下文长度支持进一步扩展至最高128K tokens。6月19日，OpenCompass发布了首个大模型高考全卷评测结果，其中阿里通义千问2-72B排名第一，得分303分（满分420分）。12月31日，阿里云宣布2024年度第三轮大模型降价。通义千问Qwen-VL-Plus直降81%，输入价格为0.0015元/千tokens；而更高性能的Qwen-VL-Max则降至0.003元/千tokens，降幅为85%。

2025年1月29日，阿里云正式发布了通义千问旗舰版模型Qwen2.5-Max。该模型的预训练数据超过20万亿tokens。开发者可在Qwen Chat平台免费体验此模型，企业和机构也可通过阿里云百炼平台直接调用新模型API服务。

AI对话作为通义千问的核心功能，利用通义大模型，通过自然语言理解和语义分析，在多个领域和任务中为用户提供服务。其包含10项基本能力：语义理解与抽取、闲聊、上下文对话、生成与创作、知识与百科、代码、逻辑与推理、计算及角色扮演。

通义千问2.0版本增加了文本回答、图片理解、文档解析三种模式。用户可以在网页端上传图片和文档，并就相关内容提出问题，实现文字以外的互动方式。

特色功能

包括“百宝袋”，这是预先提供的小应用集合，方便用户快速上手。百宝袋的功能分为四类：

AI 应用服务概述

一、创意文案服务

通义千问具备强大的创意文案生成能力。无论用户身处何种场景，它都能快速响应需求，精准创作多种类型的优质文案。在内容创作领域，无论是短视频剧本的构思与撰写，还是温馨动人的祝福语创作；无论是专业电影剧本的打造，还是对已有内容的扩写辅助；从商品评价的客观分析，到情书的深情表达；从直播文案的巧妙设计，到评论的机智回复；从小红书文案的潮流撰写，到回忆录的细腻生成；从七言诗的创作，到人物传记的详实记录，通义千问都能为用户提供全方位的创意支持，助力其在各类内容创作中展现出独特魅力与专业水准。

二、办公助理服务

在办公场景中，通义千问发挥着高效的辅助作用。通过提供营销文案撰写服务，帮助用户精准传达产品或服务的核心价值，提升市场营销效果。周报助理能够协助用户梳理一周工作要点与成果，确保汇报工作的条理清晰与高效性。PPT 大纲助手为用户构建演示文稿的逻辑框架，助力其制作出专业且富有吸引力的 PPT。日报助手方便用户每日总结工作情况，促进工作的及时复盘与改进。简历帮手和求职助手则能在职业发展道路上给予有力支持，帮助用户优化简历内容，提升求职竞争力，从而全方位提升用户的办公效率与质量。

三、学习助手服务

通义千问在学习过程中扮演着贴心助手的角色。针对开学规划这一重要阶段，它能为用户提供合理的学习计划建议，助力学生在新学期伊始就明确学习目标与方向。诗歌分析家功能有助于深入剖析诗歌的内涵与艺术手法，提升学生对诗歌的鉴赏能力。读后感生成器能够帮助学生在阅读后快速整理思绪，形成有深度的读后感悟。知识巩固助手通过对知识点的梳理与强化练习，帮助学生更好地掌握所学内容。文言文翻译则解决了学生在古文学习中的语言障碍，使其更顺畅地领略古代文化的博大精深，全方位提升学生的学习体验与学习效果。

四、趣味生活服务

通义千问还积极融入日常生活，为用户解答各类生活问题或提供有趣的互动话题。当面临社交场合时，高情商回复功能能帮助用户以恰当的方式应对各种情况，增进人际关系。吹彩虹屁这一有趣的功能则能为用户在轻松氛围中增添欢乐元素。健身计划服务根据用户的身体状况与目标制定个性化的健身方案，助力健康生活。怎么办助手为用户提供生活中的各类难题解决思路，如海底捞食谱等生活小窍门分享，让用户的生活更加丰富多彩与便捷高效。

五、AI 语音对话服务

通义千问还具备先进的 AI 语音对话功能，为用户提供更加便捷的交互体验。用户可以通过语音输入的方式提出问题或获取信息，系统能够快速准确地识别并给出相应的回答，进一步提升了服务的便捷性与高效性。

通义千问App具备独特的语音交互功能，允许用户通过语音向AI提问并接收语音回答。用户可随时开启新的话题，并能为AI语音选择温柔、幽默、严谨或亲切的音色。

截至2023年9月，通义千问模型的预训练数据达到了3万亿tokens。这些数据主要来源于公共网络文档、百科全书、书籍和代码等，覆盖多种语言，但以中文和英文为主。为确保数据质量，开发团队设计了一套全面的预处理流程：

针对公共Web数据，从HTML中提取文本内容，并通过语言识别工具确定语种。

为了增强数据的多样性，采用了重复数据删除技术，包括规范化后的精确匹配删除方法，以及基于MinHash和LSH算法的模糊匹配删除方法。

在数据收集阶段，开发团队运用规则与机器学习方法相结合的方式筛选高质量数据。具体而言，通过多种模型对内容进行综合评分，包括语言模型、文本质量评分模型以及用于检测潜在攻击性或不当内容的模型。此外，开发团队手动审查来自不同来源的样本数据，进一步确保其质量。

对于数据选择，开发团队有针对性地从特定来源采样，以提升整体数据质量，保证模型在多样化且高质量的数据集上进行训练。

在分词器设计方面，Qwen采用了开源快速BPE分词器tiktoken，基于cl100k基础词汇库进行构建。为了增强模型在多语言下游任务中的表现，尤其是针对中文场景，开发团队扩充了常用中文字词及其他语言词汇，并将数字字符串分割成单个数字，最终词表大小达到152K。这些优化措施旨在提高模型的训练效率和任务执行效果，特别是在处理多语言数据时。

开发团队展示了Qwen模型与其他模型在不同语言压缩率上的对比结果。Qwen在大多数语言上表现出更高的压缩效率，这有助于降低模型服务的成本。

Qwen模型基于Transformer框架，并采用了开源大语言模型训练方法LLaMA。为了优化性能，开发团队对模型架构进行了以下关键修改：

通义千问

嵌入和输出投影：Qwen选择了无限制的嵌入方法，而非绑定输入嵌入和输出投影的权重。这种改动以增加内存成本为代价，提升了模型的性能。

位置编码：模型采用Rotary Positional Embedding（RoPE）进行位置编码，并选用FP32精度而非BF16或FP16的逆频率矩阵，以此提高模型的性能表现和精确度。

偏差（Bias）：开发团队在模型中移除了大部分层的偏差，仅在QKV注意力层中添加了偏差，以提高模型的外推能力。

预规范化和RMSNorm：为了提升训练稳定性，模型采用了预规范化方法，并用RMSNorm替代了传统的层归一化方法。

激活函数：模型引入了SwiGLU作为激活函数，并减小了前馈网络（FFN）的维度，从原来的4倍隐藏大小调整为8/3倍。

外推能力的扩展：Transformer模型的注意力机制在处理长上下文时面临计算成本和内存消耗急剧增加的问题。为此，千问模型采用了无需额外训练的技术，在推理过程中有效扩展上下文长度，从而提升了模型处理长序列的能力。

NTK感知插值技术通过免训练的方式调整尺度，以防止高频信息丢失，从而提升性能。为了进一步优化性能，开发团队还实现了动态NTK感知插值技术，该技术按块动态改变规模，避免严重的性能下降。这些技术有效地扩展了Transformer模型的上下文长度，同时不影响其计算效率或准确性。

LogN-Scaling技术通过一个取决于上下文长度与训练长度之比的因子重新调整查询和值的点积，确保注意力值的熵随着上下文长度的增长保持稳定。

Window attention技术将注意力限制在一个上下文窗口内，防止模型关注到太远的内容。基于千问模型的长上下文建模能力在不同层之间有所不同，与较高层相比，较低层对上下文长度扩展更加敏感。因此，开发团队为每一层分配不同的窗口大小：较低的层使用较短的窗口，而较高的层使用较长的窗口。

千问模型在训练过程中严格遵循了自回归语言建模的规范方法，即通过预测下一个Token的内容来进行训练。具体来说，模型的最大训练长度限制为2048个Token。在数据预处理阶段，为确保批次数据的多样性，开发团队对原始文本内容进行了随机打乱和合并处理，随后将处理后的文本截断至指定的长度。为了提升计算效率，模型在注意力机制部分采用了先进的Flash Attention技术。优化方面，选择了AdamW作为主要的优化器，并设置了超参数β1、β2以及ϵ分别为0.9、0.95和10^-8以实现更精细的控制。此外，学习率策略上采取了余弦调度方案，针对不同规模的模型设定了相应的峰值学习率，并且允许学习率降至最低峰值的10%。最后，为了增强训练过程的稳定性，引入了BFloat16格式进行混合精度训练。

2023年6月1日，阿里云在广州举办粤港澳大湾区峰会。在此次峰会上，阿里云发布了其通义大模型的最新进展，推出了专注于音视频的AI新品“通义听悟”。这款产品标志着中国首个开放公测的大模型应用产品的诞生。“通义听悟”融合了通义千问大模型的理解与摘要能力，旨在为用户提供一个强大的AI助手，以提升音视频内容的转写、检索、摘要和整理效率。

阿里云还介绍了“通义灵码”，这是一款智能编码助手，它依托于阿里云的通义代码大模型。通过利用海量的优秀开源代码数据集和编程教科书进行训练，该助手能够根据现有代码文件及其上下文，自动生成行级或函数级的代码、单元测试以及代码注释。它还具备代码解释、智能研发问答、异常报错排查等功能，并对阿里云SDK/OpenAPI的使用场景进行了优化，为开发者提供了高效流畅的编码体验。

通义星尘是一个创新的个性化角色创作系统，它通过利用大规模的高质量对话数据，采用阶段性的个性化训练方法。这种策略不仅使模型保持了广泛的通用能力，还增强了其拟人化、情感表达和独特的语言风格的能力。在遵循特定角色的个性和风格方面，该系统展现出卓越的指令遵从性。相较于传统的通用模型，通义星尘能够更深入地定制化人物设定，与用户建立深层次的联系，支持多种形式的对话交互，并且可以基于特定的事件背景进行讨论。这使得它在情感陪伴、游戏NPC设计、IP再现等领域具有广泛的应用潜力。

通义晓蜜是阿里云推出的一款智能客服机器人，集成了智能对话平台、全渠道联络中心以及智能坐席助理等多项功能。它利用自然语言处理和机器学习技术，能够与用户进行高效智能的对话，并提供多样化的信息和服务。该机器人具备智能问答、自动回复、多轮对话和情感分析等功能，能够理解用户的问题并提供相应的答案和解决方案，从而极大地提升了客户服务的效率和响应速度。

通义点金：大模型驱动的智能金融助手，提供深度财报解读、金融事件分析、实时市场数据等功能。

通义法睿：基于通义大模型的AI法律顾问，提供法律智能对话、文书生成、知识检索、文本阅读等功能。

通义仁心：阿里云推出的医疗领域人工智能产品，结合技术与专业知识，解答医疗健康问题。

通义智文：基于通义大模型的AI阅读助手，支持多种阅读形式，提高阅读效率。

相关合作

无锡政务服务APP“灵锡”成功接入“通义千问”并进入测试阶段。通义点金作为一款由大模型驱动的智能金融助手，致力于为用户提供全方位的金融服务体验。其具备深度解读财报研报的能力，通过精准分析金融事件，为用户揭示隐藏在数据背后的价值。此外，它还支持自动绘制图表和表格，以及进行实时市场数据分析，助力用户更好地理解金融世界的动态变化。通义点金的功能包括智能投研机器人、文档分析机器人、金融信息搜索引擎、智能资讯机器人等，旨在为用户提供便捷、高效的金融信息服务。

通义法睿是一款基于通义大模型的AI法律顾问，它能够提供全面的法律服务功能。无论是智能对话、法律文书生成，还是法律知识检索、法律文本阅读，通义法睿都能够以高效、准确的方式满足用户的需求。通过深度学习和大数据分析，这款AI法律顾问能够为用户提供专业的法律建议和支持。

通义仁心是阿里云推出的专注于医疗领域的人工智能产品。它融合了阿里云的先进技术和医疗行业的专业知识，为用户提供全面的医疗健康管理解决方案。无论是对于疾病的诊断、症状的解读，还是药品的选择、报告指标的理解，通义仁心都能够给出专业的解答和建议。它的出现，无疑为医疗领域带来了新的变革和发展。

通义智文则是一款基于通义大模型的AI阅读助手，它支持网页阅读、论文阅读、图书阅读和自由阅读等多种阅读形式。通过智能化的文本分析和处理技术，通义智文能够帮助用户提高阅读效率和质量，让用户在海量的信息中快速找到自己所需的内容。同时，它还具备辅助用户深入理解文本内容的能力，使用户能够读得更多、更快、更懂。

值得一提的是，通义系列的产品已经在多个领域得到了广泛的应用和认可。例如，在2023年4月，无锡政务服务和城市服务的移动端总入口“灵锡”APP就成功接入了“通义千问”，并进入了全面测试阶段。这一合作不仅展示了通义系列产品的强大实力和广泛应用前景，也为推动相关领域的发展注入了新的动力。

2023年4月26日，阿里云在合作伙伴大会上发布了“通义千问合作伙伴计划”，旨在促进大模型技术在各行业的广泛应用。昆仑数智、朗新科技、千方科技、中金财富、石基集团、用友网络及亚信科技等七家数字化服务商被选为首批合作伙伴。

紧接着，在2023年5月19日，北京市经济和信息化局联合市科委中关村管委会和市发改委共同启动了“北京市通用人工智能产业创新伙伴计划”。阿里云及其通义大模型被纳入为该计划的首批算力和模型合作伙伴。

2023年6月27日，在山东曲阜举办的“世界互联网大会数字文明尼山对话”上，阿里云智能集团董事长兼首席执行官张勇宣布，阿里云的“通义千问”大模型自4月份对外测试以来，已吸引超过20万企业申请接入。这一模型几乎覆盖了所有新兴和传统行业。此外，阿里云还启动了“千问伙伴计划”，旨在与各行业合作伙伴共建创新生态。该计划已在油气、电力、交通、金融等多个行业取得进展，并计划进一步打造更多企业专属模型，以促进各行业更快速地分享智能化带来的红利。

2023年7月14日，巨人网络与阿里云宣布达成全面合作，在上海签署了合作备忘录。双方计划共同建设一个基于巨人网络游戏研发平台、阿里云通义千问大模型以及AIGC产品能力的“游戏+AI”智算平台。通过此次合作，两家公司将致力于推动AI技术在游戏领域的应用和发展，特别是在云游戏、云计算、网络安全、AR/VR以及游戏全球化等方面展开全方位的合作。这一举措标志着双方对于未来技术创新和应用前景的共同承诺。

2023年7月，IDC发布的最新AI大模型评估报告中显示，通义千问在11项测试中的6项获得满分。同年8月15日，新华社研究院发布《人工智能大模型体验报告2.0》，对中国主流AI大模型进行横向测评。该榜单评测了中国8款主流AI大模型的基础、智商、情商和工具提效表现，讯飞星火以总分1014分排名第一，阿里通义千问以总分935分排名倒数第二。同年12月，全球最大的开源大模型社区HuggingFace和OpenCompass分别公布开源大模型排行榜，阿里云通义千问（Qwen-72B）在两个排行榜上均登顶榜首。