智谱清言
智普清颜是北京智普华章科技有限公司推出的首款生成式人工智能助手，于2023年8月31日正式上线。助手基于知乎AI自主研发的中英双语对话模型ChatGLM2，经过万亿字符的文本和代码预训练，采用监督微调技术，以通用对话的形式为用户提供智能服务。智普清言可以为用户解答工作、学习和日常生活中的各种问题，完成各种任务。它具有通用问答、多轮对话、创意写作、代码生成和虚拟对话等丰富能力，并计划在未来开放多模态生成。截至2023年8月，智普清颜已在各大应用商店上线，包括Apple Store应用商店和Android主流商店。
智普清颜的发展史始于2021年，始于ChatGLM系列车型的迭代。起初，该系列基于GLM-130B模型，该模型致力于提高中英双语对话处理的准确性和效率。随着ChatGLM系列的发展，特别是ChatGLM2系列的推出和优化，加强了智能光谱澄清的技术基础。2023年8月31日，《直扑青眼》正式发布。作为基于ChatGLM2模型的AI助手，它结合了预训练和监督微调技术，可提供包括问答、创意写作和代码生成在内的多项智能服务。此外，ChatGLM3于2023年10月在中国计算机大会（CNCC）上发布，带来了进一步的技术增强、应用范围扩大和性能提高。ChatGLM3的多模态理解、代码生成和执行以及增强的网络搜索功能使其能够更高效地处理多样化的任务和场景。
智普清言作为一款根植于ChatGLM2模型核心技术的AI助手，凭借其先进的性能、良好的上下文处理能力和快速的推理速度，在MMLU、C-Eval和GSM8K等多个标准任务上赢得了广泛关注。尤其是在ChatGLM3引入AgentTuning技术后，为知乎清言提供了更深层次的智能规划和执行能力，在多轮对话和内容创作等领域取得了显著进展。这主要体现在下载量和GitHub明星数量的快速增长上。此外，得益于其实际应用潜力和适应性的验证，包括联想、中国民航信息网络公司、清华大学等在内的多家企事业单位均采用了其或与其建立了合作关系。
发展历史
智谱的技术发展是一个不断迭代和创新的过程。主要过程可以概括为GLM-130B的初步探索，ChatGLM系列型号的不断迭代，以及基于ChatGLM2和ChatGLM3的智能光谱的后期开发。因此，智普清研的发展源于智普AI大模型在各个阶段的技术进步。
GLM-130B发布:技术突破
GLM-130B模型的开发始于2021年12月，是在清华大学知识工程实验室举行的内部头脑风暴会议上提出的。当时的目标是开发高精度的双语（中文/英文）模型并将其开放。在项目启动之初，缺乏计算资源，但在2022年1月，智普AI提供了必要的计算资源支持。随后，项目团队在技术开发中遇到了许多挑战，包括频繁的硬件故障、模型梯度爆炸、算法中内存使用过多等等。在清华大学PACMAN团队的协助下，这些问题被一一解决，最终成功训练出GLM-130B模型。
ChatGLM首次亮相:对话模式的新时代
ChatGLM于2023年3月14日首次发布，这是智普AI在GLM-130B模型基础上的进一步创新。作为中英双语对话模型，ChatGLM专注于提高对话处理能力。智普AI已经开放了GLM系列模型的新成员-Chatglm-6B，该模型支持在单个消费级显卡上进行推理。这是继GLM-130B千亿基模型开源后的又一重要研究成果。ChatGLM-6B是一个开源的双语问答对话语言模型，针对中文进行了优化。该模型基于通用语言模型（GLM）架构，拥有62亿个参数。在对约1T个标识符进行中英文双语训练后，辅以监督微调、反馈自助和人类反馈强化学习等技术，ChatGLM-6B虽然规模不及千亿模型，但大大降低了推理成本，提高了效率，可以生成符合人类偏好的答案。
ChatGLM2发布:技术的进一步发展
ChatGLM2-6B于2023年6月25日推出，这是智普AI与清华大学KEG实验室在对话AI领域的合作成果。作为ChatGLM-6B的后续版本，ChatGLM2-6B在继承前代车型特点的基础上进行了一系列技术更新和优化。其中包括模型性能的提升、上下文处理能力的扩展和推理速度的优化。此外，为了推动AI技术的发展，智普AI及其合作伙伴已经完全开放了ChatGLM2-6B模型的权重用于学术研究和商业用途。
知识界很清楚:生成式人工智能的新助手
智普清言的研发标志着智普AI在生成式人工智能助手领域的巨大进步。该产品于2023年8月31日正式上线，基于智普AI研发的中英双语对话模型ChatGLM2。通过预训练和监督微调技术，智普清言已经成为一个可以在各种场景下提供支持的智能助手。它为用户提供了一个多功能的AI助手，可以在日常生活、学习和工作中提供帮助。
ChatGLM3版本:基于ChatGLM2的模型升级
在2023年中国计算机大会（CNCC）上，智谱AI推出的ChatGLM3为智谱青岩提供了强大的技术支持，大大拓宽了其应用范围和性能。ChatGLM3的多模态理解能力、代码生成和执行功能以及网络搜索增强功能使Zhipu articulate在处理复杂任务和多样化场景时更加高效。特别是ChatGLM3的AgentTuning技术赋予了知乎青岩更深入的智能规划和执行能力，从而在多轮对话和内容创作方面实现了质的飞跃。此外，通过ChatGLM3的新技术，智普清言不仅提高了对话的流畅性和准确性，而且在图像处理和数学计算等多样化应用中也表现出了出色的性能，大大改善了用户体验。
原理基础
作为知乎AI的先进AI语言处理工具，知乎清言背后的技术力量来自ChatGLM3等大模型的加持。ChatGLM系列模型不仅在自然语言处理领域取得了显著进展，而且在多模态理解和代码生成方面也表现出了卓越的能力。这种能力的背后，离不开一项核心技术的支撑——变压器模型。Transformer模型独特的架构和自关注机制为ChatGLM2的高级功能提供了理论基础和技术框架。
Transformer模型
Transformer模型是自然语言处理领域的核心技术，最早出现在2017年的论文《Attention Is All You Need》中。它采用自我关注机制，允许模型同时关注文本序列的所有部分，而不是逐个单元地处理它们。该方法优于传统的递归神经网络（RNN）和长期记忆网络（LSTM），特别是在处理长文本和捕获长距离依赖方面。Transformer的并行处理能力提高了效率，解决了梯度消失的问题。其编码器-解码器结构使其适用于许多复杂的语言处理任务，如机器翻译和问答系统。
ChatGLM2与Transformer的关系
在ChatGLM2的开发过程中，Transformer模型的基础设施得到了有效的应用和关键的扩展，旨在满足复杂多模态任务和代码生成的需求。在这一开发过程中，ChatGLM2不仅保持了Transformer的高效并行处理和强上下文理解等核心优势，还对模型结构和训练方法进行了适当的创新和调整。这些改进和技术集成使ChatGLM3在语言处理和多模态内容理解方面表现出出色的性能，并为智谱和清晰语音等应用提供了可靠的技术支持。
功能服务
一般问答
智谱在文本生成和创意写作方面具有很强的能力。它使用基于深度学习的大规模预训练模型。知识图谱可以生成多样化的内容，包括广告文案、故事、博客文章等。，同时适应用户的特定要求和风格偏好。其由深度学习驱动的创作过程使其能够理解和模仿不同的写作风格，并进行主题研究和情感分析，从而提高内容的相关性和吸引力。此外，知乎青岩还提供协同增强和创意辅助功能，帮助用户做出创意决策和优化内容，并预测内容的市场反应，在许多行业中得到广泛应用，尤其是在需要快速生产高质量内容的情况下。
问答系统
2023年6月，智普清言的多轮对话能力经历了一次重大升级。智普AI将其千亿级模型ChatGLM升级到第二代，性能大幅提升。其中一个关键改进是上下文理解长度的扩展，现在可以处理长达32K字符的对话上下文，推理速度也有了显著提高。此次升级让知乎青岩在多轮对话中展现出更强大的性能，不仅可以理解和回应长文本对话，还拥有广泛的知识储备，涵盖科技、历史、文化、艺术和商业等多个领域的信息。
编程辅助工具
智普清研的代码生成和编程辅助功能是其重要特点之一。它是一个能够理解用户需求的智能助手，可以在许多方面为用户提供有用的帮助，包括但不限于工作、学习、日常生活和编程帮助。具体来说，智普清研的代码生成能力使其能够支持100多种编程语言，可以更快更准确地生成代码。该功能对于程序员来说非常方便，可以有效提高编程的效率和准确性。
多模态交互
智普清言在多模态交互方面的显著进步和创新得益于其背后的最新技术，尤其是智普AI研发的第三代基础模型ChatGLM3。它实现了许多新功能，包括具有多模态理解能力的CogVLM（基于图片的语义识别）。此外，其代码增强模块Code Interpreter可以根据用户的需求生成和执行代码，并自动完成数据分析和文件处理等复杂任务。WebGLM是网络搜索的增强功能，使直扑青岩能够在互联网上找到最新信息，并在回答时提供相关信息的链接。同时支持包括工具调用、代码执行、游戏、数据库操作、知识图谱搜索与推理、操作系统等多种复杂场景。它使智普清研成为国内首个具备代码交互能力的大规模模型产品，支持图像处理、数学计算、数据分析等多个应用场景。
技术进化
智普清研使用的核心模型ChatGLM2是一个基于通用语言模型（GLM）的双语对话语言模型，拥有62亿个参数。该模型的训练涉及一系列先进的技术和策略，以提高其中英文处理性能和对话生成的自然度。同时，智普清研使用的核心型号ChatGLM2是基于ChatGLM-6B的进化版本，而ChatGLM-6B本身是基于GLM-130B型号开发的。
GLM-130B:基本框架
GLM-130B采用多种训练技术，包括大规模语料库预训练、分布式训练、混合精度训练和优化器选择，以提高训练效率和性能。该模型基于Transformer架构，具有双语处理能力，可以处理多种任务。其独特的技术特点包括丰富的语言知识积累、双语编码、高效的训练和推理性能以及灵活的适应性。
ChatGLM-6B:对话优化
ChatGLM-6B是基于GLM-130B的大规模语言模型，旨在提高文本生成和对话的质量。该模型结合了监督微调、反馈自助和人类反馈强化学习等多种训练技术，使其能够更好地理解和响应用户的需求，尤其是在对话和问答方面。在架构上，ChatGLM-6B采用了高效的Transformer架构，该架构优化了并行处理和长距离依赖捕获，使其适用于复杂的语言理解和生成任务。此外，它在性能和通用性方面也非常出色:文本生成速度与GPT-3相当，GPU内存效率更高，因此可以部署在小型GPU上。ChatGLM-6B可以通过大规模文本和代码训练执行语言翻译和创意内容生成等多项任务，并在GLUE benchmark测试中表现出了先进的性能。为了提高部署效率，该模型还通过INT8和INT4进行了量化，降低了对计算资源的需求，使其成为一个多功能、高效且易于部署的大规模语言模型。
ChatGLM2:性能和效率的进一步提高
ChatGLM2-6B是基于ChatGLM-6B的进化版本，继承了GLM-130B的核心架构。它是一个专门为对话系统设计的中英双语对话语言模型，拥有62亿个参数，这使得ChatGLM2-6B在处理复杂语言模式和对话结构方面具有非凡的能力。
训练技术：ChatGLM2模型使用GLM的混合目标函数进行预训练。该方法结合了自回归和自编码的优点，有助于模型更好地理解和生成自然语言。此外，该模型已经使用1.4T双语标识符进行了预训练，这种大规模的双语数据训练使该模型在中英文处理中都表现良好。为了进一步优化模型的对话生成能力，ChatGLM2还采用了人类反馈强化学习，使其生成的对话更符合人类的偏好和期望。
模型架构：ChatGLM2-6B是基于ChatGLM-6B的进化版本，继承了GLM-130B的核心架构。它是一个专门为对话系统设计的双语对话语言模型。它拥有62亿个参数，这使得ChatGLM2-6B在处理复杂的语言模式和对话结构方面非常强大。
技术特征：ChatGLM2-6B基于GLM混合目标函数和1.4T中英文识别器的预训练，在多个基准测试中模型性能得到显著提升。为了确保长对话的连续性，ChatGLM2-6B使用FlashAttention技术将上下文处理能力从2K扩展到32K。此外，通过引入多查询注意力技术，其推理效率提升了42%，并且在INT4量化的支持下，该模型支持的对话长度在6G显存下从1K提升至8K。与原始模型相比，ChatGLM2-6B在多个基准测试上的性能提升更加明显，在MMLU、CEval、GSM8K、BBH等数据集上的性能提升分别为+23%、+33%、+571%和+60%。
ChatGLM3:基于ChatGLM2的重新升级
ChatGLM3是智普AI推出的第三代基座型号，针对GPT-4V，实现了部分新功能的迭代升级。该模型结合了独创的多阶段增强预训练方法、更丰富多样的训练数据和更优化的训练方案。这些集成技术使ChatGLM3在基础架构方面更加先进和强大。
智谱清言训练技术：通过深度优化，ChatGLM3的训练采用多阶段增强方法，保证训练的充分性和深度。在44个中英文公开数据集的评测中，该模型在各项性能指标上均有显著提升。与ChatGLM II模型相比，MMLU、CEval、GSM8K和BBH分别提高了36%、33%、179%和126%。
模型架构：在原有架构的基础上，ChatGLM3实现了多项技术升级。这些升级包括但不限于多模态理解、代码增强模块和网络搜索增强功能。这些新增加的技术功能不仅增强了模型的语义理解能力，还增强了其逻辑处理能力，这使得ChatGLM3在多样化的应用场景中表现出比上一代模型更高的效率。
技术特征：ChatGLM3的技术特点主要体现在三个方面:其多模态理解能力CogVLM可以实现对图像等多种信息的深度解读，不仅可以回答各种类型的视觉问题，还可以完成复杂目标的检测和标注，或自动数据标注；在代码解释器的帮助下，ChatGLM3具有代码生成和执行的能力。该功能可以根据用户的需求自动生成并执行代码，可用于完成数据分析和文件处理等复杂任务。最后，Web search enhanced WebGLM可以使模型充分利用网络资源，从而提供更准确和合适的答案。这些功能的集成提高了ChatGLM3处理多个复杂任务的语义和逻辑能力。ChatGLM3集成了智普AI自主研发的AgentTuning技术，激活了模型的agent功能，特别是在智能规划和执行方面，比ChatGLM2提升了1000%。此外，它还支持国内大型模型的原生功能，如工具调用、代码执行、游戏、数据库操作、知识图谱搜索和推理、操作系统等复杂场景。