10月27日,智谱AI于2023中国计算机大会(CNCC)上,推出了全自研的第三代基座大模型ChatGLM3及相关系列产品,这也是智谱AI继推出千亿基座的对话模型ChatGLM和ChatGLM2之后的又一次重大突破。
据介绍,此次推出的ChatGLM3采用了独创的多阶段增强预训练方法,使训练更为充分。评测显示,在44个中英文公开数据集测试中,ChatGLM3在国内同尺寸模型中排名首位。智谱AI CEO张鹏在现场做了新品发布,并实时演示了最新上线的产品功能。
通过更丰富的训练数据和更优的训练方案,智谱AI推出的ChatGLM3性能更加强大。与ChatGLM2相比,MMLU提升36%、CEval提升33%、GSM8K提升179% 、BBH提升126%。
同时,ChatGLM3瞄向GPT-4V本次实现了若干全新功能的迭代升级,包括多模态理解能力的CogVLM-看图识语义,在10余个国际标准图文评测数据集上取得SOTA;代码增强模块Code Interpreter根据用户需求生成代码并执行,自动完成数据分析、文件处理等复杂任务;网络搜索增强WebGLM-接入搜索增强,能自动根据问题在互联网上查找相关资料并在回答时提供参考相关文献或文章链接。ChatGLM3的语义能力与逻辑能力得到了极大的增强。
ChatGLM3还集成了自研的AgentTuning技术,激活了模型智能体能力,尤其在智能规划和执行方面,相比于ChatGLM2提升了1000% ;开启了国产大模型原生支持工具调用、代码执行、游戏、数据库操作、知识图谱搜索与推理、操作系统等复杂场景。
此外,ChatGLM3本次推出可手机部署的端测模型ChatGLM3-1.5B和 ChatGLM3-3B,支持包括vivo、小米、三星在内的多款手机以及车载平台,甚至支持移动平台上CPU芯片的推理,速度可达20 tokens/s。精度方面1.5B和3B模型在公开benchmark上与ChatGLM2-6B模型性能接近。
基于最新的高效动态推理和显存优化技术,ChatGLM3当前的推理框架在相同硬件、模型条件下,相较于目前最佳的开源实现,包括伯克利大学推出的 vLLM 以及Hugging Face TGI的最新版本,推理速度提升了2-3倍,推理成本降低一倍,每千tokens仅0.5分,成本最低。
在全新升级的ChatGLM3赋能下,生成式AI助手智谱清言已成为国内首个具备代码交互能力的大模型产品(Code Interpreter)。“代码”功能目前已支持图像处理、数学计算、数据分析等使用场景。
大视野融媒网(原大视野新闻网)是最富价值的互联网推广平台,致力于打造国内最有影响力的融媒体发布平台。
大视野融媒网版权与免责声明:
一、凡本站中注明“来源:大视野融媒网”的所有文字、图片和音视频,版权均属大视野融媒网所有,转载时必须注明“来源:大视野融媒网”,并附上原文链接。
二、凡来源非大视野融媒网的新闻(作品)只代表本网传播该消息,并不代表赞同其观点。
如因作品内容、版权和其它问题需要同本网联系的,请在见网后30日内进行,联系邮箱:dsynews@126.com。
版权声明:大视野新闻网版权所有,未经书面授权,不得转载或建立镜像,违者依法必究。 本站违法和不良信息举报电话:010-67332088晋ICP备20007253号
Copyright © 2016- 大视野新闻网 All Rights Reserved互联网新闻信息服务许可证:ISSN 2224-3933 京公网安备:15010502001245