看草图直出代码!实测智谱最新多模态Coding模型
创始人
2026-04-03 20:06:34
0

智东西

作者 | 江宇

编辑 | 漠影

智东西4月2日报道,今日,“国产大模型第一股”智谱发布了其首个多模态Coding基座模型GLM-5V-Turbo,将AI大模型的感知边界从纯文本推到视觉世界。这是继GLM-5-Turbo之后,智谱短时间内在Coding基座模型上的又一次快速迭代。

据官方新闻稿介绍,GLM-5V-Turbo不仅能读懂代码,还能“看懂画面再写代码”。给定一张设计稿截图,它能直接生成完整可运行的前端工程;在接入OpenClaw、AutoClaw等龙虾Agent之后,它也能看懂屏幕、读懂K线图、浏览各类网页,然后自主完成一整套长程任务

得益于出色的视觉编程性能,GLM-5V-Turbo在海外引发了广泛的关注,截至发稿前,其官方推文已经获得了130万+的浏览量,海外开发者甚至夸张地打趣道:“对Anthropic来说,现在游戏结束了。”

X网友@Zaid表示,“Anthropic现在的处境岌岌可危。”

如今,放眼整个行业来看,GLM-5V-Turbo推出的意义正变得越来越清晰:当Coding模型开始进入真实生产环境,光靠文本确实已经不够用了,而刚刚发布的GLM-5V-Turbo,将为「视觉编程」新范式提供一个全新的启示

一、上手实测:看见即复刻,图像即代码

说再多不如直接上手。我们用三个实测案例,看看GLM-5V-Turbo在不同输入方式下的前端复刻能力。

案例一:画个草图,也能复刻?

先从最离谱的场景开始,我们只给GLM-5V-Turbo画几个框框,让它做个酷炫的音乐播放器。结果模型还真搞得像模像样,布局合理、配色协调、连播放控件都安排得明明白白,让它改个配色也是言出法随。建议各位产品经理抓紧体验,以后改需求再也不用看前端的脸色了。

案例二:输入网址,直接复刻

这是GLM-5V-Turbo的主打功能之一。因为模型有强大的GUI Agent能力,只要给它一个目标网站URL,它就能自主浏览页面,梳理布局结构、采集视觉素材与交互细节,然后直接生成完整可运行的前端工程。不需要手动截图、不需要描述需求,一个链接就够了。

例如,我们让GLM-5V-Turbo复刻这个颇具设计感的网站:https://niore.webflow.io/

这是复刻效果,可以看到,不论是布局、字体,甚至是插图都非常相似。

案例三:输入录屏,还原动效

将一段网页操作录屏发给模型,GLM-5V-Turbo能从视频中理解页面的动态交互逻辑——滚动效果、弹窗切换、表单联动、按钮反馈等,然后将这些交互细节还原为可运行的代码。不只是”还原长什么样”,而是”还原怎么动”。

我们把这个美食网站的录屏发给GLM-5V-Turbo,让它复刻一下。

▲录屏

可以看到,网站的布局、照片、字体都比较还原,浮现动效和字体特效这类动态细节也基本复刻到位。

▲结果

二、技术探索:不是简单“加了个视觉模块”

与以往传统方法不同,GLM-5V-Turbo不是在一个纯文本Coding模型上“外挂”了一个视觉理解模块,而是从预训练阶段就开始进行文本与视觉能力的深度融合,解决了“视觉能力与纯文本编程和推理能力无法兼得”的问题。

具体来说,智谱团队研发了新一代CogViT视觉编码器,在通用物体识别、细粒度理解、几何与空间感知上均做到了领先水平,同时设计了一套兼容多模态输入且推理友好的MTP结构,在多模态场景下实现了较高的推理效率。

更关键的是,在强化学习阶段,智谱团队采用了30+任务类型的协同优化策略,覆盖STEM推理、视觉grounding、视频理解、GUI Agent等多个子领域。这种多任务协同强化学习的好处在于,它有效缓解了单领域训练容易出现的不稳定性,也就是说,不会因为某一项能力的提升而牺牲其他能力。

而且从评测数据来看,这套方案确实跑通了。

在多模态Coding维度,GLM-5V-Turbo在设计稿还原、视觉代码生成、多模态检索与问答、视觉探查等基准上均取得领先表现;在衡量真实GUI环境操控能力的AndroidWorld、WebVoyager等基准上同样表现突出。

而在纯文本Coding维度,GLM-5V-Turbo在CC-Bench-V2的Backend、Frontend和Repo Exploration三项核心测试中保持了稳定表现——也就是说,视觉能力的引入并没有拖累纯文本编程能力

用一句话总结:GLM-5V-Turbo不是在“看图”和“写代码”之间做取舍,而是“全都要”

结语:Coding基座模型的下一步,是“看见世界”

从GLM-5-Turbo到GLM-5V-Turbo,智谱在Coding基座模型上的迭代逻辑非常清晰:先让模型在文本世界里把任务跑通,再让它“看见”视觉世界,从而进入更广阔的应用空间。

这背后的判断是:Agent时代,模型能力不只由智能水平定义,还由它能处理的context容量定义。一个只能处理纯文本的模型,哪怕推理能力再强,在真实世界里的应用边界也是有限的。因为真实世界的信息,绝大多数以图片、视频、界面等视觉形式存在。

从这个角度来看,GLM-5V-Turbo不只是智谱的一次产品更新,更像是一个行业信号:Coding模型的竞争,正在从“谁的代码写得好”升级到“谁能看懂世界并写出代码”。

而随着越来越多的Coding模型开始进入真实生产环境,“看得懂、写得出、跑得通”这三项能力的整合程度,将成为区分模型之间差距的关键维度。

这场竞赛,才刚刚进入深水区。

相关内容

海派画家商华:连环画熬出的...
(来源:上观新闻)他既是媒体人,也是画家;既画连环画,也擅国画;既...
2026-08-06 18:32:38
关于国泰海通证券股份有限公...
上证公告(基金)【2026】2403号    根据《上海证券交易所...
2026-08-06 18:27:27
网信办对派拓公司在华销售产...
来源:央视新闻客户端为保障关键信息基础设施安全稳定运行,防范网络安...
2026-08-06 18:15:54
广东青年打造漆艺琵琶 奏响...
中新网广州8月6日电 题:广东青年打造漆艺琵琶 奏响岭南文化“新声...
2026-08-06 18:05:00
武汉加速布局AI数据产业生...
(来源:经济日报)转自:经济日报8月5日,以“数聚硚口·智启未来”...
2026-08-06 18:00:42
如何选择长春本地豆包优化服...
随着AI技术的快速普及,大模型已经成为用户获取信息、做出消费决策的...
2026-08-06 15:59:01
再这么搞下去,中产的返贫下...
所有收割者都会极力阻止你看到这篇文章。 不论你出身如何,一旦你掌握...
2026-08-06 15:57:53
2026年全球半导体材料掀...
截至2026年8月6日 14:02,半导体材料设备指数(93174...
2026-08-06 15:56:54
航油成本倍增仍净赚62亿港...
二季度高企的航油价格,并未拖累国泰航空的业绩。8月5日,国泰航空发...
2026-08-06 15:53:31

热门资讯

如何选择长春本地豆包优化服务提... 随着AI技术的快速普及,大模型已经成为用户获取信息、做出消费决策的重要入口,不少企业发现,当用户通过...
再这么搞下去,中产的返贫下半场... 所有收割者都会极力阻止你看到这篇文章。 不论你出身如何,一旦你掌握了收割者心法,你就能拨开上升路径的...
航油成本倍增仍净赚62亿港元,... 二季度高企的航油价格,并未拖累国泰航空的业绩。8月5日,国泰航空发布2026年中期业绩报告,报告期内...
一年净赚2亿,深圳又出了一个上... 号称“跨境电商之都”的深圳,又跑出了一家跨境上市企业。 AMZ123获悉,7月29日,深圳千岸科技股...
挖币不如当AI房东!比特币矿商... 8月3日,财闻海外资讯消息,比特币矿商TeraWulf正试图通过向人工智能(AI)客户租赁数据中心基...
想买黄金,靠谱渠道大揭秘 在当今的投资和消费市场中,黄金一直是备受青睐的宝贝,它不仅有着耀眼的外表,还具备一定的保值增值功能。...
“小非农”较前值腰斩!黄金暴冲... 汇通财经APP讯——周三(8月5日)北京时间20:15,美国ADP私营部门就业报告正式公布。数据显示...
董事长儿子,接任公司董秘|董秘... 来源|时代商业研究院 作者|实习生杨弘阳、韩迅 编辑|韩迅 8月4日晚,新致软件(688590.SH...
WRC 2026丨江行智能董事... 2026世界机器人大会将于8月19日至23日北人亦创国际会展中心(世界机器人大会展馆)正式举办。 作...
韩股反弹涨到熔断!高盛重申三星... 8月5日,韩国股市持续反弹,一度涨到熔断。当天上午,韩国交易所启动SIDECAR机制,暂停KOSPI...