13594780417

DeepSeek V4 Pro的神秘翻车,字节的“扒皮”揭开内幕!

DeepSeek V4 Pro的神秘翻车,字节的“扒皮”揭开内幕!

发表时间:2026-10-19

浏览次数:9608

嘿,朋友们,快来看看这桩引人入胜的故事!最近,DeepSeek又要上新啦!你有没有听说他们的服务器刚崩一脚,作品的钱刚刚一交完,咔嚓,又奉上了什么V4.1 Flash的1017新版本。哦哟,这不明摆着是想给大家送福利嘛,真的是莫名其妙地忙碌得很。不过,回来正经的,这次的新Flash模型仍在测试中。今天咱们聊聊,为什么又是Flash,V4 Pro到底跑去哪里了呢?

说起V4 Pro,它可是把梁先生干得几乎要进去“牢房”,后来又上下架,犹如“秽土转生”的奇迹。照理说,咱是不是该问问,这V4 Pro到底出了啥问题呢?好消息!字节的Seed团队就像神探似的,挖出来一些线索,传闻模型的上下文压缩有毛病。看完他们的论文,世超我悄悄跟你说,这波翻车绝不是冤屈,但大蓝鲸也算不得坏!

简单来说,V4 Pro这家伙不是单纯的“老年痴呆”,而是一种跟你逐字逐句挑剔的“选择性失忆”。论文的实验里,研究人员用DeepSeek自家的推理代码让V4 Flash补全段代码。结果呢?只要随便往前面的注释中加几根没啥用的等号,模型就像在玩“跳房子”一样,在正确和错误的答案中来回蹦跶。而且,这一跳就是每四个Token一回合。专业说法是“相位敏感性”,咱粗口翻译就是:V4 Pro这个大鲸鱼特别挑食,它只吃你给的上下文的“好料”。 任我发澳门客户端下载

以前用过AI的小伙伴都知道,模型的注意力往往集中在开头和结尾,空中飞舞的中间信息成了“冤死的灵魂”。这次发现更细致了,仅仅调整信息的位置,就能让这个小家伙耍狠。老天,谁给这条小鲸鱼整得这么小心眼?

研究者们继续深挖,发现这和V4 Pro的压缩策略脱不开关系。为了确保性价比超高,DeepSeek给V4系列模型安装了个CSA+HCA的压缩方案。而问题正是出在这儿,这俩是“分块压缩”,听上去像是要开派对,其实是粗暴得简单。例如CSA,就每8个Token压成一块儿,每4个Token压一次,块和块之间互有重叠。嘿,这不是刚好与实验里的规律对上了嘛,每隔四个Token就上下跳跃。

为了严谨,Seed的老哥还做了个“加强版”的实验,把16000对数据送进128K的上下文,让模型找出特定答案。结果嘛,四个V4模型的表现和大家预估的差不多,特别是没有后训练的Base版的Pro,准确率波动幅度达到34.7%,而Flash直接飙升到40.23%。这可真是一出酣畅淋漓的剧集!甚至在经过后训练的正式版中,Flash的稳定性比Pro高得多,怪不得那批评声如潮水汹涌! 任我发澳门客户端下载

即使正式版修复了一些不稳定的问题,依然存在规律性波动,根本无法彻底消除。这时候大家心里都明白了,只要用上CSA+HCA的组合,或多或少都有点麻烦。可即使找到了病灶,病因仍然像幽灵一样缠绕,架构、训练方式等都有可能对最终效果造成干扰。于是研究员们决定控制变量,除去干扰因素,继续实验,找到真相。

他们选用千问Qwen3-0.6B的小模型作为底座,尝试不同的压缩策略,从零开始训练一批新模型。这一次,真相终于大白!那些不使用分块策略的模型几乎稳定成一条线,而一旦添加分块算法,周期性表现便随之浮出水面。没错,这个周期还会随压缩步长变化,几步Token,几步周期,亲生的。

那么,为什么分块就能引发规律性的“失忆”呢?研究者们从这些新模型中发现了一些线索。按照咱的理解,几个Token成块,那自然应该平分权重,但模型们似乎有自己的“偏好”。在训练过程中,某些层偏爱前面,有的爱中间,还有的只看重后面。等这块一压缩,无论上下文有用还是没用,没在它们心仪的地方,干脆视而不见。 任我发澳门客户端下载

about image

说到此,我想到了当初调试DeepSeek Harness的记忆。那时V4 Pro神经时好时坏,社区开发者们也琢磨出了不少奇招,确保它能正常发挥。当时流行的策略是极简模式,开头只给它两个工具,待它习惯后再全面解锁,现在看来这和那家伙的记忆问题大有关系,再加上过拟合等潜在因素,结果越用越乖张。

那问题来了,DeepSeek为什么非得走这一条风险满满的道路呢?答案其实很简单,眼下大家都在研究组合压缩,DeepSeek可算得上是其中最为激进的一员。前不久火道不亦乐乎的Kimi-K3,采用的是KDA+Gated MLA,而这不禁让人感叹,科技的世界里,竞争果然是如火如荼,热闹非凡。