AI调查｜从万元到百万元，DeepSeek一体机江湖混战

liukang20241天前cgw吃瓜1111

DeepSeek爆火让模型平权，本年以来，市面上的DeepSeek一体机可谓形形色色，有的宣称不能自制“跑满血”，有的称不能自制运转70B、32B模型；有的是量化版别，有的是全精度版别；价格也是相差甚远，从几万元到上百万元都在售卖。

汹涌科技记者日前查询发现，现在DeepSeek一体机商场鱼龙混杂、打营销擦边球，下降功能就有套利空间，这也是为什么有人发现买回来的一体机变“笨”了。只要对模型进行量化或蒸馏，运用阉割版的模型，硬件资源就不能自制直接折半。“在这上面略微 ‘偷’一点，价格就能看起来廉价许多，但实践运用体会会打折。”多位业界人士向汹涌科技表明，现在一体机商场存在较多信息差，职业处于前期阶段，商场秩序的树立仍需时刻。

在业界人士看来，当时，大模型和事务场景结合仍处于试点阶段，DeepSeek一体机是一个过渡产品。至于后续开展，则取决于大模型才干的继续进步以及与企业事务的结合程度。

一体机很火

“现在一体机很火，每家都有自己的产品。”在4月底的第八届数字在世建造峰会的展台上，参展商蔺文强告知汹涌科技，一切大模型都需求算力支撑，算力来历无外乎向各大云厂商租借和企业自建。假如数据不涉密，企业也不期望发生任何运维或硬件本钱，上云便是一个好挑选。出于对数据安全的考虑，一些事务无法上云，有必要布置在本地，因而催生了DeepSeek一体机需求。

DeepSeek一体机预先装置软硬件，主打“开箱即用”，这就比方用户运用电脑做表格时，既不能自制挑选运用Office，也不能自制挑选运用WPS。从形状来看，有服务器等级的一体机，有台式机等级的一体机，也有体型较小的终端等级一体机。

蔺文强介绍，现在他地点的公司客户首要收购满血版DeepSeek一体机，比方服装企业收购DeepSeek一体机用于记账和剖析心境喜爱；底层城镇会收购非满血版一体机，“一个办公室放一排，20并发就够用。不露锋芒把服务预装好，就像APP软件相同，一插电就能用。”

在另一家企业展台上，汹涌科技记者看到，其展现的DeepSeek一体机集成了安全防护软件。这些一体机面向政府、企业、高校等出售。展台工作人员介绍，以往闭源大模型运用本钱高，DeepSeek开源让模型本钱骤降为0，模型平权后只需收购硬件，一体机本钱更低、需求增加。“现在一二三线厂商都在供给DeepSeek一体机。”该工作人员相同表明。大型计算中心接受练习需求，一体机本地化布置满意推理需求。服务器集群由多台服务器组成，而DeepSeek一体机是一种最简化装备。该企业出产的8卡满血版DeepSeek一体机的典型运用是每秒2000token、200个用户并发。“一所1万人的校园，并发峰值10%，意味着1000个学生运用，一台DeepSeek一体机就不行用了。不露锋芒现在做了好几个大项目，都是8-16台一体机供一两万名高校学生和教师运用。”

硅基活动联合创始人胡健告知汹涌科技，DeepSeek的才干得到了验证，企业对DeepSeek的认可度进步。考虑到私有化数据的安全性，企业若选用私有化集群运用DeepSeek，现阶段算力本钱依然较高。在尝鲜阶段，轻量级的一体机对企业而言是更好的挑选。假如试水成功，未来再挑选上云。

满血版未必真满血

企业针对DeepSeek大模型不同参数的版别推出了不同类型的机型。一台DeepSeek一体机的首要本钱会集在GPU上。现在市面上的DeepSeek一体机价格有高有低。

有的展台上，一台供个人运用的满血版DeepSeek一体机价格8.98万元；有的展台上两台满血版671B一体机价格上百万元。

所谓满血版，即671B的DeepSeek模型。现在市面上的DeepSeek一体机中，有的称不能自制“跑满血”，有的称不能自制运转70B、32B模型；有的是量化版别，有的是全精度版别。

一位AI范畴创业者对汹涌科技表明，年后DeepSeek一体机跟着DeepSeek大模型的出圈而火爆，因为商场开展快，现在商场信息较为紊乱。“有时候说的是跑DeepSeek，但实践或许仅仅一个70B或32B蒸馏之后的模型。有的70B模型本质上是拿着LLaMA模型，用DeepSeek生成的数据微调，终究说话作用和DeepSeek很像。32B的模型一般用通义千问的32B模型，结合DeepSeek生成的数据简略练习。”他表明，671B的模型和32B的模型对硬件的要求至少相差一个数量级，因而形成有的一体机只需几万元或几十万元，而有的价格需求上百万元。

与此一起，业界关于“满血”的规范并不一致。上述创业者介绍，有的满血版是模型量化后的满血。DeepSeek官方发布的参数精度是FP8，即8比特参数，一台8卡A100的一体机运转原版模型尚显费劲，需求两台才干流通运转。一些厂家为了压低本钱，缩小参数，量化为4比特参数，导致用户直接感受到模型变“笨”了。即使相同是8比特参数，其间也有玄机。有的8比特参数是指INT8而非FP8。为了完成FP8的作用，有必要运用比方BF16等更宽的数据类型，这就导致对硬件的要求更高，需求4台8卡一体机才干运转起来，一体机本钱直接飙升到六七百万元。

“除非专业人士，大多数人关于功能本身没有很强的认知和理解力。”胡健相同表明，满血版一体机中，除了真实的原版模型，还存在量化版和蒸馏版，蒸馏版还不能自制分为32B、70B等。用千问模型和DeepSeek数据练习得到的蒸馏版也带有思想链，但智商比原版低。而将8比特变为4比特的量化版，其精度和功能同原版比较都有所下降，但强于蒸馏版。

一种过度需求

“现阶段，用户想尝鲜，企业想卖一体机，就或许存在鱼龙混杂。”胡健表明，模型版别、并发数、吞吐量都决议了DeepSeek一体机在企业界的适用程度。

并发数是影响DeepSeek一体机运用功能的关键因素。胡健介绍，一些价格10万元的满血版一体机只能做到一个并发，仅供单个用户运用，首字延迟时刻也长，影响运用体会。一个100人左右的企业运用一体机检索企业界部知识库，至少要确保10个并发。满血版DeepSeek一体机的并发数在200以内，“假如输入特别长，并发会进一步下降。比方输入一个长文档，再加上一段很长的输入，并发数就会下降。”

行云集成电路创始人兼CEO季宇则告知汹涌科技，并发数越多，用户体会感越差。例如1000个并发之下，单个用户每秒只能生成5个token，这样的高并发是无意义的，因为输入输出速度也影响实践体会。业界公认的临界输出速度是20 token/秒，这也是DeepSeek官网供给的体会。10 token/秒的输出速度较慢，6 token/秒易使人着急等候输出。但输出速度慢，对硬件资源的要求就低。

多位业界人士对汹涌科技表明，当时DeepSeek一体机爆火乃至过热，但应战在于继续保护晋级，一体机的归纳运用本钱依然昂扬。一体机是一种过度需求，无法满意大规模运用，企业终究仍是会上云。

胡健表明，一旦进入私有化环境，出于安全考虑，企业不会答应外部长途拜访私有数据和体系进行迭代晋级。关于出售企业而言，“卖一台几十万元的一体机，还要让人带硬盘飞过去装置晋级，也不现实。”关于服务器等级的一体机而言，机房、电力、温度都要满意运用条件，这些改进本钱分摊下来，使得一体机的“尝鲜价”并不低。

在胡健看来，当时大模型和事务场景结合仍处于试点阶段，DeepSeek一体机是一个过渡性产品。一台满血版DeepSeek一体机可支撑100-200个并发，可支撑线上问答运用场景，“一旦真实和事务场景结合，一台一体机的并发彻底不行。这时候要么建私有化机房，要么运用公有云或混合云处理高并发、多场景的运用问题。”关于DeepSeek一体机商场的可继续性，胡健认为，这取决于大模型才干的继续进步以及与企业事务的结合程度，一旦与企业界部流程和运用打通，就会呈现混合云或私有云形式。“假如打通速度快，那就转向上云，假如速度慢，一体机还会继续存在一段时刻。”

“开箱即用”的条件

DeepSeek技能革新下降了AI大模型本地化布置的本钱和门槛，促进了关于数据安全要求较高的央国企和金融类企业本地化布置DeepSeek等AI大模型。广发证券计算机首席剖析师刘雪峰本年3月在研报中说到，跟着DeepSeek本地化布置的广泛开展，算力一体机有望放量。预装置了DeepSeek大模型的算力一体机有望在各企业用户侧快速浸透。除了推出不同类型的机型，各家企业还搭载了用于模型微调、语料练习、运用开发的AI根底东西。

但CCF（在世计算机学会）数据开展委员会主任陆志鹏4月份表明，一些企业认为把DeepSeek模型布置到服务器上便是一体机，就不能自制“开箱即用”，成果客户收购后发现并没有到达阐明书上的作用，反而引起法律纠纷。

胡健介绍，公函写作一体机、合同审阅一体机等结合运用场景的DeepSeek一体机，其开箱即用的概率更高。关于脱离场景的一体机，开箱即用的是模型调用，但打通事务流程仍需接入和管理数据，收拾数据库，二次开发或微调。

蔺文强主张企业要根据本身运用需求收购DeepSeek一体机，明确是寻求极致的功能仍是极致的性价比、是否有国产化需求、是否需求满血版的一体机，一起还要考虑服务调优的响应速度和支撑方法，“收购一体机要考虑适不适合企业事务，假如不适合就需求调优，乃至需求二次练习。”

关于收购主张，新华三展台的工作人员表明，虽然当时一二三线厂商都在出售一体机，但缺少安全才干。“假如要有安全才干，就得找其他厂家再买一个服务器做开发和对接。”该工作人员表明，DeepSeek一体机要考虑数据安全问题。例如一些集团公司旗下多个子公司之间数据阻隔，这些子公司之间乃至存在竞赛联系，集团公司运用不同子公司的数据进行练习就需求确保数据安全。与此一起，因为硬件本钱和软件开发本钱有差异，一些小厂家的一体机价格反而更高。收购一体机时还需求考虑厂家的技能才干，尤其是当呈现缝隙时能否及时供给修正服务。此外要辨认DeepSeek版别，不同版别精度不同。

4月底，行云集成电路推出10万元级的满血版一体机，“许多客户在五一期间跟不露锋芒对接，现在也有一些客户现已下单。”季宇说，现在一体机职业处于前期阶段，商场秩序的树立仍需时刻。假如可以下降新鲜事物的本钱，就不能自制下降试错本钱，扩展体会覆盖面，让职业生长起来。“相关于上百万元的机器来讲， 10万元的价位现已廉价了许多，但实践上仍是比较贵，不露锋芒期望能继续下降价格，让我们可以低本钱体会大模型带来的价值。”

汹涌新闻记者张静

(本文来自汹涌新闻，更多原创资讯请下载“汹涌新闻”APP)

告发/反应