据财联社记者多方采访整理得悉，当时国内大模型厂商算力本钱至少七成仍用于练习端，而未来推理将成“大模型下半场”。海内外许多厂商均已盯上推理算力的蛋糕，芯片巨子英特尔服务器CPU至强（Xeon）系列重量级新品亦瞄准推理商场需求，直接带动多家服务器厂商新品于本年9月起至下一年一季度密布面市，国内数据中心预期步入新发展阶段。
推理算力需求或达练习10倍 供应端紧盯蛋糕
“实践上，在AI技能的实践运用落地过程中，用户感触最直观、最激烈的往往是推理环节的功能体现。尽管曩昔咱们一直在着重大模型练习的重要性，但真实到了企业运用层面，推理的需求规划往往是练习需求的5-10倍。”站在推理算力需求视角，紫光股份（000938.SZ）旗下新华三集团核算存储产品线副总裁刘宏程向财联社记者表明。
他进一步告知财联社记者，通用模型运用于详细职业时，往往需求结合企业数据进行私有化微调与推理。“通用大模型的投入本钱过高，许多企业难以承当，并且投入与产出的时间比也较长。因而，企业更倾向于在通用模型的基础上进行微调，以满意本身特定需求，并经过推理来完成运用落地。”
财联社记者采访了解到，许多从业者以为算力需求将持续增加，对职业发展前景持乐观态度。
“咱们以为能够在‘百模大战’比赛中生存下来的通用大模型数量将十分有限，或许不会超越一只手能数得过来的数量。某些参与者或许会面对巨大应战，乃至被商场筛选。但从整个商场的视点来看，练习规划的需求依然十分巨大。此外，当一切的通用模型和私域模型都到达可用并预备变现的阶段时，咱们猜测将会有一个规划到达练习商场5到10倍的推理商场等待着咱们。算力投入估计将在未来5-10年内坚持高速增加。”刘宏程称。
站在供应视角，据财联社记者调查，国内炙手可热的华为、近期因发动IPO颇受重视的GPU独角兽燧原科技、壁仞科技、海外的AMD、Cerebras Systems、FuriosaAI等许多芯片厂商纷繁加码AI推理比赛。与此一起，Meta、微软、OpenAI等厂商亦泄漏亲身下场做推理芯片的方案，其间Meta上半年已正式发布MTIA v2芯片。
财联社记者问及英特尔怎么看待推理算力供应侧的繁荣趋势，梁雅莉称，前述厂商亲身开发推理芯片，“一方面是由于需求旺盛，另一方面也是为了寻觅价值和功能之间的平衡。”
她以为，推理算力需求下，硬件架构和功能当然重要，更重要的是软件的优化和全体体系的规划。软件层面，比方深度学习结构需求不断优化；全体体系规划层面，不管CPU、GPU乃至FPGA，最重要的是怎么与工业的每一个详细场景深度交融。
CPU可用于10B模型推理 推进服务器改造
英特尔最新至强6功能核处理器（代号Granite Rapids）的发布，使得AI推理算力赛道迎来更微弱的CPU选手。
据悉，至强6功能核选用分离式模块化规划，包含Intel 3工艺的核算模块、Intel 7工艺的I/O模块；最高配备128个X86内核，支撑高达每秒6400MT的DDR5内存、每秒8800MT的MRDIMM内存、6条UPI 2.0链路（速率达每秒24 GT），96条PCIe 5.0或64条CXL 2.0通道、504MB的L3缓存。
英特尔至强6能效核处理器（代号Sierra Forest）曾于本年6月推出，针对高中心密度和规划扩展使命所需的高效能优化，而功能核处理器则面向核算密布型和AI作业负载所需的高功能进行优化。
揭露材料显现，至强是英特尔为与一般个人电脑商场作区别研发推出的服务器CPU品牌，该产品线面向中高端企业级服务器、作业站商场。英特尔数据中心与人工智能集团副总裁兼我国区总经理陈葆立泄漏，现有AI服务器中大部分机头CPU仍是英特尔CPU。根据英特尔“四年五个制程节点”战略，2024年至强6系列选用了Intel 3制程工艺。
据悉，自第四代至强起，英特尔针对AI加快推出专属指令集“英特尔®高档矩阵扩展（下称AMX）”，使得CPU能够支撑市道常见大模型的推理核算，第四代、第五代至强能够用于处理6B、7B乃至13B的模型，正被业界很多运用中。而在第六代至强中，AMX亦做出晋级。
财联社记者于发布会现场得悉，从实践推理体现看，针对70亿参数的Llama2大模型推理，至强6功能核比较第五代至强单颗CPU功能和每瓦特功能别离有3.08倍、2.16倍提高；针对80亿参数的Llama3，则别离有2.40倍、1.68倍提高。
