|
9 月 25 日消息,@aaronp613 今天(9 月 25 日)在 X 平台发布推文,报道称 Jamf 用户大会(JNUC)中,苹果公司公布一张端侧 AI 推理能力对比图表,展示从 iPhone、iPad 到 Mac Studio 集群完整硬件梯队的本地 AI 上限。 JNUC 是 Jamf 每年举办的全球用户大会,汇聚 Apple IT 管理员、行业领袖和技术爱好者,分享设备管理、安全、自动化等方面的最新技术与实践。
在今年 JNUC 活动中,苹果公司在其“IT 行业最新动态”环节展示了诸多合作内容,在聚焦 AI 端侧的演讲中展示了图片,我们梳理相关信息如下:
苹果这套方案依托统一内存架构,是实现设备端大模型推理的核心。内存容量、带宽直接决定硬件可加载模型的参数量,设备定位越高,本地 AI 能力越强。
AI 解读 端侧AI的瓶颈是内存带宽
对普通用户来说,这张表最实际的意义是:想在本地跑大模型,先看设备的内存够不够,而不是只看芯片型号。140亿参数放在手机上,能覆盖日常的写作辅助和图片处理,但别指望它替代云端大模型。 往上走,MacBook Air的350亿和Mac mini的700亿之间,差距来自内存从32GB到64GB、带宽从153GB/s到307GB/s。这意味着同一款模型,低配设备可能根本装不进去,或者装进去也跑得慢。 苹果把集群方案也列出来,说明它想覆盖从个人到工作站的完整链条。但原文没提这些能力何时落地、哪些系统版本支持,这部分只能等后续消息。 选设备跑本地AI,先看内存容量和带宽,再看芯片。 以上内容由 AI 依据原文补充生成,不代表本站观点,仅供参考。 |

© 2013-2016 Discuz Team. Powered by Discuz! X3.5