|
9 月 20 日消息,苹果最新的 A20 Pro 芯片搭载双 16 核神经网络引擎,这在苹果自研 Apple Silicon 发展史上尚属首次。该神经网络引擎专为处理人工智能运算负载打造,性能超越此前所有 SoC。最新演示显示,一台 iPhone 18 Pro 运行 270 亿参数模型时,运行速度可达 iPhone 17 Pro 的两倍。
iPhone 18 Pro 以及 iPhone 18 Pro Max 均配备 12GB、96 位位宽的 LPDDR5X 内存,内存速度相比 iPhone 17 Pro、iPhone 17 Pro Max 的有明显提升。内存升级再加上这套双 16 核神经网络引擎,将手机端本地 AI 性能推上了全新台阶。网友阿德里安 · 格龙丁(Adrien Grondin)在 iPhone 18 Pro 上运行 Bonsai‑27B 模型,直观展示了性能提升效果;可以明显看到,模型生成词元(token)的速度十分惊人。
诚然,对于 iPhone 而言,可以离线运行体量更大的 270 亿参数 AI 模型属于重大进步,但用户也需要面对一些取舍。首先,X 平台的相关帖子就提出疑问:既然 Bonsai 2 已经发布,还有必要继续使用初代 Bonsai 吗?答案并不乐观,这也是智能手机本地运行 AI 模型不得不面对的残酷现实:采用 2 比特量化版本的 Bonsai 2 体积过大,无法完整存入 iPhone 18 Pro 本地内存,进而会造成性能下降。 据了解,初代 Bonsai 是一款 1 比特量化 AI 模型,4GB 内存设备就可以轻松运行;若是 8GB 乃至 12GB 内存的手机,运行起来更是行云流水。iPhone 18 Pro 除 A20 Pro 芯片之外,还配备速度大幅提升的统一内存,内存带宽可达 115.2GB/s;双 16 核神经网络引擎在神经网络专用任务下,峰值吞吐性能甚至超过芯片内部 7 核 GPU。在此硬件基础上,运行 Bonsai‑27B 模型可以保持高速,不会出现降速卡顿。 希望苹果后续机型能够进一步加大内存规格,届时设备就可以支持参数量更大、复杂度更高的 AI 模型。 AI 解读 本地跑大模型的真实门槛
这次演示的重点其实不是芯片算力翻倍,而是内存容量和带宽决定了本地能跑多大的模型。270亿参数能跑起来,靠的是1比特量化把体积压到12GB内存装得下,而不是模型本身变轻了。 代价也很直接:更新的Bonsai 2用2比特量化,精度更高但体积更大,iPhone 18 Pro装不下,只能退回旧版。这说明端侧AI的瓶颈已经从算力转向内存,芯片再强,内存不够就只能跑压缩得更狠的模型。 对普通用户来说,本地跑大模型的好处是离线、隐私、不花token钱,但能跑什么模型、跑多快,取决于内存规格。目前苹果还没有公布iPhone 18 Pro的价格和具体发售日期。 想本地跑大模型,先看内存够不够,再看芯片强不强。 以上内容由 AI 依据原文补充生成,不代表本站观点,仅供参考。 |

© 2013-2016 Discuz Team. Powered by Discuz! X3.5