苹果笔记本外接iPhone跑AI提速44%

AI 驱动中国 纪行 436次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

用户将iPhone 17 Pro Max通过USB-C外接至配备24GB统一内存的M4 Pro版MacBook Pro,利用自制软件拆分Qwen3.8-27B模型运算,使16K上下文预填充速度提升44%。

驱动中国10月4日消息,一名用户将 iPhone 17 Pro Max 通过 USB-C 接口外接至搭载 M4 Pro 芯片的 MacBook Pro,并借助自制软件拆分 Qwen3.8-27B 模型的运算任务,使该模型预填充性能在 16K 上下文下提升 44%。

该 MacBook Pro 配备 24GB 统一内存,运行 Qwen3.8-27B 时,预填充速度会受到内存限制。Wccftech 称,这名 Reddit 用户 u/StayLameBro 采用两种方式,将运算任务拆分给 Mac 本机和 iPhone 17 Pro Max 协同处理。

在预填充加速方案中,MacBook Pro 负责处理每一批 256 个 token 中的第 1 至 40 层,再将激活值数据流传输至手机端;iPhone 17 Pro Max 利用 A19 Pro 的 GPU 运行第 41 至 64 层,Mac 同时开始处理下一批数据。依靠 GPU 运算,手机端运行速度相比不使用 GPU 时提升约 2.4 倍。

该方案中,每 16K 长度的旧上下文会被编译为一套神经网络引擎模型。在 140K 上下文长度下,相较于仅使用 A19 Pro 的 GPU,单 token 写入耗时从 279 毫秒缩短至 176 毫秒。

在将一份 2000 token 文件预填充并保存会话的任务中,上下文设为 8K 时,仅使用 Mac 本机速度为每秒 132 个 token,外接 iPhone 后达到每秒 177 个 token,性能提升 35%;上下文设为 16K 时,速度从每秒 109 个 token 提升至每秒 157 个 token,提升 44%;上下文窗口设为 32K 时,预填充速度从每秒 101 个 token 提升至每秒 130 个 token,提升 29%。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/525113.html
本文价值 ★★★★★ 3 1 人已评
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录
✎ 我要投稿有独家观点或行业线索?向驱动中国投稿,审核采用后署名发布并获积分奖励。 去投稿 ›

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友