原始标题: Local AI on a Laptop in 2026 (AMD Ryzen AI PRO 128GB)

发布日期: 2026-01-20 | 来源频道: @AllAboutAI

📝 深度摘要

对话背景与核心主题

本期视频探索了在2026年,使用AMD Ryzen AI Pro笔记本(搭载128GB内存)在离线状态下运行各种本地AI模型的可能性。主持人假设了一个场景:如果你在飞机上,带着这台装载AMD Ryzen AI Pro芯片的笔记本电脑,究竟能完成多少AI任务?

核心逻辑拆解

视频首先介绍了测试环境:AMD Ryzen AI Max Pro 395处理器,128GB RAM。测试使用了Ollama作为本地模型运行工具,这是一个极其简便的本地模型启动方式,支持Mac、Windows和Linux。测试了三个核心模型:GPT OSS 20B用于通用对话、Quen 3 Coder 30B用于编程任务、Quen 3VL 8B用于图像识别。

方法论与工具箱

主持人使用verbose模式测试各模型的token生成速度。GPT OSS 20B达到约40 tokens/秒,Quen 3 Coder 30B反而更快,达到51 tokens/秒。视觉模型测试中,向模型展示Hacker News截图,它成功识别出了前三条标题。演示还展示了Open Code(开源版Cursor)配合本地模型的使用,创建了简单的HTML页面和贪吃蛇游戏。

关键洞察与辩论

一个有趣的发现是30B参数的Quen Coder比20B的GPT OSS更快,这说明模型架构对性能的影响可能大于参数规模。主持人强调,对于编程任务,50 tokens/秒的速度已经完全足够,他甚至跟不上阅读速度。对于Agentic工作流(如Open Code),由于需要处理大量上下文,会显著降低本地模型的运行速度。

金句

“50 tokens per second for doing coding, that’s good enough for me. I have no issues with that.”

“Everything is processed right on this device. My data never leaves the machine.”

“I can work with sensitive code or proprietary information without feeling like I’m feeding this back to the bigger companies and training on my secure data.”


📺 视频原片


视频时长: 16 分钟 | 视频ID: UApd-gjQ6nM