AMD Ryzen AI 软件

1.7 版本亮点

• 新增架构：首次推出混合专家 (MoE) 架构 GPT‑OSS 模型和视觉语言模型 (Gemma‑3 4B)
• Stable Diffusion 已集成至 Ryzen AI 主安装程序，带来统一开发环境
• 如今，LLM 在 NPU 上可处理的最大上下文长度为 16K
• 与 RAI 1.6 相比，BF16 流水线的延迟降低了约 50%

1.6 版本亮点

• 提升了 BF16 编译器的性能并缩短了编译时间
• 新增整数编译器，支持通用非对称量化（A8W8、A16W8）
• 扩展了 NPU 专用模型集并优化了性能（在 KRK 和 GPT 上实现更高的每秒 token 数）
• 所有 LLM 的上下文长度增加到 4K
• 新增对全新 LLM 架构的支持：Phi-4 和 Qwen-3
• 为 SD 3.0/3.5 提供动态分辨率支持，并提升其他 SD 模型的性能，包括新增模型（SD2.1-v 768×768 文生图、SDXL-base 1024×1024 文生图模型）的性能

1.5 版本亮点

• 全新功能
  • 利用 Stable Diffusion 流水线（SD 1.5、2.1、SDXL 及 3.0）生成图像。
  • 集成语音转文本能力，支持 Zipformer 与 Whisper-base 模型。
  • 通过抢占机制优化系统响应能力，为高优先级任务动态分配计算资源。

1.4 版本亮点

• 全新功能
  • Unified Installer 集成了 LLM 与通用模型流程（INT8、BF16），仅需单个发行包即可支持所有模型类型，带来无缝使用体验。
  • 首次在 Windows 上支持针对 CNN 与 NLP 工作负载的 BF16 模型编译及量化。
  • 支持 LLM OGA 流程，助力实现更轻松高效的 LLM 部署。
• 新增 LLM 模型支持
  • DeepSeek-R1 蒸馏系列：Llama-8B、Qwen-1.5B、Qwen-7B
  • Qwen2 系列：Qwen2-1.5B、Qwen2-7B
  • Gemma2-2B
  • AMD-OLMO-1B-SFT-DPO
  • Codellama-7B、Mistral-7B 等

技术资源

1.3 版本亮点

• 全新功能
  • 针对 AMD 统一量化器“Quark”提供早期支持
  • 支持混合精度数据类型和 Copilot+ 应用
  • 更新了 CNN 分析工具
• 针对 ONNX-GenAI (OGA) 流程提供全新模型支持
  • Llama2-7B-Chat/Meta-Llama-3.1-8B
  • Phi-3-Mini-4K-Instruct/Phi-3.5-Mini-Instruct
  • Mistral-7B-Instruct-v0.3

技术资源

1.2 版本亮点

• 新的架构支持
  • 支持 Strix (STX)：AMD Ryzen AI 9 HX370 和 Ryzen AI 9 365 NPU
  • 通过 Ryzen AI 软件统一支持集成 GPU (iGPU) 和 NPU
• 新增了抢先体验工具、模型和功能
  • 适用于在 NPU 上运行的模型的新模型分析和可视化工具 (AI Analyzer)
  • 新平台/NPU 检测管理工具 (xrt-smi)
  • 在 PyTorch 和 ONNX 流中增加了多种 LLM 流支持

技术资源

1.1 版本亮点

• 新模型支持：
  • Llama 2 7B 支持 w4abf16（3 位和 4 位）量化（Beta 版）
  • Whisper 基础版（抢先体验）
• 新的 EoU 工具和功能：
  • RyzenAI-SW Rep 上的 CNN 基准测试工具
  • 平台/NPU 检查和管理工具

技术资源

1.0 版本亮点

• 模型支持
  • 1,000 多个经过验证的 CNN 模型
  • 在 NPU 上使用 PyTorch 和 ONNX 流运行 OPT-1.3B
• EoU 工具和功能
  • 支持 ONNX PTQ（训练后量化）、PyTorch PTQ 和 QAT（量化感知训练）
  • 支持 C++ 和 Python API 的 ONNX Runtime Vitis AI 执行提供程序
  • 在 NPU 上自动安排最多 8 个同时进行的推理会话

技术资源