AMD Ryzen™ AI 軟體

1.6 版本重點

• 改善 BF16 編譯器的效能，並且縮短編譯時間
• 全新的整數編譯器，支援通用非對稱量化（A8W8、A16W8）
• 擴充僅 NPU 模型的集合，提供最佳化效能（在 KRK 和 GPT 提供更高的符元數/秒）
• 在所有 LLM 中的內容長度增加到 4K
• 新增對新 LLM 架構的支援：Phi-4 和 Qwen-3
• 支援 SD 3.0/3.5 的動態解析度，並提升了其他 SD 模型的效能增益，包括新增的 SD 模型（SD2.1-v 768×768 text2image，SDXL-base 1024×1024 text2image）

1.5 版本重點

• 新功能
  • 使用 Stable Diffusion 管線（SD 1.5、2.1、SDXL 和 3.0）生成影像。
  • 整合語音轉文字功能，並支援 Zipformer 和 Whisper-base 模型。
  • 利用佔先 (Pre-emption) 功能最佳化系統回應能力，將運算資源動態分配給高優先順序的工作。

1.4 版本重點

• 新功能
  • 整合式安裝程式包含 LLM 和通用模型流程（INT8、BF16），在單一發行套件中支援所有模型類型，提供順暢的體驗。
  • 第一個 Window 版本支援 BF16 模型編譯與量化功能，適用於 CNN 和 NLP 工作負載。
  • 支援 LLM OGA Flow，讓您更輕鬆就能高效率部署 LLM。
• 支援新型 LLM 模型
  • DeepSeek-R1 Distill 系列：Llama-8B、Qwen-1.5B、Qwen-7B 
  • Qwen2 系列：Qwen2-1.5B、Qwen2-7B 
  • Gemma2-2B 
  • AMD-OLMO-1B-SFT-DPO  
  • Codellama-7B、Mistral-7B 與更多

技術資源

1.3 版重點

• 新功能 
  • 對 AMD 統一量化器 "Quark" 的初期支援
  • 支援混合精度資料類型與 Copilot+ 應用程式
  • 更新 CNN 分析工具 
• ONNX-GenAI (OGA) 流程的新模型支援 
  • Llama2-7B-Chat / Meta-Llama-3.1-8B
  • Phi-3-Mini-4K-Instruct / Phi-3.5-Mini-Instruct
  • Mistral-7B-Instruct-v0.3

技術資源

1.2 版重點

• 新架構支援 
  • 支援 Strix (STX)：AMD Ryzen™ AI 9 HX370 與 Ryzen AI 9 365 NPU 
  • 透過 Ryzen AI 軟體，統一支援整合式顯示卡 (iGPU) 和 NPU
• 新搶先體驗工具、模型和功能 
  • 新模型分析、分析和視覺化工具，適用於在 NPU上執行的模型（AI 分析儀）
  • 新平台/NPU 檢查和管理工具 (xrt-smi)
  • 對於 PyTorch 和 ONNX 流程，新增多項 LLM 流程支援

技術資源

1.1 版重點

• 新模型支援：
  • 為 Llama 2 7B 新增 w4abf16（3 位元和 4 位元）量化法支援 (Beta)
  • Whisper base（搶先體驗）
• 新 EoU 工具與功能：
  • CNN 基準測試工具，請至 RyzenAI-SW 儲存庫取得
  • 平台/NPU 檢查和管理工具

技術資源

1.0 版重點

• 模型支援
  • +1,000 個經過驗證的 CNN 模型
  • 使用 PyTorch 和 ONNX 流程在 NPU 上執行 OPT-1.3B
• EoU 工具與功能
  • 支援 ONNX PTQ（訓練後量化）、PyTorch PTQ 及 QAT（量化感知訓練）
  • 利用 C++ 和 Python API 支援 ONNX Runtime Vitis AI Execution Provider
  • 在 NPU 上自動排程最高達 8 個同步推論工作階段

技術資源