基于 RK3576 NPU 的离线智能座舱语音交互系统
让每一辆车都拥有自己的 AI 大脑
传统车载语音助手存在三大痛点：
| 痛点 | EdgeAgent 解决方案 |
|---|---|
| 关键词匹配僵化 | Agent 自主决策，理解复杂语义 |
| 功能扩展困难 | 模块化 Skills + Tools，热插拔架构 |
| 单一功能调用 | 多工具动态组合，一次请求多任务处理 |
┌─────────────────────────────────────────────────────────┐
│ EdgeAgent 架构 │
├─────────────────────────────────────────────────────────┤
│ 用户语音 → ASR → Agent 引擎 → 决策 → Skills/Tools → TTS │
│ │ │
│ ▼ │
│ ┌─────────────────────┐ │
│ │ 双层决策架构 │ │
│ │ ┌───────────────┐ │ │
│ │ │ 规则快速路径 │ │ ← 70% 简单查询 │
│ │ │ (<10ms) │ │ │
│ │ └───────────────┘ │ │
│ │ ┌───────────────┐ │ │
│ │ │ LLM 复杂决策 │ │ ← 30% 复杂查询 │
│ │ │ (100-500ms) │ │ │
│ │ └───────────────┘ │ │
│ └─────────────────────┘ │
└─────────────────────────────────────────────────────────┘
| 技能 | 功能 | 示例查询 |
|---|---|---|
warning_lights |
仪表盘警告灯解释 | "发动机灯亮了" |
maintenance_guide |
车辆保养指南 | "多久保养一次" |
feature_guide |
功能使用说明 | "自动泊车怎么用" |
troubleshooting |
故障排除 | "车抖动怎么办" |
safety_driving |
安全驾驶建议 | "雨天开车注意事项" |
emergency_handling |
紧急情况处理 | "爆胎了怎么办" |
tech_specs |
车辆技术参数 | "这车排量多少" |
fuel_economy |
燃油经济性 | "怎么省油" |
maintenance_record |
维护记录查询 | "上次保养是什么时候" |
warranty_policy |
保修政策 | "保修期多长" |
contact_info |
联系信息 | "4S店电话多少" |
| 工具 | 功能 | 参数 |
|---|---|---|
vehicle_knowledge_search |
知识库搜索 | query, skill_name, top_k |
get_vehicle_status |
车辆状态查询 | status_type |
emergency_guide |
紧急处理指南 | emergency_type |
maintenance_reminder |
保养提醒 | service_type |
nearby_poi_search |
附近 POI 搜索 | poi_type, location |
route_planning |
路线规划 | destination |
weather_query |
天气查询 | location |
用户: "发动机故障灯亮了，附近有修车店吗"
Agent 决策链:
1. 意图分类 → KNOWLEDGE + TOOL_USE
2. 并行执行:
- Skill: warning_lights → 获取故障说明
- Tool: nearby_poi_search(poi_type=修车店) → 搜索附近修车店
3. LLM 整合结果
4. 返回: "发动机故障灯亮起可能表示... 附近有以下修车店..."
置信度: 0.85 | 使用工具: 1 | 使用技能: 1
- 硬件: RK3576 NPU 开发板
- 系统: Linux (ARM64)
- 依赖: CMake 3.16+, Python 3.8+, pybind11
# 克隆仓库
git clone https://github.com/hyshhh/agent--.git
cd agent--
# 编译
mkdir build && cd build
cmake ..
make -j4
# 运行
./edge_agent_demoagent--/
├── README.md # 项目说明
├── agent/ # Agent 决策引擎
│ ├── agent_engine.h/.cpp # 核心引擎
│ └── intent_classifier.h/.cpp # 意图分类器
├── skills/ # 知识技能
│ ├── base_skill.h # 基类
│ ├── knowledge_skill.h/.cpp # Python 向量搜索
│ └── skill_registry.h/.cpp # 注册中心
├── tools/ # 工具集
│ ├── base_tool.h # 基类
│ ├── knowledge_search_tool # 知识搜索
│ ├── nearby_poi_tool # 附近 POI
│ ├── weather_tool # 天气查询
│ ├── route_tool # 路线规划
│ ├── vehicle_status_tool # 车辆状态
│ ├── emergency_tool # 紧急指南
│ └── maintenance_tool # 保养提醒
├── edge_llm_rag_system.h/.cpp # 主系统
└── query_classifier.h/.cpp # 查询分类器
| 层级 | 技术 | 说明 |
|---|---|---|
| AI 推理 | DeepSeek-R1-Distill-Qwen-1.5B | 1.5B 参数量，边缘端优化 |
| 向量搜索 | SentenceTransformer | 语义相似度计算 |
| LLM SDK | RKLLM | RK3576 NPU 加速 |
| 通信 | ZeroMQ | 进程间高效通信 |
| TTS | SummerTTS (VITS) | 高质量语音合成 |
| 绑定 | pybind11 | C++/Python 无缝集成 |
| 特性 | 传统方案 | EdgeAgent |
|---|---|---|
| 响应延迟 | 500ms-2s（云端） | 10-500ms（本地） |
| 网络依赖 | 必须联网 | 完全离线 |
| 功能扩展 | 修改核心代码 | 插件化 Skills/Tools |
| 隐私安全 | 数据上传云端 | 本地处理，零泄露 |
| 成本 | 按调用计费 | 一次性部署 |
- 智能座舱: 语音控制车辆功能、查询车辆状态
- 车载助手: 导航、天气、新闻、娱乐
- 紧急救援: 故障诊断、事故处理、救援呼叫
- 保养提醒: 智能保养周期、维修记录查询
- 驾驶辅助: 安全驾驶建议、路况提醒
如果这个项目对你有帮助，请给个 Star 支持一下！
Made with ❤️ by hyshhh