近日，瑞芯微发布了最新 RK182X 端侧 AI 协处理器，凭借卓越的算力和高带宽特性，支持 3B/7B 大模型实现百 token/s 输出。用户可根据终端算力需求灵活叠加多个 RK182X 协处理器，大幅提升传统工业设备的 AI 处理能力。另外 SDK 兼容 OpenAI API 接口，显著降低集成门槛，为各行业提供安全、可靠、低成本的 AI 部署选择。
在实际测试中，使用 RKNN3-v0.3.0 工具链 在 RK1828 协处理器模组上进行了大模型性能评测。以 Qwen2.5 系列模型 为例，采用 w4a16 量化，覆盖 0.5B、3B 和 7B 三种模型规格。
结果显示，RK1828 在端侧大模型推理上的表现异常出色：
- 0.5B 模型接近 150 token/s
- 3B 模型达到 80 token/s
- 7B 模型稳定在 50 token/s