芯片架构

前言：为什么同一个模型在不同 NPU 上差距很大？ 做嵌入式 AI 部署时，很多人第一次拿到 NPU 板卡都会有一个误解：只要芯片宣传页写着 1TOPS、6TOPS 或 10TOPS，模型就应该按照这个数字线性变快。实际项目里经常不是这样。同样一个 YOLO、MobileNet 或语音关键词模型，在 A 芯片上跑得很顺，在 B 芯片上却卡在某几个算子；同样是 INT8 量化，有的模型精度几乎不掉，有的模型会出现明显误检；同样是官方转换工具，有的网络一键通过，有的网络需要反复改 ONNX 图、替换算子、拆分子图。 这些问题并不神秘，本质上是 NPU 的计算阵列、片上 SRAM、DMA、数据布局、编译器和运行时之间存在非常强的耦合。CPU 代码慢了，我们通常先看热点函数；GPU 程序慢了，会看 kernel occupancy、显存访问和线程块；NPU 部署慢了，也要有类似的分析框架：先判断瓶颈是算力、带宽、算子支持、量化误差，还是 CPU/NPU 之间的调度开销。 本文从工程视角拆解嵌入式 NPU 的典型架构，并围绕一个真实部署流程展开：模型导出、图优化、量化校准、算子映射、内存规划、运行时流水线和性能排查。文章不绑定某一家芯片，但会覆盖 RK、Amlogic、Kendryte、寒武纪边缘模块以及很多 MCU 级 NPU 都会遇到的共性问题。读完后，你应该能判断一个模型为什么没有跑满 NPU，也能知道该从哪里下手优化。 一、先把 TOPS 的含义说清楚 TOPS 是每秒万亿次操作数，通常用于描述 INT8 乘加能力。例如一个 2TOPS 的 NPU，理论上每秒可以完成 2 万亿次 8 bit 整数运算。问题在于，这个数字往往是理想条件下的峰值：输入输出都在合适的数据布局中，算子可以完全映射到矩阵乘阵列，片上缓存命中率足够高，DMA 搬运没有拖后腿，调度器没有频繁切换任务。 在实际模型里，真正能高效利用 NPU 的通常是卷积、深度卷积、全连接、矩阵乘、部分池化和激活函数。很多看起来不起眼的操作，例如 Reshape、Transpose、Slice、Gather、Resize、NonMaxSuppression，如果不能被 NPU 原生支持，就可能回退到 CPU。一次 CPU 回退不仅带来计算时间，还可能带来缓存同步、数据格式转换和内存拷贝。模型中只要有几个这样的“断点”，端到端延迟就会明显变差。 评估 NPU 时，比 TOPS 更有价值的是下面几个指标： ...

前言 做嵌入式 Linux 或边缘 AI 项目时，很多性能问题最后都会绕回一个朴素但容易被低估的事实：算力不等于吞吐，CPU、NPU、GPU 跑得再快，只要数据喂不上去，整机性能就会被内存系统卡住。 我第一次真正意识到 DDR 带宽的重要性，是在一块多核 ARM SoC 上做 4 路摄像头视频分析。算法同事看 NPU 利用率只有 40% 左右，以为模型还可以继续加大；系统同事看 CPU 使用率也不高，以为瓶颈不在软件。直到我们把 ISP、RGA、NPU、VPU 同时压起来，再去读 DDR 控制器计数器，才发现内存读写已经接近平台可持续带宽的上限。那一刻，所谓“还有很多算力没用上”，其实只是“大家都在等内存”。 这篇文章想把这个问题讲透一点：DDR 带宽不是一个孤立参数，它贯穿了 CPU Cache、AXI/NoC 互联、DMA burst、内存控制器调度、DRAM Bank 冲突、刷新开销以及 Linux 调度策略。很多项目里大家会直接跑一个 memcpy 或 stream，看到数字不错就认为内存没问题；但真实业务往往不是连续大块搬运，而是多个主设备同时访问、读写混合、缓存命中率波动、实时任务和后台任务互相抢总线。 本文会从 SoC 视角出发，拆解一条内存访问路径，并给出一套可以落地的排查和优化方法。示例代码以 Linux 用户态为主，兼顾裸机/RTOS 下的思路。目标不是把每个 DDR 时序参数都背下来，而是建立一个工程上有用的判断框架：什么时候该看 Cache Miss，什么时候该看 AXI outstanding，什么时候该怀疑 DDR controller 的 page policy，什么时候该从数据布局和 DMA burst 入手。 一、先把“带宽”这件事说清楚 DDR 厂商手册里常见的理论带宽计算很简单： 理论带宽 = 数据总线宽度 / 8 × 数据传输速率 例如 32-bit LPDDR4X，数据速率 4266 MT/s，理论峰值约为： ...

前言 2026 年，芯片架构领域正在经历一场前所未有的变革。 过去三十年，ARM 架构凭借其低功耗、高效率的设计哲学，几乎垄断了整个移动设备和嵌入式市场。而 x86 架构则凭借强大的生态和软件兼容性，牢牢占据着桌面和服务器市场的主导地位。对于普通开发者来说，芯片架构似乎是一个遥不可及的话题——那是 Intel、ARM、高通这些巨头的游戏。 但一切都在 2010 年发生了改变。 加州大学伯克利分校的 Krste Asanović 教授带领他的团队，启动了一个看似疯狂的项目：从零开始设计一个全新的指令集架构（ISA），并且将其完全开源、免费授权。这个项目就是 RISC-V，读作 “Risk-Five”。 十五年后的今天，RISC-V 已经从一个学术项目成长为撼动整个芯片产业的力量。从最低端的 IoT 微控制器，到高性能服务器 CPU；从消费电子的 AI 加速卡，到超级计算机的计算节点——RISC-V 的身影无处不在。NVIDIA 的下一代 GPU 将集成 RISC-V 核心，Intel 的代工业务正在为客户生产 RISC-V 芯片，甚至连 ARM 自己都开始布局 RISC-V 相关业务。 为什么一个开源的指令集能够引发如此巨大的产业震动？RISC-V 到底解决了什么问题？它的技术优势在哪里？普通开发者又如何参与到这场架构革命中来？ 本文将带你从零开始，深入解析 RISC-V 架构的设计哲学、指令集细节、汇编编程、特权机制，最终实现一个简单的操作系统内核。无论你是嵌入式工程师、系统程序员，还是对芯片架构感兴趣的普通开发者，读完这篇文章，你都将对 RISC-V 有一个全面而深刻的理解。 一、为什么 RISC-V 能够撼动 ARM 的地位？ 在深入技术细节之前，我们需要先理解一个问题：在 ARM 和 x86 已经如此成熟的今天，为什么整个产业还要费心费力地去拥抱一个全新的架构？ 答案藏在三个关键词里：成本、控制权、创新。 1.1 授权费用的天壤之别 让我们先算一笔账。如果你想设计一款基于 ARM 架构的芯片，你需要支付哪些费用？ 首先是 架构授权费（Architecture License），这是使用 ARM 指令集本身的入门费。根据公开资料，ARM v8/v9 的架构授权费大约在 1000 万到 5000 万美元之间。注意，这只是让你"有权"设计兼容 ARM 指令集的 CPU，你还没有拿到任何实际的 CPU 设计。 ...