前言：为什么本地推理服务会成为团队的基础设施 过去两年，很多团队已经把大模型从“能聊几句的玩具”推进到了真正的业务链路里：客服质检、代码助手、文档检索、知识库问答、BI 分析、研发自动化、设备运维助手，场景越来越具体，调用量也越来越稳定。这个阶段最容易遇到的矛盾是：单次体验看起来不错，但一旦多人同时使用，延迟、成本、限流、数据安全、模型版本控制都会变成工程问题。 如果只是给个人写一个脚本，直接调用云端 API 最省事；如果团队已经有私有数据、内网系统、稳定 QPS、固定模型和合规要求，本地推理服务就值得认真建设。它不是为了“完全替代云服务”，而是为了把一部分可控、可预测、可缓存、可审计的请求沉到自己的基础设施里：模型版本自己定，日志留在内网，显卡利用率自己优化，业务峰值也可以通过队列和降级策略来处理。 在这一类方案中，vLLM 是目前很常见的选择。它的优势并不是“启动一个模型”这么简单，而是围绕大模型在线推理做了系统级优化：OpenAI 兼容 API、连续批处理、PagedAttention、张量并行、流式输出、Prometheus 指标、较成熟的服务端参数。对于很多团队来说，vLLM 正好站在“研究代码”和“生产服务”之间：比手写 Transformers server 更接近生产，比完整平台又轻量许多。 本文不打算只列一组启动命令。我们会按工程落地的顺序讲清楚：怎样选择模型与硬件，如何启动 OpenAI 兼容服务，为什么 PagedAttention 对吞吐和显存很关键，压测时应该看哪些指标，常见参数如何调，最后再补上网关、监控、systemd、Docker Compose 和故障排查。读完以后，你应该能搭出一个可用的内网推理服务，并知道下一步该怎么把它调稳。 一、先把目标说清楚：不是“跑起来”，而是“稳定地跑” 很多本地大模型项目的第一步都很顺利：下载模型，装依赖，跑一个 demo，看见回复，大家都很兴奋。真正的问题通常在第二周出现：同事开始接入，输入长度不一样，输出长度不一样，有人跑 8K 上下文，有人开流式输出，还有人批量生成摘要。GPU 显存看起来还剩不少，但请求排队越来越长；某些请求首 token 等待十几秒；升级模型后，原来的参数突然不合适；日志里偶尔出现 CUDA OOM，却很难复现。 所以在搭 vLLM 前，建议先明确四个目标。 第一，服务对象是谁。是给内部研发少量调用，还是给业务系统持续调用？如果只是研发使用，优先保证灵活性；如果是业务链路，优先保证限流、监控、灰度和回滚。 第二，模型规模是多少。7B、14B、32B、70B 对显存和并行方式的要求完全不同。模型越大，单卡部署越困难，吞吐和延迟的权衡也越明显。不要只看参数量，还要看量化格式、上下文长度、是否需要多 LoRA、是否要跑 embedding 或 rerank。 第三，请求形态是什么。短问短答、长文摘要、代码生成、Agent 工具调用的 token 分布差别很大。Prefill 阶段主要处理输入 token，Decode 阶段逐 token 生成输出；输入特别长会拉高首 token 延迟，输出特别长会占用更久的 KV Cache。压测时如果只用“你好”这种请求，结果没有参考价值。 第四，接受什么样的服务等级。比如 P95 首 token 延迟小于 3 秒，平均输出速度大于每秒 40 token，排队超过 30 秒直接返回忙碌，单 GPU 显存利用率维持在 85% 左右。这些指标越早写下来，后面调参越不会靠感觉。...

引言 本文基于 2026 年最新行业资料整理，涵盖 ESP32-S3 TinyML edge AI voice vision 2026 的核心概念、开发流程和实战技巧。 ESP32-S3 TinyML edge AI voice vision 2026 概述 嵌入式系统开发需要掌握硬件、软件和系统集成的综合技能。 开发流程 需求分析 → 确定功能、性能指标 硬件选型 → MCU、传感器、通信模块 原理图设计 → 电路设计、仿真验证 软件架构 → 分层设计、模块化 编码实现 → C/C++、RTOS、驱动 调试测试 → 单元测试、系统集成 生产部署 → 批量生产、OTA 升级 常用工具 IDE：Keil、IAR、STM32CubeIDE、VS Code 调试器：J-Link、ST-Link、DAP-Link 示波器：Siglent、Rigol、Keysight 逻辑分析仪：Saleae、Kingst 学习路线 C 语言基础 → 指针、结构体、内存管理 单片机原理 → GPIO、中断、定时器 外设驱动 → UART、SPI、I2C、ADC RTOS → 任务、信号量、消息队列 项目实战 → 综合应用 参考资料 ESP32 Camera Guide 2026: Best Boards, Setup & Projects Talk to it, and it talks back....

前言：为什么同一个模型在不同 NPU 上差距很大？ 做嵌入式 AI 部署时，很多人第一次拿到 NPU 板卡都会有一个误解：只要芯片宣传页写着 1TOPS、6TOPS 或 10TOPS，模型就应该按照这个数字线性变快。实际项目里经常不是这样。同样一个 YOLO、MobileNet 或语音关键词模型，在 A 芯片上跑得很顺，在 B 芯片上却卡在某几个算子；同样是 INT8 量化，有的模型精度几乎不掉，有的模型会出现明显误检；同样是官方转换工具，有的网络一键通过，有的网络需要反复改 ONNX 图、替换算子、拆分子图。 这些问题并不神秘，本质上是 NPU 的计算阵列、片上 SRAM、DMA、数据布局、编译器和运行时之间存在非常强的耦合。CPU 代码慢了，我们通常先看热点函数；GPU 程序慢了，会看 kernel occupancy、显存访问和线程块；NPU 部署慢了，也要有类似的分析框架：先判断瓶颈是算力、带宽、算子支持、量化误差，还是 CPU/NPU 之间的调度开销。 本文从工程视角拆解嵌入式 NPU 的典型架构，并围绕一个真实部署流程展开：模型导出、图优化、量化校准、算子映射、内存规划、运行时流水线和性能排查。文章不绑定某一家芯片，但会覆盖 RK、Amlogic、Kendryte、寒武纪边缘模块以及很多 MCU 级 NPU 都会遇到的共性问题。读完后，你应该能判断一个模型为什么没有跑满 NPU，也能知道该从哪里下手优化。 一、先把 TOPS 的含义说清楚 TOPS 是每秒万亿次操作数，通常用于描述 INT8 乘加能力。例如一个 2TOPS 的 NPU，理论上每秒可以完成 2 万亿次 8 bit 整数运算。问题在于，这个数字往往是理想条件下的峰值：输入输出都在合适的数据布局中，算子可以完全映射到矩阵乘阵列，片上缓存命中率足够高，DMA 搬运没有拖后腿，调度器没有频繁切换任务。 在实际模型里，真正能高效利用 NPU 的通常是卷积、深度卷积、全连接、矩阵乘、部分池化和激活函数。很多看起来不起眼的操作，例如 Reshape、Transpose、Slice、Gather、Resize、NonMaxSuppression，如果不能被 NPU 原生支持，就可能回退到 CPU。一次 CPU 回退不仅带来计算时间，还可能带来缓存同步、数据格式转换和内存拷贝。模型中只要有几个这样的“断点”，端到端延迟就会明显变差。 评估 NPU 时，比 TOPS 更有价值的是下面几个指标：...

引言：双核 MCU 的难点不在“多一个核”，而在边界设计 STM32H745、STM32H747、STM32H755、STM32H757 这类双核 MCU 看起来很诱人：一个 Cortex-M7 跑到几百 MHz，带 I-Cache、D-Cache、FPU 和丰富高速外设；另一个 Cortex-M4 更适合处理中断、采样、控制环和低抖动任务。理论上，把 UI、网络、文件系统、机器视觉前处理放到 M7，把电机控制、ADC 采样、CAN 通信、保护逻辑放到 M4，就能同时得到吞吐量和实时性。 但真正做项目时，问题往往不是“两个核能不能同时跑起来”，而是：谁负责启动谁？共享内存放哪里？消息格式怎么演进？M7 打开 D-Cache 后 M4 为什么收不到新数据？M4 卡死后 M7 如何降级？量产后如何定位一条跨核消息到底丢在哪个阶段？这些问题如果没有在架构阶段想清楚，后面会变成非常难排查的随机故障。 本文以 STM32H7 双核系列为背景，讲一套比较稳妥的 OpenAMP / RPMsg 通信方案。OpenAMP 原本常见于 Linux + MCU 的异构多核系统，在 STM32H7 上也可以作为 Cortex-M7 与 Cortex-M4 之间的消息层。它的价值不是让代码看起来“高级”，而是把共享内存、vring、endpoint、resource table、通知中断这些细节收敛成一套可维护的模型。 这篇文章不会停留在概念层面。我们会从芯片启动模型讲起，逐步进入内存布局、CubeMX 配置、resource table、RPMsg 端点设计、Cache 一致性、协议封装、调试手段和常见故障。文中的代码偏向工程骨架，目的是让你知道每个模块应该放在哪里，以及哪些地方必须根据具体板卡调整。 一、先给两个核心分工：M7 管复杂，M4 管确定 双核 MCU 最容易犯的错误，是把它当成“两个单片机焊在一起”。如果 M7 和 M4 都直接操作同一批外设、都可以改同一段共享变量、都能决定系统状态，那通信层迟早会变成一团乱麻。比较可控的做法是先明确边界：M7 负责复杂业务，M4 负责确定性任务。 例如一个带触摸屏和电机的设备，可以这样拆分： M7：图形界面、参数管理、以太网或 Wi-Fi 网关、日志、文件系统、OTA、上位机协议解析； M4：PWM 输出、编码器采样、ADC 采样、过流保护、实时状态机、CAN 或 RS485 的周期帧； 双核通信：M7 下发参数和控制命令，M4 上报状态、故障码和采样摘要。 这种分工的好处是业务语义清晰。M7 可以处理复杂但不那么确定的任务，偶尔因为文件系统或网络协议阻塞几十毫秒，也不会直接影响 M4 的控制环。M4 则尽量不做字符串解析、大块内存申请和复杂协议栈，只保证实时任务稳定运行。...

引言 本文基于 2026 年最新行业资料整理，涵盖 on-device LLM edge AI agents embedded hardware 2026 的核心概念、开发流程和实战技巧。 on-device LLM edge AI agents embedded hardware 2026 概述 嵌入式系统开发需要掌握硬件、软件和系统集成的综合技能。 开发流程 需求分析 → 确定功能、性能指标 硬件选型 → MCU、传感器、通信模块 原理图设计 → 电路设计、仿真验证 软件架构 → 分层设计、模块化 编码实现 → C/C++、RTOS、驱动 调试测试 → 单元测试、系统集成 生产部署 → 批量生产、OTA 升级 常用工具 IDE：Keil、IAR、STM32CubeIDE、VS Code 调试器：J-Link、ST-Link、DAP-Link 示波器：Siglent、Rigol、Keysight 逻辑分析仪：Saleae、Kingst 学习路线 C 语言基础 → 指针、结构体、内存管理 单片机原理 → GPIO、中断、定时器 外设驱动 → UART、SPI、I2C、ADC RTOS → 任务、信号量、消息队列 项目实战 → 综合应用 参考资料 Smarter Devices, Smaller Chips: Inside Embedded World 2026 Ultimate Guide - The Best Small LLMs For Edge Devices In 2026 Arm at Embedded World 2026: Powering intelligent edge AI systems at scale 本文基于网络公开资料整理，结合嵌入式开发实践经验编写。

引言：边缘智能体正在从“能跑模型”变成“能做闭环” 过去几年，端侧 AI 的讨论大多停留在模型能不能塞进设备：摄像头能不能跑目标检测，MCU 能不能跑唤醒词，工业网关能不能离线识别异常。到了 2025 和 2026 年，问题已经变了。现在更值得关心的是：设备能否在本地理解环境、调用工具、管理状态，并在网络不稳定甚至完全离线时完成一个业务闭环。 这也是边缘硬件和 AI Agent 结合后最有价值的地方。真正落地时，模型只是其中一层，摄像头、麦克风、传感器、NPU、DSP、缓存、队列、OTA、日志和安全策略都会影响最终效果。如果只把注意力放在参数量和 TOPS 上，很容易做出一个演示很好看、现场不稳定的系统。 本文关注的主题是 把 ESP32-S3 当作常开感知节点，用低功耗语音、低帧率视觉和本地规则 Agent 完成离线闭环。 它不是简单地把云端大模型搬到开发板上，而是围绕功耗、内存、实时性、隐私、硬件加速和工程可维护性重新设计一套端侧智能系统。 端侧智能体参考架构 输入设备Camera / MicSensor / Bus 预处理ISP / DSP滤波 / 特征 模型推理NPU / GPUINT8 / Cache Agent 决策状态 / 工具策略 / 记忆 设备执行GPIO / UARTMQTT / CAN 云端同步日志 / OTA模型更新 从传感输入到动作反馈，端侧 Agent 需要处理的不只是模型推理。 一、先把系统边界画清楚 边缘 Agent 与普通边缘推理最大的区别，是它要处理“感知—判断—动作—反馈”这条链路。一个只会输出分类结果的模型，通常只需要输入张量和输出张量；一个能工作的端侧智能体，还需要记住最近发生了什么、知道哪些工具可以调用、判断什么时候应该上报云端，以及在失败时如何降级。 实际项目中，最容易出问题的往往不是模型本身，而是层与层之间的数据移动、线程调度和异常恢复。摄像头帧缓冲占了多少内存，音频采集是否会被日志阻塞，NPU 算子有没有回退 CPU，工具调用有没有超时，这些细节都会决定系统能不能长期运行。 二、硬件平台：先看数据路径，再看 TOPS 很多选型文档会把 TOPS 放在第一位，这当然重要，但如果只看 TOPS，很容易踩坑。端侧系统的瓶颈经常出现在摄像头到内存、内存到 NPU、NPU 到 CPU、CPU 到显示或总线这些路径上。尤其是视觉和多模态任务，数据搬运的代价可能比模型计算还高。...

前言：实时系统为什么越来越离不开网络 过去谈嵌入式实时系统，很多工程师第一反应是中断延迟、任务优先级、定时器精度和 RTOS 调度器。只要 CPU 够快、ISR 写得短、关键任务优先级足够高，系统就能在板子内部把时序控制住。但这几年现场设备的形态已经变了：电机驱动、视觉传感器、PLC、边缘 AI 控制器、远程 IO、机械臂关节模块不再挤在同一块 PCB 上，它们通过以太网组成一个分布式控制系统。此时，实时性的瓶颈不只在内核，也在网络。 传统以太网追求“尽力而为”：帧能发就发，交换机按队列转发，拥塞时排队，严重时丢包。它很适合办公网络和普通数据采集，却不适合“每 1 ms 必须收到一帧传感器数据，控制器计算 200 μs，执行器再在指定窗口更新 PWM”这种硬约束场景。工业现场常见做法是上专用实时以太网，例如 EtherCAT、PROFINET IRT、SERCOS III 等。它们很好用，但生态相对封闭，协议栈、硬件、工具链往往绑定供应商。 TSN（Time-Sensitive Networking，时间敏感网络）试图解决的正是这个问题：在标准以太网上增加时间同步、流量整形、门控队列、帧抢占、流过滤和集中配置等能力，让普通以太网具备可分析、可规划、可隔离的实时传输能力。它不是一个单独协议，而是一组 IEEE 802.1 标准的组合。对于做嵌入式、RTOS、工业控制和边缘计算的团队来说，TSN 的价值不在于“把网络变快”，而在于把网络行为从概率问题变成工程问题：什么时候发、能不能进队列、最多排多久、丢包后如何隔离，都可以在设计阶段说清楚。 本文以实战视角梳理 TSN 在嵌入式实时系统中的落地方式。我们会从基础概念讲起，重点放在 802.1AS 时间同步、802.1Qbv 门控调度、802.1Qci 流过滤、Linux tc 配置和端到端时延预算。文章不会把标准条文逐条翻译，而是站在系统工程师角度回答几个更实际的问题：什么时候需要 TSN？它和 RTOS / PREEMPT_RT 如何配合？一个 1 ms 控制周期应该怎样拆成网络窗口？调试时应该看哪些指标？ 一、TSN 解决的不是带宽，而是确定性 很多项目第一次遇到网络实时性问题时，会本能地升级链路：百兆换千兆，千兆换 2.5G，交换机换更大缓存。短期看，平均延迟确实下降了，但最坏情况不一定变好。原因很简单：实时系统关心的是 deadline miss，而不是平均吞吐。一个 1 ms 周期任务，前 999 次都在 80 μs 内收到帧，只有第 1000 次因为低优先级大包阻塞了 700 μs，控制回路仍然可能抖一下。 确定性网络最核心的指标通常有四个： 有界时延：从发送端应用层写入数据，到接收端应用层读到数据，最大时间可以估算。 低抖动：相邻周期到达时间的偏差可控，不能依赖“运气好”。 流隔离：关键控制流不被日志、视频、OTA、Web 配置页面等普通流量拖累。 可诊断性：当时序变差时，能定位是时钟漂移、门控窗口配置错误、驱动队列阻塞，还是应用线程没有及时取包。 TSN 的设计思路是把网络传输拆成两个层面：首先让所有节点拥有同一套时间基准，然后让交换机和网卡在同一时间基准下按照计划打开或关闭队列。这样一来，控制帧不是“抢着发”，而是在预留窗口里发；普通流量不是“完全禁止”，而是被安排在不影响关键流的时间片内发送。...

前言 在边缘设备上部署深度学习模型，一直是嵌入式 AI 领域最具挑战性的课题之一。当你训练好了一个准确率令人满意的 PyTorch 模型，满心欢喜地想把它搬到 ARM 开发板上跑一跑，却发现原始模型推理一次需要好几秒，这样的性能在实际产品中根本无法使用。这时你才意识到，训练和部署之间，隔着一道看不见却异常宽阔的鸿沟。 这道鸿沟的两边是完全不同的世界：训练端追求的是灵活的算子支持、便捷的调试接口、高效的分布式训练；而部署端追求的却是极致的推理速度、最小的内存占用、最低的功耗开销。大多数框架都是为训练设计的，即使像 PyTorch 这样优秀的框架，其 C++ 前端 LibTorch 在嵌入式设备上的表现也往往差强人意。 于是我们需要专门的推理框架。在众多推理框架中，腾讯开源的 NCNN 是一个相当特别的存在。它从诞生之初就是为移动端和嵌入式设备设计的，没有历史包袱，从内存管理到算子实现都围绕 ARM 架构深度优化。更重要的是，NCNN 是纯 C++ 实现，没有任何第三方依赖，这意味着你可以轻松将它集成到各种奇葩的嵌入式环境中。 我第一次接触 NCNN 是在一块瑞芯微 RK3399 开发板上部署目标检测模型。当时用 PyTorch 推理一帧 YOLO 需要约 800ms，用 TensorFlow Lite 也需要 400ms 左右，而用 NCNN 优化后，同样的模型在同一硬件上只需要 120ms，这还没开启 Vulkan GPU 加速。那一刻我真切感受到，一个好的推理框架带来的性能提升，往往比换一颗芯片还要显著。 这篇文章会带你完整走一遍 NCNN 的部署流程：从模型训练完成后的 ONNX 导出，到 onnx2ncnn 转换，再到模型优化、INT8 量化、最后编写 C++ 推理代码。文中所有命令和代码都经过实际验证，你可以照着一步步操作。 一、为什么选择 NCNN？ 在深入具体操作之前，我们先聊聊为什么在众多推理框架中选择 NCNN，它的核心优势在哪里，又有哪些局限性。 1.1 推理框架的选型维度 选择一个推理框架，通常需要考虑以下几个维度： 维度 说明 重要程度 性能 同样硬件上的推理速度 ⭐⭐⭐⭐⭐ 模型支持 能否正常转换你的模型 ⭐⭐⭐⭐⭐ 易用性 文档是否完善，社区是否活跃 ⭐⭐⭐⭐ 跨平台 支持多少种目标硬件 ⭐⭐⭐⭐ 二进制体积 对资源紧张的 MCU 很重要 ⭐⭐⭐ 许可证 是否允许商业闭源使用 ⭐⭐⭐⭐ 用这个维度表来评估 NCNN，你会发现它在大多数项上得分都很高：性能在 ARM CPU 上属于第一梯队，模型支持覆盖了绝大多数常见算子，Apache 2....

前言 做嵌入式 Linux 或边缘 AI 项目时，很多性能问题最后都会绕回一个朴素但容易被低估的事实：算力不等于吞吐，CPU、NPU、GPU 跑得再快，只要数据喂不上去，整机性能就会被内存系统卡住。 我第一次真正意识到 DDR 带宽的重要性，是在一块多核 ARM SoC 上做 4 路摄像头视频分析。算法同事看 NPU 利用率只有 40% 左右，以为模型还可以继续加大；系统同事看 CPU 使用率也不高，以为瓶颈不在软件。直到我们把 ISP、RGA、NPU、VPU 同时压起来，再去读 DDR 控制器计数器，才发现内存读写已经接近平台可持续带宽的上限。那一刻，所谓“还有很多算力没用上”，其实只是“大家都在等内存”。 这篇文章想把这个问题讲透一点：DDR 带宽不是一个孤立参数，它贯穿了 CPU Cache、AXI/NoC 互联、DMA burst、内存控制器调度、DRAM Bank 冲突、刷新开销以及 Linux 调度策略。很多项目里大家会直接跑一个 memcpy 或 stream，看到数字不错就认为内存没问题；但真实业务往往不是连续大块搬运，而是多个主设备同时访问、读写混合、缓存命中率波动、实时任务和后台任务互相抢总线。 本文会从 SoC 视角出发，拆解一条内存访问路径，并给出一套可以落地的排查和优化方法。示例代码以 Linux 用户态为主，兼顾裸机/RTOS 下的思路。目标不是把每个 DDR 时序参数都背下来，而是建立一个工程上有用的判断框架：什么时候该看 Cache Miss，什么时候该看 AXI outstanding，什么时候该怀疑 DDR controller 的 page policy，什么时候该从数据布局和 DMA burst 入手。 一、先把“带宽”这件事说清楚 DDR 厂商手册里常见的理论带宽计算很简单： 理论带宽 = 数据总线宽度 / 8 × 数据传输速率 例如 32-bit LPDDR4X，数据速率 4266 MT/s，理论峰值约为：...

前言 2024 年被称为 AI Agent 元年。从早期的 AutoGPT 到后来的 CrewAI、AutoGen，再到如今的 LangGraph，多智能体系统的开发框架经历了快速的迭代。我在 2023 年第一次尝试用 AutoGPT 构建自动化任务系统时，整个流程充满了不确定性：Agent 经常"走神"、任务执行到一半就偏离主题、错误处理几乎为零。 到了 2024 年中，我开始使用 LangGraph，这种基于状态机的设计思路彻底改变了我对 Agent 开发的认知。与传统的"让 LLM 自由发挥"不同，LangGraph 让你可以： 精确控制 Agent 的执行路径 在节点间共享完整的状态信息 实现条件分支、循环、重试等复杂逻辑 可视化整个工作流的执行过程 过去半年里，我用 LangGraph 构建了十几个生产级别的多智能体系统：从自动化代码审查工具到技术文档生成器，再到市场研究助理。这些系统的共同特点是：稳定性高、可观测性强、出错时可以优雅回滚。 这篇文章是我对 LangGraph 多智能体开发的系统性总结。从最基础的 State 定义，到复杂的多 Agent 协作模式，再到生产环境的部署优化，我会带你一步步构建一个完整的、可运行的多智能体工作流系统。 一、为什么选择 LangGraph？ 在深入技术细节之前，我们需要先回答一个问题：市面上有这么多多智能体框架，为什么我最终选择了 LangGraph？ 1.1 传统 Agent 框架的痛点 让我先分享几个真实的"踩坑"经历： 故事一：CrewAI 的"集体幻觉" 去年用 CrewAI 做一个市场分析系统，三个 Agent（研究员、分析师、写作者）协作。一开始效果很好，但当任务涉及需要精确数字的财报分析时，我发现三个 Agent 会"互相说服"，最终产出完全虚构的财务数据。更糟糕的是，整个执行过程是一个黑盒，我无法定位是哪个环节出了问题。 故事二：AutoGen 的无限循环 在用 AutoGen 构建代码生成系统时，我经常遇到"代码评审 Agent"和"代码编写 Agent"陷入无限争论的情况。一个说"这个代码有性能问题"，另一个反驳"这是在可读性和性能之间的权衡"，几十个来回后还在原地踏步。AutoGen 缺乏一个明确的"终止条件"机制。 故事三：纯 LangChain 的复杂度 我也尝试过用纯 LangChain 的 Chain 来构建工作流。简单的线性流程还好，但一旦需要循环、条件分支、错误重试，代码就会变得极其复杂，可维护性直线下降。...