嵌入式开发:Webnn Webgpu Browser On-Device Ai Edge Agents 2026

引言 本文基于 2026 年最新行业资料整理,涵盖 WebNN WebGPU browser on-device AI edge agents 2026 的核心概念、开发流程和实战技巧。 WebNN WebGPU browser on-device AI edge agents 2026 概述 嵌入式系统开发需要掌握硬件、软件和系统集成的综合技能。 开发流程 需求分析 → 确定功能、性能指标 硬件选型 → MCU、传感器、通信模块 原理图设计 → 电路设计、仿真验证 软件架构 → 分层设计、模块化 编码实现 → C/C++、RTOS、驱动 调试测试 → 单元测试、系统集成 生产部署 → 批量生产、OTA 升级 常用工具 IDE:Keil、IAR、STM32CubeIDE、VS Code 调试器:J-Link、ST-Link、DAP-Link 示波器:Siglent、Rigol、Keysight 逻辑分析仪:Saleae、Kingst 学习路线 C 语言基础 → 指针、结构体、内存管理 单片机原理 → GPIO、中断、定时器 外设驱动 → UART、SPI、I2C、ADC RTOS → 任务、信号量、消息队列 项目实战 → 综合应用 参考资料 Expanding on‑device AI in Microsoft Edge: New models and APIs for the web - Microsoft Edge Blog I Replaced My AI Server With A Browser Tab (WebGPU 2026 Setup) Inside the Web AI Revolution: On-Device ML, WebGPU, and Real-World Deployments 本文基于网络公开资料整理,结合嵌入式开发实践经验编写。

June 8, 2026 · 1 min · 👁️ 1 · alexant · 嵌入式

Zephyr RTOS 设备树与驱动开发实战:从 Devicetree、Kconfig 到可复用传感器驱动

前言 如果你长期写 STM32、ESP32 或 Linux 驱动,第一次接触 Zephyr RTOS 时,最容易卡住的地方通常不是线程、信号量这些传统 RTOS 概念,而是三个看起来“有点绕”的基础设施:Devicetree、Kconfig 和驱动模型。很多人会问:为什么点一个 LED、读一个 I2C 传感器,不能像裸机工程那样直接写寄存器地址?为什么配置宏要分散在 prj.conf、Kconfig、*.overlay、*.yaml 和生成目录里? 原因很简单:Zephyr 面向的不是单个芯片或单块板子,而是“同一套应用可以在不同板级硬件上复用”。它把硬件描述、功能裁剪、驱动实例化、应用逻辑拆开,让应用尽量不关心底层板子的管脚、总线地址和外设差异。这个思路非常适合产品化嵌入式开发:今天样机用 nRF52,明天量产版换 STM32;今天传感器挂在 i2c0,明天板子改版挪到 i2c1;应用层最好只写一次。 本文不做“概念堆砌”,而是以一个虚构但贴近真实项目的 I2C 温湿度传感器 xyz123 为例,完整走一遍 Zephyr 驱动开发链路:如何写 Devicetree overlay,如何写 binding,如何通过 Kconfig 打开驱动,如何用 DEVICE_DT_INST_DEFINE() 生成设备实例,如何在应用中调用标准 sensor API,最后再给出调试和移植时最常见的坑。 一、为什么 Zephyr 要把硬件描述放到 Devicetree 在传统裸机工程里,硬件信息经常散落在 C 代码中:I2C 地址写成宏,GPIO 管脚写成宏,时钟频率写在 board.h,中断优先级写在初始化函数里。项目小的时候这很直观;项目一旦有多块板、多种传感器、多套 SKU,维护成本会很快上升。 Zephyr 借鉴 Linux 的 Devicetree 思路,把“板上有什么硬件、硬件挂在哪里、默认参数是什么”写成树状描述。比如一个 I2C 传感器可以描述为:它挂在 i2c1 控制器下面,地址是 0x44,中断脚连接到 gpio0 的第 12 脚,采样周期默认 1000 ms。驱动代码不直接写死这些值,而是在编译期从 Devicetree 生成的头文件中取。 这种方式有三个直接好处:...

嵌入式开发:Openvino Genai Npu Industrial Edge Gateway 2025

引言 本文基于 2026 年最新行业资料整理,涵盖 OpenVINO GenAI NPU industrial edge gateway 2025 的核心概念、开发流程和实战技巧。 OpenVINO GenAI NPU industrial edge gateway 2025 概述 嵌入式系统开发需要掌握硬件、软件和系统集成的综合技能。 开发流程 需求分析 → 确定功能、性能指标 硬件选型 → MCU、传感器、通信模块 原理图设计 → 电路设计、仿真验证 软件架构 → 分层设计、模块化 编码实现 → C/C++、RTOS、驱动 调试测试 → 单元测试、系统集成 生产部署 → 批量生产、OTA 升级 常用工具 IDE:Keil、IAR、STM32CubeIDE、VS Code 调试器:J-Link、ST-Link、DAP-Link 示波器:Siglent、Rigol、Keysight 逻辑分析仪:Saleae、Kingst 学习路线 C 语言基础 → 指针、结构体、内存管理 单片机原理 → GPIO、中断、定时器 外设驱动 → UART、SPI、I2C、ADC RTOS → 任务、信号量、消息队列 项目实战 → 综合应用 参考资料 OpenVINO 2025.4 Release Broadens Model Support - Edge AI and Vision Alliance Release Notes for Intel Distribution of OpenVINO Toolkit 2025....

June 7, 2026 · 1 min · 👁️ 1 · alexant · 嵌入式

vLLM 本地大模型推理服务实战:从 OpenAI API 到吞吐、显存与延迟调优

前言:为什么本地推理服务会成为团队的基础设施 过去两年,很多团队已经把大模型从“能聊几句的玩具”推进到了真正的业务链路里:客服质检、代码助手、文档检索、知识库问答、BI 分析、研发自动化、设备运维助手,场景越来越具体,调用量也越来越稳定。这个阶段最容易遇到的矛盾是:单次体验看起来不错,但一旦多人同时使用,延迟、成本、限流、数据安全、模型版本控制都会变成工程问题。 如果只是给个人写一个脚本,直接调用云端 API 最省事;如果团队已经有私有数据、内网系统、稳定 QPS、固定模型和合规要求,本地推理服务就值得认真建设。它不是为了“完全替代云服务”,而是为了把一部分可控、可预测、可缓存、可审计的请求沉到自己的基础设施里:模型版本自己定,日志留在内网,显卡利用率自己优化,业务峰值也可以通过队列和降级策略来处理。 在这一类方案中,vLLM 是目前很常见的选择。它的优势并不是“启动一个模型”这么简单,而是围绕大模型在线推理做了系统级优化:OpenAI 兼容 API、连续批处理、PagedAttention、张量并行、流式输出、Prometheus 指标、较成熟的服务端参数。对于很多团队来说,vLLM 正好站在“研究代码”和“生产服务”之间:比手写 Transformers server 更接近生产,比完整平台又轻量许多。 本文不打算只列一组启动命令。我们会按工程落地的顺序讲清楚:怎样选择模型与硬件,如何启动 OpenAI 兼容服务,为什么 PagedAttention 对吞吐和显存很关键,压测时应该看哪些指标,常见参数如何调,最后再补上网关、监控、systemd、Docker Compose 和故障排查。读完以后,你应该能搭出一个可用的内网推理服务,并知道下一步该怎么把它调稳。 一、先把目标说清楚:不是“跑起来”,而是“稳定地跑” 很多本地大模型项目的第一步都很顺利:下载模型,装依赖,跑一个 demo,看见回复,大家都很兴奋。真正的问题通常在第二周出现:同事开始接入,输入长度不一样,输出长度不一样,有人跑 8K 上下文,有人开流式输出,还有人批量生成摘要。GPU 显存看起来还剩不少,但请求排队越来越长;某些请求首 token 等待十几秒;升级模型后,原来的参数突然不合适;日志里偶尔出现 CUDA OOM,却很难复现。 所以在搭 vLLM 前,建议先明确四个目标。 第一,服务对象是谁。是给内部研发少量调用,还是给业务系统持续调用?如果只是研发使用,优先保证灵活性;如果是业务链路,优先保证限流、监控、灰度和回滚。 第二,模型规模是多少。7B、14B、32B、70B 对显存和并行方式的要求完全不同。模型越大,单卡部署越困难,吞吐和延迟的权衡也越明显。不要只看参数量,还要看量化格式、上下文长度、是否需要多 LoRA、是否要跑 embedding 或 rerank。 第三,请求形态是什么。短问短答、长文摘要、代码生成、Agent 工具调用的 token 分布差别很大。Prefill 阶段主要处理输入 token,Decode 阶段逐 token 生成输出;输入特别长会拉高首 token 延迟,输出特别长会占用更久的 KV Cache。压测时如果只用“你好”这种请求,结果没有参考价值。 第四,接受什么样的服务等级。比如 P95 首 token 延迟小于 3 秒,平均输出速度大于每秒 40 token,排队超过 30 秒直接返回忙碌,单 GPU 显存利用率维持在 85% 左右。这些指标越早写下来,后面调参越不会靠感觉。...

嵌入式开发:Esp32-S3 Tinyml Edge Ai Voice Vision 2026

引言 本文基于 2026 年最新行业资料整理,涵盖 ESP32-S3 TinyML edge AI voice vision 2026 的核心概念、开发流程和实战技巧。 ESP32-S3 TinyML edge AI voice vision 2026 概述 嵌入式系统开发需要掌握硬件、软件和系统集成的综合技能。 开发流程 需求分析 → 确定功能、性能指标 硬件选型 → MCU、传感器、通信模块 原理图设计 → 电路设计、仿真验证 软件架构 → 分层设计、模块化 编码实现 → C/C++、RTOS、驱动 调试测试 → 单元测试、系统集成 生产部署 → 批量生产、OTA 升级 常用工具 IDE:Keil、IAR、STM32CubeIDE、VS Code 调试器:J-Link、ST-Link、DAP-Link 示波器:Siglent、Rigol、Keysight 逻辑分析仪:Saleae、Kingst 学习路线 C 语言基础 → 指针、结构体、内存管理 单片机原理 → GPIO、中断、定时器 外设驱动 → UART、SPI、I2C、ADC RTOS → 任务、信号量、消息队列 项目实战 → 综合应用 参考资料 ESP32 Camera Guide 2026: Best Boards, Setup & Projects Talk to it, and it talks back....

June 6, 2026 · 1 min · 👁️ 0 · alexant · 嵌入式

嵌入式 NPU 架构与算子优化实战:从内存带宽到 INT8 部署

前言:为什么同一个模型在不同 NPU 上差距很大? 做嵌入式 AI 部署时,很多人第一次拿到 NPU 板卡都会有一个误解:只要芯片宣传页写着 1TOPS、6TOPS 或 10TOPS,模型就应该按照这个数字线性变快。实际项目里经常不是这样。同样一个 YOLO、MobileNet 或语音关键词模型,在 A 芯片上跑得很顺,在 B 芯片上却卡在某几个算子;同样是 INT8 量化,有的模型精度几乎不掉,有的模型会出现明显误检;同样是官方转换工具,有的网络一键通过,有的网络需要反复改 ONNX 图、替换算子、拆分子图。 这些问题并不神秘,本质上是 NPU 的计算阵列、片上 SRAM、DMA、数据布局、编译器和运行时之间存在非常强的耦合。CPU 代码慢了,我们通常先看热点函数;GPU 程序慢了,会看 kernel occupancy、显存访问和线程块;NPU 部署慢了,也要有类似的分析框架:先判断瓶颈是算力、带宽、算子支持、量化误差,还是 CPU/NPU 之间的调度开销。 本文从工程视角拆解嵌入式 NPU 的典型架构,并围绕一个真实部署流程展开:模型导出、图优化、量化校准、算子映射、内存规划、运行时流水线和性能排查。文章不绑定某一家芯片,但会覆盖 RK、Amlogic、Kendryte、寒武纪边缘模块以及很多 MCU 级 NPU 都会遇到的共性问题。读完后,你应该能判断一个模型为什么没有跑满 NPU,也能知道该从哪里下手优化。 一、先把 TOPS 的含义说清楚 TOPS 是每秒万亿次操作数,通常用于描述 INT8 乘加能力。例如一个 2TOPS 的 NPU,理论上每秒可以完成 2 万亿次 8 bit 整数运算。问题在于,这个数字往往是理想条件下的峰值:输入输出都在合适的数据布局中,算子可以完全映射到矩阵乘阵列,片上缓存命中率足够高,DMA 搬运没有拖后腿,调度器没有频繁切换任务。 在实际模型里,真正能高效利用 NPU 的通常是卷积、深度卷积、全连接、矩阵乘、部分池化和激活函数。很多看起来不起眼的操作,例如 Reshape、Transpose、Slice、Gather、Resize、NonMaxSuppression,如果不能被 NPU 原生支持,就可能回退到 CPU。一次 CPU 回退不仅带来计算时间,还可能带来缓存同步、数据格式转换和内存拷贝。模型中只要有几个这样的“断点”,端到端延迟就会明显变差。 评估 NPU 时,比 TOPS 更有价值的是下面几个指标:...

STM32H7 双核通信实战:用 OpenAMP 与 RPMsg 打通 Cortex-M7 / Cortex-M4

引言:双核 MCU 的难点不在“多一个核”,而在边界设计 STM32H745、STM32H747、STM32H755、STM32H757 这类双核 MCU 看起来很诱人:一个 Cortex-M7 跑到几百 MHz,带 I-Cache、D-Cache、FPU 和丰富高速外设;另一个 Cortex-M4 更适合处理中断、采样、控制环和低抖动任务。理论上,把 UI、网络、文件系统、机器视觉前处理放到 M7,把电机控制、ADC 采样、CAN 通信、保护逻辑放到 M4,就能同时得到吞吐量和实时性。 但真正做项目时,问题往往不是“两个核能不能同时跑起来”,而是:谁负责启动谁?共享内存放哪里?消息格式怎么演进?M7 打开 D-Cache 后 M4 为什么收不到新数据?M4 卡死后 M7 如何降级?量产后如何定位一条跨核消息到底丢在哪个阶段?这些问题如果没有在架构阶段想清楚,后面会变成非常难排查的随机故障。 本文以 STM32H7 双核系列为背景,讲一套比较稳妥的 OpenAMP / RPMsg 通信方案。OpenAMP 原本常见于 Linux + MCU 的异构多核系统,在 STM32H7 上也可以作为 Cortex-M7 与 Cortex-M4 之间的消息层。它的价值不是让代码看起来“高级”,而是把共享内存、vring、endpoint、resource table、通知中断这些细节收敛成一套可维护的模型。 这篇文章不会停留在概念层面。我们会从芯片启动模型讲起,逐步进入内存布局、CubeMX 配置、resource table、RPMsg 端点设计、Cache 一致性、协议封装、调试手段和常见故障。文中的代码偏向工程骨架,目的是让你知道每个模块应该放在哪里,以及哪些地方必须根据具体板卡调整。 一、先给两个核心分工:M7 管复杂,M4 管确定 双核 MCU 最容易犯的错误,是把它当成“两个单片机焊在一起”。如果 M7 和 M4 都直接操作同一批外设、都可以改同一段共享变量、都能决定系统状态,那通信层迟早会变成一团乱麻。比较可控的做法是先明确边界:M7 负责复杂业务,M4 负责确定性任务。 例如一个带触摸屏和电机的设备,可以这样拆分: M7:图形界面、参数管理、以太网或 Wi-Fi 网关、日志、文件系统、OTA、上位机协议解析; M4:PWM 输出、编码器采样、ADC 采样、过流保护、实时状态机、CAN 或 RS485 的周期帧; 双核通信:M7 下发参数和控制命令,M4 上报状态、故障码和采样摘要。 这种分工的好处是业务语义清晰。M7 可以处理复杂但不那么确定的任务,偶尔因为文件系统或网络协议阻塞几十毫秒,也不会直接影响 M4 的控制环。M4 则尽量不做字符串解析、大块内存申请和复杂协议栈,只保证实时任务稳定运行。...

嵌入式开发:On-Device Llm Edge Ai Agents Embedded Hardware 2026

引言 本文基于 2026 年最新行业资料整理,涵盖 on-device LLM edge AI agents embedded hardware 2026 的核心概念、开发流程和实战技巧。 on-device LLM edge AI agents embedded hardware 2026 概述 嵌入式系统开发需要掌握硬件、软件和系统集成的综合技能。 开发流程 需求分析 → 确定功能、性能指标 硬件选型 → MCU、传感器、通信模块 原理图设计 → 电路设计、仿真验证 软件架构 → 分层设计、模块化 编码实现 → C/C++、RTOS、驱动 调试测试 → 单元测试、系统集成 生产部署 → 批量生产、OTA 升级 常用工具 IDE:Keil、IAR、STM32CubeIDE、VS Code 调试器:J-Link、ST-Link、DAP-Link 示波器:Siglent、Rigol、Keysight 逻辑分析仪:Saleae、Kingst 学习路线 C 语言基础 → 指针、结构体、内存管理 单片机原理 → GPIO、中断、定时器 外设驱动 → UART、SPI、I2C、ADC RTOS → 任务、信号量、消息队列 项目实战 → 综合应用 参考资料 Smarter Devices, Smaller Chips: Inside Embedded World 2026 Ultimate Guide - The Best Small LLMs For Edge Devices In 2026 Arm at Embedded World 2026: Powering intelligent edge AI systems at scale 本文基于网络公开资料整理,结合嵌入式开发实践经验编写。

June 5, 2026 · 1 min · 👁️ 0 · alexant · 嵌入式

ESP32-S3 TinyML 实战:离线语音唤醒、视觉检测与端侧小智能体

引言:边缘智能体正在从“能跑模型”变成“能做闭环” 过去几年,端侧 AI 的讨论大多停留在模型能不能塞进设备:摄像头能不能跑目标检测,MCU 能不能跑唤醒词,工业网关能不能离线识别异常。到了 2025 和 2026 年,问题已经变了。现在更值得关心的是:设备能否在本地理解环境、调用工具、管理状态,并在网络不稳定甚至完全离线时完成一个业务闭环。 这也是边缘硬件和 AI Agent 结合后最有价值的地方。真正落地时,模型只是其中一层,摄像头、麦克风、传感器、NPU、DSP、缓存、队列、OTA、日志和安全策略都会影响最终效果。如果只把注意力放在参数量和 TOPS 上,很容易做出一个演示很好看、现场不稳定的系统。 本文关注的主题是 把 ESP32-S3 当作常开感知节点,用低功耗语音、低帧率视觉和本地规则 Agent 完成离线闭环。 它不是简单地把云端大模型搬到开发板上,而是围绕功耗、内存、实时性、隐私、硬件加速和工程可维护性重新设计一套端侧智能系统。 端侧智能体参考架构 输入设备Camera / MicSensor / Bus 预处理ISP / DSP滤波 / 特征 模型推理NPU / GPUINT8 / Cache Agent 决策状态 / 工具策略 / 记忆 设备执行GPIO / UARTMQTT / CAN 云端同步日志 / OTA模型更新 从传感输入到动作反馈,端侧 Agent 需要处理的不只是模型推理。 一、先把系统边界画清楚 边缘 Agent 与普通边缘推理最大的区别,是它要处理“感知—判断—动作—反馈”这条链路。一个只会输出分类结果的模型,通常只需要输入张量和输出张量;一个能工作的端侧智能体,还需要记住最近发生了什么、知道哪些工具可以调用、判断什么时候应该上报云端,以及在失败时如何降级。 实际项目中,最容易出问题的往往不是模型本身,而是层与层之间的数据移动、线程调度和异常恢复。摄像头帧缓冲占了多少内存,音频采集是否会被日志阻塞,NPU 算子有没有回退 CPU,工具调用有没有超时,这些细节都会决定系统能不能长期运行。 二、硬件平台:先看数据路径,再看 TOPS 很多选型文档会把 TOPS 放在第一位,这当然重要,但如果只看 TOPS,很容易踩坑。端侧系统的瓶颈经常出现在摄像头到内存、内存到 NPU、NPU 到 CPU、CPU 到显示或总线这些路径上。尤其是视觉和多模态任务,数据搬运的代价可能比模型计算还高。...

TSN 时间敏感网络实战:为嵌入式实时系统打造可证明的确定性以太网

前言:实时系统为什么越来越离不开网络 过去谈嵌入式实时系统,很多工程师第一反应是中断延迟、任务优先级、定时器精度和 RTOS 调度器。只要 CPU 够快、ISR 写得短、关键任务优先级足够高,系统就能在板子内部把时序控制住。但这几年现场设备的形态已经变了:电机驱动、视觉传感器、PLC、边缘 AI 控制器、远程 IO、机械臂关节模块不再挤在同一块 PCB 上,它们通过以太网组成一个分布式控制系统。此时,实时性的瓶颈不只在内核,也在网络。 传统以太网追求“尽力而为”:帧能发就发,交换机按队列转发,拥塞时排队,严重时丢包。它很适合办公网络和普通数据采集,却不适合“每 1 ms 必须收到一帧传感器数据,控制器计算 200 μs,执行器再在指定窗口更新 PWM”这种硬约束场景。工业现场常见做法是上专用实时以太网,例如 EtherCAT、PROFINET IRT、SERCOS III 等。它们很好用,但生态相对封闭,协议栈、硬件、工具链往往绑定供应商。 TSN(Time-Sensitive Networking,时间敏感网络)试图解决的正是这个问题:在标准以太网上增加时间同步、流量整形、门控队列、帧抢占、流过滤和集中配置等能力,让普通以太网具备可分析、可规划、可隔离的实时传输能力。它不是一个单独协议,而是一组 IEEE 802.1 标准的组合。对于做嵌入式、RTOS、工业控制和边缘计算的团队来说,TSN 的价值不在于“把网络变快”,而在于把网络行为从概率问题变成工程问题:什么时候发、能不能进队列、最多排多久、丢包后如何隔离,都可以在设计阶段说清楚。 本文以实战视角梳理 TSN 在嵌入式实时系统中的落地方式。我们会从基础概念讲起,重点放在 802.1AS 时间同步、802.1Qbv 门控调度、802.1Qci 流过滤、Linux tc 配置和端到端时延预算。文章不会把标准条文逐条翻译,而是站在系统工程师角度回答几个更实际的问题:什么时候需要 TSN?它和 RTOS / PREEMPT_RT 如何配合?一个 1 ms 控制周期应该怎样拆成网络窗口?调试时应该看哪些指标? 一、TSN 解决的不是带宽,而是确定性 很多项目第一次遇到网络实时性问题时,会本能地升级链路:百兆换千兆,千兆换 2.5G,交换机换更大缓存。短期看,平均延迟确实下降了,但最坏情况不一定变好。原因很简单:实时系统关心的是 deadline miss,而不是平均吞吐。一个 1 ms 周期任务,前 999 次都在 80 μs 内收到帧,只有第 1000 次因为低优先级大包阻塞了 700 μs,控制回路仍然可能抖一下。 确定性网络最核心的指标通常有四个: 有界时延:从发送端应用层写入数据,到接收端应用层读到数据,最大时间可以估算。 低抖动:相邻周期到达时间的偏差可控,不能依赖“运气好”。 流隔离:关键控制流不被日志、视频、OTA、Web 配置页面等普通流量拖累。 可诊断性:当时序变差时,能定位是时钟漂移、门控窗口配置错误、驱动队列阻塞,还是应用线程没有及时取包。 TSN 的设计思路是把网络传输拆成两个层面:首先让所有节点拥有同一套时间基准,然后让交换机和网卡在同一时间基准下按照计划打开或关闭队列。这样一来,控制帧不是“抢着发”,而是在预留窗口里发;普通流量不是“完全禁止”,而是被安排在不影响关键流的时间片内发送。...