这是我的第351篇专栏文章。

在11月举办的2025年AIoT产业年会上，一个引人深思的话题激发了业界的讨论，《端侧小模型们的春天来到了吗？》。

随着端侧AI技术的日益成熟和市场需求的不断释放，业界对端侧小模型的进展高度关注，与此同时，AIoT芯片的进步也备受瞩目。

传统上，芯片制造商始终将卓越的计算性能视为首要追求。然而，AIoT应用的多样化需求对芯片提出了更高的要求：在计算能力、内存、延迟和能效之间实现微妙平衡，以满足特定领域的差异化需求。

与此同时，我们看到小型、特定于应用场景的语言模型正在兴起。相比大型语言模型，这些小模型所需的计算资源更加经济高效，由此推动了端侧AI和AIoT芯片的蓬勃发展。

然而，让生成式AI在端侧“跑”起来绝非易事。这不仅需要对大模型进行“瘦身”优化，更需要在硬件的功耗和算力上取得突破性进展。

在本文中，我们将重点剖析端侧AI的最新进展，探索AIoT芯片的创新应用场景，并聚焦新兴芯片供应商的前沿布局和技术探索。

端侧AI的进化之路：从感知到理解再到创造

“端侧AI”是指AI可以直接在移动设备上处理数据，无需连接到服务器或云端，能够在用户设备本地完成复杂的推理和决策。端侧AI在对硬件提出更高要求的同时，也对其算力、能效以及软硬件协同等方面提出了新的挑战。为了满足端侧AI的需求，AIoT芯片的能力日益增长。AIoT芯片是一种集成了人工智能和物联网技术的系统级芯片，旨在实现智能化设备的连接、控制和数据处理。

需要说明的是，本文所界定的“端侧”并不包括手机和电脑，而是特指物联网终端设备，如网关、摄像头、眼镜、耳机、手表、车载终端、机器人等。

即使设备未连接到网络，端侧AI也可以随时使用。要充分实现这一技术，嵌入式神经网络处理单元NPU的性能至关重要。研究机构Counter Points预测，未来AIoT模块的计算能力将实现指数级的大幅增长，7年内配备NPU的模块数量将达到目前的31倍。

然而，实现端侧AI并非易事。丝滑的AI体验通常需要搭配强大的计算能力，而设备上或边缘处理需要实时处理数据，并需要低功耗和高性能芯片，这增加了专用AIoT芯片开发的复杂性。

在文章《从LLM大模型到SLM小模型再到TinyML，这个领域有望增长31倍并催生新的商业模式》中，我曾介绍过在人工智能的世界里，终端、边缘和云端扮演着截然不同的角色。它们在形态、功能和应用场景上的差异如此之大，以至于可以将其视为完全不同的实体。

端侧AI经历了一段辗转的旅程，从判别式AI、增强式AI的领域，现在又来到了具有突破性的生成式AI前沿。每一步都让我们更接近未来，智能系统将无缝融入我们的日常生活，为我们带来不仅有感知，还有掌上创造的沉浸式体验。

从信息论的角度来看，这三种范式可以看作是对源熵的不同影响。判别性AI旨在降低熵，增强性AI或多或少地保持熵值不变，而生成性AI则会造成熵增。

• 获得感知：判别式AI

判别式AI主要关注区分不同类别或结果的能力。它通过学习输入数据的特征和模式，判断这些数据属于哪个预定义的类别。例如，在图像分类任务中，判别式AI能够识别出图片中的物体是猫还是狗。

• 增强感知：增强型AI

通过对场景物理性质的语义理解，神经网络可以用来增强图像的视觉质量，获得更令人满意的结果，并进一步增强感知和分析能力。我们观察到一个缓慢但稳定的转变，从经典的视觉相关功能到人工智能驱动的视频增强功能，从低光性能到高动态范围、数字变焦、局部色调映射等。

• 超越感知：生成式AI

真正的范式转变是随着生成式人工智能的兴起而发生的。受自然语言理解的进步及其对任何数据模式的采用的启发，创建与现实难以区分的新内容、图像和视频的能力，在不到一年的时间内成功地改变了各个行业。生成式AI致力于学习数据的生成过程，并生成与训练数据相似的新数据样本。这些新数据在统计上与原始数据具有相似的特征，但又是全新的、独立的。


受到端侧功耗和算力的限制，端侧AI又呈现出了不同的形态：

• 小型语言模型（SLM）

SLM指的是那些参数量低于100亿的轻量级神经网络模型。与大型模型相比，SLM以更少的参数和计算资源实现自然语言处理。此外，SLM通常是面向特定任务、应用或用例量身定制的。

• 微型机器学习（TinyML）

TinyML是一种优化机器学习模型的技术，使其能够在资源受限的设备（如微控制器）上高效运行。这些模型通常体积小巧、运算高效，能够胜任语音识别和传感器数据分析等任务。

AIoT芯片：功耗、性能与尺寸的平衡

端侧设备将成为未来智能时代的重要锚点，其形态丰富多样，包括摄像头、智能眼镜、耳机、手表、车载设备，以及未来的元宇宙和机器人等。

与专注于云AI的芯片市场相比，AIoT芯片市场更加分散，以满足AIoT应用的多样化需求。在设计集成数十亿个晶体管的芯片时，AIoT芯片制造商面临着巨大的压力，需要在功耗、性能和尺寸之间取得微妙的平衡。

不同边缘或终端中的芯片性能要求可能存在很大差异。例如，自动驾驶汽车需要更高的性能，并能承受更高的图像处理功耗；而智能摄像头处理器可能需要更低成本、更节能的芯片组。环境因素也在影响着端侧AI和AIoT芯片市场，研究重点是实现高计算性能、低延迟和最低能耗。

人工智能应用中GPU的高功耗问题促使研究人员开发新型芯片架构，为端侧AI的广泛应用铺平道路。很多新型AIoT芯片的研发仍在路上。

比如去年弗劳恩霍夫光子微系统研究所IPMS与罗伯特·博世有限公司、坎普尔印度理工学院和慕尼黑工业大学合作开发了一种针对AIoT应用优化的芯片设计，该设计使用铁电场效应晶体管（FeFET），无需电源即可存储数据，可提供高达885 TOPS/W的性能，而一般AI芯片的这一数值为10到20 TOPS/W。

这种创新的芯片架构有望大大降低AI运行的能耗。新芯片采用FeFET单元，执行相同数量的操作所需的能量比传统设计少44倍。

此类芯片瞄准端侧AI的一系列用途，将AI部署在数据收集点：物联网设备、传感器和自动驾驶汽车中。新芯片的另一个关键优势是能够同时在晶体管中存储和处理数据，大大减少了数据处理和内存之间的瓶颈。

接下来，我们探讨端侧AI的主要应用场景和市场空间。首当其冲的场景是图像处理和分析，到2033年此类场景中的AIoT设备数量将接近40亿台，主要涵盖游戏机、智能眼镜、车载终端、安全摄像头、便携式摄像机等。

此外，聊天机器人功能和自然语言处理的需求也不容忽视。智能音箱、耳机、智能手表等设备占据主导地位，并可扩展至车载主机和电视等领域。预计到2033年，约有五分之一的物联网设备具有原生语音需求，这一领域将拥有14亿连接，带来800亿美元的收入，约占所有物联网连接收入的22%。

从设备形态上看，随着智能眼镜产品的密集发布，即将开启的“百镜大战”，有可能成为AIoT芯片的重要试炼场之一。

10家值得关注的AIoT芯片新秀

由于端侧AI应用具有明确的场景，优先考虑成本优化、功耗和处理能力，为新的市场参与者提供了大量的机会和创新空间。因此，AIoT芯片组的动态市场中涌现出许多新玩家，他们通过提供多种增值功能来差异化竞争。

以下筛选了10家值得关注的海外AIoT芯片新兴供应商。

1. AonDevices是一家无晶圆厂半导体公司，专门从事超低功耗下提供高精度的应用程序特定型边缘AI处理器。公司总部位于加利福尼亚州尔湾。AonDevices提供的芯片组主要侧重于自然语言处理、语音认证、聊天机器人和数字助理。该公司发布的AON1100是一款超低功耗、多模态解决方案，能够使用单个麦克风，极其准确地同时识别多个语音命令和声音事件，例如婴儿哭泣或汽车逆火，AON1100还同时检测步行或跌倒等特定运动模式。

2. Axelera总部位于荷兰埃因霍温，其AIPU芯片采用了开源的RISC-V指令集架构（ISA）。RISC-V作为一种低成本、高效且灵活的ISA，允许根据特定的应用需求进行定制，这为Axelera提供了极大的设计自由度和创新空间。

3. BrainChip是一家澳大利亚的技术公司，专注于研究和开发神经网络处理单元NPU和其他高级机器学习解决方案。该公司的旗舰产品是Akida，这是一款可以在物联网设备、汽车和工业应用中应用的离散神经网络处理单元。

4. Hailo Technologies是一家以色列公司，拥有丰富的边缘AI处理器产品组合，可用于各种AI用例，例如对象检测、在边缘设备上运行LLM和语义分割。该公司提供用于视频和图像处理的Hailo-15系列AI视觉处理器、用于边缘设备以运行深度学习应用程序的Hailo-8AI加速器以及用于运行LLM的生成式AI加速器。

5. Innatera总部位于荷兰，推出了一款基于SNN的神经拟态加速器，主要用于语音识别、生命体征监测和雷达等。

6. Mythic总部位于美国德克萨斯州，是一家专注于边缘AI和AIoT的节能芯片供应商，采用单芯片模拟计算内存架构，无需DRAM。Mythic开发了统一的软硬件平台，以其独特的模拟计算引擎Mythic ACE为特色，具备高功率、低成本和优良的性能参数，打破了阻碍人工智能创新的数字障碍。Mythic模拟矩阵处理器Mythic AMP也使人工智能解决方案的部署变得更加经济便捷。

7. Perceive于2024年8月被亚马逊收购，是一家边缘AI和AIoT处理芯片提供商，专注于LLM的边缘处理。该公司提供低功耗边缘处理芯片，专为各种应用而设计，包括联网摄像头和家电。该公司最新一代边缘AI芯片Ergo2的占用空间为7mm x 7mm，不需要外部DRAM。公司称，该芯片可以在30 FPS的视频源上运行推理，功耗仅为17 mW。

8. SiMa.ai总部位于加利福尼亚州圣何塞，是嵌入式机器学习系统芯片SoC的提供商，允许客户在单个芯片上执行整个应用程序。该公司的目标是优先考虑低功耗的AIoT用例，具体范围在5W-25W之间。据SiMa称，其芯片可以作为涵盖计算机视觉和多模态生成AI的AI应用的单边缘平台。

9. Syntiant总部位于美国加利福尼亚州，是一家为边缘AI和AIoT应用提供低功耗处理器的供应商，截至2022年3月，该公司已出货超过2000万片边缘AI芯片。公司专注于安全等行业使用的声学事件检测和视频处理，以最小的延迟提供实时数据处理。

10. Untether AI总部位于加拿大多伦多，芯片名为240 Slim，也是基于RISC-V架构，性能出色但能耗却低得多，适合在自动驾驶汽车、自动农业设备和一些数据中心内使用。梅赛德斯-奔驰表示，正在与Untether合作开发其下一代自动驾驶汽车。

写在最后

随着人工智能技术的不断进步，端侧AI和AIoT芯片的发展正迎来一个全新的时代。

这场革命不仅仅是关于更强大的计算能力，更是关于如何在功耗、性能和尺寸之间取得完美平衡，以满足不同应用场景的特定需求。

从判别式AI到增强式AI，再到生成式AI，端侧智能正在经历一场从感知到理解，再到创造的蜕变。在这个过程中，小型语言模型和微型机器学习等新兴技术正在崛起，推动着AIoT芯片的创新浪潮。无论是自动驾驶汽车、智能眼镜、智能摄像头，还是未来的元宇宙和机器人，AIoT芯片都将扮演着至关重要的角色。

参考资料：
IoT: new energy-efficient chips could expand the scope of artificial intelligence in edge computing，来源：Orange
The Evolution of AI on the Edge: From Perception to Creation，来源：Hailo
AIoT Chipsets: enhancing the connected devices ecosystem，来源：Transforma Insights