AI 开始在我们的行业中占据重要地位并产生影响并非最近的事情。但不可否认的是,GPU 和 CPU 等底层硬件技术的发展加速了 AI 的增长及其引入当前行业的速度。借助这些硬件发展,智能手机中的语音和面部识别以及汽车的自动驾驶技术等先进技术已变得司空见惯。这已成为一个将通常由人类完成的复杂任务委托给人工智能的时代。AI 已成为我们生活中不可或缺的因素,并且它正朝着包括所有行业在内的 AI 的方向发展。

传感器的作用

如果说人工智能类似于人类的大脑,那么是什么为“大脑”提供数据,让人工智能通过积累经验而发展呢?那就是传感器。通过类比,传感器可以被认为是人工智能的感觉器官;就像在人体中一样,如果没有这些感觉器官,大脑或人工智能就无法获得可供学习的经验。如前所述,各种底层技术已经发展起来,传感器也发展迅速。例如,我们每天无数次使用的常见移动设备,可以认为它们不过是传感器的集合——摄像头、GPS、麦克风、加速度计、陀螺仪、指南针、压力、距离、光传感器等。各种传感器成为你的眼睛和耳朵,而操作系统和应用程序所需的数据则不断由外界提供。这些传感器的数量和类型不断增加,同时它们的尺寸、功耗和价格都在下降。因此,很容易理解即使是廉价的便携式设备也配备了各种传感器。

为了获取和处理这种多样化且不断增加的传感器数据,CPU 或 MCU 等应用处理器的参与频率不可避免地会增加。因此,最近的传感器技术正在努力降低功耗并变得更加智能,以便传感器可以负责通常由应用处理器驱动的功能。作为这项努力的一部分,传感器制造商通过在传感器本身中嵌入能够执行简单条件功能的机制获得了竞争优势。这些内部功能的好处是,应用处理器获取和判断所有这些传入数据所消耗的功率可以显著降低。

MLC 的重要性

最近,受低功耗始终开启的 AI 需求的推动,传感器供应商包括 意法半导体 开发了机器学习核心(MLC),无需应用处理器操作即可嵌入模型。因此,可以直接在传感器内部操作机器学习模型,从而最大程度地延长电池寿命。这是一项创新工作,打破了机器学习至少需要 MCU 级计算能力的刻板印象。

从这里开始,我们将了解使用传感器的机器学习核心 (MLC) 与在应用处理器上运行机器学习模型相比的优势。在这个例子中,我们将考虑 STWIN SensorTile 无线工业节点 (STEVAL-STWINKT1) – 在此称为 STWIN – 带有 FPU 的 120MHz Coretex-M4 MCU 和带有 MLC(机器学习核心)的 ISM330DHCX。

在 ML 模型的传感器内部执行的好处可以总结如下:

1、通过最小化MCU(或AP)的工作负荷,可以最大程度地提高睡眠状态,通过将MCU切换到低功耗模式,可以最大程度地提高电池的使用率。

如上图所示,当 MCU 需要处理 ML 模型时,它会响应传感器产生的中断切换 MCU 的“模式”,然后读取传感器数据并将其存储在 RAM 中以执行 ML 模型函数。因此,MCU 几乎没有时间维持核心的睡眠状态,并且不容易将电源模式切换到低功耗。但是,当使用机器学习核心 (MLC) 时,除非传感器中发生事件(ML 模型的输出结果),否则 MCU 可以大部分时间保持睡眠状态,因此它大部分时间都处于 MCU 提供的最小电流下。

这是一个例子 STM32L4R9 安装在 思文。如果查看MCU的datasheet,可以看到如下的电流消耗表。这里,考虑到ML模型和MCU的负载,假设最大工作时钟为120MHz,MCU运行基本模型必须保证最小18.5mA的电流消耗。但是,在使用MLC的情况下,MCU可以通过切换到低功耗模式来最小化核心的电流消耗,因此假设使用2MHz时钟,至少需要490uA的电流消耗。因此,在使用MLC的情况下,通过简单的计算就可以获得约38倍的电流消耗增益。

2. 其次,在数据流量方面效率高。大多数惯性传感器具有 3 轴传感器输出来表达 3D 空间,并且使用 16 位 ADC 的情况很多。因此,即使读取一个传感器数据包,也会产生 6 字节的数据流量。数据量根据传感器类型和 ODR 呈指数增长。例如,如果以 104 秒为单位计算 1Hz ODR 的陀螺仪和加速度计要读取的数据量,则可以看到每秒需要 (6 + 6) x 104 = 1248 字节的流量。

然而,在MLC的情况下,如果假设ML模型的类别数小于256,则可以通过读取一个字节来立即检查分类结果 MLC0_SRC.

如果假设每秒发生一次MLC事件,那么可以说效率提高了1248倍。

3. 因此若降低MCU的使用频率,ML处理产品只需Sensor独立电路设计即可,同样可以达到节省成本的效果。MCU的价格比Sensor高出数倍是众所周知的事实,从产品设计者的角度来看,单价竞争力是关乎市场生存的关键问题,也是各大厂商关注的重点。因此可以说,具备MLC的Sensor具有极大的价格竞争力,厂商应该思考如何将MLC的功能发挥到极致。

AutoML 的竞争力

如前所述,边缘设备对机器学习的需求不断增加,低功耗核心和传感器也在嵌入机器学习核心以确保市场竞争力。当考虑这些 MLC 产品虽然越来越普遍但在市场上应用并不广泛的原因时,我们发现这是因为使用嵌入式 ML 或 MLC 核心有些复杂,需要专业知识。

例如,要建立一个模型,必须收集数据。为了判断收集到的数据的有效性,需要通过各种工具将其可视化,然后需要裁剪和标记有效和无效的部分以创建有意义的数据集以供学习——这个过程不断重复,直到获得足够的数据。

然后利用这些数据构建机器学习模型,并通过交叉验证等多种指标对模型进行评估。此过程需要参数设置方面的专业知识。接下来,必须将以这种方式创建的模型转换为 MLC 模型,然后将转换后的模型写入传感器并进行驱动。然后需要验证模型是否表现良好,如果模型未达到预期性能,则必须进行额外的迭代以找到最佳模型。这个过程是机器学习生命周期中最困难的部分,它包含复杂的任务,作为一名 ML 工程师很难独自完成。

有没有一种方法可以使这些复杂的过程变得更加简单和直观,甚至可以在短时间内验证所建立的模型?

Qeexo AutoML 是一款简单易用的全自动端到端机器学习平台,能够利用传感器数据快速创建、部署和验证在 MCU 或 MLC 上运行的边缘设备的机器学习解决方案。Qeexo AutoML 的无代码系统专为可扩展性而打造,任何有机器学习应用程序想法的人都可以通过高度直观的 Web 界面收集和编辑数据、训练模型并将解决方案部署到硬件进行实时测试。

目前,Qeexo AutoML 支持两种提供 MLC 功能的不同参考设备 - SensorTile.box 和 STWINKT1B - 这些板配备了支持 MLC 的 LSM6DSOX 和 ISM330DHCX 传感器。

这种 SaaS 环境是一个优势,仅来自 Qeexo AutoML,使用简单的用户界面和精心设计的平台来训练、测试和部署 MCU 和 MLC 的模型,可以更轻松、更快地实现那些可能由于实施 ML 设备的难度而被降低优先级的想法,最大限度地利用您的时间、精力甚至财务效果,直到您测试和商业化您的解决方案。

综上所述,嵌入式设备的 ML 模型驱动越来越被人们所重视。而传感器也嵌入了 ML 核心。在这个 ML 驱动方法日益多样化的技术流程中,Qeexo 提出了一种更简单的方法。而且,对于那些由于入门难度而无法挑战使用传感器 MLC 核心的用户,我们提出了一种非常简单的方法,只需几分钟即可在实际的 MLC 传感器上验证您亲手制作的模型。此外,本文还解释了使用 MLC 的各种优势。因此,建议您通过 Qeexo AutoML 构建 MLC 来构建自己的模型并亲自尝试。

要了解 Qeexo AutoML 和 MLC 可以实现的功能,请注册 奇异果网.

如果您有任何问题、意见或需要帮助开始使用 Qeexo AutoML,请随时联系我们 开始.