世界即将被人工智能软件所淹没，这些软件可能存在于贴在灯柱上的贴纸中。
所谓的 TinyML 是一项广泛的运动，旨在编写可以在极低功耗设备上运行的人工智能机器学习形式，现在正在获得自己的性能和功耗基准测试套件。
MLPerf 测试是 MLCommons 的创建，MLCommons 是一个行业联盟，已经针对机器学习的两个部分（即所谓的训练）发布了年度计算机基准评估，其中通过在多个实验中改进其设置来构建神经网络 ; 和所谓的推理，完成的神经网络在接收到新数据时做出预测。
然而，这些基准测试主要针对从笔记本电脑到超级计算机的传统计算设备。 新考试名为 MLPerf Tiny Inference，它侧重于智能手📱机上运行的事物的新前沿，甚至可以像邮票一样薄，根本没有电池。
“这完成了微瓦到兆瓦的基准范围，”负责监督 MLPerf 的行业联盟 MLCommons 的执行董事大卫坎特在新闻发布会上说。
这些测试以毫秒为单位测量延迟，以微儒为单位测量功耗，以完成四个具有代表性的机器学习任务，两种情况下越低越好。 这是 ML Commons 第二次引入能量测量。 4 月，该小组在现有的 MLPerf 推理测试中引入了一种以瓦特为单位的交流电源测量方法。
TinyML 代表许多使用移动设备的人相当熟悉的任务，例如激活电话的唤醒词，例如“嘿，谷歌”或“嘿，Siri”。 （Warden 笑着向观众吐露，他和同事们不得不在办公室里把“嘿，谷歌”称为“嘿，G”，以免彼此的电话不断响起。）
在这种情况下，这四项任务包括关键词发现，还有其他三项：所谓的视觉唤醒词，视野中的物体触发某些活动（想想视频门铃）； 在广泛使用的 CIFAR-10 数据集上进行图像分类； 异常检测，一种可用于工厂车间的视觉检查系统。
该基准测试是通过参考实现构建的，其中这四个任务在小型嵌入式计算机板上运行，ST Microelectronics 的 Nucleo-L4R5ZI 运行 ARM Cortex-M4 嵌入式处理器。
ML Commons 认为 Nucleo 的使用范围足够广泛，可以代表非常低功耗的设备。 Nucleo 运行谷歌的 TinyML 软件系统，称为 TensorFlow Lite，在这种情况下是专为微控制器设计的版本。
四个小组向基准提交了他们的结果： LatentAI，一家位于加利福尼亚州门洛帕克的研究机构 SRI International 的衍生公司，为 AI 开发开发者 SDK； 鹏程实验室，中国深圳的一个研究实验室； 和 hls4ml，这是费米实验室、哥伦比亚大学、加州大学圣地亚哥分校和欧洲核子研究中心的研究人员的集合。
Syntiant 在 ARM Cortex-M0 处理器上运行基准测试，而 LatentAI 使用带有 Broardcom 芯片的 Raspberry Pi 4 系统，hls4ml 在 Pynq-Z2 开发板上使用 Xilinx 处理器。
从硬件的角度来看，最有趣的提交可能是鹏城实验室的定制处理器，它由中国中芯国际设计并制造。 该部分运行开放的 RISC-V 指令集，这是加州大学伯克利分校的一个项目，作为 ARM 芯片指令的替代方案，它获得了越来越多的支持。
描述该基准的正式论文可在 OpenReview.net 上下载，该论文由该组织的两位学术顾问、哈佛大学的 Colby Banbury 和 Vijay Janapa Reddi 以及多位撰稿人共同撰写。 那篇论文已经提交给今年 AI 领域最大的学术会议 NeurIPS。
该基准是在 18 个月的时间里通过 ML Commons 工作成员的集体输入创建的，这些成员包括 CERN、哥伦比亚大学和加州大学圣地亚哥分校、谷歌、芯片制造商英飞凌、高通、Silicon Labs、STMicro 和 Renesas 的代表，AI 初创公司 SambaNova 系统和芯片设计软件制造商 Synopsys 等。
哈佛大学的雷迪说，设计是这些顾问投票的结果，也是从建议中进行选择的过程。
“这是由投票驱动的，但我们确实想了解消费者或客户的反馈是什么，”Reddi 说。
坎特说：“有一个群体共识的要素，也有一个可行性的要素，”意思是处理在实践中可以用于测试的数据集的局限性。 “如果你不是在真实的数据集上进行评估，你就不会得到非常有意义的结果，”他说。 他补充说，CIFAR-10 等数据集可确保结果“具有可比性和公认性”。
“这是一个门控因素，”坎特在谈到数据集问题时说。 “我们希望能够在很多应用程序上衡量性能，但最终，你会看到有哪些可用资源，尤其是考虑到这是一项初步工作。”
对 TinyML 进行基准测试的最大挑战之一是软件堆栈，从硬件指令集到机器学习框架（例如 Google 的 TensorFlow Lite）的所有编码层，构成了比通常在 使用 TensorFlow、PyTorch 和 Nvidia 的 CUDA 软件引擎为 PC 和超级计算机编写的程序。
这些测试允许提交的公司使用他们自己版本的神经网络算法，或使用标准模型，与其他人一样，分别称为“开放”或“封闭”基准测试结果。
另一个复杂问题是定义精确的功率范围。 “测量基于电池的系统的功率非常具有挑战性，”Kanter 指出。 测试套件中使用的嵌入式电路板系统在受控测试设置中运行，在该设置中，它们用于任务的绝对运行时功率被功率监视器“拦截”，实际上，功率监视器提供功率。
“我们只是切断了整个电池子系统，”嵌入式微处理器基准测试联盟主席 Peter Torelli 说，该组织几十年来一直在测量嵌入式系统的性能，致力于基准测试的能量部分。
在现实世界中，任何实际在手📱机或工厂车间设备中运行的设备都会遇到各种各样的情况。 谷歌的 TinyML 开发主管 Pete Warden 认为，TinyML 的努力应该集中在电池供电的设备上，没有墙上插座连接。
Warden 建议，甚至更简单的 TinyML 设备也可以使用能量收集，因此它们甚至没有电池，而是通过太阳或附近的发热生物体或结构提供能量。
尽管原则上 ML Commons 与 Warden 的观点一致，即许多 TinyML 设备将只有电池供电或能量收集，但基准测试包括可能使用壁式电源的 Raspberri Pi 等设备。 Raspberri Pi 的功率为 3.5 瓦，比最小的嵌入式系统的微瓦大很多。
Kanter 说，鉴于基准是多么新，只有哈佛大学的 Reddi 和 Banbury 的参考系统实际上提供了第一组结果中的功率测量； 其他四个提交者没有提供功率测量值。
本文内容由互联网用户自发贡献，该文观点仅代表作者本人。商机网仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 tenspace2022@163.com 举报，一经查实，本站将立刻删除。 本文链接：https://www.315965.com/n/66448.html
