PyTorch发布原型功能以执行机器学习模型设备上硬件引擎的示例分析

PyTorch发布原型功能以执行机器学习模型设备上硬件引擎的示例分析，相信很多没有经验的人对此束手无策，为此本文总结了问题出现的原因和解决方法，通过这篇文章希望你能解决这个问题。

PyTorch最近发布了四个新的PyTorch原型功能。前三个功能使移动机器学习开发人员能够在构成片上系统（SOC）系统的全套硬件（HW）引擎上执行模型。这使开发人员可以优化其模型执行，以获得独特的性能，功能和系统级并发性。

新功能包括以下使能在设备上的硬件引擎执行的功能：

• 使用与Google Android合作开发的Android神经网络API（NNAPI）的DSP和NPU。

• 通过Vulkan在Android上执行GPU

• 通过Metal在iOS上执行GPU

在具有Raspberry Pis和Graviton（2）平台的PyTorch社区中，ARM的使用不断增加。因此，新版本还包括开发人员效率优势，以及最近为Linux推出的ARM64构建支持。

Google Android的NNAPI支持

PyTorch与Google Android团队的合作通过PyTorch Mobile实现了Android的神经网络API（NNAPI）。设备上机器学习允许ML模型在设备上本地运行，而无需将数据传输到服务器。这样可以降低延迟，并改善隐私和连接性。Android神经网络API（NNAPI）专为在Android小工具上运行用于计算机学习的计算密集型流程而设计。因此，机器学习模型现在可以访问手机的片上系统上的其他硬件模块，从而使开发人员可以解锁Android手机上的高性能执行。NNAPI使Android应用能够在为android提供动力的最强大和最活跃的芯片上运行计算加速的神经网络，包括DSP（数字信号处理器）和NPU（专用神经处理单元）。

该API最初在Android 8中引入，并在Android 10和11中进行了显着扩展，以支持更丰富的AI模型。这种集成使开发人员可以直接从PyTorch Mobile访问NNAPI。此初始版本包括对一组核心功能和操作员的全功能支持。谷歌和Facebook将很快致力于扩展功能。

PyTorch移动GPU支持

GPU推论可以在许多模型类型上提供出色的性能，尤其是那些使用高精度浮点数学运算的模型。像在高通，联发科技和苹果公司的SOC中找到的那样，利用GPU来执行机器学习模型都支持CPU卸载。这为非机器学习用例释放了移动CPU。设备GPU的原型协助的主要级别是通过iOS的Metal API规范和Android的Vulkan API规范。此功能的性能尚未优化，并且模型覆盖范围有限，因为它尚处于不成熟阶段。该团队预计，这一情况将在2021年显着改善。

看完上述内容，你们掌握PyTorch发布原型功能以执行机器学习模型设备上硬件引擎的示例分析的方法了吗？如果还想学到更多技能或想了解更多相关内容，欢迎关注亿速云行业资讯频道，感谢各位的阅读！