谷歌发布了针对移动和嵌入式设备的TensorFlow Lite 1.0
导读 谷歌今天推出了TensorFlowLite1 0,这是开发人员在移动设备和物联网设备上部署AI模型的框架。 改进包括在训练期间和之后对更快、更小的模
谷歌今天推出了TensorFlowLite1.0,这是开发人员在移动设备和物联网设备上部署AI模型的框架。 改进包括在训练期间和之后对更快、更小的模型进行选择性配准和量化。 量化导致了一些模型的4次压缩。
“我们将全力支持它。 我们不会破坏事物,并确保我们保证它的兼容性。 我认为很多在手机上部署这种设备的人都希望得到这些保证。
首先在TensorFlow上训练AI模型,然后转换为创建Lite模型,以便在移动设备上操作。 Lite首次在2017年5月的I/O开发人员会议和当年晚些时候的开发人员预览会上推出。
谷歌的TensorFlowLite团队也分享了它今天的未来路线图,旨在缩小和加快AI模型的边缘部署,包括模型加速,特别是对于使用神经网络的Android开发人员,以及基于Keras的连接剪枝工具包和额外的量化增强。
一个TensorFlow2.0模型转换器,使Lite模型将提供给开发人员,以更好地理解转换过程中的错误以及如何修复它。
TensorFlowLite今天被超过20亿台设备部署,TensorFlowLite工程师RazielAlvare z在加州Sunnyvale的谷歌办事处举行的TensorFlow Dev峰会上在台上说。
TensorFlowLite越来越使TensorFlowMobile过时,除了那些想利用它进行培训的用户外,Alvare z说,一个解决方案正在进行中。
正在探索各种技术,以减少AI模型的大小,并对移动设备进行优化,如量化和委托(用于在不同硬件中执行图形的结构化层以提高推理速度)
移动GPU加速与一些设备的代表在1月份的开发人员预览中提供;它可以使模型部署比浮点CPU快2到7倍。 边缘TPU代表能够将速度提高到比浮点CPU快64倍。
在未来,谷歌计划使GPU代表普遍可用,扩大覆盖范围,并最终确定API。
许多本地Google应用程序和服务使用TensorFlowLite,包括GBoard、Google Photos、AutoML和Nest。 当Google助手需要在脱机时响应查询时,CPU模型的所有计算现在由Lite执行。
Lite还可以在RaspberryPI和新$150Coral Dev Board等设备上运行,这也是今天早些时候推出的。
今天也首次亮相:简化用户体验的TensorFlow2.0的alpha版本;TensorFlow.js1.0;以及用苹果编程语言Swift编写代码的开发人员的TensorFlow0.2版本。