苹果推出 DeepPCR 算法:加速神经网络训练和推理能力

2023-12-16 www.dnxtw.com

电脑系统网 12 月 16 日消息,苹果最近发布了 DeepPCR 通过并行处理常规顺序操作,机器学习算法可以加速神经网络的推理和训练。

神经网络已经能够处理复杂的任务,如文本或图片合成、分割和分类。然而,由于计算需求过大,神经网络训练和反馈结果可能需要几天或几周的时间。

目前,并行化技术广泛应用于神经网络处理过程中,可以加快训练和推理速度。

然而,神经网络中的一些操作仍然是按顺序完成的。扩散模型通过一系列去噪阶段生成输出,并逐层向前和向后传输。随着步骤数量的增加,这些过程的顺序在计算中变得昂贵,这可能导致计算瓶颈。

为了解决这个问题,苹果科研团队推出了 DeepPCR 该算法进一步加快了神经网络的训练和推理。

该团队采用平行循环恢复(PCR)算法检索解决方案,从顺序过程中计算成本 O(L)降低到 O(log2 L),降低了复杂性,提高了运行速度。

团队表示,部署多层感知器 DeepPCR 算法后,并行化前后通过,达到最高水平 30 前向传递速度和最高的倍 200 双向后传递速度。

附上计算机系统网 DeepPCR 算法的主要结论如下:

DeepPCR 它是一种创新的方法,用于并行化神经网络训练和推理的顺序过程。它的主要特点是能够从复杂性的角度计算计算复杂性 O(L) 降低到 O(log2 L),其中 L 这是序列的长度。

DeepPCR 多层感知器已用于并行化 (MLP) 对该技术的性能进行了广泛的分析,以确定该方法的高性能状态,并考虑基本的设计参数。

DeepPCR 已用于加速 MNIST 上的深度 ResNet 训练,以及在 MNIST、CIFAR-10 和 CelebA 在数据集上培训的扩散模型的生成。结果表明,尽管 DeepPCR 显示出明显的加速度,将会显示出来 ResNet 数据恢复速度提高了训练的数据恢复速度 7×,扩散模型创建速度提高 11×。

广告声明:文本中包含的外部跳转链接(包括不限于超链接、二维码、密码等形式)用于传递更多信息,节省选择时间。结果仅供参考。计算机系统网络上的所有文章都包含了本声明。

相关阅读