谷歌的新开源模型EfficientNet，或者说是计算机视觉任务的新基础。

作者| Mingxing Tan，Quoc V. Le，Google AI translator |编辑：|制作：| AI技术大本营(ID: rgznai100)开发一个卷积神经网络(CNN)的成本通常是固定的。当我们获得更多的资源时，我们通常会按比例扩展它们，以获得更好的准确性。例如，通过增加层数，ResNet可以从ResNet-18扩展到ResNet-200。最近，GPipe network通过对基准CNN模型进行四次扩展，在ImageNet Top-1上实现了84.3%的准确率。模型扩展的操作通常是任意增加CNN的深度或宽度，或者以更大的分辨率对输入图像进行训练和评估。虽然这些方法确实提高了模型的精度，但是它们通常需要繁琐的手动调整，并且并不总是能够找到最优的结构。换句话说，我们是否可以找到一种扩展的设计方法来实现更好的准确性和效率？在Google的ICML 2019论文“Efficient Net 3360重新思考对流神经网络的模型缩放”中，作者提出了一种新的模型缩放方法，该方法使用简单高效的重组系数，以更结构化的方式扩展CNN。与传统的任意缩放网络大小(如宽度、深度和分辨率)的方法不同，本文使用一组固定的缩放系数对各个维度进行均匀缩放。借助这种新的缩放方法和AutoML的最新进展，谷歌开发了一系列名为EfficientNets的模型，这些模型超越了SOTA的准确性，并将效率提高了10倍(更小、更快)。
复合模型扩展：一种扩展CNN的更好方法。为了了解扩展网络的效果，本文系统地研究了不同维度对扩展模型的影响。虽然扩展每个维度可以提高模型的性能，但作者观察到，平衡网络宽度、深度和输入图像大小等维度比增加计算资源更能提高整体性能。扩展方法的第一步是进行网格搜索，寻找固定资源下基准网络不同扩展维度之间的关系。这决定了上述每个维度的比例因子。然后，作者使用这些系数将基准网络扩展到所需的目标模型规模或预算计算能力。
不同缩放方法的比较。与传统的方法(b)-(d)只缩放一个维度不同，我们的复合缩放方法以统一的方式扩展了所有维度。与传统的缩放方法相比，这种复合缩放方法可以提高多个模型的精度和效率，如MobileNet (1.4%图像净精度)和ResNet (0.7%)。
高效网络架构模型缩放的有效性在很大程度上也取决于基准网络。因此，为了进一步提高性能，作者使用AutoML MNAS框架(在准确性和效率方面进行了优化)，并使用神经架构搜索来开发新的基准网络。由此产生的架构使用了移动终端的反向瓶颈卷积(MBConv)，类似于MobileNetV2和MnasNet，但具有更多的FLOP预算，结构略大。最后，作者扩展了这个基准网络，得到了一系列模型，称为效率网络。
本文中的基准网络EfficientNet-B0具有简单干净的架构，易于扩展。
EfficientNet网络的性能本文在ImageNet上将EfficientNet与现有的其他CNN进行了比较。总体而言，EfficientNet模型实现了比现有CNN更高的准确性和效率，并将参数大小和FLOPS减少了一个数量级。例如，在高精度下，EfficientNet-B7在ImageNet上实现了SOTA Top-1的84.4%和TOP-5的97.1%的精度，而CPU成本比之前的Gpipe分别减少了8.4倍和6.1倍。与广泛使用的ResNet-50相比，EfficientNet-B4将Top-1的精度从76.3%提高到82.6% (6.3%)，同时保持相同的FLOPS开销。
模型大小和精度的比较。EfficientNet-B0是由AutoML MNAS公司开发的基准网络，而Efficient-B1到B7是通过扩展基准网络获得的。特别是，EfficientNet-B7实现了SOTA前1名84.4%和前5名97.1%的准确性，并且它比现有的最好的CNN小8.4倍。尽管EfficientNets在ImageNet上表现良好，但为了验证其泛化能力，还应该在其他数据集上进行测试。为了评估这一点，作者在八个广泛使用的迁移学习数据集上测试了EfficientNets。EfficientNets在CIFAR-100 (91.7%)和Flowers(98.8%%)等八个数据集的五个数据集上实现了SOTA精度，模型参数降低了一个数量级(21倍)，这表明EfficientNets也可以很好地迁移。由于EfficientNets显著提高了模型效率，作者预测它可能成为未来计算机视觉任务的新基础。因此，作者开源了所有的EfficientNet模型。代码地址：
3359 github . com/tensor flow/TPU/tree/master/models/official/efficient net原地址：
https://ai . Google blog . com/2019/05/efficient net-improving-accuracy-and . html m=1
(*本文由AI技术大本营整理，转载请联系微信1092722531)