连谷歌都喊贵！让ImageNet识别错误率降到5％，要花1000亿美元( 三 )

至于这些成本中哪一个最重要取决于具体情况。对于广泛使用的模型，运行成本是总投资的最大组成部分。而对于经常需要重新训练的模型，训练成本可能占主导地位。
不管是哪种情况，总成本都必须大于训练本身。因此，如果训练成本太高，总成本也会很高。
这就是第二种方法的主要问题：没有充分降低训练成本。有时需要在不同方案下选择，比如是训练一个大型网络，但在训练过程中会降低复杂度。还是在训练后， “修剪”掉不重要的连接。
还有一种方法，通过跨多个模型进行优化来找到尽可能高效的架构，这就是所谓的神经架构搜索。虽然多种模型每种技术的优势都很明显，但对训练成本的影响很小，很多时候，还会使训练成本更高。
怎样解决训练成本问题？
近年来有一种名为“元学习”的技术。系统学习各种数据，然后应用于多个领域。比如不在构建单独的系统，识别图像中的狗、猫和汽车，而是构建一个对所有这些系统进行训练，并可以多次使用的单一系统。
遗憾的是， MIT的AndreiBarbu最近研究显示，要想实现这个目标的“元学习”是很难的。原始数据与应用数据之间的微小差异也会严重降低性能。
因为目前的图像识别系统，在很大程度上取决于目标是以某个特定角度、特定姿势拍摄的。因此，即使是识别不同姿势的相同目标，也会导致系统的准确度几乎减半。
那么不用原来的数据集，把数据集整个换成新的行不行？
【连谷歌都喊贵！让ImageNet识别错误率降到5％，要花1000亿美元】答案是，还是不行。加州大学伯克利分校的BenjaminRecht团队研究表明，即使用专门构建的新数据集来模仿原始训练数据，性能也会下降10%以上。