小米|小米OV集体自研ISP的背后：真相可不简单( 三 )

手机厂商研发ISP，还有适应未来视频摄影+AI功能竞争的长远价值，这是第四个理由。
“手机厂商已经在拍照中享受到了AI算法带来的好处，包括超级夜景、AI美颜等功能，从趋势来看未来几年，AI拍照最火的几个功能会从拍照推向视频。这就需要一颗高效的AI ISP芯片，以及将AI算法和传统ISP进行更好的结合。”张兴认为。
柴卫华也认为：“随着短视频的需求发展，手机也越来越重视视频拍摄的性能。视频流对于ISP除了有画质的要求之外，非常重要的挑战就是实时性。要实时处理4K甚至8K视频的海量数据，呈现完美的影像效果，处理器性能、算法优异、存储带宽和与系统延迟都是挑战。”
AI是提升拍照和视频效果的关键。
陈峰指出，目前AI与ISP结合主要有两种形式，一种是ISP For AI，这种结合方式主要用于检测或识别功能的产品，目标是保证检测或识别的准确率，比如人脸门禁以及辅助驾驶。另一种是AI For ISP，这种结合是用AI替换ISP中的一个或多个图像增强算法，在包括HDR（高动态范围）、夜景降噪、超级分辨率等方面有较好的效果。
“近几年，手机业界发现在目前AI算力的支持下，AI算法已经超越了传统ISP算法的效果，因此目前主流的趋势是用AI算法替代一个传统算法，或者将AI算法与传统算法结合。”张兴进一步表示，“要充分发挥NPU算力与ISP结合的价值，实现真正意义上的AI ISP，需要在设计的最初就将两个IP结合起来设计。如果是买来的IP，两者结合实现好的功能难度很大，即便实现，也会有大量的功耗和芯片面积的浪费。”
陈峰具体指出：“在视频应用领域，效果稍微好的AI降噪算法，实时处理1080p@30fps视频就需要10Tops以上的算力，目前这种应用方案还比较少。”
总体看来，消费者对手机更好拍照和摄影功能的追求是原动力，在手机厂商有手机多年影像技术积累的前提下，自研ISP芯片成为了手机厂商可实现的目标，而将AI+ISP的能力从拍照延伸至视频领域能够提升手机厂商当下和未来的竞争力。自研ISP芯片自然成了手机厂商们不约而同的选择。
冲击高端成败的关键在“决心”
接下来的关注点是，自研ISP芯片到底能带来哪些不同？已经发布的小米澎湃C1，官方的说法是自研ISP将数字信号处理效率提升100%，可以进行更精细、更先进的3A处理。
业内一位资深人士说：“澎湃C1实际上是一个协处理器，或者说Pre-ISP，在SoC ISP前进行图像处理，相对而言会比较容易处理，能够辅助处理一些特定场景的应用。不过，由于是在SoC外单独增加了一颗芯片，因此无论是成本还是功耗都会有所增加。”
至于实际的使用体验是否有明显的速度和质的提升，还需要更多的用户反馈。

手机厂商的自研ISP要从卖点真正转化为差异化优势，ISP团队非常重要。“ISP的发展一直在进步，远还没到成熟的阶段。要设计出有竞争力的ISP芯片，取决于队伍自身的成熟性。有公司做了十多年ISP，也没有进入行业的一流水平。当然，这也与一家公司对于ISP的认知以及投入有很大的关系。”张兴表示。
业内资深人士也表示，“手机厂商自研芯片成败的关键在于投入的决心，特别是SoC 。”
但国内整个芯片行业都缺人才，想要组建有丰富经验的ISP团队挑战巨大。柴卫华说：“ISP研究与发展涉及到算法、电路设计、系统整合、器件调较、画质调优等多方面。因此相应的人才要求不仅专，而且广，除了需要掌握数学、物理、计算机、集成电路的知识，还需要有光学、颜色等学科知识。国内在这一领域的积累还比较有限，所以相关人才也比较缺乏。”