当前中国智能手机市场已经进入高端领域的竞争时代,对于旗舰手机来说,产品的工业设计、屏幕、性能等要素已经高度规格化,并不容易作出真正的差异化。在此背景下,影像成为众多手机厂商着力攻克、实现差异化的一个突破点。特别是近两年,手机厂商们在发布新品时往往会重点突出产品的拍照、摄像能力。
而从消费者的角度来说,根据2019年的调查数据,消费者在选购智能手机时候,拍照也是他们关注的第一要素。由此可见,智能手机已经进入“影像为王”的时代,成为手机市场最重要的主题之一。
计算摄影,照亮手机影像新方向
什么是计算摄影?简单理解,其实就是将计算机软件算法和现代传感器、光学系统等技术融合在一起,从而形成新型的摄影设备。它突破了传统数码摄影的种种限制,让算法在摄影中发挥核心作用,这其中,人工智能技术的应用是关键。
这里我们再回顾一下手机影像的工作流程:
接着,数字信号会来到ISP,ISP的主要任务是通过一系列先进的数字信号图像处理算法对传输过来的信号进行效果处理,例如坏点校正、去除噪点等等。
ISP处理过信息后,再通过IO接口传输到CPU中进行比较、存储、分析等处理,最后通过显示屏就可以看到图像了。
可以看到,传统手机影像的工作流程中,也是需要算法参与的,主要是在ISP及向后的数字信息处理的过程。而计算摄影,几乎可以说成了由计算机算法成主导,参与的深度和复杂度是传统摄影无法比拟的,
而且,计算摄影中,算法干预的步骤甚至可以达到图像传感器这一层级。而且,如今智能手机摄像头的数量通常都要达到3个甚至4个,计算摄影的另一个重要使命或者工作,就是推动多摄像头在拍摄时实现像素级的深度融合、协同,这背后,需要AI算法深入到传感器、ISP乃至CPU、GPU等运算模块,共同完成算法对影像效果的把控。
全新一代骁龙8移动平台,影像与AI构建核心竞争力
作为全球最先进的移动平台,骁龙是顶级Android体验的代名词,而全新一代骁龙8移动平台则是2022年各大旗舰安卓智能手机的标配,同时也是在AI、影像、性能、连接等各方面都全面升级的一代,其中就包括计算摄影方面的能力。
看了前面对于计算摄影的介绍,相信大家已经能够想到,骁龙8的计算摄影能力,核心来源于强大的ISP和AI能力。
1、进阶的18-bit Qualcomm Spectra ISP
今年骁龙8搭载的是全新Qualcomm Spectra ISP,它是高通首个支持 18-bit 的 ISP,也是首个支持 18-bit ISP 的智能手机 ISP。18-bit 技术超越了许多专业相机的配置,影响数据项相比之前提升达 4096 倍。
而且,18-bit ISP 的超大带宽支持用同一图像传感器同时拍摄 8K 视频(每帧 3300 万像素)和拍摄 6400 万像素的照片。
2、强大的第7代高通AI引擎
在AI方面,全新一代骁龙8移动平台搭载了第7代高通 AI 引擎。
在第7代高通 AI 引擎上,高通着重提升了 Hexagon 处理器的性能,实现了性能翻倍的表现,同时对共享内存进行了翻倍。
另外第7代高通 AI 引擎值得关注的就是它的传感器中枢模块,骁龙 8 中,高通在传感器中枢里引入了全新低功耗 AI 子系统。该系统为多核架构,由专用 AI 处理器、DSP、外加自有内存组成,用于处理情境数据流,包括语音、音频、传感器和连接。在全新低功耗 AI 子系统的辅助下,传感器中枢模块的 AI 性能提升 75 %,功耗降低 50%。
NAS 研究可以将要使用的硬件以及其他设计参数以帮助工程师快速实现最优设计,自动设计神经网络模型。从根本上绘制硬件蓝图并利用 AI 充分发挥那些特性以产生最优结果。
此外,它能够考虑时延、网络规模或精度等目标,将初始网络作为起点并全面搜索优化网络以便在该硬件上针对性约束内运行得更快。
总之就是可以让第7代高通 AI 引擎的强大AI算力能够得到充分释放。
3、CPU、GPU、传感器……
我们知道,骁龙移动平台的高通 AI 引擎并不是专门的NPU神经网络芯片,而是通过协同Hexagon 处理器、CPU、GPU等运算模块实现强大的AI能力。因此在骁龙8上,CPU、GPU等模块性能的提升,对于AI能力的升级也非常重要,进而自然也能为计算摄影带来增益。
在骁龙8中,全新高通Kryo CPU基于最新的 ARMv9 架构,采用三星 4nm 制程工艺,核心架构包括1 个 Cortex-X2 核心,最高主频 3.0GHz ,1MB L2 缓存,3 个 Cortex-A710 核心,最高主频 2.5GHz ,512K L2 缓存,4 个 Cortex-A510 核心,最高主频 1.8GHz,6MB L3 缓存。
至于全新的高通 Adreno GPU,也采用了新的架构,图形渲染能力提升 30%,并且游戏时的能效提升 25%。
多种创新AI+影像用例坐阵,计算摄影能力可见一斑
计算摄影中,算法参与智能手机影像工作的几乎整个流程,从前段的传感器到后段的CPU、GPU等,每一个环节,骁龙8都实现了显著提升。这是完成计算摄影创新应用的基本条件,就像完成一幅画,这些是画布、颜料、彩笔,有了这些,高通就能通过骁龙8更好地施展才华,将他们在计算摄影方面的创意描绘出来。
特别是借助全新18-bit Qualcomm Spectra ISP和第7代高通 AI 引擎的融合,骁龙8创造了很多AI+影像的用例,这些用例,都代表着平台计算摄影能力上了一个新台阶。
在峰会的演示区,IT之家就看到了这个技术的演示。搭载骁龙8的参考设计手机拍摄下面这个场景,前面是静止的木头人,后面是不停转动的霓虹摩天轮。在手机上按一下快门,就会快速捕捉很多帧,最终融合成一张木头人清晰、但后面霓虹风车的灯光模糊成圆形运动轨迹的照片。一张艺术照轻松拍成。
还有,全新Qualcomm Spectra ISP融入AI能力后,还可以进行更强大的人脸识别,哪怕在全景照片中人物面部非常小,现在也能准确识别。
而且在进行人脸识别时,骁龙8现在可以检测到 300 个特征点,而且神经网络还针对更多的人脸特征进行训练,包括眉毛、嘴唇、下颌线等,因此Qualcomm Spectra ISP 可以检测拍摄对象的表情,从而更准确地理解情绪。
IT之家在现场也做了体验,人物一进入画面,视频很快就会完成背景的虚化,同时尝试摇头晃脑做手势,各种效果也能很快跟着改变。
更重要的是,三个摄像头不仅是同时工作,更能彼此交流数据,例如广角镜头可从长焦镜头中获取更多的细节,长焦还能通过超广角镜头得到更好的白平衡效果,三枚摄像头彼此深度融合,正是我们前面说的当前计算摄影的重要应用场景。
最后值得一提的是,在峰会上高通还宣布了在 AI 层面和徕卡的合作:未来骁龙移动平台将支持由高通 AI 引擎赋能的徕卡Leitz风格(Leica Leitz Look),后续还会有更多基于其他传统徕卡镜头的风格加入进来。
总体来说,全新一代骁龙8移动平台凭借全面提升的影像和AI能力,在计算摄影方面实现了诸多创新性的应用,并且,上面IT之家展示的还只是高通给出的基本用例,随着终端手机厂商在应用层面的发力,必然会诞生更多的计算摄影功能和用途,在让消费者获得专业级影像能力的同时,没推动计算摄影领域的前进和发展。
(本文内容转载自IT之家)
高通,摄影,计算,三星,影像