高通isp pipeline（MTK平台ISP Pipeline是什么）

本文目录

• MTK平台ISP Pipeline是什么
• 赛道Hyper -“芯”破局：OPPO逆袭中端市场
• Sensor 调试流程

MTK平台ISP Pipeline是什么

MTK平台就是岩改用MTK的芯片来做手机。首先手粗明判机有很多功能，摄像头，触摸屏，蓝牙槐神等，这些都是靠手机的各个芯片完成的，MTK就生产各个功能的芯片，比如蓝牙芯片，触摸屏芯片，这些同时用在同一部手机上，就是说MTK平台的手机里的很多主要功能都用了MTK生产的芯片，就说这部手机是MTK的平台。

赛道Hyper -“芯”破局：OPPO逆袭中端市场

艰难时局正在悄悄犒赏默默付出的人。在一片手机市场下滑的叹惜声中，OPPO中端手机Reno系列逆势向上，走出了不一样的轨迹。 据OPPO提供的数据显示，截至6月1日24:00，Reno8系列全渠道销量对比上代同期创出新高，助力Reno全系列产品销量较2021年同期增长133%。Reno8 Pro+的销量达到Reno系列Pro+版 历史 新高。 OPPO Reno8系列，以中端机型定位和售价，具有旗舰影像性能和外观设计工艺。更重要的是，搭载了自研的马里亚纳 X芯片，提升了影像差异化竞争力。 这表明，经过3年多“内功”修炼，OPPO调校芯片的能力，通过Reno 8新一代发售，已具标准化特征。未来根据需要，OPPO有能力将自研的旗舰级芯片能力，赋予任何机型。这是可以不断延伸的、不可假手于人的核心竞争力。5月23日，OPPO Reno8系列发布，这是一款与以往Reno数字系列很不同的新品系列。 这个系列正面临“不友好”的外部环境：智能手机市场收缩、换机周期延长，中端价位机型（2500元-4000元价格段）成为比高端旗舰机更受欢迎的主流选择，因此也形成了一众ODM手机商集中竞争的核心市场，共同点是这个价位段各家产品力提升迅猛。 全球智能手机出货量在2018年初现下滑，到2022年一季度，下滑加速。全球各大市调机构数据无一例外，均显示出包括中国在内的全球智能手机市场的高景气，正在快速降温。 据中国信通院公布的数据显示，2022年1-4月，中国智能市场手机总体出货量同比下降30.3%。其中，5G手机出货量同比降幅25.0%。 CINNO Research数据则显示，2022年Q1，国内智能手机出货量同比下降约14.4%。其中，3月出货量同比下滑约24.6%，4月销量环比下滑约10%。 因智能手机创新不够，并且疫情导致的经济前景不够乐观，影响了全球用户的换机热卜岁情。全球智能手机市场（慧握也包括中国市场）已步入存量阶段，未来销量主要来自周期性换机需求，但智能手机的换机周期却在不断延长。 Counterpoint Research数据显示，目前中国用户平均换机周期超过31个月，2017年，换机周期仅22个月。若无好产品创新吸引，消费者换机周期将会越来越长。 情况如此严酷，OPPO Reno8系列如何应对？ 总体来说，OPPO仍致力于提升该系列新品的终端应用体验，但采用了在以往Reno数字系列产品上从未用过的方式：OPPO Reno8系列搭载OPPO自研的马里亚纳 X影像专用NPU，同时在全系采取旗舰机OPPO Find X5系列的热锻工艺。 如此设计，若鉴于OPPO Reno8系列的中端定位（价格段为2499元-3999元），用一句通俗的语言描述，那就是“中端价格，高端配置”。 OPPO Find X5系列外形设计之旗舰辨识度标志，在于摄像头模组所在区域采用的“一前弊庆体化环形山”设计，这是一种热锻工艺，传承自OPPO Find X3系列开创的设计语言。 OPPO Reno数字系列同样重视“传承”：其1代和2代摄像头模组所在区域位于背面中间，自3代至7代，则位于背面左上角。 OPPO Reno8系列摄像头模组部分，传承并延续了3代至7代的整体风格，标志即位于背面左上角，主摄布局与OPPO Reno7系列趋同；但其创新之处，则是采用了OPPO Find X系列旗舰的摄像头模组外形设计工艺和风格。 从OPPO Find X3系列开始，手机背面左上角摄像头模组所在区域的外形，采用了与手机背面呈一体化成型的设计风格。这种特殊工艺，难度大，成本高，整体打磨与造价是分体后盖设计的数倍。 比如，工艺要求环形山部分采用全CNC冷雕技术成型，弧面和平台面打磨工序达14次之多，经分段式抛光设计和四轴机定向抛光处理，最终实现光影均一的视觉效果。 可能出于成本考虑，目前采用一体化成型后盖设计风格的手机商只有OPPO和苹果，而在一款中端定位的手机全系采用这种设计，业界仅OPPO一家。其中，从CMF（色彩、材质与工艺：Color Material Finishing）角度看，在OPPO Reno Pro+价位段，OPPO的投入亦属顶级。如果说外形设计采用旗舰级风格，就终端应用体验来说，属于相对浅层的感受，那么OPPO Reno8系列搭载OPPO自研的马里亚纳 X芯片，则属于基于内核性能的诚意表达，这也是OPPO Reno8系列有别于同类竞品的核心竞争力所在。 照例用一句话描述：中端定位，由旗舰配置带来的高端影像性能。比如，OPPO Reno8系列具有旗舰级4K超清夜景视频能力，这原是OPPO旗舰定位的Find X系列的功能，但如今，这项功能被下放到定位中端的OPPO Reno8系列。 旗舰级4K超清夜景视频能力主要源自马里亚纳 X。这是一颗性能极为强悍的NPU，采用同类芯片少有的6nm制程工艺，INT8峰值算力达到18TOPs，并在RAW域参与计算，其所能提供的计算冗余极大。 就终端体验而言，马里亚纳 X最能被应用感知的体验在于三点：在多帧合成和HDR计算方面，目前是量产机夜景和HDR计算速度最快的机型之一，几乎没有等待时间；夜景和HDR画质极为纯净，抗噪能力特别强；夜景视频方面，得益于高速计算能力，故能做到所见即所得的4K HDR夜景视频。 有必要对这三个特点做更为通俗的综合表达。若要拍出亮部不过曝、暗部有细节的夜景视频，原先的手机算力不足，无法满足每秒动辄60张图片的夜景视频计算需求。但是，Reno8系列配置的马里亚纳 X具有18TOPs @INT8的峰值算力，解决了这个问题，故其可首次以中端定位的产品实现芯片级4K超清夜景视频。 一位供应链摄像头模组技术人士用OPPO Find X5 Pro（骁龙8）和OPPO Reno8 Pro+（天玑8100-MAX）基于同场景下拍摄的样张做对比后表示，“总体成像质量差不多，看不出明显区别；在部分场景中，Reno8系列的暗部纯净度更好，这表明OPPO还在持续优化这颗NPU的功能。” 这位人士还说，“这两台机器在逆光HDR模式下，Reno8 Pro+的成像表现似乎还要更好一点，说明OPPO对马里亚纳 X的调校水平提升。” 马里亚纳 X芯片具有的影像能力，最为突出的优势是夜景视频拍摄和明暗光环境下的细节呈现度极为丰富，噪点控制极为强悍，画质极高。跟目前芯片商旗舰机通用SoC相比，搭载马里亚纳 X专用影像NPU拍出的照片，动态范围是SoC的4倍。 这一切都源自OPPO搭建的“全链路影像”能力。 行业现有的基于CMOS传感器与镜头模组的提升路径，已遭遇物理瓶颈。要想达成提升影像体验的目标，智能手机的体积限制难以逾越。 从多家智能手机终端厂商提升影像旗舰体验的做法和效果看，真正要满足应用终端对影像质量的无限追求，必须打通影像链路（Pipeline）的垂直整合，也就是要做到对整个影像链路各环节（自研算法+定制Sensor+优化通用平台）的自主控制。 那么，什么是影像链路垂直整合？即“全链路影像”是什么？ 简单来说，所谓影像链路，即物理世界的信息，从摄像头进，经过处理器，再到显示端出视频或照片的整个链路。在此过程中，涉及算法、Sensor、摄像头模组、NPU和SoC等软件、光学和处理器部件。 华尔街见闻了解到，通过马里亚纳 X，OPPO自研算法与OPPO自研芯片可相互开放并达成深度耦合。两者的关系是自研核心算法通过NPU（定制传感器），可最大化提升通用SoC影像性能（优化通用平台），最终提升终端应用体验，这也就是OPPO影像链路垂直整合所带来的独特竞争力。 将旗舰机的全链路影像垂直整合能力，通过配置影像专用NPU硬件，下放给一款中端定位的产品，这是OPPO面对存量市场提出的极富竞争力的核心差异化对策。尽管尚未清楚OPPO Reno8系列最终的市场表现，但首销数据已揭示这一新品的竞争力。 据OPPO提供的数据显示，截至6月1日24:00，Reno8系列全渠道销量对比上代同期创出新高，助力Reno全系列产品销量较2021年同期增长133%。Reno8 Pro+的销量也达到Reno系列Pro+版 历史 新高。 OPPO Reno8 Pro+搭载的标准SoC是天玑8100-MAX，这是一颗采用台积电5nm工艺制程的中端芯片，架构和天玑8100完全一致，影像与视频能力出色，微有不同的是其功耗相对后者更低。 在实现旗舰级影像性能的过程中，存在的难题是马里亚纳 X芯片与通用标准SoC芯片的关系，不是简单的物理叠加，而是要互相激发影像性能，实现1+1》2的体验效果，这取决于OPPO对于芯片性能的调校能力强弱。 OPPO Reno8 Pro/Pro+，均采用双芯设计，前者搭载标准SoC芯片高通骁龙7（5G）移动平台，两款产品都搭载马里亚纳 X芯片。 华尔街见闻在与高通和联发科做芯片技术交流时发现，标准SoC既有的某些强悍性能，搭载在不同的ODM手机商之某些定位不同的手机产品上时，释放的并非标准芯片的全部性能；配备这些芯片的手机，最终呈现在终端应用时的体验优劣，与这些手机商本身对于产品所做的不同定位、以及芯片性能调校能力有关。 调校能力越强，这些标准SoC能被激发的性能也越强，那么在终端做应用体验时的体验也会越好。 这就是搭载同样SoC芯片的不同手机商推出类似定位的产品，其终端应用体验或性能呈现，存在巨大差异的原因。 就上述供应链人士对OPPO Reno8 Pro+成像质量的实际体验看，OPPO在自研NPU与不同品牌SoC之间实现配合的能力已具雏形。 华尔街见闻注意到，OPPO中国区总裁刘波此前曾对外公开透露，“目前OPPO自研芯片已经向台积电下单超千万颗。” 这就说明，马里亚纳 X芯片商用规模已到了千万级的水平。在此基础上，Reno8系列搭载的高通和联发科5G平台与马里亚纳 X芯片的丝滑适配度，也表明OPPO自研芯片已具备适配更多平台的更宽广的应用空间。 未来，在市场和战略需要时，OPPO有能力凭Reno8系列积累的调通经验，较为自由地将马里亚纳 X芯片及相关影像能力赋予任何OPPO想要赋予的机型。 从这个角度看，OPPO自研芯片调校已形成标准化体系；这一由独立研发得来的底层体系化能力将是OPPO在智能手机领域的独特核心竞争力和差异化优势。 当下业界无不纷纷展示自己对于软硬件调校的实力，也都在寻求以此建立成体系的产品能力。 以谷歌为代表的公司，围绕软件核心，通过定制IC固化影像能力；国内多家手机厂商则都在自研ISP，以弥补通用SoC平台软件性能的短板；苹果则通过自研芯片与自有算法能力的紧密协同，构建完善的软硬件生态体系。 借助自研算法、自研芯片和定制传感器（固化有OPPO自研影像算法），OPPO在影像链路上的技术积累，已转化为可大规模复制和推广的通用能力，甚至能下放到定位中高端的Reno系列，延续品牌在高端层面的技术优势。 通过深度解析OPPO Reno8系列采取的措施，不难发现，OPPO应对外部变化的对策很清楚：通过坚持芯片、软硬协同等底层技术，构建体系化能力，实现产品差异化核心竞争力。 在增速趋缓的行业大背景下，智能手机市场需要更多立足实际的产品创新。 可堪一提的是OPPO的渠道策略，自2020年以来，OPPO通过分层分级方式，搭建金字塔结构，以持续提升渠道效率；因疫情冲击渠道，OPPO正通过房租补贴等方式，以实现与经销商利益共享和压力共担。

Sensor 调试流程

“ 日常工作中, 我们拿到一款新 sensor，一般都是先点亮，再接着调试效果。但点亮及调试也是有流程的，需猜粗按流程一步步去完成才可以，此文总结一下 ，关于 sensor 从点亮出图到效果调试的一个大致流程 。如觉得文中哪里有问题，或者不清楚的地方，欢迎联系指出。” 1）、确认主芯片规格 支持的最大分辨率、mclk、mipi 速率上限、支持的lane数、 支持的raw图像位深、支持的raw图像类型（mono/rgb/rgbir） 2）、硬件原理图 客户主板上调试，则需要客户提供主板原理图；平台公板上调试，则需要提供模组转接板原理图、相应公板的原理图。 3）、Sensor datasheet 确认曝光时间、增益如何设置，帧率如何修改；确认 WDR 输出模式（ 是否是dol模式/ dol_virtual channel/ dol_lineinfo）。 4）、冲并Initialize setting 向 sensor 原厂申请所需规格的 sensor setting ，包含信息有：mclk、mipi速率上限、分辨率、mipi_lane数、帧率、输出raw图像位宽、出图模式 （linera/wdr） 。配置好i2c地址、sensor setting、sensor chip_id； 根据主板原理图，在 dts 中配置 mclk、reset、pwrdn、i2c 的引脚控制，在驱动中配置 sensor pwrdn，reset 的拉高拉低、上电时序； 其他配置，需根据不同平台去具体配置，一般完成上述配置硬件没问题的话，就可以点亮出图了。步骤 3 完成后，硬件没问题的话，一般就可以出图了 若I2C不通，就要排查下板子的硬件相关问题： 1）、确认AVDD  DOVDD  DVDD 硬件电压 2）、根据原理图确认reset、pwrdn、i2c、mclk 引脚控制及电压值 3）、确认 mclk 频率 4）、确认 sensor 上电时序若出图异常（图像分屏、错位、显示不完整 ....）； 1）、拍raw图，确认 raw 图是否正常。 2）、若raw 图也异常，输指令排查下mipi 传输是否有报错、示波器量一下mipi 波形，如果都正常的话，那一般就是 sensor setting 有问题，要找sensor 原厂去看了。 3）、但若raw 图正常，那就应该是驱动或者ISP的配置哪里还有问题，要继续排查 。具体也可参考这篇文章： Sensor bringup 中的一些问题总结 如上图所示，AE分为算法模块和统计模块，算法模块是纯软件模块。所以有很多品牌厂商，虽然用同样的平台，但为了做出差异化的产品，都是用自己开发的 3A 算法。AE 统计模块是和硬件相关的，包含在 ISP pipeline 里。 AE的整个控制流程，如上示意图所示，AE 算法控制一组曝光参数（曝光时间、sensor 模拟增益、sensor 数字增益、isp 数字增益），通过配置的sensor 驱动写入到 sensor 寄存器中（isp dgain 是直接写入相应的 isp 寄存器中的，不通过 sensor 驱动来控制），输出图像数据。 数据经过 AE 统计模块，将亮度统计信息给到 AE 算法模块，再次实时计算得出一组曝光参数，直到曝光正确，循环才结束。首次上电启动时，是从sensor 驱动开始加载的，驱动中包含一组默认的初始化参数，可以点亮出图 。那sensor 驱动中如何配置 AE ？ 1》、首先配置曝光时间 根据 sensor datasheet 配置好最大最小积分时间，然后将 AE 计算出的曝光行，写入到相应控制曝光时间的寄存器就可以了。这里说的是逐行曝光的 sensor，它是按行进行曝光的，积分时间是相对时间，exposure_time = integration_time * line_time（一行时间）。 2》、配置sensor 模拟增益、数字增益 一般我们只需配置 sensor 模拟增益就可以了，不用数字增益，但会用到isp 数字增益，它是 AE 算法控制的，不用在 sensor 驱穗判镇动中去配置。总结一下，关于sensor 模拟增益的控制，一般分为3种形式。 一种是写入 sensor again 寄存器的值有具体要求，会有一个 again_table，配置好平台与 Sensor 的匹配精度（对应好几倍增益，应该写什么值），通过查 again_table 写入。一般思特威和格科微的 again 配置，都是要查表写入，如下是 sc230ai datasheet 中的 again_table 。 另一种是，写入 sensor again 寄存器的值是连续的，配置好平台与 Sensor 的匹配精度，将平台 AE 计算的 again 值写入sensor 即可。如下是ov08a10的again 配置，0x3503，只有整数位1x，2x，4x，8x 。 后一种是如下imx335 所示，写入 sensor again 寄存器的值，是要求转换成dB写入，不是增益倍数的方式写入，它是非线性的，将平台 AE 计算的 gain 值转换成 dB 形式写入 sensor 寄存器； 3》、验证曝光及模拟增益的配置是否正确 最后要通过调试工具手动去控制积分时间、模拟增益的写入，然后通过读 sensor 相应的寄存器的值，来判断写入的数据是否正确，以此来检查驱动中的相关配置是否正确。拉高增益和曝光，验证是否有电源噪声/FPN：如下图所示，有横条纹则一般和硬件相关，竖条纹是和 sensor 相关，要找硬件和 sensor 原厂的人去看。 确认镜头品质：拍摄 ISO22233 解析力卡的raw 图，若图卡对焦对不清晰，四周模糊，或者单独某一边模糊，则镜头品质有问题，需更换镜头。 可参考此篇文章： ISP调试流程概述