CN114760480A - 图像处理方法、装置、设备及存储介质 - Google Patents

图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114760480A
CN114760480A CN202110026530.3A CN202110026530A CN114760480A CN 114760480 A CN114760480 A CN 114760480A CN 202110026530 A CN202110026530 A CN 202110026530A CN 114760480 A CN114760480 A CN 114760480A
Authority
CN
China
Prior art keywords
raw
frame
raw image
scene
code stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110026530.3A
Other languages
English (en)
Inventor
张金雷
陈刚
王妙锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110026530.3A priority Critical patent/CN114760480A/zh
Priority to US18/260,611 priority patent/US20240305782A1/en
Priority to PCT/CN2022/070815 priority patent/WO2022148446A1/zh
Priority to EP22736607.7A priority patent/EP4254964A4/en
Publication of CN114760480A publication Critical patent/CN114760480A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/04—Protocols specially adapted for terminals or networks with limited capabilities; specially adapted for terminal portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供一种图像处理方法、装置、设备及存储介质，涉及图像处理领域。本申请中，终端设备响应于用户的拍照操作，采集当前拍照场景对应的RAW图后，可以对当前拍照场景对应的RAW图进行编码，得到当前拍照场景对应的RAW图的编码码流并发送至云端。云端可以对当前拍照场景对应的RAW图的编码码流进行解码，得到当前拍照场景对应的重建RAW图，并对当前拍照场景对应的重建RAW图进行处理，生成当前拍照场景对应的第一格式的图像。本申请可以充分利用云端的大数据资源和计算资源进行图像处理，以达到更好的图像处理效果，避免了在图像处理过程中将YUV域的一些图像处理算法迁移至RAW域进行时，在终端设备中受到约束而导致处理效果受限的问题。

Description

图像处理方法、装置、设备及存储介质
技术领域
本申请实施例涉及图像处理领域，尤其涉及一种图像处理方法、装置、设备及存储介质。
背景技术
手机在进行拍照时，手机的相机模块可以采集原始图像并输出给中间处理模块。原始图像可以称为RAW图或数字底片。手机的中间处理模块可以对接收到的RAW图进行一系列处理，最终得到可用于显示的图像，如：JPEG图像。该JPEG图像可以被传输给手机的显示屏进行显示，和/或，传输给手机的存储器进行存储。其中，中间处理模块对RAW图进行处理，生成JPEG图像的过程可以包括：对RAW图进行图像信号处理(image signal processing，ISP)，将图像从RAW域转换到YUV域，YUV域的图像可称为YUV图；然后，采用YUV域后处理算法对YUV图进行处理；最后，采用JPEG编码方式对完成YUV域处理后的YUV图进行编码，得到JPEG图像。
目前，为了中间处理模块能够达到更好的图像处理效果，可以将YUV域的一些图像处理算法迁移至RAW域进行。例如，可以将HDR的多帧配准、融合、降噪等图像处理算法由YUV域迁移至RAW域进行。在RAW域进行图像处理的好处可以包括：RAW图比YUV图含有更高的比特位信息；RAW图未经过ISP处理，不会对颜色、细节等信息造成破坏等。
但是，相比于YUV域的图像处理而言，RAW域的图像处理的数据量要更大，对算法性能、内存等要求会更高。而手机的计算资源和内存资源是有限的，因此，通过将YUV域的一些图像处理算法迁移至RAW域进行的方式，在手机中会受到一定约束，容易导致处理效果受限的问题。例如，可能需要对一些图像处理算法根据手机的算力进行裁剪适配，从而导致图像处理算法的处理结果并不理想。
发明内容
本申请实施例提供一种图像处理方法、装置、设备及存储介质，可以解决将YUV域的一些图像处理算法迁移至RAW域进行时，手机受到约束而导致处理效果受限的问题。
第一方面，本申请实施例提供一种图像处理方法，所述方法包括：终端设备响应于用户的拍照操作，采集当前拍照场景对应的RAW图。终端设备对当前拍照场景对应的RAW图进行编码，得到当前拍照场景对应的RAW图的编码码流，并向云端发送当前拍照场景对应的RAW图的编码码流。终端设备接收来自云端的第一格式的图像，第一格式的图像为云端根据当前拍照场景对应的RAW图的编码码流所生成的。
通过该图像处理方法可以避免将YUV域的一些图像处理算法迁移至RAW域进行时，在终端设备中会受到一定约束而导致处理效果受限的问题；可以充分利用云端的大数据资源和计算资源，对RAW图进行RAW域图像处理、ISP处理、以及YUV域处理，以达到更好的图像处理效果。
可选地，所述当前拍照场景对应的RAW图包括一帧或多帧；所述终端设备对当前拍照场景对应的RAW图进行编码，得到当前拍照场景对应的RAW图的编码码流，并向云端发送当前拍照场景对应的RAW图的编码码流，包括：当当前拍照场景对应的RAW图包括多帧时，终端设备对多帧RAW图进行编码，得到多帧RAW图的编码码流，并向云端发送多帧RAW图的编码码流。
本设计中，如果终端设备的相机模块采集多帧RAW图，则将多帧RAW图对应的编码码流上传给云端进行处理。而如果采集一帧RAW图，则直接通过本地(即终端设备侧)进行处理。
其他一些实现方式中，也可以是不论采集一帧RAW图，还是采集多帧RAW图，终端设备都对采集的RAW图进行编码得到RAW图对应的编码码流，并将RAW图对应的编码码流上传给云端进行处理。
可选地，所述终端设备响应于用户的拍照操作，采集当前拍照场景对应的RAW图之前，所述方法还包括：终端设备响应于用户的第一选择操作，确定需要将拍照时采集的RAW图上传到云端进行处理。
本设计中，终端设备可以具有供用户选择是否将相机模块采集到的RAW图上传到云端进行处理的功能。其中，第一选择操作可以是用户在终端设备上使用该功能的操作。例如，当手机启动运行拍照应用程序后，可以在拍照界面为用户提供一个可选择是否将相机模块采集到的RAW图上传到云端进行处理的功能控件，用户可以通过对该功能控件进行操作，以主动选择是否将相机模块采集到的RAW图上传到云端进行处理。手机选择将相机模块采集到的RAW图上传到云端进行处理的操作即为第一选择操作。
可选地，所述终端设备对当前拍照场景对应的RAW图进行编码，得到当前拍照场景对应的RAW图的编码码流，包括：终端设备对当前拍照场景对应的RAW图进行压缩，得到当前拍照场景对应的RAW图的压缩特征；终端设备对当前拍照场景对应的RAW图的压缩特征进行量化；终端设备对当前拍照场景对应的RAW图的量化后的压缩特征进行熵编码，得到当前拍照场景对应的RAW图的编码码流。
可选地，当当前拍照场景对应的RAW图包括多帧时，所述终端设备对当前拍照场景对应的RAW图进行压缩，得到当前拍照场景对应的RAW图的压缩特征，包括：终端设备根据当前拍照场景的类型，确定多帧RAW图之间的帧间相关性；终端设备从多帧RAW图中选择一帧作为参考帧，并根据参考帧、以及多帧RAW图之间的帧间相关性，对多帧RAW图中除参考帧之外的其他帧进行预测，得到其他帧对应的残差图；终端设备对多帧RAW图中除参考帧之外的其他帧对应的残差图、以及参考帧进行压缩，得到多帧RAW图的压缩特征。
本设计中，终端设备从多帧RAW图中选择一帧作为参考帧，并根据参考帧、以及多帧RAW图之间的帧间相关性，对多帧RAW图中除参考帧之外的其他帧进行预测，得到其他帧对应的残差图，即是指根据多帧RAW图之间的帧间相关性对多帧RAW图进行预处理。根据多帧RAW图之间的帧间相关性对多帧RAW图进行预处理，能够进一步提高多帧RAW图进行压缩时的压缩率，提高RAW图编码码流的传输速度。
可选地，所述方法还包括：终端设备根据多帧RAW图的元数据信息，确定当前拍照场景的类型。
可选地，所述终端设备对当前拍照场景对应的RAW图进行编码，得到当前拍照场景对应的RAW图的编码码流，包括：终端设备采用分布式信源编码的方式对当前拍照场景对应的RAW图进行信道编码，得到当前拍照场景对应的RAW图的编码码流；其中，当当前拍照场景对应的RAW图包括多帧时，当前拍照场景对应的RAW图的编码码流包括与多帧RAW图一一对应的多组码流包；当当前拍照场景对应的RAW图包括一帧时，当前拍照场景对应的RAW图的编码码流包括与一帧RAW图对应的一组码流包。每组码流包中包括多个码流包，每个码流包至少包括纠错码、以及码流包对应的一帧RAW图的元数据信息。所述终端设备向云端发送当前拍照场景对应的RAW图的编码码流，包括：终端设备以帧为单位，依次向云端上传每一帧RAW图对应的码流包。
本设计中，当终端设备采用分布式编码的方法对RAW图进行编码时，在云端的预测值越准确，则需要传输的纠错码就会越少，压缩率会越高。从而，可以充分利用云端的数据相关性，达到更高压缩率，有效节省上传流量。
第二方面，本申请实施例提供一种图像处理装置，该装置可以用于实现上述第一方面所述的方法。该装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元，例如，相机模块、编码模块、发送模块、接收模块等。
其中，相机模块，用于响应于用户的拍照操作，采集当前拍照场景对应的RAW图；编码模块，用于对当前拍照场景对应的RAW图进行编码，得到当前拍照场景对应的RAW图的编码码流；发送模块，用于向云端发送当前拍照场景对应的RAW图的编码码流；接收模块，用于接收来自云端的第一格式的图像，第一格式的图像为云端根据当前拍照场景对应的RAW图的编码码流所生成的。
可选地，所述当前拍照场景对应的RAW图包括一帧或多帧；编码模块，具体用于当当前拍照场景对应的RAW图包括多帧时，对多帧RAW图进行编码，得到多帧RAW图的编码码流；发送模块，具体用于向云端发送多帧RAW图的编码码流。
可选地，所述相机模块，还用于响应于用户的第一选择操作，确定需要将拍照时采集的RAW图上传到云端进行处理。
可选地，所述编码模块，具体用于对当前拍照场景对应的RAW图进行压缩，得到当前拍照场景对应的RAW图的压缩特征；对当前拍照场景对应的RAW图的压缩特征进行量化；对当前拍照场景对应的RAW图的量化后的压缩特征进行熵编码，得到当前拍照场景对应的RAW图的编码码流。
可选地，所述编码模块，具体用于当当前拍照场景对应的RAW图包括多帧时，根据当前拍照场景的类型，确定多帧RAW图之间的帧间相关性；从多帧RAW图中选择一帧作为参考帧，并根据参考帧、以及多帧RAW图之间的帧间相关性，对多帧RAW图中除参考帧之外的其他帧进行预测，得到其他帧对应的残差图；对多帧RAW图中除参考帧之外的其他帧对应的残差图、以及参考帧进行压缩，得到多帧RAW图的压缩特征。
可选地，所述编码模块还用于根据多帧RAW图的元数据信息，确定当前拍照场景的类型。
可选地，所述编码模块，具体用于采用分布式信源编码的方式对当前拍照场景对应的RAW图进行信道编码，得到当前拍照场景对应的RAW图的编码码流；其中，当当前拍照场景对应的RAW图包括多帧时，当前拍照场景对应的RAW图的编码码流包括与多帧RAW图一一对应的多组码流包；当当前拍照场景对应的RAW图包括一帧时，当前拍照场景对应的RAW图的编码码流包括与一帧RAW图对应的一组码流包。每组码流包中包括多个码流包，每个码流包至少包括纠错码、以及码流包对应的一帧RAW图的元数据信息。所述发送模块，具体用于以帧为单位，依次向云端上传每一帧RAW图对应的码流包。
第三方面，本申请实施例提供一种电子设备，包括：处理器，用于存储处理器可执行指令的存储器；处理器被配置为执行所述指令时，使得电子设备实现如第一方面所述的图像处理方法。
该电子设备可以是手机、平板电脑、可穿戴设备、车载设备、AR/VR设备、笔记本电脑、超级移动个人计算机、上网本、个人数字助理等移动终端，或者，也可以是数码相机、单反相机/微单相机、运动摄像机、云台相机、无人机等专业的拍摄设备。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序指令；当计算机程序指令被电子设备执行时，使得电子设备实现如第一方面所述的图像处理方法。
第五方面，本申请实施例还提供一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，使得电子设备实现前述第一方面所述的图像处理方法。
上述第二方面至第五方面所具备的有益效果，可参考第一方面中所述，在此不再赘述。
第六方面，本申请实施例还提供一种图像处理方法，所述方法包括：云端接收来自终端设备的当前拍照场景对应的RAW图的编码码流。云端对当前拍照场景对应的RAW图的编码码流进行解码，得到当前拍照场景对应的重建RAW图。云端对当前拍照场景对应的重建RAW图进行处理，生成当前拍照场景对应的第一格式的图像，并向终端设备发送第一格式的图像。
可选地，所述云端对当前拍照场景对应的RAW图的编码码流进行解码，得到当前拍照场景对应的重建RAW图，包括：云端对当前拍照场景对应的RAW图的编码码流进行熵解码，得到当前拍照场景对应的RAW图的量化后的压缩特征；云端对当前拍照场景对应的RAW图的量化后压缩特征进行反量化，得到当前拍照场景对应的RAW图的压缩特征；云端对当前拍照场景对应的RAW图的压缩特征进行解压，得到当前拍照场景对应的重建RAW图。
可选地，当前拍照场景对应的RAW图包括多帧；所述云端对当前拍照场景对应的RAW图的压缩特征进行解压，得到当前拍照场景对应的重建RAW图，包括：云端对多帧所述RAW图的压缩特征进行解压，得到多帧RAW图中的参考帧对应的重建RAW图、以及其他帧对应的残差图；云端根据当前拍照场景的类型，确定多帧RAW图之间的帧间相关性；云端根据参考帧对应的重建RAW图、其他帧对应的残差图、以及多帧RAW图之间的帧间相关性，对多帧RAW图进行重建，得到与多帧RAW图一一对应的多帧重建RAW图。
可选地，多帧RAW图的编码码流中还包括多帧RAW图的元数据信息；所述云端根据当前拍照场景的类型，确定多帧RAW图之间的帧间相关性之前，所述方法还包括：云端根据多帧RAW图的元数据信息，确定当前拍照场景的类型。
可选地，当前拍照场景对应的RAW图的编码码流是终端设备采用分布式信源编码的方式对当前拍照场景对应的RAW图进行信道编码得到的；当当前拍照场景对应的RAW图包括多帧时，当前拍照场景对应的RAW图的编码码流包括与多帧RAW图一一对应的多组码流包；当当前拍照场景对应的RAW图包括一帧时，当前拍照场景对应的RAW图的编码码流包括与一帧RAW图对应的一组码流包；每组码流包中包括多个码流包，每个码流包至少包括纠错码、以及码流包对应的一帧RAW图的元数据信息。所述云端对当前拍照场景对应的RAW图的编码码流进行解码，得到当前拍照场景对应的重建RAW图，包括：当当前拍照场景对应的RAW图包括一帧时，云端根据初始预测值采用帧内预测的方式对接收到的一帧RAW图对应的码流包进行解码，得到一帧RAW图对应的重建RAW图。当当前拍照场景对应的RAW图包括多帧时，云端根据初始预测值采用帧内预测的方式对接收到的第一帧RAW图对应的码流包进行解码，得到第一帧RAW图对应的重建RAW图；云端根据已经解码得到的重建RAW图中的至少一帧、以及多帧RAW图之间的帧间相关性，对接收到的第一帧RAW图之后的每一帧RAW图对应的码流包进行解码，得到第一帧RAW图之后的每一帧RAW图对应的重建RAW图。
可选地，当当前拍照场景对应的重建RAW图包括多帧时，所述云端对当前拍照场景对应的重建RAW图进行处理，生成当前拍照场景对应的第一格式的图像，包括：云端将多帧重建RAW图在RAW域融合为一帧重建RAW图；云端将融合后的一帧重建RAW图由RAW域转换至YUV域，得到得到一帧重建RAW图对应的YUV图；云端将一帧重建RAW图对应的YUV图编码为第一格式，得到当前拍照场景对应的第一格式的图像。
可选地，当当前拍照场景对应的重建RAW图包括多帧时，云端对当前拍照场景对应的重建RAW图进行处理，生成当前拍照场景对应的第一格式的图像，包括：云端将多帧重建RAW图由RAW域转换至YUV域，得到与多帧重建RAW图一一对应的多帧YUV图；云端将与多帧重建RAW图一一对应的多帧YUV图在YUV域融合为一帧YUV图；云端将融合后的一帧YUV图编码为第一格式，得到当前拍照场景对应的第一格式的图像。
第六方面中所述的图像处理方法与前述第一方面所述的图像处理方法相对应，因此，具有与前述第六方面相同的有益效果，不再赘述。
第七方面，本申请实施例提供一种图像处理装置，该装置可以用于实现上述第六方面所述的方法。该装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元，例如，接收模块、解码模块、处理模块、发送模块等。
其中，接收模块，用于接收来自终端设备的当前拍照场景对应的RAW图的编码码流；解码模块，用于对当前拍照场景对应的RAW图的编码码流进行解码，得到当前拍照场景对应的重建RAW图；处理模块，用于对当前拍照场景对应的重建RAW图进行处理，生成当前拍照场景对应的第一格式的图像；发送模块，用于向终端设备发送第一格式的图像。
例如，处理模块可以包括RAW域后处理模块、ISP模块、YUV域后处理模块、第一格式编码器等。
可选地，所述解码模块，具体用于对当前拍照场景对应的RAW图的编码码流进行熵解码，得到当前拍照场景对应的RAW图的量化后的压缩特征；对当前拍照场景对应的RAW图的量化后压缩特征进行反量化，得到当前拍照场景对应的RAW图的压缩特征；对当前拍照场景对应的RAW图的压缩特征进行解压，得到当前拍照场景对应的重建RAW图。
可选地，当前拍照场景对应的RAW图包括多帧；所述解码模块，具体用于对多帧RAW图的压缩特征进行解压，得到多帧RAW图中的参考帧对应的重建RAW图、以及其他帧对应的残差图；根据当前拍照场景的类型，确定多帧RAW图之间的帧间相关性；根据参考帧对应的重建RAW图、其他帧对应的残差图、以及多帧RAW图之间的帧间相关性，对多帧RAW图进行重建，得到与多帧RAW图一一对应的多帧重建RAW图。
可选地，多帧RAW图的编码码流中还包括多帧RAW图的元数据信息；所述解码模块，还用于根据多帧RAW图的元数据信息，确定当前拍照场景的类型。
可选地，当前拍照场景对应的RAW图的编码码流是终端设备采用分布式信源编码的方式对当前拍照场景对应的RAW图进行信道编码得到的；当当前拍照场景对应的RAW图包括多帧时，当前拍照场景对应的RAW图的编码码流包括与多帧RAW图一一对应的多组码流包；当当前拍照场景对应的RAW图包括一帧时，当前拍照场景对应的RAW图的编码码流包括与一帧RAW图对应的一组码流包；每组码流包中包括多个码流包，每个码流包至少包括纠错码、以及码流包对应的一帧RAW图的元数据信息。当当前拍照场景对应的RAW图包括一帧时，所述解码模块，具体用于根据初始预测值采用帧内预测的方式对接收到的一帧RAW图对应的码流包进行解码，得到一帧RAW图对应的重建RAW图。当当前拍照场景对应的RAW图包括多帧时，所述解码模块，具体用于根据初始预测值采用帧内预测的方式对接收到的第一帧RAW图对应的码流包进行解码，得到第一帧RAW图对应的重建RAW图；根据已经解码得到的重建RAW图中的至少一帧、以及多帧RAW图之间的帧间相关性，对接收到的第一帧RAW图之后的每一帧RAW图对应的码流包进行解码，得到第一帧RAW图之后的每一帧RAW图对应的重建RAW图。
可选地，当当前拍照场景对应的重建RAW图包括多帧时，所述处理模块，具体用于将多帧重建RAW图在RAW域融合为一帧重建RAW图；将融合后的一帧重建RAW图由RAW域转换至YUV域，得到得到一帧重建RAW图对应的YUV图；将一帧重建RAW图对应的YUV图编码为第一格式，得到当前拍照场景对应的第一格式的图像。
可选地，当当前拍照场景对应的重建RAW图包括多帧时，所述处理模块，具体用于将多帧重建RAW图由RAW域转换至YUV域，得到与多帧重建RAW图一一对应的多帧YUV图；将与多帧重建RAW图一一对应的多帧YUV图在YUV域融合为一帧YUV图；将融合后的一帧YUV图编码为第一格式，得到当前拍照场景对应的第一格式的图像。
第八方面，本申请实施例提供一种电子设备，包括：处理器，用于存储处理器可执行指令的存储器；处理器被配置为执行所述指令时，使得电子设备实现如第六方面所述的图像处理方法。
该电子设备可以是云端服务器、服务器集群、云平台等。
第九方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序指令；当计算机程序指令被电子设备执行时，使得电子设备实现如第六方面所述的图像处理方法。
第十方面，本申请实施例还提供一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，使得电子设备实现前述第六方面所述的图像处理方法。
上述第七方面至第十方面所具备的有益效果，可参考第六方面中所述，在此不再赘述。
应当理解的是，本申请中对技术特征、技术方案、有益效果或类似语言的描述并不是暗示在任意的单个实施例中可以实现所有的特点和优点。相反，可以理解的是对于特征或有益效果的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或有益效果。因此，本说明书中对于技术特征、技术方案或有益效果的描述并不一定是指相同的实施例。进而，还可以任何适当的方式组合本实施例中所描述的技术特征、技术方案和有益效果。本领域技术人员将会理解，无需特定实施例的一个或多个特定的技术特征、技术方案或有益效果即可实现实施例。在其他实施例中，还可在没有体现所有实施例的特定实施例中识别出额外的技术特征和有益效果。
附图说明
图1示出了一种拍照原理的示意图；
图2示出了本申请实施例提供的端云协同系统的结构示意图；
图3示出了本申请实施例提供的终端设备的结构示意图；
图4示出了本申请实施例提供的手机与云端的交互示意图；
图5示出了本申请实施例提供的拍照界面的示意图；
图6示出了本申请实施例提供的拍照界面的另一示意图；
图7示出了本申请实施例提供的拍照界面的又一示意图；
图8示出了本申请实施例提供的拍照界面的又一示意图；
图9示出了本申请实施例提供的编码模块的示意图；
图10示出了本申请实施例提供的解码模块的示意图；
图11示出了一种RAW图的RGGB格式排布示意图；
图12示出了本申请实施例提供的编码模块的另一示意图；
图13示出了本申请实施例提供的解码模块的另一示意图；
图14示出了本申请实施例提供的解码模块的处理流程示意图；
图15示出了本申请实施例提供的一种图像处理装置的结构示意图；
图16示出了本申请实施例提供的另一种图像处理装置的结构示意图。
具体实施方式
本申请实施例可以适用于具有拍照功能的终端设备进行拍照的场景。
可选地，终端设备可以是手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personaldigital assistant，PDA)等移动终端，或者，也可以是数码相机、单反相机/微单相机、运动摄像机、云台相机、无人机等专业的拍摄设备，本申请实施例对终端设备的具体类型不作限制。
以终端设备为手机为例，图1示出了一种拍照原理的示意图。如图1所示，一般而言，手机的相机模块110(或称为相机模组)包括镜头(lens)111和传感器(sensor)112。手机在进行拍照时，相机模块110的镜头111可以获取拍摄场景中拍摄对象对应的光信号。相机模块110的sensor 112可以将通过镜头111的光信号转换为电信号，再对电信号进行模数(analogue-to-digital，A/D)转换，输出对应的数字信号给中间处理模块120。sensor 112输出给中间处理模块120的数字信号即为相机模块110拍摄的原始图像，可称为RAW图或数字底片。中间处理模块120可以对接收到的RAW图进行一系列处理，最终得到可用于显示的图像，如：JPEG图像。该JPEG图像可以被传输给手机的显示屏130进行显示，和/或，传输给手机的存储器140进行存储。
请继续参考图1所示，其中，中间处理模块120对RAW图进行处理，生成JPEG图像的过程可以包括：对RAW图进行图像信号处理(image signal processing，ISP)，将图像从RAW域转换到YUV域，YUV域的图像可称为YUV图；然后，采用YUV域后处理算法对YUV图进行处理；最后，采用JPEG编码方式对完成YUV域处理后的YUV图进行编码，得到JPEG图像。
示例性地，ISP处理中可以包括：坏点矫正(bad pixel correction，DPC)、RAW域降噪、黑电平矫正(black level correction，BLC)、镜头亮度矫正(lens shadingcorrection，LSC)、自动白平衡(auto white balance，AWB)、去马赛克(demosica)颜色插值、色彩校正(color correction matrix，CCM)、动态范围压缩(dynamic rangecompression，DRC)、伽玛(gamma)、3D查找表(look up table，LUT)、YUV域降噪、锐化(sharpen)、增强细节(detail enhance)等。
YUV域后处理算法可以包括：高动态范围图像(high-dynamic range，HDR)的多帧配准、融合、降噪，以及提升清晰度的超分辨率(super resolution，SR)算法、美肤算法、畸变校正算法、虚化算法等。
在上述中间处理模块120对RAW图进行处理生成JPEG图像的过程中，通过将YUV域的一些图像处理算法迁移至RAW域进行，可以达到更好的图像处理效果。例如，可以将HDR的多帧配准、融合、降噪等图像处理算法由YUV域迁移至RAW域进行。在RAW域进行图像处理的好处可以包括：RAW图比YUV图含有更高的比特位信息；RAW图未经过ISP处理，不会对颜色、细节等信息造成破坏等。
但是，相比于YUV域的图像处理而言，RAW域的图像处理的数据量要更大，对算法性能、内存等要求会更高。而终端设备的计算资源和内存资源是有限的，因此，通过将YUV域的一些图像处理算法迁移至RAW域进行的方式，在终端设备中会受到一定约束，容易导致处理效果受限的问题。例如，可能需要对一些图像处理算法根据终端设备的算力进行裁剪适配，从而导致图像处理算法的处理结果并不理想。
基于此，本申请实施例提供一种图像处理方法，该方法中，终端设备可以将采集到的需要处理的RAW图上传到云端。云端可以充分利用大数据资源和计算资源，对RAW图进行RAW域图像处理、ISP处理、以及YUV域处理，得到最终的第一格式的图像，并回传给终端设备。
其中，第一格式可以包括JPEG格式、高效率图像文件格式(high efficiencyimage file format，HEIF)等，本申请对第一格式不作限制。
通过该图像处理方法可以避免将YUV域的一些图像处理算法迁移至RAW域进行时，在终端设备中会受到一定约束而导致处理效果受限的问题；可以充分利用云端的大数据资源和计算资源，对RAW图进行RAW域图像处理、ISP处理、以及YUV域处理，以达到更好的图像处理效果。
以下结合附图对本申请实施例进行具体说明。
需要说明的是，在本申请的描述中，“至少一个”是指一个或多个，“多个”是指两个或两个以上。类似地，“多帧”是指两帧或两帧以上。“第一”、“第二”等字样仅仅是为了区分描述，并不用于对某个特征的特别限定。“和/或”用于描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例提供的图像处理方法可以应用于由终端设备和云端组成的端云协同系统。端云协同的“端”指终端设备，“云”指云端，云端也可称为云服务器或云平台。例如，图2示出了本申请实施例提供的端云协同系统的结构示意图，如图2所示，该端云协同系统可以包括：终端设备210和云端220，终端设备210可以通过无线网络与云端220连接。
在一个实施例中，云端220可以是计算机服务器、或者多个服务器组成的服务器集群，本申请对云端220的实现架构不作限制。终端设备210的具体形态可以参考前述实施例中所述，不再赘述。
可选地，图2中示例性给出了一个终端设备210。但应当理解，该端云协同系统中的终端设备210可以包括一个或多个，多个终端设备210可以相同，也可以不相同，在此不作限制。本申请实施例提供的图像处理方法是针对每个终端设备210与云端220之间进行交互实现图像处理的过程。
示例性地，以终端设备为手机为例，图3示出了本申请实施例提供的终端设备的结构示意图。如图3所示，手机可以包括处理器310，外部存储器接口320，内部存储器321，通用串行总线(universal serial bus，USB)接口330，充电管理模块340，电源管理模块341，电池342，天线1，天线2，移动通信模块350，无线通信模块360，音频模块370，扬声器370A，受话器370B，麦克风370C，耳机接口370D，传感器模块380，按键390，马达391，指示器392，摄像头393，显示屏394，以及用户标识模块(subscriber identification module，SIM)卡接口395等。
处理器310可以包括一个或多个处理单元，例如：处理器310可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
其中，控制器可以是手机的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器310中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器310中的存储器为高速缓冲存储器。该存储器可以保存处理器310刚用过或循环使用的指令或数据。如果处理器310需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器310的等待时间，因而提高了系统的效率。
在一些实施例中，处理器310可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，SIM接口，和/或USB接口等。
外部存储器接口320可以用于连接外部存储卡，例如Micro SD卡，实现扩展手机的存储能力。外部存储卡通过外部存储器接口320与处理器310通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器321可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器310通过运行存储在内部存储器321的指令，从而执行手机的各种功能应用以及数据处理。内部存储器321可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储手机使用过程中所创建的数据(比如图像数据，电话本等)等。此外，内部存储器321可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
充电管理模块340用于从充电器接收充电输入。充电管理模块340为电池342充电的同时，还可以通过电源管理模块341为手机供电。电源管理模块341用于连接电池342，充电管理模块340，以及处理器310。电源管理模块341也可接收电池342的输入为手机供电。
手机的无线通信功能可以通过天线1，天线2，移动通信模块350，无线通信模块360，调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。手机中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
手机可以通过音频模块370，扬声器370A，受话器370B，麦克风370C，耳机接口370D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
传感器模块380可以包括压力传感器380A，陀螺仪传感器380B，气压传感器380C，磁传感器380D，加速度传感器380E，距离传感器380F，接近光传感器380G，指纹传感器380H，温度传感器380J，触摸传感器380K，环境光传感器380L，骨传导传感器380M等。
摄像头393可以包括多种类型。例如，摄像头393可以包括具有不同焦段的长焦摄像头，广角摄像头或超广角摄像头等。其中，长焦摄像头的视场角小，适用于拍摄远处小范围内的景物；广角摄像头的视场角较大；超广角摄像头的视场角大于广角摄像头，可以用于拍摄全景等大范围的画面。在一些实施例中，视场角较小的长焦摄像头可转动，从而可以拍摄不同范围内的景物。
手机可以通过摄像头393捕获RAW图。例如，摄像头393的具体结构可以参考如图1中所述的相机模块，至少包括镜头和传感器(sensor)。在拍摄照片或者拍摄视频时，打开快门，光线可以通过摄像头393的镜头被传递到sensor上。sensor可以将通过镜头的光信号转换为电信号，再对电信号进行A/D转换，输出对应的数字信号。该数字信号即为RAW图。后续通过对RAW图进行后续的RAW域处理、ISP处理、以及YUV域处理，可以将RAW图转化为肉眼可见的图。
在一种可能的设计中，sensor的感光元件可以是电荷耦合器件(charge coupleddevice，CCD)，sensor还包括A/D转换器。在另外一种可能的设计中，sensor的感光元件可以是互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)。
显示屏394用于显示图像，视频等。显示屏394包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，手机可以包括1个或N个显示屏394，N为大于1的正整数。例如，显示屏394可以用于显示拍照界面，照片播放界面等。
手机通过GPU，显示屏394，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏394和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器310可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
可以理解的是，图3所示的结构并不构成对手机的具体限定。在一些实施例中，手机也可以包括比图3所示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置等。又或者，图3所示的一些部件可以以硬件，软件或软件和硬件的组合实现。
另外，当终端设备是其他平板电脑、可穿戴设备、车载设备、AR/VR设备、笔记本电脑、UMPC、上网本、PDA等移动终端，或者，数码相机、单反相机/微单相机、运动摄像机、云台相机、无人机等专业的拍摄设备时，这些其他终端设备的具体结构也可以参考图3所示。示例性地，其他终端设备可以是在图3给出的结构的基础上增加或减少了组件，在此不再一一赘述。
还应当理解的是，终端设备(如手机)中可以运行有一个或多个拍照应用程序，以便通过运行拍照应用程序，实现拍摄的功能。例如，该拍照应用程序可以包括系统级应用“相机”应用。又如，该拍照应用还可以包括其他安装在终端设备中的能够用于拍摄的应用程序。
下面以终端设备为手机为例，结合上述图2所示的端云协同系统，对手机在拍照时采集RAW图、以及将采集到的需要处理的RAW图上传到云端进行图像处理的过程进行示例性说明。应当理解，下述实施例给出的图像处理过程，同样适用于其他具有拍照功能的终端设备与云端交互的场景。
图4示出了本申请实施例提供的手机与云端的交互示意图。其中，端侧表示手机侧，云侧表示云端侧。如图4所示，本申请实施例中，手机至少可以包括相机模块和编码模块。当用户使用手机进行拍照时，手机可以通过相机模块采集RAW图。然后，手机可以通过编码模块对相机模块采集的RAW图进行编码得到RAW图对应的编码码流，并将RAW图对应的编码码流上传给云端。
云端至少可以包括解码模块、RAW域后处理模块、ISP模块、YUV域后处理模块、以及第一格式编码器。云端可以通过解码模块对来自手机的RAW图对应的编码码流进行解码，得到重建RAW图。通过RAW域后处理模块、ISP模块、以及YUV域后处理模块可以对重建RAW图依次进行RAW域图像处理、ISP处理、以及YUV域图像处理，YUV域后处理模块会输出一帧YUV图。通过第一格式编码器可以对YUV域后处理模块输出的YUV图进行第一格式的编码，最终得到第一格式的图像(如：JPEG图像)。然后，云端可以将第一格式的图像回传给手机。从而，手机可以将第一格式的图像保存在图库中或呈现给用户。
示例性地，用户在使用手机进行拍照之前，可以先启动手机的拍照应用程序。如：用户可以点击或触摸手机上的相机的图标，手机可以响应于用户对相机的图标的点击或触摸操作，启动运行相机(或者，用户还可以通过语音助手启动相机，不作限制)。手机在启动运行拍照应用程序后，会为用户呈现拍照界面，同时，手机还会获取当前拍照场景对应的预览画面，并显示在拍照界面中。例如，图5示出了本申请实施例提供的拍照界面的示意图。如图5所示，当手机的拍照应用程序启动时，手机为用户呈现的拍照界面至少可以包括：预览画面、拍照按键。
其中，预览画面的获取过程与前述图1所示拍照原理类似，如：手机可以通过相机模块采集当前拍照场景对应的RAW图。然后，手机的ISP模块、YUV域后处理模块等(图4中未再示出手机的ISP模块、YUV域后处理模块等结构)可以对RAW图进行处理，得到可在拍照界面显示的预览画面。可选地，相对于拍照过程而言，手机在获取预览画面的过程中，对RAW图的处理较为简单，如：可以只对RAW图进行一些简单的ISP处理得到YUV图，然后，将YUV图直接转换为RGB格式的预览画面显示在拍照界面中，并不需要对YUV图进行JEPG编码。
可以理解的，图5所示的拍照界面中，拍照按键的实质可以为拍照界面中显示的一个功能控件。当用户使用手机进行拍照时，可以点击或触摸该功能控件，手机可以响应于用户对拍照按键的功能控件的点击或触摸操作，通过相机模块采集RAW图。或者，其他一些实施方式中，拍照按键的功能也可以通过手机上的其他物理按键实现，不作限制。
可选地，本申请实施例中，手机还具有场景检测的功能，手机通过相机模块采集RAW图可以是：手机先利用场景检测功能检测当前拍照场景，并根据对当前拍照场景的检测确认相机模块中sensor的出图要求；然后，手机根据sensor的出图要求，通过相机模块采集RAW图。
例如，当用户打开手机的拍照应用程序进行拍照的过程中，手机检测到当前拍照场景为高动态场景(即，HDR场景)时，可以确认sensor需要输出多帧不同曝光值(exposurevalue，EV)的RAW图，以进行多帧融合生成高动态图。然后，手机可以根据前述基于场景检测确定出的sensor的出图要求，通过相机模块采集多帧不同EV值的RAW图。其中，手机可以为相机模块配置不同曝光、不同感光度(感光度可以用ISO值表示)以达到每帧RAW图对应的EV值要求。也即，HDR场景中，sensor需要输出不同曝光、不同ISO的多帧RAW图。
又例如，当用户打开手机的拍照应用程序进行拍照的过程中，手机检测到当前拍照场景为低亮场景时，可以确认sensor需要输出不同曝光、不同ISO的多帧图像，以进行多帧融合去噪。然后，手机也可以根据前述基于场景检测确定出的sensor的出图要求，通过相机模块采集不同曝光、不同ISO的多帧RAW图。
又例如，当用户打开手机的拍照应用程序进行拍照的过程中，手机检测到当前拍照场景为景深不足场景时，可以确认sensor需要输出不同对焦距离下的多帧图像，以进行多帧融合扩展景深(extend depth of field，EDOF)。然后，手机可以根据前述基于场景检测确定出的sensor的出图要求，通过相机模块采集不同对焦距离下的多帧RAW图。
可以理解的，前述对手机检测当前拍照场景，并根据对当前拍照场景的检测确认相机模块中sensor的出图要求的说明，均为示例性说明，本申请实施例对此不作限制。
示例性地，请继续参考图4所示，手机的场景检测功能可以通过在手机中部署一个场景检测模块来实现。可选地，场景检测模块可以是手机中的一个程序模块(或算法单元)。
在一些实施例中，场景检测模块可以检测用户在拍照应用程序中选择的拍照场景作为当前拍照场景。例如，图6示出了本申请实施例提供的拍照界面的另一示意图。如图6所示，当用户打开手机的拍照应用程序后，手机可以提供图6中所示的拍照界面，拍照界面中会显示当前拍照场景对应的预览画面，预览画面是相机模块实时采集(采集过程参考前述实施例所述)到的当前拍照场景的画面。另外，拍照界面中还包括至少一个场景对应的功能控件，如图6中所示的功能控件HDR。当用户在前述图6所示的拍照界面中对功能控件HDR进行点击或触摸时，手机的场景检测模块可以检测到用户对功能控件HDR的点击或触摸操作，并响应于该点击操作确定当前拍照场景为HDR场景，确认sensor需要输出不同曝光、不同感光度的多帧图像，以进行多帧融合生成高动态图。然后，当用户点击或触摸拍照按键的功能控件时，手机可以响应于用户对拍照按键的功能控件的点击或触摸操作，根据sensor需要输出不同曝光、不同感光度的多帧图像的出图要求，通过相机模块采集不同曝光、不同ISO的多帧RAW图。
在另外一些实施例中，场景检测模块也可以是根据手机的传感器数据和/或相机模块采集的预览画面确定当前拍照场景。例如，手机在启动运行拍照应用程序后，场景检测模块可以根据环境光传感器采集的数据和/或根据相机模块采集的预览画面确定当前拍照场景为低亮场景，并确定sensor需要输出不同曝光、不同ISO的多帧图像，以进行多帧融合去噪。然后，当用户点击或触摸拍照按键的功能控件(拍照按键可以参考图5/6所示)时，手机可以响应于用户对拍照按键的功能控件的点击或触摸操作，根据sensor需要输出不同曝光、不同感光度的多帧图像的出图要求，通过相机模块采集不同曝光、不同ISO的多帧RAW图。
又例如，手机在启动运行拍照应用程序后，场景检测模块可以根据相机模块采集的预览画面中过曝区域和/或欠曝区域的占比，判断当前拍照场景是否为HDR场景。如：过曝区域的占比大于某个阈值，则确定当前拍照场景为HDR场景，示例性地，该阈值可以是60％、70％等，此处不作限制。当场景检测模块确定当前拍照场景为HDR场景时，可以确认sensor需要输出不同曝光、不同感光度的多帧图像，以进行多帧融合生成高动态图。然后，当用户点击或触摸拍照按键的功能控件时，手机可以响应于用户对拍照按键的功能控件的点击或触摸操作，根据sensor需要输出不同曝光、不同感光度的多帧图像的出图要求，通过相机模块采集不同曝光、不同ISO的多帧RAW图。本申请在此对场景检测模块的具体实现不作限制。
可选地，如果场景检测模块检测到当前拍照场景为普通场景(即，不是上述HDR、低亮、景深不足等特别的场景)，则可以确认sensor需要输出一帧图像。然后，当用户使用手机进行拍照时，手机可以根据前述sensor的出图要求，通过相机模块采集一帧RAW图。
由上可知，从整体来看，本申请实施例中，手机通过相机模块采集RAW图可以包括采集一帧RAW图和采集多帧RAW图两种场景。
一些实施例中，手机通过编码模块对相机模块采集的RAW图进行编码得到RAW图对应的编码码流，并将RAW图对应的编码码流上传给云端可以是指：不论相机模块采集一帧RAW图，还是采集多帧RAW图，手机都对相机模块采集的RAW图进行编码得到RAW图对应的编码码流，并将RAW图对应的编码码流上传给云端。
也即，本实施例中，不论相机模块采集一帧RAW图，还是采集多帧RAW图，手机都会将相机模块采集的RAW图上传到云端进行处理。
另外一些实施例中，手机通过编码模块对相机模块采集的RAW图进行编码得到RAW图对应的编码码流，并将RAW图对应的编码码流上传给云端也可以是指：如果相机模块采集多帧RAW图，则手机通过编码模块对相机模块采集的多帧RAW图进行编码得到多帧RAW图对应的编码码流，并将多帧RAW图对应的编码码流上传给云端。而如果相机模块采集一帧RAW图，则手机直接通过本地(即手机侧)的ISP模块、YUV域后处理模块对该帧RAW图依次进行ISP处理、以及YUV域图像处理，YUV域后处理模块会输出一帧YUV图。然后，手机可以通过本地的第一格式编码器对YUV域后处理模块输出的YUV图进行第一格式的编码，最终得到第一格式的图像(如：JPEG图像)。从而，手机可以将第一格式的图像保存在图库中或呈现给用户。具体地，一帧RAW图的处理过程，可以参考前述图1所示的过程，不再详细赘述。
也即，本实施例中，手机可以结合相机模块采集的RAW图对应的拍照场景自动判断是否需要将相机模块采集的RAW图上传到云端进行处理。只有在相机模块采集多帧RAW图时，手机才将相机模块采集到的RAW图上传到云端进行处理。
还有一些实施例中，手机还可以具有供用户选择是否将相机模块采集到的RAW图上传到云端进行处理的功能。例如，当手机启动运行拍照应用程序后，也可以在拍照界面为用户提供一个可选择是否将相机模块采集到的RAW图上传到云端进行处理的功能控件，用户可以通过对该功能控件进行操作，以主动选择是否将相机模块采集到的RAW图上传到云端进行处理。手机可以根据用户的选择，确定是否将相机模块采集到的RAW图上传到云端进行处理。
示例性地，图7示出了本申请实施例提供的拍照界面的又一示意图。如图7所示，一种实施方式中，手机启动运行拍照应用程序时，手机提供的拍照界面中还可以弹出如图7所示的提示信息：“是否上传到云端进行处理？”，同时，拍照界面中提示信息下面的区域还会显示两个功能控件：“是”和“否”。当用户点击或触摸功能控件“是”时，手机可以响应于用户对功能控件“是”的点击或触摸操作，确定需要将相机模块采集到的RAW图上传到云端进行处理。从而，手机在后续拍照过程中响应于用户对拍照按键的功能控件的点击或触摸操作通过相机模块采集到RAW图后，会通过编码模块对相机模块采集的RAW图进行编码得到RAW图对应的编码码流，并将RAW图对应的编码码流上传给云端。当用户点击或触摸功能控件“否”时，手机可以响应于用户对功能控件“否”的点击或触摸操作，确定不需要将相机模块采集到的RAW图上传到云端进行处理。从而，手机在后续拍照过程中响应于用户对拍照按键的功能控件的点击或触摸操作通过相机模块采集到RAW图后，会直接在本地(即手机侧)进行对相机模块采集的RAW图进行处理，具体处理过程也可以参考前述图1所示。
可选地，图7中所示的提示信息、以及功能控件“是”和“否”仅在手机每次启动运行拍照应用程序时才会显示，以供用户进行选择。当用户在选择“是”或“否”后，拍摄界面中的提示信息以及功能控件“是”和“否”会消失，用户可以继续使用手机进行拍照。或者，如果用户在一定时长(如3秒、5秒、8秒等)内未做任何选择，则手机可以默认选择为“是”或“否”，并不再显示提示信息、以及功能控件“是”和“否”。
可选地，图7中所示的提示信息、以及功能控件“是”和“否”仅为示例性说明。其他实施方式中，提示信息也可以是“是否上传到云端进行处理以得到更优的图像质量？”、“是否结合云端进行拍照？”等；功能控件“是”也可以被替换为“确定”、功能控件“否”也可以被替换为“取消”等，本申请在此均不作限制。另外，本申请对提示信息以及功能控件“是”和“否”在拍摄界面中的显示区域也不作限制。
示例性地，图8示出了本申请实施例提供的拍照界面的又一示意图。如图8所示，另一种实施方式中，手机启动运行拍照应用程序时，手机提供的拍照界面中在预览画面底部还可以显示两个功能控件：“手机处理模式”和“云端处理模式”。用户在点击或触摸拍照按键的功能控件进行拍照前，可以先点击或触摸功能控件：“手机处理模式”或“云端处理模式”进行选择。当用户点击或触摸功能控件“云端处理模式”时，手机可以响应于用户对功能控件“云端处理模式”的点击或触摸操作，确定需要将相机模块采集到的RAW图上传到云端进行处理。从而，手机在后续拍照过程中响应于用户对拍照按键的功能控件的点击或触摸操作通过相机模块采集到RAW图后，会通过编码模块对相机模块采集的RAW图进行编码得到RAW图对应的编码码流，并将RAW图对应的编码码流上传给云端。当用户点击或触摸功能控件“手机处理模式”时，手机可以响应于用户对功能控件“手机处理模式”的点击或触摸操作，确定不需要将相机模块采集到的RAW图上传到云端进行处理。从而，手机在后续拍照过程中响应于用户对拍照按键的功能控件的点击或触摸操作通过相机模块采集到RAW图后，会直接在本地(即手机侧)进行对相机模块采集的RAW图进行处理，具体处理过程也可以参考前述图1所示。
可选地，图8中所示的功能控件“手机处理模式”和“云端处理模式”可以仅在手机每次启动运行拍照应用程序时显示以供用户进行选择，如果用户在一定时长(如3秒、5秒、8秒等)内未做任何选择，则手机可以默认选择为“手机处理模式”或“云端处理模式”，并不再显示功能控件“手机处理模式”和“云端处理模式”。
或者，图8中所示的功能控件“手机处理模式”和“云端处理模式”也可以在拍照界面中一直显示供用户进行选择，此处不作限制。同样的，功能控件“手机处理模式”和“云端处理模式”一直显示的场景中，如果用户在一定时长内未做任何选择，则手机也可以默认选择为“手机处理模式”或“云端处理模式”。在该场景中，如果用户已经选择了“手机处理模式”，后续还可以重新选择“云端处理模式”以进行切换。类似地，也可以从“云端处理模式”切换至“手机处理模式”。
另外，图8中所示的功能控件“手机处理模式”和“云端处理模式”也仅为示例性说明。例如，其他实施方式中，“手机处理模式”也可以被替换为“本地模式”，“云端处理模式”也可以被替换为“云端模式”等，本申请在此均不作限制。同样的，本申请对功能控件“手机处理模式”和“云端处理模式”在拍摄界面中的显示区域也不作限制。
还有一些实施例中，前述实施例中所述的手机是否将相机模块采集的RAW图上传到云端进行处理的判断条件也可以部分结合在一起。例如，首先，可以如前述图7/8所示，手机可以响应于用户的主动选择操作，确定是否需要将相机模块采集的RAW图上传到云端进行处理。手机确定需要将相机模块采集的RAW图上传到云端进行处理后，在后续拍照过程中，手机可以进一步根据相机模块采集RAW图的场景，只在相机模块采集多帧RAW图时，将相机模块采集到的RAW图上传到云端进行处理；如果相机模块采集一帧RAW图，则在手机本地进行处理。如果手机响应于用户的主动选择操作，确定不需要将相机模块采集的RAW图上传到云端进行处理，则后续拍照过程中，不论相机模块采集多帧RAW图还是一帧RAW图，均在手机本地进行处理。
本申请实施例中，前述用户选择将RAW图上传至云端进行处理的操作均可以称为第一选择操作。如：用户选择图7中所述的功能控件“是”的操作、选择图8中所示的“云端处理模式”的操作等。
下面以相机模块的sensor输出多帧RAW图为例，对手机通过编码模块对相机模块采集的多帧RAW图进行编码的过程、以及云端通过解码模块对RAW图对应的编码码流进行解码的过程进行示例性说明。可以理解的，相机模块的sensor输出一帧RAW图时，手机通过编码模块对相机模块采集的一帧RAW图进行编码的过程、以及云端通过解码模块对RAW图对应的编码码流进行解码的过程可以参考sensor输出多帧RAW图时每一帧RAW图的处理过程，不再赘述。
图9示出了本申请实施例提供的编码模块的示意图。如图9所示，在一种可能的设计中，手机的编码模块中包括人工智能(artificial intelligence，AI)编码网络、量化模块和熵编码模块。当相机模块采集到多帧RAW图后，可以先将多帧RAW图输入AI编码网络，AI编码网络可以对多帧RAW图进行AI编码，输出多帧RAW图对应的压缩特征给量化模块。量化模块可以对多帧RAW图对应的压缩特征进行量化，如：可以将多帧RAW对应的压缩特征中的浮点数转化为二进制数或整数。熵编码模块可以对量化模块量化后的多帧RAW图对应的压缩特征进行熵编码，最终得到多帧RAW图对应的编码码流。也即，编码模块的输出为多帧RAW图对应的码流。
示例性地，熵编码模块的编码方式可以包括：香农(shannon)编码、哈尔曼(huffman)编码、算术编码(arithmetic coding)等，在此不作限制。
图10示出了本申请实施例提供的解码模块的示意图。如图10所示，与手机的编码模块对应，本设计中，云端的解码模块包括熵解码模块、反量化模块和AI解码网络。云端接收到来自手机的多帧RAW图对应的编码码流后，可以先将多帧RAW图对应的编码码流输入熵解码模块，熵解码模块可以采用与手机的熵编码模块相反的方式对多帧RAW图对应的编码码流进行熵解码，得到量化后的多帧RAW图对应的压缩特征并输出给反量化模块。反量化模块可以采用与手机的量化模块相反的方式对熵解码模块输出的量化后的多帧RAW图对应的压缩特征进行反量化，得到多帧RAW图对应的压缩特征并输出给AI解码网络。AI解码网络可以对多帧RAW图对应的压缩特征进行AI解码，输出多帧RAW图一一对应的重建RAW图。
示例性地，上述AI编码网络和AI解码网络可以是卷积神经网络(convolutionalneural network，CNN)、循环神经网络(recurrent neural network，RNN)等，在此不作限制。
可选地，相机模块的sensor出RAW图的格式可以有多种，如：拜耳阵列(bayerpattern)、Foveon X3、富士X-E3等。下面以RGGB的bayer pattern格式为例，对本设计中，AI编码网络对多帧RAW图进行AI编码的过程进行举例说明。
图11示出了一种RAW图的RGGB格式排布示意图，相机模块的sensor输出的每一帧RAW图的RGGB格式的具体排布可以参考图11所示。其中，R表示红色(red)分量、G表示绿色(green)分量和B表示蓝色(blue)分量。示例性地，图11中用不同的填充图案表示每个像素点包括的R分量、G分量或者B分量的信息。
对于上述图11所示的按照RGGB格式排布的RAW图而言，AI编码网络可以将每帧RAW图中的R、G、G、B四个分量对应的位置分别抽取出来形成新的全部为R分量、全部为左上角G分量、全部为B分量、全部为右下角G分量的四个子图，从而可以学习到各个分量之间的图像内部的帧内相关性(或称为空间相关性)，基于各个分量之间的图像内部的帧内相关性对RAW图进行压缩，输出每帧RAW图对应的压缩特征。
例如，假设手机检测到当前拍照场景为HDR场景，相机模块采集到8帧不同EV值的RAW图，如：8帧RAW图的EV值分别为EV0、EV0、EV0、EV0、EV0、EV-2、EV-4、EV2。然后，相机模块可以将前述8帧RAW图输入AI编码网络。AI编码网络可以将每帧RAW图分别转化成R\G\G\B四个通道的数据流输出。每帧RAW图对应4个通道，8帧RAW图则对应4*8＝32个通道，从而AI编码网络可以输出w/2*h/2*32通道的数据流，其中，w表示RAW图的宽，h表示RAW图的高，32表示通道数。w/2*h/2*32通道的数据流即为8帧RAW图对应的压缩特征。
AI解码网络对多帧RAW图对应的压缩特征进行AI解码的过程与此相反，即，AI解码网络为AI编码网络的反向网络。例如，云端接收到来自手机的8帧RAW图对应的编码码流，对8帧RAW图对应的编码码流进行熵解码和反量化，可以得到w/2*h/2*32通道的数据流。AI解码网络可以对w/2*h/2*32通道的数据流进行AI解码，得到一个w/2*h/2*32的重建图像。该w/2*h/2*32的重建图像根据RGGB通道的排布结构进行重排序后，可以得到8帧w*h的重建RAW图。
云端通过解码模块得到8帧重建RAW图后，可以依次通过RAW域后处理模块、ISP模块、以及YUV域后处理模块进行后续的图像处理得到一帧YUV图，并将YUV图送入第一格式的编码器。通过第一格式编码器可以对YUV图第一格式的编码，最终得到第一格式的图像(如：JPEG图像)。然后，云端可以将第一格式的图像回传给手机。从而，手机可以将第一格式的图像保存在图库中或呈现给用户。
一种实施方式中，云端通过解码模块得到8帧重建RAW图后，依次通过RAW域后处理模块、ISP模块、以及YUV域后处理模块进行后续的图像处理得到一帧YUV图的过程可以是：先通过RAW域后处理模块将8帧重建RAW图融合为一帧RAW图，然后将融合后的一帧RAW图输入到ISP模块；ISP模块对这一帧RAW图进行一系列的ISP处理，得到一帧YUV图并输入YUV域后处理模块；YUV域后处理模块对这一帧YUV图进行SR、美肤、畸变校正、虚化等处理，最终得到处理后的YUV图。
另一种实施方式中，上述多帧融合的处理也可以是在YUV域完成，也即，RAW域后处理模块的输出为8帧处理后的RAW图，8帧处理后的RAW图输入到ISP模块后，ISP模块可以对8帧处理后的RAW图进行一系列ISP处理，得到对应的8帧YUV图并输入YUV域后处理模块；YUV域后处理模块可以先将8帧YUV图融合为一帧YUV图，然后对融合后的这一帧YUV图进行SR、美肤、畸变校正、虚化等处理，最终得到处理后的YUV图。
可选地，上述AI编码网络和AI解码网络均是根据样本训练数据对神经网络(如前述CNN、RNN等)进行训练而得到的。样本训练数据可以包括样本RAW图、以及样本RAW图对应的样本重建RAW图。其中，样本RAW图可以是相机模块的sensor在不同场景下输出的RAW图；样本重建RAW图是先对样本RAW图进行ISP处理、YUV域处理以及第一格式编码得到第一格式的图像后，再对第一格式的图像进行与前述处理过程相反的退化反推后得到的。在训练AI编码网络和AI解码网络时，可以将样本RAW图作为AI编码网络的输入，样本重建RAW图作为AI解码网络的输出(AI编码网络的输出是AI解码网络的输入)进行训练。
另外，还可以根据损失函数计算AI编码网络的输入与AI解码网络的输出之间的损失，对AI编码网络和AI解码网络的参数(如：神经元的权重)进行优化，优化目标为AI编码网络的输入与AI解码网络的输出之间的损失尽可能小。
本申请实施例中，AI编码网络的输入为RAW图，AI解码网络的输出为重建RAW图。在计算AI编码网络的输入与AI解码网络的输出之间的损失时，可以先将输入AI编码网络的RAW图依次通过云端的RAW域后处理模块、ISP模块、以及YUV域后处理模块进行图像处理得到对应的YUV图(下面称该YUV图为输入YUV图)，以及将AI解码网络输出的重建RAW图依次通过云端的RAW域后处理模块、ISP模块、以及YUV域后处理模块进行图像处理得到对应的重建YUV图。然后，再计算输入YUV图和重建YUV图的损失，作为AI编码网络的输入和AI解码网络的输出之间的损失。从而，对AI编码网络和AI解码网络的参数进行优化的原则可以为输入YUV图和重建YUV图之间的损失尽可能小。
可选地，计算AI编码网络的输入与AI解码网络的输出之间的损失时，输入AI编码网络的RAW图可以是上述样本训练数据中的样本RAW图(可以称为第一样本RAW图)，也可以是其他样本RAW图(可以称为第二样本RAW图)。
示例性地，损失函数可以包括峰值信噪比(peak signal-to-noise ratio，PSNR)、结构相似性(structural similarity，SSIM)、最小化绝对误差损失函数(least abosuloteerror-loss，L1-loss)等。对AI编码网络和AI解码网络的参数进行优化的优化器算法可以包括随机梯度下降法(stochastic gradient descent，SGD)、批量梯度下降法(batchgradient descent，BGD)等。
下面以PSNR和SSIM为例，对本申请实施例中计算AI编码网络的输入与AI解码网络的输出之间的损失的过程进行说明。
假设输入AI编码网络的RAW图经过RAW域后处理模块、ISP模块、以及YUV域后处理模块进行图像处理后的输入YUV图为为ori，其大小为m*n，即，ori包括m*n个像素点；对于前述输入AI编码网络的RAW图，AI解码网络最终输出的重建RAW图经过RAW域后处理模块、ISP模块、以及YUV域后处理模块进行图像处理后的重建YUV图为rec，其大小也为m*n，即，rec包括m*n个像素点，m和n均为大于0的整数。则，ori与rec之间的PSNR可以通过下述步骤1)和2)进行计算。
1)先通过下述公式(1)计算ori与rec之间的均方误差(mean-square error，MSE)。
Figure BDA0002890414190000181
其中，MSE表示ori与rec之间的均方误差，m表示ori与rec的宽，n表示ori与rec的高，(i,j)表示ori或rec中的像素点坐标，ori(i,j)表示像素点(i,j)的像素值。
2)然后，根据ori与rec之间的均方误差，通过下述公式(2)计算ori与rec之间的PSNR。
Figure BDA0002890414190000182
其中MAXI为ori和rec可能的最大像素值。例如，每个像素都由8比特有效位来表示，则MAXI就为255。
ori与rec之间的PSNR的值越大，表示rec相对于ori失真越小，也即ori和rec之间的损失越小。
ori与rec之间的SSIM可以通过下述公式(3)进行计算。
Figure BDA0002890414190000183
其中，μori表示ori的均值；μrec表示rec的均值；σori rec表示ori与rec之间的协方差；
Figure BDA0002890414190000184
表示ori的方差；
Figure BDA0002890414190000185
表示rec的方差；c1和c2表示常数。
一般而言，c1和c2的取值可以如下所示。
c1＝(K1*L)2
c2＝(K2*L)2
其中，K1可以为0.01；K2可以为0.03；L表示像素值的动态范围，一般取为255。
ori与rec之间的SSIM的值越大，表示ori和rec之间的损失越小。
该示例中，对AI编码网络和AI解码网络的参数进行优化的原则可以为ori与rec之间的PSNR和SSIM的值尽可能大。例如，对AI编码网络和AI解码网络进行训练时，可以限定优化满足条件为ori与rec之间的PSNR大于第一阈值，以及ori与rec之间的SSIM大于第二阈值。其中，第一阈值可以38、39、40等值或者更大的值，可以根据图像质量的需求进行设置，第二阈值可以是0.8、0.85、0.9等取值在0至1范围内的数。
一般而言，在训练优化AI编码网络和AI解码网络时，都是直接计算AI编码网络的输入与AI解码网络的输出之间的损失。但本发明实施例中涉及到RAW图的压缩，而RAW图并非用户直接可查看的效果，后续会经过一系列的ISP处理、YUV域处理后才得到用户直接观察到的图像(如：JPEG图像)。而在对RAW图进行ISP处理、YUV域处理，将RAW图转换至YUV或RGB空间的过程中，还会产生一定的损失，导致RAW域损失无法直接与用户体验损失相匹配。
示例性地，ISP处理中的相关映射会导致RAW域损失无法直接与用户体验损失相匹配。例如，ISP模块中进行DRC、gamma校正等处理时，会导致不同数据段的RAW数据映射到最终用户看到的YUV域或者RGB域时会被压缩或者放大到另一数据段，从而造成损失。如：一般的RAW域数据有效位为10～12比特，但是最终的YUV域或RGB域数据有效位为8比特，因此会通过DRC进行映射压缩比特位。但是为了保证质量，通常这类压缩并非线性压缩，会保证在中间区间内的高频段出现的像素范围使用更多的比特宽。gamma校正也是一种对于亮度进行曲线映射的拉伸调整方式，也会导致最终的图像亮度与RAW域信息成非线性调整。
鉴于上述RAW域损失无法直接与用户体验损失相匹配的情况，如果直接计算输入AI编码网络的RAW图和AI解码网络输出的重建RAW图的损失，则可能会出现输入AI编码网络的RAW图和AI解码网络输出的重建RAW图之间的PSNR和/或SSIM较小，但经过一系列的ISP处理、YUV域处理转换到YUV、RGB空间后的损失非常大的情况。
例如，假设RAW图和重建RAW图每个像素都差1，以8比特有效位为例计算，那么根据公式(2)计算可得RAW图和重建RAW图之间的PSNR达到48.13分贝(dB)，RAW图和重建RAW图的之间的PNSR已经非常高。通常YUV域或者RGB域PSNR达到40dB以上几乎就达到肉眼看不出明显问题的质量了，然而，在RAW域，R、G、G、B四个分量中，如果只有一个分量是呈现此类损失，则这种损失会导致明显的颜色偏色，对最终用户体验会有非常明显的问题。
而本申请实施例中，通过先将输入AI编码网络的RAW图和AI解码网络输出的重建RAW图先转化为对应的输入YUV图和重建YUV图，然后，再计算输入YUV图和重建YUV图的损失，作为AI编码网络的输入和AI解码网络的输出之间的损失，实现了在YUV域(或者RGB域)对AI编码网络的输入和AI解码网络的输出之间的损失进行估量，从而可以使得训练好的AI解码网络输出的重建RAW图在转换到YUV域以后损失仍然较小，避免最终呈现给用户的图像出现色差、失真等损失问题，减少RAW域损失无法直接与用户体验损失相匹配的情况所造成的影响。
可选地，本申请实施例中，对于相机模块的sensor输出多帧RAW图的场景而言，编码模块通过AI编码网络基于每帧RAW图的帧内相关性对RAW图进行压缩之前，还可以根据多帧RAW图之间的帧间相关性对多帧RAW图进行预处理。
例如，图12示出了本申请实施例提供的编码模块的另一示意图。如图12所示，编码模块还包括相关性处理模块。AI编码网络基于每帧RAW图的帧内相关性对RAW图进行压缩之前，相关性处理模块可以先从多帧RAW图中选择一帧作为参考帧，然后根据参考帧和多帧RAW图之间的帧间相关性对多帧RAW图中的其他帧进行预测，输出参考帧RAW图和相关性处理后的其他帧RAW图给AI编码网络进行后续的处理。其中，相关性处理后的其他帧RAW图是指根据参考帧RAW图对其他帧RAW图进行预测后得到的其他帧RAW图对应的残差图。也即，参考帧RAW图是直接送入AI编码网络进行后续处理的，而其他帧RAW图是根据参考帧和多帧RAW图之间的帧间相关性进行预测后，再送入AI编码网络进行处理的。通过这种方式可以减小其他帧RAW图所占的数据量，进而提高编码模块对多帧RAW图的压缩率。
以手机检测到当前拍照场景为HDR场景，相机模块采集不同EV值的多帧RAW图为例，一般而言，HDR场景下相机模块的sensor输出的多帧RAW图的EV值不同(可能部分相同)，不同EV值对应的RAW图之间会有线性关系。例如，对于EV0和EV-1的两帧EV值相邻的RAW图(即，一帧RAW图的EV值为0，另一帧RAW图的EV值为-1)，假设EV0的RAW图中某个位置(某个像素点)的像素值为P0，EV-1的RAW图中该相同位置的像素值为P-1，那么，对应的sensor会有一个黑电平的偏移量，减去该偏移量后，P0和P-1两个像素值之间满足2倍关系。即，P0和P-1满足下述公式(4)。
P0-BLC＝2×(P-1-BLC) (4)
其中，BLC表示黑电平的偏移量。
当然，由于sensor输出的RAW图会有噪声、坏点、像素比特有效范围等因素干扰，P0和P-1可能不能完全满足上述公式(4)所述的线性关系，但是整体会呈现上述线性关系。
因此，对于HDR场景下相机模块的sensor输出的多帧EV值不同的RAW图，相关性处理模块可以先从多帧RAW图中选择一帧作为参考帧(可以是随机选择，也可以是选择第一帧)，然后基于上述公式(4)所示的线性关系，根据参考帧对其他帧进行预测，其他帧RAW图可以被预测为一张几乎全0的RAW图(该RAW图即为残差图)。由于此处对于不满足公式(4)的数据，很大一部分是由于坏点、噪声等导致，因此这类数据的压缩率可以提升，尤其是绝对值较大的数据。
应当理解，上述公式(4)所示的线性关系仅为针对HDR场景的示例性说明，与此类似，其他sensor输出多帧RAW图的场景中，相关性处理模块也可以根据多帧RAW图之间的帧间相关性对RAW图进行预处理。例如，EDOF场景中，相关性处理模块可以根据多帧RAW图之间的区域清晰度的差异对RAW图进行预处理等。
本申请实施例中，sensor输出多帧RAW图的场景不同时，相关性处理模块可以采用不同的算法根据多帧RAW图之间的帧间相关性进行处理，本申请对此不作限制。例如，手机通过相机模块获取多帧RAW图时，会记录每帧RAW图的元数据(mata data)信息，也可以称为RAW图的说明数据或参数信息。示例性地，RAW图的mata data可以包括该帧RAW图的拍照场景(如HDR)、RAW图的宽和高、ISO值等。相关性处理模块可以根据多帧RAW图的mata data信息，选择相应的算法根据多帧RAW图之间的帧间相关性进行处理，如：HDR场景，则选择基于上述公式(4)所示的算法。可选地，如果某些场景下sensor输出的多帧RAW图之间不存在可以建立数学模型的线性关系(即，无法通过算法提取帧间相关性)时，相关性处理模块也可以不进行帧间相关性处理。
示例性地，相关性处理模块可以是手机中的一个程序模块(或算法单元)，能够针对不同的拍照场景，对多帧RAW图的相关性进行处理。可选地，对于相机模块的sensor输出一帧RAW图的场景而言，可以跳过相关性处理模块，直接将该帧RAW图送入AI编码网络进行后续处理。
对于相机模块的sensor输出多帧RAW图的场景而言，如果编码模块通过AI编码网络基于每帧RAW图的帧内相关性对RAW图进行压缩之前，根据多帧RAW图之间的帧间相关性对多帧RAW图进行相关性处理，则解码模块通过AI解码网络对多帧RAW图对应的压缩特征进行AI解码之后，得到的结果为参考帧RAW图对应的重建RAW图、以及其他帧RAW图对应的重建残差图(相关性处理后的RAW图的重建图)。因此，与编码模块相对应，解码模块还需要对AI解码得到的参考帧RAW图对应的重建RAW图、以及其他帧RAW图对应的重建残差图进行相关性逆向处理，以得到多帧RAW图一一对应的重建RAW图。
例如，图13示出了本申请实施例提供的解码模块的另一示意图。如图13所示，解码模块还包括相关性逆向处理模块。解码模块通过AI解码网络对多帧RAW图对应的压缩特征进行AI解码，得到参考帧RAW图对应的重建RAW图、以及其他帧RAW图对应的重建残差图之后，相关性逆向处理模块可以对参考帧RAW图对应的重建RAW图、以及其他帧RAW图对应的重建残差图进行相关性逆向处理，得到多帧RAW图一一对应的重建RAW图。具体地，相关性逆向处理模块的处理过程与手机侧相关性处理模块的过程可以完全相反，在此不再赘述。
示例性地，手机向云端上传的多帧RAW图对应的编码码流中还包括每帧RAW图的mata data信息。相关性逆向处理模块可以根据每帧RAW图的mata data信息，得知手机侧相关性处理模块采用了何种算法对多帧RAW图进行了相关性处理，从而相关性逆向处理模块可以采用与手机侧相关性处理模块的过程相反的方式，对参考帧RAW图对应的重建RAW图、以及其他帧RAW图对应的重建残差图进行相关性逆向处理。
可选地，本申请另外一些实施例中，在训练获取AI编码网络和AI解码网络时，可以在样本训练数据增加sensor输出多帧RAW图的场景的数据，使AI编码网络和AI解码网络自己学习多帧RAW图之间的帧间相关性。对于相机模块的sensor输出多帧RAW图的场景而言，前述实施例中所述的相关性处理模块的功能可以通过AI编码网络来实现，对应的，相关性逆向处理模块的功能可以通过AI解码网络来实现。
例如，对于HDR场景，可以在样本RAW图中增加HDR场景下sensor输出的多帧RAW图，在样本重建RAW图中对应增加HDR场景下sensor输出的多帧RAW图一一对应的多帧重建RAW图。在使用样本训练数据对AI编码网络和AI解码网络进行训练时，对于前述HDR场景相关的训练数据，可以将多帧样本RAW图固定对应EV值差异放在对应通道上，让AI编码网络和AI解码网络学习HDR场景中不同EV值差异的RAW图的帧间相关性。
或者，对于EDOF场景，可以在样本RAW图中增加EDOF场景下sensor输出的多帧RAW图，在样本重建RAW图中对应增加EDOF场景下sensor输出的多帧RAW图一一对应的多帧重建RAW图等。对于前述EDOF场景相关的训练数据，可以将多帧样本RAW图固定相同对焦距离位置的放在对应通道上，让AI编码网络和AI解码网络学习EDOF场景中不同对焦距离下的RAW图的帧间相关性。
从而，训练完成后的AI编码网络对多帧RAW图进行AI编码时，既可以基于每帧RAW图的帧内相关性，对每帧RAW图进行压缩，同时也可以从多帧RAW图中选择一帧作为参考帧，根据参考帧和多帧RAW图之间的帧间相关性对多帧RAW图中的其他帧进行预测。对应的，训练完成后的AI解码网络对多帧RAW图对应的压缩特征进行AI解码时的过程，则与AI编码网络进行AI编码的过程相反，不再赘述。
本申请一些实施例中，可以仅训练获取一个AI编码网络，和对应的一个AI解码网络，对于sensor输出多帧RAW图的多种不同场景，该AI编码网络和AI解码网络均可以适用。例如，可以使用HDR场景下的样本训练数据对AI编码网络和AI解码网络进行训练，使AI编码网络和AI解码网络学习HDR场景中不同EV值差异的RAW图的帧间相关性。然后，可以继续使用EDOF场景下的样本训练数据对AI编码网络和AI解码网络进行训练，使AI编码网络和AI解码网络学习EDOF场景中不同对焦距离下的RAW图的帧间相关性。类似地，还可以使用更多不同的sensor输出多帧RAW图的场景下的样本训练数据对AI编码网络和AI解码网络进行训练等。从而，AI编码网络和对应的AI解码网络可以适用于sensor输出多帧RAW图的多种不同场景。
可以理解的，对于上述AI编码网络和AI解码网络可以适用于sensor输出多帧RAW图的多种不同场景而言，手机的编码模块中仅包含一个AI编码网络，云端的解码模块中仅包含一个AI解码网络。
另外一些实施例中，也可以针对sensor输出多帧RAW图的每种场景，训练获取适用于该场景的AI编码网络和AI解码网络。也即，对于sensor输出多帧RAW图的多种不同场景而言，可以训练获取与场景一一对应的多个AI编码网络和AI解码网络。例如，可以使用HDR场景下的样本训练数据对第一AI编码网络和第一AI解码网络进行训练，使第一AI编码网络和第一AI解码网络学习HDR场景中不同EV值差异的RAW图的帧间相关性。另外，还可以使用EDOF场景下的样本训练数据对第二AI编码网络和第二AI解码网络进行训练，使第二AI编码网络和第二AI解码网络学习EDOF场景中不同对焦距离下的RAW图的帧间相关性。类似地，还可以使用更多不同的sensor输出多帧RAW图的场景下的样本训练数据对第三AI编码网络和第三AI解码网络进行训练等。从而，每组AI编码网络和AI解码网络(第一AI编码网络和第一AI解码网络可以为一组)可以适用于sensor输出多帧RAW图的一种场景。
可以理解的，对于上述每组AI编码网络和AI解码网络适用sensor输出多帧RAW图的一种场景而言，若手机的编码模块中包含多个(如：M个，M为大于1的整数)AI编码网络，则云端的解码模块中对应包含多个(M个)AI解码网络。当sensor输出多帧RAW图时，编码模块可以根据多帧RAW图的mata data信息，选择符合多帧RAW图对应的场景的AI编码网络对多帧RAW图进行AI编码。手机向云端上传的多帧RAW图对应的编码码流中还包括每帧RAW图的mata data信息。解码模块可以根据多帧RAW图的mata data信息，选择符合多帧RAW图对应的场景的AI解码网络对多帧RAW图进行AI解码。
还有一些实施例中，也可以是针对部分比较接近或相似的场景，训练获取同一组AI编码网络和AI解码网络；针对其他不同的场景，则训练获取仅适用于该场景的AI编码网络和AI解码网络。例如，对于低亮场景、HDR场景而言，sensor输出的多帧RAW图均为不同EV值的多帧RAW图，所以，针对低亮场景和HDR场景可以训练获取同一组AI编码网络和AI解码网络。而对于EDOF场景而言，sensor输出的多帧RAW图为对焦距离不同的多帧RAW图，所以，可以训练获取仅适用于EDOF场景的AI编码网络和AI解码网络。同样的，当sensor输出多帧RAW图时，编码模块和解码模块可以根据多帧RAW图的mata data信息，分别选择符合多帧RAW图对应的场景的AI编码网络和AI解码网络进行处理，不再赘述。需要说明的是，本申请对AI编码网络和AI解码网络与拍照场景的对应关系并不作限制。
前述实施例中，示例性给出了编码模块和解码模块基于AI网络的实现方案。可选地，还有一些实施例中，手机的编码模块也可以是分布式编码模块，相应的，云端的解码模块可以采取与分布式编码对应的策略进行解码。
以相机模块的sensor输出多帧RAW图为例，当相机模块采集到多帧RAW图后，分布式编码模块可以采用分布式信源编码(distributed source coding，DSC)的方式对多帧RAW图进行信道编码，得到多帧RAW图对应的多组码流包，其中，一帧RAW图对应一组码流包，每组码流包中包括多个码流包，每个码流包至少包括纠错码以及该码流包对应的RAW图的mata data信息。
示例性地，分布式编码模块可以采用低密度奇偶校验码(low-density parity-check，LDPC)、turbo编码等信道编码方式对每帧RAW图进行编码。如：假设某一帧RAW图的大小为2兆(M)，则分布式编码模块采用LDPC编码算法对该帧RAW图进行编码时，可以将1024比特划分为1个码流包，得到该帧RAW图对应的16个码流包。
然后，手机可以以帧为单位，依次向云端上传每一帧RAW图对应的码流包，供云端进行解码以获取重建RAW图。具体地，图14示出了本申请实施例提供的解码模块的处理流程示意图。请参考图14所示，对于每一帧RAW图：手机可以上传该帧RAW图对应的码流包，云端的解码模块在接收到该帧RAW图对应的码流包时，可以获取该帧RAW图的预测值，并根据接收到的码流包中的纠错码对预测值进行纠错以对该帧RAW图进行解码(即，图14中所示解码模块中的解码过程)。然后，解码模块可以判断RAW图是否正确解码。如果正确解码，则输出重建RAW图至后续处理模块，如：RAW图后处理模块。如果云端根据接收到的码流包解码错误(即未正确解码)，则说明当前接收到的这个码流包中包含的纠错码不足以进行纠错，云端可以要求手机侧继续传输纠错码，即，通知手机继续传输码流包，并重复前述过程直到解码正确。例如，手机可以先上传该帧RAW图对应的第1个码流包，云端的解码模块在接收到该帧RAW图对应的第1个码流包时，可以先获取该帧RAW图的预测值，然后根据第1个码流包中的纠错码对预测值进行纠错以对该帧RAW图进行解码。如果云端根据该帧RAW图对应的第1个码流包解码错误，则说明第1个码流包中包含的纠错码不足以进行纠错。云端可以要求手机侧继续传输纠错码，即，继续传输该帧图像对应的第2个码流包。如：云端可以向手机发送通知消息通知手机继续上传该帧图像对应的第2个码流包。从而，云端可以继续根据该帧RAW图对应的第2个码流包进行解码。以此类推，云端可以利用更多的纠错码进行解码，直到解码正确，二进制匹配为止时，云端可以得到该帧RAW图对应的重建RAW图。得到该帧RAW图对应的重建RAW图后，解码模块可以将重建RAW图输出给RAW域后处理模块进行后续处理。其中，解码正确是指不断迭代至所有的奇偶校验归0。
可选地，本申请实施例中，对于相机模块采集多帧RAW图的场景而言，云端的解码模块在预测获取第一帧RAW图的预测值时，可以根据初始预测值(pred)采用帧内预测的方式进行预测。其中，初始预测值可以是默认值(预设值)，如可以是有效比特位的中间值。例如，当有效比特位为255时，初始预测值可以是128。另外，这里所述的帧内预测的方式可以参考现有图像编码或者视频的帧内预测的方式，在此不作限制。
云端的解码模块在预测获取第一帧RAW图之后的其他帧RAW图的预测值时(如：第二帧，第三帧等，这里第二帧、第三帧等用于表示手机上传码流包的RAW图顺序)，可以根据已经解码得到的重建RAW图建立帧间相关性预测模型，并根据该帧间相关性预测模型预测获取其他帧RAW图的预测值。
举例说明，假设HDR场景下，相机模块的sensor输出3帧不同EV值的RAW图，EV值分别为EV0、EV-1和EV-2，则手机上传给云端的码流包中包括的RAW图的mata data信息至少包括：码流包对应的RAW图的拍照场景为HDR场景、以及码流包对应的RAW图的EV值。其中，手机上传给云端的第一帧RAW图的EV值为EV0，第二帧RAW图的EV值为EV-1，第三帧RAW图的EV值为EV-2。
对于EV0的RAW图，云端的解码模块可以根据初始预测值(pred)采用帧内预测的方式，获取EV0的RAW图的预测值，并按照如前述所述的方式根据EV0的RAW图对应的码流包进行纠错，得到EV0的RAW图对应的重建RAW图。
然后，对于EV-1的RAW图，云端的解码模块可以根据EV-1的RAW图对应的码流包中包括的RAW图的mata data信息，确定出EV0的RAW图和EV-1的RAW图存在如前述公式(4)所述的线性关系。从而，云端的解码模块可以将EV0的RAW图对应的重建RAW图作为参考帧，分段建立EV-1的RAW图对应的如下相关性预测模型预测获取EV-1的RAW图的预测值。
Figure BDA0002890414190000241
其中，pred-1表示EV-1的RAW图的预测值，rec0表示EV0的RAW图对应的重建RAW图的实际值；参数a1、a2、b1、b2的初始值依次为2、2、0、0；min和max分别设置为有效比特位最大值的1/16和15/16。例如，假设有效比特位为8比特，则min设置为16，max设置为240。有效比特位与sensor有关，在此不限制其大小。
通过上述EV-1的RAW图对应的相关性预测模型，云端可以获取EV-1的RAW图的预测值，然后，将预测值作为默认解码模块已接收到的数据，并按照如前述所述的方式通过从手机侧实际传过来的码流包中的纠错码对预测值进行纠错，直至得到EV-1的RAW图对应的重建RAW图。
进一步地，一些实施方式中，对于EV-2的RAW图，云端的解码模块可以根据EV-2的RAW图对应的码流包中包括的RAW图的mata data信息，确定出EV-1的RAW图和EV-2的RAW图存在如前述公式(4)所述的线性关系。从而，云端的解码模块可以将EV-1的RAW图对应的重建RAW图作为参考帧，分段建立EV-2的RAW图对应的相关性预测模型预测获取EV-2的RAW图的预测值。具体可以参考上述EV-1的RAW图对应的相关性预测模型，不再赘述。
另外一些实施方式中，对于EV-2的RAW图，云端的解码模块也可以将EV-0的RAW图对应的重建RAW图、以及EV-1的RAW图对应的重建RAW图均作为参考帧，分段建立EV-2的RAW图对应的如下相关性预测模型预测获取EV-2的RAW图的预测值。
Figure BDA0002890414190000242
其中，pred-2表示EV-2的RAW图的预测值，rec0表示EV0的RAW图对应的重建RAW图的实际值，rec-1表示EV-1的RAW图对应的重建RAW图的实际值；参数a1、a2、b1、b2、c1、c2的初始值可以分别设置为2、2、1、1、0、0；参数a1、a2、b1、b2的初始值依次为2、2、0、0；min和max与前述实施例相同，不再赘述。
通过上述EV-2的RAW图对应的相关性预测模型，云端也可以获取EV-2的RAW图的预测值，然后，将预测值作为默认解码模块已接收到的数据，并按照如前述所述的方式通过从手机侧实际传过来的码流包中的纠错码对预测值进行纠错，直至得到EV-2的RAW图对应的重建RAW图。
根据上述获取获取EV-1的RAW图的预测值、以及获取EV-2的RAW图的预测值的方式可知，本申请实施例中，在获取某个EV值的RAW图的预测值时，可以选择已经得到上一帧重建RAW图作为参考帧，也可以选择已经得到的多帧重建RAW图共同作为参考帧。也即，对于当前云端已经重建的内容，均可以作为后续帧的参考，如：假设已经有n帧解码成功，则下一帧可以设置的最大参考帧数目为n(n为大于0的整数)。可选地，本申请实施例中，当相机模块的sensor输出的RAW图的帧数更多时，云端可以根据实际需求确定用于参考的已经重建帧的数量，在此不作限制。
可选地，云端的解码模块在上述解码获取重建RAW图的过程中，还可以根据重建RAW图对上述相关性预测模型中的a1、a2、b1、b2等参数进行更新。例如，云端在得到EV0的RAW图对应的重建RAW图、以及EV-1的RAW图对应的重建RAW图之后，可以将EV0的RAW图对应的重建RAW图、以及EV-1的RAW图对应的重建RAW图代入上述EV-1的RAW图对应的相关性预测模型中(将pred-1替换为EV-1的RAW图对应的重建RAW图的实际值)，重新计算a1、a2、b1、b2的值，并将a1、a2、b1、b2用重新计算后的结果替换以实现更新。后续建立EV-2的RAW图对应的相关性预测模型时，则可以使用更新后的a1、a2、b1、b2等参数。
类似地，在得到EV-2的RAW图对应的重建图之后，可以继续对a1、a2、b1、b2等参数进行更新，不再赘述。也即，本申请实施例中，可以在云侧通过更多的数据对a1、a2、b1、b2等参数进行不断更新。
需要说明的是，通常sensor出图在接近0的较暗区域以及接近最高比特位最大值的过曝区域附近无法满足线性关系，因此，本申请实施例中，可以假设其满足线性关系进行数学模型建模，并用来预测下一个EV的像素值。
另外，可以理解的，上述HDR场景下的相关性预测模型仅为示例性说明，也可以根据sensor输出的多帧RAW图的拍照场景相应的建立其它数学模型，并对相关未知参数进行不断刷新，在此不作限制。
由上可知，当手机侧的编码模块采用分布式编码的方法对RAW图进行编码时，在云端的预测值越准确，则需要传输的纠错码就会越少，压缩率会越高。因此，本实施例可以充分利用云端的数据相关性，达到更高压缩率，有效节省上传流量。
可选地，本申请实施例中，云端的解码模块还可以结合云端存储的其他已有数据预测获取RAW图的预测值。其他已有数据可以是用户(可以是当前拍照用户或其他用户)上传存储的历史图像、历史图像处理过程中建立过的一些相关性预测模型等。例如，某个EV值的RAW图的mata data信息中还可以包括手机获取该帧RAW图时的位置信息(如：可以是手机的经纬度坐标)，云端需要获取该帧RAW图的预测值时，可以先根据该帧RAW图对应的位置信息从云端的数据库中获取同样是在该位置信息对应的地点(如某个景点)拍摄的其他已有图像，然后，可以将从数据库中获取的同样位置信息的其他已有图像对应的RAW图作为参考帧，以获取RAW图的预测值等。
可选地，也有一些实施例中，RAW域处理算法也可以放在手机侧实现。例如，对于相机模块采集多帧RAW图的场景，可以在手机侧先对多帧RAW图进行多帧融合处理，得到单帧RAW图。然后，手机可以将得到的单帧RAW图上传到云端进行ISP处理、YUV域处理、第一格式编码等，最终云端可以返回第一格式的图像给手机侧。对于单帧图像的上传，可以参考前述实施例中所述，在此不再赘述。
可选地，请参考图4所示，本申请实施例中，云端进行YUV域图像处理时，还可以根据数据库中存储的高质量参考图，对YUV图进行优化，从而使得最终得到的第一格式的图像质量更好。例如，云端可以对数据库中存储的高质量参考图进行参考学习，得到适用于各种场景的网络模型，然后，在上述拍照过程中，云端可以利用符合拍照场景的网络模型对YUV图进行优化。在此对网络模型的网络架构具体不作限制。
又例如，对于用户自拍的场景而言，一般都是用户自己拍照。假如当前照片由于手抖等原因拍摄模糊，那么在用户授权可以访问本人的数据的情况下，云端还可以利用已有的数据进行AI学习的方式通过本人已有清晰照片的人脸信息对当前模糊图像学习，得到更加真实的本人清晰照片。
类似地，本申请实施例可以充分利用云端的资源，使得图像处理达到更好的效果，在此不再一一举例说明。
对应于前述实施例中所述的图像处理方法，本申请实施例还提供一种图像处理装置，可以应用于终端设备。该装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如，图15示出了本申请实施例提供的一种图像处理装置的结构示意图。如图15所示，该图像处理装置可以包括：相机模块1501、编码模块1502、发送模块1503、接收模块1504。
其中，相机模块1501，用于响应于用户的拍照操作，采集当前拍照场景对应的RAW图；编码模块1502，用于对当前拍照场景对应的RAW图进行编码，得到当前拍照场景对应的RAW图的编码码流；发送模块1503，用于向云端发送当前拍照场景对应的RAW图的编码码流；接收模块1504，用于接收来自云端的第一格式的图像，第一格式的图像为云端根据当前拍照场景对应的RAW图的编码码流所生成的。
可选地，编码模块1502的具体编码过程、以及具体结构，可以参考前述方法实施例中所述，在此不再赘述。
可选地，相机模块1501还用于响应于用户的第一选择操作，确定需要将拍照时采集的RAW图上传到云端进行处理。
类似地，本申请实施例还提供一种图像处理装置，可以应用于云端。该装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如，图16示出了本申请实施例提供的另一种图像处理装置的结构示意图。如图16所示，该图像处理装置可以包括：接收模块1601、解码模块1602、处理模块1603、发送模块1604。
其中，接收模块1601，用于接收来自终端设备的当前拍照场景对应的RAW图的编码码流；解码模块1602，用于对当前拍照场景对应的RAW图的编码码流进行解码，得到当前拍照场景对应的重建RAW图；处理模块1603，用于对当前拍照场景对应的重建RAW图进行处理，生成当前拍照场景对应的第一格式的图像；发送模块1604，用于向终端设备发送第一格式的图像。
例如，处理模块1603可以包括RAW域后处理模块、ISP模块、YUV域后处理模块、第一格式编码器等。处理模块1603的具体处理过程、以及具体结构可以参考前述方法实施例中所述。
可选地，解码模块1602的具体编码过程、以及具体结构，也可以参考前述方法实施例中所述，在此不再赘述。
应理解以上装置中单元或模块(以下均称为单元)的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且装置中的单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分单元以软件通过处理元件调用的形式实现，部分单元以硬件的形式实现。
例如，各个单元可以为单独设立的处理元件，也可以集成在装置的某一个芯片中实现，此外，也可以以程序的形式存储于存储器中，由装置的某一个处理元件调用并执行该单元的功能。此外这些单元全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件又可以称为处理器，可以是一种具有信号的处理能力的集成电路。在实现过程中，上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路实现或者以软件通过处理元件调用的形式实现。
在一个例子中，以上装置中的单元可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个专用集成电路(application specific integrated circuit，ASIC)，或，一个或多个数字信号处理器(digital signal process，DSP)，或，一个或者多个现场可编辑逻辑门阵列(field programmable gate array，FPGA)，或这些集成电路形式中至少两种的组合。
再如，当装置中的单元可以通过处理元件调度程序的形式实现时，该处理元件可以是通用处理器，例如CPU或其它可以调用程序的处理器。再如，这些单元可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。
在一种实现中，以上装置实现以上方法中各个对应步骤的单元可以通过处理元件调度程序的形式实现。例如，该装置可以包括处理元件和存储元件，处理元件调用存储元件存储的程序，以执行以上方法实施例所述的方法。存储元件可以为与处理元件处于同一芯片上的存储元件，即片内存储元件。
在另一种实现中，用于执行以上方法的程序可以在与处理元件处于不同芯片上的存储元件，即片外存储元件。此时，处理元件从片外存储元件调用或加载程序于片内存储元件上，以调用并执行以上方法实施例所述的方法。
例如，本申请实施例还可以提供一种装置，如：电子设备，可以包括：处理器，用于存储该处理器可执行指令的存储器。该处理器被配置为执行上述指令时，使得该电子设备实现如前述实施例所述的图像处理方法中，终端设备执行的步骤或者云端执行的步骤。该存储器可以位于该电子设备之内，也可以位于该电子设备之外。且该处理器包括一个或多个。
在又一种实现中，该装置实现以上方法中各个步骤的单元可以是被配置成一个或多个处理元件，这里的处理元件可以为集成电路，例如：一个或多个ASIC，或，一个或多个DSP，或，一个或者多个FPGA，或者这些类集成电路的组合。这些集成电路可以集成在一起，构成芯片。
例如，本申请实施例还提供一种芯片，该芯片可以应用于上述电子设备。芯片包括一个或多个接口电路和一个或多个处理器；接口电路和处理器通过线路互联；处理器通过接口电路从电子设备的存储器接收并执行计算机指令，以实现如前述实施例所述的图像处理方法中，终端设备执行的步骤或者云端执行的步骤。
本申请实施例还提供一种计算机程序产品，包括计算机可读代码，当计算机可读代码在电子设备中运行时，使得电子设备实现如前述实施例所述的图像处理方法中，终端设备执行的步骤或者云端执行的步骤。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，如：程序。该软件产品存储在一个程序产品，如计算机可读存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
例如，本申请实施例还可以提供一种计算机可读存储介质，其上存储有计算机程序指令。当计算机程序指令被电子设备执行时，使得电子设备实现如前述实施例所述的图像处理方法中，终端设备执行的步骤或者云端执行的步骤。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种图像处理方法，其特征在于，所述方法包括：
终端设备响应于用户的拍照操作，采集当前拍照场景对应的RAW图；
所述终端设备对所述当前拍照场景对应的RAW图进行编码，得到所述当前拍照场景对应的RAW图的编码码流，并向云端发送所述当前拍照场景对应的RAW图的编码码流；
所述终端设备接收来自云端的第一格式的图像，所述第一格式的图像为云端根据所述当前拍照场景对应的RAW图的编码码流所生成的。
2.根据权利要求1所述的方法，其特征在于，所述当前拍照场景对应的RAW图包括一帧或多帧；
所述终端设备对所述当前拍照场景对应的RAW图进行编码，得到所述当前拍照场景对应的RAW图的编码码流，并向云端发送所述当前拍照场景对应的RAW图的编码码流，包括：
当所述当前拍照场景对应的RAW图包括多帧时，所述终端设备对多帧所述RAW图进行编码，得到多帧所述RAW图的编码码流，并向云端发送多帧所述RAW图的编码码流。
3.根据权利要求1或2所述的方法，其特征在于，所述终端设备响应于用户的拍照操作，采集当前拍照场景对应的RAW图之前，所述方法还包括：
所述终端设备响应于用户的第一选择操作，确定需要将拍照时采集的RAW图上传到云端进行处理。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述终端设备对所述当前拍照场景对应的RAW图进行编码，得到所述当前拍照场景对应的RAW图的编码码流，包括：
所述终端设备对所述当前拍照场景对应的RAW图进行压缩，得到所述当前拍照场景对应的RAW图的压缩特征；
所述终端设备对所述当前拍照场景对应的RAW图的压缩特征进行量化；
所述终端设备对所述当前拍照场景对应的RAW图的量化后的压缩特征进行熵编码，得到所述当前拍照场景对应的RAW图的编码码流。
5.根据权利要求4所述的方法，其特征在于，当所述当前拍照场景对应的RAW图包括多帧时，所述终端设备对所述当前拍照场景对应的RAW图进行压缩，得到所述当前拍照场景对应的RAW图的压缩特征，包括：
所述终端设备根据所述当前拍照场景的类型，确定多帧所述RAW图之间的帧间相关性；
所述终端设备从多帧所述RAW图中选择一帧作为参考帧，并根据所述参考帧、以及多帧所述RAW图之间的帧间相关性，对多帧所述RAW图中除参考帧之外的其他帧进行预测，得到其他帧对应的残差图；
所述终端设备对多帧所述RAW图中除参考帧之外的其他帧对应的残差图、以及所述参考帧进行压缩，得到多帧所述RAW图的压缩特征。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
所述终端设备根据多帧所述RAW图的元数据信息，确定所述当前拍照场景的类型。
7.根据权利要求1-3任一项所述的方法，其特征在于，所述终端设备对所述当前拍照场景对应的RAW图进行编码，得到所述当前拍照场景对应的RAW图的编码码流，包括：
所述终端设备采用分布式信源编码的方式对所述当前拍照场景对应的RAW图进行信道编码，得到所述当前拍照场景对应的RAW图的编码码流；
其中，当所述当前拍照场景对应的RAW图包括多帧时，所述当前拍照场景对应的RAW图的编码码流包括与多帧所述RAW图一一对应的多组码流包；当所述当前拍照场景对应的RAW图包括一帧时，所述当前拍照场景对应的RAW图的编码码流包括与一帧所述RAW图对应的一组码流包；
每组所述码流包中包括多个码流包，每个所述码流包至少包括纠错码、以及所述码流包对应的一帧RAW图的元数据信息；
所述终端设备向云端发送所述当前拍照场景对应的RAW图的编码码流，包括：
所述终端设备以帧为单位，依次向所述云端上传每一帧RAW图对应的码流包。
8.一种图像处理方法，其特征在于，所述方法包括：
云端接收来自终端设备的当前拍照场景对应的RAW图的编码码流；
所述云端对所述当前拍照场景对应的RAW图的编码码流进行解码，得到所述当前拍照场景对应的重建RAW图；
所述云端对所述当前拍照场景对应的重建RAW图进行处理，生成所述当前拍照场景对应的第一格式的图像，并向所述终端设备发送所述第一格式的图像。
9.根据权利要求8所述的方法，其特征在于，所述云端对所述当前拍照场景对应的RAW图的编码码流进行解码，得到所述当前拍照场景对应的重建RAW图，包括：
所述云端对所述当前拍照场景对应的RAW图的编码码流进行熵解码，得到所述当前拍照场景对应的RAW图的量化后的压缩特征；
所述云端对所述当前拍照场景对应的RAW图的量化后压缩特征进行反量化，得到所述当前拍照场景对应的RAW图的压缩特征；
所述云端对所述当前拍照场景对应的RAW图的压缩特征进行解压，得到所述当前拍照场景对应的重建RAW图。
10.根据权利要求9所述的方法，其特征在于，所述当前拍照场景对应的RAW图包括多帧；所述云端对所述当前拍照场景对应的RAW图的压缩特征进行解压，得到所述当前拍照场景对应的重建RAW图，包括：
所述云端对多帧所述RAW图的压缩特征进行解压，得到多帧所述RAW图中的参考帧对应的重建RAW图、以及其他帧对应的残差图；
所述云端根据所述当前拍照场景的类型，确定多帧所述RAW图之间的帧间相关性；
所述云端根据所述参考帧对应的重建RAW图、所述其他帧对应的残差图、以及多帧所述RAW图之间的帧间相关性，对多帧所述RAW图进行重建，得到与多帧所述RAW图一一对应的多帧重建RAW图。
11.根据权利要求10所述的方法，其特征在于，多帧所述RAW图的编码码流中还包括多帧所述RAW图的元数据信息；所述云端根据所述当前拍照场景的类型，确定多帧所述RAW图之间的帧间相关性之前，所述方法还包括：
所述云端根据多帧所述RAW图的元数据信息，确定所述当前拍照场景的类型。
12.根据权利要求8所述的方法，其特征在于，所述当前拍照场景对应的RAW图的编码码流是所述终端设备采用分布式信源编码的方式对所述当前拍照场景对应的RAW图进行信道编码得到的；
当所述当前拍照场景对应的RAW图包括多帧时，所述当前拍照场景对应的RAW图的编码码流包括与多帧所述RAW图一一对应的多组码流包；当所述当前拍照场景对应的RAW图包括一帧时，所述当前拍照场景对应的RAW图的编码码流包括与一帧所述RAW图对应的一组码流包；每组所述码流包中包括多个码流包，每个所述码流包至少包括纠错码、以及所述码流包对应的一帧RAW图的元数据信息；
所述云端对所述当前拍照场景对应的RAW图的编码码流进行解码，得到所述当前拍照场景对应的重建RAW图，包括：
当所述当前拍照场景对应的RAW图包括一帧时，所述云端根据初始预测值采用帧内预测的方式对接收到的一帧所述RAW图对应的码流包进行解码，得到一帧所述RAW图对应的重建RAW图；
当所述当前拍照场景对应的RAW图包括多帧时，所述云端根据初始预测值采用帧内预测的方式对接收到的第一帧RAW图对应的码流包进行解码，得到第一帧RAW图对应的重建RAW图；所述云端根据已经解码得到的重建RAW图中的至少一帧、以及多帧所述RAW图之间的帧间相关性，对接收到的第一帧RAW图之后的每一帧RAW图对应的码流包进行解码，得到第一帧RAW图之后的每一帧RAW图对应的重建RAW图。
13.根据权利要求8-12任一项所述的方法，其特征在于，当所述当前拍照场景对应的重建RAW图包括多帧时，所述云端对所述当前拍照场景对应的重建RAW图进行处理，生成所述当前拍照场景对应的第一格式的图像，包括：
所述云端将多帧所述重建RAW图在RAW域融合为一帧重建RAW图；
所述云端将融合后的一帧所述重建RAW图由RAW域转换至YUV域，得到得到一帧所述重建RAW图对应的YUV图；
所述云端将一帧所述重建RAW图对应的YUV图编码为第一格式，得到所述当前拍照场景对应的第一格式的图像。
14.根据权利要求8-12任一项所述的方法，其特征在于，当所述当前拍照场景对应的重建RAW图包括多帧时，所述云端对所述当前拍照场景对应的重建RAW图进行处理，生成所述当前拍照场景对应的第一格式的图像，包括：
所述云端将多帧所述重建RAW图由RAW域转换至YUV域，得到与多帧所述重建RAW图一一对应的多帧YUV图；
所述云端将与多帧所述重建RAW图一一对应的多帧YUV图在YUV域融合为一帧YUV图；
所述云端将融合后的一帧所述YUV图编码为第一格式，得到所述当前拍照场景对应的第一格式的图像。
15.一种电子设备，其特征在于，包括：处理器，用于存储所述处理器可执行指令的存储器；
所述处理器被配置为执行所述指令时，使得所述电子设备实现如权利要求1-7任一项所述的方法，或者，如权利要求8-14任一项所述的方法。
16.一种计算机可读存储介质，其上存储有计算机程序指令；其特征在于，
当所述计算机程序指令被电子设备执行时，使得电子设备实现如权利要求1-7任一项所述的方法，或者，如权利要求8-14任一项所述的方法。
CN202110026530.3A 2021-01-08 2021-01-08 图像处理方法、装置、设备及存储介质 Pending CN114760480A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110026530.3A CN114760480A (zh) 2021-01-08 2021-01-08 图像处理方法、装置、设备及存储介质
US18/260,611 US20240305782A1 (en) 2021-01-08 2022-01-07 Image processing method and apparatus, device, and storage medium
PCT/CN2022/070815 WO2022148446A1 (zh) 2021-01-08 2022-01-07 图像处理方法、装置、设备及存储介质
EP22736607.7A EP4254964A4 (en) 2021-01-08 2022-01-07 IMAGE PROCESSING METHOD AND APPARATUS, DEVICE, AND STORAGE MEDIUM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110026530.3A CN114760480A (zh) 2021-01-08 2021-01-08 图像处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114760480A true CN114760480A (zh) 2022-07-15

Family

ID=82324993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110026530.3A Pending CN114760480A (zh) 2021-01-08 2021-01-08 图像处理方法、装置、设备及存储介质

Country Status (4)

Country Link
US (1) US20240305782A1 (zh)
EP (1) EP4254964A4 (zh)
CN (1) CN114760480A (zh)
WO (1) WO2022148446A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359105A (zh) * 2022-08-01 2022-11-18 荣耀终端有限公司 景深扩展图像生成方法、设备及存储介质
CN116366853A (zh) * 2023-03-03 2023-06-30 苏州市科远软件技术开发有限公司 视频图像处理方法、系统、设备及存储介质
WO2024146349A1 (zh) * 2023-01-03 2024-07-11 华为技术有限公司 一种图像处理方法及装置
WO2025044086A1 (zh) * 2023-08-29 2025-03-06 华为技术有限公司 图像处理的方法和电子设备
WO2025076265A1 (en) * 2023-10-03 2025-04-10 Google Llc Video enhancement
JP2025516394A (ja) * 2022-04-04 2025-05-28 ドルビー ラボラトリーズ ライセンシング コーポレイション Ｒａｗ画像データ再構成システムおよび方法
WO2026060596A1 (zh) * 2024-09-19 2026-03-26 深圳引望智能技术有限公司 一种图像处理方法及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112929484B (zh) * 2021-02-02 2022-07-12 维沃移动通信（杭州）有限公司 通知消息的提醒方法、通知消息的提醒装置、电子设备和可读存储介质
CN117974479A (zh) * 2022-10-21 2024-05-03 英特灵达信息技术(深圳)有限公司 一种图像增强方法、芯片和图像采集设备
CN115767262B (zh) * 2022-10-31 2024-01-16 华为技术有限公司 拍照方法及电子设备
CN117119291B (zh) * 2023-02-06 2024-06-21 荣耀终端有限公司 一种出图模式切换方法和电子设备
CN117041601B (zh) * 2023-10-09 2024-01-12 海克斯康制造智能技术(青岛)有限公司 一种基于isp神经网络模型的图像处理方法
WO2025198488A1 (en) * 2024-03-21 2025-09-25 Huawei Technologies Co., Ltd. Image signal processing method, system and related devices

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105827957A (zh) * 2016-03-16 2016-08-03 上海斐讯数据通信技术有限公司 一种图像处理的系统和方法
CN109658338A (zh) * 2017-10-10 2019-04-19 三星电子株式会社 使用外部电子装置处理原始图像的方法和电子装置
US20200021844A1 (en) * 2018-07-10 2020-01-16 Tencent America LLC Method and apparatus for video coding
CN110868548A (zh) * 2018-08-27 2020-03-06 华为技术有限公司 一种图像处理方法及电子设备
CN111418201A (zh) * 2018-03-27 2020-07-14 华为技术有限公司 一种拍摄方法及设备
CN111741211A (zh) * 2019-03-25 2020-10-02 华为技术有限公司 图像显示方法和设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319311A (ja) * 2002-04-23 2003-11-07 Fuji Photo Film Co Ltd 画像処理装置及びシステム
JP2008236396A (ja) * 2007-03-20 2008-10-02 Fujifilm Corp カメラシステム、撮像装置及びサービスサーバ
GB2521676B (en) * 2013-12-31 2016-08-03 Electric Road Ltd System and method for powering an electric vehicle on a road
US9693010B2 (en) * 2014-03-11 2017-06-27 Sony Corporation Method, electronic device, and server for generating digitally processed pictures
US20170118475A1 (en) * 2015-10-22 2017-04-27 Mediatek Inc. Method and Apparatus of Video Compression for Non-stitched Panoramic Contents
JP2018107655A (ja) * 2016-12-27 2018-07-05 株式会社Ｎｅｘｐｏｉｎｔ 監視カメラシステム
KR102385188B1 (ko) * 2017-09-29 2022-04-12 삼성전자주식회사 외부 전자 장치에서 생성된 정보를 이용하여 이미지 데이터를 처리하는 방법 및 전자 장치
CN110139109B (zh) * 2018-02-08 2023-01-10 北京三星通信技术研究有限公司 图像的编码方法及相应终端
CN110177289A (zh) * 2019-05-14 2019-08-27 努比亚技术有限公司 终端设备及其录像方法、播放方法、云端设备
CN110198417A (zh) * 2019-06-28 2019-09-03 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US11451834B2 (en) * 2019-09-16 2022-09-20 Tencent America LLC Method and apparatus for cross-component filtering

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105827957A (zh) * 2016-03-16 2016-08-03 上海斐讯数据通信技术有限公司 一种图像处理的系统和方法
CN109658338A (zh) * 2017-10-10 2019-04-19 三星电子株式会社 使用外部电子装置处理原始图像的方法和电子装置
CN111418201A (zh) * 2018-03-27 2020-07-14 华为技术有限公司 一种拍摄方法及设备
US20200021844A1 (en) * 2018-07-10 2020-01-16 Tencent America LLC Method and apparatus for video coding
CN110868548A (zh) * 2018-08-27 2020-03-06 华为技术有限公司 一种图像处理方法及电子设备
CN111741211A (zh) * 2019-03-25 2020-10-02 华为技术有限公司 图像显示方法和设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2025516394A (ja) * 2022-04-04 2025-05-28 ドルビー ラボラトリーズ ライセンシング コーポレイション Ｒａｗ画像データ再構成システムおよび方法
JP7761780B2 (ja) 2022-04-04 2025-10-28 ドルビー ラボラトリーズ ライセンシング コーポレイション Ｒａｗ画像データ再構成システムおよび方法
CN115359105A (zh) * 2022-08-01 2022-11-18 荣耀终端有限公司 景深扩展图像生成方法、设备及存储介质
CN115359105B (zh) * 2022-08-01 2023-08-11 荣耀终端有限公司 景深扩展图像生成方法、设备及存储介质
WO2024146349A1 (zh) * 2023-01-03 2024-07-11 华为技术有限公司 一种图像处理方法及装置
CN116366853A (zh) * 2023-03-03 2023-06-30 苏州市科远软件技术开发有限公司 视频图像处理方法、系统、设备及存储介质
WO2025044086A1 (zh) * 2023-08-29 2025-03-06 华为技术有限公司 图像处理的方法和电子设备
WO2025076265A1 (en) * 2023-10-03 2025-04-10 Google Llc Video enhancement
WO2026060596A1 (zh) * 2024-09-19 2026-03-26 深圳引望智能技术有限公司 一种图像处理方法及装置

Also Published As

Publication number Publication date
EP4254964A4 (en) 2024-06-12
EP4254964A1 (en) 2023-10-04
US20240305782A1 (en) 2024-09-12
WO2022148446A1 (zh) 2022-07-14

Similar Documents

Publication Publication Date Title
EP4254964A1 (en) Image processing method and apparatus, device, and storage medium
US20220207680A1 (en) Image Processing Method and Apparatus
US8675984B2 (en) Merging multiple exposed images in transform domain
CN112700368A (zh) 图像处理方法、装置及电子设备
CN115330633B (zh) 图像色调映射方法及装置、电子设备、存储介质
CN113920010A (zh) 图像帧的超分辨率实现方法和装置
WO2024027287A9 (zh) 图像处理系统及方法、计算机可读介质和电子设备
CN114331918B (zh) 图像增强模型的训练方法、图像增强方法及电子设备
CN114554212A (zh) 视频处理装置及方法、计算机存储介质
WO2022266955A1 (zh) 图像解码及处理方法、装置及设备
US20250063204A1 (en) Image encoding, decoding method and device, coder-decoder
CN113364964B (zh) 图像处理方法、图像处理装置、存储介质与终端设备
JP7527113B2 (ja) 画像処理装置、その制御方法、プログラム並びに画像処理システム
CN117135293A (zh) 图像处理方法和电子设备
CN116095509B (zh) 生成视频帧的方法、装置、电子设备及存储介质
CN115700598A (zh) 神经网络的训练方法和装置
US20250392709A1 (en) Reference area for intra prediction
CN116228554B (zh) 图像恢复方法、装置和计算机存储介质
CN117294854B (zh) 一种图像编码、解码方法及编码、解码装置
CN114827430B (zh) 一种图像处理方法、芯片及电子设备
CN115719316A (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
WO2024146349A1 (zh) 一种图像处理方法及装置
WO2025198488A1 (en) Image signal processing method, system and related devices
WO2020181540A1 (zh) 一种视频处理方法、装置、编码设备及解码设备
CN120730066A (zh) 编解码方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220715

RJ01 Rejection of invention patent application after publication