CN112822425A - 一种用于生成高动态范围图像的方法与设备 - Google Patents
一种用于生成高动态范围图像的方法与设备 Download PDFInfo
- Publication number
- CN112822425A CN112822425A CN202011623261.0A CN202011623261A CN112822425A CN 112822425 A CN112822425 A CN 112822425A CN 202011623261 A CN202011623261 A CN 202011623261A CN 112822425 A CN112822425 A CN 112822425A
- Authority
- CN
- China
- Prior art keywords
- category
- image information
- vector
- target
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请的目的是提供一种用于生成高动态范围图像的方法与设备,该方法包括:获取待处理的图像信息;根据至少一个第一对象类别生成图像信息的第一目标向量;将第一目标向量输入目标向量回归模型,以输出图像信息的第二目标向量,其中,目标向量回归模型为图像信息所属的目标风格类型所对应的向量回归模型;根据每个第一对象类别在图像信息中所对应的第一对象区域的目标曝光度生成图像信息的高动态范围图像。本申请基于所述图像信息的图像特点(例如,风格类型、所述图像信息中出现的第一对象、第一对象类别)合成图像信息的高动态范围图像,使得合成的高动态范围图像符合对应的目标风格类型的像素特点,效果更加真实。
Description
技术领域
本申请涉及图像处理领域,尤其涉及一种用于生成高动态范围图像的技术。
背景技术
高动态范围成像(High Dynamic Range Imaging),是用来实现比普通数字图像技术更大曝光动态范围(即更大的明暗差别)的一种技术。能使明处的景物不致过曝,而使得暗处的景物不致欠曝。譬如逆光环境下拍人物,可以将人物和环境都能拍清晰。使得整张照片不至于太暗或太亮。
发明内容
本申请的一个目的是提供一种用于生成高动态范围图像的方法与设备。
根据本申请的一个方面,提供了一种用于生成高动态范围图像的方法,该方法包括:
获取待处理的图像信息,其中,所述图像信息包括一个或多个第一对象,所述一个或多个第一对象属于至少一个第一对象类别;
根据所述至少一个第一对象类别生成所述图像信息的第一目标向量;
将所述第一目标向量输入目标向量回归模型,以输出所述图像信息的第二目标向量,其中,所述目标向量回归模型为所述图像信息所属的目标风格类型所对应的向量回归模型,所述第二目标向量中包括所述至少一个第一对象类别中每个第一对象类别在所述图像信息中所对应的第一对象区域的目标曝光度;
根据每个第一对象类别在所述图像信息中所对应的第一对象区域的目标曝光度生成所述图像信息的高动态范围图像。
根据本申请的一个方面,提供了一种用于生成高动态范围图像的设备,该设备包括:
一一模块,用于获取待处理的图像信息,其中,所述图像信息包括一个或多个第一对象,所述一个或多个第一对象属于至少一个第一对象类别;
一二模块,用于根据所述至少一个第一对象类别生成所述图像信息的第一目标向量;
一三模块,用于将所述第一目标向量输入目标向量回归模型,以输出所述图像信息的第二目标向量,其中,所述目标向量回归模型为所述图像信息所属的目标风格类型所对应的向量回归模型,所述第二目标向量中包括所述至少一个第一对象类别中每个第一对象类别在所述图像信息中所对应的第一对象区域的目标曝光度;
一四模块,用于根据每个第一对象类别在所述图像信息中所对应的第一对象区域的目标曝光度生成所述图像信息的高动态范围图像。
根据本申请的一个方面,提供了一种用于生成高动态范围图像的设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如上所述任一方法的操作。
根据本申请的一个方面,提供了一种存储指令的计算机可读介质,所述指令在被执行时使得系统进行如上所述任一方法的操作。
根据本申请的一个方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上所述任一方法的步骤。
与现有技术相比,本申请根据出现在图像信息中的一个或多个第一对象所属于的至少一个第一对象类别,生成该图像信息的第一目标向量,通过将所述第一目标向量输入目标向量回归模型,得到该图像信息的第二目标向量,其中,所述目标向量回归模型为所述图像信息所属的目标风格类型所对应的向量回归模型。以基于输出的所述第二目标向量得到所述图像信息中每个第一对象类别在该图像信息中所对应的第一对象区域的目标曝光度,并且,所述目标曝光度是该第一对象区域在该图像信息所述的目标风格类型的前提下得到的。从而基于每个第一对象区域的目标曝光度合成所述图像信息的高动态范围图像。本申请基于所述图像信息的图像特点(例如,风格类型、所述图像信息中出现的第一对象、第一对象类别)得到每个第一对象区域的目标曝光度,基于每个第一对象区域本身所对应的目标曝光度合成图像信息的高动态范围图像,使得合成的高动态范围图像符合对应的目标风格类型的像素特点,效果更加真实。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出根据本申请一个实施例的一种用于生成高动态范围图像的方法流程图;
图2示出根据本申请一个实施例的一种用于生成高动态范围图像的设备结构图;
图3示出可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(例如,中央处理器(Central Processing Unit,CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RandomAccess Memory,RAM)和/或非易失性内存等形式,如只读存储器(Read Only Memory,ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(Phase-Change Memory,PCM)、可编程随机存取存储器(Programmable Random Access Memory,PRAM)、静态随机存取存储器(Static Random-Access Memory,SRAM)、动态随机存取存储器(Dynamic Random AccessMemory,DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于终端、网络设备、或终端与网络设备通过网络相集成所构成的设备。所述终端包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品,例如智能手机、平板电脑等,所述移动电子产品可以采用任意操作系统,如Android操作系统、iOS操作系统等。其中,所述网络设备包括一种能够按照事先设定或存储的指令,自动进行数值计算和信息处理的电子设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑器件(Programmable Logic Device,PLD)、现场可编程门阵列(Field ProgrammableGate Array,FPGA)、数字信号处理器(Digital Signal Processor,DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云;在此,云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地,所述设备还可以是运行于所述终端、网络设备、或终端与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然,本领域技术人员应能理解上述设备仅为举例,其他现有的或今后可能出现的设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在本申请的描述中,“多个”的含义是两个或者更多,除非另有明确具体的限定。
在此,本申请所述的一种用于生成高动态范围图像的方法的执行主体包括但不限于网络设备、包括摄像装置的用户设备。优选为所述用户设备,以下从所述用户设备的角度对本申请所述的方法进行解释说明。为方便说明,以下统称为“设备”或者“一种用于生成高动态范围图像的设备”。
在一些实施例中,所述用户设备包括但不限于手机、电脑、平板电脑等计算设备。例如,当执行主体为所述用户设备时,所述用户设备通过摄像装置获取所述待处理的图像信息,并基于本申请所述的方法生成该图像信息的高动态范围图像。再例如,当执行主体为所述网络设备时,由所述用户设备获取图像信息,并将所述图像信息等信息发送给所述网络设备,由所述网络设备基于本申请所述的方法生成该图像信息的高动态范围图像。
图1示出了根据本申请一个方面的一种用于生成高动态范围图像的方法流程图,该方法包括步骤S11、步骤S12、步骤S13以及步骤S14。在步骤S11中,设备获取待处理的图像信息,其中,所述图像信息包括一个或多个第一对象,所述一个或多个第一对象属于至少一个第一对象类别;在步骤S12中,设备根据所述至少一个第一对象类别生成所述图像信息的第一目标向量;在步骤S13中,设备将所述第一目标向量输入目标向量回归模型,以输出所述图像信息的第二目标向量,其中,所述目标向量回归模型为所述图像信息所属的目标风格类型所对应的向量回归模型,所述第二目标向量中包括所述至少一个第一对象类别中每个第一对象类别在所述图像信息中所对应的第一对象区域的目标曝光度;在步骤S14中,设备根据每个第一对象类别在所述图像信息中所对应的第一对象区域的目标曝光度生成所述图像信息的高动态范围图像。
具体而言,在步骤S11中,设备获取待处理的图像信息,其中,所述图像信息包括一个或多个第一对象,所述一个或多个第一对象属于至少一个第一对象类别。在一些实施例中,所述图像信息包括但不限于用户设备的取景器获取到的图像信息。例如,用户设备(例如手机)通过取景器进行取景时,即可采集到所述图像信息,以便所述设备对所述图像信息进行分析处理。在一些实施例中,所述第一对象包括但不限于出现在所述图像信息中的物品(例如,杯子、书本、电脑、天空等)。在一些实施例中,对所述图像信息中出现的第一对象进行归类,以确定所述一个或多个第一对象所对应的至少一个第一对象类别。例如,图像信息A中出现有第一对象:小猫、书本、电脑、天空,其中,小猫属于动物,书本、电脑属于办公用品,天空属于其他类别,则该图像信息A中的一个或多个第一对象属于动物、办公用品、其他类这三个第一对象类别。
在步骤S12中,设备根据所述至少一个第一对象类别生成所述图像信息的第一目标向量。在一些实施例中,所述第一目标向量是基于所述至少一个第一对象类别生成的。在一些实施例中,所述第一目标向量包括多个第一分量,例如,所述第一目标向量为[0,1,0,1,0,0,1],其中,所述第一目标向量中的“0”“1”等数据作为所述第一目标向量的第一分量。例如,图像信息A包括第一对象:小猫、办公桌、电脑、天空,对所述小猫、办公桌、电脑、天空归类后,可以得到该图像信息A中的第一对象所属于至少一个第一对象类别(例如,动物、办公用品、其他类)。所述设备基于“动物、办公用品、其他类”这三个第一对象类别生成对应的第一目标向量(例如,[0,1,0,1,0,0,1]),以将所述图像信息A向量化。
在步骤S13中,设备将所述第一目标向量输入目标向量回归模型,以输出所述图像信息的第二目标向量,其中,所述目标向量回归模型为所述图像信息所属的目标风格类型所对应的向量回归模型,所述第二目标向量中包括所述至少一个第一对象类别中每个第一对象类别在所述图像信息中所对应的第一对象区域的目标曝光度。在一些实施例中,所述设备中包括多个风格类型以及每个风格类型所对应的向量回归模型(例如,每个风格类型与其对应的向量回归模型存在映射关系)。例如,所述设备根据所述图像信息所属的目标风格类型,将该图像信息的第一目标向量输入该目标风格类型所对应的目标向量回归模型,以输出该图像信息的第二目标向量。在一些实施例中,所述风格类型包括但不限于生活风格、风景风格、运动风格、脸部特写风格、宠物特写风格等风格类型。在一些实施例中,可以根据所述图像信息中的至少一个第一对象类别确定该图像信息所属的目标风格类型,例如,设备中预设多个风格类型中每个风格类型包括的对象类别,根据所述图像信息中的至少一个第一对象类别确定该图像信息所属的目标风格类型(例如,所述至少一个第一对象类别中超过半数的第一对象类别包含于某风格类型中所包括的对象类别中时,确定该图像信息属于该风格类型)。在另一些实施例中,基于风格分类模型得到该图像信息所属的目标风格类型,关于本实施例的具体介绍请参见下面的实施例,在此不做赘述。在一些实施例中,所述目标向量回归模型用于基于输入的第一目标向量输出对应的第二目标向量。在一些实施例中,所述第二目标向量包括多个第二分量,例如,所述第二目标向量为[0,100,0,80,0,0,90],所述第二向量中的“80”“100”“90”“0”等数据作为所述第二目标向量的第二分量。在一些实施例中,通过所述向量回归模型输出的所述第二目标向量中包括所述至少一个第一对象类别中每个第一对象类别在所述图像信息中所对应的第一对象区域的目标曝光度。例如,图像信息A中的第一对象所属于至少一个第一对象类别包括:动物、办公用品、其他类,得到的第二目标向量为[0,100,0,80,0,0,90],将所述第二目标向量中的第二分量“100”作为第一对象类别“动物”对应的第一对象区域的目标曝光度,将第二分量“80”作为第一对象类别“办公用品”对应的第一对象区域的目标曝光度,将第二分量“90”作为第一对象类别“其他类别”对应的第一对象区域的目标曝光度。在一些实施例中,所述设备基于所述第二目标向量中各第二分量的排列顺序确定每个第二分量所对应的第一对象类别,从而确定每个第一对象类别在所述图像信息中对应的第一对象区域的目标曝光度,具体说明请参见下面的实施例,在此不做赘述。在一些实施例中,所述第一对象类别在所述图像信息中对应的第一对象区域包括属于该第一对象类别的一个或多个第一对象所在的区域之和,例如,在图像信息A中,第一对象类别办公用品包括办公桌、电脑,则所述第一对象类别“办公用品”在所述图像信息A中对应的第一对象区域包括办公桌、电脑所对应的区域之和。在一些实施例中,设备基于YOLO算法将图像信息划分为一个或多个区域,并检测每个区域对应的第一对象,以便对所述第一对象进行归类,并确定每个第一对象类别所对应的第一对象区域(例如,将属于同一第一对象类别的第一对象所在的区域归为该第一对象类别所对应的第一对象区域)。在一些实施例中,也可以基于图像分割技术将所述图像信息分割为一个或多个区域,然后识别每个区域对应的第一对象(例如,基于图像识别技术进行识别),以便对所述第一对象进行归类,并确定每个第一对象类别所对应的第一对象区域。当然,本领域技术人员可以理解,上述识别、分割所述图像信息的具体操作仅为举例,其他现有的或今后可能出现的具体操作如能适用于本申请,也在本申请的保护范围内,并以引用的方式包含于此。在一些实施例中,对象区域的曝光度是基于该对象区域内的像素信息计算得到的。例如,将对象区域灰度化之后,计算该对象区域内所有像素信息的平均值,以得到该对象区域的曝光度。在一些实施例中,所述第一对象区域的曝光度为其对应的目标曝光度时曝光效果最好。
在步骤S14中,设备根据每个第一对象类别在所述图像信息中所对应的第一对象区域的目标曝光度生成所述图像信息的高动态范围图像。例如,在得到每个第一对象区域的目标曝光度之后,基于目标曝光度合成所述图像信息的高动态范围图像,充分考虑了所述图像信息的风格类型、自身图像特点,使得最终得到的高动态范围图像更加真实,效果更好。
在一些实施例中,在根据所述图像信息中的至少一个第一对象类别生成该图像信息的第一目标向量之前,通过判断所述图像信息所属的目标风格类型确定拍摄用户的意图。例如,该拍摄用户想拍摄风景风格类型、亲子装风格类型或者运动装风格类型的照片,然后根据所述图像信息所属的目标风格类型获取该目标风格类型对应的目标向量回归模型,使得最终合成的高动态范围图像的效果与该图像信息所属的目标风格类型相匹配,增加高动态范围图像的真实性、图像效果。在一些实施例中,所述方法还包括步骤S15(未示出)。在步骤S15中,将所述图像信息的特征信息输入风格分类模型,以根据输出结果确定所述图像信息所属的目标风格类型;获取所述目标风格类型所对应的目标向量回归模型。在一些实施例中,通过将所述图像信息的特征信息输入所述风格分类模型中,得到该图像信息所属的目标风格类型。本实施例具体介绍了基于风格类型模型得到所述图像信息所属的目标风格类型的过程。例如,所述风格分类模型是基于VGGNet、resNet等训练而成的模型。通过将所述图像信息输入所述风格分类模型中,输出该图像信息所属的目标风格类型。在一些实施例中,对于每个风格类型单独训练有一个向量回归模型,例如,设备中包括多条映射关系,每条映射关系用于关联风格类型与该风格类型所对应的目标向量回归模型,以便基于所述图像信息所属的目标风格类型查询获取该目标风格类型对应的目标向量回归模型。
在一些实施例中,所述方法还包括步骤S16(未示出),在步骤S16中,基于多张图片以及每张图片的风格类型标签构建所述风格分类模型。例如,基于大量图片以及每张图片的风格类型标签训练所述风格分类模型,以便在向所述风格分类模型中输入图像信息时,可以根据输出结果确定所述图像信息所属的目标风格类型。
在一些实施例中,所述步骤S11包括:设备获取待处理的图像信息;确定出现在所述图像信息中的一个或多个第一对象;根据所述一个或多个第一对象中每个第一对象所属的第一对象类别确定所述一个或多个第一对象属于的至少一个第一对象类别。在一些实施例中,用户设备响应于用户的取景操作获取所述图像信息。在一些实施例中,设备基于图像识别技术识别所述图像信息中出现的第一对象。在一些实施例中,所述设备也可以基于YOLO算法检测所述图像信息中出现的第一对象。在一些实施例中,所述设备确定每个第一对象所属的的第一对象类别,以确定所述至少一个第一对象类别。例如,图像信息A包括第一对象:小猫、办公桌、电脑、天空,其中,第一对象小猫属于动物,第一对象办公桌属于办公用品,第一对象电脑属于办公用品,第一对象天空属于其他类别,则确定所述图像信息中的第一对象属于“动物、办公用品、其他类别”这三个第一对象类别。在一些实施例中,所述设备中建立有多个对象类别中每个对象类别与其对应的对象之间的映射关系,以便基于确定出的对象确定该对象所属的对象类别。在一些实施例中,对于识别失败的第一对象归为其他类别。
在一些实施例中,所述步骤S12包括:设备根据所述至少一个第一对象类别以及类别集合确定第一初始向量中各第一分量的赋值,以生成所述图像信息的第一目标向量,其中,所述第一初始向量对应于所述类别集合。在一些实施例中,所述第一目标向量包括多个第一分量,设备通过对第一初始向量进行赋值以生成所述图像信息的第一目标向量。在一些实施例中,设备基于确定出的、所述图像信息中的第一对象类别以及类别集合确定所述第一初始向量中对应的第一分量的赋值,以生成所述图像信息的第一目标向量。例如,将重新赋值后的所述第一初始向量作为所述图像信息的第一目标向量。在一些实施例中,所述第一初始向量对应于所述类别集合,以便基于所述类别集合对所述第一初始向量进行赋值。
在一些实施例中,所述类别集合包括多个按序排列的第二对象类别,所述第一初始向量包括多个第一分量,所述多个第二对象类别的数量与所述多个第一分量的数量相等,基于所述多个第二对象类别的排列顺序,所述多个第二对象类别中每个第二对象类别在所述第一初始向量中都有其对应的第一分量,每个第一分量的初始赋值为零;所述步骤S12包括:若所述类别集合中存在与所述第一对象类别相同的第二对象类别,根据目标赋值将该第二对象类别在所述第一初始向量中对应的第一分量重新赋值,以生成所述图像信息的第一目标向量。在此,本申请提到的“第一”“第二”“第三”等词语仅用于区别在不同对象(例如,图像信息、图片、类别集合)中的信息,而并不代表任何的顺序。在一些实施例中,所述类别集合中包括多个按序排列的第二对象类别,例如,类别集合B中按序包括:人物、动物、食品、办公用品、学习用品、交通工具、其他类别(对于识别失败或者确定失败的对象可记为其他,并将其归为其他类别)的第二对象类别。当然,本领域技术人员应能理解,上述类别集合仅为举例,其他现有的或今后可能出现的类别集合如能适用于本申请,也在本申请的保护范围内,并以引用的方式包含于此。该类别集合B对应有第一初始向量B,例如,该第一初始向量B为[0,0,0,0,0,0,0],其中,所述类别集合B中的第二对象类别的数量与所述第一初始向量B中的第一分量的数量相等,都是七个。基于所述七个第二对象类别的排列顺序,每个第二对象类别在所述第一初始向量中都有其对应的第一分量,例如,人物对应于第一初始向量B中的第一个第一分量,动物对应于第一初始向量B中的第二个第一分量,食品对应于第一初始向量B中的第三个第一分量,依次类推。在一些实施例中,所述目标赋值包括但不限于1等固定数值。例如,若所述类别集合中存在与所述第一对象类别相同的第二对象类别,将该第二对象类别在所述第一初始向量中对应的第一分量重新赋值为1。例如,类别集合B中包括按序排列的第二对象类别:人物、动物、食品、办公用品、学习用品、交通工具、其他类别,第一初始向量B为[0,0,0,0,0,0,0],所述图像信息中出现的第一对象类别包括动物、办公用品、其他类别,则在所述类别集合中存在动物、办公用品、其他类别与所述第一对象类别相同,对动物、办公用品、其他类别在所述第一初始向量B中对应的第一分量重新赋值为1,则生成该图像信息的第一目标向量[0,1,0,1,0,0,1]。
在一些实施例中,设备根据所述类别集合中多个第二对象类别的排列顺序依次检测所述一个或多个第一对象类别中是否存在与该第二对象类别相同的第一对象类别,若存在,根据目标赋值对该第二对象类别在所述第一初始向量中对应的第一分量进行重新赋值,以生成所述图像信息的第一目标向量。例如,所述设备按照所述第二对象类别的顺序依次检测所述第一对象类别中是否存在与该第二对象类别相同的第一对象类别,若存在,将该第二对象类别对应的第一分量重新赋值。例如,类别集合B中包括按序排列的第二对象类别:人物、动物、食品、办公用品、学习用品、交通工具、其他类别,第一初始向量B为[0,0,0,0,0,0,0],所述图像信息中出现的第一对象类别包括动物、办公用品、其他类别。所述设备基于所述多个第二对象类别的排列顺序,先检测第一对象类别中是否存在人物,结果为不存在,则无需对人物对应的第一分量重新赋值,人物对应的第一分量依然为初始赋值(例如,0),然后再检测第一对象类别中是否存在动物,结果为存在,则对动物对应的第一分量重新赋值,例如,赋值为所述目标赋值(例如,1),再检测所述第一对象类别中是否存在食品,结果为不存在,则食品对应的第一分量依然为初始赋值(例如,0),依次类推,按照顺序检测完所述第二对象类别后,即可生成所述图像信息的第一目标向量。
在一些实施例中,所述第二目标向量包括多个第二分量,所述多个第二分量的数量与所述多个第二对象类别的数量相等,基于所述第二对象类别的排列顺序,所述多个第二对象类别中每个第二对象类别在所述第二目标向量中都有其对应的第二分量,所述方法还包括步骤S17,在步骤S17中,对于所述图像信息中的至少一个第一对象类别中的每一个第一对象类别,将与该第一对象类别相同的第二对象类别在所述第二目标向量中对应的第二分量的赋值作为该第一对象类别在所述图像信息中所对应的第一对象区域的目标曝光度。在一些实施例中,所述第二目标向量与所述类别集合也存在对应关系,以便根据所述第二目标向量中各第二分量的排列顺序确定各第二分量所对应的第一对象类别,从而确定出每个第一对象类别所对应的第一对象区域的目标曝光度。例如,所述第二目标向量包括多个第二分量,所述多个第二分量的数量与所述类别集合中多个第二对象类别的数量相等,并且,基于所述多个第二对象类别的排列顺序,所述多个第二对象类别在所述第二目标分量中都有其对应的第二分量。例如,类别集合B中包括按序排列的第二对象类别:人物、动物、食品、办公用品、学习用品、交通工具、其他类别,基于所述向量回归模型输出的第二目标向量为[0,100,0,80,0,0,90],则基于所述多个第二对象类别的排列顺序,人物对应的第二分量为0,说明所述图像信息中没有人物的第一对象类别,动物对应的第二分量为100,则将100作为第一对象类别“动物”在所述图像信息中对应的第一对象区域的目标曝光度,食品对应的第二分量为0,则说明所述图像信息中没有食品的第一对象类别,依次类推,以确定出每个第一对象类别在所述图像信息中对应的第一对象区域的目标曝光度。
在一些实施例中,所述方法还包括步骤S18(未示出),在步骤S18中,获取多个风格类型的多张图片;对于每一个风格类型,根据属于该风格类型的多张图片的第一向量以及第二向量构建该风格类型的向量回归模型,以得到所述多个风格类型中每个风格类型所对应的向量回归模型。在一些实施例中,对于每一个风格类型单独训练一个该风格类型对应的向量回归模型,以便使得最终合成的高动态范围图像符合所述图像信息对应的目标风格类型的像素风格。在一些实施例中,对于每一个风格类型的向量回归模型,都基于大量属于该风格类型的图片的第一向量以及第二向量训练该向量回归模型。在一些实施例中,每个向量回归模型都采用NFM网络进行训练。通过属于大量图片的第一向量以及第二向量进行训练,以得到所述向量回归模型。从而可以通过向所述向量回归模型输入第一目标向量,可以输出对应的第二目标向量。在一些实施例中,对于每一个风格类型所所对应的向量回归模型而言,用于训练该向量回归模型的、该风格类型的多张图片为曝光效果较好的图片,以使得根据输出的第二目标向量中包括的目标曝光度进行高动态范围图像的合成时,效果更好。
在一些实施例中,所述方法还包括步骤S19(未示出)以及步骤S10,在步骤S19中,设备对于属于该风格类型的多张图片中的每一张图片,根据出现在该图片中的一个或多个第三对象所属的至少一个第三对象类别生成该图片的第一向量;在步骤S10中,设备根据所述至少一个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域的曝光度生成该图片的第二向量。在一些实施例中,对于每一个风格类型的多张图片,确定每一张图片中出现的第三对象(例如,天空、桌子、小猫等物品),例如,通过图像识别技术,或者YOLO算法检测每张图片中的第三对象。基于类别集合生成每张图片的第一向量,例如,图片C包括第三对象:小猫、办公桌、电脑、天空,对所述小猫、办公桌、电脑、天空归类后,可以得到该图片C中的第三对象所属于至少一个第三对象类别(例如,动物、办公用品、其他类)。基于“动物、办公用品、其他类”这三个第三对象类别生成该图片C对应的第一向量(例如,[0,1,0,1,0,0,1]),以将所述图片C向量化。进一步地,根据每个第三对象类别在该图片中所对应的第三对象区域的曝光度生成该图片的第二向量。例如,基于YOLO算法将图片划分为一个或多个区域,并检测每个区域对应的第三对象,以对所述第三对象进行归类,并确定每个第三对象类别所对应的第一对象区域(例如,属于同一第三对象类别的第三对象所在的区域化为该第三对象类别所对应的第三对象区域)。在一些实施例中,也可以基于图像分割技术(例如,resNet、VGGNet、Fast、R-CNN等图像分割算法)将图片分割为一个或多个区域,然后识别每个区域对应的第三对象(例如,基于图像识别技术),以对所述第三对象进行归类,并确定每个第三对象类别所对应的第三对象区域。当然,本领域技术人员可以理解,上述识别、分割所述图片的具体操作仅为举例,其他现有的或今后可能出现的具体操作如能适用于本申请,也在本申请的保护范围内,并以引用的方式包含于此。然后计算每个第三对象区域的曝光度,根据每个第三对象区域的曝光度生成该图片的第二向量。从而得到每张图片的第一向量和第二向量。
在一些实施例中,所述步骤S17包括:对于所述属于该风格类型的多张图片中的每一张图片,根据出现在该图片中的一个或多个第三对象所属的至少一个第三对象类别以及类别集合确定第一初始向量中各第一分量的赋值,以生成该图片的第一向量,其中,所述第一初始向量对应于所述类别集合。在一些实施例中,基于与实际应用中(例如,上述确定第一目标向量时的类别集合)同样的类别集合,确定该类别集合对应的第一初始向量中各第一分量的赋值,以生成所述属于该风格类型的多张图片中的每一张图片的第一向量。例如,将重新赋值后的所述第一初始向量作为所述图片的第一向量。在一些实施例中,所述第一初始向量对应于所述类别集合,以便基于所述类别集合对所述第一初始向量进行赋值。
在一些实施例中,所述类别集合包括多个按序排列的第二对象类别,所述第一初始向量包括多个第一分量,所述多个第二对象类别的数量与所述多个第一分量的数量相等,以使每个第二对象类别在所述第一初始向量中都有其对应的第一分量,每个第一分量的初始赋值为零;所述步骤S19包括:若所述类别集合中存在与所述第三对象类别相同的第二对象类别,根据目标赋值将该第二对象类别在所述第一初始向量中对应的第一分量重新赋值,以生成该图片的第一向量。在一些实施例中,所述类别集合中包括多个按序排列的第二对象类别,例如,类别集合B中按序包括:人物、动物、食品、办公用品、学习用品、交通工具、其他类别的第二对象类别。当然,本领域技术人员应能理解,上述类别集合仅为举例,其他现有的或今后可能出现的类别集合如能适用于本申请,也在本申请的保护范围内,并以引用的方式包含于此。该类别集合B对应有第一初始向量B,例如,该第一初始向量B为[0,0,0,0,0,0,0],其中,所述类别集合B中的第二对象类别的数量与所述第一初始向量B中的第一分量的数量相等,都是7个。基于所述7个第二对象类别的排列顺序,每个第二对象类别在所述第一初始向量B中都有其对应的第一分量,例如,人物对应于第一初始向量B中的第一个第一分量,动物对应于第一初始向量B中的第二个第一分量,食品对应于第一初始向量B中的第三个第一分量,依次类推。在一些实施例中,所述目标赋值包括但不限于1等固定数值。例如,若所述类别集合中存在与图片中的第三对象类别相同的第二对象类别,将该第二对象类别在所述第一初始向量中对应的第一分量重新赋值为固定数值1。例如,类别集合B中包括按序排列的第二对象类别:人物、动物、食品、办公用品、学习用品、交通工具、其他类别,第一初始向量B为[0,0,0,0,0,0,0],某图片中出现的第三对象包括橘子、香蕉、办公桌、其他(例如,没有识别出的物品可以用其他标记),则在所述类别集合中存在食品、办公用品、其他类别(例如,没有识别出的归为其他类别)与所述第三对象所对应的第三对象类别相同,将食品、办公用品、其他类别在所述第一初始向量B中对应的第一分量重新赋值为1,则生成该图片的第一向量为[0,0,1,1,0,0,1]。在一些实施例中,生成所述图片的第一向量的具体过程包括:设备根据所述类别集合中多个第二对象类别的排列顺序依次检测图片中的一个或多个第三对象类别中是否存在与该第二对象类别相同的第一对象类别,若存在,根据目标赋值对该第二对象类别在所述第一初始向量中对应的第一分量进行重新赋值,以生成所述图像信息的第一目标向量。
在一些实施例中,所述步骤S10包括步骤S101(未示出)、步骤S102、步骤S103。在步骤S101中,设备确定该图片中的至少三个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域;在步骤S102中,设备计算每个第三对象区域的曝光度,以得到所述至少一个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域的曝光度;在步骤S103中,设备根据所述至少一个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域的曝光度以及类别集合确定第二初始向量中各第二分量的赋值,以生成该图片的第二向量,其中,所述第二初始向量对应于所述类别集合。在一些实施例中,对于每张图片,需要先确定出每个第三对象类别在该图片中的第三对象区域,然后计算每一个第三对象区域的曝光度,再根据每个第三对象区域的曝光度生成该图片的第二向量。在一些实施例中,在生成所述第二向量时,也需要基于所述类别集合,以确定每个第三对象区域的曝光度在第二初始向量中对应的第二分量,从而根据该第三对象区域的曝光度对该第二分量进行赋值,以生成该图片的第二向量。
在一些实施例中,所述步骤S101包括:设备确定出现在该图片中的一个或多个第三对象以及每个第三对象所对应的第三对象子区域;将属于同一第三对象类别的第三对象所对应的第三对象子区域作为该第三对象类别所对应的第三对象区域。在一些实施例中,对于每张图片,基于YOLO算法检测该图片中出现的第三对象,以及每个第三对象所对应的第三对象子区域(例如,所述第三对象所在的区域)。在一些实施例中,也可以基于图像分割技术(例如,resNet、VGGNet、Fast、R-CNN等图像分割算法)以及图像识别技术确定图片中的一个或多个第三对象,以及每个第三对象所对应的第三对象子区域(例如,所述第三对象所在的区域)。在一些实施例中,将属于同一第三对象类别的第三对象所对应的第三对象子区域作为该第三对象类别对应的第三对象区域,例如,小猫、小狗属于动物类别,则将小猫、小狗所在的区域确定为动物这个第三对象类别对应的第三对象区域,换言之,“动物”第三对象类别对应的第三对象区域包括小猫、小狗所在的第三对象子区域之和。
在一些实施例中,所述步骤S102包括:设备根据每个第三对象区域的像素信息计算该第三对象区域的曝光度,以得到所述至少一个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域的曝光度。在一些实施例中,在划分好第三对象区域后,所述设备根据每个第三对象区域内所有的像素信息计算该第三对象区域的曝光度。例如,将所述第三对象区域灰度化之后,计算所述第三对象区域内所有像素信息的平均值,将该平均值作为该第三对象区域的曝光度。
在一些实施例中,所述类别集合包括多个按序排列的第二对象类别,所述第二初始向量包括多个第二分量,每个第二分量的初始赋值为零,所述多个第二对象类别的数量与所述多个第二分量的数量相等,以使每个第二对象类别在所述第二初始向量中都有其对应的第二分量,所述步骤S103包括:若所述类别集合中存在与所述第三对象类别相同的第二对象类别,根据该第三对象类别所对应的第三对象区域的曝光度将该第二对象类别在所述第二初始向量中对应的第二分量重新赋值,以生成该图片的第二向量。在一些实施例中,所述类别集合还对应有第二初始向量,所述第二初始向量中各第二分量的初始赋值为零,基于所述类别集合中每个第二对象类别的排列顺序,每个第二对象类别在所述第二初始向量中都有其对应的第二分量,根据第三对象类别以及所述第二对象类别的排列顺序确定第二初始向量中各第二分量的赋值。例如,类别集合B中按序包括:人物、动物、食品、办公用品、学习用品、交通工具、其他类别(例如,对于图像信息或者图片中识别失败或者确定失败的对象都可记为其他,并将其归为其他类别)的第二对象类别。该类别集合B对应有第二初始向量B,例如,该第二初始向量B为[0,0,0,0,0,0,0],其中,所述类别集合B中的第二对象类别的数量与所述第二初始向量B中的第二分量的数量相等,都是7个。基于所述7个第二对象类别的排列顺序,每个第二对象类别在所述第二初始向量中都有其对应的第二分量,例如,人物对应于第二初始向量B中的第一个第二分量,动物对应于第二初始向量B中的第二个第二分量,食品对应于第二初始向量B中的第三个第二分量,依次类推。若所述类别集合中存在与所述第三对象类别相同的第二对象类别,将该第二对象类别在所述第二初始向量中对应的第二分量重新赋值。重新赋值的具体数值为该第三对象类别所对应的第三对象区域的曝光度。例如,类别集合B中包括按序排列的第二对象类别:人物、动物、食品、办公用品、学习用品、交通工具、其他类别,第二初始向量B为[0,0,0,0,0,0,0],所述图片中出现的第三对象类别包括动物、办公用品、其他类别,其中,动物对应的第三对象区域的曝光度为80,办公用品对应的第三对象区域的曝光度为100,其他类别对应的第三对象区域的曝光度为90,根据每个第三对象类别所对应的曝光度对所述第二初始向量B中对应的第二分量进行重新赋值,以生成该图片的第二向量(例如,[0,80,0,100,0,0,90])。
在一些实施例中,所述类别集合的获取过程包括:确定多张图片中每张图片包括的第二对象,以得到多个第二对象;根据每个第二对象所属的第二对象类别对所述多个第二对象进行归类,以得到多个第二对象类别,其中,每个第二对象类别包括一个或多个第二对象;根据每个第二对象类别包括的第二对象的数量对所述多个第二对象类别进行降序排序,以生成所述类别集合,其中,所述类别集合包括多个按序排列的第二对象类别。在一些实施例中,所述类别集合是通过统计大量图片中出现的第二对象的类别生成的。例如,识别大量图片中出现的第二对象,以得到多个第二对象,对所述多个第二对象进行归类划分,以得到多个第二对象类别。统计每个第二对象类别中所包括的第二对象的数量,基于每个第二对象类别包括的第二对象的数量,对所述多个第二对象类别进行排序,得到按序排列的多个第二对象类别。在一些实施例中,将所述多个按序排列的第二对象类别记录在所述类别集合中。
在一些实施例中,所述方法在步骤S14之前还包括步骤S141(未示出),在步骤S141中,基于不同的曝光参数对所述图像信息进行曝光采样,以得到至少两个备用图像信息;对于每个所述备用图像信息,计算该备用图像信息中各第一对象类别在该备用图像信息中所对应的第一对象区域的曝光度,以得到每个第一对象区域所对应的至少两个曝光度;所述步骤S14包括:对于每一个所述第一对象区域,根据该第一对象区域对应的目标曝光度从该第一对象区域所对应的一个或多个曝光度中确定与所述目标曝光度的差值最小的一个曝光度;根据该曝光度所对应的备用图像信息中该第一对象区域的像素信息生成所述图像信息的高动态范围图像。在一些实施例中,所述设备在生成所述图像信息的高动态范围图像之前,基于不同的曝光参数采集多个备用图像信息,以便基于该备用图像信息进行高动态范围图像的生成。例如,图像信息A包括第一对象:小猫、书本、电脑、天空,其中,小猫属于动物,书本、电脑属于办公用品,天空属于其他类别,则该图像信息A中的一个或多个第一对象属于动物、办公用品、其他类这三个第一对象类别。其中,第一对象类别“动物”所对应的第一对象区域包括“小猫”所在的区域,第一对象类别“办公用品”所对应的第一对象区域包括“书本”“电脑”所在区域之和,第一对象类别“其他类别”所对应的第一对象区域包括“天空”所在的区域。所述设备基于不同的曝光参数(例如,光圈、快门速度、ISO感光度等曝光参数)采集关于该图像信息A的多个备用图像信息,并计算每个备用图像信息中各第一对象类别所对应的第一对象区域的曝光度。例如,得到备用图像信息1、备用图像信息2、备用图像信息3。根据每个第一对象区域内的像素信息计算该第一对象区域的曝光度(例如,计算所述第一对象区域内所有像素值的平均值,将计算得到的平均值作为该第一对象区域的曝光度)。则对于所述图像信息A,则该图像信息A中的每个第一对象类别对应有3个曝光度。对于每个第一对象类别,从这3个曝光度中确定出与该第一对象类别对应的目标曝光度差值最小的一个曝光度(例如,备用图像信息1计算出的该第一对象类别对应的曝光度与该第一对象类别对应的目标曝光度之间的差值最小),则根据该曝光度所对应的备用图像信息(例如,备用图像信息1)中该第一对象类别在该备用图像信息1中的第一对象区域的像素信息生成所述图像信息A的高动态范围图像。在一些实施例中,设备通过提取所述备用图像信息中各第一对象区域合成所述图像信息A的高动态范围图像。例如,备用图像信息1中第一对象类别“动物”对应的曝光度与该第一对象类别对应的目标曝光度的差值最小,则从备用图像信息1中提取该第一对象类别“动物”的第一对象区域。备用图像信息2中第一对象类别“办公用品”对应的曝光度与该第一对象类别对应的目标曝光度的差值最小,则从备用图像信息2中提取该第一对象类别“办公用品”的第一对象区域。备用图像信息3中第一对象类别“其他类别”对应的曝光度与该第一对象类别对应的目标曝光度的差值最小,则从备用图像信息3中提取该第一对象类别“其他类别”的第一对象区域。通过提取各第一对象区域合成所述图像信息A的高动态范围图像。再例如,备用图像信息1中第一对象类别“动物”对应的曝光度与该第一对象类别对应的目标曝光度的差值最小,则根据备用图像信息1中该第一对象类别“动物”所对应的第一对象区域的像素信息处理图像信息A中的该第一对象区域。备用图像信息2中第一对象类别“办公用品”对应的曝光度与该第一对象类别对应的目标曝光度的差值最小,则根据备用图像信息2中该第一对象类别“办公用品”所对应的第一对象区域的像素信息处理图像信息A中的该第一对象区域。备用图像信息3中第一对象类别“其他类别”对应的曝光度与该第一对象类别对应的目标曝光度的差值最小,则根据备用图像信息3中该第一对象类别“其他类别”所对应的第一对象区域的像素信息处理图像信息A中的该第一对象区域。
图2示出了根据本申请一个方面的一种用于生成高动态范围图像的设备结构图,该设备包括一一模块、一二模块、一三模块以及一四模块。一一模块,用于获取待处理的图像信息,其中,所述图像信息包括一个或多个第一对象,所述一个或多个第一对象属于至少一个第一对象类别;一二模块,用于根据所述至少一个第一对象类别生成所述图像信息的第一目标向量;一三模块,用于将所述第一目标向量输入目标向量回归模型,以输出所述图像信息的第二目标向量,其中,所述目标向量回归模型为所述图像信息所属的目标风格类型所对应的向量回归模型,所述第二目标向量中包括所述至少一个第一对象类别中每个第一对象类别在所述图像信息中所对应的第一对象区域的目标曝光度;一四模块,用于根据每个第一对象类别在所述图像信息中所对应的第一对象区域的目标曝光度生成所述图像信息的高动态范围图像。
具体而言,一一模块,用于获取待处理的图像信息,其中,所述图像信息包括一个或多个第一对象,所述一个或多个第一对象属于至少一个第一对象类别。在一些实施例中,所述图像信息包括但不限于用户设备的取景器获取到的图像信息。例如,用户设备(例如手机)通过取景器进行取景时,即可采集到所述图像信息,以便所述设备对所述图像信息进行分析处理。在一些实施例中,所述第一对象包括但不限于出现在所述图像信息中的物品(例如,杯子、书本、电脑、天空等)。在一些实施例中,对所述图像信息中出现的第一对象进行归类,以确定所述一个或多个第一对象所对应的至少一个第一对象类别。例如,图像信息A中出现有第一对象:小猫、书本、电脑、天空,其中,小猫属于动物,书本、电脑属于办公用品,天空属于其他类别,则该图像信息A中的一个或多个第一对象属于动物、办公用品、其他类这三个第一对象类别。
一二模块,用于根据所述至少一个第一对象类别生成所述图像信息的第一目标向量。在一些实施例中,所述第一目标向量是基于所述至少一个第一对象类别生成的。在一些实施例中,所述第一目标向量包括多个第一分量,例如,所述第一目标向量为[0,1,0,1,0,0,1],其中,所述第一目标向量中的“0”“1”等数据作为所述第一目标向量的第一分量。例如,图像信息A包括第一对象:小猫、办公桌、电脑、天空,对所述小猫、办公桌、电脑、天空归类后,可以得到该图像信息A中的第一对象所属于至少一个第一对象类别(例如,动物、办公用品、其他类)。所述设备基于“动物、办公用品、其他类”这三个第一对象类别生成对应的第一目标向量(例如,[0,1,0,1,0,0,1]),以将所述图像信息A向量化。
一三模块,用于将所述第一目标向量输入目标向量回归模型,以输出所述图像信息的第二目标向量,其中,所述目标向量回归模型为所述图像信息所属的目标风格类型所对应的向量回归模型,所述第二目标向量中包括所述至少一个第一对象类别中每个第一对象类别在所述图像信息中所对应的第一对象区域的目标曝光度。在一些实施例中,所述设备中包括多个风格类型以及每个风格类型所对应的向量回归模型(例如,每个风格类型与其对应的向量回归模型存在映射关系)。例如,所述设备根据所述图像信息所属的目标风格类型,将该图像信息的第一目标向量输入该目标风格类型所对应的目标向量回归模型,以输出该图像信息的第二目标向量。在一些实施例中,所述风格类型包括但不限于生活风格、风景风格、运动风格、脸部特写风格、宠物特写风格等风格类型。在一些实施例中,可以根据所述图像信息中的至少一个第一对象类别确定该图像信息所属的目标风格类型,例如,设备中预设多个风格类型中每个风格类型包括的对象类别,根据所述图像信息中的至少一个第一对象类别确定该图像信息所属的目标风格类型(例如,所述至少一个第一对象类别中超过半数的第一对象类别包含于某风格类型中所包括的对象类别中时,确定该图像信息属于该风格类型)。在另一些实施例中,基于风格分类模型得到该图像信息所属的目标风格类型,关于本实施例的具体介绍请参见下面的实施例,在此不做赘述。在一些实施例中,所述目标向量回归模型用于基于输入的第一目标向量输出对应的第二目标向量。在一些实施例中,所述第二目标向量包括多个第二分量,例如,所述第二目标向量为[0,100,0,80,0,0,90],所述第二向量中的“80”“100”“90”“0”等数据作为所述第二目标向量的第二分量。在一些实施例中,通过所述向量回归模型输出的所述第二目标向量中包括所述至少一个第一对象类别中每个第一对象类别在所述图像信息中所对应的第一对象区域的目标曝光度。例如,图像信息A中的第一对象所属于至少一个第一对象类别包括:动物、办公用品、其他类,得到的第二目标向量为[0,100,0,80,0,0,90],将所述第二目标向量中的第二分量“100”作为第一对象类别“动物”对应的第一对象区域的目标曝光度,将第二分量“80”作为第一对象类别“办公用品”对应的第一对象区域的目标曝光度,将第二分量“90”作为第一对象类别“其他类别”对应的第一对象区域的目标曝光度。在一些实施例中,所述设备基于所述第二目标向量中各第二分量的排列顺序确定每个第二分量所对应的第一对象类别,从而确定每个第一对象类别在所述图像信息中对应的第一对象区域的目标曝光度,具体说明请参见下面的实施例,在此不做赘述。在一些实施例中,所述第一对象类别在所述图像信息中对应的第一对象区域包括属于该第一对象类别的一个或多个第一对象所在的区域之和,例如,在图像信息A中,第一对象类别办公用品包括办公桌、电脑,则所述第一对象类别“办公用品”在所述图像信息A中对应的第一对象区域包括办公桌、电脑所对应的区域之和。在一些实施例中,设备基于YOLO算法将图像信息划分为一个或多个区域,并检测每个区域对应的第一对象,以便对所述第一对象进行归类,并确定每个第一对象类别所对应的第一对象区域(例如,将属于同一第一对象类别的第一对象所在的区域归为该第一对象类别所对应的第一对象区域)。在一些实施例中,也可以基于图像分割技术将所述图像信息分割为一个或多个区域,然后识别每个区域对应的第一对象(例如,基于图像识别技术进行识别),以便对所述第一对象进行归类,并确定每个第一对象类别所对应的第一对象区域。当然,本领域技术人员可以理解,上述识别、分割所述图像信息的具体操作仅为举例,其他现有的或今后可能出现的具体操作如能适用于本申请,也在本申请的保护范围内,并以引用的方式包含于此。在一些实施例中,对象区域的曝光度是基于该对象区域内的像素信息计算得到的。例如,将对象区域灰度化之后,计算该对象区域内所有像素信息的平均值,以得到该对象区域的曝光度。在一些实施例中,所述第一对象区域的曝光度为其对应的目标曝光度时曝光效果最好。
一四模块,用于根据每个第一对象类别在所述图像信息中所对应的第一对象区域的目标曝光度生成所述图像信息的高动态范围图像。例如,在得到每个第一对象区域的目标曝光度之后,基于目标曝光度合成所述图像信息的高动态范围图像,充分考虑了所述图像信息的风格类型、自身图像特点,使得最终得到的高动态范围图像更加真实,效果更好。
在一些实施例中,在根据所述图像信息中的至少一个第一对象类别生成该图像信息的第一目标向量之前,通过判断所述图像信息所属的目标风格类型确定拍摄用户的意图。例如,该拍摄用户想拍摄风景风格类型、亲子装风格类型或者运动装风格类型的照片,然后根据所述图像信息所属的目标风格类型获取该目标风格类型对应的目标向量回归模型,使得最终合成的高动态范围图像的效果与该图像信息所属的目标风格类型相匹配,增加高动态范围图像的真实性、图像效果。在一些实施例中,所述设备还包括一五模块(未示出)。一五模块,用于将所述图像信息的特征信息输入风格分类模型,以根据输出结果确定所述图像信息所属的目标风格类型;获取所述目标风格类型所对应的目标向量回归模型。
在此,所述一五模块对应的具体实施方式与所述步骤S15的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述设备还包括一六模块(未示出),一六模块,用于基于多张图片以及每张图片的风格类型标签构建所述风格分类模型。
在此,所述一六模块对应的具体实施方式与所述步骤S16的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述一一模块,用于获取待处理的图像信息;确定出现在所述图像信息中的一个或多个第一对象;根据所述一个或多个第一对象中每个第一对象所属的第一对象类别确定所述一个或多个第一对象属于的至少一个第一对象类别。
在此,所述一一模块对应的具体实施方式与所述步骤S11的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述一二模块,用于根据所述至少一个第一对象类别以及类别集合确定第一初始向量中各第一分量的赋值,以生成所述图像信息的第一目标向量,其中,所述第一初始向量对应于所述类别集合。
在此,所述一二模块对应的具体实施方式与所述步骤S12的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述类别集合包括多个按序排列的第二对象类别,所述第一初始向量包括多个第一分量,所述多个第二对象类别的数量与所述多个第一分量的数量相等,基于所述多个第二对象类别的排列顺序,所述多个第二对象类别中每个第二对象类别在所述第一初始向量中都有其对应的第一分量,每个第一分量的初始赋值为零;所述一二模块用于:若所述类别集合中存在与所述第一对象类别相同的第二对象类别,根据目标赋值将该第二对象类别在所述第一初始向量中对应的第一分量重新赋值,以生成所述图像信息的第一目标向量。
在此,所述一二模块对应的具体实施方式与所述步骤S12的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述第二目标向量包括多个第二分量,所述多个第二分量的数量与所述多个第二对象类别的数量相等,基于所述第二对象类别的排列顺序,所述多个第二对象类别中每个第二对象类别在所述第二目标向量中都有其对应的第二分量,所述设备还包括一七模块,一七模块用于,对于所述图像信息中的至少一个第一对象类别中的每一个第一对象类别,将与该第一对象类别相同的第二对象类别在所述第二目标向量中对应的第二分量的赋值作为该第一对象类别在所述图像信息中所对应的第一对象区域的目标曝光度。
在此,所述一七模块对应的具体实施方式与所述步骤S17的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述设备还包括一八模块(未示出),一八模块,用于获取多个风格类型的多张图片;对于每一个风格类型,根据属于该风格类型的多张图片的第一向量以及第二向量构建该风格类型的向量回归模型,以得到所述多个风格类型中每个风格类型所对应的向量回归模型。
在此,所述一八模块对应的具体实施方式与所述步骤S18的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述设备还包括一九模块(未示出)以及一零模块,一九模块,用于对于属于该风格类型的多张图片中的每一张图片,根据出现在该图片中的一个或多个第三对象所属的至少一个第三对象类别生成该图片的第一向量;一零模块,用于根据所述至少一个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域的曝光度生成该图片的第二向量。
在此,所述一九模块、一零模块对应的具体实施方式与所述步骤S19、步骤S10的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述一七模块用于:对于所述属于该风格类型的多张图片中的每一张图片,根据出现在该图片中的一个或多个第三对象所属的至少一个第三对象类别以及类别集合确定第一初始向量中各第一分量的赋值,以生成该图片的第一向量,其中,所述第一初始向量对应于所述类别集合。
在此,所述一七模块对应的具体实施方式与所述步骤S17的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述类别集合包括多个按序排列的第二对象类别,所述第一初始向量包括多个第一分量,所述多个第二对象类别的数量与所述多个第一分量的数量相等,以使每个第二对象类别在所述第一初始向量中都有其对应的第一分量,每个第一分量的初始赋值为零;所述一九模块用于:若所述类别集合中存在与所述第三对象类别相同的第二对象类别,根据目标赋值将该第二对象类别在所述第一初始向量中对应的第一分量重新赋值,以生成该图片的第一向量。
在此,所述一九模块对应的具体实施方式与所述步骤S19的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述一零模块包括一零一模块(未示出)、一零二模块、一零三模块。一零一模块,用于确定该图片中的至少三个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域;一零二模块,用于计算每个第三对象区域的曝光度,以得到所述至少一个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域的曝光度;一零三模块,用于根据所述至少一个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域的曝光度以及类别集合确定第二初始向量中各第二分量的赋值,以生成该图片的第二向量,其中,所述第二初始向量对应于所述类别集合。
在此,所述一零一模块、一零二模块、一零三模块对应的具体实施方式与所述步骤S101、步骤S102、步骤S103的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述一零一模块用于:确定出现在该图片中的一个或多个第三对象以及每个第三对象所对应的第三对象子区域;将属于同一第三对象类别的第三对象所对应的第三对象子区域作为该第三对象类别所对应的第三对象区域。
在此,所述一零一模块对应的具体实施方式与所述步骤S101的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述一二模块,用于根据每个第三对象区域的像素信息计算该第三对象区域的曝光度,以得到所述至少一个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域的曝光度。
在此,所述一二模块对应的具体实施方式与所述步骤S12的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述类别集合包括多个按序排列的第二对象类别,所述第二初始向量包括多个第二分量,每个第二分量的初始赋值为零,所述多个第二对象类别的数量与所述多个第二分量的数量相等,以使每个第二对象类别在所述第二初始向量中都有其对应的第二分量,所述一三模块用于:若所述类别集合中存在与所述第三对象类别相同的第二对象类别,根据该第三对象类别所对应的第三对象区域的曝光度将该第二对象类别在所述第二初始向量中对应的第二分量重新赋值,以生成该图片的第二向量。
在此,所述一三模块对应的具体实施方式与所述步骤S13的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
在一些实施例中,所述类别集合的获取过程包括:确定多张图片中每张图片包括的第二对象,以得到多个第二对象;根据每个第二对象所属的第二对象类别对所述多个第二对象进行归类,以得到多个第二对象类别,其中,每个第二对象类别包括一个或多个第二对象;根据每个第二对象类别包括的第二对象的数量对所述多个第二对象类别进行降序排序,以生成所述类别集合,其中,所述类别集合包括多个按序排列的第二对象类别。在一些实施例中,所述类别集合是通过统计大量图片中出现的第二对象的类别生成的。例如,识别大量图片中出现的第二对象,以得到多个第二对象,对所述多个第二对象进行归类划分,以得到多个第二对象类别。统计每个第二对象类别中所包括的第二对象的数量,基于每个第二对象类别包括的第二对象的数量,对所述多个第二对象类别进行排序,得到按序排列的多个第二对象类别。在一些实施例中,将所述多个按序排列的第二对象类别记录在所述类别集合中。
在一些实施例中,所述设备还包括一四一模块(未示出),所述一四一模块,用于基于不同的曝光参数对所述图像信息进行曝光采样,以得到至少两个备用图像信息;对于每个所述备用图像信息,计算该备用图像信息中各第一对象类别在该备用图像信息中所对应的第一对象区域的曝光度,以得到每个第一对象区域所对应的至少两个曝光度;所述一四模块用于:对于每一个所述第一对象区域,根据该第一对象区域对应的目标曝光度从该第一对象区域所对应的一个或多个曝光度中确定与所述目标曝光度的差值最小的一个曝光度;根据该曝光度所对应的备用图像信息中该第一对象区域的像素信息生成所述图像信息的高动态范围图像。
在此,所述一四一模块、一四模块对应的具体实施方式与所述步骤S141、步骤S14的具体实施例相同或相似,因而不再赘述,以引用的方式包含于此。
除上述各实施例介绍的方法和设备外,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机代码,当所述计算机代码被执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品,当所述计算机程序产品被计算机设备执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个计算机程序;
当所述一个或多个计算机程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如前任一项所述的方法。
图3示出了可被用于实施本申请中所述的各个实施例的示例性系统;
如图3所示在一些实施例中,系统300能够作为各所述实施例中的任意一个设备。在一些实施例中,系统300可包括具有指令的一个或多个计算机可读介质(例如,系统存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如,(一个或多个)处理器305)。
对于一个实施例,系统控制模块310可包括任意适当的接口控制器,以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块310可包括存储器控制器模块330,以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例,系统存储器315可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,系统控制模块310可包括一个或多个输入/输出(I/O)控制器,以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如,NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源,或者其可被该设备访问而不必作为该设备的一部分。例如,NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如,存储器控制器模块330)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中,系统300可以但不限于是:服务器、工作站、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中,系统300可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,系统300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是,本申请可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本申请的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解,计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等,相应地,计算机程序指令被计算机执行的方式包括但不限于:该计算机直接执行该指令,或者该计算机编译该指令后再执行对应的编译后程序,或者该计算机读取并执行该指令,或者该计算机读取并安装该指令后再执行对应的安装后程序。在此,计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如,光纤、同轴等))和能传播能量波的无线(未有导的传输)介质,诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制,计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如,计算机可读存储介质包括,但不限于,易失性存储器,诸如随机存储器(RAM,DRAM,SRAM);以及非易失性存储器,诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM);以及磁性和光学存储设备(硬盘、磁带、CD、DVD);或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此,根据本申请的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
Claims (20)
1.一种用于生成高动态范围图像的方法,其中,该方法包括:
获取待处理的图像信息,其中,所述图像信息包括一个或多个第一对象,所述一个或多个第一对象属于至少一个第一对象类别;
根据所述至少一个第一对象类别生成所述图像信息的第一目标向量;
将所述第一目标向量输入目标向量回归模型,以输出所述图像信息的第二目标向量,其中,所述目标向量回归模型为所述图像信息所属的目标风格类型所对应的向量回归模型,所述第二目标向量中包括所述至少一个第一对象类别中每个第一对象类别在所述图像信息中所对应的第一对象区域的目标曝光度;
根据每个第一对象类别在所述图像信息中所对应的第一对象区域的目标曝光度生成所述图像信息的高动态范围图像。
2.根据权利要求1所述的方法,其中,所述方法还包括:
将所述图像信息输入风格分类模型,以根据输出结果确定所述图像信息所属的目标风格类型;
获取所述目标风格类型所对应的目标向量回归模型。
3.根据权利要求2所述的方法,其中,所述方法还包括:
基于多张图片以及每张图片的风格类型标签构建所述风格分类模型。
4.根据权利要求1所述的方法,其中,所述获取待处理的图像信息,其中,所述图像信息包括一个或多个第一对象,所述一个或多个第一对象属于至少一个第一对象类别,包括:
获取待处理的图像信息;
确定出现在所述图像信息中的一个或多个第一对象;
根据所述一个或多个第一对象中每个第一对象所属的第一对象类别确定所述一个或多个第一对象属于的至少一个第一对象类别。
5.根据权利要求1所述的方法,其中,所述根据所述至少一个第一对象类别生成所述图像信息的第一目标向量,包括:
根据所述至少一个第一对象类别以及类别集合确定第一初始向量中各第一分量的赋值,以生成所述图像信息的第一目标向量,其中,所述第一初始向量对应于所述类别集合。
6.根据权利要求5所述的方法,其中,所述类别集合包括多个按序排列的第二对象类别,所述第一初始向量包括多个第一分量,所述多个第二对象类别的数量与所述多个第一分量的数量相等,基于所述多个第二对象类别的排列顺序,所述多个第二对象类别中每个第二对象类别在所述第一初始向量中都有其对应的第一分量,每个第一分量的初始赋值为零;
所述根据所述至少一个第一对象类别以及类别集合确定第一初始向量中各第一分量的赋值,以生成所述图像信息的第一目标向量,其中,所述第一初始向量对应于所述类别集合,包括:
若所述类别集合中存在与所述第一对象类别相同的第二对象类别,根据目标赋值将该第二对象类别在所述第一初始向量中对应的第一分量重新赋值,以生成所述图像信息的第一目标向量。
7.根据权利要求5或6所述的方法,其中,所述第二目标向量包括多个第二分量,所述多个第二分量的数量与所述多个第二对象类别的数量相等,基于所述第二对象类别的排列顺序,所述多个第二对象类别中每个第二对象类别在所述第二目标向量中都有其对应的第二分量,所述方法还包括:
对于所述图像信息中的至少一个第一对象类别中的每一个第一对象类别,将与该第一对象类别相同的第二对象类别在所述第二目标向量中对应的第二分量的赋值作为该第一对象类别在所述图像信息中所对应的第一对象区域的目标曝光度。
8.根据权利要求1或2所述的方法,其中,所述方法还包括:
获取多个风格类型的多张图片;
对于每一个风格类型,根据属于该风格类型的多张图片的第一向量以及第二向量构建该风格类型的向量回归模型,以得到所述多个风格类型中每个风格类型所对应的向量回归模型。
9.根据权利要求8所述的方法,其中,所述方法还包括:
对于属于该风格类型的多张图片中的每一张图片,根据出现在该图片中的一个或多个第三对象所属的至少一个第三对象类别生成该图片的第一向量;
根据所述至少一个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域的曝光度生成该图片的第二向量。
10.根据权利要求9所述的方法,其中,所述对于属于该风格类型的多张图片中的每一张图片,根据出现在该图片中的一个或多个第三对象所属的至少一个第三对象类别生成该图片的第一向量,包括:
对于所述属于该风格类型的多张图片中的每一张图片,根据出现在该图片中的一个或多个第三对象所属的至少一个第三对象类别以及类别集合确定第一初始向量中各第一分量的赋值,以生成该图片的第一向量,其中,所述第一初始向量对应于所述类别集合。
11.根据权利要求10所述的方法,其中,所述类别集合包括多个按序排列的第二对象类别,所述第一初始向量包括多个第一分量,所述多个第二对象类别的数量与所述多个第一分量的数量相等,以使每个第二对象类别在所述第一初始向量中都有其对应的第一分量,每个第一分量的初始赋值为零;
所述对于所述属于该风格类型的多张图片中的每一张图片,根据出现在该图片中的一个或多个第三对象所属的至少一个第三对象类别以及类别集合确定第一初始向量中各第一分量的赋值,以生成该图片的第一向量,其中,所述第一初始向量对应于所述类别集合,包括:
若所述类别集合中存在与所述第三对象类别相同的第二对象类别,根据目标赋值将该第二对象类别在所述第一初始向量中对应的第一分量重新赋值,以生成该图片的第一向量。
12.根据权利要求9所述的方法,其中,所述根据所述至少一个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域的曝光度生成该图片的第二向量,包括:
确定该图片中的至少三个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域;
计算每个第三对象区域的曝光度,以得到所述至少一个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域的曝光度;
根据所述至少一个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域的曝光度以及类别集合确定第二初始向量中各第二分量的赋值,以生成该图片的第二向量,其中,所述第二初始向量对应于所述类别集合。
13.根据权利要求12所述的方法,其中,所述确定该图片中的至少三个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域,包括:
确定出现在该图片中的一个或多个第三对象以及每个第三对象所对应的第三对象子区域;
将属于同一第三对象类别的第三对象所对应的第三对象子区域作为该第三对象类别所对应的第三对象区域。
14.根据权利要求12所述的方法,其中,所述计算每个第三对象区域的曝光度,以得到所述至少一个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域的曝光度,包括:
根据每个第三对象区域的像素信息计算该第三对象区域的曝光度,以得到所述至少一个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域的曝光度。
15.根据权利要求12所述的方法,其中,所述类别集合包括多个按序排列的第二对象类别,所述第二初始向量包括多个第二分量,每个第二分量的初始赋值为零,所述多个第二对象类别的数量与所述多个第二分量的数量相等,以使每个第二对象类别在所述第二初始向量中都有其对应的第二分量,所述根据所述至少一个第三对象类别中每个第三对象类别在该图片中所对应的第三对象区域的曝光度以及类别集合确定第二初始向量中各第二分量的赋值,以生成该图片的第二向量,其中,所述第二初始向量对应于所述类别集合,包括:
若所述类别集合中存在与所述第三对象类别相同的第二对象类别,根据该第三对象类别所对应的第三对象区域的曝光度将该第二对象类别在所述第二初始向量中对应的第二分量重新赋值,以生成该图片的第二向量。
16.根据权利要求5至15中任一项所述的方法,其中,所述类别集合的获取过程包括:
确定多张图片中每张图片包括的第二对象,以得到多个第二对象;
根据每个第二对象所属的第二对象类别对所述多个第二对象进行归类,以得到多个第二对象类别,其中,每个第二对象类别包括一个或多个第二对象;
根据每个第二对象类别包括的第二对象的数量对所述多个第二对象类别进行降序排序,以生成所述类别集合,其中,所述类别集合包括多个按序排列的第二对象类别。
17.根据权利要求1所述的方法,其中,所述方法在根据每个第一对象类别在所述图像信息中所对应的第一对象区域的目标曝光度生成所述图像信息的高动态范围图像,之前还包括:
基于不同的曝光参数对所述图像信息进行曝光采样,以得到至少两个备用图像信息;对于每个所述备用图像信息,计算该备用图像信息中各第一对象类别在该备用图像信息中所对应的第一对象区域的曝光度,以得到每个第一对象区域所对应的至少两个曝光度;
所述根据每个第一对象类别在所述图像信息中所对应的第一对象区域的目标曝光度生成所述图像信息的高动态范围图像,包括:
对于每一个所述第一对象区域,根据该第一对象区域对应的目标曝光度从该第一对象区域所对应的一个或多个曝光度中确定与所述目标曝光度的差值最小的一个曝光度;根据该曝光度所对应的备用图像信息中该第一对象区域的像素信息生成所述图像信息的高动态范围图像。
18.一种用于生成高动态范围图像的设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如权利要求1至17中任一项所述方法的操作。
19.一种存储指令的计算机可读介质,所述指令在被执行时使得系统进行执行如权利要求1至17中任一项所述方法的操作。
20.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至17中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011623261.0A CN112822425B (zh) | 2020-12-30 | 2020-12-30 | 一种用于生成高动态范围图像的方法与设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011623261.0A CN112822425B (zh) | 2020-12-30 | 2020-12-30 | 一种用于生成高动态范围图像的方法与设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112822425A true CN112822425A (zh) | 2021-05-18 |
| CN112822425B CN112822425B (zh) | 2023-01-06 |
Family
ID=75854647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011623261.0A Active CN112822425B (zh) | 2020-12-30 | 2020-12-30 | 一种用于生成高动态范围图像的方法与设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112822425B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004005534A (ja) * | 2002-03-29 | 2004-01-08 | Fuji Photo Film Co Ltd | 画像の保存方法、登録画像の検索方法およびシステム、登録画像の画像処理方法ならびにこれらの方法を実施するプログラム |
| US20130315477A1 (en) * | 2012-05-25 | 2013-11-28 | Xerox Corporation | Image selection based on photographic style |
| US20150170389A1 (en) * | 2013-12-13 | 2015-06-18 | Konica Minolta Laboratory U.S.A., Inc. | Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification |
| US20170206431A1 (en) * | 2016-01-20 | 2017-07-20 | Microsoft Technology Licensing, Llc | Object detection and classification in images |
| US20190005356A1 (en) * | 2017-06-30 | 2019-01-03 | Canon Kabushiki Kaisha | Image recognition apparatus, learning apparatus, image recognition method, learning method, and storage medium |
| CN109584257A (zh) * | 2018-11-28 | 2019-04-05 | 中国科学院深圳先进技术研究院 | 一种图像处理方法及相关设备 |
| CN110100252A (zh) * | 2016-12-23 | 2019-08-06 | 奇跃公司 | 用于确定内容捕获设备的设置的技术 |
-
2020
- 2020-12-30 CN CN202011623261.0A patent/CN112822425B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004005534A (ja) * | 2002-03-29 | 2004-01-08 | Fuji Photo Film Co Ltd | 画像の保存方法、登録画像の検索方法およびシステム、登録画像の画像処理方法ならびにこれらの方法を実施するプログラム |
| US20130315477A1 (en) * | 2012-05-25 | 2013-11-28 | Xerox Corporation | Image selection based on photographic style |
| US20150170389A1 (en) * | 2013-12-13 | 2015-06-18 | Konica Minolta Laboratory U.S.A., Inc. | Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification |
| US20170206431A1 (en) * | 2016-01-20 | 2017-07-20 | Microsoft Technology Licensing, Llc | Object detection and classification in images |
| CN110100252A (zh) * | 2016-12-23 | 2019-08-06 | 奇跃公司 | 用于确定内容捕获设备的设置的技术 |
| US20190005356A1 (en) * | 2017-06-30 | 2019-01-03 | Canon Kabushiki Kaisha | Image recognition apparatus, learning apparatus, image recognition method, learning method, and storage medium |
| CN109584257A (zh) * | 2018-11-28 | 2019-04-05 | 中国科学院深圳先进技术研究院 | 一种图像处理方法及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112822425B (zh) | 2023-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112329762B (zh) | 图像处理方法、模型训练方法、装置、计算机设备和介质 | |
| US9020243B2 (en) | Image adjustment | |
| US11348254B2 (en) | Visual search method, computer device, and storage medium | |
| CN108961157B (zh) | 图片处理方法、图片处理装置及终端设备 | |
| US11429813B1 (en) | Automated model selection for network-based image recognition service | |
| CN109711508B (zh) | 图像处理方法和装置 | |
| CN110969200B (zh) | 基于一致性负样本的图像目标检测模型训练方法及装置 | |
| US20240029263A1 (en) | System and method for identifying auxiliary areas of interest in an image | |
| US11468296B2 (en) | Relative position encoding based networks for action recognition | |
| TWI546743B (zh) | 於一影像中之物件選擇技術 | |
| CN108257081B (zh) | 用于生成图片的方法和装置 | |
| WO2022141094A1 (zh) | 模型生成方法、图像处理方法、装置及可读存储介质 | |
| US12118099B2 (en) | Automated security profiles for an information handling system | |
| CN116543261B (zh) | 用于图像识别的模型训练方法、图像识别方法设备及介质 | |
| WO2022141092A1 (zh) | 模型生成方法、图像处理方法、装置及可读存储介质 | |
| CN113657245B (zh) | 一种用于人脸活体检测的方法、设备、介质及程序产品 | |
| CN113518217A (zh) | 对象识别方法、装置、服务器及介质 | |
| CN112822425B (zh) | 一种用于生成高动态范围图像的方法与设备 | |
| CN112839181B (zh) | 一种用于生成高动态范围图像的方法与设备 | |
| CN112822426B (zh) | 一种用于生成高动态范围图像的方法与设备 | |
| CN112771566A (zh) | 图像处理装置和图像处理方法 | |
| CN114549944A (zh) | 一种对象部位检测方法、装置、电子设备及存储介质 | |
| CN114550025B (zh) | 生成模型的评估方法、设备和介质 | |
| CN115641463B (zh) | 分类测试方法、装置、设备、介质及程序产品 | |
| CN116310974B (zh) | 时序动作检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Room 80536, Shanghai Patentee after: Shanghai Zongzhang Technology Group Co.,Ltd. Country or region after: China Address before: Room 80536, Shanghai Patentee before: SHANGHAI ZHANGMEN SCIENCE AND TECHNOLOGY Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |