CN102780902A - 处理三维图像的装置和方法 - Google Patents
处理三维图像的装置和方法 Download PDFInfo
- Publication number
- CN102780902A CN102780902A CN2012101487576A CN201210148757A CN102780902A CN 102780902 A CN102780902 A CN 102780902A CN 2012101487576 A CN2012101487576 A CN 2012101487576A CN 201210148757 A CN201210148757 A CN 201210148757A CN 102780902 A CN102780902 A CN 102780902A
- Authority
- CN
- China
- Prior art keywords
- mark
- controller
- glasses
- rendering
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000012545 processing Methods 0.000 title claims abstract description 64
- 239000011521 glass Substances 0.000 claims abstract description 132
- 238000009877 rendering Methods 0.000 claims description 147
- 238000007689 inspection Methods 0.000 claims description 51
- 238000001514 detection method Methods 0.000 claims description 24
- 239000000463 material Substances 0.000 claims description 14
- 238000003672 processing method Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 35
- 230000000007 visual effect Effects 0.000 description 34
- 230000009471 action Effects 0.000 description 15
- 230000014509 gene expression Effects 0.000 description 15
- 238000006073 displacement reaction Methods 0.000 description 11
- 238000003825 pressing Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 239000003550 marker Substances 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000011469 building brick Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
公开了一种用于处理三维图像的装置和方法。显示器被配置为显示图像。图像捕捉设备捕捉3D图像处理装置的周围环境的图像。控制器在由图像捕捉设备捕捉的视频帧中检测眼镜,并且根据检测的结果控制切换到其中显示器显示3D图像的3D视频模式。
Description
相关申请的交叉引用
本申请要求于2011年5月13日申请的韩国申请No.10-2011-0045021和2011年8月19日申请的韩国申请No.10-2011-0082688的权益,其全部内容通过引用结合于此。
技术领域
本发明涉及一种用于处理三维(3D)图像的装置和方法,并且更具体而言,涉及用于显示3D图像的3D图像处理装置和方法。
背景技术
近来,已经在各种领域中研究和使用用于表示三维(3D)图像的显示技术。尤其是,作为3D图像显示技术的使用例子,带有浓厚的兴趣关注用于显示3D图像的电子装置。
3D图像显示技术是基于双目视差的原理,其中由于在双眼的视点之间的差别,观看者可以感知3D成像。3D图像显示技术划分为快门眼镜方法、自动立体方法、全息方法等。在快门眼镜方法中用户可能需要佩戴诸如偏振眼镜等的单独的设备,并且用户仅在预定的位置通过自动立体方法可以观看3D图像。因此,为了克服在快门眼镜方法和自动立体方法中的上述问题,近来全息方法已经成为增加的研究课题。
发明内容
因此,本发明涉及一种用于处理3维图像的装置和方法,其基本上消除了由于现有技术的限制和缺点而导致的一个或多个问题。
本发明的一个目的是提供一种用于处理3维(3D)图像的装置以及用于切换3D图像处理装置的视频模式的方法,其可以依照观看者的观看意向来切换视频模式。
本发明的另一个目的是提供一种用于处理3D图像的装置和方法,其可以依照观看距离来显示适当的3D图像。
为了实现这些目的和其他的优点并且按照本发明的目的,如在此处实施和广泛地描述的,一种用于切换3维(3D)图像处理装置的视频模式的方法包括:在捕捉的视频帧中检测眼镜,以及根据检测的结果将视频模式切换到显示3D图像的3D视频模式。
该检测可以包括检查是否检测的眼镜具有预定的形状,以及该检测的结果可以包括检查的结果。
该检测可以包括检查是否检测的眼镜包括预定的标记,以及该检测的结果可以包括检查的结果。
该标记可以由发光二极管(LED)灯、发光材料和荧光材料的至少一个形成。
该检查可以包括在检测的眼镜中检查第一标记和第二标记,计算在检查的第一标记和检查的第二标记之间的距离值,基于计算的距离值来计算深度设定值,以及基于计算的深度设定值来调整3D图像的深度值。
该检测可以包括检查用户是否佩戴检测的眼镜,以及该检测的结果可以包括检查的结果。
该3D视频模式可以包括第一3D视频模式和第二3D视频模式,第一3D视频模式将接收到的2D图像显示为3D图像,第二3D视频模式将接收到的3D图像显示为3D图像。
该切换到3D视频模式可以包括检查是否存在与显示的图像相对应的3D图像,以及基于检查的结果来选择第一3D视频模式和第二3D视频模式中的一个。
该3D图像处理方法可以进一步包括基于检测的结果将视频模式切换到显示2D图像的2D视频模式。
根据本发明的另一个方面,一种3维(3D)图像处理装置,包括:显示器,其配置成显示图像;以及控制器,其配置成在捕捉的视频帧中检测眼镜,并且根据检测的结果来控制切换到其中显示器显示3D图像的3D视频模式。
根据本发明的另一个方面,一种用于切换3维(3D)图像处理装置的视频模式的方法,包括:感测3D图像处理装置的周围环境,使用感测的信息来生成关于用户的观看意向的观看意向信息,检查生成的观看意向信息是否指示3D视频观看,以及根据检测的结果将视频模式切换到显示3D图像的3D视频模式。该感测的信息可以包括捕捉的图像、从3D眼镜发送的信号以及从3D眼镜发出的光束中的至少一个。
该生成观看意向信息可以包括检查在捕捉的图像中是否检测到3D眼镜的标记。该标记可以使用发光二极管(LED)灯、发光材料和荧光材料中的至少一个形成。
该生成观看意向信息可以进一步包括检查用户是否佩戴3D眼镜。可以基于3D眼镜和用户的眼睛之间的距离来检查用户是否佩戴3D眼镜。
该3D视频模式可以包括第一3D视频模式和第二3D视频模式,第一3D视频模式将接收到的2D图像显示为3D图像,第二3D视频模式将接收到的3D图像显示为3D图像。该方法可以进一步包括检查是否存在与显示的图像相对应的3D图像,以及基于检查的结果来选择第一3D视频模式和第二3D视频模式中的一个。
该方法可以进一步包括基于检查的结果将视频模式切换到显示2D图像的2D视频模式。
根据本发明的另一个方面,一种3维(3D)图像处理装置,包括:感测单元,其配置成感测3D图像处理装置的周围环境,以及控制器,其配置成使用感测的信息来生成关于用户的观看意向的观看意向信息,检查生成的观看意向信息是否指示3D视频观看,以及根据检查的结果来控制切换到显示3D图像的3D视频模式。该感测的信息可以包括捕捉的图像、从3D眼镜传送的信号以及从3D眼镜发出的光束中的至少一个。
该控制器可以检查在捕捉的图像中是否检测到3D眼镜的标记。当检测到该标记时,该控制器可以生成指示3D视频观看的观看意向信息。该标记可以使用发光二极管(LED)灯、发光材料和荧光材料中的至少一个形成。
该控制器可以检查用户是否佩戴提供有检测的标记的3D眼镜。当用户佩戴3D眼镜时,该控制器可以生成指示3D视频观看的观看意向信息。
该控制器可以基于在3D眼镜和用户的眼睛之间的距离来检查用户佩戴眼镜。
该3D视频模式可以包括第一3D视频模式和第二3D视频模式,第一3D视频模式将接收到的2D图像显示为3D图像,第二3D视频模式将接收到的3D图像显示为3D图像。该控制器可以检查是否存在与显示的图像相对应的3D图像,和可以基于检查的结果选择第一3D视频模式和第二3D视频模式中的一个。
该控制器可以基于检查的结果来控制切换到显示2D图像的2D视频模式。
根据本发明的另一个方面,一种3维(3D)图像处理方法,包括:在捕捉的视频帧中检测眼镜的第一标记和第二标记,计算在检测的第一标记和检测的第二标记之间的距离值,基于距离值来计算深度设定值,以及基于计算的深度设定值来调整3D图像的深度值。第一标记和第二标记可以分别地位于眼镜的左眼镜片的边缘和右眼镜片的边缘上。该标记可以由发光二极管(LED)灯、发光材料和荧光材料的中的至少一个形成。该距离值可以是在第一标记和第二标记之间的像素数。
该3D图像处理方法可以进一步包括基于第一标记和第二标记的至少一个的形状来计算角度值,以及计算深度设定值可以包括基于距离值和角度值来计算深度设定值。可以基于标记的水平长度以及标记的水平长度与垂直长度的比率中的至少一个来计算角度值。
该3D图像处理方法可以进一步包括基于角度值来检查佩戴眼镜的用户眼睛的方向是否面向屏幕,以及基于检查的结果可以确定是否执行调整3D图像的深度值。检查眼睛的方向面向屏幕可以进一步包括检查角度值是否是预设的角度或更大。
计算深度设定值可以包括使用距离值和角度值来计算观看距离,以及基于计算的观看距离来计算深度设定值。可以基于参考观看距离与计算的观看距离的比率来计算深度设定值。
根据本发明的再一个方面,一种3维(3D)图像处理装置,包括:接收器,其配置成接收3维(3D)图像;以及控制器,其配置成在捕捉的视频帧中检测眼镜的第一标记和第二标记,计算在检测的第一标记和检测的第二标记之间的距离值,基于计算的距离值来计算深度设定值,以及基于计算的深度设定值来控制接收到的3D图像的深度值的调整。第一标记和第二标记可以分别地位于眼镜的左眼镜片的边缘和右眼镜片的边缘上。该标记可以由发光二极管(LED)灯、发光材料和荧光材料中的至少一个形成。该距离值可以是在第一标记和第二标记之间的像素数。
该控制器可以基于第一标记和第二标记的至少一个的形状来计算角度值,以及可以基于该距离值和该角度值来计算该深度设定值。可以基于标记的水平长度以及标记的水平长度与垂直长度的比率中的至少一个来计算角度值。
该控制器可以基于角度值来检查佩戴眼镜的用户眼睛的方向是否面向屏幕,以及可以基于该检查的结果来控制调整3D图像的深度值。当该角度值小于预设的角度时,该控制器可以检查用户的眼睛的方向面向屏幕。
该控制器可以使用距离值和角度值来计算观看距离,以及可以基于计算的观看距离来计算深度设定值。可以基于参考观看距离与计算的观看距离的比率来计算该深度设定值。
应该明白,上文的概述和下面的本发明的详细说明是示范性和解释性的,并且意欲如所要求的提供对本发明的进一步的解释。
附图说明
该伴随的附图被包括以提供对本发明进一步的理解,并且被结合进和构成本申请的一部分,其图示本发明的实施例,并且与该说明书一起可以起解释本发明原理的作用。在附图中:
图1是图示根据本发明用于处理3D图像的装置的示范性实施例的配置的框图;
图2是图示信号处理器的示范性实施例的配置的框图;
图3是图示用于眼镜的标记的例子的示意图;
图4是图示提供有标记的眼镜的示范性实施例的示意图;
图5是示意地图示在从捕捉的视频帧中提取的眼镜的标记之间的距离的示意图;
图6是图示距离参考表的示范性实施例的表;
图7是图示从捕捉的视频帧中提取的眼镜的标记的形状的示意图;
图8是图示角度参考表的示范性实施例的表;
图9是图示另一个角度参考表的示范性实施例的表;
图10是图示深度值设定参考表的示范性实施例的表;
图11是解释双目视差的示意图;
图12是图示取决于双目视差的幅值的深度感知的示意图;
图13是解释用于调整3D图像的深度值的方法的示范性实施例的示意图;
图14是图示包括在图像中的对象的坐标的示意图;
图15是图示在图14中图示的对象的位移变换之后的对象的坐标的示意图;
图16是图示根据本发明用于处理3D图像方法的示范性实施例的流程图;
图17是图示捕捉其中用户佩戴3D眼镜的图像的视频帧的示范性实施例的示意图;
图18是图示出现通知识别3D眼镜的消息的示范性实施例的示意图;
图19是图示询问是否执行切换到3D视频模式消息的示范性实施例的示意图;
图20是图示根据本发明用于切换3D图像处理装置的视频模式的方法示范性实施例的实现过程的流程图;
图21是图示用于生成观看意向信息的方法的示范性实施例的实现过程的流程图;
图22是图示用于切换到3D视频模式的方法的示范性实施例的实现过程的流程图;
图23是图示根据本发明用于切换3D图像处理装置的视频模式的方法的另一示范性实施例的实现过程的流程图;以及
图24是图示根据本发明用于切换3D图像处理装置的视频模式的方法的再一示范性实施例的实现过程的流程图。
具体实施方式
现在将参考伴随的附图详细地介绍本发明示范性实施例。由伴随附图图示和描述的本发明的配置和操作被作为至少一个实施例描述。但是,对于本领域技术人员来说显而易见的是本发明的技术精神和基本配置和操作不局限于如在此阐述的特定的实施例。
虽然在本发明中使用的术语是从通常在本领域广泛地使用的术语中选择出来的,同时考虑它们在本发明中的功能,它们可以根据所属技术领域的专业人员的意向、惯例、新技术的出现等改变。此外,在特定的情形下,在本发明的描述中使用的术语可以由本申请人以他的或者她的判断来选择,其详细含义在此处的描述的相关部分中描述。因此,在此处使用的术语应该不只是由使用的真实的术语,而是由位于在此处公开的描述内的含义理解。
图1是图示根据本发明用于处理3D图像的装置的示范性实施例的配置的框图。
参考图1,根据本发明的3D图像处理装置100可以包括接收器101、信号处理器140、显示器150、音频输出单元160、输入单元170、存储单元180和控制器190。在一些实施例中,3D图像处理装置100可以进一步包括图像捕捉设备90。3D图像处理装置100可以是诸如台式计算机、膝上电脑、平板电脑,或者手持式计算机的个人计算机,或者可以是诸如蜂窝电话、智能电话、数字多媒体广播(DMB)终端、个人数字助理(PDA)、便携式多媒体播放器(PMP),或者导航仪的移动终端,或者可以是诸如数字TV的固定电气设备。
接收器101可以接收包括左视点图像数据和右视点图像数据的视频数据。接收器101可以进一步接收关于视频数据的广播信息。视频数据可以是立体视点或者多视点图像。即,视频数据可以包括至少一个左视点图像数据和至少一个右视点图像数据。
接收器101可以包括调谐器110、解调器120、移动通信单元115、网络接口130和外部信号接收器135。
调谐器110从经由天线接收的RF广播信号中选择对应于由用户选择的信道的射频(RF)广播信号,并且将选定的RF广播信号变换为中频(IF)信号或者基带视频或者音频信号。
解调器120接收由调谐器110转换的数字IF(DIF)信号,并且解调DIF信号。另外,解调器120可以执行信道解码。
在执行解调和信道解码之后,解调器120可以输出传输流(TS)信号。视频信号、音频信号或者数据信号可以在TS信号中多路复用。例如,TS信号可以是活动图像专家组-2(MPEG-2)视频信号和杜比AC-3音频信号在其中多路复用的MPEG-2TS。更具体地说,MPEG-2TS可以包括4字节报头和184字节有效载荷。
可以将由解调器120产生的TS信号提供给信号处理器140。
移动通信单元115将无线电信号发送到移动通信网络中的基站、外部终端和服务器中的至少一个,并且从移动通信网络中的基站、外部终端和服务器中的至少一个接收无线电信号。无线电信号可以包括音频呼叫信号、视频呼叫信号,或者用于文本或者多媒体消息的传输和接收的各种类型的数据。
外部信号接收器135可以提供能够将3D图像处理装置100连接到外部设备的接口。外部设备可以是各种类型的视频或者音频输出设备,诸如数字通用盘(DVD)播放器、蓝光播放器、游戏设备、摄录一体机,和计算机(例如,笔记本计算机),并且可以是存储设备,诸如通用串行总线(USB)存储器或者USB硬盘。3D图像处理装置100可以显示从外部信号接收器135接收的视频和音频信号,并且可以存储或者使用数据信号。
外部设备也可以是图像捕捉设备90。图像捕捉设备90可以包括多个照相机。图像捕捉设备90可以捕捉人像,并且可以将包含捕捉到的人像的视频帧发送给3D图像处理装置100。
信号处理器140多路分解从解调器210产生的TS信号,处理多路分解的信号,将图像提供给显示器150,并且控制音频输出单元160输出声音161。信号处理器140可以从移动通信单元115、网络接口130和外部信号接收器135接收图像数据、声音数据和广播数据。
信号处理器140可以从控制器190接收指示深度设定值的信号。信号处理器140可以根据接收到的深度设定值重建视频数据的左视点图像数据和右视点图像数据。
在一些实施例中,信号处理器140可以计算包括在视频数据中的对象的位移值,并且可以使用深度设定值修改计算的位移值。另外,信号处理器140可以重建左视点图像数据和右视点图像数据,使得对象的位移值根据修改的位移值来修改。
显示器150显示图像152。图像152可以是由信号处理器140重建的视频数据的显示图像。特别地,视频数据可以是具有调整的深度值的3D视频数据。显示器150可以与控制器190一起操作。显示器150可以显示用于提供在用户和3D图像处理装置100的操作系统(OS)之间,或者正在OS上执行的应用之间易于使用的接口的图形用户界面(GUI)153。
音频输出单元160可以从信号处理器140和控制器190接收音频数据,并且可以输出通过接收到的音频数据的再现产生的声音161。
输入单元170可以是被安排在显示器150上或者在显示器150的前面的触摸屏。触摸屏可以集成到显示器150中,或者可以是单独的元件。当触摸屏被安排在显示器150前面时,用户可以直接地操纵GUI153。例如,用户可以将他的或者她的手指放置在要控制的对象上。
存储单元180通常提供存储由3D图像处理装置100使用的程序代码和数据的位置。存储单元180可以实现为只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器等。程序代码和数据可以存储在可分离的存储介质中,并且必要时,可以加载或者安装到3D图像处理装置100上。可分离的存储介质可以包括CD-ROM、PC卡、存储卡、软盘、磁带和网络组件。
存储单元180可以存储关于眼镜的标记的信息、距离参考表、角度参考表和深度值设定信息参考表。关于眼镜的标记的信息可以包括标记图像数据、标记颜色信息和关于标记的解释性信息。
控制器190执行指令,并且执行与3D图像处理装置100相关的操作。例如,控制器190可以使用在存储单元180中检测的指令控制在3D图像处理装置100的组件之间的输入和输出以及数据的接收和处理。控制器190可以实现为单个芯片、多个芯片或者多个电子组件。例如,包括专用或者嵌入的处理器、单一的目的处理器、控制器、专用集成电路(ASIC)等的各种结构可以用作控制器190。
控制器190与OS一起执行计算机代码,并且产生和使用数据。OS通常是已知的,因此省略对其的详细说明。OS的例子可以包括Windows OS、Unix、Linux、Palm OS、DOS、Android和Mac OS。OS、其他的计算机代码和数据可以存在于存储单元180内,其在控制器190的控制下操作。
控制器190可以识别用户动作,并且可以基于识别的用户动作控制3D图像处理装置100。用户动作可以包括选择3D图像处理装置或者遥控器的物理按钮、执行规定的手势或者在触摸屏显示器上选择软按钮、执行从经由图像捕捉设备捕捉的图像识别的规定的手势,以及生成通过语音识别来识别的规定的声音。外部信号接收器135可以接收对应于经由遥控器的物理按钮选择的用户动作的信号。手势可以包括触摸手势和空间手势。
输入单元170接收手势171,并且控制器190执行用于执行与手势171相关的操作的指令。存储单元180可以包括手势操作程序181,其可以是OS或者附加的应用程序的一部分。手势操作程序181包括用于识别手势171的发生和通知一个或多个软件代理响应于手势171将采取行动的一系列指令。
当用户执行一个或多个手势时,输入单元170将关于手势的信息发送给控制器190。控制器190使用来自存储单元180的指令,尤其是,使用手势操作程序181分析手势171,并且控制3D图像处理装置100的不同组件,诸如,存储单元180、显示器150、音频输出单元160、信号处理器140、网络接口130、输入单元170等。手势171作为用于执行存储在存储单元180中的应用的运动、校正在显示器150上的GUI对象、校正存储在存储单元180中的数据,并且在网络接口130和信号处理器140中执行操作的命令是可区别的。
控制器190可以基于观看距离确定深度设定值。控制器190可以从由图像捕捉设备90捕捉的视频帧中检测眼镜的第一标记和第二标记,并且可以使用在检测到的第一和第二标记之间的距离值计算观看距离。另外,控制器190可以基于检测的第一和第二标记的至少一个的形状计算角度值,并且可以修订基于计算的角度值计算的观看距离。可以将在修订之前的观看距离称作用户距离值,并且可以将修订之后的观看距离称作观看距离。
在一些实施例中,控制器190可以根据确定的深度设定值重建视频数据的左视点图像数据和右视点图像数据。在一些实施例中,控制器190可以控制信号处理器140根据确定的深度设定值重建视频数据的左视点图像数据和右视点图像数据。
图2是图示信号处理器的示范性实施例的配置的框图。
参考图2,信号处理器140可以包括解复用器210、音频解码器220、视频解码器230、定标器260、混合器270和格式器280。
解复用器210可以从移动通信单元115、网络接口130和外部信号接收器135接收流信号,并且可以将接收到的流信号多路分解为视频数据、音频数据和信息数据,以分别地将多路分解的视频数据、音频数据和信息数据提供给视频解码器230、音频解码器220和控制器190。
音频解码器220可以从解复用器210接收音频数据,并且可以恢复接收到的音频数据以将恢复的音频数据提供给定标器260或者音频输出单元160。
视频解码器230从解复用器210接收视频数据,并且恢复接收到的视频数据以将恢复的视频数据提供给图像处理单元240。视频数据可以包括3D视频数据。视频解码器230和图像处理单元240可以构成单个模块。当控制器190充当图像处理单元240时,视频解码器230可以将恢复的视频数据提供给控制器190。
图像处理单元240可以根据该深度设定值重建包括在恢复的视频数据中的左视点图像数据和右视点图像数据。图像处理单元240可以包括位移计算器245、位移修改器250和视频重建单元255。
位移计算器245计算包括在视频数据中的对象的位移值。
位移修改器250使用深度设定值修改由位移计算器245计算的位移值。位移修改器可以根据深度设定值和计算的位移值计算修改的位移值。
视频重建单元255可以重建视频数据的左视点图像数据和右视点图像数据,使得根据由位移修改器250修改的位移值来修改对象的位移值。
定标器260将由视频解码器230、图像处理单元240和控制器190处理的视频数据和由音频解码器220处理的音频数据定标为具有恰当幅值的信号,以经由显示器150或者扬声器(未示出)输出视频和音频数据。更具体地说,定标器260接收3D图像,并且定标3D图像以便适合于显示器150的分辨率或者规定的高宽比。显示器150可以根据产品规格适配为输出具有预定分辨率的图像,例如,720×480格式、1024×768格式等。以这种方法,定标器260可以将具有各种分辨率的3D图像的分辨率转换为相应显示器的分辨率。
混合器270将定标器260和控制器190的输出混合。
格式器280将转换以获得3D图像的视频数据提供给显示器150。当使用图案相位差(patterned retarder)类型的3D视频显示方法时,格式器280可以采样接收到的3D视频帧以提供其中左视点图像数据和右视点图像数据被水平地或者垂直地交替的视频帧,并且可以输出采样的视频帧。
当3D视频显示方法是快门眼镜型时,格式器280可以为将被输出的3D图像信号产生同步信号,并且可以将同步信号传送给眼镜201。格式器280可以包括用于同步信号的传输的红外输出单元(未示出)。同步信号是使响应于3D图像信号的左视点图像或者右视点图像的显示时间与快门眼镜201的左眼镜片或者右眼镜片的开启/闭合时间同步的信号。
图3是图示眼镜的标记的例子的示意图。
参考图3,眼镜的标记可以是标记310、标记320和标记330中的任何一个。眼镜的标记不局限于在图3中图示的例子,并且包括在捕捉的视频帧中的眼镜的对象上的可见标记可适用本发明的眼镜标记。眼镜的标记可以使用发光二极管(LED)灯、发光材料和荧光材料中的至少一个形成。因而,根据本发明的3D图像处理装置100可以精确地跟踪用户的位置,甚至在黑暗的环境下,并且可以依照跟踪的用户位置显示具有最佳深度值的3D图像。
图4是图示提供有标记的眼镜的示范性实施例的示意图。
参考图4,可以在眼镜400上显示眼镜的标记。可以在眼镜400上显示具有相同形状的二个标记或者具有不同形状的二个标记。
在一个例子中,作为眼镜的标记,标记410和标记420可以显示在眼镜400上。标记410位于眼镜400的右眼镜片的边缘上,并且标记420位于眼镜400的左眼镜片的边缘上。
在一些实施例中,控制器190可以从由图像捕捉设备90捕捉的视频帧中检测眼镜400,并且可以从检测的眼镜400中检测标记410和标记420。
图5是示意地图示从捕捉的视频帧中提取的眼镜的标记之间的距离的示意图。
参考图5,控制器190可以从捕捉的视频帧500中检测第一标记510和第二标记520。控制器190可以基于包括在视频帧500中的标记颜色信息识别第一标记510和第二标记520。
控制器190可以计算在第一标记510和第二标记520之间的距离值530。距离值530可以由在第一标记510和第二标记520之间的像素的数目表示,或者可以由度量长度表示。
控制器190还可以基于距离值530计算用户距离值。在一些实施例中,控制器190可以相对于在标记之间的距离值x通过以下的公式1计算用户距离值y。
公式1
y=a+b(c-x)
这里“a”表示参考距离,“c”表示基于参考距离指示距离值的常数,和“b”表示指示用户距离值的变化与距离值530的变化比的常数。这些常数“a”、“b”和“c”可以由制造商确定。
图6是图示距离参考表的示范性实施例的表。
参考图6,控制器190可以使用距离参考表相对于距离值530计算用户距离值。控制器190可以检测在距离参考表600中与距离值530有关的用户距离值。例如,当距离值530是100像素时,控制器190可以检测在距离参考表600中映射到100像素的用户距离值为2.2m。此外,当距离值530是150像素时,控制器190可以检测在距离参考表600中映射到150像素的用户距离值为2.0m。
当在距离参考表600中不存在与距离值530相同的距离值时,控制器190可以检测与接近于距离值530的距离值有关的用户距离值,并且然后可以使用检测到的距离值计算相对于距离值530的用户距离值。当在距离参考表600中不存在距离值530时,控制器190可以通过以下的公式2计算相对于距离值x的用户距离值y。
公式2
y=y_high+(y_low-y_high)*(x-x_low)/(x_high-x_low)
这里“x_low”表示在距离参考表600中存在其中值小于“x”的距离值,“x_high”表示在距离参考表600中存在其中值大于“x”的距离值,“y_high”表示相对于“x_high”的用户距离值,并且“y_low”表示相对于“x_low”的用户距离值。在一个例子中,当距离值530是125像素时,控制器190可以将“x_low”设定为100像素,并且将“x_high”设定为150像素,并且可以检测2.0m的“y_high”和2.2m的“y_low”。最后,控制器190可以计算2.1m的用户距离值。
图7是图示从捕捉的视频帧中提取的眼镜的标记的形状的示意图。
参考图7,控制器190可以在捕捉的视频帧700中检测单个标记710。控制器190可以使用标记710的颜色的信息识别标记710。标记710的颜色的信息可以预先地存储在存储单元180中。
控制器190可以计算标记710的水平长度711。水平长度711可以由像素的数目表示,或者可以由度量长度表示。控制器190可以基于水平长度711计算角度值。
控制器190也可以计算标记710的垂直长度712。垂直长度712可以由像素的数目表示,或者可以由度量长度表示。控制器190可以基于水平长度711和垂直长度712两者计算角度值。
图8是图示角度参考表的示范性实施例的表。
参考图8,控制器190可以使用角度参考表800基于水平长度711计算角度值。控制器190可以在角度参考表800中检测与水平长度711有关的角度值。在一个例子中,当水平长度711是10像素时,控制器190可以在角度参考表800中检测映射到10像素的角度值为60°。此外,当水平长度711是15像素时,控制器190可以在角度参考表800中检测映射到15像素的角度值为50°。
当在角度参考表800中不存在水平长度711的时候,控制器190可以检测与接近于水平长度711的水平长度有关的角度值,并且可以使用检测到的水平长度计算相对于水平长度711的角度值。在一个实施例中,当在距离参考表800中不存在水平长度711时,控制器190可以通过以下的公式3计算相对于水平长度x的角度值y。
公式3
y=y_h igh+(y_low-y_high)*(x-x_low)/(x_high-x_low)
这里“x_low”表示在角度参考表800中存在其中值小于“x”的水平长度,“x_high”表示在角度参考表800中存在其中值大于“x”的水平长度,“y_high”表示相对于“x_high”的角度值,并且“y_low”表示相对于“x_low”的角度值。在一个例子中,当水平长度711是12.5像素时,控制器190可以将“x_low”设定为10像素,并且将“x_high”设定为15像素,并且可以检测50°的“y_high”和60°的“y_low”。最后,控制器190可以计算55°的角度值。
控制器190可以计算与角度值有关的位置角度系数。在示范性计算方法中,控制器190可以使用角度参考表800计算位置角度系数。例如,当该计算的角度值是50°的时候,控制器190计算2.0的位置角度系数。
控制器190可以使用角度参考表800计算与水平长度711有关的位置角度系数。例如,当水平长度711是10像素时,控制器190可以计算2.2的位置角度系数。当在角度参考表800中不存在与计算的水平长度711有关的位置角度系数的时候,控制器190可以通过以下的公式4计算相对于水平长度711的位置角度系数。
公式4
y=y_high+(y_low-y_high)*(x-x_low)/(x_high-x_low)
这里“x_low”表示在角度参考表800中存在其中值小于“x”的水平长度,“x_high”表示在角度参考表800中存在其中值大于“x”的水平长度,“y_high”表示相对于“x_high”的位置角度系数,并且“y_low”表示相对于“x_low”的位置角度系数。在一个例子中,当该比率是12.5像素时,控制器190可以将“x_low”设定为10像素,并且将“x_high”设定为15像素,并且可以检测2.0的“y_high”和2.2的“y_low”。最后,控制器190可以计算2.1的位置角度系数。
图9是图示角度参考表的另一示范性实施例的表。
参考图9,控制器190可以使用角度参考表900计算相对于一个比率的角度值。该比率可以是水平长度711与垂直长度712的比率。即,该比率可以通过以下的公式5计算。
公式5
Y=H/V
这里“H”是水平长度711,“V”是垂直长度712,并且“Y”是比率。
控制器190可以在角度参考表900中检测与计算的比率有关的角度值。在一个例子中,当比率是0.5时,控制器190可以在角度参考表900中检测映射到0.5的角度值为60°。此外,当比率是0.64时,控制器190可以在角度参考表900中检测映射到0.64的角度值为50°。
另外,控制器190可以使用角度参考表900计算位置角度系数。在一个例子中,当计算的角度值是50°时,控制器190可以计算2.0的位置角度系数。控制器190可以使用角度参考表900计算与比率有关的位置角度系数。例如,当计算的比率是0.98时,控制器190可以计算1.2的位置角度系数。
控制器190可以基于用户距离值和位置角度系数计算观看距离。在一些实施例中,控制器190可以通过以下的公式6计算观看距离y。
公式6
y=a*b
这里,“a”是位置角度系数,并且“b”是用户距离值。
控制器190可以基于用户距离值和角度值计算观看距离。在一些实施例中,控制器190可以通过以下的公式7计算观看距离y。
公式7
y=a*cosθ
这里“a”是用户距离值,并且“θ”是角度值。
控制器190可以基于计算的观看距离计算深度设定值。
图10是图示深度值设定参考表的示范性实施例的表。
参考图10,控制器190可以使用深度值设定参考表1000计算适用于计算的观看距离的深度设定值。例如,当计算的观看距离等于参考距离1.4m时,控制器190可以计算深度设定值为零。当计算的观看距离是1m时,控制器190可以计算深度设定值为-2m。当计算的观看距离是2m时,控制器190可以计算深度设定值为3m。
当计算的观看距离是特定的距离或者更少时,控制器190可以计算深度设定值为零。即,当计算的观看距离是特定的距离或者更少时,控制器190不能调整3D图像的深度值。
控制器190可以基于角度值检查用户眼睛的方向是否面向屏幕。当角度值大于预设值时,控制器190可以判定用户眼睛的方向没有面向屏幕。当角度值小于预设值时,控制器190可以判定用户眼睛的方向面向屏幕。
控制器190可以根据用户眼睛的方向的检查结果计算深度设定值为零,并且不能调整3D图像的深度值。特别地,当角度值在70°至90°的范围内时,控制器190可以计算深度设定值为零。此外,当角度值在70°至90°的范围内时,控制器190不能调整3D图像的深度值。
控制器190可以基于计算的深度设定值调整3D图像的深度值。
在一些实施例中,控制器190可以基于用户距离值,而不是观看距离计算深度设定值。即,控制器190可以计算适用于使用深度值设定参考表1000计算的用户距离值的深度设定值。例如,当计算的用户距离值等于1.4m的参考距离时,控制器190可以计算深度设定值为零。当计算的用户距离值是1m时,控制器190可以计算深度设定值为-2。
图11是解释双目视差的示意图。
参考图11,双目视差指的是通过向观看者的眼睛1121和1122显示使用双目镜照相机等捕捉的左视点图像1101和右视点图像1102中的至少一个,用于提供空间感或者3D的3D显示方案。根据在左视点图像1101和右视点图像1102之间的双目视差,深度值可能不同,并且反过来,根据深度值提供给观看者的空间感或者3D可能不同。深度值是从3D显示屏幕表面1130到显示的3D图像1113的距离。
在左视点图像1101和右视点图像1102之间的距离越小,深度值越小。因此,由于应该认识到图像以远离左眼1121和右眼1122的距离形成,提供给观看者的空间感或者3D可能降低。此外,在左视点图像1101和右视点图像1102之间的距离越大,深度值越大。因此,由于应该认识到图像以接近于左眼1121和右眼1122的距离形成,提供给观看者的空间感或者3D可能增强。
图12是图示取决于双目视差的幅值的深度感知的示意图。
参考图12,当观看者的眼睛观看远处对象1210的时候,在左眼图像1211(即,在左眼处形成的图像)和右眼图像1212(即,在右眼处形成的图像)之间的距离降低,因此,当观看远处对象1210的时候,双目视差很小。因此,应该理解的是,将3D图像1113的双目视差调整为较小的值使得在遥远处能够看见3D图像1113,并且3D图像1113的深度值被调整为较小值。
当观看者的眼睛观看近处对象1220时,左眼图像1221和右眼图像1222之间的距离间隔增加,因此,当观看近处对象1220时,双目视差很大。即,对象1220的双目视差大于对象1210的双目视差。因此,应该理解的是,将3D图像1113的双目视差调整为较大值以使得3D图像1113能够在近处观看,并且3D图像1113的深度值被调整为较大值。
图13是解释用于调整3D图像的深度值的方法的示范性实施例的示意图。
参考图13,3D图像处理装置100可以通过减小包括在3D图像1300中的对象1310的双目视差来减小3D图像1300的深度值。即,通过将对象1310的双目视差调整为较小值,对象1310可以由观看者在比原始距离更大的距离上观看,这可以减小3D图像1300的深度值。
3D图像处理装置100可以通过增加包括在3D图像1300中的对象1320的双目视差来增加3D图像1300的深度值。即,通过将对象1320的双目视差调整为较大值,对象1320可以由观看者在比原始距离更近的距离上观看,这可以增加3D图像1300的深度值。
图14是图示包括在图像中的对象的坐标的示意图。
参考图14,当3D图像进入矢量图形(其中对象的坐标可以是已知的)的时候,对象的坐标可以由以下的公式8和公式9表示。
公式8
xn={Xn|Xn是第n个对象的右眼图像的x坐标,0≤n≤对象的总数}
公式9
x′n={X′n|X′n是第n个对象的右眼图像的x坐标,0≤n≤对象的总数}
对象距离指的是相对于对象在左眼对象的位置和右眼对象的位置之间的差值,并且可以由以下的公式10表示。左眼对象指的是包括在左视点图像数据中的对象,或者表示该对象的图像的坐标。右眼对象指的是包括在右视点图像数据中的对象,或者表示该对象的图像的坐标。即,相对于对象1411,存在左眼对象1411和右眼对象1412。
公式10
对象1410的对象距离是1,该对象1420的对象距离是2,并且对象1430的对象距离是3。
公式11
对象距离可以由以下的公式12来改变。
公式12
在双目视差中,对象距离可以表示相应对象的深度的感测,并且也可以表示相应的对象的双目视差。因此,当在公式12中变量“a”趋近零时,3D图像的深度值可以降低,当变量“a”是1的时候,3D图像的深度值可以保持,并且当变量“a”大于1的时候,3D图像的深度值可以提高。
公式13
在一些实施例中,3D图像处理装置100可以使用以下的公式14计算变量“a”。
公式14
a=1+0.1b
这里“b”表示深度设定值。例如,当“b”是零时,3D图像的深度值保持不变。
图15是图示在图14中图示的对象的位移变换之后对象的坐标的示意图。
参考图15,当在公式12中“a”是2时,对象1510的对象距离改变为2,对象1520的对象距离从2改变为4,并且对象1530的对象距离从3改变为6。
图16是图示根据本发明的用于处理3D图像方法的示范性实施例的流程图。
参考图16,接收器101接收包括左视点图像数据和右视点图像数据的视频数据(S100)。视频数据可以是立体视点视频或者多视点视频。
图像捕捉设备90捕捉用户的图像(S105)。
控制器190从由图像捕捉设备90捕捉的视频帧中检测眼镜的第一标记和第二标记(S110)。第一标记和第二标记可以是在图3中图示的标记310、320和330,并且眼镜可以是在图4中图示的眼镜400。
控制器190基于第一标记和第二标记的至少一个计算角度值(S115)。控制器190可以使用在图8中图示的角度参考表800和在图9中图示的角度参考表900计算角度值。
控制器190基于该角度值检查佩戴眼镜的用户眼睛的方向是否面向屏幕(S120)。当角度值是70°或更大的时候,控制器190可以判定用户眼睛的方向没有面向屏幕。当角度值小于70°的时候,控制器190可以判定用户眼睛的方向面向屏幕。
当用户眼睛的方向面向屏幕的时候,控制器190计算在检测到的第一和第二标记之间的距离值(S125)。该距离值可以是用户距离值或者可以是观看距离。控制器190可以使用在图6中图示的距离参考表600计算用户距离值,并且可以使用公式6计算观看距离。
控制器190基于计算的距离值计算深度设定值(S130)。控制器190可以使用在图10中图示的深度值设定参考表1000计算深度设定值。另外,控制器190可以基于计算的观看距离与参考观看距离的比率来计算深度设定值。当计算的观看距离小于参考观看距离的时候,控制器190可以将深度设定值设定为负值。当计算的观看距离等于参考观看距离的时候,控制器190可以将深度设定值设定为零。当计算的观看距离大于参考观看距离的时候,控制器190可以将深度设定值设定为正值。参考距离可以是在制造时确定的值,或者可以是由接收器101接收的值。参考距离可以包括在3D视频数据中。
控制器190基于计算的深度设定值调整3D图像的深度值(S135)。位移计算器245可以计算接收到的3D视频数据的对象距离。在这种情况下,位移计算器245可以使用公式10计算对象距离。位移修改器250可以基于深度设定值使用公式14计算值“a”。位移修改器250可以基于计算的值“a”使用公式12计算改变的对象距离。视频重建单元255可以重建接收到的3D视频数据的左视点图像数据和右视点图像数据,使得该对象的距离根据计算的对象距离改变。
显示器150显示3D图像(S140)。显示的3D图像可以是具有调整的深度值的3D图像,并且可以是无需调整接收到的深度值直接显示的3D图像。
图17是图示捕捉其中用户佩戴3D眼镜的图像的视频帧的示范性实施例的示意图。
参考图17,控制器190可以在捕捉的视频帧1700中检测3D眼镜1710的标记1713和1715。控制器190可以使用在视频帧1700中的标记颜色信息识别第一标记1713和第二标记1715。3D眼镜1710可以是快门眼镜或者偏振眼镜,并且可以是在图4中图示的眼镜400。3D眼镜的标记1713和1715可以是在图3中图示的标记310、320和330。在一些实施例中,可以在3D眼镜1710上显示第一标记1713和第二标记1715中的一个,并且控制器190可以在3D眼镜1710上检测一个标记。
控制器190可以检测用户1701的面向区域,并且可以检查标记1713和1715是否位于检测的面向区域中。当标记1713和1715位于面向区域中的时候,控制器190可以判断用户1701佩戴3D眼镜1710。
控制器190可以检测用户1701的面向区域,并且可以检测来自检测的面向区域的眼睛图像1723和1725。控制器190可以检查检测到的眼睛图像1723和1725是否位于3D眼镜1710的左眼镜片和右眼镜片上。当眼睛图像1723和1725位于左眼和右眼镜片上的时候,控制器190可以判断用户1701佩戴3D眼镜1710。可替选地,控制器190可以检查在标记1713和1715以及检测到的眼睛图像1723和1725之间的距离。当检查的距离小于预定距离的时候,控制器190可以判断用户1701佩戴3D眼镜1710。该预定的距离可以是在左眼和右眼之间的距离。
图18是图示通知识别3D眼镜的消息的示范性实施例的示意图。
参考图18,控制器190可以控制通知识别3D眼镜的消息1800的显示。当在捕捉的视频帧1700中检测到标记1713和1715的时候,可以显示消息1800,并且当识别到用户1701佩戴3D眼镜1710的时候可以显示消息1800。当预定时间已经过去的时候,可以自动地停止消息1800的显示。
在一些实施例中,控制器190可以从视频帧1700中检测眼镜,并且可以检查检测到的眼镜是否具有预定的眼镜形状。当其基于检查的结果检查检测到的眼镜具有预定的眼镜形状的时候,控制器190可以控制消息1800的显示。在一个例子中,预定的眼镜形状可以是在图4中图示的眼镜400。
当在捕捉到的视频帧1700中检测到标记1713和1715的时候,控制器190可以控制切换到3D视频模式,并且当其识别到用户1701佩戴3D眼镜1710的时候,也可以控制切换到3D视频模式。3D视频模式可以是显示3D图像的视频模式,并且可以包括在接收2D图像时显示3D图像的第一3D视频模式,和在接收3D图像时显示3D图像的第二3D视频模式。在2D视频模式中,显示2D图像。
在一些实施例中,当在视频帧700中检测到的眼镜具有预定的眼镜形状的时候,控制器190可以控制切换到3D视频模式。
图19是图示示范的询问是否执行切换到3D视频模式消息的实施例的示意图。
参考图19,控制器190可以控制询问是否执行切换到3D视频模式的消息1900的显示。当在捕捉的视频帧1700中检测到标记1713和1715的时候,可以显示消息1900,并且当识别到用户1701佩戴3D眼镜1710的时候可以显示消息1900。
消息1900可以包括选择切换到3D视频模式的按钮1910,和选择保持当前的视频模式的按钮1920。当检测到按下按钮1910的用户动作的时候,控制器190响应于检测到的用户动作控制切换到3D视频模式。当检测到按下按钮1920的用户动作的时候,控制器190响应于检测到的用户动作控制保持当前的视频模式。
图20是图示根据本发明用于切换3D图像处理装置的视频模式的方法的示范性实施例的实现过程的流程图。
参考图20,感测单元可以感测3D图像处理装置100的周围环境(S200)。由感测单元感测的信息可以包括捕捉的图像、从3D眼镜发送的信号和从3D眼镜发出的光束。感测单元可以包括图像捕捉设备90、外部信号接收器135和输入单元170。图像捕捉设备90可以捕捉3D图像处理装置100的周围环境的图像,并且可以将捕捉到的图像提供给外部信号接收器135。外部信号接收器135可以将从图像捕捉设备90输出的图像提供给控制器190。外部信号接收器135可以接收从3D眼镜发送的信号,并且可以将接收到的信号发送给控制器190。
控制器190使用感测的信息生成关于用户的观看意向的观看意向信息(S210)。控制器190可以生成指示3D视频观看的观看意向信息,并且可以生成指示2D视频观看的观看意向信息。在一些实施例中,观看意向信息可以由标志表示。当标志具有值‘1’的时候,观看意向信息表示3D视频观看。当标志具有值‘0’的时候,观看意向信息表示2D视频观看。
操作S210可以包括图21的实现过程。
控制器190检查生成的观看意向信息是否指示3D视频观看(S220)。
当生成的观看意向信息指示3D视频观看的时候,控制器190控制切换到3D视频模式(S230)。在操作S230中,控制器190可以控制图18的消息1800或者图19的消息1900的显示。当显示图19的消息1900的时候,当检测到按下按钮1910的用户动作的时候,控制器190可以控制切换到3D视频模式,并且当检测到按下按钮1920的用户动作的时候,可以控制保持当前的视频模式。
操作S230可以包括图22的实现过程。
3D图像处理装置100以3D视频模式显示图像(S240)。操作S240可以包括在图16中图示的3D图像处理方法的实现过程。
当生成的观看意向信息没有指示3D视频观看的时候,3D图像处理装置100以2D视频模式显示图像(S250)。
图21是图示用于生成观看意向信息的方法的示范性实施例的实现过程的流程图。
参考图21,控制器190使用由图像捕捉设备90捕捉的视频帧检查在周围环境中是否检测到3D眼镜的标记(S300)。视频帧可以是图17的视频帧1700,并且可以包括3D眼镜的标记1713和标记1715中的至少一个。3D眼镜可以是眼镜1710。当在视频帧1700中检测到标记1713和1715的时候,控制器190可以识别在3D图像处理装置的周围环境中检测到3D眼镜的标记。
当检测到3D眼镜的标记的时候,控制器190检查用户是否佩戴3D眼镜(S310)。控制器190可以从由图像捕捉设备90捕捉的视频帧中检测用户的面向区域,可以检查3D眼镜的标记是否位于检测到的面向区域中,并且当3D眼镜的标记位于面向区域中的时候,可以识别到用户佩戴3D眼镜。
控制器190可以从由图像捕捉设备90捕捉到的视频帧中检测用户的面向区域,并且可以在检测到的面向区域中检测眼睛图像。控制器190可以检查检测到的眼睛图像是否位于左眼镜片和右眼镜片的任何一个上,并且当眼睛图像位于左眼镜片和右眼镜片的任何一个上的时候,可以识别到用户佩戴3D眼镜。可替选地,控制器190可以检查在检测到的眼睛图像和标记之间的距离,并且当检查的距离小于预定距离的时候,可以判断用户佩戴3D眼镜。预定的距离可以是在左眼和右眼之间的距离。
当用户佩戴3D眼镜的时候,控制器190生成观看意向信息,其指示观看3D视频观看(S320)。
当用户没有佩戴3D眼镜的时候,该控制器190生成观看意向信息,其指示2D视频观看(S330)。
在一些实施例中,当在图21的操作S300中检测到3D眼镜的标记的时候,该方法可以继续进行到操作S320。当在图21的操作S300中检测到3D眼镜的标记的时候,图20的操作S210可以包括操作S320的实现过程。
图22是图示用于切换到3D视频模式的方法的示范性实施例的实现过程的流程图。
参考图22,控制器190检查是否存在对应于显示的图像的3D图像(S400)。该显示的图像可以是2D图像,或者3D图像可以以2D视频模式显示。当显示的图像是2D图像的时候,对应于显示的图像的3D图像可以是与2D图像一起接收的3D图像,并且可以是包括2D图像和将2D图像显示为3D图像的信息的视频数据。当显示的图像是以2D视频模式显示的3D图像的时候,对应于显示的图像的3D图像可以是以2D视频模式显示的3D图像。
当不存在相应的3D图像的时候,控制器190控制切换到第一3D视频模式(S410)。
当存在相应的3D图像的时候,控制器190控制切换到第二3D视频模式(S420)。
图23是图示根据本发明用于切换3D图像处理装置的视频模式的方法的另一示范性实施例的实现过程的流程图。
参考图23,3D图像处理装置100以2D视频模式显示图像(S500)。在完成引导之后,或者当2D视频模式作为默认选择或者由用户选择的时候,操作S500可以继续进行。
感测单元感测3D图像处理装置100的周围环境(S505)。由感测单元感测的信息可以包括捕捉的图像、从3D眼镜发送的信号和从3D眼镜发出的光束。感测单元可以包括图像捕捉设备90、外部信号接收器135和输入单元170。图像捕捉设备90可以捕捉3D图像处理装置100的周围环境的图像,并且可以将捕捉的图像提供给外部信号接收器135。外部信号接收器135可以将从图像捕捉设备90输出的图像提供给控制器190。外部信号接收器135可以接收从3D眼镜发送的信号,并且可以将接收到的信号发送给控制器190。
控制器190使用感测的信息生成关于用户的观看意向的观看意向信息(S510)。控制器190可以生成指示3D视频观看的观看意向信息,并且可以生成指示2D视频观看的观看意向信息。在一些实施例中,观看意向信息可以由标志表示。当该标志具有值‘1’的时候,观看意向信息表示3D视频观看。当该标志具有值‘0’的时候,观看意向信息指示2D视频观看。
操作S510可以包括图21的实现过程。
控制器190检查生成的观看意向信息是否指示3D视频观看(S515)。
当生成的观看意向信息指示3D视频观看的时候,控制器190控制切换到3D视频模式(S520)。在操作S520中,控制器190可以控制图18的消息1800或者图19的消息1900的显示。当显示图19的消息1900的时候,当检测到按下按钮1910的用户动作的时候,控制器190可以控制切换到3D视频模式,并且当检测到按下按钮1920的用户动作的时候,可以控制保持当前的视频模式。
操作S520可以包括图22的实现过程。
3D图像处理装置100以3D视频模式显示图像(S525)。操作S525可以包括在图16中图示的3D图像处理方法的实现过程。
感测单元感测3D图像处理装置100的周围环境(S530)。
控制器190使用感测的信息生成关于用户的观看意向的观看意向信息(S535)。
控制器190检查生成的观看意向信息是否指示2D视频观看(S540)。
当生成的观看意向信息指示2D视频观看的时候,控制器190控制切换到2D视频模式(S545)。
3D图像处理装置100以2D视频模式显示图像(S550)。
图24是图示根据本发明用于切换3D图像处理装置的视频模式的方法的再一示范性实施例的实现过程的流程图。
参考图24,3D图像处理装置100以2D视频模式显示图像(S600)。在完成引导之后,或者当2D视频模式作为默认选择或者由用户选择的时候,操作S600可以继续进行。
图像捕捉设备90捕捉3D图像处理装置100的周围环境的图像(S605)。图像捕捉设备90可以捕捉3D图像处理装置100的周围环境的图像,并且可以将捕捉到的图像提供给外部信号接收器135。外部信号接收器135可以将从图像捕捉设备90输出的图像提供给控制器190。
控制器190在由图像捕捉设备90捕捉到的视频帧中检测眼镜(S610)。
在一些实施例中,在操作S610中,控制器190可以检查检测到的眼镜是否具有预定的眼镜形状。在一个例子中,预定的眼镜形状可以是在图4中图示的眼镜400的形状。
在一些实施例中,在操作S610中,控制器190可以检查检测到的眼镜是否包括预定的标记。在一个例子中,预定的标记可以是在图3中图示的标记310、标记320和标记330。
在一些实施例中,操作S610可以包括图21的实现过程。
控制器190检查检测的结果是否指示3D视频观看(S615)。检测的结果可以包括检查检测到的眼镜的形状是否具有预定的眼镜形状的结果,并且还可以包括检查检测到的眼镜是否包括预定的标记的结果。当检测到的眼镜具有预定的眼镜形状的时候,检测的结果可以分析为指示3D视频观看。当检测到的眼镜包括预定的标记的时候,检测的结果可以分析为指示3D视频观看。
检测的结果可以包括图21的观看意向信息。
当检测的结果指示3D视频观看的时候,控制器190控制切换到3D视频模式(S620)。在操作S620中,控制器190可以控制图18的消息1800或者图19的消息1900的显示。当显示图19的消息1900的时候,响应于检测到的按下按钮1910的用户动作,控制器190可以控制切换到3D视频模式,并且响应于检测到的按下按钮1920的用户动作,可以控制保持当前的视频模式。
操作S620可以包括图22的实现过程。
3D图像处理装置100以3D视频模式显示图像(S625)。操作S625可以包括在图16中图示的3D图像处理方法的实现过程。
图像捕捉设备90捕捉3D图像处理装置100的周围环境的图像(S630)。
控制器190从由图像捕捉设备90捕捉的视频帧中检测眼镜(S635)。
控制器190检查检测的结果是否指示2D视频观看(S640)。
当检测的结果指示2D视频观看的时候,控制器190控制切换到2D视频观看(S645)。
3D图像处理装置100以2D视频模式显示图像(S650)。
本发明可以作为可以在计算机可读的记录介质上编写的代码实现,并且因此可以由计算机读取。计算机可读的记录介质包括数据以计算机可读的方式存储的所有类型的记录设备。计算机可读的记录介质的例子包括ROM、RAM、CD-ROM、磁带、软盘、光数据存储器和载波(例如,经由因特网的数据传输)。计算机可读的记录介质可以被分布在经由网络连接的多个计算机设备上,使得计算机可读的代码可以被写入于此,并且以分散的方式从其中执行。
如从以上的描述中显而易见的,根据本发明,由于用户观看意向是使用通过感测3D图像处理装置的周围环境获得的信息识别的,视频模式可以基于用户观看意向切换,这允许用户在不需要麻烦的调整视频模式的情况下方便地观看3D图像。另外,作为以符合用户情形的适当的视频模式显示图像的结果,可以提高用户的观看满意度,并且此外可以提高用户的便利。
另外,使用在眼镜上形成的标记检测观看距离使得能够精确地检测用户的观看距离。通过遵照检测到的观看距离适当地调整3D图像的深度值,有可能为用户提供方便的3D视频观看。
对于那些本领域技术人员来说显而易见,在不脱离本发明的精神或者范围的情况下,可以在本发明中进行各种修改和变化。因此,本发明意欲覆盖对本发明的改进和变化,只要这些改进和变化落入所附的权利要求和其等效范围之内。
Claims (20)
1.一种用于切换3维(3D)图像处理装置的视频模式的方法,该方法包括:
在捕捉的视频帧中检测眼镜;以及
根据检测的结果,将视频模式切换到显示3D图像的3D视频模式。
2.根据权利要求1所述的方法,其中,所述检测包括检查是否检测的眼镜具有预定的形状,以及
其中,所述检测的结果包括检查的结果。
3.根据权利要求1所述的方法,其中,所述检测包括检查是否检测的眼镜包括预定的标记,以及
其中,所述检测的结果包括检查的结果。
4.根据权利要求3所述的方法,其中,所述标记由发光二极管(LED)灯、发光材料和荧光材料中的至少一个形成。
5.根据权利要求3所述的方法,其中,所述检查包括:
在检测的眼镜中检查第一标记和第二标记;
计算在检查的第一标记和检查的第二标记之间的距离值;
基于计算的距离值来计算深度设定值;以及
基于计算的深度设定值来调整3D图像的深度值。
6.根据权利要求1所述的方法,其中,所述检测包括检查用户是否佩戴检测的眼镜,以及
其中,所述检测的结果包括检查的结果。
7.根据权利要求1所述的方法,其中,所述3D视频模式包括第一3D视频模式和第二3D视频模式,所述第一3D视频模式将接收到的2D图像显示为3D图像,所述第二3D视频模式将接收到的3D图像显示为3D图像。
8.根据权利要求7所述的方法,其中,所述切换到3D视频模式包括:
检查是否存在与显示的图像相对应的3D图像;以及
基于检查的结果来选择所述第一3D视频模式和所述第二3D视频模式中的一个。
9.根据权利要求1所述的方法,进一步包括:
基于检测的结果,将所述视频模式切换到显示2D图像的2D视频模式。
10.一种3维(3D)图像处理装置,包括:
显示器,所述显示器被配置为显示图像;以及
控制器,所述控制器被配置为在捕捉的视频帧中检测眼镜,以及根据检测的结果来控制切换到所述显示器显示3D图像的3D视频模式。
11.一种3维(3D)图像处理方法,包括:
在捕捉的视频帧中检测眼镜的第一标记和第二标记;
计算在检测的第一标记和检测的第二标记之间的距离值;
基于距离值来计算深度设定值;以及
基于计算的深度设定值来调整3D图像的深度值。
12.根据权利要求11所述的方法,其中,所述第一标记和所述第二标记分别位于眼镜的左眼镜片的边缘和右眼镜片的边缘上。
13.根据权利要求11所述的方法,进一步包括:
基于所述第一标记和所述第二标记中的至少一个的形状来计算角度值,
其中,所述计算深度设定值包括基于所述距离值和所述角度值来计算所述深度设定值。
14.根据权利要求13所述的方法,其中,基于所述标记的水平长度以及所述标记的水平长度与垂直长度的比率中的至少一个来计算所述角度值。
15.根据权利要求13所述的方法,进一步包括:
基于所述角度值来检查佩戴眼镜的用户眼睛的方向是否面向屏幕,
其中,基于检查的结果来确定是否执行调整3D图像的深度值。
16.根据权利要求15所述的方法,其中,所述检查眼睛的方向面向屏幕进一步包括检查所述角度值是否是预设的角度或更大。
17.根据权利要求13所述的方法,其中,所述计算深度设定值包括:
使用所述距离值和所述角度值来计算观看距离;以及
基于计算的观看距离来计算所述深度设定值。
18.根据权利要求17所述的方法,其中,基于参考观看距离与计算的观看距离的比率来计算所述深度设定值。
19.根据权利要求11所述的方法,其中,所述距离值是在所述第一标记和所述第二标记之间的像素的数目。
20.一种3维(3D)图像处理装置,包括:
接收器,所述接收器被配置为接收3维(3D)图像;以及
控制器,所述控制器被配置为:在捕捉的视频帧中检测眼镜的第一标记和第二标记,计算在检测的第一标记和检测的第二标记之间的距离值,基于计算的距离值来计算深度设定值,以及基于计算的深度设定值来控制接收到的3D图像的深度值的调整。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110045021A KR20120126897A (ko) | 2011-05-13 | 2011-05-13 | 전자 장치 및 입체영상 처리 방법 |
| KR10-2011-0045021 | 2011-05-13 | ||
| KR1020110082688A KR20130020209A (ko) | 2011-08-19 | 2011-08-19 | 입체영상 처리 장치 및 입체영상 처리 장치의 영상 모드를 전환하기 위한 방법 |
| KR10-2011-0082688 | 2011-08-19 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102780902A true CN102780902A (zh) | 2012-11-14 |
| CN102780902B CN102780902B (zh) | 2014-12-24 |
Family
ID=46320760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210148757.6A Expired - Fee Related CN102780902B (zh) | 2011-05-13 | 2012-05-14 | 处理三维图像的装置和方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20120287235A1 (zh) |
| EP (2) | EP2523464A3 (zh) |
| CN (1) | CN102780902B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104601980A (zh) * | 2014-12-30 | 2015-05-06 | 深圳市亿思达科技集团有限公司 | 基于眼镜追踪的全息显示装置、系统及方法 |
| CN108881892A (zh) * | 2018-05-23 | 2018-11-23 | 北京致臻智造科技有限公司 | 用于桌面式虚拟现实系统的防眩晕方法、系统 |
| CN112684917A (zh) * | 2020-12-25 | 2021-04-20 | 南昌逸勤科技有限公司 | 一种穿戴设备显示方法及装置 |
| CN117596381A (zh) * | 2024-01-18 | 2024-02-23 | 江西科骏实业有限公司 | 显示内容的控制方法、装置、终端设备及计算机存储介质 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012205267A (ja) * | 2011-03-28 | 2012-10-22 | Sony Corp | 表示制御装置、表示制御方法、検出装置、検出方法、プログラム、及び表示システム |
| JP5452537B2 (ja) * | 2011-04-04 | 2014-03-26 | 日立コンシューマエレクトロニクス株式会社 | 映像表示システム及び表示装置 |
| EP2523464A3 (en) * | 2011-05-13 | 2013-01-23 | LG Electronics Inc. | Apparatus and method for processing 3-dimensional image |
| CN102970548B (zh) * | 2012-11-27 | 2015-01-21 | 西安交通大学 | 一种图像深度感知装置 |
| KR20140119999A (ko) * | 2013-04-01 | 2014-10-13 | 한국전자통신연구원 | 깊이값 조정을 통한 입체영상 제공 시스템 및 방법 |
| CN103442244A (zh) * | 2013-08-30 | 2013-12-11 | 北京京东方光电科技有限公司 | 3d眼镜、3d显示系统及3d显示方法 |
| CN103731745A (zh) * | 2013-11-27 | 2014-04-16 | 乐视致新电子科技(天津)有限公司 | 一种字符输出控制方法和装置 |
| CN103648042A (zh) * | 2013-11-27 | 2014-03-19 | 乐视致新电子科技(天津)有限公司 | 一种字符输出控制方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100368867C (zh) * | 2004-09-17 | 2008-02-13 | 精工爱普生株式会社 | 立体图像显示装置 |
| CN101677411A (zh) * | 2008-09-19 | 2010-03-24 | 纬创资通股份有限公司 | 根据数据比对结果播放图像的方法及其相关图像播放系统 |
| CN101931823A (zh) * | 2009-06-24 | 2010-12-29 | 夏普株式会社 | 显示3d图像的方法和设备 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6064354A (en) * | 1998-07-01 | 2000-05-16 | Deluca; Michael Joseph | Stereoscopic user interface method and apparatus |
| JP2005103039A (ja) * | 2003-09-30 | 2005-04-21 | Pentax Corp | 瞳孔距離測定方法および測定器 |
| US8159526B2 (en) * | 2004-09-17 | 2012-04-17 | Seiko Epson Corporation | Stereoscopic image display system |
| JP2010045584A (ja) * | 2008-08-12 | 2010-02-25 | Sony Corp | 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体 |
| EP2322515B1 (en) | 2008-08-29 | 2016-04-20 | JSR Corporation | A process for the preparation of an N-carboxy amino acid anhydride or an amino acid carbamate |
| TWI387340B (zh) * | 2008-09-12 | 2013-02-21 | Wistron Corp | 根據資料比對結果播放影像之方法及其相關影像播放系統 |
| US20100182404A1 (en) * | 2008-12-05 | 2010-07-22 | Panasonic Corporation | Three dimensional video reproduction apparatus, three dimensional video reproduction system, three dimensional video reproduction method, and semiconductor device for three dimensional video reproduction |
| KR101324440B1 (ko) * | 2009-02-11 | 2013-10-31 | 엘지디스플레이 주식회사 | 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치 |
| CN102804786A (zh) * | 2009-06-16 | 2012-11-28 | Lg电子株式会社 | 观看范围通知方法以及用于实现该方法的电视接收器 |
| PL2460361T3 (pl) * | 2009-07-27 | 2020-11-16 | Koninklijke Philips N.V. | Przełączanie pomiędzy wideo 3d a wideo 2d |
| GB2472438A (en) * | 2009-08-06 | 2011-02-09 | Sony Corp | Multi-person 3D display system with several viewers watching different images on a single screen |
| JP2011071898A (ja) * | 2009-09-28 | 2011-04-07 | Panasonic Corp | 立体映像表示装置および立体映像表示方法 |
| KR101660971B1 (ko) * | 2009-11-06 | 2016-09-29 | 엘지디스플레이 주식회사 | 입체 영상표시장치와 그 구동방법 |
| US9414041B2 (en) * | 2009-11-23 | 2016-08-09 | Samsung Electronics Co., Ltd. | Method for changing play mode, method for changing display mode, and display apparatus and 3D image providing system using the same |
| KR101079643B1 (ko) | 2010-01-12 | 2011-11-04 | 이현재 | 신장 기능 강화용 식품 조성물 및 그 제조방법 |
| GB2480999B (en) * | 2010-06-03 | 2012-05-16 | Sony Comp Entertainment Europe | Display apparatus and method |
| EP2523464A3 (en) * | 2011-05-13 | 2013-01-23 | LG Electronics Inc. | Apparatus and method for processing 3-dimensional image |
| GB2498954B (en) * | 2012-01-31 | 2015-04-15 | Samsung Electronics Co Ltd | Detecting an object in an image |
-
2012
- 2012-05-03 EP EP12166628A patent/EP2523464A3/en not_active Withdrawn
- 2012-05-03 EP EP13177713.8A patent/EP2658270A3/en not_active Ceased
- 2012-05-10 US US13/468,315 patent/US20120287235A1/en not_active Abandoned
- 2012-05-14 CN CN201210148757.6A patent/CN102780902B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100368867C (zh) * | 2004-09-17 | 2008-02-13 | 精工爱普生株式会社 | 立体图像显示装置 |
| CN101677411A (zh) * | 2008-09-19 | 2010-03-24 | 纬创资通股份有限公司 | 根据数据比对结果播放图像的方法及其相关图像播放系统 |
| CN101931823A (zh) * | 2009-06-24 | 2010-12-29 | 夏普株式会社 | 显示3d图像的方法和设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104601980A (zh) * | 2014-12-30 | 2015-05-06 | 深圳市亿思达科技集团有限公司 | 基于眼镜追踪的全息显示装置、系统及方法 |
| CN108881892A (zh) * | 2018-05-23 | 2018-11-23 | 北京致臻智造科技有限公司 | 用于桌面式虚拟现实系统的防眩晕方法、系统 |
| CN112684917A (zh) * | 2020-12-25 | 2021-04-20 | 南昌逸勤科技有限公司 | 一种穿戴设备显示方法及装置 |
| CN117596381A (zh) * | 2024-01-18 | 2024-02-23 | 江西科骏实业有限公司 | 显示内容的控制方法、装置、终端设备及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20120287235A1 (en) | 2012-11-15 |
| EP2658270A3 (en) | 2014-02-26 |
| CN102780902B (zh) | 2014-12-24 |
| EP2523464A2 (en) | 2012-11-14 |
| EP2658270A2 (en) | 2013-10-30 |
| EP2523464A3 (en) | 2013-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102780902B (zh) | 处理三维图像的装置和方法 | |
| KR101911250B1 (ko) | 입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법 | |
| CN102447861B (zh) | 按照3d图像来显示图形用户界面的电子设备及方法 | |
| CN103392342B (zh) | 视区调整的方法和装置、能实现立体显示视频信号的设备 | |
| CN107801094A (zh) | 在信宿装置处控制信源装置的方法和使用该方法的设备 | |
| TWI508525B (zh) | 行動終端機及控制該行動終端機操作的方法 | |
| WO2015093315A1 (ja) | 画像処理装置および方法、並びにプログラム | |
| EP3039476B1 (en) | Head mounted display device and method for controlling the same | |
| CN103270759A (zh) | 用于基于反馈的三维视频的零视差平面 | |
| JP2014222874A (ja) | 視覚的関心に基づいた2次元映像の3次元映像変換器および変換方法 | |
| KR20120016408A (ko) | 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 출력 방법 및 그 방법을 채용한 디스플레이 기기 | |
| US20130027396A1 (en) | Device and method for 2d to 3d conversion | |
| KR20130137927A (ko) | 영상표시장치 및 그 동작방법 | |
| KR101888082B1 (ko) | 영상표시장치 및 그 동작방법 | |
| EP3402410B1 (en) | Detection system | |
| US20130009949A1 (en) | Method, system and computer program product for re-convergence of a stereoscopic image | |
| KR101783608B1 (ko) | 전자 장치 및 입체감 조정 방법 | |
| KR20120126897A (ko) | 전자 장치 및 입체영상 처리 방법 | |
| KR101758274B1 (ko) | 입체영상 디스플레이 시스템, 입체영상 디스플레이 방법 및 입체영상 처리 장치 | |
| KR20130020209A (ko) | 입체영상 처리 장치 및 입체영상 처리 장치의 영상 모드를 전환하기 위한 방법 | |
| CN107347165A (zh) | 多路视频显示方法、装置及电子设备 | |
| KR20130124816A (ko) | 전자 장치 및 가상 터치스크린을 제공하는 방법 | |
| KR101343552B1 (ko) | 시청자 위치에 따른 개인화 3차원 영상을 표시하는 영상 표시 장치 및 그 표시 방법 | |
| KR20130010613A (ko) | 2차원 영상을 3차원 영상으로 변환하는 장치 및 방법 | |
| KR101373294B1 (ko) | 깊이 맵을 이용한 3차원 영상 표시 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141224 Termination date: 20170514 |






