CN102037726A - 显示全景视频图像流 - Google Patents

显示全景视频图像流 Download PDF

Info

Publication number
CN102037726A
CN102037726A CN200880129269.2A CN200880129269A CN102037726A CN 102037726 A CN102037726 A CN 102037726A CN 200880129269 A CN200880129269 A CN 200880129269A CN 102037726 A CN102037726 A CN 102037726A
Authority
CN
China
Prior art keywords
video image
image stream
display
layout
management system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880129269.2A
Other languages
English (en)
Inventor
M·戈日恩斯基
M·D·德罗彻尔
B·艾伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN102037726A publication Critical patent/CN102037726A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Studio Devices (AREA)

Abstract

用于以全景显示视频图像流的方法和装置在视频会议方面是有用的。

Description

显示全景视频图像流
相关申请
本申请要求标题为“DISPLAYING PANORAMIC VIDEO IMAGE STREAMS”并且于2008年3月17日提交的第61/037,321号美国临时专利申请的优先权。
背景技术
视频会议是一种在远程定位的参与者之间的模拟的面对面协作的既定方法。将远程环境的视频图像广播到本地显示器上,从而允许本地用户看见一个或者多个远程定位的参与者并且与之交谈。
在面对面协作期间的社交互动是人们工作方式的重要部分。存在着对允许人们在远距离的模拟面对面会晤中具有有效社交互动的需要。这一点的关键方面是在群体成员之间的非言语交流以及即使一些参与者在远程位置并且仅经由视频才可见仍然感觉共同存在于相同位置处。已经开发试图实现这一点的许多系统。然而,关键问题已经妨碍它们成功或者被广泛地使用。
出于上述原因以及出于本领域技术人员在阅读和理解本说明书后将变得显而易见的其它原因,在本领域中需要替代的视频会议方法。
附图说明
图1A-1B是用于各种实施例的中央布局图。
图2A是根据一个实施例的本地环境的表示。
图2B是从图1A的本地环境捕获的门户(portal)的表示。
图3是图2A的本地环境的又一表示。
图4A-4B描绘了根据一个实施例的从两个不同捕获场获得的门户。
图5A-5B描绘了根据一个实施例的图4A-4B的多个门户的相对显示在作为全景视图来呈现时看起来可能会怎样。
图6描绘了根据另一实施例的来自本地环境的图像的替代显示。
图7描绘了根据又一实施例的显示于显示器上的门户。
图8是根据一个实施例的视频会议方法的流程图。
图9是根据一个实施例的视频会议系统的框图。
具体实施方式
在本实施例的下文详细描述中参照附图,这些附图形成该描述的一部分并且在附图中通过示例来示出可以实现的本公开内容的具体实施例。这些实施例被充分详细地描述以使本领域技术人员能够实现本公开内容的主题,并且将理解可以利用其它实施例而且可以进行过程或者机械改变而不脱离本公开内容的范围。下文详细描述因此不应以限制意义来理解,并且本公开内容的范围由所附权利要求及其等效物限定。
各种实施例涉及用于将来自多个会晤位置的图像合成到一个图像显示器上的方法。这些各种实施例提供用于促进如下合成图像的环境规则,所述合成图像针对会晤中的所有各方提升了适当的眼睛凝视感知(gaze awareness)和社交连通性(connectedness)。这些规则使得能够将广泛分布的端点以很少的定制加入到有效的面对面会晤中。
通过表征社交连通性的各方面,各种实施例可以用来自动混合来自不同端点的图像。这引起广泛分布的端点网络中的社交连通性的改进。
通过使用中央布局和本地视图为照相机位置和视点布置建立一致规则而针对所有参加者促进欠佳的不一致目光接触的减少。还使用中央布局和本地视图来促进凝视感知。在屏幕上处于分开位置的人们通过在发言等时注视他们来确认彼此的相对位置。
使用图像捕获规则来使人们和家具的相对尺寸在几何上一致。与媒体流所确立的任意尺寸相反的是,在屏幕上按照本地视图所确立的一致尺寸来表示处于分开位置的人们。
通过使比如眼睛水平、地面水平和工作台水平这样的项目一致来创建空间的沉浸感。为图像之间以及图像与本地环境之间的这些项目之间的一致建立规则。在当前系统中,很少控制这些项目,并且因而图像看起来像是来自不同角度,常常是来自上方。
用于中央布局、本地视图、照相机视图和其它环境因素的规则系统允许来自不同制造商的许多类型的端点互连到一致的多点会晤空间中,该空间对于具有高社交连通性的面对面会晤而言是有效的。
各种实施例有助于根据从不同物理位置捕获的图像创建全景图像,所述捕获的图像在组合时能够创建单个图像以促进单个位置的印象。这通过为图像捕获提供如下规则来实现,所述规则使得能够从多个不同物理位置生成单个全景图。对于一些实施例,无需裁剪或者拼接单独图像以形成全景图。这样的实施例允许仅用缩放和图像帧形状调节将图像简单地平铺到合成全景图中。
经由如下中央布局来限定会晤拓扑,该中央布局示出了就座位置和端点在布局中的相对定向。这一布局可以是如图1A-1B中所示的显式图。图1A示出了在圆圈周围分配相对位置的端点环形布局。在这一中央布局中,端点101的左侧将为端点102、正对面为端点103且右侧为端点104。与中央布局相一致,端点101然后可以从左到右显示来自端点102、103和104的图像。注意这一布局不受各种端点的实际物理位置约束、但是涉及它们在虚拟会晤空间内的相对放置。类似地,端点102然后可以从左到右显示来自端点103、104和101的图像,并且对于其余端点以此类推。
图1B示出了如同就座于会堂中一样分配相对位置的端点会堂布局。在这样的布局中,“教员”端点101可以显示来自所有其余端点102-113的图像,而每个“学员”端点102-113仅可以显示来自端点101的图像,尽管也可以显示附加图像。可以使用模拟参与者位置的物理定向的其它中央布局,并且本公开内容不受任何特定布局限制。
也可以按照元数据或者其它抽象手段来限定中央布局。例如,可以用地点=4、每个地点的座位=6和定向图[A,B,C,D]这些属性来限定布局类型“圆形”,从而表明四个参与者位置将按次序A、B、C、D以环形方式布置,其中最大视图为六个就座宽度。这将允许如这里将描述的图像自动排序和缩放。
中央布局可以包括如下数据结构,所述数据结构限定环境尺度,比如在地点之间的距离、就座宽度、期望图像工作台高度、期望图像前景宽度以及媒体对象如白板和数据显示器的位置。
一般而言,本地环境是其中人们比如通过视听和数据设备及接口来参与社交协作事件或者视频会议的场所。可以按照视频捕获场来描述本地环境。通过建立标准或者已知捕获场,可以在每个参与位置处捕获一致图像从而有助于全景合成图像的自动构造。
对于一些实施例,由中央布局限定用于本地环境的捕获场。例如,中央布局可以限定每个本地环境具有用于在图像中放置六个就座位置的捕获场。可以经由照相机上的摇摄-倾斜-缩放-聚焦控制在物理上或者经由从更大图像进行数字裁剪在数字上实现根据标准捕获场创建视频流。多个场可以从单个本地空间捕获并且用作单独模块。中央布局可以例如通过将具有多个场的本地环境视为单独本地环境来考虑这些本地环境。一个例子将是使用三个照相机的端点,其中调节每个照相机以在它的图像中捕获两个就座位置,因此提供来自单个参与者位置的三个本地环境。
参与会议的每个本地环境将具有它自己的事件视图。对于一些实施例,每个本地环境将具有与它的如在中央布局中限定的定位对应的不同视图。
本地布局是用于建立与这些规则相符的媒体流的显示位置的系统。将使用由图像或者坐标限定的显式门户的例子来描述各种实施例。也可以用其它方式、比如经由矢量图形对象或者在算法上限定门户。
图2A是本地环境205的表示。注意如这里使用的远程环境仅为在与特定参与者不同位置处的本地环境205。本地环境205包括:显示器210,用于显示来自于在与本地环境205的协作中涉及到的远程环境的图像;以及照相机212,用于捕获来自本地环境205的图像以传输到远程环境。对于一个实施例,照相机212被放置于显示器210上方。用于捕获和显示来自本地环境205的视听信息的部件可以视为用于在视频会议中使用的端点。本地环境205还包括参与者工作空间或者工作台220和一个或者多个参与者225。将照相机212的捕获场212示为虚线215。注意捕获场215可以代表照相机212的整个视图。然而,捕获场215可以替换地代表照相机212的视图的裁剪部分。
图2B是从本地环境205捕获的门户230的表示。门户230代表本地环境205上的“窗口”。沿着捕获场215与工作台220相交的线A-A’取得门户230。线A-A’一般垂直于照相机212。门户230具有前景宽度222(代表门户230中所示工作台220的宽度)和前景高度224。对于一个实施例,门户230的纵横比(宽度∶高度)为16∶9,这意味着前景宽度222为前景高度224的16/9倍。
对于一个实施例,工作台220的宽度比线A-A’处的前景宽度222更宽,从而工作台的边缘不出现于门户230中。如这里将更详细描述的那样,门户230还具有图像工作台高度226(代表门户230内的工作台220的高度)和图像假设(presumed)眼睛高度226(代表门户230内的参与者225的假设眼睛高度)。
图3是本地环境205的又一表示,该表示示出了影响远程位置的可查看图像和门户230的环境因素的附加细节。同样,虚线215示出了照相机212的捕获场。显示器210位于地面231上方距离232处且与工作台220的后沿218相距距离236。照相机212可以与显示器210类似地定位,即它也可以与工作台220的后沿218相距距离236。照相机212也可以以某个角度213定位以便在垂直于捕获场215与工作台220的交线的位置处获得具有期望纵横比的门户230。
工作台220在地面231上方具有高度234。将参与者225的假设眼睛高度给定为距地面231的高度238。假设眼睛高度238未必代表参与者的实际眼睛高度而是仅代表在就座于工作台220时可能期望平均参与者的眼睛出现的水平。例如,使用人类工程学数据,可以期望50%的就座体态眼睛高度为47”。假设眼睛高度238的选择并不关键。然而对于一个实施例,假设眼睛高度238在参与视频会议的每个本地环境上是一致的,从而有助于一致地缩放和放置门户以便在本地环境显示。
门户230由诸如照相机212的捕获场215、工作台220的高度234、照相机212的角度213以及从照相机212到捕获场215与工作台220的交线的距离240之类的参数限定。本地环境205的假设眼睛高度238限定了门户230内的图像假设眼睛高度228。换言之,假想参与者的眼睛的就座眼睛高度出现于本地环境的假设眼睛高度238处将造成门户230内的眼睛高度限定图像假设眼睛高度228。
对于一个实施例,从照相机212到工作台220的后沿218的距离236和角度213在协作中所涉及的每个本地环境205上是一致的。在这样的实施例中,随着增加捕获场215以增加门户230的前景宽度222,从照相机212到捕获场215与工作台220的交线的距离240减小,因此造成门户230的图像工作台高度226的增加和图像假设眼睛高度228的降低。
对于更多实施例,通过维持工作台220的高度234和工作台220的后沿218与照相机212的距离236以及照相机212的高度242的一致性,可以使用不同缩放因子在每个本地环境205上产生一致门户230。这有助于在使用相同捕获场产生的每个门户内对准工作台高度和假设眼睛高度,从而允许图像被彼此相邻放置以提供单个工作空间的印象。可替换地或者此外,可以从一组标准捕获场中选择用于每个本地环境205的捕获场215。可以限定标准捕获场以查看设定数目的就座宽度。例如,可以限定第一捕获场以查看两个就座位置,可以限定第二捕获场以查看四个就座位置,可以限定第三捕获场以查看六个就座位置,以此类推。
图4A-4B描绘了从两个不同捕获场获得的门户230。如参照图2B所述,图4A和4B的门户230A和230B分别具有尺度特性、即前景宽度、前景高度、图像工作台高度和图像假设眼睛高度。门户230A具有比门户230B更小的捕获场,因为它的前景宽度足以查看两个就座位置,而用于门户230B的捕获场足以查看四个就座位置。为了获得参与者的几何一致性,因此将有必要按照比门户230B小的放大率显示门户230A。图5A-5B示出了当来自多个远程位置的图像一起呈现时多个门户230A和230B的相对显示看起来可能是什么样。通过为将一起呈现的每个图像限定相同的捕获场,图像工作台高度和图像假设眼睛高度在所得全景图内可以是一致的。将多个门户230合成到单个全景图像中限定参与协作的远程位置的连续参考帧。这一连续参考帧保留了每个远程位置的参与者的缩放比例(scale)。对于一个实施例,它维持结构元素的连续性。例如,工作台表现为形成单个结构,因为所限定的捕获场将工作台的边缘限定为在各门户内出现于相同高度。
当选择参数来限定捕获场以使得缩放的门户在它们的假设眼睛高度(图2B中的228)与工作台高度(图2B中的226)之间(对于随便的观察者而言)具有相似像素尺度时,门户可以被彼此相邻放置并且可以表现为使它们的参与者就座于相同工作空间并且缩放至相同的放大率,因为在门户内的假设眼睛高度和工作台高度二者将对准。另外,可以更改显示的门户230的比例(perspective)以提升周围环境的错觉。图6描绘了三个门户230A-230C,这些门户示出了来自三个本地环境的图像的替代显示,每个本地环境具有用于查看四个就座位置的捕获场。合乎比例地(in perspective)显示外门户230A和230C以表现得好像出现于那些门户中的参与者比出现于门户230B中的参与者更靠近。参照图1A,图5的门户230A-230C的放置可以代表如在端点101所见的显示,其中门户230A代表来自端点102的视频流,门户230B代表来自端点103的视频流,且门户230C代表来自端点104的视频流,由此维持由中央布局限定的分布状况(topography)。端点102和104的合乎比例的视图帮助提升所有参与者就座于一个工作台周围的印象。
如图6中所示,显示的门户230A-230C的全景图像可能不占据视频显示器的整个显示表面640。对于一个实施例,显示表面640可以显示有梯度的颜色以减少反射。这一梯度可以逼近包围显示表面640的表面642的颜色。对于一个实施例,颜色梯度是表面642的颜色的变化的色泽(shade)。例如,当表面642的颜色为黑色时,在全景图像以外的显示表面640可以是灰色到黑色的变化色泽。对于又一实施例,越接近表面642颜色梯度就越暗。为了继续前例,在全景图像以外的显示表面640可以随着从门户230A-230C到表面642而从灰色延伸至黑色。
对于一些实施例,显示门户230以使得它们的图像假设眼睛高度与显示图像的本地环境的假设眼睛高度对准。当他们的假设眼睛高度对准时这可以进一步有助于在远程环境处的参与者与本地环境的参与者就座于相同的空间中的印象。
图7描绘了显示于显示器210上的门户230。显示器210具有由查看宽度250和查看高度252限定的查看区。显示器与地面231相距距离232。如果在显示器210的查看区中显示门户230造成距地面231的显示的假设眼睛高度258小于本地环境的假设眼睛高度238,则门户可以在查看区中上移以增加显示的假设眼睛高度258。注意门户230的部分可能延伸到显示器210的查看区以外,并且因此将不被显示。然而,如果在查看区以外的这一部分不含有任何相关信息,例如在查看区中可查看每个参与者,则该图像信息的丢失可能无关紧要。因此,门户230的底部可以从显示器210的底部上移至与地面231相距距离254以便使显示的门户230内的假设眼睛高度达到与本地环境的假设眼睛高度238相等的水平258。可替换地,门户230的底部可以从显示器210的底部上移至与地面231相距距离254以便使显示的门户230内的显示的工作台高度达到与本地环境的工作台高度234对准的水平256。
对于一些实施例,可能没有可能将门户230的参与者按照他们的全尺寸或者正常尺寸显示。例如,显示器210的查看区可能由于显示器210的尺寸限制和希望显示的参与者的数目而不允许参与者的全尺寸显示。在这样的情形中,折衷可能是恰当的,因为使显示的假设眼睛高度与本地环境的假设眼睛高度对准可能使显示的工作台高度256达到与本地环境的工作台高度234不同的水平,反之亦然。对于其中显示的图像不到全尺寸的一些实施例,门户230可以从显示器的底部上移距离254,该距离将使显示的假设眼睛高度258达到比本地环境的假设眼睛高度238低的水平,因此使显示的工作台高度256达到比本地环境的工作台高度234高的水平。
图8是根据一个实施例的视频会议方法的流程图。在870,为三个或者更多端点限定捕获场。例如,中央布局可以限定捕获场。捕获场对于在视频会议中涉及的每个端点而言相同,即使它们可能具有不同数目的参与者。对于一个实施例,管理系统可以指引每个远程端点使用特定捕获场。远程端点然后将手动或者自动调节它们的照相机以获得它们的指定捕获场。对于这样的实施例,可以从管理系统确定捕获场。当捕获场由管理系统限定时,为了方便可以假设接收的捕获场与限定的捕获场相同,即使它可以不同于它的期望尺度特性。
在872,从两个或者更多远程位置接收视频图像流。所述视频图像流代表远程端点的本地环境的门户。
在874,响应于接收的图像流的数目来缩放视频图像流以产生适配于(fit within)本地端点的显示区内的合成图像。如果接收到非参与者视频图像流,比如白板或者其它数据显示,则可以类似地缩放这些视频图像流或者可以在不考虑其余视频图像流的缩放的情况下对它们进行处理。
在876,以全景显示缩放的视频图像流以在本地环境处查看。通过维持照相机和工作台放置的一致性并且使用单个捕获场,可以彼此相邻地显示缩放的视频图像流以提升所有远程端点的参与者就座于单个工作台的表象。如上文所言,缩放的视频图像流可以定位于显示器的可查看区内以获得与它们显示于其中的本地环境的那些眼睛高度类似的眼睛高度。还可以合乎比例地显示一个或者多个缩放的视频图像流。对于进一步的实施例,按照如下次序显示视频图像流,该次序代表为各种端点的视频会议选择的中央布局。如前文所言,非参与者视频图像流可以与参与者就座的视频图像流一起显示。
图9是根据一个实施例的视频会议系统980的框图。视频会议系统980包括用于参与视频会议的一个或者多个端点101-104。端点101-104与网络984(如电话网、局域网(LAN)、广域网(WAN)或者因特网)通信。对于每个端点101-104而言通信可以是有线和/或无线的。管理系统被配置成执行这里描述的方法。管理系统包括中央管理系统982和客户端管理系统983。每个端点101-104包括它自己的客户端管理系统983。中央管理系统982限定哪些端点正参与视频会议。这可以经由中央计划或者通过处理来自本地端点的请求来实现。中央管理系统982限定用于事件的中央布局和用于参与事件的每个本地端点101-104的本地布局。中央布局可以限定标准捕获场,比如2或者4人视图和附加媒体流的位置等。本地布局代表每个端点为了将流正确定位到本地全景图中所需要的信息的次序和位置。本地布局提供流连接信息,该信息将本地布局中的位置链接到参与事件的远程端点中的图像流生成器。客户端管理系统983使用本地布局以构造本地全景图,如例如参照图6所述的。
客户端管理系统983可以是端点的一部分,比如与每个端点关联的计算机,或者它可以是单独部件,比如服务器计算机。中央管理系统982可以是端点的一部分或者与所有端点分离。
在实践中,中央管理系统982可以联络在给定视频会议中涉及到的每个端点。中央管理系统982可以确定它们的个体能力,比如照相机控制、显示尺寸和其它环境因素。对于使用门户特性的全局控制的实施例,中央管理系统982然后可以限定用于在端点101-104当中使用的单个标准捕获场并且经由向客户端管理系统983传递的本地会晤布局来传达这些。客户端管理系统983使用来自本地会晤布局的信息以使端点101-104的照相机响应于指定的标准捕获场来恰当地对准。然后确保本地的特定捕获场产生与由本地和中央布局限定的标准化流对应的视频图像流。
在限定对视频信息的捕获和显示进行控制的特性后,中央管理系统982可以创建用于每个本地端点的本地会晤布局。客户端管理系统983使用这些本地布局来创建本地全景图,其从每个其余端点接收门户以在它的本地显示器上作为所构造全景图的一部分来查看。对于每个端点,远程门户在全景中被显示为视频会议的连续参考帧。可以在每个端点处维持中央布局的分布状况以提升参与者之间的凝视感知和目光接触。可以在全景图上维持参考帧的其它属性,包括工作台对准、图像比例、假设眼睛高度以及背景颜色和内容。

Claims (25)

1.一种方法,包括:
接收具有限定的捕获场的两个或者更多视频图像流;
响应于接收到的视频图像流的数目来缩放所述图像流;并且
以全景显示缩放的图像流。
2.根据权利要求1所述的方法,还包括限定视频图像流的捕获场。
3.根据权利要求2所述的方法,其中限定视频图像流的捕获场包括限定从由以下项组成的组中选择的一个或者多个参数:照相机高度、照相机的角度、从照相机到参与者工作空间的后沿的距离、从照相机到地面的距离、参与者工作空间的高度、与照相机以及与参与者工作空间垂直定位的门户的前景宽度、门户的纵横比、在门户内的假设眼睛高度、参与者工作空间在门户内的高度和门户的最大缩放。
4.根据权利要求3所述的方法,其中限定视频图像流的捕获场包括限定所述一个或者多个参数以获得在缩放的视频图像流的假设眼睛高度与缩放的视频图像流的参与者工作空间高度之间具有一致像素尺度的缩放视频流。
5.根据权利要求3所述的方法,其中限定与照相机以及与参与者工作空间垂直定位的门户的前景宽度包括限定将在所述门户中查看的就座宽度的数目。
6.根据权利要求5所述的方法,其中响应于接收到的视频图像流的数目来缩放图像流包括减少用于每个视频图像流的像素尺寸以使得接收的视频图像流的全景图小于用于显示视频图像流的视频显示器的像素尺寸。
7.根据权利要求1所述的方法,其中以全景显示缩放的视频图像流包括显示至少一个缩放的视频图像流,所述至少一个缩放的视频图像流定位于显示器内以对准包含所述显示器的本地环境和该缩放的视频图像流的假设眼睛高度和工作台高度中的至少一个。
8.根据权利要求1所述的方法,其中以全景显示缩放的视频图像流包括显示至少一个缩放的视频图像流,所述至少一个缩放的视频图像流定位于显示器内以在包含所述显示器的本地环境的假设眼睛高度与工作台高度之间对准该缩放的视频图像流的假设眼睛高度和工作台高度。
9.根据权利要求1所述的方法,其中以全景显示缩放的视频图像流包括合乎比例地显示一个或者多个缩放的视频图像流。
10.根据权利要求1所述的方法,其中以全景显示缩放的视频图像流包括按照由中央布局限定的次序显示缩放的视频图像流,所述中央布局代表生成所述视频图像流的位置的假设物理定向。
11.根据权利要求1所述的方法,还包括显示一个或者多个附加视频图像流。
12.根据权利要求1所述的方法,还包括对照包含颜色梯度的背景以全景显示视频图像流。
13.根据权利要求12所述的方法,其中所述颜色梯度从缩放的视频图像流的全景显示延伸至包围所述缩放的视频图像流显示于其上的显示器的表面。
14.根据权利要求13所述的方法,其中所述颜色梯度是所述包围表面的颜色的变化色泽,并且其中越接近所述包围表面,颜色梯度越暗。
15.一种用于在具有两个或者更多端点的视频会议系统中使用的端点的客户端管理系统,包括:
第一逻辑,其被配置成接收布局;
第二逻辑,其被配置成从所述布局中限定的一个或者多个远程端点接收视频图像流,其中每个接收的视频图像流对应于所述布局中限定的捕获场;以及
第三逻辑,其被配置成在给定端点处生成具有所述布局中限定的次序、位置和缩放比例的每个接收的视频图像流的全景图。
16.根据权利要求15所述的客户端管理系统,其中所述布局将视频图像流的次序限定为处于代表其余端点相对于给定端点的假设相对定向的次序。
17.根据权利要求15所述的客户端管理系统,其中所述客户端管理系统被配置成缩放视频图像流以在给定端点的显示器的查看区内以全景显示缩放的视频图像流。
18.根据权利要求17所述的客户端管理系统,其中所述客户端管理系统还被配置成将缩放的视频图像流与包含颜色梯度的背景一起显示。
19.根据权利要求15所述的客户端管理系统,其中所述客户端管理系统还被配置成缩放视频图像流以在给定端点的显示器的查看区内合乎比例地显示一个或者多个缩放的视频图像流。
20.根据权利要求15所述的客户端管理系统,其中所述客户端管理系统与中央管理系统通信以便接收所述布局,并且其中所述中央管理系统是所述给定端点的一部分。
21.一种使用本地端点的客户端管理系统来处理来自视频会议系统中的两个或者更多远程端点的视频图像流的方法,包括:
接收供所述本地端点使用的布局;
接收来自所述布局中限定的两个或者更多远程端点并且与所述布局中限定的捕获场对应的视频图像流;并且
为每个远程端点生成视频图像流的本地全景图,所述视频图像流均具有在所述布局中限定的次序、位置和缩放比例。
22.根据权利要求21所述的方法,其中所述布局将视频图像流的次序限定为处于代表远程端点相对于本地端点的假设相对定向的次序。
23.根据权利要求21所述的方法,还包括缩放视频图像流以在本地端点的显示器的查看区内以全景显示缩放的视频图像流。
24.根据权利要求23所述的方法,还包括将所述缩放的视频图像流与包含颜色梯度的背景一起显示。
25.根据权利要求21所述的方法,还包括缩放视频图像流以在本地端点的显示器的查看区内合乎比例地显示一个或者多个缩放的视频图像流。
CN200880129269.2A 2008-03-17 2008-03-24 显示全景视频图像流 Pending CN102037726A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US3732108P 2008-03-17 2008-03-17
US61/037321 2008-03-17
PCT/US2008/058006 WO2009117005A1 (en) 2008-03-17 2008-03-24 Displaying panoramic video image streams

Publications (1)

Publication Number Publication Date
CN102037726A true CN102037726A (zh) 2011-04-27

Family

ID=41091184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880129269.2A Pending CN102037726A (zh) 2008-03-17 2008-03-24 显示全景视频图像流

Country Status (7)

Country Link
US (2) US20110007127A1 (zh)
EP (1) EP2255530A4 (zh)
JP (1) JP2011526089A (zh)
KR (1) KR20100126812A (zh)
CN (1) CN102037726A (zh)
BR (1) BRPI0821283A2 (zh)
WO (1) WO2009117005A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102420968A (zh) * 2011-12-15 2012-04-18 广东威创视讯科技股份有限公司 视频会议中显示视频窗口的方法及系统
CN102790872A (zh) * 2011-05-20 2012-11-21 中兴通讯股份有限公司 一种视频会议的实现方法及系统
WO2013067898A1 (zh) * 2011-11-08 2013-05-16 华为技术有限公司 传输信息的方法和终端
CN104902217A (zh) * 2014-03-05 2015-09-09 中兴通讯股份有限公司 一种在网真会议系统中显示布局的方法及装置
CN105611206A (zh) * 2014-11-19 2016-05-25 精工爱普生株式会社 信息处理装置、信息处理系统和信息处理方法
CN105979242A (zh) * 2015-11-23 2016-09-28 乐视网信息技术(北京)股份有限公司 一种视频的播放方法和装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011091604A1 (zh) 2010-01-29 2011-08-04 华为终端有限公司 视频通信的方法、装置和系统
US9098611B2 (en) * 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
US20130321564A1 (en) 2012-05-31 2013-12-05 Microsoft Corporation Perspective-correct communication window with motion parallax
US8976224B2 (en) * 2012-10-10 2015-03-10 Microsoft Technology Licensing, Llc Controlled three-dimensional communication endpoint
US9742995B2 (en) 2014-03-21 2017-08-22 Microsoft Technology Licensing, Llc Receiver-controlled panoramic view video share
JPWO2017098999A1 (ja) * 2015-12-07 2018-11-01 セイコーエプソン株式会社 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、コンピュータープログラム
US10122969B1 (en) * 2017-12-07 2018-11-06 Microsoft Technology Licensing, Llc Video capture systems and methods
US10706556B2 (en) 2018-05-09 2020-07-07 Microsoft Technology Licensing, Llc Skeleton-based supplementation for foreground image segmentation
US11961216B2 (en) * 2019-04-17 2024-04-16 Shutterfly, Llc Photography session assistant
US10839502B2 (en) 2019-04-17 2020-11-17 Shutterfly, Llc Photography session assistant
US12568190B2 (en) * 2023-12-12 2026-03-03 Dell Products L.P. Trusted conference system with user context detection

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07135646A (ja) * 1993-11-11 1995-05-23 Nec Eng Ltd テレビ会議システム
JPH07236128A (ja) * 1994-02-25 1995-09-05 Sharp Corp 多地点会議制御装置
JPH10271477A (ja) * 1997-03-21 1998-10-09 Xing:Kk テレビ会議システム
AU6515798A (en) * 1997-04-16 1998-11-11 Isight Ltd. Video teleconferencing
KR100275930B1 (ko) * 1998-02-25 2000-12-15 강상훈 화상회의 시스템에서 복수의 픽쳐를 하나의 화면에 표시하기 위한 화면 형성방법
KR100316639B1 (ko) * 1998-05-22 2002-01-16 윤종용 다지점 영상회의 시스템 및 그에 따른 구현방법
JP2000165831A (ja) * 1998-11-30 2000-06-16 Nec Corp 多地点テレビ会議システム
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP2003333572A (ja) * 2002-05-08 2003-11-21 Nippon Hoso Kyokai <Nhk> 仮想観客形成装置およびその方法、仮想観客形成受信装置およびその方法ならびに仮想観客形成プログラム
KR100548383B1 (ko) * 2003-07-18 2006-02-02 엘지전자 주식회사 이동통신 시스템의 디지털 비디오 신호처리 장치 및 방법
NO318911B1 (no) * 2003-11-14 2005-05-23 Tandberg Telecom As Distribuert sammensetting av sanntids-media
US8208007B2 (en) * 2004-04-21 2012-06-26 Telepresence Technologies, Llc 3-D displays and telepresence systems and methods therefore
JP2005333552A (ja) * 2004-05-21 2005-12-02 Viewplus Inc パノラマ映像配信システム
US20060236905A1 (en) * 2005-04-22 2006-10-26 Martin Neunzert Brace assembly for a table
US7576766B2 (en) * 2005-06-30 2009-08-18 Microsoft Corporation Normalized images for cameras
JP4990520B2 (ja) * 2005-11-29 2012-08-01 京セラ株式会社 通信端末およびその表示方法
US7542668B2 (en) * 2006-06-30 2009-06-02 Opt Corporation Photographic device
US7801430B2 (en) * 2006-08-01 2010-09-21 Hewlett-Packard Development Company, L.P. Camera adjustment
EP2151122B1 (en) * 2007-02-14 2014-01-22 Teliris, Inc. Telepresence conference room layout, dynamic scenario manager, diagnostics and control system and method
US8520064B2 (en) * 2009-07-21 2013-08-27 Telepresence Technologies, Llc Visual displays and TelePresence embodiments with perception of depth

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9179099B2 (en) 2011-05-20 2015-11-03 Zte Corporation Method and system for implementing video conference and broadband mobile hotspot device
CN102790872A (zh) * 2011-05-20 2012-11-21 中兴通讯股份有限公司 一种视频会议的实现方法及系统
WO2012159333A1 (zh) * 2011-05-20 2012-11-29 中兴通讯股份有限公司 一种视频会议的实现方法、系统及宽带移动热点设备
CN102790872B (zh) * 2011-05-20 2016-11-16 南京中兴软件有限责任公司 一种视频会议的实现方法及系统
WO2013067898A1 (zh) * 2011-11-08 2013-05-16 华为技术有限公司 传输信息的方法和终端
US9088696B2 (en) 2011-11-08 2015-07-21 Huawei Technologies Co., Ltd. Method and terminal for transmitting information
US9357173B2 (en) 2011-11-08 2016-05-31 Huawei Technologies Co., Ltd. Method and terminal for transmitting information
CN102420968A (zh) * 2011-12-15 2012-04-18 广东威创视讯科技股份有限公司 视频会议中显示视频窗口的方法及系统
CN104902217A (zh) * 2014-03-05 2015-09-09 中兴通讯股份有限公司 一种在网真会议系统中显示布局的方法及装置
CN104902217B (zh) * 2014-03-05 2019-07-16 中兴通讯股份有限公司 一种在网真会议系统中显示布局的方法及装置
CN105611206A (zh) * 2014-11-19 2016-05-25 精工爱普生株式会社 信息处理装置、信息处理系统和信息处理方法
CN105611206B (zh) * 2014-11-19 2018-09-25 精工爱普生株式会社 信息处理装置、信息处理系统和信息处理方法
CN105979242A (zh) * 2015-11-23 2016-09-28 乐视网信息技术(北京)股份有限公司 一种视频的播放方法和装置

Also Published As

Publication number Publication date
US20110007127A1 (en) 2011-01-13
WO2009117005A1 (en) 2009-09-24
JP2011526089A (ja) 2011-09-29
EP2255530A4 (en) 2012-11-21
US20130242036A1 (en) 2013-09-19
BRPI0821283A2 (pt) 2015-06-16
KR20100126812A (ko) 2010-12-02
EP2255530A1 (en) 2010-12-01

Similar Documents

Publication Publication Date Title
CN102037726A (zh) 显示全景视频图像流
US8432431B2 (en) Compositing video streams
CN102265613B (zh) 用于处理在多个视频会议终端之间的会议中的图像的方法、设备
CN100592324C (zh) 在360度全景图像中进行头部大小均衡的系统和方法的用户界面
US8279254B2 (en) Method and system for video conferencing in a virtual environment
US7528860B2 (en) Method and system for videoconferencing between parties at N sites
US8319819B2 (en) Virtual round-table videoconference
US7532230B2 (en) Method and system for communicating gaze in an immersive virtual environment
US7616226B2 (en) Video conference system and a method for providing an individual perspective view for a participant of a video conference between multiple participants
US20070279483A1 (en) Blended Space For Aligning Video Streams
Nguyen et al. Multiview: spatially faithful group video conferencing
US8830293B2 (en) Video superposition for continuous presence
US8477177B2 (en) Video conference system and method
JP2026016718A (ja) 空間仮想現実環境を用いたテレビ会議装置、テレビ会議方法、及びコンピュータプログラム
US11831454B2 (en) Full dome conference
WO2013062509A1 (en) Applying geometric correction to a media stream
CA2805865A1 (en) Visual display system
JP2009239459A (ja) 映像合成システム、映像合成装置およびプログラム
Roussel Experiences in the design of the well, a group communication device for teleconviviality
Feldmann et al. Immersive multi-user 3D video communication
CN103096015A (zh) 一种视频处理方法和系统
Uchihashi et al. Mixing remote locations using shared screen as virtual stage
Nawahdah et al. Being Here: Enhancing the Presence of a Remote Person through Real-Time Display Integration of the Remote Figure and the Local Background
Bao et al. VCS: A Virtual Collaborative Space Based on Immersive Teleconferencing
CN1893627A (zh) 视讯会议显示方法及其装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110427