WO2014015780A1 - 一种视频处理方法及装置、系统 - Google Patents
一种视频处理方法及装置、系统 Download PDFInfo
- Publication number
- WO2014015780A1 WO2014015780A1 PCT/CN2013/079835 CN2013079835W WO2014015780A1 WO 2014015780 A1 WO2014015780 A1 WO 2014015780A1 CN 2013079835 W CN2013079835 W CN 2013079835W WO 2014015780 A1 WO2014015780 A1 WO 2014015780A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- video
- module
- original
- images
- video image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Definitions
- the embodiments of the present invention relate to video conferencing technologies, and in particular, to a video processing method, apparatus, and system. Background technique
- Telepresence is deeply loved by high-end users with its true presence. Listening to the voice and the size of the body are the key technical indicators of the telepresence system.
- each display screen displays the image of the participant at the remote end and corresponds to the audio output orientation. That is, the display screen displaying the speaker image in the venue corresponds to the output orientation of the speaker audio.
- the left speaker speaks, then you should hear the sound from the left side. Therefore, the position of the far-end image output needs to be determined according to the negotiated strategy, and the timing between the multiple screens is strictly synchronized to present a realistic communication effect.
- the main purpose of the embodiments of the present invention is to provide a video processing method, apparatus, and system, which can ensure strict synchronization between multiple channels of video in a remote presentation conference.
- the embodiment of the invention provides a video processing method, and the method includes:
- the encoded composite video image is transmitted.
- the method further includes: collecting the two or more original video images by two or more video capture devices respectively.
- the video arrangement information includes an identifier of a video capture device corresponding to each of the original video images, location information of each of the original video images in the composite video image, and a video corresponding to each of the original video images. Displays the correspondence between the identifiers of the devices.
- the method further includes: determining the video arrangement information by performing media capability negotiation with an endpoint configured to receive the video image.
- the embodiment of the present invention further provides a video processing device, where the device includes: a splicing module, an encoding module, and a sending module;
- the splicing module is configured to splicing two or more original video images according to predetermined video arrangement information to obtain a composite video image
- the encoding module is configured to encode the synthesized video image obtained by the splicing module, and the sending module is configured to send the synthesized video image encoded by the encoding module.
- the device is further connected to two or more video capture devices, and the video capture device is configured to collect the original video image.
- the video arrangement information includes an identifier of a video capture device corresponding to each of the original video images, location information of each of the original video images in the composite video image, and a video corresponding to each of the original video images. Displays the correspondence between the identifiers of the devices.
- the device further includes: a first determining module, configured to determine the video arrangement information by performing media capability negotiation with an endpoint configured to receive the video image;
- the splicing module is configured to splicing two or more original video images according to the video arrangement information determined by the first determining module to obtain a composite video image.
- An embodiment of the present invention further provides a video processing method, where the method includes:
- the decoded composite video image is decomposed according to the predetermined video arrangement information to obtain two or more original video images, and each of the original video images is separately sent to a corresponding video display device for display.
- the video arrangement information includes an identifier of a video capture device corresponding to each of the original video images, location information of each of the original video images in the composite video image, and a video corresponding to each of the original video images. Displays the correspondence between the identifiers of the devices.
- the method further includes: determining the video alignment information by performing media capability negotiation with an endpoint configured to send the composite video image.
- the embodiment of the present invention further provides a video processing device, where the device includes: a receiving module, a decoding module, and a decomposition module;
- a receiving module configured to receive a composite video image that is spliced and encoded by two or more original video images
- a decoding module configured to decode the composite video image received by the receiving module; and a decomposition module configured to decompose the decoded composite video image according to the predetermined video arrangement information to obtain two or more original videos And displaying each of the original video images to a corresponding video display device for display.
- the video arrangement information includes an identifier of a video capture device corresponding to each of the original video images, location information of each of the original video images in the composite video image, and each Corresponding relationship between the identifiers of the video display devices corresponding to the original video images.
- the device further includes: a second determining module, configured to determine the video arrangement information by performing media capability negotiation with an endpoint configured to send the video image;
- the decomposition module is configured to decompose the decoded composite video image according to the video arrangement information determined by the second determining module to obtain two or more original video images.
- An embodiment of the present invention further provides a video processing method, where the method includes:
- the method further includes: collecting the two or more original video images by two or more video capture devices respectively.
- the video arrangement information includes a video capture device identifier corresponding to each of the original video images, location information of each of the original video images, and a correspondence between identifiers of video display devices corresponding to the original video images. .
- the method further includes: performing media capability negotiation to determine the video arrangement information.
- the embodiment of the present invention further provides a video processing system, where the video processing system includes: a splicing module, an encoding module, a sending module, a receiving module, a decoding module, and a decomposition module;
- the splicing module is configured to splicing two or more original video images according to predetermined video arrangement information to obtain a composite video image
- An encoding module configured to encode a composite video image obtained by the splicing module; a sending module, configured to send the synthesized video image encoded by the encoding module; the receiving module, configured to receive the composite video image sent by the sending module;
- a decoding module configured to decode the composite video image received by the receiving module; and a decomposition module configured to decompose the decoded composite video image according to the predetermined video arrangement information to obtain two or more original videos And displaying each of the original video images to a corresponding external video display device for display.
- the splicing module is further connected to two or more video capture devices, and the video capture device is configured to collect the original video image.
- the system further includes: a first determining module and a second determining module, configured to perform media capability negotiation, and determine the video arrangement information;
- the splicing module is configured to splicing two or more original video images according to the video arrangement information determined by the first determining module to obtain a composite video image;
- the decomposition module is configured to decompose the decoded composite video image according to the video arrangement information determined by the second determining module to obtain two or more original video images.
- the splicing module, the encoding module, the sending module, and the first determining module are disposed on the local terminal, and the local terminal is externally connected to the video capturing device; the receiving module, the decoding module, the decoding module, and the second determining module are configured. On the remote terminal, the remote terminal is externally connected to the video display device.
- the system further includes a multi-point processing unit (MCU) configured to implement interaction between the local terminal and one or more remote terminals.
- MCU multi-point processing unit
- the system includes a plurality of terminals and an MCU, wherein the plurality of terminals are mutually a local terminal and a remote terminal, and interact with each other through the MCU;
- Each of the terminals is externally connected with a video capture device and a video display device, and each of the terminals includes the splicing module, the encoding module, the sending module, the receiving module, the decoding module, the decoding module, the first determining module, and the second determining.
- Module The splicing module, the encoding module, the sending module, the receiving module, the decoding module, the decomposition module, the first determining module and the second determining module are included in the MCU.
- the video processing method, apparatus, and system of the embodiments of the present invention are capable of splicing multiple original video images into one composite video image, then encoding and transmitting, ensuring strict synchronization between multiple channels of video in the telepresence conference; After receiving the composite video image, the image is first decomposed into a plurality of original video images and then displayed by the corresponding video display device, which solves the problem of determining the output position of the video image, and ensures strict synchronization between the multiple screens in the telepresence conference. The image is output at a preset position to present a realistic communication effect.
- FIG. 1 is a schematic structural diagram of a video processing system according to Embodiment 1 of the present invention.
- FIG. 2 is a schematic flowchart of a specific implementation process of a video processing process according to Embodiment 1 of the present invention
- FIG. 3 is a schematic structural diagram of a video processing system according to Embodiment 2 of the present invention.
- FIG. 4 is a schematic diagram of a specific implementation process of a video processing process according to Embodiment 2 of the present invention
- FIG. 5 is a schematic structural diagram of a video processing system according to Embodiment 3 of the present invention. detailed description
- the sending end splicing the collected multiple video images according to the pre-negotiated video arrangement information, synthesizing an image and then performing encoding and sending; after receiving the image and decoding, the receiving end according to the video arrangement information Decomposing the image to obtain the plurality of video images, and transmitting the plurality of video images to respective display devices for display.
- Embodiment 1
- the present embodiment provides a video processing system configured for remote presentation, where the system includes: multiple video capture devices (VC1, VC2, VC3), multiple video display devices (VD1, VD2, VD3), and local terminal And the remote terminal, where the multiple video capture devices are connected to the local terminal, and the plurality of video display devices are connected to the remote terminal.
- the video capture device is configured to collect the original video image, and send the collected original video image to the local terminal.
- the local terminal serves as the transmitting end of the video image, and splicing the original video image sent by each video capture device to obtain a composite video.
- the remote terminal as a receiving end of the video image, receiving the composite video image sent by the local terminal, and decomposing the composite video image to obtain multiple original videos And then sending the plurality of original video images to the corresponding video display device for display.
- the local terminal and the remote terminal perform a point-to-point networking, and the local terminal is connected with three video collection devices (VC1, VC2, and VC3), and respectively collects 3 original video images, correspondingly Three video display devices (VD1, VD2, and VD3) are connected to the remote terminal, and the three original video images are respectively displayed.
- VC1, VC2, and VC3 three video collection devices
- VD1, VD2, and VD3 Three video display devices
- the process of performing video processing based on the foregoing video processing system may specifically include the following steps:
- Step 201 The local terminal and the remote terminal perform media capability negotiation in advance, and determine that the video arrangement information is configured to indicate the left-to-right arrangement manner to splicing the original video images of VC1, VC2, and VC3.
- the original video images of the left channel (VC1), the middle channel (VC2), and the right channel (VC3) respectively collected by the three video capture devices VC1, VC2, and VC3 can be located at the left (VD1), the middle (VD2), Displayed in the video display device at right (VD3).
- the location information of the video image collected by each video collection device may be pre-defined in the video arrangement information.
- the video arrangement information may be specified.
- Information such as the coordinate position and size of the video images collected by the three video capture devices VC1, VC2, and VC3 in the composite video image.
- the width, height, and coordinate start position of the VC1 video image, the width, height, and coordinate start position of the VC2 video image, the width, height, and coordinate start position of the VC3 video image may be specified in the video arrangement information.
- the video arrangement information may specify that the coordinate starting position of the VC1 video image in the composite video image is zero, VC2 video image.
- the coordinate start position in the composite video image is the same as the width of the VC1 video image, and the coordinate start position of the VC3 video image in the composite video image is the sum of the widths of the VC1 video image and the VC2 video image.
- the video arrangement information may also specify information such as a large image of the video image captured by each video capture device (VC1, VC2, VC3) and a relative position in the composite video image, so that the local end When splicing each video image, the terminal can perform splicing processing according to the size and relative position of each video image in the video arrangement information to obtain a composite video image.
- the video display device corresponding to each original video image may also be specified in the video arrangement information.
- the following information may be specified in the video arrangement information: VC1 corresponds to VD1, VC2 corresponds to VD2, and VC3 corresponds to VD3; VD1 represents a video display device at a left position, and VD2 represents a video display at an intermediate position.
- Device, VD3 represents the video display device at the right position.
- Step 202 Three video capture devices (VC1, VC2, VC3) respectively collect three original video images;
- Step 203 The local terminal splices three original video images collected by the three video collection devices (VC1, VC2, VC3) according to the video arrangement information, obtains a composite video image, and encodes the composite video image. And then sent to the remote terminal through a media channel between the self and the remote terminal;
- Step 204 The remote terminal receives the composite video image, and performs the composite video image. After decoding, the decoded composite video image is decomposed according to the video arrangement information to obtain three original video images;
- Step 205 The remote terminal sends the three original video images to the left, middle, and right video display devices for display.
- the remote terminal after receiving the synthesized video image code stream sent by the local terminal, the remote terminal performs decoding processing, and then decomposes the decoded composite video image according to the negotiated video arrangement information to obtain three images VD1 and VD2. , VD3, sent to the corresponding video display device for display.
- the remote terminal when decomposing the multi-channel video image, the remote terminal first decomposes the synthesized video image according to the position information of the video image collected by each video collection device specified in the video arrangement information, and obtains multiple video images, and then Each video image is displayed on the corresponding video display device.
- the local terminal specifically includes a splicing module, an encoding module, and a sending module, where the splicing module is configured to splicing the original video images sent by each video capturing device according to the predetermined video arrangement information, to obtain a composite a video image; an encoding module configured to perform encoding processing on the composite video image obtained by the splicing module; and a sending module, configured to send the composite video image encoded by the encoding module to the remote terminal.
- the splicing module is configured to splicing the original video images sent by each video capturing device according to the predetermined video arrangement information, to obtain a composite a video image
- an encoding module configured to perform encoding processing on the composite video image obtained by the splicing module
- a sending module configured to send the composite video image encoded by the encoding module to the remote terminal.
- the remote terminal may specifically include a receiving module, a decoding module, and a decoding module, where the receiving module is configured to receive the composite video image sent by the local terminal, and the decoding module is configured to perform the composite video image received by the receiving module.
- a decoding process configured to decompose the composite video image decoded by the decoding module according to predetermined video arrangement information, to obtain a plurality of original video images, and send the plurality of original video images to corresponding ones
- the video display device is displayed.
- the local terminal further includes a first determining module, configured to determine the video arrangement information by performing media capability negotiation with the remote terminal, where the splicing module is configured to be based on the video arrangement information determined by the first determining module, Splicing two or more original video images, Get a composite video image.
- a first determining module configured to determine the video arrangement information by performing media capability negotiation with the remote terminal, where the splicing module is configured to be based on the video arrangement information determined by the first determining module, Splicing two or more original video images, Get a composite video image.
- the remote terminal may further include: a second determining module, configured to determine the video arrangement information by performing media capability negotiation with a terminal configured to send the video image; the decomposition module is configured to be according to the second Determining the video arrangement information determined by the module, and decomposing the decoded composite video image to obtain two or more original video images.
- a second determining module configured to determine the video arrangement information by performing media capability negotiation with a terminal configured to send the video image
- the decomposition module is configured to be according to the second Determining the video arrangement information determined by the module, and decomposing the decoded composite video image to obtain two or more original video images.
- the video arrangement information determined by the local terminal and the remote terminal may include the identifiers of the video capture devices, the location information of the original video images collected by the video capture devices, and the video display devices.
- the location information of the original video image may also include information such as the size of the original video image captured by each video capture device.
- the video processing system of the telepresence system in this embodiment has the same structure as that of the video processing system in the first embodiment.
- the difference is that the video processing system in this embodiment includes multiple The point processing unit (MCU), the local terminal and the remote terminal pass the MCU.
- the process of video processing in this embodiment is as shown in FIG. 4, and may specifically include the following steps: Step 401: Basically the same as step 201, the difference is that The media capability negotiation is not performed directly between the local terminal and the remote terminal through the MCU.
- the local terminal negotiates with the endpoint configured to receive the video image to determine the video arrangement information.
- the endpoint is the remote terminal or the MCU described above.
- Step 402 The same as step 202;
- Step 403 It is basically the same as step 203. The difference is that after the local terminal encodes the synthesized video image, it sends it to the MCU through the media channel between itself and the MCU.
- Step 404 The MCU will pass the coded channel through the media channel between itself and the remote terminal.
- the composite video image is sent to the remote terminal;
- Step 405 Basically the same as step 204, except that the remote terminal receives the composite video image forwarded by the MCU.
- Step 406 It is identical to step 205.
- the local terminal has the same structure as the local terminal in the first embodiment
- the remote terminal has the same structure as the remote terminal in the first embodiment.
- the transmitting module of the terminal terminal sends the composite video image to the MCU
- the receiving module of the remote terminal receives the composite video image forwarded by the MCU.
- the present embodiment provides a telepresence video processing system.
- the system includes: multiple video capture devices, multiple video display devices, MCUs, first terminals, second terminals, and third terminals.
- two video display devices (VD1, VD2); a video capture device (VC6) and a video display device (VD3) are connected to the third terminal.
- the first terminal, the second terminal, and the third terminal can both serve as the transmitting end and the receiving end of the video image.
- the first terminal acts as a corresponding remote end.
- the process of performing video processing may specifically include the following steps:
- Step 1 The first terminal, the second terminal, and the third terminal perform media capability negotiation with the MCU in advance, determine video arrangement information, and configure the video arrangement information to the first terminal, the second terminal, the third terminal, and On the MCU.
- the video arrangement information determined by the first terminal and the MCU may include: VC1 corresponds to VD1, VC2 corresponds to VD2, VC3 corresponds to VD3, and is used in the composite video image.
- the left-to-right arrangement splicing the original video images of VC1, VC2, and VC3; and, including: VC4 corresponding to VD4, VC5 corresponding to VD5, VC6 corresponding to VD6, and using left-to-right arrangement in the composite video image Splicing the original video images of VC4, VC5, and VC6.
- the video arrangement information determined by the second terminal and the MCU may include: VC1 corresponds to VD1, VC2 corresponds to VD2, and the original video image of VC1 and VC2 is spliced by using a left-to-right arrangement in the composite video image; and, VC4 Corresponding to VD4 and VC5 corresponding to VD5, and splicing the original video images of VC4 and VC5 in a left-to-right arrangement in the composite video image.
- Step 2 The three video capture devices (VC1, VC2, and VC3) respectively collect the original video images.
- Step 3 The first terminal splices the original video images collected by the three video collection devices (VC1, VC2, VC3) according to the video arrangement information determined by the MCU and the MCU, and obtains the first composite video image.
- a composite video image is encoded and sent to the MCU through a media channel between itself and the MCU;
- Step 4 The MCU receives the code stream of the first composite video image sent by the first terminal, performs decoding, and then decomposes according to the video arrangement information determined by the first terminal and negotiates with the first terminal to obtain three original video images, and then The original video images of the VC1 and the VC2 are spliced according to the video arrangement information determined by the MCU and the second terminal to obtain a second composite video image, and the second composite video image is encoded and then sent through a channel between itself and the second terminal.
- the second terminal connected to VD1 and VD2 is encoded, and the original video image of VC3 is encoded and sent to the third terminal connected to VD3;
- Step 5 The second terminal receives the second composite video image of the VC1 and the VC2 sent by the MCU, and after decoding, decomposes according to the video arrangement information determined by the MCU and the self-determination, and obtains two original images, which are respectively sent to VD1 and VD2.
- Display third terminal receives MCU transmission The video image of VC3 is decoded and sent to VD3 for display.
- the above video processing process may further include the following steps:
- Step 6 The two video capture devices (VC4, VC5) respectively collect the original video images, and the second terminal compares the two original video images collected by the two video capture devices (VC4, VC5) according to the video arrangement information determined by the MCU and the MCU. Performing splicing to obtain a third composite video image, and encoding the third composite video image to be sent to the MCU through a media channel between the MCU and the MCU; the third terminal encodes and transmits the original video image collected by the video capture device VC6. To the MCU.
- Step 7 After decoding the third composite video image sent by the second terminal, the MCU decomposes according to the video arrangement information determined by the second terminal and the second terminal, to obtain two original video images. Transmitting an original video image for decoding; then, the MCU splices the three original video images according to the video arrangement information determined by the first terminal and the first terminal, to obtain a fourth composite video image, and obtain the fourth composite video After the image is encoded, it is sent to the first terminal through a media channel between itself and the first terminal;
- Step 8 The first terminal receives the fourth composite video image sent by the MCU, and after decoding the fourth composite video image, performing the decoded fourth synthesized video image according to the video arrangement information determined by the MCU and the MCU. Decomposed, three original video images are obtained, which are output to VD4, VD5 and VD6 for display.
- steps 1 to 5 and the processes of steps 6 to 8 are two processes that do not affect each other, regardless of the order.
- the first terminal, the second terminal, the third terminal, and the MCU each include a splicing module, an encoding module, a sending module, and a first determining module, and may further include a second determining module, a receiving module, a decoding module, and a decoding module.
- the functions of the corresponding modules in the second embodiment are basically the same.
- the splicing module is configured to perform splicing processing on the original video image when there is only one original video image, and directly send the encoding to the encoding module for encoding; in two or more When the original video image is spliced according to the predetermined video arrangement information, two or more original video images are spliced to obtain a composite video image, which is sent to the encoding module for encoding; and the sending module is configured to encode the processed original video image by the encoding module.
- the composite video image is sent to the first terminal or the second terminal or the receiving module of the third terminal or the MCU;
- the receiving module is further configured to receive the original video image from the first terminal, or the second terminal, or the third terminal or the MCU or Synthesizing the video image
- the decoding module is further configured to decode the original video image or the composite video image received by the receiving module
- the decomposition module is further configured to not decompose the original video image decoded by the decoding module, and the synthesized after decoding by the decoding module
- the video image is decomposed according to the predetermined video arrangement information to obtain an original video image, and the original video image is sent to the corresponding video display device for display according to the video arrangement information.
- the terminal in each of the foregoing embodiments may be a video conference terminal, a mobile phone terminal, a set top box, or the like, and has a video communication capability.
- the transmitting end splicing the collected video images according to the pre-negotiated video arrangement information, synthesizing an image, and then performing encoding and sending; the receiving end receives the image and decodes the image. Decomposing the image according to the video arrangement information to obtain the plurality of video images, and transmitting the plurality of video images to respective display devices for display.
- the embodiment of the present invention can splicing multiple original video images into one composite video image, then encoding and transmitting, ensuring strict synchronization between multiple video in the remote presentation conference; and, after receiving the composite video image, first decomposing The plurality of original video images are respectively displayed by the corresponding video display device, which solves the problem of determining the output position of the video image, ensures strict synchronization of the timing between the multiple screens in the telepresence conference, and outputs the video image according to a preset position.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明实施例公开了一种视频处理方法,所述方法包括:按照预先确定的视频排列信息,将两个或两个以上的原始视频图像拼接,得到一个合成视频图像;对所述合成视频图像编码;将所述编码后的合成视频图像发送出去。相应的,本发明实施例还公开了视频处理装置及系统,能够确保远程呈现会议中多路视频之间的严格同步;并且,解决了视频图像输出位置的确定问题,从而使得远程呈现会议呈现逼真的通信效果。
Description
一种视频处理方法及装置、 系统 技术领域
本发明实施例涉及视频会议技术, 尤其涉及一种视频处理方法及装置、 系统。 背景技术
远程呈现以其真实的临场感深受高端用户的喜爱, 听声辩位、 真身大 小是远程呈现系统的关键技术指标。
在远程呈现会议系统中, 要达到真身大小和听声辩位的效果, 有多显 示屏的终端会场, 每个显示屏显示远端一处坐席的与会者图像, 并与音频 输出方位相对应。 即会场中显示发言者图像的显示屏, 与发言者音频的输 出方位相对应。 比如三屏会场, 左席发言, 那么应该听到声音从左侧发出。 因此, 远端图像输出的位置需要按照协商的策略确定, 且多屏之间的时序 严格同步, 才能呈现逼真的通信效果。
发明人发现在远程呈现会议系统中, 若采用多路视频分别编码传输的 方式, 则很难实现多路视频之间的严格同步, 从而难以达到视频会议对实 时性的严格要求, 且不能解决视频图像输出位置的确定问题。 发明内容
有鉴于此, 本发明实施例的主要目的在于提供一种视频处理方法及装 置、 系统, 能够保证远程呈现会议中多路视频之间的严格同步。
为达到上述目的, 本发明实施例的技术方案是这样实现的:
本发明实施例提供了一种视频处理方法, 所述方法包括:
按照预先确定的视频排列信息, 将两个或两个以上的原始视频图像拼
接, 得到一个合成视频图像;
对所述合成视频图像编码;
将所述编码后的合成视频图像发送出去。
其中, 所述将两个或两个以上的原始视频图像拼接之前, 所述方法还 包括: 分别由两个或两个以上的视频采集设备采集所述两个或两个以上的 原始视频图像。
其中, 所述视频排列信息包括各所述原始视频图像所对应的视频采集 设备的标识、 各所述原始视频图像在所述合成视频图像中的位置信息、 各 所述原始视频图像所对应的视频显示设备的标识之间的对应关系。
其中, 所述将两个或两个以上的原始视频图像拼接之前, 所述方法还 包括: 通过与配置为接收所述视频图像的端点进行媒体能力协商, 确定所 述视频排列信息。
本发明实施例还提供了一种视频处理装置, 其中, 所述装置包括: 拼 接模块、 编码模块和发送模块; 其中,
拼接模块, 配置为按照预先确定的视频排列信息, 将两个或两个以上 的原始视频图像拼接, 得到一个合成视频图像;
编码模块, 配置为对所述拼接模块得到的合成视频图像编码; 发送模块, 配置为将所述编码模块编码后的合成视频图像发送出去。 其中, 所述装置还连接有两个或两个以上的视频采集设备, 所述视频 采集设备配置为采集所述原始视频图像。
其中, 所述视频排列信息包括各所述原始视频图像所对应的视频采集 设备的标识、 各所述原始视频图像在所述合成视频图像中的位置信息、 各 所述原始视频图像所对应的视频显示设备的标识之间的对应关系。
其中, 所述装置还包括: 第一确定模块, 还配置为通过与配置为接收 所述视频图像的端点进行媒体能力协商, 确定所述视频排列信息;
所述拼接模块, 配置为根据所述第一确定模块确定的视频排列信息, 将两个或两个以上的原始视频图像拼接, 得到一个合成视频图像。
本发明实施例还提供了一种视频处理方法, 所述方法包括:
接收由两个或两个以上的原始视频图像拼接并编码后的合成视频图 像;
对所述合成视频图像解码;
按照预先确定的视频排列信息, 对解码后的合成视频图像分解, 得到 两个或两个以上的原始视频图像, 并将各所述原始视频图像分别发送到相 应的视频显示设备上进行显示。
其中, 所述视频排列信息包括各所述原始视频图像所对应的视频采集 设备的标识、 各所述原始视频图像在所述合成视频图像中的位置信息、 各 所述原始视频图像所对应的视频显示设备的标识之间的对应关系。
其中, 所述对解码后的合成视频图像分解之前, 所述方法还包括: 通 过与配置为发送所述合成视频图像的端点进行媒体能力协商, 确定所述视 频排列信息。
本发明实施例还提供了一种视频处理装置, 其中, 所述装置包括: 接 收模块、 解码模块和分解模块; 其中,
接收模块, 配置为接收由两个或两个以上的原始视频图像拼接并编码 后的合成视频图像;
解码模块, 配置为对所述接收模块接收到的合成视频图像解码; 分解模块, 配置为按照预先确定的视频排列信息, 对解码后的合成视 频图像分解, 得到两个或两个以上的原始视频图像, 并将各所述原始视频 图像分别发送到相应的视频显示设备上进行显示。
其中, 所述视频排列信息包括各所述原始视频图像所对应的视频采集 设备的标识、 各所述原始视频图像在所述合成视频图像中的位置信息、 各
所述原始视频图像所对应的视频显示设备的标识之间的对应关系。
其中, 所述装置还包括: 第二确定模块, 还配置为通过与配置为发送 所述视频图像的端点进行媒体能力协商, 确定所述视频排列信息;
所述分解模块, 配置为根据所述第二确定模块确定的视频排列信息, 对解码后的合成视频图像分解, 得到两个或两个以上的原始视频图像。
本发明实施例还提供了一种视频处理方法, 所述方法包括:
按照预先确定的视频排列信息, 将两个或两个以上的原始视频图像拼 接, 得到一个合成视频图像, 对所述合成视频图像编码后发送出去;
接收所述合成视频图像, 对所述合成视频图像解码, 并按照预先确定 的视频排列信息, 对解码后的合成视频图像分解, 得到两个或两个以上的 原始视频图像, 再将各所述原始视频图像分别发送到相应的视频显示设备 上进行显示。
其中, 所述将两个或两个以上的原始视频图像拼接之前, 所述方法还 包括: 分别由两个或两个以上的视频采集设备采集所述两个或两个以上的 原始视频图像。
其中, 所述视频排列信息包括各所述原始视频图像所对应的视频采集 设备标识、 各所述原始视频图像的位置信息、 各所述原始视频图像所对应 视频显示设备的标识之间的对应关系。
其中, 所述方法还包括: 进行媒体能力协商, 确定所述视频排列信息。 本发明实施例还提供了一种视频处理系统, 其中, 所述视频处理系统 包括: 拼接模块、 编码模块、 发送模块、 接收模块、 解码模块和分解模块; 其中,
拼接模块, 配置为按照预先确定的视频排列信息, 将两个或两个以上 的原始视频图像拼接, 得到一个合成视频图像;
编码模块, 配置为对所述拼接模块得到的合成视频图像编码;
发送模块, 配置为将所述编码模块编码后的合成视频图像发送出去; 接收模块, 配置为接收所述发送模块发送的合成视频图像;
解码模块, 配置为对所述接收模块接收到的合成视频图像解码; 分解模块, 配置为按照预先确定的视频排列信息, 对解码后的合成视 频图像分解, 得到两个或两个以上的原始视频图像, 并将各所述原始视频 图像分别发送到相应的外接视频显示设备上进行显示。
其中, 所述拼接模块还连接有两个或两个以上的视频采集设备, 所述 视频采集设备配置为采集所述原始视频图像。
其中, 所述系统还包括: 第一确定模块和第二确定模块, 配置为进行 媒体能力协商, 确定所述视频排列信息;
所述拼接模块, 配置为根据所述第一确定模块确定的视频排列信息, 将两个或两个以上的原始视频图像拼接, 得到一个合成视频图像;
所述分解模块, 配置为根据所述第二确定模块确定的视频排列信息, 对解码后的合成视频图像分解, 得到两个或两个以上的原始视频图像。
其中, 所述拼接模块、 编码模块、 发送模块和第一确定模块设置在本 端终端上, 所述本端终端外接视频采集设备; 所述接收模块、 解码模块、 分解模块和第二确定模块设置在远端终端上, 所述远端终端外接视频显示 设备。
其中, 所述系统还包括多点处理单元 MCU, 配置为实现所述本端终端 与一个或多个远端终端之间的交互。
其中, 所述系统包括多个终端和 MCU, 其中, 所述多个终端之间互为 本端终端和远端终端, 通过所述 MCU进行交互;
各所述终端均外接有视频采集设备和视频显示设备, 每个所述终端均 包括所述拼接模块、 编码模块、 发送模块、 接收模块、 解码模块、 分解模 块、 第一确定模块和第二确定模块;
所述 MCU中包括所述拼接模块、 编码模块、 发送模块、 接收模块、 解 码模块、 分解模块、 第一确定模块和第二确定模块。
本发明实施例的视频处理方法及装置、 系统, 能够将多路原始视频图 像拼接为一个合成视频图像后再进行编码和发送, 确保远程呈现会议中多 路视频之间的严格同步; 并且, 在接收所述合成视频图像后先分解为多个 原始视频图像再分别由相应的视频显示设备显示, 解决了视频图像输出位 置的确定问题, 保证远程呈现会议中多屏之间的时序严格同步, 视频图像 按照预先设定的位置输出, 从而呈现逼真的通信效果。 附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案, 下面将对 实施例或现有技术描述中所需要使用的附图作一简单地介绍, 显而易见地, 下面描述中的附图仅仅是本发明的一些实施例, 对于本领域普通技术人员 来讲, 在不付出创造性劳动的前提下, 还可以根据这些附图获得其他的附 图。
图 1为本发明实施例一中视频处理系统的组成结构示意图;
图 2为本发明实施例一中视频处理过程的具体实现流程示意图; 图 3为本发明实施例二中视频处理系统的组成结构示意图;
图 4为本发明实施例二中视频处理过程的具体实现流程示意图; 图 5为本发明实施例三中视频处理系统的组成结构示意图。 具体实施方式
在本发明实施例中, 发送端将采集的多个视频图像按照预先协商的视 频排列信息进行拼接, 合成一个图像后进行编码发送; 接收端接收所述图 像并解码后, 按照所述视频排列信息将所述图像进行分解, 得到所述多个 视频图像, 并将所述多个视频图像发送到各自的显示设备上进行显示。
实施例一
本实施例提供了一种配置为远程呈现的视频处理系统, 所述系统包括: 多个视频采集设备( VC1、 VC2、 VC3 )、 多个视频显示设备( VD1、 VD2、 VD3 )、 本端终端和远端终端, 其中, 所述多个视频采集设备与本端终端连 接, 多个视频显示设备与远端终端连接。 视频采集设备配置为采集原始视 频图像, 并将采集到的原始视频图像发送给本端终端, 本端终端作为视频 图像的发送端, 将各视频采集设备发送的原始视频图像进行拼接得到一个 合成视频图像, 再对所述合成视频图像进行编码并发送; 远端终端作为视 频图像的接收端, 接收所述本端终端发送的合成视频图像, 将所述合成视 频图像进行分解, 得到多个原始视频图像, 再将所述多个原始视频图像分 别发送给对应的视频显示设备进行显示。
具体地, 如图 1 所示, 本端终端与远端终端之间进行点对点组网, 本 端终端上连接有三个视频采集设备(VC1、 VC2、 VC3 ), 分别采集 3路原 始视频图像, 相应的, 远端终端上连接有三个视频显示设备(VD1、 VD2、 VD3 ), 分别显示所述 3路原始视频图像。
本实施例中, 如图 2所示, 基于上述的视频处理系统进行视频处理的 过程, 具体可以包括如下步骤:
步骤 201 : 本端终端与远端终端预先进行媒体能力协商, 确定视频排列 信息配置为指示从左至右的排列方式对 VC1、 VC2、 VC3的原始视频图像 进行拼接。
这样,使得三个视频采集设备 VC1、 VC2、 VC3分别采集的左路( VC1 )、 中路(VC2 )、 右路(VC3 )的原始视频图像能够分别在位于左(VD1 )、 中 ( VD2 )、 右 (VD3 )处的视频显示设备中显示。
具体地, 可以在所述视频排列信息预先规定各视频采集设备所采集视 频图像的位置信息。 在本实施例中, 在所述视频排列信息中具体可以规定
三个视频采集设备 VC1、 VC2、 VC3所采集到的视频图像在所述合成视频 图像中的坐标位置以及大小等信息。 例如, 可以在所述视频排列信息中规 定 VC1视频图像的宽度、 高度以及坐标起始位置, VC2视频图像的宽度、 高度以及坐标起始位置, VC3 视频图像的宽度、 高度以及坐标起始位置。 如果需要将 VC1、 VC2、 VC3的视频图像按照左中右的顺序拼接, 则可以 在所述视频排列信息中规定 VC1视频图像在所述合成视频图像中的坐标起 始位置为零, VC2视频图像在所述合成视频图像中的坐标起始位置与 VC1 视频图像的宽度相同, VC3 视频图像在所述合成视频图像中的坐标起始位 置为 VC1视频图像与 VC2视频图像的宽度之和。 或者, 也可以在所述视频 排列信息中规定各视频采集设备(VC1、 VC2、 VC3 )所采集视频图像的大 'J、以及在所述合成视频图像中的相对位置等信息, 以使得本端终端在对各 视频图像进行拼接时能够依据该视频排列信息中各视频图像的大小以及相 对位置进行拼接处理, 得到一个合成视频图像。
这里, 在所述视频排列信息中还可以规定各原始视频图像所对应的视 频显示设备。 对于本实施例中的应用场景, 可以在所述视频排列信息中规 定如下信息: VC1对应 VD1、 VC2对应 VD2、 VC3对应 VD3; VD1表示 左边位置处的视频显示设备, VD2表示中间位置的视频显示设备, VD3表 示右边位置处的视频显示设备。
步骤 202: 三个视频采集设备( VC1、 VC2、 VC3 )分别采集三路原始 视频图像;
步骤 203 : 本端终端按照所述视频排列信息, 对三个视频采集设备 ( VC1、 VC2、 VC3 )采集的三路原始视频图像进行拼接, 得到一个合成视 频图像, 并对所述合成视频图像编码后通过自身与远端终端之间的媒体通 道发送给远端终端;
步骤 204: 远端终端接收所述合成视频图像,对所述合成视频图像进行
解码后, 按照所述视频排列信息对解码后的合成视频图像进行分解, 得到 三路原始视频图像;
步骤 205: 远端终端将所述三路原始视频图像分别发送给左、 中、 右的 三个视频显示设备进行显示。
具体的, 远端终端接收到本端终端发送的合成视频图像码流后, 进行 解码处理后, 根据上述协商的视频排列信息对解码后的合成视频图像进行 分解处理, 得到三个图像 VD1、 VD2、 VD3, 发送给对应的视频显示设备 进行显示。 这样, 远端终端在分解得到多路视频图像时, 首先根据视频排 列信息中所规定的各视频采集设备所采集视频图像的位置信息, 对合成视 频图像进行分解, 得到多个视频图像, 再将各视频图像在所对应的视频显 示设备上显示。
本实施例中, 本端终端具体包括拼接模块、 编码模块和发送模块, 其 中, 拼接模块配置为按照预先确定的视频排列信息, 将各视频采集设备发 送的各原始视频图像进行拼接, 得到一个合成视频图像; 编码模块, 配置 为对所述拼接模块得到的合成视频图像进行编码处理; 发送模块, 配置为 将所述编码模块编码处理后的合成视频图像发送给远端终端。
远端终端具体可以包括接收模块、 解码模块和分解模块, 其中, 接收 模块配置为接收所述本端终端发送的合成视频图像; 解码模块, 配置为对 所述接收模块接收到的合成视频图像进行解码处理; 分解模块, 配置为按 照预先确定的视频排列信息, 对所述解码模块解码处理后的合成视频图像 进行分解, 得到多个原始视频图像, 并将多个原始视频图像分别发送给对 应的视频显示设备进行显示。
本端终端还包括第一确定模块, 还配置为通过与远端终端进行媒体能 力协商, 确定所述视频排列信息; 所述拼接模块, 配置为根据所述第一确 定模块确定的视频排列信息, 将两个或两个以上的原始视频图像进行拼接,
得到一个合成视频图像。
远端终端还可以包括: 第二确定模块, 还配置为通过与配置为发送所 述视频图像的终端进行媒体能力协商, 确定所述视频排列信息; 所述分解 模块, 配置为根据所述第二确定模块确定的视频排列信息, 对解码后的合 成视频图像进行分解, 得到两个或两个以上的原始视频图像。
综上可知, 本实施例中, 本端终端与远端终端协商所确定的视频排列 信息中可以包括各视频采集设备的标识、 各视频采集设备所采集原始视频 图像的位置信息、 各视频显示设备的标识及三者之间的对应关系。 原始视 频图像的位置信息还可以包含各视频采集设备所采集原始视频图像的大小 等信息。
实施例二
本实施例中的远程呈现的视频处理系统组成结构如图 3 所示, 与实施 例一中视频处理系统的组成结构基本相同, 所不同的是, 本实施例中的视 频处理系统中还包括多点处理单元( MCU ),本端终端与远端终端通过 MCU 本实施例中视频处理的过程如图 4所示, 具体可以包括如下步骤: 步骤 401 : 与步骤 201基本相同, 所不同的是, 本端终端与远端终端之 间不是直接进行媒体能力协商, 而是通过 MCU进行媒体能力协商。
也就是说, 在进行媒体能力协商时, 本端终端与配置为接收所述视频 图像的端点进行媒体能力协商, 确定所述视频排列信息。 这里, 所述端点 为上述的远端终端或者 MCU。
步骤 402: 与步骤 202完全相同;
步骤 403: 与步骤 203基本相同, 所不同的是, 本端终端对所述合成视 频图像编码后, 通过自身与 MCU之间的媒体通道发送给 MCU。
步骤 404: MCU将通过自身与远端终端之间的媒体通道, 将编码后的
合成视频图像发送给远端终端;
步骤 405: 与步骤 204基本相同, 所不同的是, 远端终端接收 MCU转 发的所述合成视频图像。
步骤 406: 与步骤 205完全相同。
本实施例中, 本端终端与实施例一中的本端终端组成结构完全相同, 远端终端与实施例一中远端终端的组成结构也完全相同, 唯一不同的是, 本实施例中本端终端的发送模块将合成视频图像发送给 MCU, 远端终端的 接收模块接收由 MCU转发的合成视频图像。
实施例三
本实施例提供了一种远程呈现的视频处理系统, 如图 5 所示, 所述系 统包括: 多个视频采集设备、 多个视频显示设备、 MCU、 第一终端、 第二 终端和第三终端,其中,第一终端上连接有三个视频采集设备(VC1、 VC2、 VC3 )和三个视频显示设备 ( VD4、 VD5和 VD6 ); 第二终端上连接有两个 视频采集设备(VC4、 VC5 )和两个视频显示设备(VD1、 VD2 ); 第三终 端上连接有一个视频采集设备(VC6 )和一个视频显示设备(VD3 )。 第一 终端、 第二终端和第三终端均可以同时作为视频图像的发送端和接收端。 第一终端、 第二终端和第三终端通过 MCU组网, 第一终端作为本端时, 第 二终端和第三终端作为相对应的远端, 第二终端和第三终端作为本端时, 第一终端作为相对应的远端。
本实施例中, 进行视频处理的过程具体可以包括如下步骤:
步骤 1 : 第一终端、 第二终端和第三终端预先分别与 MCU进行媒体能 力协商, 确定视频排列信息, 并将所述视频排列信息分别配置到第一终端、 第二终端、 第三终端和 MCU上。
本实施例中, 第一终端与 MCU协商确定的视频排列信息可以包括: VC1对应 VD1、 VC2对应 VD2、 VC3对应 VD3, 在合成视频图像中采用
从左至右的排列方式对 VC1、 VC2、 VC3的原始视频图像进行拼接; 以及, 包括: VC4对应 VD4、 VC5对应 VD5、 VC6对应 VD6, 并在合成视频图 像中采用从左至右的排列方式对 VC4、 VC5、 VC6的原始视频图像进行拼 接。
第二终端与 MCU协商确定的视频排列信息可以包括: VC1对应 VD1、 VC2对应 VD2, 在合成视频图像中采用从左至右的排列方式对 VC 1、 VC2 的原始视频图像进行拼接; 以及, VC4对应 VD4、 VC5对应 VD5, 并在合 成视频图像中采用从左至右的排列方式对 VC4、 VC5的原始视频图像进行 拼接。
步骤 2: 三个视频采集设备( VC1、 VC2、 VC3 )分别采集原始视频图 像;
步骤 3: 第一终端按照自身与 MCU协商确定的视频排列信息, 对三个 视频采集设备(VC1、 VC2、 VC3 )采集的原始视频图像进行拼接, 得到第 一合成视频图像,并对所述第一合成视频图像编码后通过自身与 MCU之间 的媒体通道发送给 MCU;
步骤 4: MCU接收所述第一终端发送的第一合成视频图像的码流, 进 行解码后, 根据自身与第一终端协商确定的视频排列信息再进行分解, 得 到三个原始视频图像, 再将 VC1、 VC2的原始视频图像按照 MCU与第二 终端协商确定的视频排列信息进行拼接, 得到第二合成视频图像, 对该第 二合成视频图像进行编码后通过自身与第二终端之间的通道发送给连接有 VD1和 VD2的第二终端,将 VC3的原始视频图像编码后发送给连接有 VD3 的第三终端;
步骤 5: 第二终端接收 MCU发送的 VC1、 VC2的第二合成视频图像, 进行解码后,根据 MCU与自身协商确定的视频排列信息进行分解,得到两 个原始图像, 分别发送给 VD1、 VD2进行显示; 第三终端接收 MCU发送
的 VC3的视频图像, 解码后发送给 VD3进行显示。
此外, 上述视频处理过程还可以包括如下的步骤:
步骤 6: 两个视频采集设备(VC4、 VC5 )分别采集原始视频图像, 第 二终端将两个视频采集设备(VC4、 VC5 )采集的两路原始视频图像按照自 身与 MCU协商确定的视频排列信息进行拼接,得到第三合成视频图像, 并 对该第三合成视频图像进行编码后通过自身与 MCU之间的媒体通道发送 给 MCU; 第三终端将视频采集设备 VC6采集的原始视频图像编码后发送 给 MCU。
步骤 7: MCU对第二终端发送的第三合成视频图像解码后, 再按照自 身与所述第二终端协商确定的视频排列信息进行分解, 得到两路原始视频 图像; 此外,还对第三终端发送的一路原始视频图像进行解码; 然后, MCU 按照自身与第一终端协商确定的视频排列信息, 对上述三路原始视频图像 进行拼接, 得到第四合成视频图像, 并对所述第四合成视频图像编码后通 过自身与第一终端之间的媒体通道发送给第一终端;
步骤 8: 第一终端接收所述 MCU发送的第四合成视频图像, 对所述第 四合成视频图像进行解码后,按照自身与 MCU协商确定的视频排列信息对 解码后的第四合成视频图像进行分解, 得到三路原始视频图像, 分别输出 到 VD4、 VD5和 VD6进行显示。
需要说明的是, 步骤 1〜步骤 5的流程与步骤 6〜步骤 8的流程是互不影 响的两个流程, 不分先后。
本实施例中,第一终端、第二终端、第三终端和 MCU均包含拼接模块、 编码模块、 发送模块和第一确定模块, 还可以包含第二确定模块、 接收模 块、 解码模块和分解模块, 分别与实施例二中相应模块的功能基本相同。 具体地, 拼接模块配置为在只有一个原始视频图像时, 不对所述原始视频 图像进行拼接处理, 直接发送给编码模块进行编码; 在有两个或两个以上
原始视频图像时根据预先确定的视频排列信息对两个或两个以上原始视频 图像进行拼接得到一个合成视频图像, 发送给编码模块进行编码; 发送模 块配置为将编码模块编码处理后的原始视频图像或合成视频图像发送给第 一终端或第二终端或第三终端或 MCU的接收模块;接收模块还配置为接收 来自第一终端、或第二终端、或第三终端或 MCU的原始视频图像或合成视 频图像, 解码模块还配置为对接收模块接收到的原始视频图像或合成视频 图像进行解码; 分解模块还配置为对于解码模块解码后的原始视频图像不 进行分解, 对于解码模块解码后的合成视频图像根据预先确定的视频排列 信息进行分解得到原始视频图像, 并根据所述视频排列信息将原始视频图 像发送到相应的视频显示设备上进行显示。
实际应用中, 上述各实施例中的终端具体可以是视频会议终端、 手机 终端、 机顶盒等类似的具备视频通信能力的硬件设备。
以上所述, 仅为本发明的较佳实施例而已, 并非用于限定本发明的保 护范围。 工业实用性
本发明实施例的视频处理方法及装置、 系统中, 发送端将采集的多个 视频图像按照预先协商的视频排列信息进行拼接, 合成一个图像后进行编 码发送; 接收端接收所述图像并解码后, 按照所述视频排列信息将所述图 像进行分解, 得到所述多个视频图像, 并将所述多个视频图像发送到各自 的显示设备上进行显示。
本发明实施例能够将多路原始视频图像拼接为一个合成视频图像后再 进行编码和发送, 确保远程呈现会议中多路视频之间的严格同步; 并且, 在接收所述合成视频图像后先分解为多个原始视频图像再分别由相应的视 频显示设备显示, 解决了视频图像输出位置的确定问题, 保证远程呈现会 议中多屏之间的时序严格同步, 视频图像按照预先设定的位置输出, 从而
呈现逼真的通信效果
Claims
1、 一种视频处理方法, 所述方法包括:
按照预先确定的视频排列信息, 将两个或两个以上的原始视频图像拼 接, 得到一个合成视频图像;
对所述合成视频图像编码;
将所述编码后的合成视频图像发送出去。
2、 根据权利要求 1所述的视频处理方法, 其中, 所述将两个或两个以 上的原始视频图像拼接之前, 所述方法还包括:
分别由两个或两个以上的视频采集设备采集所述两个或两个以上的原 始视频图像。
3、 根据权利要求 1所述的视频处理方法, 其中, 所述视频排列信息包 括各所述原始视频图像所对应的视频采集设备的标识、 各所述原始视频图 像在所述合成视频图像中的位置信息、 各所述原始视频图像所对应的视频 显示设备的标识之间的对应关系。
4、 根据权利要求 1或 3所述的视频处理方法, 其中, 所述将两个或两 个以上的原始视频图像拼接之前, 所述方法还包括:
通过与配置为接收所述视频图像的端点进行媒体能力协商, 确定所述 视频排列信息。
5、 一种视频处理装置, 其中, 所述装置包括: 拼接模块、 编码模块和 发送模块; 其中,
拼接模块, 配置为按照预先确定的视频排列信息, 将两个或两个以上 的原始视频图像拼接, 得到一个合成视频图像;
编码模块, 配置为对所述拼接模块得到的合成视频图像编码; 发送模块, 配置为将所述编码模块编码后的合成视频图像发送出去。
6、 根据权利要求 5所述的视频处理装置, 其中, 所述装置还连接有两
个或两个以上的视频采集设备, 所述视频采集设备配置为采集所述原始视 频图像。
7、 根据权利要求 5所述的视频处理装置, 其中, 所述视频排列信息包 括各所述原始视频图像所对应的视频采集设备的标识、 各所述原始视频图 像在所述合成视频图像中的位置信息、 各所述原始视频图像所对应的视频 显示设备的标识之间的对应关系。
8、 根据权利要求 5所述的视频处理装置, 其中, 所述装置还包括: 第 一确定模块, 还配置为通过与配置为接收所述视频图像的端点进行媒体能 力协商, 确定所述视频排列信息;
所述拼接模块, 配置为根据所述第一确定模块确定的视频排列信息, 将两个或两个以上的原始视频图像拼接, 得到一个合成视频图像。
9、 一种视频处理方法, 所述方法包括:
接收由两个或两个以上的原始视频图像拼接并编码后的合成视频图 像;
对所述合成视频图像解码;
按照预先确定的视频排列信息, 对解码后的合成视频图像分解, 得到 两个或两个以上的原始视频图像, 并将各所述原始视频图像分别发送到相 应的视频显示设备上进行显示。
10、 根据权利要求 9所述的视频处理方法, 其中, 所述视频排列信息 包括各所述原始视频图像所对应的视频采集设备的标识、 各所述原始视频 图像在所述合成视频图像中的位置信息、 各所述原始视频图像所对应的视 频显示设备的标识之间的对应关系。
11、 根据权利要求 9或 10所述的视频处理方法, 其中, 所述对解码后 的合成视频图像分解之前, 所述方法还包括:
通过与配置为发送所述合成视频图像的端点进行媒体能力协商, 确定
所述视频排列信息。
12、 一种视频处理装置, 所述装置包括: 接收模块、 解码模块和分解 模块; 其中,
接收模块, 配置为接收由两个或两个以上的原始视频图像拼接并编码 后的合成视频图像;
解码模块, 配置为对所述接收模块接收到的合成视频图像解码; 分解模块, 配置为按照预先确定的视频排列信息, 对解码后的合成视 频图像分解, 得到两个或两个以上的原始视频图像, 并将各所述原始视频 图像分别发送到相应的视频显示设备上进行显示。
13、 根据权利要求 12所述的视频处理装置, 其中, 所述视频排列信息 包括各所述原始视频图像所对应的视频采集设备的标识、 各所述原始视频 图像在所述合成视频图像中的位置信息、 各所述原始视频图像所对应的视 频显示设备的标识之间的对应关系。
14、 根据权利要求 12或 13所述的视频处理装置, 其中, 所述装置还 包括: 第二确定模块, 还配置为通过与配置为发送所述视频图像的端点进 行媒体能力协商, 确定所述视频排列信息;
所述分解模块, 配置为根据所述第二确定模块确定的视频排列信息, 对解码后的合成视频图像分解, 得到两个或两个以上的原始视频图像。
15、 一种视频处理方法, 所述方法包括:
按照预先确定的视频排列信息, 将两个或两个以上的原始视频图像拼 接, 得到一个合成视频图像, 对所述合成视频图像编码后发送出去;
接收所述合成视频图像, 对所述合成视频图像解码, 并按照预先确定 的视频排列信息, 对解码后的合成视频图像分解, 得到两个或两个以上的 原始视频图像, 再将各所述原始视频图像分别发送到相应的视频显示设备 上进行显示。
16、 根据权利要求 15所述的视频处理方法, 其中, 所述将两个或两个 以上的原始视频图像拼接之前, 所述方法还包括: 分别由两个或两个以上 的视频采集设备采集所述两个或两个以上的原始视频图像。
17、 根据权利要求 15所述的视频处理方法, 其中, 所述视频排列信息 包括各所述原始视频图像所对应的视频采集设备标识、 各所述原始视频图 像的位置信息、 各所述原始视频图像所对应视频显示设备的标识之间的对 应关系。
18、 根据权利要求 15或 17所述的视频处理方法, 其中, 所述方法还 包括: 进行媒体能力协商, 确定所述视频排列信息。
19、 一种视频处理系统, 所述视频处理系统包括: 拼接模块、 编码模 块、 发送模块、 接收模块、 解码模块和分解模块; 其中,
拼接模块, 配置为按照预先确定的视频排列信息, 将两个或两个以上 的原始视频图像拼接, 得到一个合成视频图像;
编码模块, 配置为对所述拼接模块得到的合成视频图像编码; 发送模块, 配置为将所述编码模块编码后的合成视频图像发送出去; 接收模块, 配置为接收所述发送模块发送的合成视频图像;
解码模块, 配置为对所述接收模块接收到的合成视频图像解码; 分解模块, 配置为按照预先确定的视频排列信息, 对解码后的合成视 频图像分解, 得到两个或两个以上的原始视频图像, 并将各所述原始视频 图像分别发送到相应的外接视频显示设备上进行显示。
20、 根据权利要求 19所述的视频处理装置, 其中, 所述拼接模块还连 接有两个或两个以上的视频采集设备, 所述视频采集设备配置为采集所述 原始视频图像。
21、 根据权利要求 19或 20所述的视频处理系统, 其中, 所述系统还 包括: 第一确定模块和第二确定模块, 配置为进行媒体能力协商, 确定所
述视频排列信息;
所述拼接模块, 配置为根据所述第一确定模块确定的视频排列信息, 将两个或两个以上的原始视频图像拼接, 得到一个合成视频图像;
所述分解模块, 配置为根据所述第二确定模块确定的视频排列信息, 对解码后的合成视频图像分解, 得到两个或两个以上的原始视频图像。
22、 根据权利要求 21所述的视频处理系统, 其中,
所述拼接模块、 编码模块、 发送模块和第一确定模块设置在本端终端 上, 所述本端终端外接视频采集设备;
所述接收模块、 解码模块、 分解模块和第二确定模块设置在远端终端 上, 所述远端终端外接视频显示设备。
23、 根据权利要求 21所述的视频处理系统, 其中, 所述系统还包括多 点处理单元 MCU, 配置为实现所述本端终端与一个或多个远端终端之间的 交互。
24、 根据权利要求 20所述的视频处理系统, 其中, 所述系统包括多个 终端和 MCU, 其中, 所述多个终端之间互为本端终端和远端终端, 通过所 述 MCU进行交互;
各所述终端均外接有视频采集设备和视频显示设备, 每个所述终端均 包括所述拼接模块、 编码模块、 发送模块、 接收模块、 解码模块、 分解模 块、 第一确定模块和第二确定模块;
所述 MCU中包括所述拼接模块、 编码模块、 发送模块、 接收模块、 解 码模块、 分解模块、 第一确定模块和第二确定模块。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/408,391 US9497390B2 (en) | 2012-07-23 | 2013-07-22 | Video processing method, apparatus, and system |
| EP13822250.0A EP2852157B1 (en) | 2012-07-23 | 2013-07-22 | Video processing method, apparatus, and system |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210256064.9 | 2012-07-23 | ||
| CN201210256064.9A CN103581609B (zh) | 2012-07-23 | 2012-07-23 | 一种视频处理方法及装置、系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2014015780A1 true WO2014015780A1 (zh) | 2014-01-30 |
Family
ID=49996584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2013/079835 Ceased WO2014015780A1 (zh) | 2012-07-23 | 2013-07-22 | 一种视频处理方法及装置、系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9497390B2 (zh) |
| EP (1) | EP2852157B1 (zh) |
| CN (1) | CN103581609B (zh) |
| WO (1) | WO2014015780A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116055657A (zh) * | 2023-01-10 | 2023-05-02 | 深圳市巨烽显示科技有限公司 | 一种多路视频与可视数据组件混合拼接方法及相关设备 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104883344B (zh) * | 2014-02-28 | 2018-07-03 | 华为技术有限公司 | 协商媒体能力的方法和设备 |
| CN104156187B (zh) * | 2014-07-24 | 2018-11-23 | 惠州Tcl移动通信有限公司 | 一种多屏显示设备 |
| GB201413581D0 (en) * | 2014-07-31 | 2014-09-17 | Microsoft Corp | Instant messaging |
| CN105472310A (zh) * | 2016-01-26 | 2016-04-06 | 邦彦技术股份有限公司 | 一种基于sip协议的视频会议的实现方法及其系统 |
| CN105681731A (zh) * | 2016-03-04 | 2016-06-15 | 福建星网智慧科技股份有限公司 | 一种基于多媒体终端实现四方视频会议的方法及系统 |
| CN105979189A (zh) * | 2016-05-31 | 2016-09-28 | 杭州趣吧科技有限公司 | 一种视频信号处理与存储方法与系统 |
| CN107623822B (zh) * | 2017-09-04 | 2019-07-16 | 浙江大华技术股份有限公司 | 一种视频融合系统、方法及装置 |
| CN107872683B (zh) * | 2017-11-21 | 2021-04-20 | 广州视源电子科技股份有限公司 | 一种视频数据处理方法、装置、设备及存储介质 |
| CN108551581A (zh) * | 2018-06-21 | 2018-09-18 | 湖南君瀚信息技术有限公司 | 一种两路通道的视频编解码传输系统 |
| CN111372035A (zh) * | 2018-12-25 | 2020-07-03 | 杭州海康威视数字技术股份有限公司 | 多媒体数据处理方法、装置、电子设备及可读存储介质 |
| CN113316019B (zh) * | 2021-05-26 | 2022-04-26 | 北京搜房科技发展有限公司 | 视频合成方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100171881A1 (en) * | 2007-05-30 | 2010-07-08 | France Telecom | Generation of a customizable tv mosaic |
| CN101977305A (zh) * | 2010-10-27 | 2011-02-16 | 北京中星微电子有限公司 | 一种视频处理方法及装置和系统 |
| CN102111605A (zh) * | 2009-12-28 | 2011-06-29 | 杭州华三通信技术有限公司 | Mcu多画面分屏实现方法及mcu |
| CN102226943A (zh) * | 2011-04-29 | 2011-10-26 | 杭州海康威视数字技术股份有限公司 | 一种实现屏幕拼接的系统及方法 |
| CN102547212A (zh) * | 2011-12-13 | 2012-07-04 | 浙江元亨通信技术股份有限公司 | 多路视频图像的拼接方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2038842A2 (en) * | 2006-06-30 | 2009-03-25 | Nxp B.V. | A method and device for video stitching |
| CN2912166Y (zh) * | 2006-07-05 | 2007-06-13 | 北京汉邦高科数字技术有限公司 | 一种多路视频输入装置 |
| US8139100B2 (en) | 2007-07-13 | 2012-03-20 | Lifesize Communications, Inc. | Virtual multiway scaler compensation |
| US8502857B2 (en) | 2008-11-21 | 2013-08-06 | Polycom, Inc. | System and method for combining a plurality of video stream generated in a videoconference |
| CN101534413B (zh) * | 2009-04-14 | 2012-07-04 | 华为终端有限公司 | 一种远程呈现的系统、装置和方法 |
| CN101562706B (zh) * | 2009-05-22 | 2012-04-18 | 杭州华三通信技术有限公司 | 一种图像拼接方法和设备 |
| EP2525574A4 (en) | 2010-01-29 | 2013-07-10 | Huawei Device Co Ltd | METHOD, DEVICE AND SYSTEM FOR VIDEO COMMUNICATION |
| WO2012059280A2 (en) * | 2010-11-05 | 2012-05-10 | Telefonica, S.A. | System and method for multiperspective telepresence communication |
| US8860779B2 (en) * | 2011-05-23 | 2014-10-14 | Broadcom Corporation | Two-way audio and video communication utilizing segment-based adaptive streaming techniques |
| WO2012106898A1 (zh) * | 2011-07-18 | 2012-08-16 | 华为技术有限公司 | 多路音视频传输和处理方法、装置及系统 |
-
2012
- 2012-07-23 CN CN201210256064.9A patent/CN103581609B/zh not_active Expired - Fee Related
-
2013
- 2013-07-22 WO PCT/CN2013/079835 patent/WO2014015780A1/zh not_active Ceased
- 2013-07-22 EP EP13822250.0A patent/EP2852157B1/en not_active Not-in-force
- 2013-07-22 US US14/408,391 patent/US9497390B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100171881A1 (en) * | 2007-05-30 | 2010-07-08 | France Telecom | Generation of a customizable tv mosaic |
| CN102111605A (zh) * | 2009-12-28 | 2011-06-29 | 杭州华三通信技术有限公司 | Mcu多画面分屏实现方法及mcu |
| CN101977305A (zh) * | 2010-10-27 | 2011-02-16 | 北京中星微电子有限公司 | 一种视频处理方法及装置和系统 |
| CN102226943A (zh) * | 2011-04-29 | 2011-10-26 | 杭州海康威视数字技术股份有限公司 | 一种实现屏幕拼接的系统及方法 |
| CN102547212A (zh) * | 2011-12-13 | 2012-07-04 | 浙江元亨通信技术股份有限公司 | 多路视频图像的拼接方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116055657A (zh) * | 2023-01-10 | 2023-05-02 | 深圳市巨烽显示科技有限公司 | 一种多路视频与可视数据组件混合拼接方法及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103581609B (zh) | 2018-09-28 |
| EP2852157A4 (en) | 2015-07-22 |
| CN103581609A (zh) | 2014-02-12 |
| EP2852157A1 (en) | 2015-03-25 |
| US20150172558A1 (en) | 2015-06-18 |
| US9497390B2 (en) | 2016-11-15 |
| EP2852157B1 (en) | 2019-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103581609B (zh) | 一种视频处理方法及装置、系统 | |
| CN101309390B (zh) | 视讯通信系统、装置及其字幕显示方法 | |
| CN102547209B (zh) | 视讯设备控制方法、装置及视讯系统 | |
| CN102655584B (zh) | 一种远程呈现技术中媒体数据发送和播放的方法及系统 | |
| CN101478642A (zh) | 视频会议系统的多画面混图方法及装置 | |
| CN101198008A (zh) | 一种实现多屏多画面的方法和系统 | |
| JP2018056719A (ja) | テレビ会議装置 | |
| CN103096020B (zh) | 视讯会议系统、视讯会议装置及其方法 | |
| WO2012072008A1 (zh) | 视频信号的辅助信息叠加方法及装置 | |
| WO2012041117A1 (zh) | 一种对视频会议终端集中监控的方法和系统及相关装置 | |
| CN102387338B (zh) | 分布式视频处理方法及视频会议系统 | |
| CN104869348A (zh) | 基于视频会议的电子白板交互方法、及终端 | |
| WO2014180371A1 (zh) | 一种会议控制方法、装置及会议系统 | |
| CN102572368A (zh) | 分布式视频的处理方法、系统及多点控制单元 | |
| WO2014173091A1 (zh) | 一种视频会议中会议材料的显示方法及装置 | |
| CN103856809A (zh) | 一种多点同屏方法、系统及终端设备 | |
| CN100556151C (zh) | 一种视频终端以及一种音频码流处理方法 | |
| WO2016206471A1 (zh) | 多媒体业务处理方法、系统及装置 | |
| CN103098440B (zh) | 网络系统、通信方法以及通信终端 | |
| CN113709528B (zh) | 播放控制、配置方法、装置、电子设备及存储介质 | |
| CN101635822B (zh) | 一种会议电视终端双流自动发送的实现方法 | |
| CN209642862U (zh) | 一种摄像机多用的多功能视频会议系统 | |
| CN101895717A (zh) | 一种视频会议中显示纯语音终端图像的方法 | |
| CN102281424B (zh) | 会场图像广播方法及多点控制单元 | |
| CN105915837B (zh) | 一种视频切换方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13822250 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 14408391 Country of ref document: US |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2013822250 Country of ref document: EP |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |