WO2020032371A1 - 영상 공유 방법 및 장치 - Google Patents

영상 공유 방법 및 장치 Download PDF

Info

Publication number
WO2020032371A1
WO2020032371A1 PCT/KR2019/006916 KR2019006916W WO2020032371A1 WO 2020032371 A1 WO2020032371 A1 WO 2020032371A1 KR 2019006916 W KR2019006916 W KR 2019006916W WO 2020032371 A1 WO2020032371 A1 WO 2020032371A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user device
view
angle
target user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/006916
Other languages
English (en)
French (fr)
Inventor
김용국
조성래
김용진
김준세
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Linkflow Co Ltd
Original Assignee
Linkflow Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180109022A external-priority patent/KR102101382B1/ko
Application filed by Linkflow Co Ltd filed Critical Linkflow Co Ltd
Priority to US17/250,109 priority Critical patent/US20210235164A1/en
Publication of WO2020032371A1 publication Critical patent/WO2020032371A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof

Definitions

  • the present invention relates to an image sharing method and apparatus. More particularly, the present invention relates to a method for sharing an image between user devices by using a relay device.
  • An omnidirectional imaging system refers to an imaging system capable of recording image information in all directions (360 degrees) based on a specific viewpoint. It is possible to obtain a much wider field-of-view image than a conventional imaging system, and thus, in addition to research fields such as computer vision and mobile robot, surveillance systems, virtual reality systems, and pan-tilt-zoom Applications are becoming increasingly widespread in practical applications such as cameras and video conferencing.
  • an omnidirectional image may be generated by bonding images obtained by rotating one camera based on an optical axis satisfying a single view point.
  • a method of arranging a plurality of cameras in an annular structure and combining images obtained from each camera may be used.
  • a user may generate an omnidirectional image using various omnidirectional image processing apparatuses (or omnidirectional image processing cameras or 360 degree cameras).
  • the omnidirectional image processing apparatus may be utilized in various areas. For example, it can be used in areas requiring surveillance of omnidirectional video such as security / security, or it can be used to record the places visited by travelers when traveling.
  • the omnidirectional image photographed based on the omnidirectional image processing apparatus may be edited and used as an image for sale of a product.
  • the omnidirectional image processing apparatus may be used for various purposes.
  • An object of the present invention is to solve all the above-mentioned problems.
  • an object of the present invention is to transmit an image (for example, an omnidirectional image) to a target user device by using a relay device such as a user device.
  • an object of the present invention is to allow a user of a target user device located at a far distance to receive an image captured by the image processing device in real time to share a situation at a location of the image processing device at a long distance.
  • an object of the present invention is to prevent network load by minimizing unnecessary image data when sharing an image, and to prevent image disconnection.
  • an image sharing method includes connecting a target user device to a relay user device based on a first communication network and capturing the target user device by an image processing device based on the first communication network. And receiving the generated image data in real time, wherein the image processing apparatus and the relay user apparatus may be connected based on a second communication network.
  • a target user device for performing image sharing includes a communication unit implemented to receive image data and a processor operatively connected to the communication unit, wherein the processor comprises a relay user device; 1 may be configured to connect based on a communication network, and receive image data generated by an image processing apparatus in real time based on the first communication network, wherein the image processing apparatus and the relay user apparatus are provided in a second manner.
  • the connection may be based on a communication network.
  • an image (for example, an omnidirectional image) may be transmitted to the target user device by using a relay device such as a user device.
  • a user of a remotely located target user device may receive an image captured by the image processing device in real time so that the situation at the location of the image processing device may be shared remotely.
  • network load can be reduced by minimizing unnecessary image data when sharing images, and image breakage can be prevented.
  • FIG. 1 is a conceptual diagram illustrating a video sharing method according to an embodiment of the present invention.
  • FIG. 2 is a conceptual diagram illustrating a method of transmitting an image based on a user device according to an embodiment of the present invention.
  • FIG. 3 is a conceptual diagram illustrating a method of transmitting an image based on a user device according to an embodiment of the present invention.
  • FIG. 4 is a conceptual diagram illustrating a method of transmitting an image through a user device according to an embodiment of the present invention.
  • FIG. 5 is a conceptual diagram illustrating a method of transmitting an image through a user device according to an embodiment of the present invention.
  • FIG. 6 is a conceptual diagram illustrating a method of checking an image through a user device located at a far distance according to an embodiment of the present invention.
  • FIG. 7 is a conceptual diagram illustrating a method for receiving an image of a specific field of view selected by a target user according to an embodiment of the present invention.
  • FIG. 8 is a conceptual diagram illustrating a method of checking an image in a target user device according to an embodiment of the present invention.
  • the image processing apparatus is an omnidirectional image processing apparatus, and that an image captured by the image processing apparatus is an omnidirectional image.
  • the image processing apparatus may include not only an omnidirectional image processing apparatus but also various types of image processing apparatuses. It may include an image of an angle of view.
  • FIG. 1 is a conceptual diagram illustrating a video sharing method according to an embodiment of the present invention.
  • a method for transmitting an image eg, an omnidirectional image
  • an image processing apparatus eg, an omnidirectional image processing apparatus
  • the target user device may be a device that is not directly connected to the image processing device and receives an image captured by the image processing device.
  • a relay user may wear the image processing apparatus 100 and carry the relay user apparatus 110.
  • the image processing apparatus is a wearable image processing apparatus that may be worn by a relay user in the form of a neckband.
  • the image processing apparatus may include not only an image processing apparatus for capturing a 360 degree image, but also an image processing apparatus for capturing an image having a lower angle of view.
  • the relay user wears the image processing apparatus 100 and carries the relay user apparatus 110.
  • the relay user wearing the image processing apparatus 100 and the relay user apparatus 110 carry the same.
  • the users can be different.
  • the target user may carry the target user device 120 and receive an image captured by the image processing device 100.
  • the target user device 120 For convenience of description, it is assumed that one user wears the image processing apparatus 100 and carries the relay user apparatus 110, but the user and the relay user apparatus 110 wearing the omnidirectional image processing apparatus 100 are used. Carrying users may be different.
  • Omni-directional image data generated by the image processing apparatus 100 may be transmitted to the target user device 120 through the relay user device 110.
  • the target user may check the omnidirectional image of the current situation of the relay user at a distance through the target user device 120.
  • FIG. 2 is a conceptual diagram illustrating a method of transmitting an image based on a user device according to an embodiment of the present invention.
  • an image checking method based on a target user device is disclosed.
  • the communication procedure disclosed in FIG. 2 is one example, and various other methods may be utilized to identify an image through the target user device.
  • the image processing apparatus may include an omnidirectional image processing apparatus, and the image may include an omnidirectional image.
  • the image processing apparatus 200 may operate.
  • a first communication connection may be performed between the image processing apparatus 200 and the relay user device 210.
  • the relay user device 210 may act as a router based on a function such as a hot spot.
  • the image processing apparatus 200 may be combined with the relay user device 210 serving as a router.
  • the target user device 220 may be connected to the image processing device 200 from the outside based on port forwarding.
  • Port forwarding or port mapping is the process of forwarding a request for a combination of one Internet protocol (IP) address and port number combination to another while a packet crosses a network gateway, such as a router or firewall, in a computer network.
  • IP Internet protocol
  • State is a network address translation (NAT) technology.
  • the relay user device 210 sets IP: PhoneA and port number: PhoneA for the image processing device 200, and through the port forwarding technology, the image processing device 200 and the target user device. 220 may be connected.
  • the target user device 220 may receive an image data transmitted through the image processing apparatus 200 by inputting an IP and a port number set by the relay user device. Alternatively, information about the IP and the port number is automatically transferred between the relay user device 210 and the target user device 220 through a separate application so that the target user device receives data generated by the image processing device without additional input. can do.
  • the target user device 220 may check an image captured by the image processing apparatus 200 transmitted based on a video transmission protocol such as a real-time streaming protocol (RTSP) scheme.
  • a video transmission protocol such as a real-time streaming protocol (RTSP) scheme.
  • RTSP real-time streaming protocol
  • Port forwarding and real-time streaming protocol (RTSP) schemes are examples, and sharing of images may be performed in various ways.
  • RTSP real-time streaming protocol
  • the target user device connects to the relay user device based on the first communication network, and the target user device is captured by the image processing device based on the first communication network.
  • the method may include receiving the generated image data in real time, but the image processing apparatus and the relay user apparatus may be connected based on the second communication network.
  • the first communication network is generated based on IP and port information set by the relay user device of the target user device based on port forwarding
  • the second communication network is a hot spot of the relay user device. Can be generated based on functionality.
  • FIG. 3 is a conceptual diagram illustrating a method of transmitting an image based on a user device according to an embodiment of the present invention.
  • FIG. 3 a method of performing communication between an image processing device and a user device through at least one access point (AP) is disclosed.
  • the image processing apparatus 300 may start an operation and capture an image (eg, omnidirectional image).
  • AP1 310 and AP2 320 may be connected in a wireless distribution system (WDS) manner.
  • WDS wireless distribution system
  • the image processing apparatus 300 may be connected to the AP1 310, and the user device 330 may be connected to the AP2 320.
  • the user device 330 may input an internal IP and a port number of the image processing device 300 in the application.
  • the user device 330 may check the image captured by the image processing apparatus in the RTSP method.
  • the internal IP and port number of the image processing apparatus 300 may be automatically input based on the application without additional input on the user device.
  • FIG. 4 is a conceptual diagram illustrating a method of transmitting an image through a user device according to an embodiment of the present invention.
  • FIG. 4 a method for reducing the size of image data to be transmitted among the image transmission methods based on a user device is disclosed.
  • the image processing apparatus is an omnidirectional image processing apparatus and the image is an omnidirectional image (360 degree image).
  • a method for reducing the amount of image data transmitted in real time by providing only an image corresponding to a part of an angle of view of an omnidirectional image transmitted to a relay user device to a target user device is disclosed.
  • the entire image data corresponding to the entire angle of view image (eg, 360 degree image) captured by the image processing apparatus may be transmitted to the relay user apparatus directly connected to the image processing apparatus.
  • the image checked by the target user device may be an image of a part of the angle of view that the target user is interested in, not the entire angle of view image. Therefore, the image data transmitted by the relay user device may be transmitted not the entire field of view image data but only partial image data 450 for a partial field of view of interest by the target user. In this way, the burden on the communication network is reduced, and unnecessary data dropping due to the data load can be prevented.
  • the target user device may transmit the image information 400 of the output image currently output by the target user device to the relay user device through the application.
  • the image information 400 may include information about an output image angle of view output by the target user device.
  • the target user device may transmit the image information 400 to the relay user device.
  • the relay user device may receive the image information 400 and determine the partial image data 450 to be transmitted to the target user device based on the image information.
  • the relay user device may further include the target user device up to the reference image area 420 determined based on the output image angle information included in the image information 400 and the peripheral image area 440 of the reference image area 420. Can be sent to.
  • the reference image area 420 may be an image area of an angle of view of -30 degrees to 30 degrees indicated by the target user device
  • the peripheral image area 440 is an image area of an angle of view of -30 degrees to +30 degrees. It may be a peripheral image area (eg, an image area of -60 degrees to -30 degrees, +30 degrees to +60 degrees) 440 extended based on the threshold.
  • a threshold percentage for determining the surrounding image area may change according to the communication state / frequency of screen movement of the user. As the communication state is relatively good, the threshold percentage may be relatively increased. As the communication state is relatively good, the threshold percentage may be relatively decreased.
  • the threshold percentage may be relatively increased, and as the screen movement frequency of the user of the target user device is relatively small, the threshold percentage may be relatively decreased.
  • the original image data captured and generated by the image processing apparatus are image data of a first angle of view, the image data is image data of a second angle of view, and the first angle of view is greater than the second angle of view, and the second angle of view is the target user device. Can be determined by.
  • the target user device generates image information, the image information includes output image angle information indicating a second angle of view, the output image angle of view information includes information on an output image angle of view to be output from the target user device, and output image The angle of view may be determined based on the direction or absolute direction of the image processing apparatus.
  • FIG. 5 is a conceptual diagram illustrating a method of transmitting an image through a user device according to an embodiment of the present invention.
  • FIG. 5 a method for reducing the size of image data to be transmitted among the image transmission methods based on a user device is disclosed.
  • the image processing apparatus is an omnidirectional image processing apparatus and the image is an omnidirectional image (360 degree image).
  • the image information 500 for reducing the size of the image data may include output image direction information, output image horizontal angle of view information, and output image vertical angle of view information.
  • the output image direction information may be determined by at least one camera among a plurality of cameras implemented in the image processing apparatus as information on the imaging direction of the image processing apparatus. For example, when a user wears an image processing apparatus in the form of a neck band, a specific direction (eg, a front direction of the user) captured by a specific camera included in the image processing apparatus may be an output image direction.
  • a specific direction eg, a front direction of the user
  • the output image horizontal angle of view information may indicate an angle of view in the horizontal direction based on the direction indicated by the output image direction information.
  • the horizontal direction may be a longitudinal direction.
  • the output image horizontal angle of view information may include information about the horizontal angle of view selected by the target user.
  • the output image vertical angle of view information may indicate the angle of view of the vertical direction based on the direction indicated by the output image direction information.
  • the vertical direction may be a latitude direction.
  • the output image vertical angle of view information may include information about the vertical angle of view selected by the target user.
  • the relay user device receives the image information 500 including the output image direction information, the output image horizontal angle of view information, and the output image vertical angle of view information, and transmits partial image data to be transmitted to the target user device based on the image information 500. 550 may be determined.
  • the relay user device may include the reference image area 520 and the reference image area 520 determined based on the output image angle of view information, the output image horizontal angle of view information, and the output image vertical angle of view information included in the image information 500.
  • the peripheral image area 540 may be further transmitted to the target user device.
  • the reference image area 520 may include a first direction, an output image horizontal angle of view (-30 degrees to +30 degrees), and an output image vertical angle of view (-30 degrees to +30 degrees) indicated by the target user device.
  • the peripheral image area 540 may extend the output image horizontal angle of view (-30 degrees to +30 degrees) by a first threshold percentage in the first direction, and output image vertical angle of view (-30 degrees to +30 degrees). ) May be an area in which the second threshold percentage is expanded.
  • the target user wants to see and the angle of view changes
  • information about the changed direction and the changed angle of view may be transmitted from the target user device to the relay user device.
  • the reference image area 520 and the surrounding image area 540 may be changed again.
  • the first threshold percentage and / or the second threshold percentage for determining the surrounding image area 540 may be changed according to the communication state / frequency of screen movement of the user.
  • the relatively good communication state may relatively increase the first and / or second threshold percentages, and the relatively poor communication state may relatively decrease the first and / or second threshold percentages. .
  • first threshold percentage and / or the second threshold percentage are relatively increased as the screen movement frequency of the user of the target user device is relatively high, and the first threshold percentage is relatively small as the screen movement frequency of the user of the target user device is relatively small. And / or the second threshold percentage may be relatively reduced.
  • FIG. 6 is a conceptual diagram illustrating a method of checking an image through a user device located at a far distance according to an embodiment of the present invention.
  • FIG. 6 a method of automatically adjusting a screen of a target user device for convenience of screen viewing of a remotely located user device is disclosed.
  • an image captured by the image processing apparatus may be delivered to the target user apparatus through the relay user apparatus or the AP as described above.
  • the target user device may provide an image to the target user based on a reference point set by the target user.
  • an image may be provided to the target user device based on the reference point 600 set by the target user.
  • the reference point 600 may be set such that an image of a specific direction, a specific horizontal angle of view, and a specific vertical angle of view is positioned in the middle of the display of the target user device. In this case, even when the position of the image processing apparatus changes or is shaken, an image maintaining a specific horizontal / vertical angle of view and a specific direction may be provided on the target user device.
  • the target user may set a specific direction and a specific horizontal / vertical angle of view in the omnidirectional image reproduced on the target user device.
  • a target user sets a direction and a horizontal / vertical angle of view in an omnidirectional image by using a touch screen on the target user device, and generates a specific touch through the user interface to output the image direction information 620 and outputs the image.
  • the image angle of view information 640 may be generated as the screen setting information.
  • the target user device may output an image indicated by the screen setting information of the omnidirectional image on the target user device. For example, the user sets a horizontal angle of view of -60 degrees to +60 degrees, a vertical angle of view of -45 degrees to +45 degrees based on the reference point 600, and sets an x direction based on the image processing device as a selection direction.
  • a screen determined based on the screen setting information among the omnidirectional images may be output. That is, only a specific region of the omnidirectional image may be output on the target user device, and through this method, the target user device may continuously receive a screen of a specific field of view regardless of the real-time movement of the image processing device.
  • FIG. 7 is a conceptual diagram illustrating a method for receiving an image of a specific field of view selected by a target user according to an embodiment of the present invention.
  • FIG. 7 when a screen of a specific field of view to be tracked by a target user is selected, a method for extracting direction and angle of view information on the screen of the field of view is disclosed. This may be applied to a method of determining the output image direction information, the output image horizontal angle of view information, and the output image vertical angle of view information described above with reference to FIGS. 4 and 5.
  • the output image direction information may be determined by matching the omnidirectional image and the selected image (step S710).
  • Direction information may be determined based on the selection screen.
  • the omnidirectional image image may be shaped like a sphere, and the output image direction in the omnidirectional image image may be set in various ways.
  • the output image direction may be generated based on the imaging directions of the plurality of cameras implemented in the image processing apparatus. Assuming that the image processing apparatus is at the center of the sphere, the direction information of 360 degrees may be determined based on the direction of the imaging line of the first camera of the image processing apparatus. The output image direction information may be determined based on which of 360 degrees the direction of the selection screen selected by the user indicates.
  • the imaging line may be a leader line in the direction indicated by the center of the camera lens.
  • the output image direction may be a direction relatively determined based on a specific direction (for example, north) rather than the direction of the image processing apparatus.
  • the output image horizontal angle of view information / output image vertical angle of view information may be determined by matching the omnidirectional image with the selection screen (step S720).
  • the output image horizontal angle of view information and the output image vertical angle of view information may be determined as the horizontal angle of view and the vertical angle of view based on the output image direction.
  • the horizontal angle of view may be in the longitudinal direction on the sphere, and the vertical angle of view may be in the latitude direction on the sphere.
  • the target user may be provided with a similar range of view despite the movement of the image capturing apparatus.
  • the image direction selected by the user may be set based on an absolute position (for example, north), or may be set to a relative position (front of the user, first camera image pickup line, etc.).
  • an absolute position for example, north
  • a relative position front of the user, first camera image pickup line, etc.
  • the image for the specific direction may be continuously provided regardless of the direction change of the user wearing the image processing apparatus.
  • the relative position is selected in the image direction, the image reflecting the change of the direction of the user wearing the image processing apparatus may be continuously provided.
  • the image output from the target user device may be changed in consideration of the change of direction of the target user device. For example, when the target user device returns to 30 degrees to the left based on the sensor of the target user device, the angle of view of the screen output from the current target user device is adjusted by -30 degrees to further reflect the movement of the target user device.
  • the screen output from the user device can be determined
  • the target user device may also provide a function of rotating the captured image.
  • the omnidirectional image After capturing the omnidirectional image provided in real time, the omnidirectional image may be rotated on a touch basis, and a variety of angles of view and time that the target user did not check according to the rotation may be provided.
  • omnidirectional image data related to the entire captured image may be transmitted to the target user device after the capture.
  • the omnidirectional image is provided in real time, if the target user resets the capture function, the omnidirectional image of the time after the reset may be provided to the target user again.
  • FIG. 8 is a conceptual diagram illustrating a method of checking an image in a target user device according to an embodiment of the present invention.
  • FIG. 8 a method of recommending a region of interest to a target user device is disclosed.
  • the image processing apparatus is an omnidirectional image processing apparatus and the image is an omnidirectional image.
  • a recommendation screen may be provided to the target user device so that the target user may receive images of various angles of view. For example, when the target user is currently provided with a screen having an angle of view of -30 degrees to +30 degrees as the selection screen, a screen for another angle of view among the omnidirectional image images may be provided as the recommended screen.
  • the relay user apparatus or the image processing apparatus may determine an angle of view in which a lot of change occurs and provide a screen for the angle of view to the target user as a recommendation screen.
  • an optimal view to be provided to the target user may be found and provided to the target user.
  • the default screen 850 may be provided to the target user with the same view as that of the user wearing the omnidirectional image processing apparatus.
  • the field of view of the omnidirectional image processing apparatus wearer may be changed, and the field of view of the omnidirectional image processing apparatus wearer may be changed according to the operation of the omnidirectional image processing apparatus wearer. May provide a more natural default screen 850 to the target user through learning about the change.
  • the current state 800 of the user wearing the omnidirectional image processing apparatus may be determined.
  • the user who wears the omnidirectional image processing apparatus (hereinafter, the wearer of the omnidirectional image processing apparatus) may determine whether to stand, sit, move, or climb the stairs. Determination of an operation (or current state 800) of the wearer of the omnidirectional image processing apparatus may be performed based on a sensor implemented in the omnidirectional image processing apparatus. Alternatively, the determination of the operation (or the current state 800) of the wearer of the omnidirectional image processing apparatus may be performed based on the image change in the omnidirectional image processing apparatus.
  • Learning of the wearer of the omnidirectional image processing apparatus may be performed, and a more accurate motion of the wearer of the current omnidirectional image wearing user (or the current state 800) may be determined based on the learning result. You can decide.
  • the default screen 850 to be provided to the current target user may be determined based on the current state 800 of the wearer of the omnidirectional image processing apparatus.
  • the image line reference of the first camera is based on the front surface of the wearer of the omnidirectional image processing apparatus.
  • the 60- + 60 degree direction may be the same as that of the current omnidirectional image processing device wearer.
  • the view of the wearer of the omnidirectional image processing device and the view of the wearer of the omnidirectional image processing device according to the current state 800 are reflected, so that the field of view of the forward image processing device wearer is the same as or similar to that of the front image processing device wearer.
  • the corresponding screen may be provided as the default screen 850 to the target user device.
  • the determination of the default screen 850 may be performed by at least one of the omnidirectional image processing apparatus, the relay user apparatus, and the target user apparatus.
  • the current state 800 of the wearer of the omnidirectional image processing apparatus is determined based on the motion sensing information transmitted by the omnidirectional image processing apparatus and the screen change of the omnidirectional image processing apparatus. And provide a default screen 850.
  • Embodiments according to the present invention described above can be implemented in the form of program instructions that can be executed by various computer components, and recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the computer readable recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the computer software field.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. medium) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • Hardware devices may be modified with one or more software modules to perform the processing according to the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 영상 공유 방법 및 장치에 관한 것이다. 영상 공유 방법은 타겟 사용자 장치가 중계 사용자 장치와 제1 통신 네트워크를 기반으로 연결하는 단계와 타겟 사용자 장치가 제1 통신 네트워크를 기반으로 영상 처리 장치에 의해 촬상되어 생성된 영상 데이터를 실시간으로 수신하는 단계를 포함할 수 있되, 영상 처리 장치와 중계 사용자 장치는 제2 통신 네트워크를 기반으로 연결될 수 있다.

Description

영상 공유 방법 및 장치
본 발명은 영상 공유 방법 및 장치에 관한 것이다. 보다 상세하게는 중계 장치를 활용하여 사용자 장치 간에 영상을 공유하기 위한 방법에 관한 것이다.
전방향(omnidirectional) 영상 시스템은 특정 시점을 기준으로 모든 방향(360도)의 영상 정보를 기록할 수 있는 영상 시스템을 일컫는다. 기존의 영상 시스템에 비해 매우 넓은 시야각(field-of-view)의 영상을 얻을 수 있기 때문에 근래 들어 컴퓨터 비전, 이동 로봇 등의 연구 분야와 더불어 감시 시스템, 가상 현실 시스템, PTZ(pan-tilt-zoom) 카메라, 영상 회의와 같은 실용 분야에 이르기까지 그 응용의 폭이 점점 더 넓어지고 있다.
전방향 영상을 얻기 위해 다양한 방법이 사용될 수 있다. 예를 들어, 단일 시점(single view point)를 만족하는 광축(optical axis)를 기준으로 하나의 카메라를 회전시키면서 얻은 영상을 접합하여 전방향 영상이 생성될 수 있다. 또는 복수의 카메라를 환형 구조로 배열하여 각각의 카메라에서 얻은 영상을 조합하는 방법이 사용될 수도 있다. 사용자는 다양한 전방향 영상 처리 장치(또는 전방향 영상 처리 카메라, 360도 카메라)를 사용하여 전방향 영상을 생성할 수 있다.
전방향 영상 처리 장치는 다양한 영역에서 활용될 수 있다. 예를 들어, 방범/보안과 같은 전방향의 영상에 대한 감시가 필요한 영역에서 활용될 수도 있고, 여행을 다닐 때 여행자가 방문했던 장소에 대한 기록을 위해 활용될 수도 있다. 이뿐만 아니라, 전방향 영상 처리 장치를 기반으로 촬영된 전방향 영상은 편집되어 상품의 판매를 위한 영상으로도 활용될 수도 있다.
전방향 영상 처리 장치를 통해 촬상된 영상이 사용자 장치를 통해 바로 확인이 가능한 경우, 전방향 영상 처리 장치가 다양한 용도로 활용될 수 있다.
따라서, 사용자가 전방향 영상 처리 장치를 기반으로 생성된 전방향 영상에 대한 다양한 처리를 통해 전방향 영상을 다양한 분야에서 활용하기 위한 기술 개발이 필요하다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 사용자 장치와 같은 중계 장치를 활용하여 영상(예를 들어, 전방향 영상)을 타겟 사용자 장치로 전송하는 것을 목적으로 한다.
또한, 본 발명은, 원거리에 위치한 타겟 사용자 장치의 사용자가 영상 처리 장치에 의해 촬상된 영상을 실시간으로 수신하여 영상 처리 장치 위치에서의 상황을 원거리에서 공유하는 것을 목적으로 한다.
또한, 본 발명은 영상을 공유시 불필요한 영상 데이터를 최소화하여 네트워크 부하를 방지하고, 영상 끊김을 방지하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 영상 공유 방법은 타겟 사용자 장치가 중계 사용자 장치와 제1 통신 네트워크를 기반으로 연결하는 단계와 상기 타겟 사용자 장치가 상기 제1 통신 네트워크를 기반으로 영상 처리 장치에 의해 촬상되어 생성된 영상 데이터를 실시간으로 수신하는 단계를 포함할 수 있되, 상기 영상 처리 장치와 상기 중계 사용자 장치는 제2 통신 네트워크를 기반으로 연결될 수 있다.
본 발명의 다른 태양에 따르면, 영상 공유를 수행하는 타겟 사용자 장치는 영상 데이터를 수신하기 위해 구현된 통신부와 상기 통신부와 동작 가능하게(operatively) 연결된 프로세서를 포함하되, 상기 프로세서는 중계 사용자 장치와 제1 통신 네트워크를 기반으로 연결하고, 상기 제1 통신 네트워크를 기반으로 영상 처리 장치에 의해 촬상되어 생성된 영상 데이터를 실시간으로 수신하도록 구현될 수 있되, 상기 영상 처리 장치와 상기 중계 사용자 장치는 제2 통신 네트워크를 기반으로 연결될 수 있다.
본 발명에 의하면, 사용자 장치와 같은 중계 장치를 활용하여 영상(예를 들어, 전방향 영상)이 타겟 사용자 장치로 전송될 수 있다.
또한, 원거리에 위치한 타겟 사용자 장치의 사용자가 영상 처리 장치에 의해 촬상된 영상을 실시간으로 수신하여 영상 처리 장치 위치에서의 상황이 원거리에서 공유될 수 있다.
또한, 영상을 공유시 불필요한 영상 데이터를 최소화하여 네트워크 부하가 감소되고, 영상 끊김이 방지될 수 있다.
도 1은 본 발명의 실시예에 따른 영상 공유 방법을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 사용자 장치를 기반으로 영상을 전송하는 방법을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 사용자 장치를 기반으로 영상을 전송하는 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 사용자 장치를 통해 영상을 전송하는 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 사용자 장치를 통해 영상을 전송하는 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 영상을 원거리에 위치한 사용자 장치를 통해 확인하는 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 타겟 사용자에 의해 선택된 특정 시야의 영상을 제공받기 위한 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 타겟 사용자 장치에서 영상을 확인하는 방법을 나타낸 개념도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여 지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
이하, 본 발명의 실시예에서는 설명의 편의상 영상 처리 장치를 전방향 영상 처리 장치로 가정하고, 영상 처리 장치에 의해 촬상된 영상을 전방향 영상으로 가정한다.
하지만, 본 발명의 실시예에 따른 영상 공유 방법 및 장치에서는 영상 처리 장치는 전방향 영상 처리 장치뿐만 아니라, 다양한 화각의 영상 처리 장치를 포함할 수 있고, 촬상된 영상은 전방향 영상뿐만 아니라, 다양한 화각의 영상을 포함할 수 있다.
도 1은 본 발명의 실시예에 따른 영상 공유 방법을 나타낸 개념도이다.
도 1에서는 영상 처리 장치(예를 들어, 전방향 영상 처리 장치)에 의해 촬상된 영상(예를 들어, 전방향 영상)을 중계 사용자 장치를 통하여 타겟 사용자 장치로 전송하기 위한 방법이 개시된다. 타겟 사용자 장치는 영상 처리 장치와 직접적으로 연결되지 않고 영상 처리 장치에 의해 촬상된 영상을 제공받는 장치일 수 있다.
도 1을 참조하면, 중계 사용자는 영상 처리 장치(100)를 착용하고, 중계 사용자 장치(110)를 휴대할 수 있다.
본 발명의 실시예에 따른 영상 처리 장치는 웨어러블 영상 처리 장치로서 넥밴드와 같은 형태로 중계 사용자에 의해 착용 가능한 것을 가정한다. 하지만, 이러한 웨어러블 형태의 영상 처리 장치뿐만 아니라 다른 다양한 형태의 영상 처리 장치도 본 발명의 실시예에 따른 영상 처리 장치에 포함될 수 있다. 또한, 영상 처리 장치는 360도 영상을 촬상하는 영상 처리 장치뿐만 아니라, 그 이하의 화각의 영상을 촬상하는 영상 처리 장치도 포함할 수 있다.
설명의 편의상 중계 사용자가 영상 처리 장치(100)를 착용하고, 중계 사용자 장치(110)를 휴대한 것으로 가정하나, 영상 처리 장치(100)를 착용한 중계 사용자와 중계 사용자 장치(110)를 휴대한 사용자는 서로 다를 수 있다.
타겟 사용자는 타겟 사용자 장치(120)를 휴대하고 영상 처리 장치(100)에 의해 촬상된 영상을 수신할 수 있다. 설명의 편의상 하나의 사용자가 영상 처리 장치(100)를 착용하고, 중계 사용자 장치(110)를 휴대한 것으로 가정하나, 전방향 영상 처리 장치(100)를 착용한 사용자와 중계 사용자 장치(110)를 휴대한 사용자는 서로 다를 수도 있다.
영상 처리 장치(100)가 촬상하여 생성한 전방향 영상 데이터는 중계 사용자 장치(110)를 통해 타겟 사용자 장치(120)로 전송될 수 있다.
타겟 사용자가 원거리에서 중계 사용자의 현재 상황에 대한 전방향 영상을 타겟 사용자 장치(120)를 통해 확인할 수 있다.
도 2는 본 발명의 실시예에 따른 사용자 장치를 기반으로 영상을 전송하는 방법을 나타낸 개념도이다.
도 2에서는 타겟 사용자 장치를 기반으로 한 영상 확인 방법이 개시된다. 도 2에서 개시되는 통신 절차는 하나의 예시이고, 다른 다양한 방법이 타겟 사용자 장치를 통해 영상을 확인하기 위해 활용될 수 있다. 전술한 바와 같이 영상 처리 장치는 전방향 영상 처리 장치를 포함하고, 영상은 전방향 영상을 포함할 수 있다.
도 2를 참조하면, 영상 처리 장치(200)가 동작할 수 있다.
영상 처리 장치(200)와 중계 사용자 장치(210) 간에 제1 통신 연결이 수행될 수 있다. 예를 들어, 중계 사용자 장치(210)는 핫 스팟(hot spot)과 같은 기능을 기반으로 공유기로서 역할을 수행할 수 있다. 영상 처리 장치(200)는 공유기 역할을 수행하는 중계 사용자 장치(210)와 결합될 수 있다.
타겟 사용자 장치(220)가 포트 포워딩(port forwarding)을 기반으로 외부에서 영상 처리 장치(200)와 연결될 수 있다.
포트 포워딩(port forwarding) 또는 포트 매핑(port mapping)은 컴퓨터 네트워크에서 패킷이 라우터나 방화벽과 같은 네트워크 게이트웨이를 가로지르는 동안 하나의 IP(internet protocol) 주소와 포트 번호 결합의 통신 요청을 다른 곳으로 넘겨주는 네트워크 주소 변환(network address translation ,NAT) 기술이다.
예를 들어, 중계 사용자 장치(210)가 영상 처리 장치(200)를 위해 IP: PhoneA, 포트 넘버(port number): PhoneA를 설정하고, 포트 포워딩 기술을 통해 영상 처리 장치(200)와 타겟 사용자 장치(220)를 연결할 수 있다.
타겟 사용자 장치(220)는 중계 사용자 장치에 의해 설정된 IP와 포트 넘버를 입력하여 영상 처리 장치(200)를 통해 전송되는 영상 데이터를 수신할 수 있다. 또는 별도의 어플리케이션을 통해 중계 사용자 장치(210)과 타겟 사용자 장치(220) 간에 IP와 포트 넘버에 대한 정보가 자동으로 전달되어 별도의 입력 없이 타겟 사용자 장치가 영상 처리 장치에 의해 생성된 데이터를 수신할 수 있다.
타겟 사용자 장치(220)는 RTSP(real-time streaming protocol) 방식과 같은 동영상 전송 프로토콜을 기반으로 전송되는 영상 처리 장치(200)에 의해 촬상된 영상에 대해 확인할 수 있다.
포트 포워딩 및 RTSP(real-time streaming protocol) 방식은 하나의 예시로서 다양한 방식으로 영상에 대한 공유가 수행될 수 있다.
즉, 본 발명의 실시예에 따른 영상 공유 방법은 타겟 사용자 장치가 중계 사용자 장치와 제1 통신 네트워크를 기반으로 연결하는 단계, 타겟 사용자 장치가 제1 통신 네트워크를 기반으로 영상 처리 장치에 의해 촬상되어 생성된 영상 데이터를 실시간으로 수신하는 단계를 포함할 수 있되, 영상 처리 장치와 중계 사용자 장치는 제2 통신 네트워크를 기반으로 연결될 수 있다.
이때, 제1 통신 네트워크는 포트 포워딩을 기반으로 상기 타겟 사용자 장치의 상기 중계 사용자 장치에 의해 설정된 IP(internet protocol) 정보 및 포트 정보를 기반으로 생성되고, 제2 통신 네트워크는 상기 중계 사용자 장치의 핫스팟 기능을 기반으로 생성될 수 있다.
도 3은 본 발명의 실시예에 따른 사용자 장치를 기반으로 영상을 전송하는 방법을 나타낸 개념도이다.
도 3에서는 적어도 하나의 AP(access point)를 통해 영상 처리 장치와 사용자 장치 간에 통신을 수행하는 방법이 개시된다.
도 3을 참조하면, 영상 처리 장치(300)(예를 들어, 전방향 영상 처리 장치)가 동작을 시작하고 영상(예를 들어, 전방향 영상)을 촬상할 수 있다.
AP1(310)과 AP2(320)가 WDS(wireless distribution system) 방식으로 연결될 수 있다.
영상 처리 장치(300)와 AP1(310)이 연결되고, 사용자 장치(330)와 AP2(320)가 연결될 수 있다.
사용자 장치(330)는 어플리케이션에서 영상 처리 장치(300)의 내부 IP 및 포트 넘버를 입력할 수 있다. 사용자 장치가 영상 처리 장치(300)의 내부 IP 및 포트 넘버를 입력하는 경우, 사용자 장치(330)는 RTSP 방식으로 영상 처리 장치에 의해 촬상된 영상을 확인할 수 있다. 사용자 장치 상에서의 별도의 입력 없이 어플리케이션을 기반으로 영상 처리 장치(300)의 내부 IP 및 포트 넘버가 자동으로 입력될 수도 있다.
도 4는 본 발명의 실시예에 따른 사용자 장치를 통해 영상을 전송하는 방법을 나타낸 개념도이다.
도 4에서는 사용자 장치를 기반으로 한 영상 전송 방법 중 전송되는 영상 데이터의 크기를 줄이기 위한 방법이 개시된다. 이하, 영상 처리 장치는 전방향 영상 처리 장치이고, 영상이 전방향 영상(360도 영상)인 경우가 가정된다.
도 4를 참조하면, 중계 사용자 장치로 전송된 전방향 영상 중 일부 화각에 해당하는 영상만을 타겟 사용자 장치로 제공함으로써 실시간으로 전송되는 영상 데이터의 양을 감소시키기 위한 방법이 개시된다.
영상 처리 장치와 직접 연결된 중계 사용자 장치로는 영상 처리 장치에 의해 촬상되는 전체 화각 영상(예를 들어, 360도 영상)에 해당하는 전체 영상 데이터가 전송될 수 있다.
하지만, 타겟 사용자 장치가 확인하는 영상은 전체 화각 영상이 아니라 전체 화각 영상 중 타겟 사용자가 관심을 가지는 일부 화각의 영상일 수 있다. 따라서, 중계 사용자 장치에 의해 전송되는 영상 데이터는 전체 화각 영상 데이터가 아니라, 타겟 사용자가 관심을 가지는 일부 화각에 대한 부분 영상 데이터(450)만 전송될 수 있다. 이러한 방법을 통해 통신 네트워크의 부담이 감소되고, 데이터 부하로 인한 불필요한 데이터 끊김 현상이 방지될 수 있다.
타겟 사용자 장치는 어플리케이션을 통해 현재 타겟 사용자 장치에 의해 출력되고 있는 출력 영상에 대한 영상 정보(400)를 중계 사용자 장치로 전송할 수 있다. 영상 정보(400)는 타겟 사용자 장치에 의해 출력되는 출력 영상 화각에 대한 정보를 포함할 수 있다.
예를 들어, 타겟 사용자 장치가 360도 영상 중 설정된 기준점(0도 지점)을 기준으로 -30도~+30도 화각에 해당하는 영상을 출력하고 있다면, 영상 정보(400)는 -30도~+30도 화각을 지시하는 정보를 출력 영상 화각 정보로서 포함할 수 있다. 타겟 사용자 장치는 영상 정보(400)를 중계 사용자 장치로 전송할 수 있다.
중계 사용자 장치는 영상 정보(400)를 수신하고, 영상 정보를 기반으로 타겟 사용자 장치로 전송될 부분 영상 데이터(450)를 결정할 수 있다.
예를 들어, 중계 사용자 장치는 영상 정보(400)에 포함된 출력 영상 화각 정보를 기반으로 결정된 기준 영상 영역(420) 및 기준 영상 영역(420)의 주변 영상 영역(440)까지 추가로 타겟 사용자 장치로 전송할 수 있다.
예를 들어, 기준 영상 영역(420)은 타겟 사용자 장치에 의해 지시된 -30도~30도 화각의 영상 영역일 수 있고, 주변 영상 영역(440)은 -30도~+30도 화각의 영상 영역을 기준으로 임계 퍼센트 확장된 주변 영상 영역(예를 들어, -60도~-30도, +30도~+60도의 영상 영역)(440)일 수 있다.
본 발명의 실시예에 따르면 통신 상태/사용자의 화면 이동 빈도에 따라 주변 영상 영역을 결정하는 임계 퍼센트가 변화될 수 있다. 통신 상태가 상대적으로 좋을수록 임계 퍼센트가 상대적으로 증가되고, 통신 상태가 상대적으로 좋지 않을수록 임계 퍼센트가 상대적으로 감소될 수 있다.
또한, 타겟 사용자 장치의 사용자의 화면 이동 빈도가 상대적으로 클수록 임계 퍼센트가 상대적으로 증가되고, 타겟 사용자 장치의 사용자의 화면 이동 빈도가 상대적으로 작을수록 임계 퍼센트가 상대적으로 감소될 수 있다.
영상 처리 장치에 의해 촬상되어 생성되는 원본 영상 데이터는 제1 화각의 영상 데이터이고, 영상 데이터는 제2 화각의 영상 데이터이고, 제1 화각은 상기 제2 화각보다 크고 제2 화각은 상기 타겟 사용자 장치에 의해 결정될 수 있다.
타겟 사용자 장치는 영상 정보를 생성하고, 영상 정보는 제2 화각을 지시하는 출력 영상 화각 정보를 포함하고, 출력 영상 화각 정보는 타겟 사용자 장치에서 출력될 출력 영상 화각에 대한 정보를 포함하고, 출력 영상 화각은 영상 처리 장치의 방향 또는 절대 방향을 기준으로 결정될 수 있다.
도 5는 본 발명의 실시예에 따른 사용자 장치를 통해 영상을 전송하는 방법을 나타낸 개념도이다.
도 5에서는 사용자 장치를 기반으로 한 영상 전송 방법 중 전송되는 영상 데이터의 크기를 줄이기 위한 방법이 개시된다. 이하, 영상 처리 장치는 전방향 영상 처리 장치이고, 영상이 전방향 영상(360도 영상)인 경우가 가정된다.
도 5를 참조하면, 영상 데이터의 크기를 줄이기 위한 영상 정보(500)는 출력 영상 방향 정보, 출력 영상 가로 화각 정보, 출력 영상 세로 화각 정보를 포함할 수 있다.
출력 영상 방향 정보는 영상 처리 장치의 촬상 방향에 대한 정보로서 영상 처리 장치에 구현된 복수의 카메라 중 적어도 하나의 카메라에 의해 결정될 수 있다. 예를 들어, 사용자가 넥 밴드 형태의 영상 처리 장치를 착용한 경우, 영상 처리 장치에 포함되는 특정 카메라에 의해 촬상되는 특정 방향(예를 들어, 사용자의 전면 방향)이 출력 영상 방향일 수 있다.
출력 영상 가로 화각 정보는 출력 영상 방향 정보에 의해 지시되는 방향을 기준으로 가로 방향의 화각을 지시할 수 있다. 영상 처리 장치에 의해 촬상되는 전방향 영상을 하나의 구로 표현하면, 가로 방향은 경도 방향일 수 있다. 출력 영상 가로 화각 정보는 타겟 사용자에 의해 선택된 가로 방향의 화각에 대한 정보를 포함할 수 있다.
출력 영상 세로 화각 정보는 출력 영상 방향 정보에 의해 지시되는 방향을 기준으로 세로 방향의 화각을 지시할 수 있다. 영상 처리 장치에 의해 촬상되는 전방향 영상을 하나의 구로 표현하면, 세로 방향은 위도 방향일 수 있다. 출력 영상 세로 화각 정보는 타겟 사용자에 의해 선택된 세로 방향의 화각에 대한 정보를 포함할 수 있다.
중계 사용자 장치는 출력 영상 방향 정보, 출력 영상 가로 화각 정보, 출력 영상 세로 화각 정보를 포함하는 영상 정보(500)를 수신하고, 영상 정보(500)를 기반으로 타겟 사용자 장치로 전송될 부분 영상 데이터(550)를 결정할 수 있다.
예를 들어, 중계 사용자 장치는 영상 정보(500)에 포함된 출력 영상 화각 정보, 출력 영상 가로 화각 정보, 출력 영상 세로 화각 정보를 기반으로 결정된 기준 영상 영역(520) 및 기준 영상 영역(520)의 주변 영상 영역(540)까지 추가로 타겟 사용자 장치로 전송할 수 있다.
예를 들어, 기준 영상 영역(520)은 타겟 사용자 장치에 의해 지시된 제1 방향, 출력 영상 가로 화각(-30도~+30도), 출력 영상 세로 화각(-30도~+30도)의 영상 영역일 수 있고, 주변 영상 영역(540)은 제1 방향에서 출력 영상 가로 화각(-30도~+30도)을 제1 임계 퍼센트 확장하고, 출력 영상 세로 화각(-30도~+30도)을 제2 임계 퍼센트 확장한 영역일 수 있다.
타겟 사용자가 보고자 하는 방향, 및 화각이 변화되는 경우, 변화된 방향, 변화된 화각에 대한 정보가 타겟 사용자 장치에서 중계 사용자 장치로 전송될 수 있다. 이러한 경우, 다시 기준 영상 영역(520) 및 주변 영상 영역(540)이 변화될 수 있다.
또한 본 발명의 실시예에 따르면 통신 상태/사용자의 화면 이동 빈도에 따라 주변 영상 영역(540)을 결정하는 제1 임계 퍼센트 및/또는 제2 임계 퍼센트가 변화될 수 있다.
통신 상태가 상대적으로 좋을수록 제1 임계 퍼센트 및/또는 제2 임계 퍼센트가 상대적으로 증가되고, 통신 상태가 상대적으로 좋지 않을수록 제1 임계 퍼센트 및/또는 제2 임계 퍼센트가 상대적으로 감소될 수 있다.
또한, 타겟 사용자 장치의 사용자의 화면 이동 빈도가 상대적으로 클수록 제1 임계 퍼센트 및/또는 제2 임계 퍼센트가 상대적으로 증가되고, 타겟 사용자 장치의 사용자의 화면 이동 빈도가 상대적으로 작을수록 제1 임계 퍼센트 및/또는 제2 임계 퍼센트가 상대적으로 감소될 수 있다.
도 6은 본 발명의 실시예에 따른 영상을 원거리에 위치한 사용자 장치를 통해 확인하는 방법을 나타낸 개념도이다.
도 6에서는 원거리에 위치한 사용자 장치의 화면 시청 편리성을 위해 타겟 사용자 장치의 화면을 자동 조정하는 방법이 개시된다.
도 6을 참조하면, 영상 처리 장치에 의해 촬상된 영상은 전술한 바와 같이 중계 사용자 장치 또는 AP를 통해 타겟 사용자 장치로 전달될 수 있다.
타겟 사용자 장치는 전방향 영상을 수신한 후 타겟 사용자에 의해 설정된 기준점을 기준으로 타겟 사용자에게 영상을 제공할 수 있다.
만약, 영상 처리 장치가 영상 처리 장치를 착용한 사용자의 움직임에 의해 계속적으로 움직이는 경우, 영상을 공유하는 사용자는 어지러움을 느낄 수 있다. 따라서, 타겟 사용자에 의해 설정된 기준점(600)을 기준으로 타겟 사용자 장치로 영상을 제공할 수 있다.
예를 들어, 전달된 영상에 대해 특정 방향, 특정 가로 방향 화각, 특정 세로 방향 화각의 영상이 타겟 사용자 장치의 디스플레이의 중간에 위치하도록 기준점(600)이 설정될 수 있다. 이러한 경우, 영상 처리 장치의 위치가 변하거나, 흔들리는 경우에도 특정 가로/세로 화각, 특정 방향을 유지하는 영상이 타겟 사용자 장치 상에서 제공될 수 있다.
구체적으로 타겟 사용자는 타겟 사용자 장치 상에서 재생되는 전방향 영상에서 특정 방향, 특정 가로/세로 화각을 설정할 수 있다. 예를 들어, 타겟 사용자가 타겟 사용자 장치 상의 터치 스크린을 이용하여 전방향 영상 중에서 보고자 하는 방향 및 가로/세로 화각을 설정하고, 사용자 인터페이스를 통해 특정 터치를 발생시켜 출력 영상 방향 정보(620) 및 출력 영상 화각 정보(640)를 화면 설정 정보로서 생성할 수 있다.
이러한 타겟 사용자 장치는 전방향 영상 중 화면 설정 정보에 의해 지시된 영상을 타겟 사용자 장치 상에 출력할 수 있다. 예를 들어, 사용자가 기준점(600)을 기준으로 -60도~+60도의 가로 화각, -45도~+45도의 세로 화각을 설정하고, 선택 방향으로 영상 처리 장치를 기준으로 한 x 방향을 설정한 경우, 전방향 영상 중 화면 설정 정보를 기반으로 결정된 화면이 출력될 수 있다. 즉, 전방향 영상 중 특정 영역만이 타겟 사용자 장치 상에서 출력될 수 있고, 이러한 방법을 통해 타겟 사용자 장치는 영상 처리 장치의 실시간 움직임과 상관없이 특정 시야의 화면을 계속적으로 제공받을 수 있다.
도 7은 본 발명의 실시예에 따른 타겟 사용자에 의해 선택된 특정 시야의 영상을 제공받기 위한 방법을 나타낸 개념도이다.
도 7에서는 타겟 사용자에 의해 트래킹하고자 하는 특정 시야의 화면이 선택된 경우, 해당 시야의 화면에 대한 방향 및 화각 정보를 추출하기 위한 방법이 개시된다. 이는 도 4 및 도 5에서 전술한 출력 영상 방향 정보, 출력 영상 가로 화각 정보, 출력 영상 세로 화각 정보를 결정하는 방식에도 적용될 수 있다.
도 7을 참조하면, 전방향 이미지와 선택 영상을 매칭하여 출력 영상 방향 정보가 결정될 수 있다(단계 S710).
선택 화면을 기반으로 방향 정보가 결정될 수 있다.
전방향 영상 이미지는 구와 같은 형상을 할 수 있고, 전방향 영상 이미지에서의 출력 영상 방향은 다양한 방법으로 설정될 수 있다.
예를 들어, 영상 처리 장치에 구현된 복수의 카메라의 촬상 방향을 기반으로 출력 영상 방향이 생성될 수 있다. 영상 처리 장치가 구의 중심에 있다고 가정하고, 영상 처리 장치의 제1 카메라의 촬상선 방향을 기준 방향으로 360도의 방향 정보가 결정될 수 있다. 사용자가 선택한 선택 화면의 방향이 360도 중 어떠한 방향을 지시하는지를 기반으로 출력 영상 방향 정보가 결정될 수 있다. 촬상선은 카메라 렌즈의 중심이 가리키는 방향의 지시선일 수 있다.
또는 출력 영상 방향은 영상 처리 장치의 방향이 아닌 특정 방향(예를 들어, 북쪽)을 기준으로 상대적으로 결정되는 방향일 수도 있다.
전방향 이미지와 선택 화면을 매칭하여 출력 영상 가로 화각 정보/출력 영상 세로 화각 정보가 결정될 수 있다(단계 S720).
또한, 출력 영상 가로 화각 정보, 출력 영상 세로 화각 정보는 출력 영상 방향을 기준으로 가로 화각, 세로 화각으로 결정될 수 있다. 가로 화각은 구 상에서 경도 방향일 수 있고, 세로 화각은 구 상에서 위도 방향일 수 있다.
이러한 출력 영상 방향, 출력 영상 가로 화각, 출력 영상 세로 화각에 대한 유지를 기반으로 타겟 사용자는 영상 촬상 장치의 움직임에도 불구하고, 유사 범위의 시야를 제공받을 수 있다.
사용자에 의해 선택된 영상 방향은 절대적인 위치(예를 들어, 북쪽)을 기준으로 설정될 수도 있고, 상대적인 위치(사용자의 정면, 제1 카메라 촬상선) 등으로 설정될 수도 있다. 절대적인 위치가 영상 방향으로 선택된 경우, 영상 처리 장치를 착용한 사용자의 방향 전환과 무관하게 특정 방향에 대한 영상을 계속적으로 제공받을 수 있다. 반대로, 상대적인 위치가 영상 방향으로 선택된 경우, 영상 처리 장치를 착용한 사용자의 방향 전환을 반영한 영상을 계속적으로 제공받을 수 있다.
또한, 본 발명의 실시예에 따르면, 타겟 사용자 장치의 방향 전환을 고려하여 타겟 사용자 장치에서 출력되는 영상을 변화시킬 수도 있다. 예를 들어, 타겟 사용자 장치의 센서를 기반으로 타겟 사용자 장치가 30도 왼쪽 방향으로 돌아간 경우, 현재 타겟 사용자 장치에서 출력되는 화면의 화각을 -30도 조정하여 타겟 사용자 장치의 움직임도 추가적으로 반영하여 타겟 사용자 장치에서 출력되는 화면을 결정할 수 있다
이뿐만 아니라, 본 발명의 실시예에 따르면, 타겟 사용자 장치에서 캡쳐 후 영상을 회전하는 기능도 제공할 수 있다. 실시간으로 제공되는 전방향 영상에 대한 캡쳐가 진행된 이후, 전방향 영상을 터치 기반으로 회전시킬 수 있고, 회전에 따라 타겟 사용자가 확인하지 못했던 다양한 화각, 시각의 화면을 제공받을 수 있다. 전술한 바와 같이 일부 기준 영상 영역 및 주변 영상 영역만이 제공되는 경우, 캡쳐 이후에 전체 캡쳐 영상과 관련된 전방향 영상 데이터가 타겟 사용자 장치로 전송될 수도 있다. 실시간으로 전방향 영상이 제공되는 경우, 타겟 사용자가 다시 캡쳐 기능을 리셋한다면, 리셋 이후 시간의 전방향 영상이 다시 타겟 사용자에게 제공될 수 있다.
도 8은 본 발명의 실시예에 따른 타겟 사용자 장치에서 영상을 확인하는 방법을 나타낸 개념도이다.
도 8에서는 타겟 사용자 장치에게 관심 영역을 추천하는 방법이 개시된다. 도 8에서는 영상 처리 장치가 전방향 영상 처리 장치이고, 영상이 전방향 영상인 경우가 가정된다.
도 8을 참조하면, 타겟 사용자가 다양한 화각의 영상을 제공받을 수 있도록 타겟 사용자 장치로 추천 화면이 제공될 수 있다. 예를 들어, 타겟 사용자가 현재 화각 -30도~+30도의 화면을 선택 화면으로서 제공받고 있는 경우, 전방향 영상 이미지 중 다른 화각에 대한 화면을 추천 화면으로서 제공할 수 있다.
예를 들어, 중계 사용자 장치 또는 영상 처리 장치는 변화가 많이 발생하는 화각에 대해 결정하고, 해당 화각에 대한 화면을 추천 화면으로서 타겟 사용자에게 제공할 수 있다.
또는 본 발명의 실시예에 따르면, 타겟 사용자에게 제공될 최적의 시야를 찾아서 타겟 사용자에게 제공할 수도 있다.
본 발명의 실시예에 따르면, 전방향 영상 처리 장치를 착용한 사용자의 시야와 동일한 시야를 타겟 사용자에게 디폴트 화면(850)으로 제공할 수도 있다. 전방향 영상 처리 장치 착용자의 동작(또는 현재 상태(800)에 따라 전방향 영상 처리 장치 착용자의 시야는 변화될 수 있고, 이러한 전방향 영상 처리 장치 착용자의 동작에 따라 전방향 영상 처리 장치 착용자의 시야는 변화에 대한 학습을 통해 타겟 사용자에게 보다 자연스러운 디폴트 화면(850)을 제공할 수 있다.
구체적으로, 전방향 영상 처리 장치를 착용한 사용자의 현재 상태(800)를 판단할 수 있다. 전방향 영상 처리 장치를 착용한 사용자(이하, 전방향 영상 처리 장치 착용자)가 서있는지 앉아있는지, 이동하는지, 계단을 올라가는지 등의 동작에 대한 판단이 수행될 수 있다. 전방향 영상 처리 장치에 구현된 센서를 기반으로 전방향 영상 처리 장치 착용자의 동작(또는 현재 상태(800))에 대한 판단이 수행될 수 있다. 또는 전방향 영상 처리 장치에서의 영상 변화를 기반으로 전방향 영상 처리 장치 착용자의 동작(또는 현재 상태(800))에 대한 판단이 수행될 수도 있다.
이러한 전방향 영상 처리 장치 착용자의 동작(또는 현재 상태(800))에 대한 학습이 수행될 수 있고, 학습 결과를 기반으로 보다 정확한 현재 전방향 영상 착용 사용자의 동작(또는 현재 상태(800))을 결정할 수 있다.
전방향 영상 처리 장치 착용자의 현재 상태(800)를 기반으로 현재 타겟 사용자에게 제공될 디폴트 화면(850)이 결정될 수 있다. 예를 들어, 본 발명에서 예시로 사용된 전방향 영상 처리 장치의 경우, 전방향 영상 처리 장치 착용자가 서있는 상태인 경우, 전방향 영상 처리 장치 착용자의 전면을 기준으로 제1 카메라의 촬상선 기준 -60~+60도 방향이 현재 전방향 영상 처리 장치 착용자의 시야와 동일할 수 있다. 이러한 경우, 전방향 영상 처리 장치 착용자의 현재 상태(800) 및 현재 상태(800)에 따른 전방향 영상 처리 장치 착용자의 시야가 반영되어 전방형 영상 처리 장치 착용자의 시야와 동일/유사 범위의 시야에 해당하는 화면이 타겟 사용자 장치로 디폴트 화면(850)으로 제공될 수 있다. 디폴트 화면(850)의 결정은 전방향 영상 처리 장치, 중계 사용자 장치, 타겟 사용자 장치 중 적어도 하나의 장치에서 수행될 수 있다. 중계 사용자 장치, 타겟 사용자 장치에서 결정되는 경우, 전방향 영상 처리 장치에 의해 전송된 동작 센싱 정보, 전방향 영상 처리 장치의 화면 변화를 기반으로 전방향 영상 처리 장치 착용자의 현재 상태(800)를 판단하고 디폴트 화면(850)을 제공할 수도 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (8)

  1. 영상 공유 방법에 있어서,
    타겟 사용자 장치가 중계 사용자 장치와 제1 통신 네트워크를 기반으로 연결하는 단계; 및
    상기 타겟 사용자 장치가 상기 제1 통신 네트워크를 기반으로 영상 처리 장치에 의해 촬상되어 생성된 영상 데이터를 실시간으로 수신하는 단계를 포함하되
    상기 영상 처리 장치와 상기 중계 사용자 장치는 제2 통신 네트워크를 기반으로 연결된 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 제1 통신 네트워크는 포트 포워딩을 기반으로 상기 타겟 사용자 장치의 상기 중계 사용자 장치에 의해 설정된 IP(internet protocol) 정보 및 포트 정보를 기반으로 생성되고,
    상기 제2 통신 네트워크는 상기 중계 사용자 장치의 핫스팟 기능을 기반으로 생성되는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 영상 처리 장치에 의해 촬상되어 생성되는 원본 영상 데이터는 제1 화각의 영상 데이터이고,
    상기 영상 데이터는 제2 화각의 영상 데이터이고,
    상기 제1 화각은 상기 제2 화각보다 크고,
    상기 제2 화각은 상기 타겟 사용자 장치에 의해 결정되는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 타겟 사용자 장치는 영상 정보를 생성하고,
    상기 영상 정보는 상기 제2 화각을 지시하는 출력 영상 화각 정보를 포함하고,
    상기 출력 영상 화각 정보는 상기 타겟 사용자 장치에서 출력될 출력 영상 화각에 대한 정보를 포함하고,
    출력 영상 화각은 상기 영상 처리 장치의 방향 또는 절대 방향을 기준으로 결정되는 것을 특징으로 하는 방법.
  5. 영상 공유를 수행하는 타겟 사용자 장치는,
    영상 데이터를 수신하기 위해 구현된 통신부; 및
    상기 통신부와 동작 가능하게(operatively) 연결된 프로세서를 포함하되,
    상기 프로세서는 중계 사용자 장치와 제1 통신 네트워크를 기반으로 연결하고,
    상기 제1 통신 네트워크를 기반으로 영상 처리 장치에 의해 촬상되어 생성된 영상 데이터를 실시간으로 수신하도록 구현되되,
    상기 영상 처리 장치와 상기 중계 사용자 장치는 제2 통신 네트워크를 기반으로 연결된 것을 특징으로 하는 타겟 사용자 장치.
  6. 제5항에 있어서,
    상기 제1 통신 네트워크는 포트 포워딩을 기반으로 상기 타겟 사용자 장치의 상기 중계 사용자 장치에 의해 설정된 IP(internet protocol) 정보 및 포트 정보를 기반으로 생성되고,
    상기 제2 통신 네트워크는 상기 중계 사용자 장치의 핫스팟 기능을 기반으로 생성되는 것을 특징으로 하는 타겟 사용자 장치.
  7. 제5항에 있어서,
    상기 영상 처리 장치에 의해 촬상되어 생성되는 원본 영상 데이터는 제1 화각의 영상 데이터이고,
    상기 영상 데이터는 제2 화각의 영상 데이터이고,
    상기 제1 화각은 상기 제2 화각보다 크고,
    상기 제2 화각은 상기 타겟 사용자 장치에 의해 결정되는 것을 특징으로 하는 타겟 사용자 장치.
  8. 제7항에 있어서,
    상기 타겟 사용자 장치는 영상 정보를 생성하고,
    상기 영상 정보는 상기 제2 화각을 지시하는 출력 영상 화각 정보를 포함하고,
    상기 출력 영상 화각 정보는 상기 타겟 사용자 장치에서 출력될 출력 영상 화각에 대한 정보를 포함하고,
    출력 영상 화각은 상기 영상 처리 장치의 방향 또는 절대 방향을 기준으로 결정되는 것을 특징으로 하는 타겟 사용자 장치.
PCT/KR2019/006916 2018-08-09 2019-06-09 영상 공유 방법 및 장치 Ceased WO2020032371A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/250,109 US20210235164A1 (en) 2018-08-09 2019-06-09 Image sharing method and device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20180092938 2018-08-09
KR10-2018-0092938 2018-08-09
KR1020180109022A KR102101382B1 (ko) 2018-08-09 2018-09-12 영상 공유 방법 및 장치
KR10-2018-0109022 2018-09-12

Publications (1)

Publication Number Publication Date
WO2020032371A1 true WO2020032371A1 (ko) 2020-02-13

Family

ID=69413674

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/006916 Ceased WO2020032371A1 (ko) 2018-08-09 2019-06-09 영상 공유 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2020032371A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150039352A (ko) * 2013-10-02 2015-04-10 엘지전자 주식회사 전자 디바이스 및 그 제어방법
KR20160122702A (ko) * 2014-02-17 2016-10-24 소니 주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
KR20170056346A (ko) * 2015-11-13 2017-05-23 아바드(주) 모바일 기반의 웨어러블 카메라의 정보 전송방법 및 웨어러블 카메라
KR20170084636A (ko) * 2016-01-12 2017-07-20 쿨클라우드(주) 사물 인터넷 네트워크 시스템
KR101843335B1 (ko) * 2017-03-31 2018-03-29 링크플로우 주식회사 영상 기반의 거래 방법 및 이러한 방법을 수행하는 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150039352A (ko) * 2013-10-02 2015-04-10 엘지전자 주식회사 전자 디바이스 및 그 제어방법
KR20160122702A (ko) * 2014-02-17 2016-10-24 소니 주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
KR20170056346A (ko) * 2015-11-13 2017-05-23 아바드(주) 모바일 기반의 웨어러블 카메라의 정보 전송방법 및 웨어러블 카메라
KR20170084636A (ko) * 2016-01-12 2017-07-20 쿨클라우드(주) 사물 인터넷 네트워크 시스템
KR101843335B1 (ko) * 2017-03-31 2018-03-29 링크플로우 주식회사 영상 기반의 거래 방법 및 이러한 방법을 수행하는 장치

Similar Documents

Publication Publication Date Title
WO2013115541A1 (ko) 단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법
WO2011139070A2 (en) Method and apparatus for recognizing location of user
EP3533025A1 (en) Virtual reality experience sharing
WO2016186458A1 (ko) 영상 정보 수집 시스템 및 이동 객체에 대한 영상 정보를 수집하는 방법
WO2015190798A1 (en) Method and apparatus for generating image data by using region of interest set by position information
WO2020189953A1 (ko) 인공지능에 기반하여 영상을 분석하는 카메라 및 그것의 동작 방법
WO2019194529A1 (ko) 복수의 뷰포인트들을 포함하는 3차원 컨텐트에 대한 정보를 전송하기 위한 방법 및 장치
WO2018030567A1 (ko) Hmd 및 그 hmd의 제어 방법
WO2018101533A1 (ko) 영상 처리 장치 및 방법
WO2018164316A1 (ko) 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치
WO2018199630A1 (ko) 이미지 캡처를 이용한 통합 모니터링 시스템 및 방법
WO2017119575A1 (ko) 영상촬영장치 및 영상촬영방법
WO2018092926A1 (ko) 사물 인터넷 기반의 실외형 자가촬영사진지원 카메라 시스템
WO2020054898A1 (ko) 영상 공유 방법 및 장치
WO2019066591A1 (ko) 가상현실 영상 제공 방법 및 이를 이용한 프로그램
WO2019039668A1 (ko) 스트리트 뷰 서비스 방법 및 이러한 방법을 수행하는 장치
WO2019004531A1 (ko) 사용자 신호 처리 방법 및 이러한 방법을 수행하는 장치
WO2018164317A1 (ko) 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
WO2019083068A1 (ko) 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
WO2020246823A1 (ko) 네트워크 감시 카메라 시스템 및 그 동작 방법
WO2021101148A1 (en) Electronic device including tilt ois and method for capturing image and processing captured image
WO2019103240A1 (ko) Ip를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법
WO2024071888A1 (ko) 감시 장치 및 방법
WO2019004532A1 (ko) 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치
WO2019098729A1 (ko) 차량용 모니터링 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19848738

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19848738

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 11.10.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19848738

Country of ref document: EP

Kind code of ref document: A1