KR20200080041A - 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치 - Google Patents

모바일 단말을 이용한 다채널 영상 생성 방법 및 장치 Download PDF

Info

Publication number
KR20200080041A
KR20200080041A KR1020180169899A KR20180169899A KR20200080041A KR 20200080041 A KR20200080041 A KR 20200080041A KR 1020180169899 A KR1020180169899 A KR 1020180169899A KR 20180169899 A KR20180169899 A KR 20180169899A KR 20200080041 A KR20200080041 A KR 20200080041A
Authority
KR
South Korea
Prior art keywords
mobile terminal
mobile terminals
subject
photographing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180169899A
Other languages
English (en)
Other versions
KR102149004B1 (ko
Inventor
이상윤
김준호
박성환
Original Assignee
포디리플레이코리아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포디리플레이코리아 주식회사 filed Critical 포디리플레이코리아 주식회사
Priority to KR1020180169899A priority Critical patent/KR102149004B1/ko
Priority to PCT/KR2018/016750 priority patent/WO2020138541A1/ko
Publication of KR20200080041A publication Critical patent/KR20200080041A/ko
Application granted granted Critical
Publication of KR102149004B1 publication Critical patent/KR102149004B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H04M1/72583—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronisation processes, e.g. processing of PCR [Programme Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N5/23206—

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephonic Communication Services (AREA)

Abstract

일 실시 예에 따른 모바일 단말을 이용한 다채널 영상 생성 방법은 모바일 단말에 내장된 카메라를 이용하여, 별도의 다채널 영상 촬영 시스템의 구축하지 않고도 일반 사용자들도 편리하게 다채널 영상을 생성할 수 있다.

Description

모바일 단말을 이용한 다채널 영상 생성 방법 및 장치{Method and apparatus for generating multi channel images using mobile terminal}
실시 예들은 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치에 관한 것이다.
최근 대중들은 모바일을 이용한 동영상 재생을 선호한다. 이러한 선호에 발맞춰 기업들은 방송 플랫폼, 예를 들면 V-app, AfreecaTV, Youtube Live를 서비스 하고 있다. 이러한 플랫폼을 시청하는 대중들은 하나의 시점, 즉 하나의 카메라에서 촬영한 영상을 시청하고 있다. 그러나 최근 시청자들은 원하는 공간에서 촬영된 영상을 시청하길 원한다.
현재, 복수의 모바일 단말로 하나의 피사체를 다양한 채널에서 촬영하여 획득한 복수의 영상을 기하학적으로 교정, 합성하여 다채널의 영상을 사용자에게 제공하는 영상 서비스가 공개되어 있다. 이러한 다채널 영상은 고화질의 개념을 뛰어넘는 사실감 넘치는 영상을 제공하며, 이를 통해 사용자들은 미디어에 몰입감을 더욱 느끼게 되고 광고, 교육, 의료, 국방, 오락 등의 분야에서 영상 정보 전달 효과를 크게 높일 수 있다.
종래의 다채널 영상에서는 채널/시간 스위칭이 다채널 영상 제작시에 미리 정해진 병합 방식으로 단순히 재생되는 차원이다. 즉, 종래에는 복수 개의 카메라에서 복수 개의 프레임을 획득하고, 획득한 프레임들 중 일부를 선별한 후 이들 프레임을 병합하여 하나의 채널 스위칭 영상을 제작하였다. 이러한 채널 스위칭 영상은 영상 제작 시에 제작자가 미리 결정한 채널의 프레임을 단순 병합한 것이므로, 해당 영상 파일을 재생하면 병합된 프레임들이 단일의 채널 이동 효과를 나타내는 채널 스위칭 효과를 내는 것이었다. 이와 같은 종래기술의 다채널 영상에 따르면 사용자는 미리 제작된 채널 스위칭 효과를 단순 시청하는 것에 불과하였고, 시청자가 시각 스위칭 또는 채널 스위칭을 수동으로 조작하여 재생을 원하는 시점으로 채널을 돌려가면서 영상을 시청하는 것은 불가능하였다. 또한, 다양한 공간에서 영상 촬영을 위해 다채널 또는 카메라 동기화 기법, 영상 보정 및 전송 방법이 필요하다.
한편, 전술한 다채널 영상을 생성하기 위해서는 다양한 전송 플랫폼 및 재생장치들이 필요하다. 하지만, 다채널 영상을 생성하기 위해서는 고가의 촬영 환경 구축비용과 시간 소요로 인하여, 일반 사용자들이 사용하기에는 부담이었으며, 다채널 플랫폼을 보급화하는 데 한계가 있었다.
실시 예들은 카메라를 내장한 모바일 단말을 이용해서 다채널 영상을 생성할 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
일 실시 예에 따른 모바일 단말을 이용한 다채널 영상 생성 방법은 호스트 모바일 단말에서 피사체를 촬영할 복수의 모바일 단말 각각의 주소를 이용하여 상기 호스트 모바일 단말의 디스플레이 화면에 표시된 상기 복수의 모바일 단말에 상응하는 아이콘들이 선택됨으로써, 상기 피사체를 촬영할 복수의 모바일 단말을 그룹화 하는 단계; 상기 호스트 모바일 단말의 디스플레이 화면에서 표시된 그룹 동기화에 상응하는 동기화 아이콘이 선택됨으로써, 상기 그룹화된 복수의 모바일 단말에 시간을 동기화하는 동기화 메시지를 전송하는 단계; 상기 호스트 모바일 단말의 디스플레이 화면에 상기 피사체를 촬영하기 위한 촬영 가이드 정보가 설정되고, 상기 설정된 촬영 가이드 정보로부터 추출된 촬영 정보를 상기 그룹화된 복수의 모바일 단말에 전송하는 단계; 상기 호스트 모바일 단말의 디스플레이 화면에 촬영 버튼에 상응하는 아이콘이 선택됨으로써, 모든 모바일 단말에서 상기 피사체를 촬영 개시하는 시간 정보를 포함한 촬영 메시지를 상기 그룹화된 복수의 모바일 단말에 전송하는 단계; 및 상기 호스트 모바일 단말에서 상기 시간 정보에 따라 상기 피사체를 촬영하고, 상기 촬영된 영상을 외부 서버에 전송하는 단계를 포함한다.
상기 외부 서버에서, 상기 호스트 모바일 단말로부터 수신된 촬영 영상과, 상기 그룹화된 복수의 모바일 단말로부터 수신된 촬영 영상들을 기초로 다채널 영상을 생성하는 것을 특징으로 한다.
상기 호스트 모바일 단말에서 촬영한 복수의 모바일 단말의 사용자 영상에 증강현실로 증강된 영상을 합성한 증강 현실 영상을 상기 디스플레이 화면에 표시하는 것을 특징으로 한다.
상기 동기화 메시지는 NTP(Network Time Protocol)에 따라 생성되는 것을 특징으로 한다.
상기 촬영 가이드 정보는, 상기 호스트 모바일 단말에서 상기 피사체를 중심으로 일직선상의 최상 지점, 중간 지점 및 최하 지점 중 적어도 하나를 표시하는 것이고, 상기 추출된 촬영 정보는, 상기 촬영 가이드 정보에 따라 상기 피사체에 대한 호스트 모바일 단말의 기울기 정보 및 각도 정보 중 적어도 하나를 포함하는 것을 특징으로 한다.
상기 호스트 모바일 단말의 기울기 정보 및 각도 정보와, 상기 그룹화된 복수의 모바일 단말의 기울기 정보 및 각도 정보는 상기 외부 서버에서 전송되어, 상기 외부 서버에서 모든 모바일 단말에 상기 촬영 가이드 정보 및 상기 촬영 정보를 포함하는 메타데이터를 추가로 전송하는 것을 특징으로 한다.
모든 모바일 단말은 상기 절대 시간 정보에 따라 각각의 타이머 프로그램에 따라 상기 피사체를 자동 촬영하는 것을 특징으로 한다.
다른 실시 예에 따른 모바일 단말을 이용한 다채널 영상 생성 방법은 호스트 모바일 단말에서 피사체를 촬영할 복수의 모바일 단말 각각의 주소를 이용하여 상기 호스트 모바일 단말의 디스플레이 화면에 표시된 상기 복수의 모바일 단말에 상응하는 아이콘들이 선택됨으로써, 상기 피사체를 촬영할 복수의 모바일 단말을 그룹화 하는 단계; 상기 호스트 모바일 단말의 디스플레이 화면에서 표시된 그룹 동기화에 상응하는 동기화 아이콘이 선택됨으로써, 상기 그룹화된 복수의 모바일 단말에 시간을 동기화하는 동기화 메시지를 전송하는 단계; 상기 호스트 모바일 단말의 디스플레이 화면에 상기 피사체를 촬영하기 위한 촬영 가이드 정보가 설정되고, 상기 설정된 촬영 가이드 정보로부터 추출된 촬영 정보를 상기 그룹화된 복수의 모바일 단말에 전송하는 단계; 상기 호스트 모바일 단말의 디스플레이 화면에 촬영 버튼에 상응하는 아이콘이 선택됨으로써, 모든 모바일 단말에서 상기 피사체를 촬영 개시하는 시간 정보를 포함한 촬영 메시지를 상기 그룹화된 복수의 모바일 단말에 전송하는 단계; 상기 호스트 모바일 단말에서 상기 시간 정보에 따라 상기 피사체를 촬영하여, 촬영 영상을 생성하는 단계; 상기 그룹화된 복수의 모바일 단말로부터 상기 피사체를 촬영한 복수의 촬영 영상들을 수신하는 단계; 및 상기 생성된 촬영 영상 및 상기 수신된 복수의 촬영 영상들을 이용하여 다채널 영상을 생성하는 단계를 포함한다.
또 다른 실시 예에 따른 모바일 단말은 디스플레이 화면; 촬영 모듈; 및 프로세서를 포함하고, 상기 프로세서는, 피사체를 촬영할 복수의 모바일 단말 각각의 주소를 이용하여 상기 디스플레이 화면에 표시된 상기 복수의 모바일 단말에 상응하는 아이콘들이 선택됨으로써, 상기 피사체를 촬영할 복수의 모바일 단말을 그룹화 하고, 상기 디스플레이 화면에서 표시된 그룹 동기화에 상응하는 동기화 아이콘이 선택됨으로써, 상기 그룹화된 복수의 모바일 단말에 시간을 동기화하는 동기화 메시지를 전송하고, 상기 디스플레이 화면에 상기 피사체를 촬영하기 위한 촬영 가이드 정보가 설정되고, 상기 설정된 촬영 가이드 정보로부터 추출된 촬영 정보를 상기 그룹화된 복수의 모바일 단말에 전송하고, 상기 디스플레이 화면에 촬영 버튼에 상응하는 아이콘이 선택됨으로써, 모든 모바일 단말에서 피사체를 촬영 개시하는 시간 정보를 포함한 촬영 메시지를 상기 그룹화된 복수의 모바일 단말에 전송하고, 상기 시간 정보에 따라 상기 촬영 모듈을 제어하여 상기 피사체를 촬영하고, 상기 촬영된 영상을 외부 서버에 전송한다.
또 다른 실시 예에 따른 상기 방법을 컴퓨터에서 실행시키기 위한 방법을 기록한 기록매체를 포함한다.
실시 예에 따른 모바일 단말을 이용한 다채널 영상 생성 방법은 별도의 다채널 영상 촬영 시스템의 구축하지 않고도 일반 사용자들도 편리하게 다채널 영상을 생성할 수 있다.
도 1은 일 실시 예에 따른 다채널 영상을 위한 전송 시스템(100)의 개략 도이다.
도 2는 다채널 영상을 생성하는 예시 도이다.
도 3은 도 1에 도시된 모바일 단말(100)의 개략 도이다.
도 4는 도 1에 도시된 모바일 단말(100)을 포함한 시스템 도이다.
도 5 내지 7은 모바일 단말(100)을 이용하여 다채널 영상을 생성하기 위한 방법을 설명하기 위한 예시 도들이다.
도 8은 도 1에 도시된 그룹관리서버(110)의 개략 도이다.
도 9는 도 1에 도시된 영상 서버(200)의 개략 도이다.
도 10은 도 1에 도시된 영상 서버(200)의 다른 개략 도이다.
도 11 및 12는 도 10에 도시된 전송부(133)의 구체적인 예시 도들이다.
도 13은 또 다른 실시 예에 따른 모바일 단말을 이용한 다채널 영상 생성 방법을 설명하기 위한 흐름 도이다.
본 실시 예들에서 사용되는 용어는 본 실시 예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 기술분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 임의로 선정된 용어도 있으며, 이 경우 해당 실시 예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시 예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시 예들의 전반에 걸친 내용을 토대로 정의되어야 한다.
실시 예들에 대한 설명에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 구성요소를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 실시 예들에 기재된 “...부”의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 실시 예들에서 사용되는 “구성된다” 또는 “포함한다” 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
하기 실시 예들에 대한 설명은 권리범위를 제한하는 것으로 해석되지 말아야 하며, 해당 기술분야의 당업자가 용이하게 유추할 수 있는 것은 실시 예들의 권리범위에 속하는 것으로 해석되어야 할 것이다. 이하 첨부된 도면들을 참조하면서 오로지 예시를 위한 실시 예들을 상세히 설명하기로 한다.
도 1은 일 실시 예에 따른 다채널 영상을 위한 전송 시스템(100)의 개략 도이다.
도 1을 참조하면, 전송 시스템(100)은 복수의 모바일 단말(111 내지 113), 복수의 모바일 단말(111 내지 113)로부터 촬영된 다채널 영상들을 처리 및 전송하는 그룹관리서버(110), 그룹관리서버(110)로부터 전송된 다채널 영상들을 처리 및 저장하는 영상 서버(200)를 포함한다. 영상 서버(200)는 사용자 단말(150)로부터 다채널 영상에 대한 요청, 스위칭 영상에 대한 요청, 특정 이벤트에 대한 요청을 수신하고, 저장된 다채널 영상을 사용자 단말(150)에 전송한다. 여기서, 사용자 단말(150)은 복수의 모바일 단말(111 내지 113)을 포함하거나, 다른 사용자 기기일 수 있다. 복수의 모바일 단말(111 내지 113)은 촬영 모듈, 예를 들면 카메라를 포함하고, 다채널 영상을 촬영하기 위해 그룹핑된 모바일 기기를 의미한다. 여기서, 어느 한 모바일 단말, 예를 들면 모바일 단말(111)이 호스트 모바일 단말이 되고, 나머지 단말(112 및 113)이 다채널 영상을 촬영하기 위해 그룹핑된 복수의 모바일 단말일 수 있다. 각각의 모바일 단말(111 내지 113)은 다채널 영상을 촬영하기 위한 애플리케이션이 탑재되어 있으며, 호스트 모바일 단말(111)의 촬영 제어에 따라 동일한 피사체를 촬영하여 그룹관리서버(110)에 전송한다. 그리고 복수의 모바일 단말(111 내지 113)은 그룹관리서버(110)의 제어에 따라 예를 들면 촬영 그룹 관리, 촬영 제어 관리, 촬영 영상 송신을 수행한다.
영상 서버(200)는 영상 처리 장치(130) 및 영상 저장부(140)를 포함할 수 있다.
도 2에 도시된 것처럼, 특정 피사체를 촬영하기 위해 복수의 모바일 단말(1 내지 N)이 배치될 수 있다. 피사체의 주위에 어레이로 배열된 복수의 모바일 단말에서 피사체를 다각도에서 촬영한 복수의 영상을 수신한다. 복수의 모바일 단말 배열 방법은, 예컨대 임의의 모바일 단말을 준으로 N개의 모바일 단말들을 실질적으로 동일한 평면상에 일렬로 배치하는 것일 수 있다. 이 경우, 피사체를 기준으로 일정 거리 이격된 원주상에 N개의 카메라들을 순차적으로 배치되거나, 중앙에 배치된 모바일 단말을 기준으로 양측에 배치된 두 개의 모바일 단말과 피사체 간의 거리를 일치시키고 나머지 카메라는 피사체와의 거리를 상이하게 할 수도 있다. 또한, 피사체는 고정된 피사체일 수도 있고, 움직이는 피사체일 수도 있다. 여기서, 피사체를 중심으로 복수의 모바일 단말이 배치되고, 어느 한 모바일 단말, 즉 호스트 모바일 단말의 촬영 제어, 피사체와 호스트 모바일 단말 사이의 기울기 및 각도에 따라 다른 모바일 단말들의 배치가 달라질 수 있다. 이러한 촬영 정보는 호스트 모바일 단말의 제어에 따라 이루어지거나, 각각의 모바일 단말과 그룹관리서버(110)의 제어에 따라 이루어질 수 있다.
도 3은 도 1에 도시된 모바일 단말(100)의 개략 도이고, 도 4는 도 1에 도시된 모바일 단말(100)을 포함한 시스템 도이다.
도 3을 참조하면, 모바일 단말(100)은 다양한 목적의 디바이스들로 구현될 수 있다. 예를 들어, 모바일 단말(100)은, 상술한 바와 같이, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿(tablet) 디바이스 등으로 구현될 수 있으나, 이에 제한되지는 않는다.
도 3을 참조하면, 모바일 단말(100)의 전면(101)에는 디스플레이(110)가 설치될 수 있다. 디스플레이(110)의 상측으로는 상대방의 음성을 수신하기 위한 스피커(120)가 설치될 수 있다. 디스플레이(110)의 하측으로는 상대방에게 모바일 단말(100) 사용자의 음성을 송신하기 위한 마이크(130)가 설치될 수 있다.
일 실시 예에 따르면, 스피커(120)가 설치되는 주변에는 모바일 단말(100)의 다양한 기능을 수행하기 위한 부품(component)들이 배치될 수 있다. 부품들은 적어도 하나의 센서 모듈(140)을 포함할 수 있다. 이러한 센서 모듈(140)은, 예컨대, 조도 센서(예: 광센서), 근접 센서, 적외선 센서, 초음파 센서 중 적어도 하나를 포함할 수 있다. 부품은 카메라(150)를 포함할 수도 있다. 한 실시 예에 따르면, 부품은 모바일 단말(100)의 상태 정보를 사용자에게 인지시켜주기 위한 LED 인디케이터(160)를 포함할 수도 있다.
모바일 단말(100)은 카메라(150)를 이용하여 피사체를 촬영할 수 있다. 도 3의 오른쪽은 모바일 단말(100)의 측면도이다. 도 3을 참조하면, 모바일 단말(100)은 또 다른 카메라(150')를 포함할 수 있다. 그러나 이에 한정되지 않고, 더 많은 카메라를 포함할 수 있다. 모바일 단말(100)의 카메라들(150, 150')은 다양한 화각을 형성할 수 있다.
도 4는 본 개시의 다양한 실시 예에 따른 네트워크 환경(200)내의 모바일 단말(201)에 대한 도면이다. 모바일 단말(101)은 도 1의 모바일 단말(100)을 포함할 수 있다.
도 4를 참조하면, 모바일 단말(201)는 버스(210), 프로세서(220), 메모리(230), 입출력 인터페이스(250), 디스플레이(260), 및 통신 인터페이스(270)를 포함할 수 있다. 어떤 실시예에서는, 모바일 단말(201)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다.
버스(210)는, 예를 들면, 구성요소들(210-270)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.
프로세서(220)는, 중앙처리장치(central processing unit(CPU)), 애플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(220)는, 예를 들면, 모바일 단말(201)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(230)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(230)는, 예를 들면, 모바일 단말(201)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시예에 따르면, 메모리(230)는 소프트웨어 및/또는 프로그램(240)을 저장할 수 있다. 프로그램(240)은, 예를 들면, 커널(241), 미들웨어(243), 애플리케이션 프로그래밍 인터페이스(application programming interface(API))(245), 및/또는 애플리케이션 프로그램(또는 "애플리케이션")(147) 등을 포함할 수 있다. 커널(241), 미들웨어(243), 또는 API(245)의 적어도 일부는, 운영 시스템(operating system(OS))으로 지칭될 수 있다.
커널(241)은, 예를 들면, 다른 프로그램들(예: 미들웨어(243), API(245), 또는 애플리케이션 프로그램(247))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(210), 프로세서(220), 또는 메모리(230) 등)을 제어 또는 관리할 수 있다. 또한, 커널(241)은 미들웨어(243), API(245), 또는 애플리케이션 프로그램(247)에서 모바일 단말(201)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(243)는, 예를 들면, API(245) 또는 애플리케이션 프로그램(247)이 커널(241)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다.
또한, 미들웨어(243)는 애플리케이션 프로그램(247)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(243)는 애플리케이션 프로그램(247) 중 적어도 하나에 모바일 단말(201)의 시스템 리소스(예: 버스(210), 프로세서(220), 또는 메모리(230) 등)를 사용할 수 있는 우선 순위를 부여할 수 있다. 예컨대, 미들웨어(243)는 상기 적어도 하나에 부여된 우선 순위에 따라 상기 하나 이상의 작업 요청들을 처리함으로써, 상기 하나 이상의 작업 요청들에 대한 스케쥴링 또는 로드 밸런싱 등을 수행할 수 있다.
API(245)는, 예를 들면, 애플리케이션(247)이 커널(241) 또는 미들웨어(243)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
입출력 인터페이스(250)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 모바일 단말(201)의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 또한, 입출력 인터페이스(250)는 모바일 단말(201)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(260)는, 예를 들면, 액정 디스플레이(liquid crystal display(LCD)), 발광 다이오드(light-emitting diode(LED)) 디스플레이, 유기 발광 다이오드(organic light-emitting diode(OLED)) 디스플레이, 또는 마이크로 전자기계 시스템(microelectromechanical systems(MEMS)) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(260)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)을 표시할 수 있다. 디스플레이(260)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다.
통신 인터페이스(270)는, 예를 들면, 모바일 단말(201)과 외부 장치(예: 제1 외부 모바일 단말(202), 제2 외부 모바일 단말(204), 또는 서버(206)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(270)는 무선 통신 또는 유선 통신을 통해서 네트워크(262)에 연결되어 외부 장치(예: 제2 외부 모바일 단말(204) 또는 서버(206))와 통신할 수 있다.
무선 통신은, 예를 들면, 셀룰러 통신 프로토콜로서, 예를 들면, LTE(long-term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(global system for mobile communications) 등 중 적어도 하나를 사용할 수 있다. 또한, 무선 통신은, 예를 들면, 근거리 통신(264)을 포함할 수 있다. 근거리 통신(264)은, 예를 들면, WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), 또는 GNSS(global navigation satellite system) 등 중 적어도 하나를 포함할 수 있다. GNSS는 사용 지역 또는 대역폭 등에 따라, 예를 들면, GPS(global positioning system), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 “Beidou”) 또는 Galileo, the European global satellite-based navigation system 중 적어도 하나를 포함할 수 있다. 이하, 본 문서에서는, “GPS”는 “GNSS”와 혼용되어 사용(interchangeably used)될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(262)는 통신 네트워크(telecommunications network), 예를 들면, 컴퓨터 네트워크(computer network)(예: LAN(local area network) 또는 WAN(wide area network)), 인터넷, 또는 전화 망(telephone network) 중 적어도 하나를 포함할 수 있다.
제1 및 제2 외부 모바일 단말(202, 204) 각각은 모바일 단말(201)과 동일한 또는 다른 종류의 장치일 수 있다. 한 실시 예에 따르면, 서버(206)는 하나 또는 그 이상의 서버들의 그룹을 포함할 수 있다. 다양한 실시 예에 따르면, 모바일 단말(201)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 모바일 단말(예: 모바일 단말(202,204), 또는 서버(206)에서 실행될 수 있다. 한 실시 예에 따르면, 모바일 단말(201)이 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 모바일 단말(201)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 모바일 단말(202, 204), 또는 서버(206))에게 요청할 수 있다. 다른 모바일 단말(예: 모바일 단말(202, 204), 또는 서버(206))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 모바일 단말(201)로 전달할 수 있다. 모바일 단말(201)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
일 실시 예에 따르면, 모바일 단말(101)과 제1 및 제2 외부 모바일 단말(202, 204)는 각 모바일 단말에 있는 카메라를 이용하여 촬영된 이미지들을 상술한 통신 방법들을 사용하여 하나의 모바일 단말로 전송하고 하나의 이미지로 합성할 수도 있다. 예를 들어, 모바일 단말(101)이 촬영된 영상과, 다른 위치에서 제1 및 제2 외부 모바일 단말(202, 204)이 촬영한 각각의 촬영된 영상을 통해 다채널 영상을 생성할 수도 있다. 또한, 모바일 단말(101)과 제1 및 제2 외부 모바일 단말(202, 204)에서 촬영된 영상들을 서버(206), 즉 도 1에 도시된 그룹관리서버(110)를 통해 전송하여, 영상 서버(200)에서 다채널 영상을 생성할 수도 있다.
도 5 내지 7은 모바일 단말(100)을 이용하여 다채널 영상을 생성하기 위한 방법을 설명하기 위한 예시 도들이다.
도 5를 참조하면, 모바일 단말(100, 이하 호스트 모바일 단말이라 한다.)은 증강현실을 이용하여 다채널 영상을 생성하는 데 참여할 모바일 단말 또는 모바일 단말의 사용자(501 내지 503)를 그룹핑한다. 여기서, 호스트 모바일 단말(100)은 디스플레이 화면에 증강 현실을 통해 표시된 주변의 모바일 단말들(501 내지 503)을 클릭해서 그룹핑을 수행한다. 구체적으로, 모바일 단말의 IP 어드레스를 이용해서 멤버로서 클릭하면, 표시된 사용자의 단말(501 내지 503)에 멤버 조인 요청 메시지를 전송하고, 다른 모바일 단말들(501 내지 503)이 응답메시지를 전송함으로써 그룹핑이 수행된다. 여기서, 호스트 모바일 단말에서 촬영한 복수의 모바일 단말의 사용자 영상에 증강현실로 증강된 영상을 합성한 증강 현실 영상을 디스플레이 화면에 표시할 수 있다. 여기서, 다채널 영상의 촬영할 다른 모바일 단말들이 3개인 것으로 설명하였지만, 이에 한정되지 않고, 더 많은 수의 모바일 단말이 참여할 수 있음은 물론이다.
다른 실시 예에서, 모바일 단말(100)은 QR코드를 이용하여 그룹핑을 수행할 수 있다. 모바일 단말(100)에서 생성된 QR 코드를 통해서 다른 모바일 단말(501 내지 503)이 다채널 영상을 생성하는 데 참여할 수 있다.
도 6을 참조하면, 복수의 모바일 단말을 이용하여 동일 시점의 영상 촬영을 위해 NTP(Network Time Protocol, 이하 NTP라 한다) 프로토콜 기반의 절대 시간으로 모든 모바일 단말의 시간을 동기화한다. NTP는 네트워크로 구성된 환경에서 구동되는 시스템들의 시간을 동기화하기 위한 규약을 의미한다. 호스트 모바일 단말(100)은 NTP 서버가 되어 촬영에 참여한 다른 모바일 단말(601 내지 603)에 호스트 단말의 시간으로 동기화한다. 도 6에 도시된 것처럼, 동기화 아이콘(610)을 선택하면, 호스트 모바일 단말(100)은 그룹핑된 다른 모바일 단말(601 내지 603)에 촬영 동기화 메시지를 전송하고, 다른 모바일 단말(601)은 NTP 프로토콜에 따라 절대시간으로 동기화를 각각 수행한다.
다른 실시 예에서, 호스트 모바일 단말(100)이 다른 모바일 단말(601 내지 603)로부터 상대시간을 수집하고, 호스트 모바일 단말(100)의 기준 시간으로 촬영시간을 동기화할 수도 있다. 호스트 모바일 단말(100)은 상대시간을 수집하여, 자신의 시간에 대응하는 값을 계산하여, 동기화할 시간을 계산할 수도 있다.
도 7을 참조하면, 촬영을 주도하는 호스트 모바일 단말(100)에서 피사체를 중심으로 일직선상의 최상 지점, 중간 지점, 최하 지점을 설정하여 피사체에 대한 카메라의 기울기 및 앵글 정보를 취득한다. 취득한 피사체와 카메라의 정보를 모든 모바일 단말(701 내지 703)에 전달하여 호스트 모바일 단말(100)이 취득한 카메라 기울기 및 앵글 정보에 맞게 다른 모바일 단말(701 내지 703)의 사용자로 하여금 조정하게 유도한다. 이를 위해 모든 모바일 단말들은 도 1에 도시된 그룹관리서버(110)와 연동하여 피사체와 카메라 간 메타데이터 정보를 교환하여 조정에 대한 가이드를 제공받을 수 있다.
도 7에 도시된 것처럼, 카메라 포지셔닝 후 호스트 모바일 단말(100)에서, 촬영 아이콘(710)이 선택되면, 촬영 절대 시간을 촬영에 참여한 모든 모바일 단말(701 내지 703)에 전송하여 각각의 단말 내 프로그램의 타이머를 통해 동시 촬영을 시작한다. 여기서, 타이머 애플리케이션을 통해 모든 모바일 단말에 촬영이 수행되는 것으로 설명하였지만, 이에 한정되지 않고, 다양한 동기화 촬영 방법이 수행될 수 있음은 물론이다.
도 8은 도 1에 도시된 그룹관리서버(110)의 개략 도이다.
그룹관리서버(110)는 복수의 모바일 단말을 동기화하는 동기화 신호를 통해 복수의 모바일 단말을 제어할 수 있다. 그룹관리서버(110)는 복수의 모바일 단말로부터 촬영된 영상들을 임시 저장하고, 코덱 변경을 통해 촬영된 영상의 크기를 줄이고 빠른 전송이 가능하게 한다. 그룹관리서버(110)의 구체적인 구성을 도 8을 참조하여 설명한다.
도 8을 참조하면, 그룹관리서버(110)는 그룹관리부(111), 촬영관리부(112) 및 전송부(113)를 포함할 수 있다.
그룹관리부(111)는 다채널 영상 생성에 참여한 복수의 모바일 단말들의 그룹화하여 각각의 모바일 단말을 관리할 수 있다.
촬영관리부(112)는 다채널 영상 촬영에 참여한 복수의 모바일 단말들과 연동하여 피사체와 카메라 간 메타데이터 정보를 교환하여 조정에 대한 가이드를 제공할 수 있다. 또한, 복수의 모바일 단말로부터 생성된 영상들을 통신망(120)을 통해 빠른 전송이 용이하도록 코덱 변경을 통해 영상들을 크기를 줄인다. 또한, 촬영 현장에 적합하거나, 유선 또는 무선 전송에 적합한 데이터 전송 방식을 결정할 수도 있다.
전송부(113)는 변환된 영상들을 통신망(120)을 통해 영상 서버(200)에 전송한다.
영상 서버(200)는 그룹관리서버(110)로부터 전송된 다채널 영상들을 시간별, 채널별, 시간 및 채널을 혼합한 적어도 하나의 기준으로 그룹핑하여 저장하고, 사용자 단말(150)의 요청에 따라 저장된 그룹핑된 영상을 통신망을 통해 전송한다. 영상 서버(200)의 구체적인 구성은 도 9 내지 12를 참조하여 설명한다.
도 9는 도 1에 도시된 영상 서버(200)의 개략 도이다.
도 9를 참조하면, 영상 서버(200)는 영상 처리 장치(130) 및 영상 저장부(140)를 포함한다. 영상 처리 장치(130)는 영상 처리부(131), 영상 변환부(132) 및 전송부(133)를 포함한다.
영상 처리부(131)는 그룹관리서버(110)로부터 전송된 다채널 영상들, 즉 복수의 모바일 단말에서 촬영된 영상에 대해 영상 보정을 수행한다. 예를 들면 복수의 모바일 단말에서 촬영된 영상들이 초점이 맞지 않을 수 있으므로, 카메라 간 초점이 동일하도록 영상 처리를 수행한다. 영상 처리부(131)는 전송된 다채널 영상들을 보정한다. N개의 카메라 배열의 기하학적 오차는 다채널 영상을 재생하는 과정에서 시각적인 흔들림으로 나타나므로, 이를 제거하기 위하여 각 영상의 크기 또는 사이즈, 기울기 또는 중심 위치 중 적어도 하나를 보정할 수 있다.
영상 변환부(132)는 다채널 영상들을 시간별, 채널별, 시간 및 채널을 혼합한 적어도 하나의 기준으로 그룹핑한다. 영상 변환부(132)는 여러 공간을 하나로 묶어 그룹핑한다. 그룹핑하는 방법을 다양한 기준에 따라 수행될 수 있다. 실시 예에 따른 전송 시스템은 사용자 단말(150)에 효과적인 다채널 영상 내지 스위칭 영상을 전송하기 위해, 모든 영상 데이터를 전송하여 데이터 낭비를 주지 않고, 그룹핑된 영상들을 전송함으로써 사용자에게 필요한 데이터만을 전송할 수 있게 한다. 영상 변환부(132)는 t 시간의 이벤트를 중심으로 ±y(y는 자연수임) 시간별 채널 영상을 묶어 그룹핑할 수도 있다. 예를 들면 채널 1에서, t3에서 이벤트가 발생한 경우일 수 있다. 여기서 이벤트는 미리 정해진 경우, 예를 들면 야구 경기에서 홈런 장면, 또는 아웃 장면이거나, 사용자의 요청에 의한 이벤트, 사용자가 원하는 경우일 수 있다.
다양한 실시 예들에 따라 다채널 영상을 그룹핑은 다양하게 수행할 수 있다. 그룹핑의 기본 방식으로 시간별로 채널 영상들을 하나로 묶는 방식이다. t1에 촬영된 채널 1 내지 채널 5의 영상들을 하나로 그룹핑하여 그룹핑된 영상을 생성한다. 유사하게 t2에 촬영된 채널 1 내지 채널 5의 영상들을 하나로 그룹핑하여 그룹핑된 영상을 생성한다. 이와 같은 방식으로 시간별로 그룹핑할 수 있으며, 사용자 단말(150)은 동일한 시간에 피사체를 둘러싼 모든 방향에서 촬영된 영상들을 확인할 수 있다. 시간별로 채널 영상들을 묶는 방식을 설명하였지만, 채널별로 전송하는 것도 가능함은 물론이다. 모바일 단말의 순서대로, 즉 제1 내지 제5 채널의 순서로 그룹핑할 수 있지만, 반대 순서로, 즉 제5 채널 내지 제1 채널의 순서로 그룹핑할 수도 있다. 또한, 시간별 및 채널별 조합에 의해 그룹핑하는 것도 가능하다. 내림차순으로, t1에 촬영된 제1 채널 영상과, t2에 촬영된 제2 채널 영상, t3에 촬영된 제3 채널 영상, t4에 촬영된 제4 채널 영상과, t5에 촬영된 제5 채널 영상을 하나로 그룹핑하여 그룹핑된 영상을 생성한다. 유사하게, t2에 촬영된 제1 채널 영상, t3에 촬영된 제2 채널 영상, t4에 촬영된 제3 채널 영상, t5에서 촬영된 제4 채널 영상, t6에서 촬영된 제5 채널 영상을 하나로 그룹핑하여 그룹핑된 영상을 생성할 수도 있다. 오름차순으로, t1에 촬영된 제5 채널 영상과, t2에 촬영된 제4 채널 영상, t3에 촬영된 제3 채널 영상, t4에 촬영된 제2 채널 영상과, t5에 촬영된 제1 채널 영상을 하나로 그룹핑하여 그룹핑된 영상을 생성할 수도 있다. 시간별 및 채널별을 혼합한 영상들을 그룹핑하는 것을 설명하였지만, 이에 한정되지 않고, 다양한 방식으로 그룹핑이 가능함은 물론이다.
다시 도 9를 참조하면, 영상 변환부(132)에서 변환된 그룹핑된 영상들을 영상 저장부(140)에 저장한다. 사용자 단말(150)의 요청이 있는 경우, 영상 처리 장치(130)가 영상 저장부(140)에 저장된 영상들을 추출하여, 전송부(133)를 통해 사용자 단말(150)에 전송한다.
도 10은 도 1에 도시된 영상 서버(200)의 다른 개략 도이다.
도 10을 참조하면, 영상 처리 장치(130)는 영상처리부(131), 영상변환부(132), 전송부(133)를 포함하며, 전송부(133)는 메시지 핸들러(133-1), 스트리머(133-2), 채널 매니저(133-3)를 더 포함할 수 있다. 전송부(133)는 스트리밍 장치일 수 있으며, 영상서버(130) 내에 포함되어 있는 것으로 설명하지만, 영상서버(130)와 분리되어 별도의 장치로 구현할 수 있음은 물론이다. 도 9와 동일한 부분에 대한 설명은 생략하고, 차이점을 위주로 설명한다.
전송부(133)는 처리된 영상 또는 저장된 영상을 실시간 전송한다. 예를 들면 실시간 스트리밍을 위한 장치일 수 있다. 메시지 핸들러(133-1)는 사용자 단말과 세션 관리, 프로토콜 관리를 수행한다. 스트리머(133-2)는 영상을 사용자 단말로 전송하며, 사용자 단말로 전송할 영상들의 집합이다. 채널 매니저(133-3)는 사용자 단말의 신호를 받아 영상을 GOP단위로 스케쥴링한 후 스트리머(133-2)에 전달한다.
도 11에 도시된 바와 같이, 사용자 단말로부터 특별한 요청, 예를 들면 채널 변경 요청, 채널 이동 요청이 없는 경우, 채널 매니저(133-3)는 스트리머(133-2)에 각각의 GOP단위로 스케쥴링된 영상을 전달한다. 도 11에 도시된 바와 같이, 채널 5, 즉 카메라 5에서 촬영된 영상들, GOP1 내지 GOPN의 순서로 스케쥴링하여 스트리머(133-2)에 전달한다. 스트리머(133-2)는 채널 매니저(133-3)의 스케쥴링에 따라 GOP 영상들을 모아서 사용자 단말에 전송한다.
도 12에 도시된 바와 같이, 사용자 단말로부터 채널 이동 요청이 수신된 경우, 채널 매니저(133-3)는 채널 5, 즉 카메라 5에서 촬영된 영상 중 GOP1 내지 3과, 채널 4의 GOP4, 채널 3의 GOP5, 채널 2의 GOP6, 채널 7의 GOP7의 순서로 스케쥴링하여 스트리머(133-2)에 전달한다. 스트리머(133-2)는 채널 매니저(133-3)의 스케쥴링에 따라 GOP 영상들을 모아서 사용자 단말에 전송한다.
실시 예에 따른 영상 서버(200)는, 이벤트 발생에 따라 다채널 영상을 디코딩 및 렌더링하여 사용자 단말(150)에 전송하거나, 영상 서버(200)는 다채널 영상 또는 그룹핑된 영상을 사용자 단말(150)에 전송하고, 사용자 단말(150)에서 전송된 다채널 또는 그룹핑된 영상을 재생하는 중에, 사용자 요청에 따른 이벤트 발생에 따라 압축되어 전송된 영상을 디코딩 및 렌더링할 수 있다. 이 경우, 실시간 영상 재생을 위해 빠른 영상 채널 변환이 필요하므로, 다음과 같이 디코딩 및 렌더링을 수행한다.
예를 들면 카메라 1 내지 10의 다채널 영상이 존재하는 경우, 카메라 2에 해당하는 영상에서 이벤트가 우측으로 발생한 경우이다. 예를 들면 사용자 단말(150)에서, 사용자가 카메라 2에서 촬영된 영상부터 카메라 10에서 촬영된 영상을 재생하고자 하는 경우일 수 있다. 이 경우, 압축된 다채널 영상에 대해, 디코딩은 카메라 1부터 카메라 2로 수행하여 임시 메모리 또는 버퍼에 디코딩된 영상을 저장하고, 이후 카메라 2부터 렌더링을 시작한다.
또한, 카메라 1 내지 10의 다채널 영상이 존재하는 경우, 카메라 7에 해당하는 영상에서 이벤트가 좌측으로 발생한 경우이다. 예를 들면 사용자 단말(150)에서, 사용자가 카메라 7에서 촬영된 영상부터 카메라 1에서 촬영된 영상을 재생하고자 하는 경우일 수 있다. 이 경우, 압축된 다채널 영상에 대해, 디코딩은 카메라 1부터 카메라 7로 수행하여 임시 메모리 또는 버퍼에 디코딩된 영상을 저장하고, 이후 카메라 7부터 카메라 1로 렌더링을 시작한다.
다시 도 1을 참조하면, 사용자 단말(150)에서 영상 서버(200)로의 연결 요청에 따라 영상 서버(200)에서 요청을 받아들이고, 세션을 할당한다. 사용자 단말(150)에서 인증 요청에 따라 디바이스 ID를 할당하고, 인증 요청에 응답하면, 사용자 단말(150)에서 인증 또는 디바이스 ID 프로토콜 세션이 개시된다.
사용자 단말(150)에서 스트리밍 세션을 위해 연결 요청을 하면, 영상 서버(200)에서 요청을 받아들이고, 스트림을 할당한다. 사용자 단말(150)에서 인증 요청을 하면 영상 서버(200)에서 인증 요청에 응답한다. 사용자 단말(150)에서 인증 또는 디바이스 ID를 이용하여 스트리밍 세션이 개시된다.
사용자 단말(150)에서, 프로토콜 세션을 Alive 상태로 유지하기 위해, 소정의 시간, 예를 들면 1초에 한 번씩 Alive 유지 요청을 영상 서버(200)에 전송한다. 영상 서버(200)는 이러한 요청에 대해 응답하고, 세션을 관리한다. 따라서, 영상 서버(200)와 사용자 단말(150)간에 접속 상태 또는 이벤트 상태가 유지된다.
도면에 도시되지는 않았지만, 사용자 단말(150)에서 재생 요청을 전송하면, 영상 서버(200)에서 재생 요청에 응답하면서, 재생 영상을 사용자 단말(150)에 전송한다. 사용자 단말(150)에서 정지 요청을 전송하면, 정지 요청에 응답하면서 재생 영상을 정지한다.
도 13은 또 다른 실시 예에 따른 모바일 단말을 이용한 다채널 영상 생성 방법을 설명하기 위한 흐름 도이다.
도 13을 참조하면, 단계 1300에서, 호스트 모바일 단말에서 피사체를 촬영할 복수의 모바일 단말 각각의 주소를 이용하여 상기 호스트 모바일 단말의 디스플레이 화면에 표시된 복수의 모바일 단말에 상응하는 아이콘들이 선택됨으로써, 피사체를 촬영할 복수의 모바일 단말을 그룹화한다.
단계 1302에서, 호스트 모바일 단말의 디스플레이 화면에서 표시된 그룹 동기화에 상응하는 동기화 아이콘이 선택됨으로써, 그룹화된 복수의 모바일 단말에 절대시간으로 동기화하는 동기화 메시지를 전송한다. 여기서, 시간 동기화를 위해 NTP 프로토콜을 이용할 수 있다.
단계 1304에서, 호스트 모바일 단말의 디스플레이 화면에 피사체를 촬영하기 위한 촬영 가이드 정보가 설정되고, 설정된 촬영 가이드 정보로부터 추출된 피사체에 대한 정보를 그룹화된 복수의 모바일 단말에 전송한다.
단계 1306에서, 호스트 모바일 단말의 디스플레이 화면에 촬영 버튼에 상응하는 아이콘이 선택됨으로써, 모든 모바일 단말에서 피사체를 촬영 개시하는 절대 시간 정보를 포함한 촬영 메시지를 그룹화된 복수의 모바일 단말에 전송한다.
단계 1308에서, 호스트 모바일 단말에서 절대 시간 정보에 따라 피사체를 촬영하고, 촬영된 영상을 외부 서버에 전송한다. 여기서, 다채널 영상 촬영에 참여한 모든 모바일 단말이 촬영한 영상들을 외부 서버, 즉, 도 1에 도시된 그룹관리서버 및 영상 서버에 전송하고, 영상 서버에서 다채널 영상을 생성하는 것으로 설명하였지만, 이에 한정되지 않고, 호스트 모바일 단말에서 다른 모바일 단말에서 촬영한 영상들을 전송받아, 호스트 모바일 단말에서 다채널 영상을 생성할 수도 있음은 물론이다.
일 실시 예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 호스트 모바일 단말에서 피사체를 촬영할 복수의 모바일 단말 각각의 주소를 이용하여 상기 호스트 모바일 단말의 디스플레이 화면에 표시된 상기 복수의 모바일 단말에 상응하는 아이콘들이 선택됨으로써, 상기 피사체를 촬영할 복수의 모바일 단말을 그룹화 하는 단계;
    상기 호스트 모바일 단말의 디스플레이 화면에서 표시된 그룹 동기화에 상응하는 동기화 아이콘이 선택됨으로써, 상기 그룹화된 복수의 모바일 단말에 시간을 동기화하는 동기화 메시지를 전송하는 단계;
    상기 호스트 모바일 단말의 디스플레이 화면에 상기 피사체를 촬영하기 위한 촬영 가이드 정보가 설정되고, 상기 설정된 촬영 가이드 정보로부터 추출된 촬영 정보를 상기 그룹화된 복수의 모바일 단말에 전송하는 단계;
    상기 호스트 모바일 단말의 디스플레이 화면에 촬영 버튼에 상응하는 아이콘이 선택됨으로써, 모든 모바일 단말에서 상기 피사체를 촬영 개시하는 시간 정보를 포함한 촬영 메시지를 상기 그룹화된 복수의 모바일 단말에 전송하는 단계; 및
    상기 호스트 모바일 단말에서 상기 시간 정보에 따라 상기 피사체를 촬영하고, 상기 촬영된 영상을 외부 서버에 전송하는 단계를 포함하는 모바일 단말을 이용한 다채널 영상 생성 방법.
  2. 제 1 항에 있어서,
    상기 외부 서버에서,
    상기 호스트 모바일 단말로부터 수신된 촬영 영상과, 상기 그룹화된 복수의 모바일 단말로부터 수신된 촬영 영상들을 기초로 다채널 영상을 생성하는 것을 특징으로 하는 다채널 영상 생성 방법.
  3. 제 1 항에 있어서,
    상기 호스트 모바일 단말에서 촬영한 복수의 모바일 단말의 사용자 영상에 증강현실로 증강된 영상을 합성한 증강 현실 영상을 상기 디스플레이 화면에 표시하는 것을 특징으로 하는 모바일 단말을 이용한 다채널 영상 생성 방법.
  4. 제 1 항에 있어서,
    상기 동기화 메시지는 NTP(Network Time Protocol)에 따라 생성되는 것을 특징으로 하는 모바일 단말을 이용한 다채널 영상 생성 방법.
  5. 제 1 항에 있어서,
    상기 촬영 가이드 정보는,
    상기 호스트 모바일 단말에서 상기 피사체를 중심으로 일직선상의 최상 지점, 중간 지점 및 최하 지점 중 적어도 하나를 표시하는 것이고,
    상기 추출된 촬영 정보는,
    상기 촬영 가이드 정보에 따라 상기 피사체에 대한 호스트 모바일 단말의 기울기 정보 및 각도 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 모바일 단말을 이용한 다채널 영상 생성 방법.
  6. 제 1 항에 있어서,
    상기 호스트 모바일 단말의 기울기 정보 및 각도 정보와, 상기 그룹화된 복수의 모바일 단말의 기울기 정보 및 각도 정보는 상기 외부 서버에서 전송되어, 상기 외부 서버에서 모든 모바일 단말에 상기 촬영 가이드 정보 및 상기 촬영 정보를 포함하는 메타데이터를 추가로 전송하는 것을 특징으로 하는 모바일 단말을 이용한 다채널 영상 생성 방법.
  7. 제 1 항에 있어서,
    모든 모바일 단말은 상기 절대 시간 정보에 따라 각각의 타이머 프로그램에 따라 상기 피사체를 자동 촬영하는 것을 특징으로 하는 모바일 단말을 이용한 다채널 영상 생성 방법.
  8. 호스트 모바일 단말에서 피사체를 촬영할 복수의 모바일 단말 각각의 주소를 이용하여 상기 호스트 모바일 단말의 디스플레이 화면에 표시된 상기 복수의 모바일 단말에 상응하는 아이콘들이 선택됨으로써, 상기 피사체를 촬영할 복수의 모바일 단말을 그룹화 하는 단계;
    상기 호스트 모바일 단말의 디스플레이 화면에서 표시된 그룹 동기화에 상응하는 동기화 아이콘이 선택됨으로써, 상기 그룹화된 복수의 모바일 단말에 시간을 동기화하는 동기화 메시지를 전송하는 단계;
    상기 호스트 모바일 단말의 디스플레이 화면에 상기 피사체를 촬영하기 위한 촬영 가이드 정보가 설정되고, 상기 설정된 촬영 가이드 정보로부터 추출된 촬영 정보를 상기 그룹화된 복수의 모바일 단말에 전송하는 단계;
    상기 호스트 모바일 단말의 디스플레이 화면에 촬영 버튼에 상응하는 아이콘이 선택됨으로써, 모든 모바일 단말에서 상기 피사체를 촬영 개시하는 시간 정보를 포함한 촬영 메시지를 상기 그룹화된 복수의 모바일 단말에 전송하는 단계;
    상기 호스트 모바일 단말에서 상기 시간 정보에 따라 상기 피사체를 촬영하여, 촬영 영상을 생성하는 단계;
    상기 그룹화된 복수의 모바일 단말로부터 상기 피사체를 촬영한 복수의 촬영 영상들을 수신하는 단계; 및
    상기 생성된 촬영 영상 및 상기 수신된 복수의 촬영 영상들을 이용하여 다채널 영상을 생성하는 단계를 포함하는 모바일 단말을 이용한 다채널 영상 생성 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 따른 방법을 실행시키기 위한 프로그램을 기록한 기록매체.
  10. 디스플레이 화면;
    촬영 모듈; 및
    프로세서를 포함하고,
    상기 프로세서는,
    피사체를 촬영할 복수의 모바일 단말 각각의 주소를 이용하여 상기 디스플레이 화면에 표시된 상기 복수의 모바일 단말에 상응하는 아이콘들이 선택됨으로써, 상기 피사체를 촬영할 복수의 모바일 단말을 그룹화 하고,
    상기 디스플레이 화면에서 표시된 그룹 동기화에 상응하는 동기화 아이콘이 선택됨으로써, 상기 그룹화된 복수의 모바일 단말에 시간을 동기화하는 동기화 메시지를 전송하고,
    상기 디스플레이 화면에 상기 피사체를 촬영하기 위한 촬영 가이드 정보가 설정되고, 상기 설정된 촬영 가이드 정보로부터 추출된 촬영 정보를 상기 그룹화된 복수의 모바일 단말에 전송하고,
    상기 디스플레이 화면에 촬영 버튼에 상응하는 아이콘이 선택됨으로써, 모든 모바일 단말에서 피사체를 촬영 개시하는 시간 정보를 포함한 촬영 메시지를 상기 그룹화된 복수의 모바일 단말에 전송하고,
    상기 시간 정보에 따라 상기 촬영 모듈을 제어하여 상기 피사체를 촬영하고, 상기 촬영된 영상을 외부 서버에 전송하는 모바일 단말.
KR1020180169899A 2018-12-26 2018-12-26 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치 Active KR102149004B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180169899A KR102149004B1 (ko) 2018-12-26 2018-12-26 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치
PCT/KR2018/016750 WO2020138541A1 (ko) 2018-12-26 2018-12-27 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180169899A KR102149004B1 (ko) 2018-12-26 2018-12-26 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200080041A true KR20200080041A (ko) 2020-07-06
KR102149004B1 KR102149004B1 (ko) 2020-08-28

Family

ID=71127933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180169899A Active KR102149004B1 (ko) 2018-12-26 2018-12-26 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102149004B1 (ko)
WO (1) WO2020138541A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230108617A (ko) * 2022-01-11 2023-07-18 네이버 주식회사 중계 단말의 모바일 단말과의 연결방법 및 이를 위한 중계 단말

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114900710B (zh) * 2022-05-10 2023-07-25 北京奇艺世纪科技有限公司 多设备同步方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110072438A (ko) * 2009-12-22 2011-06-29 주식회사 케이티 증강현실을 이용한 위치기반 모바일 커뮤니케이션 서비스 제공 시스템
KR20140056562A (ko) * 2012-10-29 2014-05-12 홍지명 복수의 모바일 단말을 이용한 영상 생성 방법 및 시스템 그 기록매체, 모바일 단말
KR20160124479A (ko) * 2015-04-20 2016-10-28 삼성전자주식회사 서버, 사용자 단말 장치 및 그 제어 방법
KR20170082070A (ko) * 2016-01-05 2017-07-13 한국전자통신연구원 그룹 촬영 방법 및 이를 위한 장치
JP2017152999A (ja) * 2016-02-26 2017-08-31 日本放送協会 多視点カメラ制御装置及びそのプログラム、並びに、多視点映像撮影システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120229595A1 (en) * 2011-03-11 2012-09-13 Miller Michael L Synthesized spatial panoramic multi-view imaging
KR101788005B1 (ko) * 2016-01-25 2017-10-19 한국기술교육대학교 산학협력단 복수의 모바일 단말들을 이용한 다시점 영상 생성 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110072438A (ko) * 2009-12-22 2011-06-29 주식회사 케이티 증강현실을 이용한 위치기반 모바일 커뮤니케이션 서비스 제공 시스템
KR20140056562A (ko) * 2012-10-29 2014-05-12 홍지명 복수의 모바일 단말을 이용한 영상 생성 방법 및 시스템 그 기록매체, 모바일 단말
KR20160124479A (ko) * 2015-04-20 2016-10-28 삼성전자주식회사 서버, 사용자 단말 장치 및 그 제어 방법
KR20170082070A (ko) * 2016-01-05 2017-07-13 한국전자통신연구원 그룹 촬영 방법 및 이를 위한 장치
JP2017152999A (ja) * 2016-02-26 2017-08-31 日本放送協会 多視点カメラ制御装置及びそのプログラム、並びに、多視点映像撮影システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230108617A (ko) * 2022-01-11 2023-07-18 네이버 주식회사 중계 단말의 모바일 단말과의 연결방법 및 이를 위한 중계 단말

Also Published As

Publication number Publication date
WO2020138541A1 (ko) 2020-07-02
KR102149004B1 (ko) 2020-08-28

Similar Documents

Publication Publication Date Title
US11924397B2 (en) Generation and distribution of immersive media content from streams captured via distributed mobile devices
US11265603B2 (en) Information processing apparatus and method, display control apparatus and method, reproducing apparatus and method, and information processing system
US12184911B2 (en) Computer program, method, and server apparatus
US11356713B2 (en) Live interactive video streaming using one or more camera devices
US20150208103A1 (en) System and Method for Enabling User Control of Live Video Stream(s)
JP2022536182A (ja) データストリームを同期させるシステム及び方法
CN106060526A (zh) 一种基于双摄像头的直播方法及装置
KR102644833B1 (ko) Vr 스트림의 지연을 보상하는 방법 및 시스템
US20150026714A1 (en) Systems and methods of sharing video experiences
US20200213631A1 (en) Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus
HK1203010A1 (en) Processing of video files, server and client thereof
JP2015213277A (ja) エンコード方法およびエンコードプログラム
CN108566514A (zh) 图像合成方法和装置、设备、计算机可读存储介质
JP6504453B2 (ja) 画像送信装置、画像送信方法及びプログラム
CN109842792B (zh) 视频播放方法、装置、系统及存储介质
KR102149004B1 (ko) 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치
CN108401163B (zh) 一种实现vr直播的方法、装置及ott业务系统
KR101542416B1 (ko) 멀티앵글영상서비스 제공 방법 및 시스템
US11070713B2 (en) Network-controlled 3D video capture
CN116112617B (zh) 演播画面的处理方法、装置、电子设备及存储介质
US20150264336A1 (en) System And Method For Composite Three Dimensional Photography And Videography
US11044289B2 (en) Sending device, receiving device, information processing method for sending or receiving content divided into segments using MPEG-DASH protocol
KR102055777B1 (ko) 다채널 영상을 위한 전송 시스템 및 이의 제어 방법, 다채널 영상 처리 방법
KR20170085781A (ko) 유무선 통신 네트워크 기반 가상 현실 영상 제공 및 이를 위한 예매 시스템
KR101973190B1 (ko) 다채널 영상을 위한 전송 시스템 및 이의 제어 방법

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 6

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000