KR20220123061A - 영상 배신 장치, 영상 배신 시스템, 영상 배신 방법 및 프로그램 - Google Patents

영상 배신 장치, 영상 배신 시스템, 영상 배신 방법 및 프로그램 Download PDF

Info

Publication number
KR20220123061A
KR20220123061A KR1020227026126A KR20227026126A KR20220123061A KR 20220123061 A KR20220123061 A KR 20220123061A KR 1020227026126 A KR1020227026126 A KR 1020227026126A KR 20227026126 A KR20227026126 A KR 20227026126A KR 20220123061 A KR20220123061 A KR 20220123061A
Authority
KR
South Korea
Prior art keywords
teaching
data
file
video
free
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020227026126A
Other languages
English (en)
Other versions
KR102638162B1 (ko
Inventor
이즈루 세노쿠치
Original Assignee
아마텔러스 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아마텔러스 인크. filed Critical 아마텔러스 인크.
Priority to KR1020247005137A priority Critical patent/KR102818344B1/ko
Publication of KR20220123061A publication Critical patent/KR20220123061A/ko
Application granted granted Critical
Publication of KR102638162B1 publication Critical patent/KR102638162B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Sampling And Sample Adjustment (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Alarm Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

자유 시점 영상 데이터 등을 편집 등을 하여 오토파일럿용 교시 파일을 생성하고 그것을 배신하는 기술을 제공한다. 본 발명의 영상 배신 시스템은, 영상 배신 장치(1)는, 자유 시점 영상 데이터를 배신하는 배신부와, 단말 장치(2)로부터의 교시 데이터를 취득하는 제1 취득부와, 교시 데이터에 기초하여 자동 재생용 교시 파일을 생성하는 교시 파일 생성부를 갖고 있고, 단말 장치(2)는, 영상 배신 장치(1)로부터의 자유 시점 영상 데이터를 취득하는 제2 취득부와, 자유 시점 영상 데이터에 기초하여 영상을 생성하는 영상 생성부와, 영상을 표시하는 표시부와, 자유 시점 영상 데이터를 편집하고 상기 교시 데이터를 송신하는 편집부를 갖고 있다.

Description

영상 배신 장치, 영상 배신 시스템, 영상 배신 방법 및 프로그램
본 발명은 자유 시점 영상 데이터 등을 이용하는 기술에 관한 것으로서, 특히 자유 시점 영상 데이터 등을 편집하고, 오토파일럿용 교시 파일을 생성, 배신하는 등의 기술에 관한 것이다.
종래에 자유 시점 영상 데이터 등을 이용하는 기술은 다양하다. 그 중에서, 복수의 카메라로 촬영된 화상을 이용하는 영상 배신 장치에 대해서도 다양한 기술이 제안되어 있다. 예를 들어, 동일한 피사체에 대하여 시점(視点)이 다른 복수 대의 카메라 중 미리 사용자 지정된 일부 카메라의 배치 상태를 기준으로 하여 피사체에 대한 시점을 바꾸는 기술이 있다(예를 들어, 특허문헌 1 등 참조). 상기 기술에서는, 일련의 결합 동화상의 생성에 사용하는 화상을 촬영하는 1대 또는 2대 이상의 다른 카메라를 사용자 지정 카메라와 함께 그룹 지정하고, 이 지정한 그룹 내의 각 카메라의 각 촬영 동화상을 소정의 전환 타이밍에 전환 결합하여 일련의 결합 동화상을 생성하기 위하여, 그 결합하는 순서를 결정한다.
한편, 복수의 카메라에 의해 동시에 촬상된 복수의 동화상을 편집하여 하나의 동화상을 작성하는 기술이 있다(예를 들어, 특허문헌 2 등 참조). 상기 기술에서는, 동화상 촬상 가능한 복수의 카메라와 무선 또는 유선에 의해 접속되고, 상기 복수의 카메라로부터 1개 내지 복수 개의 라이브 뷰 화상을 취득하는 라이브 뷰 화상 취득부와, 상기 라이브 뷰 화상 취득부에 의해 취득한 1개 내지 복수 개의 라이브 뷰 화상을 표시하는 표시부와, 상기 표시부에 표시하는 라이브 뷰 화상을 수동 조작에 의해 전환하는 조작부와, 상기 조작부에서의 조작 이력을 나타내는 조작 이력 정보를 기록하는 조작 이력 기록부와, 상기 복수의 카메라에 의한 동화상 촬상 종료 후, 상기 복수의 카메라에 의해 각각 촬상된 복수의 동화상과 상기 조작 이력 기록부에 기록된 조작 이력 정보에 기초하여 하나의 동화상을 자동으로 작성하는 동화상 편집을 행하는 동화상 편집부를 구비한다.
일본 특허공개 제2015-177394호 공보 일본 특허 제6302564호 공보
그러나, 특허문헌 1은 복수의 카메라로 촬영된 각각 지정된 카메라의 동화상을 그 때마다 결합 처리하는 기술을 개시하는 것으로서, 동화상을 편집하고 오토파일럿용 교시 파일을 생성하는 점에 대해서는 개시하고 있지 않다.
한편, 특허문헌 2는 복수의 카메라에 의해 촬상된 복수의 동화상과 조작 이력 정보에 기초하여 하나의 동화상을 자동으로 작성하는 동화상 편집을 행하는 것을 개시하고 있는 것에 지나지 않으며, 문자나 음성 등의 주석(annotation)을 동화상에 부가하는 것이나, 편집 결과를 오토파일럿용 교시 파일로서 배신하는 것에 대해서는 개시하고 있지 않다.
본 발명은 이러한 과제를 감안하여 이루어진 것으로서, 그 목적으로 하는 것은 자유 시점 영상 데이터 등을 편집 등을 하여 오토파일럿용 교시 파일을 생성하고 그것을 배신하는 기술을 제공하는 데 있다.
상기 과제를 해결하기 위하여, 본 발명의 제1 형태에 관한 영상 배신 시스템은, 영상 배신 장치와 단말 장치로 이루어지는 영상 배신 시스템으로서, 상기 영상 배신 장치는, 자유 시점 영상 데이터를 배신하는 배신부와, 상기 단말 장치로부터의 교시 데이터를 취득하는 제1 취득부와, 상기 교시 데이터에 기초하여 자동 재생용 교시 파일을 생성하는 교시 파일 생성부를 갖고, 상기 단말 장치는, 상기 영상 배신 장치로부터의 자유 시점 영상 데이터를 취득하는 제2 취득부와, 상기 자유 시점 영상 데이터에 기초하여 영상을 생성하는 영상 생성부와, 상기 영상을 표시하는 표시부와, 상기 자유 시점 영상 데이터를 편집하고 상기 교시 데이터를 송신하는 편집부를 갖는다.
본 발명의 제2 형태에 관한 영상 배신 시스템은, 영상 배신 장치와 단말 장치로 이루어지는 영상 배신 시스템으로서, 상기 영상 배신 장치는, 자유 시점 영상 데이터와 자동 재생용 교시 파일을 기억하는 제1 기억부와, 상기 자유 시점 영상 데이터와 상기 자동 재생용 교시 파일을 배신하는 배신부를 갖고, 상기 단말 장치는, 상기 영상 배신 장치에 상기 자유 시점 영상 데이터와 상기 교시 파일의 배신을 요구하는 요구부와, 상기 자유 시점 영상 데이터와 상기 교시 파일을 기억하는 제2 기억부와, 상기 자유 시점 영상 데이터와 상기 교시 파일에 기초하여 영상을 생성하는 영상 생성부와, 상기 영상을 표시하는 표시부를 갖는다.
본 발명의 제3 형태에 관한 영상 배신 장치는, 단말기 장치와 통신 가능한 영상 배신 장치로서, 자유 시점 영상 데이터를 배신하는 배신부와, 상기 단말 장치로부터의 교시 데이터를 취득하는 제1 취득부와, 상기 교시 데이터에 기초하여 자동 재생용 교시 파일을 생성하는 교시 파일 생성부를 갖고, 상기 교시 데이터는, 스크린의 형태를 교시하는 스크린 교시 데이터, 콘텐츠를 교시하는 콘텐츠 교시 데이터, 및 문자, 도형, 기호 및 음성 중 적어도 하나의 부가를 교시하는 주석 교시 데이터 중 적어도 하나를 포함한다.
본 발명의 제4 형태에 관한 영상 배신 장치는, 단말기 장치와 통신 가능한 영상 배신 장치로서, 자유 시점 영상 데이터와 자동 재생용 교시 파일을 기억하는 기억부와, 상기 자유 시점 영상 데이터와 상기 자동 재생용 교시 파일을 배신하는 배신부를 갖고, 상기 교시 파일에 포함되는 교시 데이터는, 스크린의 형태를 교시하는 스크린 교시 데이터, 콘텐츠를 교시하는 콘텐츠 교시 데이터, 및 문자, 도형, 기호 및 음성 중 적어도 하나의 부가를 교시하는 주석 교시 데이터 중 적어도 하나를 포함한다.
본 발명의 제5 형태에 관한 프로그램은, 컴퓨터를, 자유 시점 영상 데이터를 배신하는 배신부, 상기 단말 장치로부터의 교시 데이터를 취득하는 제1 취득부, 및 상기 교시 데이터에 기초하여 자동 재생용 교시 파일을 생성하는 교시 파일 생성부로서 기능시키고, 상기 교시 데이터는, 스크린의 형태를 교시하는 스크린 교시 데이터, 콘텐츠를 교시하는 콘텐츠 교시 데이터, 및 문자, 도형, 기호 및 음성 중 적어도 하나의 부가를 교시하는 주석 교시 데이터 중 적어도 하나를 포함한다.
본 발명의 제6 형태에 관한 프로그램은, 컴퓨터를, 자유 시점 영상 데이터와 자동 재생용 교시 파일을 배신하는 배신부로서 기능시키고, 상기 교시 파일에 포함되는 교시 데이터는, 스크린의 형태를 교시하는 스크린 교시 데이터, 콘텐츠를 교시하는 콘텐츠 교시 데이터, 및 문자, 도형, 기호 및 음성 중 적어도 하나의 부가를 교시하는 주석 교시 데이터 중 적어도 하나를 포함한다.
본 발명의 제7 형태에 관한 영상 배신 방법은, 영상 배신 장치와 단말 장치로 이루어지는 영상 배신 시스템에 의한 방법으로서, 상기 영상 배신 장치가 자유 시점 영상 데이터를 배신하고, 상기 단말 장치가 상기 영상 배신 장치로부터의 자유 시점 영상 데이터를 취득하고, 상기 자유 시점 영상 데이터에 기초하여 영상을 생성하며, 상기 영상을 표시하고, 상기 자유 시점 영상 데이터를 편집하고 상기 교시 데이터를 송신하며, 상기 영상 배신 장치가 상기 단말 장치로부터의 교시 데이터를 취득하고, 상기 교시 데이터에 기초하여 자동 재생용 교시 파일을 생성한다.
본 발명의 제8 형태에 관한 영상 배신 방법은, 영상 배신 장치와 단말 장치로 이루어지는 영상 배신 시스템에 의한 방법으로서, 상기 영상 배신 장치가 자유 시점 영상 데이터와 자동 재생용 교시 파일을 기억하고, 상기 자유 시점 영상 데이터와 상기 자동 재생용 교시 파일을 배신하며, 상기 단말 장치가 상기 영상 배신 장치에 상기 교시 파일의 배신을 요구하고, 상기 영상 배신 장치가 상기 단말 장치에 상기 자유 시점 영상 데이터와 상기 자동 재생용 교시 파일을 배신하며, 상기 단말 장치가 상기 자유 시점 영상 데이터와 상기 교시 파일에 기초하여 영상을 생성하고 표시한다.
본 발명에 따르면, 자유 시점 영상 데이터 등을 편집 등을 하여 오토파일럿용 교시 파일을 생성하고 그것을 배신하는 기술을 제공할 수 있다.
도 1은 본 발명의 실시 형태에 관한 영상 배신 시스템의 구성도이다.
도 2는 상기 시스템에 있어서의 영상 배신 장치의 구성도이다.
도 3은 상기 시스템에 있어서의 단말 장치의 구성도이다.
도 4는 편집 화면의 일례를 나타내는 도면이다.
도 5는 동화상 데이터 및 분할 데이터에 대하여 도시하는 도면이다.
도 6은 분할 데이터의 전환에 대하여 도시하는 도면이다.
도 7은 스크린 교시 데이터의 구조를 도시하는 도면이다.
도 8은 콘텐츠 교시 데이터의 구조를 도시하는 도면이다.
도 9는 주석 교시 데이터의 구조를 도시하는 도면이다.
도 10은 주석 교시 데이터의 구조를 도시하는 도면이다.
도 11은 생성된 정지 화상 데이터의 순서를 도시하는 도면이다.
도 12는 상기 시스템에 의한 자유 시점 영상 데이터 등의 편집에 관한 처리 절차를 나타내는 흐름도이다.
도 13은 편집 처리의 상세한 처리 절차를 나타내는 흐름도이다.
도 14는 오토파일럿용 교시 파일에 기초한 재생 등의 처리 절차를 나타내는 흐름도이다.
이하, 도면을 참조하면서 본 발명의 일 실시 형태에 대하여 설명한다.
도 1에는, 본 발명의 실시 형태에 관한 영상 배신 시스템의 구성을 도시하고 설명한다.
상기 도면에 도시된 바와 같이, 영상 배신 시스템은, 영상 배신 장치(1)와 편집자의 단말 장치(2)와 열람자의 단말 장치(3)가 인터넷 등의 통신망(4)에 무선 또는 유선으로 접속되어 있다. 영상 배신 장치(1)는 1 또는 2 이상의 서버 장치나 컴퓨터 등에 의해 실현될 수도 있다. 편집자의 단말 장치(2)로서는, 스마트폰, 태블릿 단말기, 노트북형 퍼스널 컴퓨터, 데스크탑형 퍼스널 컴퓨터, 헤드 마운트 디스플레이 등, 조작 입력 접수 등이 가능하고 정보 표시를 가능하게 하는 단말기라면 다양한 것을 채용할 수 있다. 이와 마찬가지로, 열람자의 단말 장치(3)로서는, 스마트폰, 태블릿 단말기, 노트북형 퍼스널 컴퓨터, 데스크탑형 퍼스널 컴퓨터, 헤드 마운트 디스플레이 등, 조작 입력 접수 등이 가능하고 정보 표시를 가능하게 하는 단말기라면 다양한 것을 채용할 수 있다.
이와 같은 구성에 있어서, 영상 배신 장치(1)는, 편집자의 단말 장치(2)로부터의 요구를 받으면, 복수의 카메라로 피사체를 촬영한 자유 시점 영상 데이터 등을 당해 편집자의 단말 장치(2)에 송신한다. 편집자의 단말 장치(2)에서는 상세하게는 후술하는 소정의 편집 화면이 표시되고, 자유 시점 영상 데이터를 열람하면서 영상의 전환(시점의 전환), 확대, 축소, 각종 주석(문자, 도형, 기호 및 음성 등)의 부가 등을 행하고, 편집 결과인 교시 데이터를 영상 배신 장치(1)에 송신한다. 편집자가 복수인 경우에는 각 편집자의 단말 장치(2)로부터 교시 데이터가 영상 배신 장치(1)에 송신된다. 영상 배신 장치(1)는 교시 데이터를 수신하면 당해 교시 데이터에 기초하여 오토파일럿용 교시 파일을 생성한다. 또한, 영상 배신 장치(1)는 오토파일럿용 교시 파일을 열람자의 단말 장치(3)에 배신 가능하게 제시한다. 이러한 제시는 전용 웹 사이트 등에 의해 행해도 좋고, 혹은 단말 장치(2)에서의 어플리케이션 프로그램의 실행에 의해 표시되는 화면에 의해 행해도 좋다.
여기서, "오토파일럿"이란, 자유 시점 영상 데이터의 표시 등에 관하여, 열람자가 임의로 조작하지 않아도 교시 파일의 구성 내용에 기초하여 자동 조작에 의해 시점의 전환이나 재생 시간 위치의 이동 등을 행하고 표시하는 것을 말한다. "라이브 오토파일럿"이란, 임의로 지정한 소정 시간 경과 후 또는 가능한 한 즉시 오토파일럿용 교시 파일을 순차적으로 생성, 배신하는 것을 말하고, 자유 시점 영상 데이터의 라이브 배신(라이브 스트리밍), 온디맨드(on demand) 배신 등의 배신 형태에 상관없이 행할 수 있다.
열람자의 단말 장치(3)에서, 영상 배신 장치(1)가 제공하는 웹 사이트 등에서 오토파일럿용 교시 파일이 선택되고, 배신 요구가 이루어지면, 영상 배신 장치(1)는 선택된 오토파일럿용 교시 파일을 열람자의 단말 장치(3)에 배신한다. 이때, 열람자가 갖는 권한에 따라 교시 파일의 배신 여부 및 교시 파일 유무의 표시 여부에 대하여 결정하도록 해도 좋다. 따라서, 예를 들어 교시 파일 유무의 표시는 전원(全員)이 할 수 있지만, 교시 파일의 배신에 관해서는 구입 완료 권한을 가진 사람만 가능하게 하거나, 구입 완료 권한이 없으면 교시 파일 자체가 표시되지 않도록 하거나 할 수 있다.
열람자의 단말 장치(3)는, 오토파일럿용 교시 파일을 수신하면, 당해 교시 파일에 기초하여 자유 시점 영상을 재생한다. 종래라면, 열람자의 단말 장치(3)에서 원하는 시점 등으로 전환하면서 자유 시점 영상의 재생을 행하고 있었으나, 본 실시 형태에 따르면, 자동으로 시점 등을 전환하면서 유용한 재생이 실현된다. 또한, 자유 시점 영상의 재생에 따르는 콘텐츠의 취득에 대해서는, 예를 들어 온라인(on-line) 스트리밍이라도 좋고, 다운로드라도 좋으며, 복합적으로 행해도 좋은 것은 물론이다.
즉, 열람자의 단말 장치(3)는, 일단 교시 파일과 자유 시점 영상 데이터를 다운로드하면, 통신 환경 하에 있지 않더라도 모두 자유롭게 자유 시점 영상을 재생하는 것이 가능하게 되고, 그것들을 편집하여 교시 파일을 재생성하는 것이 가능한 것은 물론이다. 또한, 자유 시점 영상 데이터만을 다운로드한 경우에도, 그것들을 편집하여 교시 데이터의 생성 및 교시 파일의 생성이 가능한 것은 물론이다. 또한, 단말 장치(3)에서 편집, 생성 내지는 재생성한 교시 파일을 임의로 영상 배신 장치(1)에 송신하고, 권한을 부여하고 배신하는 것이 가능한 것은 물론이다.
도 2에는, 영상 배신 시스템에 있어서의 영상 배신 장치의 상세한 구성을 도시하고 설명한다.
상기 도면에 도시된 바와 같이, 서버 장치 등으로 이루어지는 영상 배신 장치(1)는 전체의 제어를 담당하는 제어부(10)와, 메모리로서의 RAM(Random Access Memory)(11) 및 ROM(Read Only Memory)(12)과, MPEG 디코드 모듈(13)과, HDD(Hard Disc Drive), SSD(Solid State Drive), 플래시 메모리 등으로 이루어지는 기억부(14)와, I/O 포트(15)를 갖고, 이들이 버스 라인에 접속되어 있다. I/O 포트(15)에는 HUB(16)를 통하여 라우터(17)가 접속되어 있다. 또한, 제어부(10)는 예를 들어 CPU(Central Processing Unit), 마이크로프로세서(Microprocessor), 멀티프로세서(Multiprocessor), ASIC, FPGA 등으로 구성될 수도 있다.
기억부(14)는 콘텐츠 기억부(14a), 조작 데이터 기억부(14b) 및 교시 파일 기억부(14c)를 갖는다. 콘텐츠 기억부(14a)에는 자유 시점 영상 데이터나 그것을 분할한 정지 화상 데이터 등이 기억되어 있다. 조작 데이터 기억부(14b)에는 편집자의 단말 장치(2)로부터 보내진 조작 데이터 등이 기억되어 있다. 그리고, 교시 파일 기억부(14c)에는 생성한 오토파일럿용 교시 파일이 기억되어 있다.
기억부(14)에는 또한 OS(14d), 데이터 취득 프로그램(14e), 데이터 생성 프로그램(14f), 교시 파일 생성 프로그램(14g), 선택 프로그램(14h), 배신 프로그램(14i) 및 콘텐츠 생성 프로그램(14j)이 기억되어 있다. 따라서, 제어부(10)는 배신 프로그램(14i)을 실행함으로써 배신부(10a)로서 기능하고, 데이터 취득 프로그램(14e)을 실행함으로써 취득부(10b)로서 기능하며, 데이터 생성 프로그램(14f)을 실행함으로써 데이터 생성부(10c)로서 기능하고, 선택 프로그램(14h)을 실행함으로써 지정값 접수부(10d) 및 선택부(10e)로서 기능하며, 교시 파일 생성 프로그램(14g)을 실행함으로써 교시 파일 생성부(10f)로서 기능한다. 콘텐츠 생성 프로그램(14j)을 실행함으로써 콘텐츠 생성부(10g)로서도 기능한다.
취득부(10b)는 복수의 동화상 데이터를 자유 시점 동화상 데이터로 하여 I/O 포트(15)를 통하여 취득한다. 본 실시 형태에서는 취득부(10b)는 피사체를 각각 다른 방향으로부터 촬상한 복수의 동화상 데이터를 취득한다. 취득한 자유 시점 동화상 데이터는 콘텐츠 기억부(14a)에 기억된다.
데이터 생성부(10c)는 취득부(10b)가 취득한 자유 시점 동화상 데이터, 즉 복수의 동화상 데이터 각각에 대해서 소정 시간마다의 프레임을 정지 화상으로서 추출하여 정지 화상 데이터를 생성한다. 보다 상세하게는, 데이터 생성부(10c)는 콘텐츠 기억부(14a)에 기억된 동화상 데이터를 MPEG 디코드 모듈(13)로 압축을 풀고, 정지 화상 데이터의 집합으로 한 후에 콘텐츠 기억부(14a)에 저장한다. 이때, 각 정지 화상 데이터는 각각이 촬상된 타이밍을 나타내는 시간 데이터와 관련되어 저장된다.
지정값 접수부(10d)는 열람자의 단말 장치(3)로부터 열람하고 싶은 정지 화상 데이터에 있어서의 위치 데이터를 지정하는 방향 지정값(조작 데이터)을 접수한다. 선택부(10e)는 지정값 접수부(10d)가 접수한 방향 지정값에 기초하여 시간 데이터에 따라 정지 화상 데이터를 선택하고, 통신망(4)을 통하여 열람자의 단말 장치(3)에 송신한다. 본 실시 형태에서는 열람자의 단말 장치(3)가 정지 화상 데이터를 수신하여 영상을 생성한다.
교시 파일 생성부(10f)는 편집자의 단말 장치(2)로부터의 교시 데이터에 기초하여 오토파일럿용 교시 파일을 생성하고, 교시 파일 기억부(14c)에 기억한다. 교시 파일의 파일 구조에 대해서는 나중에 상세하게 설명한다. 배신부(10a)는, 열람자의 단말 장치(3)로부터의 배신 요구에 따라, 교시 파일 기억부(14c)로부터 지정된 오토파일럿용 교시 파일을 판독하고, 통신망(4)을 통하여 열람자의 단말 장치(3)에 송신한다. 이러한 송신 시에는 해당하는 콘텐츠 데이터(분할된 정지 화상 데이터를 포함함)를 동시에 송신해도 좋고, 열람 과정에서 해당하는 콘텐츠 데이터를 그 때마다 송신해도 좋다.
콘텐츠 생성부(10g)는 자유 시점 영상 데이터 및 교시 파일에 기초하여 자유 시점 영상 데이터의 콘텐츠를 생성 또는 동화상의 스트리밍 데이터 등의 콘텐츠를 생성한다. 이러한 콘텐츠도 배신부(10a)에 의해 열람자의 단말 장치(3)에 송신된다.
도 3에는, 영상 배신 시스템에 있어서의 편집자의 단말 장치(2)의 구성을 도시하고 설명한다. 열람자의 단말 장치(3)도 기본 구성은 동일하다.
상기 도면에 도시된 바와 같이, 편집자의 단말 장치(2)(열람자의 단말 장치(3)도 마찬가지)는 제어부(21), RAM(22), ROM(23), JPEG 디코드 모듈(24), I/O 포트(25), 무선 통신부(26), 묘화부(27), 표시 모니터(28), 조작 인식부(29), 조작부(30) 및 기억부(31)를 갖는다. 각 부는 버스 라인을 통하여 접속되어 있다. 제어부(10)는 예를 들어 CPU, 마이크로프로세서, 멀티프로세서, ASIC, FPGA 등으로 구성될 수도 있다. 기억부(31)는 HDD나 플래시 메모리이다.
기억부(31)는 콘텐츠 기억부(31a), 조작 데이터 기억부(31b) 및 교시 파일 기억부(31c)를 갖는다. 콘텐츠 기억부(31a)는 영상 배신 장치(1)로부터 보내진 자유 시점 동화상 데이터나 정지 화상 데이터 등을 기억한다. 조작 데이터 기억부(31b)는 화면 조작에 기초하여 재생 영상의 시점 등이 변경되었을 때에 그 조작 데이터를 기억한다. 그리고, 교시 파일 기억부(31c)는 영상 배신 장치(1)로부터 보내진 교시 파일이나 편집 시에 생성된 교시 데이터를 기억한다.
기억부(31)는 OS(31d), 브라우저 프로그램(31e), 편집 프로그램(31f), 교시 파일 생성 프로그램(31g)을 기억하고 있다. 따라서, 제어부(21)는 OS(31d)에 기초하여 요구부(21a), 취득부(21d) 및 송신부(21f)로서 기능하고, 브라우저 프로그램(31e)을 실행함으로써 영상 생성부(21b)로서 기능하며, 편집 프로그램(31f)을 실행함으로써 편집부(21c)로서 기능한다. 열람자의 단말 장치(3)의 표시 모니터(28)가 터치 패널인 경우에, 기억부(31)는 터치 패널 제어 펌웨어를 기억한다. 제어부(21)는 교시 파일 생성 프로그램(31g)을 실행함으로써 교시 파일 생성부(21e)로서 기능한다.
편집 시에는 다음과 같은 처리를 각 부가 행한다. 즉, 요구부(21a)는 영상 배신 장치(1)에 대하여 자유 시점 영상 데이터(분할된 정지 화상 데이터를 포함함)를 요구한다. 이러한 요구의 송신은 I/O 포트(25)를 통하여 접속된 무선 통신부(26)가 행한다. 무선 통신부(26) 대신에 유선 통신부를 구비해도 좋다. 취득부(21d)는 영상 배신 장치(1)로부터 보내진 자유 시점 영상 데이터(분할된 정지 화상 데이터를 포함함)를 취득한다. 영상 생성부(21b)는 자유 시점 영상 데이터로부터 단말 장치(3)에 표시 가능한 콘텐츠를 생성한다. 이때, 묘화부(27)는 표시 모니터(28)에의 표시를 제어한다. 또한, 취득한 정지 화상 데이터는 JPEG 디코드 모듈(24)에 의해 디코딩된다.
편집부(21c)는 상세하게는 후술하는 화면에서의 편집자에 의한 조작에 기초하여 자유 시점 영상 데이터(분할된 정지 화상 데이터를 포함함)의 시점의 변경, 화면 분할, 확대/ 축소, 재생 속도의 변경, 주석(문자, 도형, 기호 및 음성 등)의 부가 등을 포함하는 편집 처리를 실행하고, 교시 데이터를 생성하며, 교시 파일 기억부(31c)에 저장한다. 교시 데이터의 일부를 조작 데이터로 할 경우에는, 조작 인식부(29)가 조작부(30)의 조작을 인식하여 방향 지정값을 포함하는 조작 데이터로서 조작 데이터 기억부(31b)에 저장한다. 교시 파일 생성부(21e)는 교시 데이터에 기초하여 오토파일럿용 교시 파일을 생성하고 교시 파일 기억부(31c)에 기억한다. 송신부(21f)는 콘텐츠 기억부(31a)의 콘텐츠 데이터(예를 들어, 동화상의 스트리밍 데이터 등)나, 교시 데이터, 교시 파일 등을 무선 통신부(26)를 통하여 영상 배신 장치(1)에 송신한다.
한편, 오토파일럿용 교시 파일에 기초한 재생을 행하는 경우에는 다음과 같은 처리를 각 부가 행한다. 즉, 요구부(21a)는 영상 배신 장치(1)에 대하여 오토파일럿용 교시 파일을 요구한다. 취득부(21d)는 영상 배신 장치(1)로부터 보내진 오토파일럿용 교시 파일을 취득한다. 이때, 재생에 필요한 3차원 점군(点群) 데이터, 3차원 CG, 동화상 데이터나 정지 화상 데이터 등의 콘텐츠 데이터를 취득해도 좋다. 그리고, 영상 생성부(21b)가 교시 파일에 기초하여 영상을 생성하고, 묘화부(27)에 의해 표시 모니터(28)에서 동화상의 재생을 행한다. 교시 파일에 주석 데이터 등이 포함되어 있는 경우, 동화상의 재생과 함께 음성, 텍스트, 도형 등의 재생도 교시 파일에서 정의된 타이밍에 행한다.
오토파일럿용 교시 파일에 기초한 재생 과정에서, 열람자에 의해 조작부(30)가 조작되고 시점의 변경 등이 지시되면, 조작 인식부(29)가 그 조작을 인식하고 방향 지정값에 관한 조작 데이터를 생성한다. 요구부(21a)는 방향 지정값에 관한 조작 데이터를 영상 배신 장치(1)에 송신하고 시점의 변경 등을 요구한다. 영상 배신 장치(1)로부터 시점의 변경 등이 이루어진 자유 시점 영상 데이터(분할된 정지 화상 데이터를 포함함)를 취득부(21d)가 취득하면, 교시 파일에 기초한 재생을 일단 중지하고 시점을 바꾼 재생이 실행된다.
도 4에는, 편집자의 단말 장치(2)에서 표시되는 편집 화면의 일례를 도시하고 설명한다.
상기 도면에 도시된 바와 같이, 편집 화면(100)의 영역(100a)에는 편집 대상으로서 선택 가능한 자유 시점 영상 데이터의 파일이 제시되고, 편집자가 편집 대상의 자유 시점 영상 데이터(이 예에서는 분할된 정지 화상 데이터)를 선택할 수 있도록 되어 있다. 영역(100b)은 채팅을 기입할 수 있고, 복수의 편집자에 의해 편집 작업이 분업될 경우 등에 있어서, 커뮤니케이션을 취하면서 작업을 진행할 수 있도록 되어 있다. 또한, 영역(100b)에는 채팅 이외에 편집 로그 등도 표시 가능하고, 불필요한 편집을 권한에 따라서 무효로 하거나, 무효로 한 편집을 원상태로 되돌리거나 할 수 있다. 음성 통화, 화상 채팅 등을 위한 표시 영역이나 기능을 별도로 설치할 수도 있다.
영역(100c)에서는 선택하고 있는 자유 시점 영상 데이터에 기초한 재생 표시가 이루어진다. 영역(100d)에서는 영역(100a)에서 편집 대상으로서 선택한 자유 시점 영상 데이터가 소정 단위로 분할되고, 분할 단위마다 썸네일 등과 함께 나타난다. 이 예에서는 선택된 분할 단위를 파선으로 나타내고 있다. 편집 작업에 있어서는, 조작부(30)의 조작에 의해 각 분할 단위에 각종 주석을 부가할 수 있도록 되어 있다. 부호(100e)는 텍스트나 도형 등의 주석이 부가된 것을 나타내고 있고, 부호(100f)는 음성의 주석이 부가된 것을 나타내고 있다. 부호(100g)는 라이브 배신을 쫓아가도록 편집을 행하는 경우에 라이브의 현재 위치를 나타낸다. 이에 더하여, 현재의 라이브로부터 어느 정도 지연되어 있는지, 라이브로서 임의의 시간 후에 재생 가능하게 한 경우에 당해 임의의 시간까지 남은 시간 등을 표시하도록 할 수도 있다.
여기서, 도 5의 (A) 내지 도 5의 (D)를 참조하여, 자유 시점 영상 데이터에 개념적으로 포함되는 동화상 데이터 및 분할 데이터에 대하여 상세하게 설명한다.
도 5의 (A)에 도시된 바와 같이, 동화상 데이터(D1)는 복수의 프레임(F1, F2, F3, …)으로 구성되어 있다. 영상 배신 장치(1)의 데이터 생성부(10c)는 동화상 데이터를 복수의 프레임별로 분할하고, 분할 데이터 단위로 동화상 데이터를 콘텐츠 기억부(14a)에 기억해도 좋다. 예를 들어, 도 5의 (B)에 도시된 바와 같이, 3장의 프레임별로 분할되는 경우, 프레임(F1 내지 F3)으로 분할된 분할 데이터(D2), 프레임(F4 내지 F6)으로 분할된 분할 데이터(D2)와 같이, 동화상 데이터의 복수의 프레임은 순차적으로 분할된다.
또한, 데이터 생성부(10c)는 동화상 데이터를 복수의 프레임과 하나의 프레임으로 분할하여 분할 데이터 단위로 콘텐츠 기억부(14a)에 기억해도 좋다. 이 경우, 예를 들어 도 5의 (C)에 도시된 바와 같이, 분할 데이터는 복수의 프레임으로 구성되는 복수매 분할 데이터(D2M)와, 1매의 프레임으로 구성되는 단수매 분할 데이터(D2S)로 구성된다.
또한, 데이터 생성부(10c)는 동화상 데이터를 1매의 복수매 분할 데이터와 복수의 단수매 분할 데이터가 시계열로 교대로 배치되도록 분할하여 콘텐츠 기억부(14a)에 기억해도 좋다. 이 경우, 도 5의 (D)에 도시된 바와 같이, 프레임(F1 내지 F3)으로 분할된 복수매 분할 데이터(D2M), 프레임(F4)으로 분할된 단수매 분할 데이터(D2S), 프레임(F5)으로 분할된 단수매 분할 데이터(D2S), 프레임(F5)으로 분할된 단수매 분할 데이터(D2S)와 같이, 1매의 복수매 분할 데이터와 복수의 단수매 분할 데이터가 시계열로 교대로 되도록 분할된다.
이어서, 도 6의 (A) 내지 도 6의 (C)를 참조하여, 분할 데이터의 전환에 대하여 설명한다.
도 6의 (A)에 도시된 바와 같이, 본 실시 형태에서는 동화상 데이터(A)를 분할하여 얻어지는 분할 데이터(D2-A1, D2-A2, D2-A3, D2-A4, …)와 동화상 데이터(B)를 분할하여 얻어지는 분할 데이터(D2-B1, D2-B2, D2-B3, D2-B4, …)는 동일한 또는 대략 동일한 촬상 시각에 촬상하여 얻어지는 프레임으로 구성될 수도 있다. 단, 다른 실시 형태에 따라서는 다른 촬상 시각에 촬상된 것이어도 좋다.
도 6의 (B)에 도시된 바와 같이, 배신부(10a)는 동화상 데이터(A)에 기초한 분할 데이터(D2-A1, D2-A2)를 순차적으로 송신한 후, 열람자의 단말 장치(3)로부터의 전환 요구를 접수하면, 시간적으로 분할 데이터(D2-A2)의 직후가 되는 분할 데이터(D2-B3)를 콘텐츠 기억부(14a)로부터 판독하고, 계속하여 분할 데이터(D2-B3)로부터 시간적으로 이후가 되는 분할 데이터(D2-D4, …)를 콘텐츠 기억부(14a)로부터 판독하고 순차적으로 송신한다.
또한, 도 6의 (C)에 도시된 바와 같이, 배신부(10a)는 동화상 데이터(A)에 기초하는 분할 데이터(D2-A1, D2-A2)를 순차적으로 송신한 후, 열람자의 단말 장치(3)로부터의 전환 요구를 접수하면, 시간적으로 분할 데이터(D2-A2)와 동일한 타이밍이 되는 분할 데이터(D2-B2)를 콘텐츠 기억부(14a)로부터 판독하고, 계속하여 분할 데이터(D2-B2)로부터 시간적으로 이후가 되는 분할 데이터(D2-D3, …)를 콘텐츠 기억부(14a)로부터 판독하고 순차적으로 송신하도록 해도 좋다.
각 동화상 데이터에는 촬상 시각 정보가 부가되어 있으므로, 배신부(10a)는 당해 촬상 시각 정보에 기초하여 분할 데이터와 다른 분할 데이터의 시간적으로 연속한 또는 대략 연속한 판독 및 배신이 가능해진다.
이어서, 도 7 내지 도 10을 참조하여, 교시 파일 생성부(10f)가 생성하는 오토파일럿용 교시 파일의 구조에 대하여 상세하게 설명한다. 교시 파일은 스크린 교시 데이터, 콘텐츠 교시 데이터 및 주석 교시 데이터를 포함한다.
도 7에는, 교시 파일에 포함되는 스크린 교시 데이터의 구조를 도시하고 설명한다.
상기 도면에 도시된 바와 같이, 스크린 교시 데이터는 오브젝트 타입, 오브젝트 ID/URL, 교시 데이터 오브젝트 ID, 시간 조정 데이터 및 화면 분할 데이터를 갖는다. 오브젝트 타입은 스크린이 된다. 오브젝트 ID/URL는 교시 데이터에서의 오브젝트 ID이다. 시간 조정 데이터는, 화면 분할 데이터에 타임코드가 포함되어 있는 경우에, 조정 시간을 가미한 타임코드로 동작시키기 위한 데이터이다. 그리고, 화면 분할 데이터는 기본적으로는 후술하는 콘텐츠 교시 데이터의 화면 분할 데이터와 동일해진다.
도 8에는, 교시 파일에 포함되는 콘텐츠 교시 데이터의 구조를 도시하고 설명한다.
상기 도면에 도시된 바와 같이, 콘텐츠 교시 데이터는 파일럿 타임코드, 오브젝트 타입, 오브젝트 ID/URL, 교시 데이터 오브젝트 ID, 파일럿 타임코드 도달 시 동작, 콘텐츠 종료 시 동작, 지정 타임코드 도달 시 동작, 스타트 타임코드, 엔드 타임코드, 시점 관련 데이터, 재생 속도 데이터, 줌 관련 데이터 및 화면 분할 데이터를 갖는다.
파일럿 타임코드는 오토파일럿 상에서의 개시 시간을 규정한다. 오브젝트 타입은 콘텐츠가 된다. 오브젝트 ID/URL는 시스템 상에서 콘텐츠를 유일하게 나타내는 ID/URL이다. 교시 데이터 오브젝트 ID는 교시 데이터에서의 오브젝트 ID이다. 그리고, 파일럿 타임코드 도달 시 동작은 당해 콘텐츠가 갖는 타임코드의 개시 위치, 혹은 설정된 스타트 타임코드에 파일럿 타임코드에 있어서의 시간이 도달했을 때의 동작을 규정할 수 있다. 예를 들어, 재생, 정지, 영상 이펙트 등이 규정된다. 지정 타임코드 도달 시 동작에서는, 규정하는 동작마다 파일럿 타임코드 혹은 콘텐츠가 갖는 타임코드 중 어느 쪽을 기점으로 할지를 결정하고, 기점으로 하는 타임코드 도달 시 혹은 통과 시에 실행되는 동작을 규정한다. 여기서, 통과 시라 함은, 예를 들어 파일럿 타임코드상에서는 10초 경과 시점에서 재생되어야 했을 음성에 관하여, 파일럿 타임코드가 시크 바(seek bar) 등에 의해 8초째부터 단숨에 15초 등으로 점프했을 때에, 당해 음성의 재생 범위 내라면 적절한 음성 위치로부터 재생되는 바와 같은 거동이 예시된다. 또한, 이러한 통과 시의 거동이, 타임코드와 관련된 파일럿 타임코드 도달 시 동작, 콘텐츠 종료 시 동작, 후술하는 파일럿 타임코드 종료 시 동작 등에 관해서도 마찬가지로 적당한 상태로 거동하는 것은 물론이다.
스타트 타임코드는 콘텐츠 상에서의 재생 개시 시간이며, 엔드 타임코드는 재생 종료 시간이다. 스타트 타임코드와 엔드 타임코드를 소급적으로 지정했을 경우에는 역 재생이 된다. 시점 관련 정보는 자유 시점 영상의 배신 방식에 따라 지정 가능한 정보이며, 예를 들어 정지 화상 송신 방식의 경우 및 동화상 송신 방식의 경우에는 카메라 ID가 되고, 멀티 카메라 방식의 경우에는 멀티 카메라 ID가 되며, 3차원 점군 데이터나 3차원 CG의 경우에는 예를 들어 4×4의 뷰 변환 행렬이 된다. 뷰 변환 행렬 이외에도, 카메라의 위치, 카메라가 향하고 있는 방향(주시점), 카메라의 자세를 특정할 수 있는 표현 방법이라면 형식에 구애받지 않는 것은 물론이다. 재생 속도는 정지로부터 변속 재생을 0.125, 0.25, 0.5, 0, 1, 1.25, 1.5, 2, 4 등과 같이 정의할 수 있다.
그리고, 화면 분할 데이터는 하나의 스크린에 복수의 콘텐츠를 표시할 때의 분할 데이터이다. 화면 분할 데이터에서는 화면 상부 좌측, 화면 상부 우측, 화면 하부 좌측, 화면 하부 우측, 상부, 하부 등, 기본 위치를 지정하거나, 픽셀 단위 지정을 하거나, 화면 전체에 대한 표시 영역의 비율 등을 설정할 수 있다. 표시 영역은 직사각형으로 한정되지 않고, 정원(正圓), 베지에 곡선, 스플라인(spline) 곡선, 복수 직선, 폴리라인(polyline)과 같은 도형도 지정 가능하다. 와이프(wipe)와 같이 하나의 콘텐츠 상에 다른 콘텐츠를 겹쳐서 표시하는 것도 가능한 것은 물론이다. 또한, 하나 이상의 타임코드와 그 시점에서의 대응되는 표시 영역의 형태를 지정할 수도 있다. 또한, 모핑(morphing)을 행할 것을 지정함으로써 새로운 표시 영역 형태로 이행할 때에 원활하게 형태를 변화시키는 지정을 행하는 것도 가능하고, 형태 변화에 걸리는 시간을 임의로 지정하는 것도 가능한 것은 물론이다. 타임코드는 당해 스크린 오브젝트의 표시 시간에 도달한 시간을 0초 등으로서 규정할 수 있고, 오토파일럿 타임코드를 기점으로 한 규정도 가능한 것은 물론이다.
이상이 콘텐츠 교시 데이터의 기본 구성이 되지만, 파일럿 타임코드, 교시 데이터 오브젝트 ID 및 시점 관련 데이터만으로 구성하여 콘텐츠 표현 시의 최소 구성으로 할 수도 있다. 또한, 파일럿 타임코드, 교시 데이터 오브젝트 ID, 스타트 타임코드, 엔드 타임코드 및 시점 관련 데이터만으로 구성하고, 시점 관련 데이터에 하나 이상의 타임코드와 그 시점에서의 대응되는 시점 관련 정보를 넣은 최소 구성으로 할 수도 있다.
도 9에는, 교시 파일에 포함되는 주석 교시 데이터(음성)의 구조를 도시하고 설명한다. 상기 도면에 도시된 바와 같이, 주석 교시 데이터(음성)는 파일럿 타임코드, 오브젝트 타입, 오브젝트 ID/URL, 교시 데이터 오브젝트 ID, 파일럿 타임코드 도달 시 동작, 콘텐츠 종료 시 동작, 지정 타임코드 도달 시 동작, 스타트 타임코드, 엔드 타임코드, 재생 속도 및 데이터를 갖는다.
파일럿 타임코드는 오토파일럿 상에서의 개시 시간이다. 오브젝트 타입은 콘텐츠가 된다. 오브젝트 ID/URL은 시스템 상에서 데이터의 위치를 유일하게 나타내는 ID/URL이다. 교시 데이터 오브젝트 ID는 교시 데이터 상에서의 오브젝트 ID이다. 파일럿 타임코드 도달 시 동작으로서 재생, 정지, 영상 이펙트 등을 규정할 수 있다. 콘텐츠 종료 시 동작으로서 당해 콘텐츠의 재생이 종료되는 타임코드에 도달했을 때에 행하는 동작을 규정할 수 있다. 지정 타임코드 도달 시 동작에서는 규정하는 동작마다 파일럿 타임코드 혹은 콘텐츠가 갖는 타임코드 중 어느 쪽을 기점으로 할지를 결정하고, 기점으로 하는 타임코드 도달 시 혹은 통과 시에 실행되는 동작을 규정한다. 스타트 타임코드는 음성 상에서의 재생 개시 시간이며, 엔드 타임코드는 음성 상에서의 재생 종료 시간이다. 재생 속도는 재생 정지로부터 변속 재생을 0.125, 0.25, 0.5, 0, 1, 1.25, 1.5, 2, 4 등과 같이 정의할 수 있다. 데이터로서는 참조가 아니라 음성 데이터 자체를 매립하는 것도 가능하다. 또한, 교시 데이터에서 지정된 재생 속도는 상호간에 영향을 미치지 않고 지정을 행하는 것이 가능하고, 예를 들어 콘텐츠에 지정된 재생 속도와는 상호 영향을 미치지 않고 음성의 재생 속도를 지정하는 것이 가능하다. 예를 들어, 콘텐츠는 2배속, 음성은 1배속과 같이 지정하는 것이 가능하다.
도 10에는, 교시 파일에 포함되는 주석 교시 데이터(문자열, 도형, 화상 등)의 구조를 도시하고 설명한다.
상기 도면에 도시된 바와 같이, 주석 교시 데이터(문자열, 도형, 화상 등)는 파일럿 타임코드, 엔드 파일럿 타임코드, 오브젝트 타입, 오브젝트 ID/URL, 교시 데이터 오브젝트 ID, 파일럿 타임코드 도달 시 동작, 파일럿 타임코드 종료 시 동작, 지정 타임코드 도달 시 동작, 주석 동작, 시간 조정 데이터, 데이터 및 화면 분할 데이터를 갖는다.
파일럿 타임코드는 오토파일럿 상에서의 개시 시간이다. 엔드 파일럿 타임코드는 오토파일럿 상에서의 종료 시간이다. 오브젝트 타입은 콘텐츠가 된다. 오브젝트 ID/URL은 시스템 상에서 데이터의 위치를 유일하게 나타내는 ID/URL이다. 교시 데이터 오브젝트 ID는 교시 데이터에서의 오브젝트 ID이다. 파일럿 타임코드 도달 시 동작으로서 재생, 정지, 영상 이펙트 등을 규정할 수 있다. 파일럿 타임코드 종료 시 동작으로서 영상 이펙트, 음성의 재생, 동화상의 와이프 표시 재생 등을 규정할 수 있다. 지정 타임코드 도달 시 동작에서는 규정하는 동작마다 파일럿 타임코드 혹은 콘텐츠가 갖는 타임코드 중 어느 쪽을 기점으로 할지를 결정하고, 기점으로 하는 타임코드 도달 시 혹은 통과 시에 실행되는 동작을 규정한다. 주석 동작으로서는 표시 영역을 클릭 또는 탭하거나 마이크로부터 소정의 음성이 입력되거나 했을 때에 일으키는 동작을 규정할 수 있다. 이러한 동작으로는, 예를 들어 임의의 음성 출력, 파일럿 타임코드의 시간을 되돌리는 것, 콘텐츠의 재생을 소정 시간 정지하고 그 동안에 음성을 출력하는 것, 영상 이펙트, 동화상의 재생 등이 있다. 또한, 상술한 동작을, 동작을 규정 가능한 파일럿 타임코드 도달 시 동작, 파일럿 타임코드 종료 시 동작, 콘텐츠 종료 시 동작, 지정 타임코드 도달 시 동작 등에 관해서도 마찬가지로 적절하게 규정 가능한 것은 물론이다.
시간 조정 데이터는 조정 시간을 가미한 타임코드로 동작시키기 위한 데이터이다. 데이터에서는 표시하고 싶은 문자열, 도형, 화상 등과 표시 위치, 표시 스타일 등을 규정할 수 있다. 화면 분할 데이터에 대해서는, 설정하지 않는 경우에는 표시 화면 전체에 콘텐츠보다도 위의 레이어에 겹쳐서 표시된다.
이들 스크린 교시 데이터, 콘텐츠 교시 데이터 및 주석 교시 데이터를 포함하는 교시 파일은, 상술한 도 4의 편집 화면에서의 조작에 기초하여 생성되는 교시 데이터가 편집자의 단말 장치(2)로부터 보내지면, 영상 배신 장치(1)가 그것을 수신하고, 교시 파일 생성부(10f)가 당해 교시 데이터에 기초하여 생성하며, 교시 파일 기억부(14c)에 저장한다.
생성된 오토파일럿용 교시 파일은 영상 배신 장치(1)가 운영하는 웹 사이트 등에서 공표되고 적절히 제공되므로, 열람자의 단말 장치(3)에서는 당해 교시 파일 중에서 열람을 원하는 것을 수신한다. 열람자의 단말 장치(3)에서는 수신한 교시 파일을 교시 파일 기억부(31c)에 저장하고, 당해 교시 파일에 기초하여 영상 생성부(21b)가 단말 장치(3)에 표시 가능한 콘텐츠를 생성하여 표시 모니터(28) 상에서 재생 표시를 행한다.
이때, 오토파일럿용 교시 파일에서는 콘텐츠(예를 들어, 분할된 정지 화상 데이터)의 시점, 재생 속도, 줌의 유무, 화면 분할 등을 규정하고 있으므로, 그들 규정 내용에 따라서 재생이 실행된다. 또한, 오토파일럿용 교시 파일에는 음성, 문자 등의 주석 교시 데이터도 포함되어 있으므로, 주석 교시 데이터에 따라서 재생과 동기하여 규정된 타이밍에 문자나 음성 등의 재생을 아울러 행할 수 있다. 따라서, 열람자는 자신의 기호나 목적에 합치한 오토파일럿용 교시 파일을 취득하면, 스스로 시점 등을 변경시키지 않고 자동으로 자신에 적합한 콘텐츠 열람 기회를 얻는 것이 가능해진다.
여기서, 열람자의 단말 장치(3)에 있어서, 오토파일럿용 교시 파일에 기초한 재생을 실행하고 있는 도중에 사용자 조작이 이루어지면, 오토파일럿의 재생이 일시 중단되어 사용자 조작에 기초한 화면의 전환, 재생이 실행된다. 이하, 이 점을 도 11을 참조하면서 상세하게 설명한다. 또한, 오토파일럿의 재생 중에 있어서, 오토파일럿 타임코드에 있어서의 변속 재생, 되감기, 임의의 오토파일럿 타임코드에의 이동 등도 가능하고, 또한 시점 전환 이외 등에 관해서는 오토파일럿을 중단하지 않더라도 가능한 것은 물론이다. 또한, 상술한 사용자 조작에는 오토파일럿 중단 버튼 등의 UI에의 누름과 같은 조작도 포함된다.
도 11은, 종축이 방향 데이터로서의 식별 번호, 횡축이 시간 데이터로 되어 있고, 종축 및 횡축에 대응되는 정지 화상 데이터의 파일명이 나타나 있다. 도 11의 아래에 도시한 바와 같은 사용자 조작에 따라, 표시되는 정지 화상 데이터가 추이한다. 즉, 도면 중 실선으로 나타내는 화살표가 통과하는 셀에 해당하는 정지 화상 데이터가 열람자의 단말 장치(3)에서 표시되는 것을 의미한다.
먼저, 오토파일럿용 교시 파일에 따라, C001의 정지 화상 데이터를 재생하고 있는 상태에서, 시계열에 따라 순차적으로 동화상이 재생된다. 그리고, 자동 재생 실행 중에 열람자의 스와이프 조작에 의해 지정값 접수부(10d)가 방향 지정값을 접수하면, 오토파일럿용 교시 파일에 기초한 자동 재생은 일시 중단되고, 선택부(10e)는 방향 지정값을 접수했을 때에 대응되는 정지 화상 데이터의 시간 데이터(t=5p)를 기준으로 하여, 스와이프 조작에 있어서의 방향 지정값의 변화량에 기초하여 대응되는 정지 화상 데이터(C005 내지 K005)를 선택한다.
즉, 선택부(10e)는 방향 지정값을 접수한 시각(t=5p)을 기준으로 하여, 그 순간에 있어서 선택되어 있는 위치 데이터(방향 데이터)에 대응되는 정지 화상 데이터(C005)를 최초로 선택한다. 그리고, 방향 지정값이 변화해 가는 과정에 있어서, 선택부(10e)는 동일한 시간 데이터에 상당하는 정지 화상 데이터를 1 프레임씩 식별 번호 순서대로 선택해 간다. 방향 지정값이 스와이프 조작에 의해 지정된 정지 화상 데이터(K005)를 표시했을 때 한번 정지 상태로 된다. 그리고, 사용자가 다시 재생 개시 버튼을 누름으로써 그때의 방향 지정값에 대응되는 정지 화상 데이터가 계속하여 재생된다. 또한, 한번 정지 상태로 하지 않고 연속하여 그때의 방향 지정값에 대응되는 정지 화상 데이터를 계속 재생해도 좋다.
또한, 사용자가 다시 스와이프 조작을 행하면(t=100p), 상술한 바와 마찬가지로 방향 지정값의 변화에 수반하여 선택부(10e)가 동일한 시간 데이터에 상당하는 정지 화상 데이터를 1 프레임씩 식별 번호 순서대로 선택해 간다(K100 내지 F100). 그리고, 스와이프 조작에 의해 지정된 정지 화상 데이터(F100)를 표시한 후에는, 한번 정지 상태로 하지 않을 경우 동일한 방향 지정값에 대응되는 정지 화상 데이터가 계속하여 계속적으로 재생된다. 또한, 상술한 설명에서는, 선택부(10e)가 방향 지정값을 접수했을 때에 대응되는 정지 화상 데이터의 시간 데이터(t=5p)를 기준으로 하여, 당해 정지 화상 데이터와 동일한 시간 데이터를 선택하는 형태에 대하여 설명하고 있으나, 이러한 형태에 한정되지 않는다.
즉, 본 발명의 영상 배신 장치에서는, 파선으로 나타낸 화살표와 같이, 선택부(10e)가 방향 지정값을 접수했을 때에 대응되는 정지 화상 데이터의 시간 데이터(t=5p)를 기준으로 하여, 이미 선택되어 있는 시간 데이터의 다음의 시간 데이터를 순차적으로 선택해도 좋다. 이 경우에는, 스와이프 중에도 동화상이 정지되는 일이 없이 재생된 상태를 유지할 수 있다.
또한, 선택부(10e)는 지정값 접수부(10d)가 방향 지정값을 접수하지 않는 경우이고, 단위 시간당 방향 지정값의 변화량이 역치 미만인 때에는 방향 데이터가 연속적으로 이어지도록 정지 화상 데이터를 선택한다. 한편, 선택부(10e)는 단위 시간당 방향 지정값의 변화량이 역치 이상인 경우에는 방향 데이터가 간헐적으로 이어지도록 정지 화상 데이터를 선택한다. 여기서, "간헐적으로"라 함은 연속적으로 배열되는 방향 데이터에 대하여 일부의 데이터만을 취득하는 것을 의미한다.
즉, 사용자(40)가 손가락을 크게 또는 빠르게 움직임으로써 스와이프 조작에 의한 조작량이 크다고 조작 인식부(29)가 판단한 경우에는, 인접하는 방향 데이터에 대응되는 정지 화상 데이터를 취득하지 않고, 원래의 방향 데이터로부터 떨어진 방향 데이터에 대응되는 정지 화상 데이터를 취득할 수 있다. 그리고, 단말 장치(3)에서는, 선택부(10e)로부터 수신하는 정지 화상 데이터에 의해, 방향 지정 조작 중에는 해당 방향 지정 조작에 기초하여 변화하는 방향 지정값에 있어서의 피사체의 정지 화상 데이터를 표시한다. 한편, 단말 장치(3)에서는, 방향 지정 조작이 되어 있지 않은 때에는, 해당 방향 지정 조작의 완료 위치에 대응되는 방향 지정값의 정지 화상 데이터를 시계열순으로 순차적으로 수신하여 표시함으로써, 완료 위치에 대응되는 방향으로부터의 의사적 동화상을 표시한다.
또한, 열람자 조작에 기초하는 시점 방향을 전환하는 상기 재생으로부터 오토파일럿용 교시 파일에 기초하는 자동 재생으로 복귀하는 경우에는, 열람자의 단말 장치(3)의 재생 화면 상에 표시되는 소정의 버튼을 탭 등을 함으로써, 중단한 타이밍 혹은 전환 타이밍에 오토파일럿용 교시 파일에 기초한 자동 재생을 재개하도록 지시할 수 있다.
이하, 도 12의 흐름도를 참조하여, 본 발명의 실시 형태에 관한 영상 배신 시스템에 의한 오토파일럿용 교시 파일의 생성에 관한 처리 절차를 설명한다.
이 처리에서는, 열람자의 단말 장치(2)에 있어서, 제어부(21)가 편집 프로그램(31f)을 실행하고, 표시 모니터(28)에 도 4에 도시한 바와 같은 편집 화면(100)이 표시되어 있는 것을 전제로 하고 있다. 단, 표시 형태는 도 4에 한정되지 않는다.
편집 화면(100)에 있어서, 영역(100a)에 나타난 선택 가능한 자유 시점 영상 데이터가 선택되면, 요구부(21a)가 영상 배신 장치(1)에 대하여 자유 시점 영상 데이터의 배신을 요구한다(S1). 영상 배신 장치(1)에서는 취득부(10b)가 배신 요구를 접수하고(S2), 배신부(10a)가 당해 배신 요구에 관한 자유 시점 영상 데이터를 콘텐츠 기억부(14a)로부터 판독하며, 열람자의 단말 장치(2)를 향하여 배신한다(S3).
열람자의 단말 장치(2)에서는 이러한 자유 시점 영상 데이터를 수신하고(S4), 영상 생성부(21b)가 단말 장치(2)에 표시 가능한 콘텐츠를 생성하며, 표시 모니터(28)에 표시되어 있는 편집 화면(100) 영역(100c) 및 영역(100d)에 선택된 영상을 표시한다(S5). 영역(100d)에서는 분할된 정지 화상 데이터가 썸네일 등과 함께 분할 단위도 열람자가 파악할 수 있는 형태로 표시된다. 영역(100c)에서는 편집 대상으로서 선택된 영상이 재생된다.
계속하여, 열람자의 단말 장치(2)에서는 편집부(21c)가 편집 처리를 실행한다(S6). 편집 처리의 상세에 대해서는 상세히 후술하지만, 예를 들어 분할된 정지 화상 데이터의 선택(시점 정보), 재생 속도, 각종 주석의 부가 등이 실시된다. 편집부(21c)는 편집 처리를 완료하면 예를 들어 스크린 교시 데이터, 콘텐츠 교시 데이터 및 주석 교시 데이터를 개념적으로 포함하는 교시 데이터를 교시 파일 기억부(31c)에 저장하는 동시에 영상 배신 장치(1)에 송신한다(S7).
영상 배신 장치(1)는, 취득부(10b)가 이러한 교시 데이터를 수신하고 교시 파일 기억부(14c)에 저장한다(S8). 그리고, 모든 편집자의 단말 장치(2)로부터 교시 데이터를 수신하면(S9를 Yes로 분기), 교시 파일 생성부(10f)가 저장하고 있는 교시 데이터에 기초하여 교시 파일을 생성하고(S10), 상기 파일 기억부(14c)에 기억한다(S11). 이렇게 하여 오토파일럿용 교시 파일 생성에 관한 일련의 처리를 종료한다. 교시 파일 기억부(14c)에 저장되어 있는 오토파일럿용 교시 파일은 소정의 웹 사이트 등에 있어서 열람자에게 선택 가능하게 공표된다.
여기서, 도 13의 흐름도를 참조하여, 도 12의 단계 S7에서 실행되는 편집 처리의 처리 절차에 대하여 더욱 상세하게 설명한다.
편집 처리에 들어가면, 편집부(21c)는 콘텐츠의 선택이 이루어졌는지 아닌지를 판단하고(S6-1), 콘텐츠의 선택이 이루어지면(S6-1을 Yes로 분기) 콘텐츠 교시 데이터를 교시 파일 기억부(31c)에 기억한다(S6-2). 콘텐츠의 선택이 이루어지지 않은 경우에는(S6-1을 No로 분기) 단계 S6-3으로 이행한다.
단계 S6-2에서 교시 파일 기억부(31c)에 기억되는 콘텐츠 교시 데이터는 파일럿 타임코드, 오브젝트 타입, 오브젝트 ID/URL, 교시 데이터 오브젝트 ID, 파일럿 타임코드 도달 시 동작, 콘텐츠 종료 시 동작, 지정 타임코드 도달 시 동작, 스타트 타임코드, 엔드 타임코드, 시점 관련 정보, 재생 속도, 줌 관련 정보 및 화면 분할 정보를 갖는다. 이들의 상세에 대해서는 상술한 바와 같다.
계속하여, 편집부(21c)는 주석(문자)의 부가가 이루어졌는지 아닌지를 판단하고(S6-3), 주석(문자)의 부가가 이루어지면(S6-3을 Yes로 분기) 주석 교시 데이터(문자)를 교시 파일 기억부(31c)에 기억한다(S6-4). 주석(문자)의 부가가 이루어지지 않은 경우에는(S6-3을 No로 분기) 단계 S6-5으로 이행한다.
단계 S6-4에서 교시 파일 기억부(31c)에 기억되는 주석 교시 데이터(문자)는 파일럿 타임코드, 엔드 파일럿 타임코드, 오브젝트 타입, 오브젝트 ID/URL, 교시 데이터 오브젝트 ID, 파일럿 타임코드 도달 시 동작, 파일럿 타임코드 종료 시 동작, 지정 타임코드 도달 시 동작, 주석 동작, 시간 조정, 데이터 및 화면 분할 정보를 갖는다. 이들의 상세에 대해서는 상술한 바와 같다.
계속하여, 편집부(21c)는 주석(도형, 기호 등)의 부가가 이루어졌는지 아닌지를 판단하고(S6-5), 주석(도형, 기호 등)의 부가가 이루어지면(S6-5을 Yes로 분기) 주석 교시 데이터(도형, 기호 등)를 교시 파일 기억부(31c)에 기억한다(S6-6). 주석(도형, 기호 등)의 부가가 이루어지지 않은 경우에는(S6-5을 No로 분기) 단계 S6-7로 이행한다.
단계 S6-6에서 교시 파일 기억부(31c)에 기억되는 주석 교시 데이터(도형, 기호 등)는 파일럿 타임코드, 엔드 파일럿 타임코드, 오브젝트 타입, 오브젝트 ID/URL, 교시 데이터 오브젝트 ID, 파일럿 타임코드 도달 시 동작, 파일럿 타임코드 종료 시 동작, 지정 타임코드 도달 시 동작, 주석 동작, 시간 조정, 데이터 및 화면 분할 정보를 갖는다. 이들의 상세에 대해서는 상술한 바와 같다.
계속하여, 편집부(21c)는 주석(음성)의 부가가 이루어졌는지 아닌지를 판단하고(S6-7), 주석(음성)의 부가가 이루어지면(S6-7을 Yes로 분기) 주석 교시 데이터(음성)를 교시 파일 기억부(31c)에 기억한다(S6-8). 주석(음성)의 부가가 이루어지지 않은 경우에는(S6-7을 No로 분기) 단계 S6-9로 이행한다.
단계 S6-8에서 교시 파일 기억부(31c)에 기억되는 주석 교시 데이터(음성)는 파일럿 타임코드, 오브젝트 타입, 오브젝트 ID/URL, 교시 데이터 오브젝트 ID, 파일럿 타임코드 도달 시 동작, 콘텐츠 종료 시 동작, 지정 타임코드 도달 시 동작, 스타트 타임코드, 엔드 타임코드, 재생 속도 및 데이터를 갖는다. 이들의 상세에 대해서는 상술한 바와 같다.
이와 같이 하여, 편집부(21c)는 모든 편집이 완료되었는지 아닌지를 판단하고(S6-9), 모든 편집을 완료하지 않은 경우에는(S6-9을 No로 분기) 단계 S6-1로 돌아가 상기 처리를 반복하고, 모든 편집을 완료한 경우에는(S6-9을 Yes로 분기) 편집 처리를 완료하고 도 12의 단계 S8 이후의 처리로 복귀한다.
이어서, 도 14의 흐름도를 참조하여, 본 발명의 실시 형태에 관한 영상 배신 시스템에 의한 오토파일럿용 교시 파일의 배신 처리에 대하여 설명한다.
우선, 전제로서, 영상 배신 장치(1)는 웹 사이트에 있어서 오토파일럿용 교시 파일을 복수 선택 가능하게 제시하고 있다. 열람자의 단말 장치(3)는, 취득부(21d)가 교시 파일을 취득하고 당해 교시 파일에 기초한 재생을 실행한다(S21). 이 오토파일럿에 관한 재생 개시에 수반하여, 요구부(21a)는 영상 배신 장치(1)에 대하여, 콘텐츠 교시 데이터에 의해 교시된 자유 시점 영상 데이터(분할된 정지 화상 데이터 등을 포함함)의 배신을 요구한다(S22).
영상 배신 장치(1)는 배신 요구를 접수하고(S23), 배신부(10a)가 콘텐츠 기억부(14a)로부터 해당하는 자유 시점 영상 데이터를 판독하고 배신한다(S24). 열람자의 단말 장치(3)에서는 자유 시점 영상 데이터를 수신하고(S25), 영상 생성부(21b)가 자유 시점 영상 데이터에 기초하는 단말 장치(3)에 표시 가능한 콘텐츠를 생성하며, 표시 모니터(28)에서 재생 표시를 행한다(S26). 이러한 오토파일럿에 관한 재생 과정에서, 사용자 조작(예를 들어, 화면의 스와이프 조작) 등이 이루어졌는지 아닌지를 판단하고(S27), 조작이 없으면(S27을 No로 분기) 재생 종료까지(S34) 오토파일럿용 교시 파일에 기초한 재생 표시를 계속한다.
한편, 오토파일럿에 관한 재생 과정에서, 사용자 조작이 이루어지면(S27을 Yes로 분기) 제어부(21)는 조작 데이터(방향 지정값을 포함함)를 영상 배신 장치에 송신한다(S28). 영상 배신 장치(1)에서는 조작 데이터를 접수하고 조작 데이터 기억부(14b)에 저장한다(S29). 그리고, 선택부(10e)는 방향 지정값을 접수한 시각을 기준으로 하여, 방향 지정값이 사용자 조작에 의해 지정된 자유 시점 영상 데이터(정지 화상 데이터)를 선택하고(S30), 배신부(10a)가 선택된 자유 시점 영상 데이터(정지 화상 데이터)를 열람자의 단말 장치(3)에 배신한다(S31).
열람자의 단말 장치(3)에서는, 취득부(21d)가 이 선택된 자유 시점 영상 데이터(정지 화상 데이터)를 수신하고(S32), 영상 생성부(21b)가 단말 장치(3)에 표시 가능한 콘텐츠를 생성하며, 표시 모니터(28)의 표시를 전환한다(S33). 계속하여, 제어부(21)는 재생을 종료할 것인지 여부를 판단하고(S34), 재생을 종료하지 않을 경우에는 상기 단계 S22으로 복귀하여 상기 처리를 반복하며, 재생을 종료하는 경우에는 일련의 처리를 종료한다.
또한, 이러한 재생의 종료는, 오토파일럿용 교시 파일에 기초한 자동 재생 종료와, 사용자 조작에 기초하여 오토파일럿이 일시 중단되고 당해 사용자 조작에 기초한 재생이 행해진 경우의 당해 재생 종료를 포함한다.
이상에서 설명한 바와 같이, 본 발명의 실시 형태에 관한 영상 배신 시스템 등에 의하면 이하의 효과가 발휘된다.
본 발명의 실시 형태에 관한 영상 배신 시스템 등에 의하면, 오토파일럿용 교시 파일을 생성할 수 있으므로, 열람자의 단말기 장치에서는 오토파일럿용 교시 파일을 취득하면, 당해 교시 파일에 기초한 자동 재생이 실행 가능해진다. 이때, 교시 파일에는 음성, 문자, 화상, 도형 등의 각종 주석 교시 데이터가 포함되어 있으므로, 재생과 함께 부가적인 연출도 자동으로 재현된다. 따라서, 열람자는 스스로 시점 등을 전환하는 일 없이, 니즈에 합치한 교시 파일을 취득하고 실행하는 것만으로 원하는 시점 등의 전환을 수반하는 재생을 즐기는 것이 가능해진다.
이러한 오토파일럿은, 스스로 시점을 바꾸면서 열람하는 것이 번잡하거나, 어느 시점이 유용한 지를 알 수 없거나, 통합하여 시간 단축하여 열람하고 싶거나 하는 등의 니즈에 따른 것이다. 사용예로서, 라이브 영상 등을 우선은 자유 시점 영상 데이터(분할된 정지 화상 데이터를 포함함)로서 공개하고, 편집자가 편집한 교시 데이터에 기초하여 생성한 교시 파일을 나중에 공개하는 것도 가능하다. 예를 들어, 라이브에 관한 자유 시점 영상 데이터를 취급하는 경우에는, 특정한 아티스트만을 따르는 재생을 가능하게 하는 교시 파일 등도 생성 가능하다.
또한, 편집자의 단말 장치(2)에서 상술한 바와 같이 각종 교시 데이터를 생성하고, 영상 배신 장치(1)측에서 오토파일럿용 교시 파일을 생성하는 것을 기본으로 하지만, 편집자 또는 열람자의 단말 장치(2, 3)에서의 사용자 조작(예를 들어, 스와이프 조작)을 기록하고, 그것을 교시 데이터의 일부로서 사용하는 것도 가능하다.
또한, 오토파일럿용 교시 파일에 기초한 자동 재생 과정에서, 사용자 조작(예를 들어, 스와이프 조작)이 이루어진 경우에는 자동 재생을 일단 중단하고, 사용자 조작에 기초한 시점의 전환 등을 행할 수 있는 자유도도 있다.
이 외에, 오토파일럿용 교시 파일은 포크(분기 및 카피), 병합(결합), 클론(카피) 등에 의해 재편집하는 것도 가능하므로, 공개된 교시 파일은 복수의 사람이 공유함으로써 다양한 것으로 발전해 나가는 것을 기대할 수 있다.
여기서, 본 발명의 실시 형태에는 이하의 내용도 포함된다.
오토파일럿용 교시 파일을 라이브 배신(라이브 스트리밍)에 있어서의 자유 시점 영상 데이터에 기초하여 생성해도 좋다. 예를 들어, 기계학습에 의해 자동 생성한 오토파일럿용 교시 파일을 라이브 배신(라이브 스트리밍)해도 좋고, 개인적으로 작성(공동 편집 작업도 가능한 것으로 한다)하고, 라이브로서는 임의의 시간(예를 들어, 5분 지연 등) 후에, 열람자 측에서는 임의의 시간의 지연에 의해 라이브 개시 시점으로부터의 콘텐츠 재생을 가능하게 해도 좋다. 또한, 복합적으로 기계학습에 의해 작성한 오토파일럿용 교시 파일을 편집자가 열람, 편집하여 라이브 배신(라이브 스트리밍)하도록 해도 좋다. 또한, 개인적인 작업이 시간적으로 늦을 경우에는 일정 시간 통상의 자유 시점 영상 데이터를 배신하고, 작성된 단계에서 다시 오토파일럿용 교시 파일을 라이브 배신(라이브 스트리밍)해도 좋다. 오토파일럿용 교시 파일의 공동 편집도, 이미 확립되어 있는 공동 편집 기술, 자신의 타임 라인에 있어서의 배타(排他) 제어나, OT(Operational Transformation)법 등을 사용한 편집 병합을 행함으로써 신속히 오토파일럿을 작성하도록 해도 좋다. 또한, 온디맨드의 자유 시점 영상 데이터에 대해서도, 기계학습에 의한 오토파일럿용 교시 파일의 자동 생성, 기계학습에 의해 생성된 오토파일럿용 교시 파일을 편집자가 열람, 편집 가능, 오토파일럿용 교시 파일의 공동 편집 작업이 가능한 것은 물론이다.
상기의 흐름에 있어서, 오토파일럿용 교시 파일의 작성 중에 작업이 완료된 곳까지의 "동화상 파일"을 생성해도 좋고, 그것을 통상의 동화상 파일로서 배신하도록 해도 좋다. 이러한 경우, 전용 웹 사이트 등에 공개 가능하고, 권한에 따라 스트리밍에 의한 열람, 다운로드가 가능하게 할 수도 있다. 또한, 동화상 파일에 대하여 타임코드마다 구성 요소에 포함되는 자유 시점 영상 콘텐츠 등에 관한 정보를 메타데이터(예를 들어, XMP 형식 등)로서 동화상에 집어넣고, 또는 별도의 파일로서 관련되어 취득 가능한 상태로 하고(XMP 등에 당해 파일 장소를 기술해도 좋고, 예를 들어 HLS 형식이면 m3u8 파일 등에 당해 파일 장소나 내용을 기술해도 좋으며, 소정 서버에 대하여 문의를 행하거나 하여 당해 파일의 내용이나 배치 장소를 취득하거나 해도 좋다), 당해 메타데이터를 참조함으로써, 대응되는 동화상 플레이어라면 재생하거나 하는 중 등에 동화상 파일로부터 현재 열람하고 있던 자유 시점 영상 콘텐트로 천이하여 임의의 시점으로 변경하는 것도 가능하고, 동화상 파일의 천이 시점의 개소로 돌아가 재생을 재개하는 것도 가능한 것은 물론이다.
또한, 각 개인의 자유 시점 영상의 열람 방법이나 근사 속성의 열람 방법을 학습하여, 송신되어 온 자유 시점 영상을 자동으로 학습 결과에 기초하여 전환하도록 해도 좋다. 또한, 콘텐츠 소유자 측이 개인적으로 작성하여(공동 작업도 가능, 당해 공동 편집 기능은 일반 사용자용으로 권한에 기초하여 부여하는 것도 가능할 수 있다), 소정 시간 경과 후에 라이브 오토파일럿용 교시 파일을 배신하도록 해도 좋다.
또한, 선행하여 자유 시점 영상을 열람하고 있는 사용자의 열람 통계 데이터에 기초하여, 예를 들어 가장 잘 보이고 있는 시점 등으로부터 라이브 오토파일럿용 교시 파일을 생성하고 배신하도록 해도 좋다. 또한, 라이브 오토파일럿용 교시 파일로부터 순서대로, 예를 들어 HLS 형식 등의 동화상 스트리밍 데이터를 생성하여 그것을 라이브 배신(라이브 스트리밍)해도 좋다. 구성 요소에 포함되는 자유 시점 영상 콘텐츠 등에 관한 정보를 메타데이터(예를 들어, XMP 형식 등)로서 동화상에 집어넣고, 또는 별도의 파일로서 관련되어 취득 가능한 상태로 하고(XMP 등에 당해 파일 장소를 기술해도 좋고, 예를 들어 HLS 형식이면 m3u8 파일 등에 당해 파일 장소나 내용을 기술해도 좋으며, 소정 서버에 대하여 문의를 행하거나 하여 당해 파일의 내용이나 배치 장소를 취득하거나 해도 좋다), 당해 메타데이터를 참조함으로써, 대응되는 동화상 플레이어라면 재생하거나 하는 중 등에 동화상 파일로부터 현재 열람하고 있던 자유 시점 영상 콘텐트로 천이하여 임의의 시점으로 변경하는 것도 가능하고, 동화상 파일의 천이 시점의 개소로 돌아가 재생을 재개하는 것도 가능한 것은 물론이다.
이밖에, 사용자가 좋아하는 타겟이나 장르를 속성 정보로서 보유하고 있는 경우, 그들 속성 정보에 기초하여 당해 사용자에 적합한 시점, 확대 등을 수반하는 콘텐츠 재생을 실현하는 오토파일럿용 교시 파일을 생성하고, 당해 사용자에게 제공하도록 해도 좋다. 예를 들어, 스포츠라면 "볼" 등을 선택해 두면, 볼을 물체 인식하여 항상 추종하는 등의 오토파일럿용 교시 파일을 생성, 배신해도 좋다.
이상에서 본 발명의 실시 형태에 대하여 설명했으나, 본 발명은 이에 한정되지 않으며, 그 취지를 벗어나지 않는 범위에서 다양한 가일층의 개량·변경이 가능하다.
1: 영상 배신 장치
2: 단말 장치
3: 단말 장치
4: 통신망
10: 제어부
10a: 배신부
10b: 취득부
10c: 데이터 생성부
10d: 지정값 접수부
10e: 선택부
10f: 교시 파일 생성부
11: RAM
12: ROM
13: MPEG 디코드 모듈
14: 기억부
14a: 콘텐츠 기억부
14b: 조작 데이터 기억부
14c: 교시 파일 기억부
14d: OS
14e: 데이터 취득 프로그램
14f: 데이터 생성 프로그램
14g: 교시 파일 생성 프로그램
14h: 선택 프로그램
14i: 배신 프로그램
15: I/O 포트
16: 허브
17: 라우터
21: 제어부
21a: 요구부
21b: 영상 생성부
21c: 편집부
21d: 취득부
22: RAM
23: ROM
24: JPEG 디코드 모듈
25: I/O 포트
26: 무선 통신부
27: 묘화부
28: 표시 모니터
29: 조작 인식부
30: 조작부
31: 기억부
31a: 콘텐츠 기억부
31b: 조작 데이터 기억부
31c: 교시 파일 기억부
31d: OS
31e: 브라우저 프로그램
31f: 편집 프로그램

Claims (17)

  1. 영상 배신 장치와 단말 장치로 이루어지는 영상 배신 시스템으로서,
    상기 영상 배신 장치는,
    자유 시점 영상 데이터를 배신하는 배신부와,
    상기 단말 장치로부터의 교시 데이터를 취득하는 제1 취득부와,
    상기 교시 데이터에 기초하여 자동 재생용 교시 파일을 생성하는 교시 파일 생성부를 갖고,
    상기 단말 장치는,
    상기 영상 배신 장치로부터의 자유 시점 영상 데이터를 취득하는 제2 취득부와,
    상기 자유 시점 영상 데이터에 기초하여 영상을 생성하는 영상 생성부와,
    상기 영상을 표시하는 표시부와,
    상기 자유 시점 영상 데이터를 편집하고 상기 교시 데이터를 송신하는 편집부를 갖는,
    영상 배신 시스템.
  2. 제1항에 있어서,
    상기 단말 장치는 상기 교시 데이터와 상기 자유 시점 영상 데이터에 기초하여 교시 파일을 생성하는 교시 파일 생성부를 더 갖는,
    영상 배신 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 영상 배신 장치는 상기 교시 파일과 상기 자유 시점 영상 데이터에 기초하여 콘텐츠 데이터를 생성하는 콘텐츠 생성부를 더 갖는,
    영상 배신 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 교시 데이터는, 스크린의 형태를 교시하는 스크린 교시 데이터, 콘텐츠를 교시하는 콘텐츠 교시 데이터, 및 문자, 도형, 기호 및 음성 중 적어도 하나의 부가를 교시하는 주석 교시 데이터 중 적어도 하나를 포함하는,
    영상 배신 시스템.
  5. 제4항에 있어서,
    상기 교시 데이터는 상기 단말 장치의 조작 데이터를 포함하는,
    영상 배신 시스템.
  6. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 단말기 장치에서는, 상기 편집 시에 편집 화면을 상기 표시부에 표시하고,
    상기 편집 화면은,
    선택 가능한 콘텐츠를 제시하는 제1 영역과,
    선택한 영상을 재생하는 제2 영역과,
    상기 자유 시점 영상 데이터를 선택 가능한 단위로 나타내는 제3 영역을 갖는,
    영상 배신 시스템.
  7. 영상 배신 장치와 단말 장치로 이루어지는 영상 배신 시스템으로서,
    상기 영상 배신 장치는,
    자유 시점 영상 데이터와 자동 재생용 교시 파일을 기억하는 제1 기억부와,
    상기 자유 시점 영상 데이터와 상기 자동 재생용 교시 파일을 배신하는 배신부를 갖고,
    상기 단말 장치는,
    상기 영상 배신 장치에 상기 자유 시점 영상 데이터와 상기 교시 파일의 배신을 요구하는 요구부와,
    상기 자유 시점 영상 데이터와 상기 교시 파일을 기억하는 제2 기억부와,
    상기 자유 시점 영상 데이터와 상기 교시 파일에 기초하여 영상을 생성하는 영상 생성부와,
    상기 영상을 표시하는 표시부를 갖는,
    영상 배신 시스템.
  8. 제7항에 있어서,
    상기 교시 파일에 포함되는 교시 데이터는, 스크린의 형태를 교시하는 스크린 교시 데이터, 콘텐츠를 교시하는 콘텐츠 교시 데이터, 및 문자, 도형, 기호 및 음성 중 적어도 하나의 부가를 교시하는 주석 교시 데이터 중 적어도 하나를 포함하는,
    영상 배신 시스템.
  9. 단말기 장치와 통신 가능한 영상 배신 장치로서,
    자유 시점 영상 데이터를 배신하는 배신부와,
    상기 단말 장치로부터의 교시 데이터를 취득하는 제1 취득부와,
    상기 교시 데이터에 기초하여 자동 재생용 교시 파일을 생성하는 교시 파일 생성부를 갖고,
    상기 교시 데이터는, 스크린의 형태를 교시하는 스크린 교시 데이터, 콘텐츠를 교시하는 콘텐츠 교시 데이터, 및 문자, 도형, 기호 및 음성 중 적어도 하나의 부가를 교시하는 주석 교시 데이터 중 적어도 하나를 포함하는,
    영상 배신 장치.
  10. 제9항에 있어서,
    상기 교시 파일과 상기 자유 시점 영상 데이터에 기초하여 콘텐츠 데이터를 생성하는 콘텐츠 생성부를 더 갖는,
    영상 배신 장치.
  11. 단말기 장치와 통신 가능한 영상 배신 장치로서,
    자유 시점 영상 데이터와 자동 재생용 교시 파일을 기억하는 기억부와,
    상기 자유 시점 영상 데이터와 상기 자동 재생용 교시 파일을 배신하는 배신부를 갖고,
    상기 교시 파일에 포함되는 교시 데이터는, 스크린의 형태를 교시하는 스크린 교시 데이터, 콘텐츠를 교시하는 콘텐츠 교시 데이터, 및 문자, 도형, 기호 및 음성 중 적어도 하나의 부가를 교시하는 주석 교시 데이터 중 적어도 하나를 포함하는,
    영상 배신 장치.
  12. 컴퓨터를,
    자유 시점 영상 데이터를 배신하는 배신부,
    상기 단말 장치로부터의 교시 데이터를 취득하는 제1 취득부, 및
    상기 교시 데이터에 기초하여 자동 재생용 교시 파일을 생성하는 교시 파일 생성부,
    로서 기능시키고,
    상기 교시 데이터는, 스크린의 형태를 교시하는 스크린 교시 데이터, 콘텐츠를 교시하는 콘텐츠 교시 데이터, 및 문자, 도형, 기호 및 음성 중 적어도 하나의 부가를 교시하는 주석 교시 데이터 중 적어도 하나를 포함하는,
    프로그램.
  13. 컴퓨터를,
    자유 시점 영상 데이터와 자동 재생용 교시 파일을 배신하는 배신부,
    로서 기능시키고,
    상기 교시 파일에 포함되는 교시 데이터는, 스크린의 형태를 교시하는 스크린 교시 데이터, 콘텐츠를 교시하는 콘텐츠 교시 데이터, 및 문자, 도형, 기호 및 음성 중 적어도 하나의 부가를 교시하는 주석 교시 데이터 중 적어도 하나를 포함하는,
    프로그램.
  14. 영상 배신 장치와 단말 장치로 이루어지는 영상 배신 시스템에 의한 방법으로서,
    상기 영상 배신 장치가 자유 시점 영상 데이터를 배신하고,
    상기 단말 장치가 상기 영상 배신 장치로부터의 자유 시점 영상 데이터를 취득하고, 상기 자유 시점 영상 데이터에 기초하여 영상을 생성하며, 상기 영상을 표시하고, 상기 자유 시점 영상 데이터를 편집하고 상기 교시 데이터를 송신하며,
    상기 영상 배신 장치가 상기 단말 장치로부터의 교시 데이터를 취득하고, 상기 교시 데이터에 기초하여 자동 재생용 교시 파일을 생성하는,
    영상 배신 방법.
  15. 제14항에 있어서,
    상기 교시 데이터는, 스크린의 형태를 교시하는 스크린 교시 데이터, 콘텐츠를 교시하는 콘텐츠 교시 데이터, 및 문자, 도형, 기호 및 음성 중 적어도 하나의 부가를 교시하는 주석 교시 데이터 중 적어도 하나를 포함하는,
    영상 배신 방법.
  16. 영상 배신 장치와 단말 장치로 이루어지는 영상 배신 시스템에 의한 방법으로서,
    상기 영상 배신 장치가 자유 시점 영상 데이터와 자동 재생용 교시 파일을 기억하고, 상기 자유 시점 영상 데이터와 상기 자동 재생용 교시 파일을 배신하며,
    상기 단말 장치가 상기 영상 배신 장치에 상기 교시 파일의 배신을 요구하고,
    상기 영상 배신 장치가 상기 단말 장치에 상기 자유 시점 영상 데이터와 상기 자동 재생용 교시 파일을 배신하며,
    상기 단말 장치가 상기 자유 시점 영상 데이터와 상기 교시 파일에 기초하여 영상을 생성하고 표시하는,
    영상 배신 방법.
  17. 제16항에 있어서,
    상기 교시 파일에 포함되는 교시 데이터는, 스크린의 형태를 교시하는 스크린 교시 데이터, 콘텐츠를 교시하는 콘텐츠 교시 데이터, 및 문자, 도형, 기호 및 음성 중 적어도 하나의 부가를 교시하는 주석 교시 데이터 중 적어도 하나를 포함하는,
    영상 배신 방법.
KR1020227026126A 2020-01-30 2020-01-30 영상 배신 장치, 영상 배신 시스템, 영상 배신 방법 및 프로그램 Active KR102638162B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247005137A KR102818344B1 (ko) 2020-01-30 2020-01-30 영상 배신 장치, 영상 배신 시스템, 영상 배신 방법 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/003331 WO2021152758A1 (ja) 2020-01-30 2020-01-30 映像配信装置、映像配信システム、映像配信方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247005137A Division KR102818344B1 (ko) 2020-01-30 2020-01-30 영상 배신 장치, 영상 배신 시스템, 영상 배신 방법 및 프로그램

Publications (2)

Publication Number Publication Date
KR20220123061A true KR20220123061A (ko) 2022-09-05
KR102638162B1 KR102638162B1 (ko) 2024-02-20

Family

ID=77078714

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020247005137A Active KR102818344B1 (ko) 2020-01-30 2020-01-30 영상 배신 장치, 영상 배신 시스템, 영상 배신 방법 및 프로그램
KR1020227026126A Active KR102638162B1 (ko) 2020-01-30 2020-01-30 영상 배신 장치, 영상 배신 시스템, 영상 배신 방법 및 프로그램

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020247005137A Active KR102818344B1 (ko) 2020-01-30 2020-01-30 영상 배신 장치, 영상 배신 시스템, 영상 배신 방법 및 프로그램

Country Status (7)

Country Link
US (1) US20220368959A1 (ko)
EP (1) EP4099687B1 (ko)
JP (2) JP7054287B2 (ko)
KR (2) KR102818344B1 (ko)
CN (1) CN115053515A (ko)
IL (1) IL295170B2 (ko)
WO (1) WO2021152758A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7208695B2 (ja) * 2020-10-27 2023-01-19 Ａｍａｔｅｌｕｓ株式会社 映像配信装置、映像配信システム、映像配信方法、及びプログラム
JP7791226B2 (ja) * 2023-07-25 2025-12-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2026009758A1 (ja) * 2024-07-02 2026-01-08 ソニーグループ株式会社 情報処理システム、情報処理方法、および情報処理プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS632564Y2 (ko) 1982-08-09 1988-01-22
JP2013183209A (ja) * 2012-02-29 2013-09-12 Nagoya Univ 多視点映像ストリーム視聴システムおよび方法
JP2015177394A (ja) 2014-03-17 2015-10-05 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2015186148A (ja) * 2014-03-25 2015-10-22 大日本印刷株式会社 画像再生端末、画像再生方法、プログラム、及び、多視点画像再生システム
WO2018030206A1 (ja) * 2016-08-10 2018-02-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ カメラワーク生成方法及び映像処理装置
JP2019525628A (ja) * 2016-08-16 2019-09-05 サムスン エレクトロニクス カンパニー リミテッド 映像表示装置及びその動作方法

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070103558A1 (en) * 2005-11-04 2007-05-10 Microsoft Corporation Multi-view video delivery
US20070157281A1 (en) * 2005-12-23 2007-07-05 United Video Properties, Inc. Interactive media guidance system having multiple devices
US7822280B2 (en) * 2007-01-16 2010-10-26 Microsoft Corporation Epipolar geometry-based motion estimation for multi-view image and video coding
US20090144237A1 (en) * 2007-11-30 2009-06-04 Michael Branam Methods, systems, and computer program products for providing personalized media services
JP2010218423A (ja) * 2009-03-18 2010-09-30 Toshiba Corp 音楽概念データ処理方法及び映像表示装置及び音楽概念データ処理サーバ
US8769589B2 (en) * 2009-03-31 2014-07-01 At&T Intellectual Property I, L.P. System and method to create a media content summary based on viewer annotations
US20110078717A1 (en) * 2009-09-29 2011-03-31 Rovi Technologies Corporation System for notifying a community of interested users about programs or segments
US8930849B2 (en) * 2010-03-31 2015-01-06 Verizon Patent And Licensing Inc. Enhanced media content tagging systems and methods
US9252897B2 (en) * 2010-11-10 2016-02-02 Verizon Patent And Licensing Inc. Multi-feed event viewing
US9565476B2 (en) * 2011-12-02 2017-02-07 Netzyn, Inc. Video providing textual content system and method
US20150208103A1 (en) * 2012-08-08 2015-07-23 National University Of Singapore System and Method for Enabling User Control of Live Video Stream(s)
US9699485B2 (en) * 2012-08-31 2017-07-04 Facebook, Inc. Sharing television and video programming through social networking
US9497424B2 (en) * 2012-12-05 2016-11-15 At&T Mobility Ii Llc System and method for processing streaming media of an event captured by nearby mobile phones
JP5582427B2 (ja) * 2012-12-18 2014-09-03 株式会社安川電機 教示データ作成装置、ロボットシステム、及び教示データ作成方法
WO2014130594A1 (en) * 2013-02-19 2014-08-28 Wizeo Methods and systems for hosting interactive live stream video events for payment or donation
JP2014165763A (ja) * 2013-02-26 2014-09-08 Ricoh Co Ltd 編集装置、編集方法、及び編集プログラム
JP2014222446A (ja) * 2013-05-14 2014-11-27 大日本印刷株式会社 映像出力装置、映像出力方法、及びプログラム
EP3054692A4 (en) * 2013-10-01 2017-04-05 Dentsu Inc. Multi-viewpoint moving image layout system
US20160037217A1 (en) * 2014-02-18 2016-02-04 Vidangel, Inc. Curating Filters for Audiovisual Content
JP6302564B2 (ja) 2014-09-05 2018-03-28 富士フイルム株式会社 動画編集装置、動画編集方法及び動画編集プログラム
US10015551B2 (en) * 2014-12-25 2018-07-03 Panasonic Intellectual Property Management Co., Ltd. Video delivery method for delivering videos captured from a plurality of viewpoints, video reception method, server, and terminal device
US20160366464A1 (en) * 2015-06-11 2016-12-15 Flune Interactive, Inc. Method, device, and system for interactive television
US9967618B2 (en) * 2015-06-12 2018-05-08 Verizon Patent And Licensing Inc. Capturing a user reaction to media content based on a trigger signal and using the user reaction to determine an interest level associated with a segment of the media content
US9883249B2 (en) * 2015-06-26 2018-01-30 Amazon Technologies, Inc. Broadcaster tools for interactive shopping interfaces
US10390064B2 (en) * 2015-06-30 2019-08-20 Amazon Technologies, Inc. Participant rewards in a spectating system
JP6753405B2 (ja) * 2015-09-14 2020-09-09 ソニー株式会社 情報処理装置及び情報処理方法
US10187687B2 (en) * 2015-11-06 2019-01-22 Rovi Guides, Inc. Systems and methods for creating rated and curated spectator feeds
US10114689B1 (en) * 2015-12-28 2018-10-30 Amazon Technologies, Inc. Dynamic playlist generation
US10775882B2 (en) * 2016-01-21 2020-09-15 Microsoft Technology Licensing, Llc Implicitly adaptive eye-tracking user interface
US11012719B2 (en) * 2016-03-08 2021-05-18 DISH Technologies L.L.C. Apparatus, systems and methods for control of sporting event presentation based on viewer engagement
WO2017159063A1 (ja) * 2016-03-14 2017-09-21 ソニー株式会社 表示装置並びに情報処理端末装置
WO2018070092A1 (ja) * 2016-10-11 2018-04-19 ソニー株式会社 情報提供装置と情報提供方法および情報再生装置と情報再生方法
CN109845277A (zh) * 2016-10-26 2019-06-04 索尼公司 信息处理装置、信息处理系统、信息处理方法和程序
KR102739585B1 (ko) * 2016-12-23 2024-12-06 삼성전자주식회사 가상현실 영상에 대한 정보를 제공하는 장치 및 방법
US10148910B2 (en) * 2016-12-30 2018-12-04 Facebook, Inc. Group video session
WO2018152455A1 (en) * 2017-02-20 2018-08-23 Vspatial, Inc. System and method for creating a collaborative virtual session
JP2018163461A (ja) * 2017-03-24 2018-10-18 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2018182428A (ja) * 2017-04-06 2018-11-15 株式会社フューチャリズムワークス 映像配信装置、映像配信システム及び映像配信方法
US10187690B1 (en) * 2017-04-24 2019-01-22 Gopro, Inc. Systems and methods to detect and correlate user responses to media content
EP3654294A4 (en) * 2017-07-14 2020-06-03 Sony Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD FOR AN IMAGE PROCESSING DEVICE AND PROGRAM
JP6980496B2 (ja) * 2017-11-21 2021-12-15 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP6920987B2 (ja) * 2017-12-28 2021-08-18 キヤノン株式会社 情報処理装置、映像配信装置およびそれらの制御方法、並びにプログラム
US10419790B2 (en) * 2018-01-19 2019-09-17 Infinite Designs, LLC System and method for video curation
US11064102B1 (en) * 2018-01-25 2021-07-13 Ikorongo Technology, LLC Venue operated camera system for automated capture of images
GB2571106A (en) * 2018-02-16 2019-08-21 Sony Corp Image processing apparatuses and methods
JP7045218B2 (ja) * 2018-02-28 2022-03-31 キヤノン株式会社 情報処理装置および情報処理方法、プログラム
US11206462B2 (en) * 2018-03-30 2021-12-21 Scener Inc. Socially annotated audiovisual content
US11477516B2 (en) * 2018-04-13 2022-10-18 Koji Yoden Services over wireless communication with high flexibility and efficiency
US10757109B2 (en) * 2018-05-10 2020-08-25 Rovi Guides, Inc. Systems and methods for connecting a public device to a private device with pre-installed content management applications
KR20210107631A (ko) * 2018-12-25 2021-09-01 소니그룹주식회사 영상 재생 장치, 재생 방법 및 프로그램
US11141656B1 (en) * 2019-03-29 2021-10-12 Amazon Technologies, Inc. Interface with video playback
EP3952304A4 (en) * 2019-03-29 2022-05-04 Sony Group Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM
JP6776400B1 (ja) * 2019-04-26 2020-10-28 株式会社コロプラ プログラム、方法、および情報端末装置
JP6971282B2 (ja) * 2019-08-30 2021-11-24 株式会社コロプラ プログラム、方法、および情報端末装置
US20210097338A1 (en) * 2019-09-26 2021-04-01 International Business Machines Corporation Using Domain Constraints And Verification Points To Monitor Task Performance
JP7423974B2 (ja) * 2019-10-21 2024-01-30 株式会社Ｊｖｃケンウッド 情報処理システム、情報処理方法及びプログラム
EP4167577A4 (en) * 2020-06-10 2023-09-27 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, IMAGING DEVICE AND IMAGE TRANSFER SYSTEM
JP7083380B2 (ja) * 2020-09-28 2022-06-10 グリー株式会社 コンピュータプログラム、方法及びサーバ装置
JP7208695B2 (ja) * 2020-10-27 2023-01-19 Ａｍａｔｅｌｕｓ株式会社 映像配信装置、映像配信システム、映像配信方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS632564Y2 (ko) 1982-08-09 1988-01-22
JP2013183209A (ja) * 2012-02-29 2013-09-12 Nagoya Univ 多視点映像ストリーム視聴システムおよび方法
JP2015177394A (ja) 2014-03-17 2015-10-05 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2015186148A (ja) * 2014-03-25 2015-10-22 大日本印刷株式会社 画像再生端末、画像再生方法、プログラム、及び、多視点画像再生システム
WO2018030206A1 (ja) * 2016-08-10 2018-02-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ カメラワーク生成方法及び映像処理装置
JP2019525628A (ja) * 2016-08-16 2019-09-05 サムスン エレクトロニクス カンパニー リミテッド 映像表示装置及びその動作方法

Also Published As

Publication number Publication date
EP4099687B1 (en) 2026-04-29
WO2021152758A1 (ja) 2021-08-05
JP2022075940A (ja) 2022-05-18
JP7054287B2 (ja) 2022-04-13
CN115053515A (zh) 2022-09-13
IL295170B2 (en) 2026-04-01
EP4099687A4 (en) 2023-10-11
EP4099687A1 (en) 2022-12-07
IL295170A (en) 2022-09-01
JPWO2021152758A1 (ko) 2021-08-05
US20220368959A1 (en) 2022-11-17
KR20240025055A (ko) 2024-02-26
KR102818344B1 (ko) 2025-06-11
KR102638162B1 (ko) 2024-02-20
IL295170B1 (en) 2025-12-01
JP7365076B2 (ja) 2023-10-19

Similar Documents

Publication Publication Date Title
US8819559B2 (en) Systems and methods for sharing multimedia editing projects
US8701008B2 (en) Systems and methods for sharing multimedia editing projects
US10020025B2 (en) Methods and systems for customizing immersive media content
US9584571B2 (en) System and method for capturing, editing, searching, and delivering multi-media content with local and global time
US10334300B2 (en) Systems and methods to present content
US20110258545A1 (en) Service for Sharing User Created Comments that Overlay and are Synchronized with Video
US9524278B2 (en) Systems and methods to present content
JP7365076B2 (ja) 映像配信装置、映像配信システム、映像配信方法、及びプログラム
JP4360390B2 (ja) 情報処理装置および方法、プログラム、並びに記録媒体
WO2015071490A1 (en) A video broadcast system and a method of disseminating video content
JP7208695B2 (ja) 映像配信装置、映像配信システム、映像配信方法、及びプログラム
KR102034755B1 (ko) 동화상 재생 프로그램, 장치, 및 방법
CN107005458A (zh) 未脚本化数字媒体消息生成
US12212883B2 (en) Information processing devices, methods, and computer-readable medium for performing information processing to output video content using video from mutiple video sources
JP2005277847A (ja) 画像再生システム、画像送信装置、画像受信装置、画像再生方法、画像再生プログラム、記録媒体
JP4129162B2 (ja) コンテンツ作成実演システム及びコンテンツ作成実演方法
EP3949369B1 (en) Method and system for combining video sequences
CN118368464A (zh) 一种视频互动方法、装置、电子设备和存储介质
WO2014129735A1 (ko) 복합 차원 콘텐츠 제공 시스템, 그 제공 방법 및 복합 차원 콘텐츠 파일
CN107005871A (zh) 呈现内容的系统和方法
JP2026064188A (ja) サーバおよびコンピュータプログラム
WO2014162757A1 (ja) 情報処理装置、タグ付け方法及びプログラム

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20220727

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230726

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240120

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240214

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240215

End annual number: 3

Start annual number: 1

PG1601 Publication of registration