KR20070120003A

KR20070120003A - 데이터 재생방법 및 재생장치 그리고 기록방법, 기록장치및 기록매체

Info

Publication number: KR20070120003A
Application number: KR1020060077140A
Authority: KR
Inventors: 김건석
Original assignee: 엘지전자 주식회사
Priority date: 2006-06-16
Filing date: 2006-08-16
Publication date: 2007-12-21
Also published as: KR20070120001A; KR20070120000A

Abstract

본 발명은 데이터를 재생하는 방법 및 장치에 관한 것이다.

본 발명은 기록매체 또는 스토리지에 저장된 데이터에 포함된 제 1 비디오 및 제 2 비디오를 함께 재생하는 방법에 있어서, 상기 제 2 비디오를 재생관리 데이터에 따라 상기 제 1 비디오에 재생하되, 상기 제 2 비디오의 재생경로의 변경에 의하여 재생 시작 시점을 벗어난 경우 상기 재생 시작 시점에 도달시 상기 제 2 비디오를 재생하는 것을 특징으로 하는 데이터 재생 방법을 제공하는 데 특징이 있다.

본 발명에 의하면, 제 1 비디오와 동기되지 않는 제 2 비디오의 재생 중 제 2 비디오의 재생 시작 시점을 벗어나 재생이 되는 경우 다시 제 2 비디오의 재생 시작 시점에 도달하였을 때 제 2 비디오의 재생을 시작할지에 대한 방안을 제공한다. 따라서 제 2 비디오의 재생 시작 시점에 대한 좀 더 명확한 기준을 마련할 수 있다.

광 디스크, BD, 제 2 비디오, 비동기

Description

데이터 재생방법 및 재생장치 그리고 기록방법, 기록장치 및 기록매체{Method and Apparatus for Presenting Data and Recording Data and Recording Medium}

도 1은 광기록재생장치를 통한 기록매체 및/또는 스토리지 내 데이터를 재생하는 일 실시예를 도시한 도면,

도 2는 본 발명의 기록매체로서 광 디스크에 기록되는 파일구조를 도시한 도면,

도 3은 본 발명의 기록매체로서 광 디스크의 기록구조를 예시한 도면,

도 4는 본 발명의 제 2 비디오의 재생 태양을 예시한 도면,

도 5는 본 발명의 광기록재생장치의 전체 구성을 개략적으로 도시한 블럭 구성도,

도 6은 본 발명의 실시예에 따른 재생시스템을 개략적으로 도시한 블럭 구성도,

도 7은 본 발명의 실시예에 따른 재생시스템(playback system)을 활용한 데이터 재생장치를 예시한 도면,

도 8은 본 발명의 제 2 비디오 메타데이터의 일 실시예를 도시한 도면,

도 9 내지 9c는 본 발명에 따른 제 2 비디오 서브패스 타입을 도시한 도면,

도 10a 내지 10c는 본 발명에 따른 제 2 비디오 타임라인 타입을 도시한 도면,

도 11a 및 11b는 제 1 비디오와 제 2 비디오의 재생 중 되돌리기에 의하여 재생 위치가 변경되는 경우를 나타낸 도면,

도 12는 본 발명의 실시예에 따라 데이터를 재생하는 과정을 나타낸 순서도이다.

<도면의 주요부분에 대한 부호의 설명>

11: 픽업 12: 제어부

13: 신호처리부 15: 스토리지

17: 재생시스템(playback system)

17a: 플레이어 모델(Player Model)

17b: AV 디코더(AV decoder)

171: 유저 이벤트 매니저(User Event Manager)

171a: UO 컨트롤러(UO controller)

172: 모듈 매니저(Module Manager)

173: 메타데이터 매니저(Metadata Manager)

174: HDMV 모듈(Movie Module)

174a: 커맨드 프로세서(Command Processor)

175: BD-J 모듈(BD-J Module)

175a: 자바 VM(Java VM)

175b: 어플리케이션 매니저(Application Manager)

176: 플레이백 컨트롤 엔진(Playback Control Engine)

176a: 플레이백 컨트롤 펑션(Playback control function)

176b: 플레이어 레지스터(Player registers)

177: 프레젠테이션 엔진(Presentation Engine)

40: 가상 파일 시스템(Virtual File System)

본 발명은 기록매체 또는 스토리지에 저장된 데이터를 재생하는 방법 및 장치에 관한 것이다. 더욱 상세하게는 다수의 비디오 스트림 데이터를 재생할 수 있는 방법 및 장치에 관한 것이다.

최근 기록매체로서 대용량의 데이터를 기록할 수 있는 광 디스크가 널리 사용되고 있다. 특히 고화질의 영상 데이터나 고음질의 음향 데이터에 대한 수요가 증가함에 따라 HDTV, MPEG2가 등장하였다. 예를 들어 HDTV급의 영화 한편에 해당하는 영상 데이터를 MPEG2의 화질로 디스크에 저장한다면 20GByte 이상의 데이터저장용량을 갖는 새로운 고밀도 기록매체가 요구된다.

이러한 요구에 따라 블루레이 디스크(BD: Blu-ray Disc)와 고밀도 디지털 비디오 디스크(HD-DVD: High Definition Digital Versatile Disc)등이 차세대 기록매체로 개발되고 있다. 또한 고밀도 기록매체 규격을 응용한 광기록재생장치의 개발 도 이루어지고 있는 추세이다.

고밀도 기록매체의 발달로 두 가지 이상의 비디오 스트림 데이터를 기록하고 동시에 재생하는 기술에 대한 가능성이 커졌으나 아직 바람직한 재생방법에 대해 알려진 바 없다. 따라서 이러한 두 가지 이상의 비디오 스트림 데이터를 동시에 재생할 수 있도록 하는 기술에 대한 규격에 대한 필요성이 있다.

또한, 다수의 비디오 스트림 데이터를 동시에 재생하는 중 되돌리기로 인하여 제 1 비디오와 동기되지 않는 제 2 비디오의 재생 시작 시점에서 벗어난 후 다시 재생이 진행되는 경우 재생 시작 시점에서 제 2 비디오를 재생할지에 대한 정의가 필요하다.

전술한 바와 같은 필요성을 충족하기 위하여, 본 발명의 목적은 다수의 비디오를 동시에 재생할 수 있는 방법 및 장치를 제공하는 데 있다.

또한 본 발명의 목적은 다수의 비디오를 동시에 재생하는 중 제 1 비디오와 동기되지 않는 제 2 비디오의 재생 시작 시점에서 다시 제 2 비디오를 재생할 수 있는 방법 및 장치를 제공하는 데 있다.

이상과 같은 본 발명의 목적을 달성하기 위하여, 본 발명은 기록매체 또는 스토리지에 저장된 데이터에 포함된 제 1 비디오 및 제 2 비디오를 함께 재생하는 방법에 있어서, 상기 제 2 비디오를 재생관리 데이터에 따라 상기 제 1 비디오에 재생하되, 재생경로의 변경에 의하여 상기 제 2 비디오의 재생 시작 위치를 벗어난 경우 상기 재생 시작 위치에 도달시 상기 제 2 비디오를 재생하는 것을 특징으로 하는 데이터 재생 방법을 제공하는 데 특징이 있다.

또한, 본 발명은 기록매체 및/또는 스토리지에 저장된 데이터에 포함된 제 1 비디오 및 비동기식 제 2 비디오를 함께 재생하는 방법에 있어서, 재생 시작 명령에 따라 상기 제 2 비디오를 재생관리 데이터에 따라 상기 제 1 비디오와 함께 재생하는 단계; 재생 위치 변경으로 제 2 비디오의 재생 시작 시점을 벗어난 경우 상기 제 2 비디오의 재생을 중지하는 단계; 및 상기 제 2 비디오는 새로운 재생 시작 명령에 따라 재생되는 단계를 포함하는 것을 특징으로 하는 데이터 재생 방법을 제공하는 데 특징이 있다.

또한, 본 발명은 기록매체 및/또는 스토리지에 저장된 데이터를 재생하는 데이터 재생장치에 있어서, 제 1 비디오를 디코딩하는 제 1 비디오 디코더 및 제 2 비디오를 디코딩하는 제 2 비디오 디코더; 상기 제 2 비디오를 재생관리 데이터에 따라 디코딩하여 상기 제 1 비디오에 디스플레이하되, 재생경로의 변경에 의하여 상기 제 2 비디오의 재생 시작 위치를 벗어난 경우 상기 재생 시작 위치에 도달시 상기 제 2 비디오를 디코딩하여 상기 제 1 비디오에 디스플레이하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 데이터 재생 장치를 제공하는 데 특징이 있다.

또한, 본 발명은 기록매체 및/또는 스토리지에 저장된 데이터를 재생하는 데이터 재생장치에 있어서, 제 1 비디오를 디코딩하는 제 1 비디오 디코더 및 비동기식 제 2 비디오를 디코딩하는 제 2 비디오 디코더; 재생 시작 명령이 수신된 경우 상기 제 2 비디오를 재생관리 데이터에 따라 디코딩하되, 재생 위치 변경으로 제 2 비디오의 재생 시작 시점을 벗어난 경우 상기 제 2 비디오의 디코딩을 중지하고, 새로운 재생 시작 명령이 수신된 경우 상기 제 2 비디오를 디코딩하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 데이터 재생 장치를 제공하는 데 특징이 있다.

또한, 본 발명은 제 1 비디오와 제 2 비디오를 포함하는 스트림 데이터가 저장되는 스트림 영역과 재생관리 데이터가 저장되는 관리영역을 구비하되, 상기 재생관리 데이터는 재생경로 변경에 의하여 상기 제 2 비디오의 재생 시작 위치를 벗어난 경우 상기 재생 시작 위치에 도달시 상기 제 2 비디오의 재생 허용여부를 나타내는 플래그를 포함하는 것을 특징으로 하는 기록매체를 제공하는 데 특징이 있다.

또한, 본 발명은 제 1 비디오와 제 2 비디오를 기록매체에 기록하는 방법에 있어서, 제1 비디오 및 제 2 비디오가 포함된 스트림 데이터를 생성하고, 재생경로 변경에 의하여 상기 제 2 비디오의 재생 시작 위치를 벗어난 경우 상기 재생 시작 위치에 도달시 상기 제 2 비디오의 재생 허용여부를 나타내는 플래그가 포함된 상기 제 2 비디오의 재생을 관리하는 재생관리 데이터를 생성하고, 상기 스트림 데이터 및 상기 재생관리 데이터를 상기 기록매체에 기록하는 것을 특징으로 하는 데이터 기록방법을 제공하는 데 특징이 있다.

또한, 본 발명은 제 1 비디오와 제 2 비디오를 기록매체에 기록하는 장치에 있어서, 상기 기록매체에 데이터를 기록하는 기록부; 제 1 비디오 및 제 2 비디오 가 포함된 스트림 데이터를 생성하고, 재생경로 변경에 의하여 상기 제 2 비디오의 재생 시작 위치를 벗어난 경우 상기 재생 시작 위치에 도달시 상기 제 2 비디오의 재생 허용여부를 나타내는 플래그가 포함된 상기 제 2 비디오의 재생을 관리하는 재생관리 데이터를 생성하고, 상기 스트림 데이터 및 상기 재생관리 데이터를 상기 기록매체에 기록하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 데이터 기록 장치를 제공하는 데 특징이 있다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명에서 사용하는 기록매체는 광 디스크(optical disc),예를 들면, "DVD", "블루레이 디스크(BD)", "HD-DVD", "근접장(Near Field Recording: NFR) 디스크" 등이 있을 수 있다. 이하, 설명의 편의를 위하여 기록매체는 "블루레이 디스크(BD)"를 예로 한다. 본 발명의 기술사상은 HD-DVD 등 다른 기록매체에도 동일하게 적용가능함은 자명하다 할 것이므로 이에 한정하지는 않는다.

이하 사용하는 "스토리지(Storage)"는, 광기록재생장치(도 1) 내에 구비된 일종의 저장수단으로서, 필요한 정보 및 데이터를 사용자가 임의로 저장하여 활용할 수 있는 요소를 의미한다. 현재 일반적으로 사용되는 스토리지로는 하드디스 크(hard disk), 시스템 메모리(system memory), 플래쉬 메모리(flash memory) 등이 있을 수 있으며 이에 한정하지는 않는다.

특히, 본 발명과 관련하여, 상기 "스토리지(Storage)"는 기록매체와 연관된 데이터를 저장하는 수단으로도 활용되며, 상기 데이터는 외부로부터 다운로드(download) 받을 수도 있다.

관련하여, 기록매체로부터 일부 허용된 데이터를 직접 독출하거나, 또는 기록매체에 기록된 데이터의 재생과 관련된 시스템데이터(예를 들어, 메타데이터(metadata) 등)를 생성하여, 스토리지 내에 저장하는 것도 가능함은 자명하다.

이하 사용하는 "콘텐츠(contents)"는 타이틀을 구성하는 내용으로서 기록매체의 제작자(author)에 의해 제공되는 데이터(data)를 의미한다.

관련하여, 외부입력 소스(external source)로서 콘텐츠(content)를 제공하는 자를 총칭하여 "콘텐츠 제공자(CP:content provider)"로 명명한다.

이하 사용하는 "오리지널 데이터(orginal data)"는 상기 기록매체 내에 기록된 데이터를 말하며, "어디셔널 데이터(additional data)"는 상기 스토리지 내에 저장된 데이터 중 기록매체와 관련된 데이터로, 넓게는 디스크 외부에 존재하는 데이터를 말한다. 각각의 데이터는 취득하는 방법에 따라 구분될 뿐이므로, 광 디스크 외부에 존재하면서, 오리지널 데이터와 연관된 어떠한 속성의 데이터도 어디셔널 데이터라 할 수 있다.

또한, 이하 사용하는 "타이틀(Title)"은, 사용자와의 인터페이스를 이루는 재생 단위를 말한다. 각각의 타이틀은 특정의 오브젝트(Object)와 링크(link)되어 있고, 상기 오브젝트(Object) 내의 커맨드(command) 혹은 프로그램에 따라 디스크 내 기록된 해당 타이틀에 관련된 스트림이 재생된다. 특히, 본 발명에서는 설명의 편의를 위해 디스크 내에 기록된 엠펙(MPEG) 압축방식에 의한 고화질 동영상 데이터가 기록된 타이틀 중 끊김 없는 멀티 앵글, 멀티 스토리, 언어 크레딧, 디렉터 컷 등을 지원하는 타이틀을 "HDMV 타이틀(Title)"이라 명한다. 또한, 엠펙(MPEG) 압축방식에 의한 고화질 동영상 데이터가 기록된 타이틀 중 기록매체 내 타이틀의 업데이트 도는 네트워크와의 연결성을 지원하는 높은 상호호환성(Interactivity)을 가능하게 하는 자바(Java) 프로그램에 의한 데이터가 기록된 타이틀을 "BD-J 타이틀(BD-J Title)"이라 명한다.

이하 사용하는 "PiP(Picture-in-Picture)"는 제 1 비디오를 재생하면서 제 1 비디오 화면 위에 제 2 비디오를 재생하는 기능을 말한다.

이하 사용하는 "재생관리 데이터"는 비디오 스트림이나 오디오 스트림을 재생을 관리하는 데 사용되는 정보를 말한다. 상기 "재생관리 데이터"에는 비디오 스트림 엔트리 정보 및 오디오 스트림 엔트리 정보가 포함된 스트림 넘버 테이블(STN 테이블)과 제 2 비디오 재생을 관리하는 메타데이터가 포함된다. 또한, "재생관리 데이터"에는 제 2 비디오의 재생 경로 변경에 의하여 재생 시작 위치를 벗어난 경우 상기 재생 시작 위치에 도달시 상기 제 2 비디오의 재생 허용여부를 나타내는 플래그가 포함된다.

이하 사용하는 "동기식 타입(Synchronous type)"은 서브패스에 사용되는 기본 스트림이 플레이리스트(Playlist)에서 정의된 미리 결정된 타이밍에 의해 플레 이아이템(PlayItem)의 메인 패스와 동기되는 재생 타입을 말한다.

이하 사용하는 "비동기식 타입(Asynchronous type)"은 서브패스에 의해 사용되는 기본 스트림이 플레이아이템(PlayItem)의 메인 패스의 타임라인에서 정해지지 않은 시간으로부터 재생을 시작할 수 있고, 서브패스가 한번 재생되면 서브패스의 재생은 메인 패스와 동기되는 재생 타입을 말한다.

이하 사용하는 "재생 시작 시점"은 비디오의 재생이 시작되는 위치를 말하며, 재생 시작 위치라고 할 수도 있다. 특히 비동기식 제 2 비디오의 경우 재생 시작 명령에 의하여 제 2 비디오가 시작되며 재생 시작 명령에 의하여 재생이 시작되는 시점 또는 위치를 재생 시작 시점이라 할 수 있다.

전술한 용어들은 같은 기능을 나타내는 용어가 있다면 이에 한정하지 않는다.

도 1은 광기록재생장치를 통한 기록매체 및/또는 스토리지 내 데이터를 재생하는 일 실시예를 보여주기 위해 도시한 것이다.

관련하여, 본 발명의 "광기록재생장치(10)"는 여러 가지 규격의 광 디스크를 기록하거나 재생 가능한 기기이다. 설계에 따라서는 특정규격(예를 들면, BD)의 광 디스크만을 기록재생 가능하게 할 수도 있으며, 또한 기록은 제외하고 재생만 하는 것도 가능하다 할 것이다. 그러나, 특히 본 발명에서 해결하고자 하는 블루레이 디스크(BD)와 주변기기와의 연계성을 고려하여 이하 블루레이 디스크(BD)를 재생하는 플레이어(BD-Player) 또는 블루레이 디스크(BD)를 기록재생하는 리코더(BD-Recorder)를 예로 하여 설명하고자 한다. 관련하여, 본 발명의 "광기록재생장 치(110)"는 컴퓨터 등에 내장가능한 "드라이브(drive)"가 될 수 있음은 이미 널리 알려진 자명한 사실이다.

본 발명의 광기록재생장치(10)는 광 디스크(30)를 기록재생하는 기능 이외에도, 외부입력신호를 수신받아 이를 신호처리한 후 외부 디스플레이부(20)를 통해 사용자에게 화면으로 전달하는 기능을 가지게 된다. 이 경우 입력가능한 외부신호에 대해서는 특별한 제한은 없으나, 디지털 방송(Digital multimedia broadcasting) 및 인터넷(Internet) 등을 통해 수신한 신호가 대표적인 외부입력신호가 될 것이다. 특히, 인터넷(Internet)의 경우 현재 누구나 손쉽게 접근할 수 있는 매체로서 광기록재생장치(10)를 통해 인터넷(Internet)상의 특정 데이터를 다운로드(download) 받아 활용할 수 있게 된다.

관련하여, 오리지널 데이터와 어디셔널 데이터에 대해 구체적으로 설명하면 다음과 같다. 예를 들어 광 디스크 내에 기록된 오리지널 데이터로는 특정 타이틀용 멀티플렉싱된(multiplexed) AV 스트림을 기록해두고, 인터넷상의 어디셔널 데이터로는 상기 오리지널 데이터의 오디오 스트림(예를 들어, 한국어)과 상이한 오디오 스트림(예를 들어, 영어)이 제공될 수 있다. 사용자에 따라 인터넷상의 어디셔널 데이터인 오디오 스트림(예를 들어, 영어)을 다운로드 받아, 오리지널 데이터인 AV 스트림과 함께 재생하거나, 또는 어디셔널 데이터만 재생하고자 하는 요구가 존재할 수 있다. 이를 가능케 하기 위해서는 상기 오리지널 데이터와 어디셔널 데이터 간의 연관성을 규정하고, 이들 데이터들을 사용자의 요구에 따라 관리/재생하는 체계화된 방법이 필요하게 된다.

관련하여, 상기 사용자의 요구를 실현 가능케 하기 위하여는 오리지널 데이터와 어디셔널 데이터 상호 간에 연관된 파일구조를 가짐이 필수적이라 할 것인바, 이하 도 2 및 도 3을 통해 블루레이 디스크(BD)에서 사용가능한 파일구조 및 데이터 기록구조에 대해 상세히 설명하면 다음과 같다.

먼저, 도 2는 본 발명의 기록매체로서 광 디스크에 기록되는 파일구조를 도시한 도면으로, 디스크 내에 기록된 오리지널 데이터를 재생관리 하기 위한 파일구조를 나타낸 것이다.

즉, 본 발명의 파일구조는, 하나의 루트 디렉토리(root directory) 아래에 적어도 하나 이상의 BDMV 디렉토리(BDMV)가 존재한다. 상기 BDMV디렉토리(BDMV)에는 사용자와의 인터액티브티(interactivity)를 보장하기 위한 일반파일(상위파일) 정보로서 인덱스 파일("index")과 오브젝트 파일("MovieObjet")이 존재한다. 아울러, 실제 디스크 내에 기록된 데이터에 대한 정보와 이를 재생하는 방법 등에 대한 정보를 가지는 디렉토리로서, 플레이리스트 디렉토리(PLAYLIST), 클립인포 디렉토리(CLIPINF), 스트림 디렉토리(STREAM), 보조 디렉토리(AUXDATA), BD-J 오브젝트 디렉토리(BDJO), 메타데이터 디렉토리(META) 및 백업 디렉토리(BACKUP)가 포함된다. 이하 상기 디렉토리 및 디렉토리 내에 포함되는 파일에 대해 상세히 설명하면 다음과 같다.

메타데이터 디렉토리(META)는 데이터에 대한 데이터(data about a data)인 메타데이터(metadata) 파일을 포함한다. 상기 메타데이터 파일로는 서치(Search)파일, 디스크 라이브러리(Disc Library)를 위한 메타데이터 파일 등이 있으며, 데이 터의 기록재생시, 데이터의 효율적 서치 또는 관리에 이용되게 된다.

BD-J 오브젝트 디렉토리(BDJO)는 BD-J 타이틀을 재생하기 위한 BD-J 오브젝트 파일을 포함한다.

보조 디렉토리(AUXDATA)는, 디스크 재생에 필요한 부가적인 데이터 파일을 포함한다. 예를 들어, 인터액티브 그래픽(interactive graphic)의 실행시에 사운드를 제공하는 "Sound.bdmv" 파일, 디스크 재생시 폰트(font) 정보를 제공하는 "10111.otf" 파일 등이 있다.

스트림 디렉토리(STREAM)는, 디스크 내에 특정 포맷으로 기록된 AV 스트림에 대한 파일들이 존재한다. 각각의 스트림은 현재 널리 알려진 MPEG-2 방식의 트랜스포트(Transport) 패킷(packet)으로 기록되는 경우가 가장 일반적이다. 스트림 파일 (01000.m2ts, 02000.m2ts)의 확장명으로 "*.m2ts" 로 사용한다. 특히, 상기 스트림 중에 비디오/오디오/그래픽 정보가 모두 멀티플렉싱된(multiplexed) 스트림을 AV스트림이라 한다. 적어도 하나 이상의 AV스트림 파일들로서 타이틀(Title)을 구성하게 된다.

클립인포 디렉토리(CLIPINF)는 상기 각각의 스트림 파일(*.m2ts)과 일대일 대응하는 클립인포 파일(01000.clpi, 02000.clpi)들로 구성된다. 특히, 클립인포 파일(*.clpi)은 대응하는 스트림 파일(*.m2ts)의 속성정보 및 타임정보 (timing information)등을 기록하게 된다. 관련하여, 스트림 파일(*.m2ts)과 스트림 파일(*.m2ts)에 일대일 대응하는 클립인포 파일(*.clpi)을 묶어 이를 "클립(clip)"이라고 명명한다. 즉, "클립(clip)"은 스트림 파일(*.m2ts)과 이에 대응하는 클립인 포파일(*.clpi)을 모두 포함한 데이터가 된다.

플레이리스트 디렉토리(PLAYLIST)는 플레이리스트 파일(*.mpls)들을 포함한다. 플레이리스트는 클립(clips)이 재생되는 시간(playing interval)의 조합을 말한다. 상기 재생되는 시간을 플레이아이템(PlayItem)이라고 한다. 각각의 플레이리스트 파일(*.mpls)은 적어도 하나 이상의 플레이아이템 및 서브플레이아이템(SubPlayItem)을 포함하고 있다. 플레이아이템 및 서브플레이아이템은 재생을 원하는 특정 클립(clip)의 재생 시작시간(IN-Time)과 재생 종료시간(OUT-Time)에 대한 정보를 가지고 있다. 따라서, 플레이리스트는 플레이아이템들의 조합이라고 할 수 있다. 또한, 플레이리스트 파일 내에는 제 2 비디오 재생을 관리하기 위한 메타데이터가 포함된다. 상기 메타데이터는 제 2 비디오의 재생과 관련하여, 제 2 비디오 재생 시기, 제 2 비디오 재생 위치 및 크기에 대한 정보를 포함한다.

관련하여, 플레이리스트 파일 내에서 상기 적어도 하나 이상의 플레이아이템에 의해 재생되는 과정을 "메인패스(main path)"라 하고, 각각의 서브플레이아이템에 의해 재생되는 과정을 "서브패스(sub path)"라 정의한다. 메인 패스는 플레이리스트의 마스터 재생(master presentation)을 제공하고, 서브패스는 상기 마스터 재생과 관련된 보조적인 재생(auxiliary presentations)을 제공한다. 플레이리스트 파일 내에서 상기 메인패스(main path)는 존재하여야 하며, 상기 서브패스(sub path)는 서브플레이아이템 존재에 따라 적어도 하나 이상 필요에 따라 존재하게 된다. 결국, 플레이리스트 파일은 적어도 하나 이상의 플레이아이템의 조합에 의해 원하는 클립의 재생을 수행하는 전체 재생관리 파일구조 내의 기본적 재생관리 파 일단위가 된다.

본 발명과 관련하여, 메인패스에 의해 재생되는 비디오 데이터를 제 1 비디오(primary video)라 하고 서브패스에 의해 재생되는 비디오 데이터를 제 2 비디오라 명명한다. 광기록재생장치가 제 1 비디오와 제 2 비디오를 함께 재생하는 기능을 전술한 바와 같이 "PiP(Picture In Picture)"라 한다.

나아가 메인패스와 함께 재생되는 서브패스 중 본 발명과 관련된 서브패스 타입은 크게 세 가지로 구분될 수 있다.

첫 번째 타입은 서브패스에 의해 사용되는 기본 스트림들(elementary streams) 즉, 제 2 비디오 스트림들이, 관련된 플레이아이템에 의해 사용되는 클립과 분리되어 멀티플렉스된다. 이를 'Out-of-mux'라고도 한다. 상기 첫 번째 타입에 의한 재생경로는 실행중인 플레이리스트 내 플레이아이템들을 사용하는 메인패스와 동기(sync)된다.

두 번째 타입은 서브패스에 의해 사용되는 제 2 비디오 스트림들이, 관련된 플레이아이템에 의해 사용되는 클립과 분리되어 멀티플렉스된다는 점에서 첫 번째 타입과 동일하나, 상기 서브패스의 프리젠테이션을 메인패스의 타임라인 상에서 어느 때라도 시작할 수 있다는 점에 차이가 있다. 즉, 서브패스가 메인패스와 동기되지 않는다(async).

세 번째 타입은 서브패스에 의해 사용되는 제 2 비디오 스트림들이, 관련된 플레이아이템에 의해 사용되는 클립과 동일한 클립에 멀티플렉스된다. 이를 'In-mux'라고도 한다. 세 번째 타입의 서브패스를 사용하는 재생경로는 메인패스와 동 기된다는 점에서 두 번째 타입의 서브패스와 차이가 있다.

백업 디렉토리(BACKUP)는, 상기 파일구조상의 데이터 중 특히 디스크 재생과 관련된 정보가 기록되는 인덱스파일(index), 오브젝트 파일(Movie Object, BD-J Object), 유닛 키 파일(Unit Key file), 플레이리스트 디렉토리 (PLAYLIST)내의 모든 플레이리스트 파일(*.mpls) 및 클립인포 디렉토리(CLIPINF) 내의 모든 클립인포 파일(*.clpi)에 대한 복사본(copy) 파일을 저장하게 된다. 이는 상기 파일들의 손실시 디스크 재생에 치명적인 점을 고려하여 미리 백업(backup)용으로 별도 저장하기 위해서이다.

관련하여, 본 발명의 파일 구조가 상기 설명한 명칭 및 위치에 제한되는 것은 아님은 자명하다 할 것이다. 즉, 상기 디렉토리 및 파일들은 명칭 및 위치가 아닌 그 의미로서 파악되어야 할 것이다.

도 3은 본 발명의 기록매체로서 광 디스크의 기록구조를 예시한 도면으로서, 상기 전술한 파일구조에 관련된 정보들이 디스크 내에 기록되는 형태를 보여준다. 디스크의 내주로부터 보면, 전체 파일을 관리하기 위한 시스템 정보로서 파일시스템 정보 영역 (File System Information area)과, 기록된 스트림(*.m2ts)을 재생하기 위한, 인덱스 파일, 오브젝트 파일, 플레이리스트 파일, 클립인포 파일 및 메타데이터 파일이 기록된 영역(이를 "database area"라고도 한다), 및 오디오/비디오/그래픽 등으로 구성된 스트림 또는 JAR 파일이 기록되는 스트림 영역(stream area)이 존재함을 알 수 있다.

또한, 상기 스트림 영역 내의 콘텐츠를 재생하기 위한 파일정보 등을 기록하 는 영역을 "관리영역"이라 하고, 상기 파일시스템 정보 영역 (File System Information area) 및 데이터베이스 영역(database area)이 이에 해당된다. 관련하여, 경우에 따라서는 상기 스트림 영역 내 스트림의 헤더에 스트림의 재생정보가 기록될 수 있다. 이 경우 상기 헤더 역시 관리영역이라고 할 수 있다. 따라서 상기 "관리영역"에는 재생관리에 관련한 정보가 기록되어 있을 수 있다. 본 발명과 관련하여, 상기 관리영역에는 제 2 비디오의 재생 경로 변경에 의하여 재생 시작 시점을 벗어나서 재생 중 재생 시작 시점에 도달한 경우 다시 제 2 비디오를 재생할지에 대한 정보를 실은 플래그가 포함될 수 있다.

다만, 도 3의 각 영역은 하나의 예로 제시한 것으로서, 본 발명이 도 3과 같은 각 영역의 배열구조에 국한되지 않음은 자명할 것이다.

도 4는 본 발명의 제 2 비디오의 재생 태양을 예시한 도면이다. 도 4를 참조하여 제 1 비디오 재생 중에 제 2 비디오를 제 1 비디오 화면 위에 재생되는 일실시예를 설명하면 다음과 같다.

제 1 비디오가 재생 중에 상기 제 1 비디오(410)와 관련된 다른 비디오 데이터가 같은 디스플레이부(20)에 출력되도록 요구되는 경우가 있다. 예를 들어, 영화 또는 다큐멘터리의 재생 중에, 그 촬영 과정에 대한 감독의 코멘트 또는 에피소드를 함께 사용자에게 제공하고자 하는 경우 상기 코멘트 또는 에피소드를 보여주는 비디오를 제 2 비디오(420)로 하여 제 1 비디오와 함께 재생할 수도 있다. 이 때 제 2 비디오(420)를 제 1 비디오(410) 재생과 함께 처음부터 재생될 수 있다.

경우에 따라서는 제 1 비디오(410)의 재생 중간에 제 2 비디오(420)의 재생 이 시작될 수도 있다. 또한, 재생과정에 따라 화면에서 다른 위치 또는 다른 크기로 디스플레이되는 것도 가능하다. 상기 제 2 비디오(420)가 복수로 구성되어 제 1 비디오의 재생에 따라 별개로 재생이 시작되거나 종료되는 것도 가능하다. 제 1 비디오는 관련된 오디오(410a)와 함께 재생될 수 있으며, 제 2 비디오는 관련된 오디오(420b)와 함께 재생될 수도 있다.

관련하여, 제 2 비디오를 재생하기 위해서는 상기 제 2 비디오의 재생시기, 재생위치, 크기 및 상기 제 2 비디오를 구성하는 스트림에 대한 정보가 필요하다. 이러한 정보는 재생관리 데이터에 포함된 메타데이터에 포함된다. 또한, 상기 제 2 비디오와 함께 재생되는 오디오 스트림과 프리젠테이션 그래픽 또는 텍스트 서브 타이틀 스트림(예를 들어, PiP PG textST stream)을 정의하는 정보와 상기 스트림들의 가능한 재생 조합을 정의하는 정보 역시 필요하다. 아울러, 제 2 비디오의 재생상태와 재생환경을 나타내는 정보가 저장되는 저장부(memory unit)(예를 들어, PSR)가 광기록재생장치에 구비될 필요가 있다. 또한, 본 발명과 관련하여, 비동기식 제 2 비디오가 재생 중 되돌리기에 의하여 제 2 비디오의 재생 시작 시점을 벗어나 재생 위치가 변경되는 경우 재생 시작 시점에 도달했을 때 제 2 비디오를 다시 재생할지에 대한 정의가 필요하다. 여기서 "되돌리기"는 "Skip back to previous point" 또는 "backward paly" 등의 사용자 명령에 의하여 수행되는 동작을 통틀어 의미한다. 다만, 이러한 동작을 나타내는 용어라면 이에 한정하지 않는다.

본 발명은 상기와 같은 문제점을 해결하여 제 2 비디오를 제 1 비디오와 함 께 효율적으로 재생하는 바람직한 방법을 제공한다. 도 5 이하에서 본 발명에 대하여 구체적으로 설명한다.

도 5는 본 발명의 광기록재생장치(10)의 전체 구성에 관한 일 실시예를 나타낸 것이다.

우선 광 디스크에 기록된 오리지널 데이터 및 재생관리 파일정보를 포함한 재생관리 데이터를 재생하기 위한 픽업(11)과 픽업(11)의 동작을 제어하는 서보(14), 상기 픽업(11)으로부터 수신된 재생신호를 원하는 신호 값으로 복원해내거나, 기록될 신호를 광 디스크에 기록되는 신호로 변조(modulation)하여 전달하는 신호처리부(13)와 상기 동작을 제어하는 마이컴(16)이 기본적으로 구성된다.

재생에 대한 실시예를 따른 제어부(12)는 사용자명령 등에 의해 광 디스크 외에 존재하는 어디셔널 데이터를 다운로드 받아 이를 스토리지(15)에 저장함과 아울러, 스토리지(15) 내 어디셔널 데이터 및/또는 광 디스크 내 오리지널 데이터를 사용자의 요구에 따라 재생하게 된다. 이와 같이 제어부에 의하여 데이터를 재생하는 데 관여하는 상기 서보(14), 신호처리부(13) 및 마이컴(16)을 통합하여 "재생부"라 명할 수 있다.

재생시스템(17)은 상기 제어부(12)의 제어에 따라 데이터를 최종적으로 디코딩하여 사용자에게 제공하게 된다. 재생시스템(17)은 특히 AV신호를 디코딩하는 AV 디코더(17b)와, 전술한 특정 타이틀의 재생과 관련하여 오브젝트 커맨드 혹은 어플리케이션과, 제어부(12)를 통해 입력되는 사용자 명령을 해석하여 재생방향을 결정하는 플레이어 모델(17a)로 구성된다. 실시예에 따라서는 플레이어 모델(17a)이 AV 디코더(17b)를 포함하는 의미로 사용되기도 하며, 이 경우 본 발명의 재생시스템(17)이 곧 플레이어 모델이 된다.

관련하여, AV 디코더는 복수의 디코더를 포함하여 구성될 수 있다. 도 6은 본 발명의 실시예에 따른 재생시스템을 개략적으로 도시한 블럭 구성도이다. 도 6을 참조하면, 본 발명의 디코더(17b)는 제 1 비디오를 디코딩하는 제 1 비디오 디코더(primary video decoder; 610a)와 제 2 비디오를 디코딩하는 제 2 비디오 디코더(secondary video decoder; 610b)를 포함하여 구성된다. 디코딩된 제 1 비디오는 제 1 비디오 플레인(620a)을 통해 출력되고 제 2 비디오는 제 2 비디오 플레인(620b)을 통해 출력되어 사용자에게 제공되게 된다. 특히, 본 발명과 관련하여, 제어부(12)는 제 2 비디오의 재생관리 데이터를 확인하고, 상기 재생관리 데이터에 포함된 제 2 비디오 재생을 관리하는 메타데이터에 따라 제 2 비디오가 특정한 시간에 특정한 위치 및 크기로 디코딩되도록 제 2 비디오 디코더(610b)를 제어하게 된다. 제 1 비디오 및/또는 제 2 비디오 스트림 데이터는 기록매체(30)에 기록된 것일 수도 있고 기록매체 외부로부터 스토리지(15)에 다운로드 된 것일 수도 있다. 본 발명의 실시예에 따른 AV 디코더는 도 6과 같이 제 1 비디오 디코더(610a)와 제 2 비디오 디코더(610b)를 포함하며, 특히 제 2 비디오와 관련된 디코더는 한 개가 포함된다. 따라서 재생가능한 제 2 비디오의 재생경로는 하나만 가능하므로 제 2 비디오 재생 중에 다른 제 2 비디오의 재생이 요구되는 경우 처리 방안이 필요하다.

본 발명의 광기록재생장치(10)는 AV 인코더(18)를 포함한다. AV 인코더(18) 는 광 디스크에 신호를 기록하는 기능의 수행을 위해 제어부(12)의 제어에 따라 입력신호를 특정포맷의 신호, 예를 들어 MPEG2 트랜스포트 스트림으로 변환하여 신호처리부(13)에 제공하게 된다. AV 디코더(17b)와 마찬가지로 AV 인코더(18)는 복수의 인코더를 포함하여 구성될 수 있다. 제어부(12)는 각 인코더를 통하여 변환되어 신호처리부(13)에 제공된 제 1 비디오 및 제 2 비디오 스트림, 제 1 오디오 및 제 2 오디오 스트림, 재생관리 데이터 등을 광 디스크에 기록하도록 제어할 수 있다. 광 디스크에 데이터를 기록하는데 관여하는 신호처리부(13), 서보(14) 및 마이컴(16)을 통합하여 "기록부"라 명할 수 있다.

도 7은 본 발명의 실시예에 따른 재생시스템(playback system)을 활용한 데이터 재생장치를 예시한 도면으로서, 본 발명의 실시예에 따른 재생시스템은 제 2 비디오와 제 1 비디오를 함께 재생한다.

"재생시스템(playback system)"이라 함은, 광기록재생기 내에 구비되는 프로그램(소프트웨어) 및/또는 하드웨어로 구성되는 집합적 재생처리 수단을 말한다. 광 기록재생기 내에 로딩된 기록매체를 재생함은 물론, 상기 기록매체에 관련되어 스토리지 내에 저장된(예를 들어, 외부로부터 다운로드 받은) 데이터를 함께 재생 및 관리하기 위한 시스템을 의미한다.

특히, 재생시스템(17)은 "User Event Manager(171)", "Module Manager(172)", "HDMV Module(174)", "BD-J Module(175)", "Playback control engine(176)", "Presentation engine(177)" 및 "Virtual File System(40)"을 포함하여 구성되며, 상세히 설명하면 다음과 같다.

우선, HDMV 타이틀과 BD-J 타이틀을 재생하기 위한, 별도의 재생 처리 관리수단으로서, 각각 HDMV 타이틀을 위한 "HDMV Module(174)"과 BD-J 타이틀을 위한 "BD-J Module(175)"이 독립적으로 구성된다. 상기 "HDMV Module(174)" 및 "BD-J Module(175)"은 특히 전술한 오브젝트(Movie Object 또는 BD-J Object) 내의 커맨드(command) 혹은 프로그램을 수신하여, 이를 처리하도록 하는 제어기능을 가진다. "Metadata Manager(173)"는 언제든지 사용자의 제어하에, 타이틀 선택을 수행할 수 있고 사용자에게 기록매체와 타이틀 메타데이터를 제공할 수 있다. 상기 "HDMV Module(174)" 및 "BD-J Module(175)"은 재생시스템의 하드웨어적 구성으로부터 커맨드(command) 혹은 어플리케이션을 분리하여, 상기 커맨드 혹은 어플리케이션의 이동(portability)을 가능하게 한다. 상기 커맨드(command) 혹은 어플리케이션 등을 수신하여 처리하는 수단으로서, "HDMV Module(174)"내에는 "Command processor(174a)"가, "BD-J Module(175)"내에는 "Java VM(175a)" 및 "Application manager(175b)"가 각각 구비되어 있다.

"Java VM(175a)"은 어플리케이션이 실행되는 "Virtual Machine"이다. "Application manager(175b)"는 어플리케이션의 라이프사이클(lifecyle)을 관리하는 어플리케이션 관리 펑션(application management function)을 포함한다.

또한, 상기 "HDMV Module(174)" 및 "BD-J Module(175)"에 사용자 명령을 전달함은 물론, "HDMV Module(174)" 및 "BD-J Module(175)"의 동작을 제어하는 "Module Manager(172)"가 구비된다.

상기 "HDMV Module(174)" 및 "BD-J Module(175)"의 재생명령에 따라 실제 디 스크 내에 기록된 플레이리스트 파일 정보를 해석하고 이에 따른 재생기능을 수행하는 "Playback Control Engine(176)"이 구비된다. 또한, 상기 "Playback Control Engine(176)"에 의해 재생관리되는 특정 스트림을 디코딩하고 화면 내에 디스플레이하기 위한 "Presentation Engine(177)"이 구비된다. 특히, 상기 "Playback Control Engine(176)"은 실제 모든 재생을 관리하는 "Playback Control Functions(176a)"과 플레이어의 재생상태 및 재생환경("Player status registers(PSR)" 및 "General purpose register(GPR)")을 저장하는 "Player Registers(176b)"로 구분된다. 경우에 따라서는 "Playback Control Functions(176a)"이 "Playback Control Engine(176)"을 의미하기도 한다. 본 발명에서, 상기 "Player Registers(176b)"는 제 1 비디오 및 제 2 비디오의 재생상태를 나타내는 저장부(memory unit)가 된다.

본 발명과 관련하여, 상기 "Player Registers(176b)"는 재생상태정보를 저장하는 PSR(Player Status Register)을 포함한다. 상기 PSR(Player Status Register)에는 재생 중인 제 2 비디오의 재생 시작 시점에 대한 정보가 저장될 수 있다. 비동기식 제 2 비디오의 경우 시작 시점이 정해져 있지 않고 사용자에 의하여 결정되므로 사용자에 의하여 결정된 재생 시작 시점에 대한 정보를 PSR(Player Status Register)에 저장한다. 따라서 이후 설명할 비디오 재생 중 되돌리기로 인하여 제 2 비디오의 재생 시작 시점을 벗어나 재생 위치가 변경된 경우 제 2 비디오의 재생 시작 시점에 재생시킬 때 "Player Registers(176b)"에 저장해 놓은 재생 시작 시점에 대한 정보를 활용할 수 있다.

관련하여, HDMV 타이틀과 BD-J 타이틀은 각각 별도 방식의 사용자 명령을 수신하며, 상호 간에는 사용자 명령을 수행하는 방식이 독립적이다. 사용자 명령을 수신하여 "HDMV Module(174)"과 "BD-J Module(175)"중 어느 하나로 전달하는 수단이 필요한데, 이는 "User Event Manager(171a)"가 담당한다. 따라서, 예를 들어, "User Event Manager(171a)"는, 수신된 명령이 "User Operation(UO)"에 의한 사용자 명령이면 이를 "Module Manager(172)" 또는 "UO Controller(171a)"로 전송하여 수행케 하고, 수신된 명령이 "Key Event"에 의한 사용자 명령이면 이를 "BD-J Module(175)"내의 "Java VM(175a)"으로 전송하여 수행케 한다.

또한, 본 발명의 재생시스템(17)은 "Metadata Manager(173)"를 포함할 수 있는데, "Metadata Manager(173)"는 사용자에게 디스크 라이브러리와 인핸스드 서치 메타데이터 어플리케이션(Disc Library and Enhanced Search Metadata application)을 제공한다.

또한, 본 발명의 재생시스템(17)은 가상 파일 시스템("Virtual File System")(40)을 포함할 수 있는데, 가상 파일 시스템("Virtual File System")(40)은 외부로부터 다운로드 받아 스토리지(15)에 저장된 데이터의 재생을 위해 사용되는 시스템이다. 상기 가상 파일 시스템("Virtual File System")(40)은 버츄얼 패키지(Virtual Package)를 생성하는 바인딩 절차(Binding Process)를 제공하며, 버츄얼 패키지(Virtual Package)에 포함된 파일에의 액세스(Access)를 조절한다. 상기 버츄얼 패키지(Virtual Package)는 가상 파일 시스템("Virtual File System")(40)에 의하여 사용되는 바인딩 유닛 매니페스트 파일(Binding Unit Manifest File)에 의하여 정의된다. 상기 바인딩 유닛 매니페스트 파일(Binding Unit Manifest File)은 바인딩 작용을 위한 관리 정보를 포함하며, 바인딩되는 파일의 유효한 결합을 정의한다. 즉, 가상 파일 시스템("Virtual File System")(40)은 시큐러티 체크(Security Check)를 한 후 바인딩 유닛 매니페스트 파일(Binding Unit Manifest File)에 의해서 버츄얼 패키지(Virtual Package)를 구성할 수 있다. 버츄얼 패키지(Virtual Package)를 구성한 후 가상 파일 시스템("Virtual File System")(40)은 모든 파일이 버츄얼 패키지(Virtual Package)에 액세스하도록 조절한다. 버츄얼 패키지(Virtual Package)에 액세스하는 파일이 검출되면, 가상 파일 시스템("Virtual File System")(40)은 바인딩 유닛 매니페스트 파일(Binding Unit Manifest File)에 의해 디스크나 바인딩 유닛 데이터 영역에 위치한 적합한 파일을 선택하여 실제 파일의 위치로 결정한다. 이러한 버츄얼 패키지(Virtual Package)는 "HDMV Module(174)" 및 "BD-J Module(175)" 모두에 사용될 수 있다. 또한, 전술한 가상 파일 시스템("Virtual File System")(40)에 의하여 디스크 및 스토리지에 저장한 데이터를 결합하여 재생할 수 있다.

전술한 본 발명의 재생시스템(playback system)에서 상기 "Module Manager(172)", "HDMV Module(174)", "BD-J Module(175)", "Playback Control Engine(176)"은 소프트웨어적인 처리가 가능하다. 실제 하드웨어 구성보다는 소프트웨어로 처리함이 설계에 더욱 유용하다. 단, "Presentation Engine(177)" 및 디코더(19)와 플레인(Plane)은 하드웨어적으로 설계되는 것이 일반적이다. 특히, 소프트웨어적으로 처리되는 구성요소(예를 들어, 도면부호 172, 174, 175, 176)의 경 우는 전술한 제어부(12)의 한 부분으로 구성될 수도 있을 것이다. 본 발명의 구성은 그 의미로서 이해하여야 하며, 하드웨어적 구성인지 소프트웨어적 구성인지에 국한되지 않음을 밝혀두고자 한다.

도 8은 본 발명에 따른 관리 데이터의 일 실시예를 도시한 것이다.

제 2 비디오를 재생하기 위해서는 상기 제 2 비디오의 재생속성정보 예를 들어, 재생시기, 재생크기와 위치 등에 관한 정보를 포함하는 관리데이터 예를 들어, 제 2 비디오에 관한 메타데이터가 요구된다. 이하, 상기 관리데이터를 PiP 메타데이터를 예를 들어 설명한다.

상기 메타데이터는 재생관리 파일의 일종인 플레이리스트에 존재할 수 있다. 도 8은 제 1 비디오의 재생을 관리하는 플레이리스트에 포함된 'ExtensionData' 블락에 PiP 메타데이터 블락이 존재하는 경우이다. PiP 메타데이터에는 PiP 메타데이터 블락에 저장된 메타데이터 블락 엔트리에 따라 적어도 하나 이상의, 블락헤더(block_header[k]: 810) 블락과 블락데이터(block_data[k]: 820) 블락이 포함될 수 있다. 상기 블락헤더(810)는 관련된 메타데이터 블락의 헤더정보를 포함하고 상기 블락데이터(820)는 관련된 메타데이터 블락의 데이터 정보를 포함한다.

관련하여, 상기 블락헤더(810) 블락은 플레이아이템을 식별하는 식별자(이하, 'PlayItem_id'(810a))를 나타내는 필드와 제 2 비디오 스트림을 식별하는 식별자(이하, 'secondary_video_stream_id[k]'(810b))를 나타내는 필드 및 제 2 비디오의 타임라인 타입을 나타내는 필드(이하, 'pip_timeline_type'(810c))를 포함할 수 있다.

'PlayItem_id[k]'(810a)는 'secondary_video_stream_id[k]'(810b)에 의해 지정되는(referred to) 'secondary video_stream_id' 엔트리가 리스트된 STN 테이블이 포함된 플레이아이템을 나타내는 식별자이다. 상기 'PlayItem_id'(810a) 값은 플레이리스트 파일의 플레이리스트 블락에서 주어진다. 관련하여, PiP 메타데이터에서 'PlayItem_id'의 엔트리들은 PiP 메타데이터에 기록된 'PlayItem_id'에 대하여 오름차순으로 분류(sort)되는 것이 바람직하다. 상기 'secondary_video_stream_id[k]'(810b)는 서브패스와, 관련된 블락데이터(820)가 적용되는 제 2 비디오 스트림을 구분(identify)하는데 사용된다.

즉, 상기 'PlayItem_id[k]'값에 대응하는 'PlayItem'의 STN 테이블에서, 상기 'secondary_video_stream_id[k]'에 대응하는 스트림 엔트리를 알 수 있다. 상기 스트림 엔트리에는 제 2 비디오와 관련된 서브패스 식별정보 값이 저장되므로, 광기록재생장치(10)는 상기 값에 의해 제 2 비디오를 재생하는 서브패스를 식별할 수 있게 된다. 플레이리스트 블락은 서브패스 블락을 포함한다.

관련하여, 상기 제 2 비디오의 재생은 상기 제 2 비디오를 재생하는 서브패스의 서브패스타입과, 상기 제 2 비디오의 재생을 관리하는 PiP메타데이터가 따르는 'pip_timeline_type'(810c)에 정의된 타임라인타입에 따라 달라진다.

본 발명에서는 제 1 비디오와 동기되지 않는 제 2 비디오 재생 중 비디오 스트림을 역으로 돌려 제 2 비디오의 재생 시작 시점을 벗어나 재생이 재시작된 경우 상기 제 2 비디오의 재생 시작 시점에서 다시 제 2 비디오의 재생을 허용할지에 대한 플래그(이하, 'pip_restart_flag')가 플레이리스트에 포함될 수 있다. 일 실시 예로 도 8에서 볼 수 있듯이 플레이리스트에 포함된 블락헤더('block_header') 블록에 'pip_restart_flag'(810d)가 포함될 수 있다. 'pip_restart_flag'의 값은 제 2 비디오 재생 중에 제 1 비디오와 동기되지 않는 제 2 비디오 재생 중 비디오 스트림을 역으로 돌려 제 2 비디오의 재생 시작 시점을 벗어나 재생이 재시작된 경우 상기 제 2 비디오의 재생 시작 시점에서 다시 제 2 비디오의 재생을 허용할지를 나타낸다.

예를 들어, 'pip_restart_flag'(810d)의 값이 허용('1')을 나타내는 경우에는 제 1 비디오와 동기되지 않는 제 2 비디오를 재생 중에 비디오를 되돌리기하여 제 2 비디오의 재생 시작 시점을 벗어나 재생이 계속되는 경우, 제 2 비디오의 재생 시작 시점에 도달하여 제 2 비디오가 재생할 수 있다. 이 때 제 2 비디오의 재생 시작 시점에 대한 정보를 재생상태정보가 저장되는 저장부에 저장되어 제 2 비디오를 재재생하는 경우 참조될 수 있다.

반면, 'pip_restart_flag'(810d)의 값이 불허('0')를 나타내는 경우에는 제 1 비디오와 동기되지 않는 제 2 비디오를 재생 중에 비디오를 되돌리기하여 제 2 비디오의 재생 시작 시점을 벗어나 재생이 계속되는 경우, 제 2 비디오의 재생 시작 시점에 도달하여도 제 2 비디오를 재생하지 않는다. 다만, 사용자가 제 2 비디오의 재생을 선택한 경우에는 재생을 시작할 수 있다.

도 9a 내지 9c는 본 발명에 따른 서브패스타입의 이해를 돕기 위해 도시한 것이다.

본 발명에 따른 PiP 어플리케이션 모델은 제 2 비디오가 멀티플렉싱되는 스 트림의 종류와 상기 제 2 비디오를 재생하는 서브패스가 관련되는 메인패스와 동기되는지에 따라 크게 세 가지로 구분될 수 있다. 따라서, 본 발명에서, 제 2 비디오를 재생하는 서브패스의 종류 즉, 서브패스타입은 상기 세 가지 모델을 고려하여 결정된다.

도 9a에 도시된 서브패스타입은 제 2 비디오가 제 1 비디오와 다른 스트림으로 인코딩되고 서브패스가 메인패스와 동기되는 경우이다. 이와 같이 제 2 비디오가 제 1비디오와 별개의 스트림에 멀티플렉싱되는 경우를 'Out-of-mux'라 한다.

도 9a를 참조하면, 제 1 비디오와 제 2 비디오의 재생을 관리하는 플레이리스트는 상기 제 1 비디오를 재생하는 하나의 메인패스와 상기 제 2 비디오를 재생하는 하나의 서브패스를 포함한다. 상기 메인패스는 네 개의 플레이아이템(PlayItem_id=0, 1, 2, 3)으로 구성되며 상기 서브패스는 복수의 서브플레이아이템으로 구성된다. 상기 서브패스는 상기 메인패스와 동기된다. 구체적으로, 상기 제 2 비디오는 서브플레이아이템과 관련된 플레이아이템을 식별하는 정보(예를 들어, 'sync_PlayItem_id')와 상기 서브플레이아이템의 상기 플레이아이템에서의 표현시간지정(presentation time stamp)정보(예를 들어, 'sync_start_PTS_of_PlayItem')를 이용하여 상기 메인패스와 동기된다. 즉, 상기 플레이아이템의 재생지점이 상기 표현시간지정정보에 의해 지정된 값에 도달할 때 상기 서브플레이아이템의 재생이 시작되어, 메인패스의 재생과정 중 지정된 시간에 서브패스의 재생이 시작되게 된다.

상기 제 2 비디오는 상기 제 1 비디오와 같은 스트림에 멀티플렉싱되지 않으 므로, 상기 플레이아이템과 상기 서브플레이아이템은 서로 다른 클립을 참조(refer to)한다. 상기 플레이아이템 및 서브플레이아이템은 재생을 원하는 특정 클립(clip)의 재생 시작시간(IN-Time)과 재생 종료시간(OUT-Time)에 대한 정보를 가지고 있다. 따라서, 상기 플레이아이템 및 서브플레이아이템에 의해 지정되는 클립이 AV 디코더(17b)에 제공된다.

도 9b에 도시된 서브패스타입은 제 2 비디오가 제 1 비디오와 다른 스트림으로 인코딩되고 서브패스가 메인패스와 동기되지 않는 경우이다. 도 9b의 서브패스타입은 도 9a와 마찬가지로 서브패스에 의해 사용되는 제 2 비디오 스트림들이, 관련된 플레이아이템에 의해 사용되는 클립과 분리되어 멀티플렉싱된다. 다만, 상기 서브패스의 재생이 메인패스의 타임라인 상에서 어느 때라도 시작할 수 있다는 점에서, 도 9a와는 차이가 있다.

도 9b를 참조하면, 제 1 비디오와 제 2 비디오의 재생을 관리하는 플레이리스트는 하나의 메인패스와 하나의 서브패스를 포함한다. 상기 메인패스는 세 개의 플레이아이템(PlayItem_id=0, 1, 2)으로 구성되며 상기 서브패스는 하나의 서브플레이아이템으로 구성된다. 상기 서브패스에 의해 재생되는 제 2 비디오는 상기 메인패스와 동기되지 않는다. 상기 서브플레이아이템이 상기 서브플레이아이템과 관련된 플레이아이템을 식별하는 정보와 상기 서브플레이아이템의 상기 플레이아이템에서의 표현시간지정(presentation time stamp)정보를 포함하고 있다고 하더라도, 상기 정보들은 도 9b의 서브패스타입에서는 유효하지 않게 된다. 따라서, 광기록재생장치(10)는 메인패스와 서브패스를 동기시키는 데 이용되는 상기 정보에 구애되 지 않으며, 사용자는 제 1 비디오가 재생되는 도중 어느 때라도 제 2 비디오의 재생을 시작할 수 있다.

도 9c의 서브패스타입은 제 2 비디오가 제 1 비디오와 같은 스트림으로 인코딩되고 서브패스가 메인패스와 동기되는 경우이다. 도 9c의 서브패스타입은 제 2 비디오가 제 1 비디오와 같은 AV 스트림에 멀티플렉싱된다는 점에서 도 9a ~ 도 9b의 서브패스타입과 차이가 있다. 이와 같이 제 2 비디오가 제 1 비디오와 같은 스트림에 멀티플렉싱된 경우를 'In-mux'라 한다.

도 9c를 참조하면, 제 1 비디오와 제 2 비디오의 재생을 관리하는 플레이리스트는 하나의 메인패스와 하나의 서브패스를 포함한다. 상기 메인패스는 네 개의 플레이아이템(PlayItem_id=0, 1, 2, 3)으로 구성되며 상기 서브패스는 복수의 서브플레이아이템으로 구성된다. 상기 서브패스를 구성하는 서브플레이아이템은, 상기 서브플레이아이템과 관련된 플레이아이템을 식별하는 정보와 상기 서브플레이아이템의 상기 플레이아이템에서의 재생시간지정(presentation time stamp)정보를 포함하고 있다. 도 9a에서 설명한 바와 같이, 상기 정보들에 의해 상기 서브플레이아이템은 관련된 플레이아이템과 동기되므로 결국, 제 2 비디오가 제 1 비디오와 동기되게 된다.

도 9c의 서브패스타입에서 메인패스를 구성하는 플레이아이템과 서브패스를 구성하는 서브플레이아이템은 동일한 클립을 참조(refer to)한다. 따라서, 상기 제 2 비디오가 메인패스에 의해 재생되는 클립으로 인코딩되어 있으므로 제 2 비디오는 제 1 비디오와 함께 메인스트림으로 AV 디코더(17b)에 제공된다.

본 발명에서는 9b와 같이 제 2 비디오가 제 1 비디오와 동기되지 않아 제 1 비디오 재생 중 제 2 비디오의 재생 시작 시점이 선택되어 재생 중 되돌리기에 의하여 재생 위치가 변경되어 제 2 비디오의 재생 시작 시점이 벗어난 경우 재생 시작 시점에 도달시 제 2 비디오를 다시 재생할지에 대한 재생 방안을 제공한다.

도 10a 내지 10c는 본 발명의 제 2 비디오 타임라인 타입의 이해를 돕기 위해 도시한 것이다.

관련하여, 도 8에서 PiP 메타데이터의 블락데이터(820) 블락은 PiP 메타데이터가 위치하는 지점을 가리키는 시간지정정보(이하, 'pip_metadata_time_stamp')를 포함할 수 있다. 상기 'pip_metadata_time_stamp[i]'의 엔트리들이 참조하는 타임라인타입 즉, PiP메타데이터가 따르는 타임라인 타입에 따라 상기 'pip_timeline_type[k]' 값의 정해진다. 이하, 상기 'pip_timeline_type[k]'과 'pip_metadata_time_stamp[i]'를 기초로 하여 설명한다.

도 10a는 PiP 프리젠테이션 패스가 메인패스와 동기되고 'pip_metadata_time_stamp' 엔트리들이 PiP 메타데이터에 의해 지정되는(referred to) 플레이아이템의 타임라인을 참조하는 경우이다. 도 10a에서 'pip_metadata_time_stamp'는 관련된 서브플레이아이템 간격들(intervals)이 'PlayItem_id[k]'(810a)에 의해 지정되는 플레이아이템의 타임라인 상에 투영(project)되는 간격(intervals)에서 프리젠테이션 타임(a presentation-time)을 정하게 된다. 도 10a의 타임라인 타입에서, 'pip_metadata_time_stamp[0]'과 'pip_metadata_time_stamp[m]'은 제 2 비디오 재생과 관련된 서브플레이아이템 간 격들이 상기 지정된 플레이아이템의 타임라인에 투영되는 각 간격들의 시작점(101a, 105a)에 놓이는 것이 바람직하다.

관련하여, PiP 메타데이터는 블락데이터(820)를 포함하고 상기 블락데이터(820)는 'pip_metadata_time_stamp'에 따라 제 2 비디오 구성정보(이하, 'pip_composition_metadata') 블락을 포함한다. 'i'번째 'pip_compositon_metadata'는 'pip_metadata_time_stamp[i]'(102a)로부터 'pip_metadata_time_stamp[i+1]'(103a)까지 유효한 제 2 비디오 구성정보이다. 하나의 블락데이터(820)에 존재하는 마지막 'pip_composition_metadata'는 PiP 메타데이터에 포함된 'secondary_video_stream_id'에 의해 지정된 서브패스의 프리젠테이션 종료시간(104a)까지 유효하다.

관련하여, 제 2 비디오 구성정보는 제 2 비디오가 재생위치와 크기를 나타내는 정보이다. 도 8을 참조하면, 상기 구성정보에는 제 2 비디오의 위치정보와 크기정보(이하, pip_scale(821d))를 포함할 수 있다. 위치정보에는 제 2 비디오의 수평위치(이하, 'pip_horizontal_position'(821b))정보와 제 2 비디오의 수직위치(이하, 'pip_vertical_position'(821c)) 정보가 포함된다. 상기 'pip_horizontal_position'(821b)은 화면의 기준점에서 제 2 비디오가 디스플레이되는 수평위치를 나타내고 'pip_vertical_position'(821c)는 화면의 기준점에서 제 2 비디오가 디스플레이되는 수직위치를 나타낸다. 상기 위치정보들(821b, 821c)에 의해 제 2 비디오가 화면상에서 재생되는 위치가 결정된다.

상기 제 2 비디오의 크기가 문제되는데, 이는 상기 'pip_scale'(821d)에 의 해 결정된다. 제 2 비디오 사이즈는 제 1 비디오 사이즈까지 크기조정될 수 있다. 관련하여, 상기 제 2 비디오 사이즈는 효율적인 재생을 위하여 불연속적인 값으로 설정될 수 있다. 또한, 상기 제 2 비디오 사이즈는 예를 들어, '×1', '×1/2', '×1/4', '×1.5'와 같이 제 1 비디오 사이즈에 대한 비율로 표시될 수 있다.

관련하여, 도 10a의 타임라인 타입은 제 2 비디오를 재생하는 서브패스 즉, PiP 재생패스가 메인패스와 동기되므로, 전술한 'secondary_video_stream_id[k]'에 의해 지정(indicate)되는 서브패스는 도 9a 및 도 9c에서 설명한 서브패스타입에 해당된다.

관련하여, 도 10a의 타임라인 타입의 경우, 메인패스를 구성하는 플레이아이템에 맞추어 제 2 비디오가 재생되므로, 상기 제 2 비디오의 재생은 역시 메인패스의 타임라인을 따르게 된다. 예를 들어 제 1 비디오를 재생하는 메인패스의 재생지점이 'pip_metadata_time_stamp[i]'와 'pip_metadata_time_stamp[i+1]' 사이에 있는 경우, 상기 'pip_metadata_time_stamp[i]'에 대응하는 'pip_composition_metadata[i]'가 적용되어 제 2 비디오가 제 1 비디오 상에 디스플레이된다. 또 다른 예를 들어, 제 1 비디오를 트릭 재생하는 경우 메인패스의 재생지점이 'pip_metadata_time_stamp[i+1]'(103a)와 서브플레이아이템이 끝나는 지점(104a)에 있다면, 상기 'pip_metadata_time_stamp[i+1]'에 대응하는 'pip_composition_metadata[i+1]'이 적용되어 제 2 비디오가 제 1 비디오 상에 디스플레이된다.

도 10b는 PiP의 재생경로가 메인패스와 동기되지 않고 'pip_metadata_time_stamp' 엔트리들이 서브패스의 타임라인을 참조하는 경우이다. 도 10b의 실시예는 PiP의 재생경로가 메인패스와 동기되지 않으므로 전술한 'secondary_video_time_stamp_id[k]'에 의해 지정(indicate)되는 서브패스는 도 9b에서 설명한 서브패스타입에 해당될 것이다. 도 10b의 타임라인 타입에서 'pip_metadata_time_stamp'는 PiP 메타데이터에 포함된 'secondary_video_stream_id[k]'에 의해 지정되는 서브패스에 포함된 서브플레이아이템 구간(interval)에서 재생시간(a presentation time)을 정하게 된다. 따라서, 이 타임라인 타입에서, 'pip_metadata_time_stamp[0]'은 상기 서브플레이아이템의 시작 지점(101b)에 놓이는 것이 바람직하다.

도 10b의 타임라인 타입의 경우, 서브플레이아이템의 타임라인을 따라 PiP 메타데이터에 의하여 제 2 비디오가 재생될 것이므로 메인패스의 재생진행 과정에 상관없이, 서브패스에 지정된 PiP 메타데이터에 따라 재생될 것이다. 즉, 메인패스의 재생지점이 상기 메인패스를 구성하는 플레이아이템의 타임라인의 일정부분으로 변경되더라도 제 2 비디오는 이에 구애받지 않고 서브플레이아이템에 정의된 PiP 메타데이터에 따라 재생된다는 점에서, 도 10a의 타임라인 타입과 차이가 있다. 예를 들어, 제 1 비디오가 트릭 재생되는 경우 제 2 비디오는 서브플레이아이템을 따라 제 1 비디오가 트릭되는 속도로 트릭 재생되면서 서브플레이아이템의 타임라인 을 따라 정의된 PiP 메타데이터에 의하여 재생될 것이다.

도 10c는 PiP의 재생경로가 메인패스와 동기되지 않고 'pip_metadata_time_stamp' 엔트리들이 PiP 메타데이터에 포함된 'PlayItem_id[k]' 에 의해 지정된(referred to) 플레이아이템의 타임라인을 참조하는 경우이다. 도 10a에서와 마찬가지로, 도 10c의 타임라인 타입도 플레이아이템의 타임라인을 참조하므로 서브플레이아이템 인타임(SubPlayItem_IN_time)이 상기 플레이아이템의 타임라인 투영되게 된다(102c). 도 10c의 타임라인 타입에서 'pip_metadata_time_stamp'는 상기 'PlayItem_id[k]'에 의해 지정(indicate)되는 플레이아이템 구간(interval)에서 재생시간(a presentation time)을 정하게 된다. 도 10c의 타임라인 타입은 PiP 메타데이터가 'PlayItem_id[k]'에 의해 지정되는 플레이아이템의 타임라인을 따르므로, 'pip_metadata_time_stamp[0]'은 상기 'PlayItem_id[k]'에 의해 지시되는 플레이아이템 구간(interval)의 시작지점(110c)에 놓이는 것이 바람직하다.

도 10c의 타임라인 타입의 경우, 제 2 비디오를 재생하는 서브패스가 메인패스와 동기되지는 않으므로, 도 10a의 타임라인 타입과 달리 제 2 비디오가 제 1 비디오의 메인패스가 아닌 서브패스의 타임라인을 따라 재생될 수 있다. 다만, PiP 메타데이터가 플레이아이템의 타임라인을 따르므로, 제 1 비디오의 재생시 메인패스의 재생지점에 대응하는 'pip_composition_metadata'가 제 2 비디오에 적용되게 된다. 도 10c를 참조하면, 예를 들어, 'pip_metadata_time_stamp[i+1]'에 해당하는 'pip_composition_metadata[i+1]'가 제 2 비디오에 적용되다가, 제 1 비디오가 역방향 재생에 의해 메인패스의 재생위치가 'pip_metadata_time_stamp[i+1]'에서 'pip_metadata_time_stamp[i]'가 되면, 제 2 비디오는 상기 'pip_metadata_time_stamp[i]'에 해당하는 'pip_composition_metadata[i]'가 적용 되어 재생되게 된다.

따라서, 같은 장면을 보더라도 PiP 메타데이터가 도 10c의 타임라인 타입에 해당하는 경우, 제 2 비디오의 재생경로는 제 1 비디오의 재생에 영향을 받지 않으나 상기 제 2 비디오가 출력되는 제 2 비디오 윈도우의 크기, 위치 또는 속도는 제 1 비디오의 재생방향이나 속도에 따라 영향을 받게 된다. 따라서, 제 1 비디오가 재생 중이라도 제 2 비디오를 구성하는 스트림의 재생은 그대로 진행되나 사용자에게 디스플레이되는 제 2 비디오의 크기 및 위치 등이 변하게 되는 것이다.

관련하여, 도 10c의 타임라인 타입은 PiP의 재생경로가 메인패스와 동기되지 않으므로, 전술한 'secondary_video_time_stamp_id[k]'에 의해 지정(indicate)되는 서브패스는 9b에서 설명한 서브패스타입에 해당하여야 할 것이다.

관련하여, 도 10c의 타임라인 타입의 경우, 상기 PiP 메타데이터는 'PlayItem_id[k]'에 의해 지정되는 플레이아이템 구간(interval)에서 재생시간을 정하므로, 'pip_metadata_time_stamp[i+1]는 현재 플레이아이템의 아웃타임(104c)까지 유효하다. 그러나, 하나의 블락데이터(820)에 존재하는 마지막 'pip_composition_metadata'는 'secondary_video_stream_id[k]'에 의해 지정된 서브패스의 재생 종료시간까지 유효하므로, 서브플레이아이템 아웃타임(103c) 이후에는 제 2 비디오가 디스플레이되지 않게 된다.

관련하여, 도 8의 실시예에서는 PiP의 재생시간정보와 구성정보가 플레이리스트에 존재하는 경우를 예로 하였으나, PiP를 구현하는 제 2 비디오 스트림의 헤더에 상기 정보들이 존재하는 것도 가능하다.

도 11a 및 11b는 제 1 비디오와 제 2 비디오의 재생 중 되돌리기에 의하여 재생 위치가 변경되는 경우를 나타낸 도면이다. 여기서 제 2 비디오는 재생 시작 시점이 제 1 비디오와 동기되지 않아 사용자에 의하여 재생 시작이 결정되는 도 9b에서 설명한 타입이다.

도 11a를 참조하면, 제 2 비디오가 제 1 비디오와 동기되지 않아 제 2 비디오의 재생 시작 시점(111a)은 사용자 등에 의하여 결정되나, 재생이 시작되면 시간축(Global Time Axis) 상에서 제 1 비디오의 재생 위치(112a)에 동기하여 재생이 진행된다. 따라서 본 발명에서 제 2 비디오의 재생 중에 제 1 비디오의 재생 위치(112a)가 되돌리기에 의하여 다른 재생 위치(113a)로 변경되는 경우에는 제 2 비디오는 제 1 비디오의 재생 위치(113a)에 동기되어 변경된다.

비동기식 타입인 제 2 비디오의 경우 재생 시작 시점이 사용자에 의하여 정해지므로 도 11b와 같이 제 1 비디오의 재생 위치(112a)가 제 2 비디오의 재생 시작 시점(111b)에서 벗어난 재생 위치(113b)로 변경되는 경우에 제 2 비디오의 재생 시작 시점(111b)에 도달했을 때 제 2 비디오를 다시 재생할지가 문제된다. 이하 제 2 비디오의 재생 시작 시점(111b)에서 제 2 비디오의 재생여부에 대하여 설명하도록 한다.

우선, 제 2 비디오의 재생 시작 시점에 도달하면 일단 제 2 비디오를 다시 재생할 수 있다. 여기서 제 2 비디오의 재생 시작 시점을 전술한 바와 같이 저장부에 포함된 PSR(Player Status Register)에 저장하고, 제 2 비디오의 재생 시작 시점(111b)에 도달하면 PSR에 저장된 정보를 참조하여 바로 제 2 비디오를 재생할 수 있다. 제 2 비디오의 재생 시작 시점은 PSR(Player Status Register)이 아니라 정보를 버퍼 메모리로 저장할 수 있는 저장부에 저장될 수도 있다.

다른 실시예로는 제 2 비디오의 재생 시작 시점에 도달하여 제 2 비디오의 재생을 재시작할지를 나타내는 플래그('pip_restart_flag')를 이용할 수 있다. 전술한 바와 같이 플래그 값에 따라 제 2 비디오의 재생 시작 시점에 도달하였을 때 제 2 비디오의 재생을 시작할 수 있다.

예를 들어, 상기 'pip_restart_flag'의 값이 허용('1')을 나타내는 경우에는 제 2 비디오의 재생 시작 시점을 벗어나 재생이 계속되는 경우, 제 2 비디오의 재생 시작 시점에 도달하여 제 2 비디오가 재생할 수 있다. 이 때 제 2 비디오의 재생 시작 시점에 대한 정보를 상기 저장부에 저장하여 제 2 비디오를 다시 재생할 때 참조할 수 있다.

반면, 'pip_restart_flag'의 값이 불허('0')를 나타내는 경우에는 제 1 비디오와 동기되지 않는 제 2 비디오를 재생 중에 비디오를 되돌리기하여 제 2 비디오의 재생 시작 시점을 벗어나 재생이 계속되는 경우, 제 2 비디오의 재생 시작 시점에 도달하여도 제 2 비디오를 재생하지 않는다. 다만, 사용자가 제 2 비디오의 재생을 선택한 경우에는 재생을 시작할 수 있다.

또 다른 실시예로는 되돌리기 후 재생을 시작거나 제 2 비디오의 재생 시작 시점에 도달할 때에 이전 제 2 비디오의 재생 시작 시점에서 제 2 비디오를 재생할지 선택할 수 있는 메뉴를 제공할 수 있다. 따라서 사용자가 제 2 비디오의 재생을 선택한 경우에는 제 2 비디오의 재생 시작 시점에 제 2 비디오를 재생할 수 있다. 이 경우 제 2 비디오의 재생 시작 시점에 대한 정보는 전술한 바와 같이 저장부에 저장되어 참조될 수 있다. 또한, 전술한 'pip_restart_flag'의 값이 허용을 나타내는 경우라도 이와 같은 메뉴를 사용자에게 제공하여 사용자가 제 2 비디오의 재생을 선택할 수 있도록 할 수 있다. 여기서 메뉴는 버튼 오브젝트를 이용하여 재생 선택을 할 수 있는 버튼이나 메뉴창을 디스플레이하여 제공될 수 있다.

반면, 메뉴에서 사용자가 재생하지 않는 것을 선택한 경우에는 제 2 비디오의 재생 시작 시점에 도달하더라도 제 2 비디오를 재생하지 않는다.

또 다른 실시예로 제 2 비디오는 비동기식 타입으로 재생되는 경우, 원칙적으로 제 2 비디오의 재생 시작은 사용자에 의하여 결정되므로, 재생 중 제 2 비디오의 재생 시작 시점을 벗어나 재생 경로가 변경된 경우 제 2 비디오의 재생 시작 시점에 도달하더라도 제 2 비디오를 재생하지 않을 수 있다. 이 경우 사용자에 의하여만 제 2 비디오의 재생을 시작할 수 있다. 따라서 제 2 비디오의 재생 시점에 도달하더라도 사용자 오퍼레이션(User Operation)을 통하여 사용자에 의하여 재생 시작 명령이 입력되는 경우에만 제 2 비디오를 재생할 수 있다.

또는 재생 경로가 벗어난 경우 제 2 비디오의 재생 시작 시점과 변경된 재생 시점을 비교하여 상기 제 2 비디오의 재생 시작 시점이 상기 변경된 재생 시점보다 앞서는 경우에는 제 2 비디오의 재생을 중지하고, 새로운 재생 시작 명령이 입력된 경우에 제 2 비디오를 다시 재생할 수 있다.

도 12는 본 발명의 실시예에 따라 데이터를 재생하는 과정을 나타낸 순서도이다. 이하, 도 12를 참조하여 비디오 재생 중 경로가 변경되어 제 2 비디오의 시 작 시점을 벗어난 경우 상기 시작 시점에 도달했을 때 제 2 비디오의 재생 방법에 대하여 설명하도록 한다.

우선, 제 2 비디오를 제 1 비디오에 재생한다(S1202). 이 경우 제 2 비디오는 제 1 비디오와 동기되지 않고 재생되는 'Asynchronous PiP'이므로 사용자에 의하여 제 2 비디오의 재생이 요구되는 경우에 제 2 비디오의 재생을 시작한다.

제 2 비디오의 재생 중 제 1 비디오 또는 제 2 비디오를 되돌리기하여 S1202 단계에서 재생을 시작한 제 2 비디오의 재생 시작 시점을 벗어나도록 재생 경로가 변경된다(S1204). 여기서 되돌리기는 "Skip back to previous point" 또는 "backward paly" 등의 사용자 명령에 의하여 수행되는 동작을 통틀어 의미한다.

변경된 재생 경로를 따라 재생 중에 제 2 비디오의 재생 시작 시점에 도달하면 제 2 비디오를 다시 재생할 것인지 판단한다(S1206). 여기서 제 2 비디오의 재시작에 대한 플래그('pip_restart_flag')의 값이 허용을 나타내는지 또는 메뉴를 제공하여 사용자에 의하여 재생이 선택되는지에 대하여 판단한다. 경우에 따라서는 상기 플래그의 값이 허용('1')을 나타내더라도 메뉴를 제공하여 사용자가 제 2 비디오의 재생을 선택하는지를 판단할 수 있다. 또는 사용자에 의하여 재생 시작 명령에 입력되는지를 판단할 수 있다.

S1206 단계에서 제 2 비디오의 재생을 허용한 것으로 판단된 경우에는 제 2 비디오의 재생 시작 시점에서 제 2 비디오의 재생을 다시 시작할 수 있다(S1208). 여기서 제 2 비디오의 재생 시작 시점은 저장부에 저장되어 재생시 참조될 수 있다. 다만, S1206 단계에서 제 2 비디오의 재생을 허용하지 않는 것으로 판단된 경 우에는 제 2 비디오의 재생 시작 시점에 도달하여도 제 2 비디오를 재생하지 않는다.

경우에 따라서는 전술한 바와 같이 S1206 단계의 판단 없이 제 2 비디오의 재생 시작 시점이 되면 제 2 비디오를 재생할 수 있다. 또는 제 2 비디오의 재생을 하지 않을 수도 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술사상을 한정하기 위한 것이 아니라 설명하기 위한 것에 불과하고, 이러한 실시예에 의하여 본 발명의 기술사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

이상 설명한 바와 같이, 본 발명에 의하면 제 2 비디오(secondary video)를 제 1 비디오(primary video)와 함께 재생할 수 있는 기능을 제공한다. 또한, 본 발명에 의하면 콘텐츠 제공자가 다양한 콘텐츠를 제공할 수 있고 수요자는 제공되는 다양한 콘텐츠를 동시에 시청할 수 있는 효과를 제공한다. 또한, 본 발명에 의하면, 제 1 비디오와 동기되지 않는 제 2 비디오의 재생 중 제 2 비디오의 재생 시작 시점을 벗어나 재생이 되는 경우 다시 제 2 비디오의 재생 시작 시점에 도달하였을 때 제 2 비디오의 재생을 시작할지에 대한 방안을 제공한다. 따라서 제 2 비디오의 재생 시작 시점에 대한 좀 더 명확한 기준을 마련할 수 있다.

Claims

기록매체 및/또는 스토리지에 저장된 데이터에 포함된 제 1 비디오 및 제 2 비디오를 함께 재생하는 방법에 있어서,

상기 제 2 비디오를 재생관리 데이터에 따라 상기 제 1 비디오와 함께 재생하되,

재생경로의 변경에 의하여 상기 제 2 비디오의 재생 시작 위치를 벗어난 경우 상기 재생 시작 위치에 도달시 상기 제 2 비디오를 재생하는 것을 특징으로 하는 데이터 재생 방법.
제 1 항에 있어서,

상기 제 2 비디오의 재생 시작 위치는 저장부(memory unit)에 저장되는 것을 특징으로 하는 데이터 재생 방법.
제 1 항에 있어서,

상기 제 2 비디오의 재생 방식은 비동기 타입(Asynchronous Type)인 것을 특징으로 하는 데이터 재생 방법.
제 1 항에 있어서,

상기 재생 시작 위치에서 상기 제 2 비디오를 재생하기 전에 상기 제 2 비디 오의 재생 허용에 대한 메뉴를 제공하여 재생이 허용된 경우에 상기 제 2 비디오를 재생하는 것을 특징으로 하는 데이터 재생 방법.
제 1 항에 있어서,

상기 기록매체 및/또는 스토리지에 기록된 상기 제 2 비디오의 재생 허용 정보에 따라 상기 제 2 비디오를 재생하는 것을 특징으로 하는 데이터 재생 방법.
기록매체 및/또는 스토리지에 저장된 데이터에 포함된 제 1 비디오 및 비동기식 제 2 비디오를 함께 재생하는 방법에 있어서,

재생 시작 명령에 따라 상기 제 2 비디오를 재생관리 데이터에 따라 상기 제 1 비디오와 함께 재생하는 단계;

재생 위치 변경으로 제 2 비디오의 재생 시작 시점을 벗어난 경우 상기 제 2 비디오의 재생을 중지하는 단계; 및

상기 제 2 비디오는 새로운 재생 시작 명령에 따라 재생되는 단계

를 포함하는 것을 특징으로 하는 데이터 재생 방법.
제 6 항에 있어서,

상기 비동기식 제 2 비디오는 재생 시작 명령에 의하여 재생을 시작하고, 재생이 시작되면 제 1 비디오와 동기되는 것을 특징으로 하는 데이터 재생 방법.
제 6 항에 있어서,

상기 재생 위치 변경에 의하여 변경된 재생 위치와 상기 재생 시작 위치를 비교하는 단계를 더 포함하고,

상기 재생 시작 위치가 상기 변경된 재생 위치보다 우선되는 경우에 상기 제 2 비디오의 재생을 중지하는 것을 특징으로 하는 데이터 재생 방법.
제 6 항에 있어서,

상기 재생 시작 위치에 관한 정보를 저장부(Memory Unit)에 저장하는 것을 특징으로 하는 데이터 재생 방법.
기록매체 및/또는 스토리지에 저장된 데이터를 재생하는 데이터 재생장치에 있어서,

제 1 비디오를 디코딩하는 제 1 비디오 디코더 및 제 2 비디오를 디코딩하는 제 2 비디오 디코더;

상기 제 2 비디오를 재생관리 데이터에 따라 디코딩하여 상기 제 1 비디오에 디스플레이하되, 재생경로의 변경에 의하여 상기 제 2 비디오의 재생 시작 위치를 벗어난 경우 상기 재생 시작 위치에 도달시 상기 제 2 비디오를 디코딩하여 상기 제 1 비디오에 디스플레이하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 데이터 재생 장치.
제 10 항에 있어서,

재생상태정보가 저장되는 저장부(memory unit)를 더 포함하고,

상기 제어부는 상기 제 2 비디오의 재생 시작 위치를 상기 저장부(memory unit)에 저장하는 것을 특징으로 하는 데이터 재생 장치.
제 10 항에 있어서,

상기 제 2 비디오의 재생 방식은 비동기 타입(Asynchronous Type)인 것을 특징으로 하는 데이터 재생 장치.
제 10 항에 있어서,

상기 제어부는 상기 재생 시작 위치에서 상기 제 2 비디오를 디코딩하기 전에 상기 제 2 비디오를 재생 허용에 대한 메뉴를 제공하여 재생이 허용된 경우에 상기 제 2 비디오를 디코딩하여 상기 제 1 비디오에 디스플레이하도록 제어하는 것을 특징으로 하는 데이터 재생 장치.
제 10 항에 있어서,

상기 제어부는 상기 기록매체 및/또는 스토리지에 기록된 재생 허용 정보에 따라 상기 제 2 비디오를 디코딩하도록 제어하는 것을 특징으로 데이터 재생 장치.
기록매체 및/또는 스토리지에 저장된 데이터를 재생하는 데이터 재생장치에 있어서,

제 1 비디오를 디코딩하는 제 1 비디오 디코더 및 비동기식 제 2 비디오를 디코딩하는 제 2 비디오 디코더;

재생 시작 명령이 수신된 경우 상기 제 2 비디오를 재생관리 데이터에 따라 디코딩하되, 재생 위치 변경으로 제 2 비디오의 재생 시작 시점을 벗어난 경우 상기 제 2 비디오의 디코딩을 중지하고, 새로운 재생 시작 명령이 수신된 경우 상기 제 2 비디오를 디코딩하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 데이터 재생 장치.
제 15 항에 있어서,

상기 제 2 비디오의 재생 시작 위치에 관한 정보를 저장부(Memory Unit)를 더 포함하고,

상기 제어부는 재생 시작 명령이 수신되면 상기 제 2 비디오의 재생 시작 시점을 상기 저장부에 저장하는 것을 특징으로 하는 데이터 재생 방법.
제 16 항에 있어서,

상기 제어부는 상기 재생 위치 변경에 의하여 변경된 재생 위치와 상기 저장부에 저장된 상기 재생 시작 위치를 비교하고, 상기 재생 시작 위치가 상기 변경된 재생 위치보다 우선되는 경우에 상기 제 2 비디오의 디코딩을 중지하도록 제어하는 것을 특징으로 하는 데이터 재생 방법.
제 1 비디오와 제 2 비디오를 포함하는 스트림 데이터가 저장되는 스트림 영역과 재생관리 데이터가 저장되는 관리영역을 구비하되,

상기 재생관리 데이터는 상기 제 2 비디오의 재생경로 변경에 의하여 재생 시작 위치를 벗어난 경우 상기 재생 시작 위치에 도달시 상기 제 2 비디오의 재생 허용여부를 나타내는 플래그를 포함하는 것을 특징으로 하는 기록매체.
제 1 비디오와 제 2 비디오를 기록매체에 기록하는 방법에 있어서,

제1 비디오 및 제 2 비디오가 포함된 스트림 데이터를 생성하고,

재생경로 변경에 의하여 상기 제 2 비디오의 재생 시작 위치를 벗어난 경우 상기 재생 시작 위치에 도달시 상기 제 2 비디오의 재생 허용 여부를 나타내는 플래그가 포함된 상기 제 2 비디오의 재생을 관리하는 재생관리 데이터를 생성하고,

상기 스트림 데이터 및 상기 재생관리 데이터를 상기 기록매체에 기록하는 것을 특징으로 하는 데이터 기록방법.
제 1 비디오와 제 2 비디오를 기록매체에 기록하는 장치에 있어서,

상기 기록매체에 데이터를 기록하는 기록부;

제 1 비디오 및 제 2 비디오가 포함된 스트림 데이터를 생성하고, 재생경로 변경에 의하여 상기 제 2 비디오의 재생 시작 위치를 벗어난 경우 상기 재생 시작 위치에 도달시 상기 제 2 비디오의 재생 허용 여부를 나타내는 플래그가 포함된 상 기 제 2 비디오의 재생을 관리하는 재생관리 데이터를 생성하고, 상기 스트림 데이터 및 상기 재생관리 데이터를 상기 기록매체에 기록하도록 제어하는 제어부

를 포함하는 것을 특징으로 하는 데이터 기록 장치.