JP2009159367A - 画面生成装置および画面レイアウト共有システム - Google Patents

画面生成装置および画面レイアウト共有システム Download PDF

Info

Publication number
JP2009159367A
JP2009159367A JP2007335891A JP2007335891A JP2009159367A JP 2009159367 A JP2009159367 A JP 2009159367A JP 2007335891 A JP2007335891 A JP 2007335891A JP 2007335891 A JP2007335891 A JP 2007335891A JP 2009159367 A JP2009159367 A JP 2009159367A
Authority
JP
Japan
Prior art keywords
application
screen
video
screen layout
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007335891A
Other languages
English (en)
Other versions
JP5219501B2 (ja
Inventor
Hiroki Sakaguchi
広樹 坂口
Takehiko Hanada
武彦 花田
Shigeru Imai
繁 今井
Shin Miura
紳 三浦
Masami Matsubara
雅美 松原
Shinji Akatsu
慎二 赤津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2007335891A priority Critical patent/JP5219501B2/ja
Priority to US12/116,597 priority patent/US20090172512A1/en
Priority to EP08014709.3A priority patent/EP2076027B1/en
Publication of JP2009159367A publication Critical patent/JP2009159367A/ja
Application granted granted Critical
Publication of JP5219501B2 publication Critical patent/JP5219501B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management e.g. creating a master electronic programme guide from data received from the Internet and a Head-end or controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for programme selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】視聴者が見やすい画面表示に変更可能な画面生成装置を提供することを目的とする。
【解決手段】チューナ２０８が受信した映像情報メタデータ等を表示するためのアプリケーションを実行するアプリケーション実行部２０１と、ネットワークインタフェース２０５がダウンロードした配置テンプレートに規定されたアプリケーションエリアに、任意のアプリケーションを関連付けた画面レイアウトを、映像コンテンツＩＤ毎に生成する画面レイアウト構成部２０４と、画面レイアウト構成部２０４が生成した画面レイアウトに基づいて、アプリケーションエリアに関連付けられたアプリケーションが生成する映像を描画するＧＵＩ２０３と、ＧＵＩ２０３によって描画されたアプリケーションの映像をチューナ２０８が受信中の映像に重ねて画面に表示する映像出力部２１２と、アプリケーションが生成した音声をチューナ２０８が受信中の音声とミキシングして出力する音声出力部２１３とを備える。
【選択図】図２

Description

この発明は、デジタルデータ放送サービス、ＩＰ放送サービス等、映像と同時に様々な情報を表示可能な画面生成装置において、視聴者の嗜好や属性、視聴者の指定等に合わせて画面表示レイアウトを変更する技術に関するものである。
デジタルデータ放送サービス、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）放送サービス等の多くの人に同一の情報を提供する情報サービスでは、文字情報や画像情報といった形式の関連情報、広告等を、映像と同期して提供することが可能となっている。
例えば、地上デジタル放送サービスでは、映像と同期してＢＭＬ（Ｂｒｏａｄｃａｓｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）で記述された放送内容関連情報、ニュースや天気予報等の一般的な情報、映像提供者の情報、広告等が提供されている。これらの情報を視聴する場合には、視聴者がリモコン等を用いて放送受信端末を操作し、情報画面を表示させていた。また、通信を利用した情報サービスでは、インターネットを通じて、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）で記述されたニュース、天気予報、株価、レストランの検索等の情報が提供されている。
従来、放送のように多くの人に同一の情報を提供する情報サービスでは、映像と同期して放送受信端末に表示する情報の画面レイアウトは１パターンしかなく、固定されていた。そのため、視聴者の属性や利用環境に応じて画面レイアウトを変更することはできなかった。また、表示される情報は画面レイアウトに応じて決定されているため、画面レイアウトを変更できないということは、表示する情報の種類を変更できないということでもあった。
そこで、例えば特許文献１には、放送受信端末で再生する映像に同期して提供される情報の画面レイアウトを変更するための画面生成装置が提案されている。情報提供者が提供する数パターンの画面レイアウトの中から、画面生成装置が視聴者の性別、嗜好情報等に応じた画面レイアウトを選択する。このため、視聴者の属性に合った画面レイアウトで情報画面を表示することができる。
特開２００７−１３８１９号公報
従来の画面生成装置は以上のように構成されているので、情報提供者が提供する画面レイアウト以外を選択することはできず、視聴者は画面レイアウトとそこに表示する情報とを一括して選択していた。そのため、画面レイアウトと情報とを視聴者が自由に変更することができないという課題があった。
この発明は、上記のような課題を解決するためになされたもので、視聴者が映像情報およびその映像情報を表示するアプリケーションを自由に配置設定することで、視聴者が見やすい画面表示に変更可能な画面生成装置を提供することを目的とする。
この発明に係る画面生成装置は、識別番号を有するコンテンツを受信する受信部と、アプリケーション映像を生成する任意のアプリケーションを実行するアプリケーション実行部と、予め設定された画面領域に任意のアプリケーションが生成するアプリケーション映像を関連付けた画面レイアウト情報を、識別番号毎に生成する画面レイアウト構成部と、画面レイアウト構成部が生成した画面レイアウト情報に基づいて、アプリケーションが生成したアプリケーション映像を、当該アプリケーションに関連付けられた画面領域に描画するアプリケーション描画部と、アプリケーション描画部によって描画されたアプリケーション映像をコンテンツに含まれる映像に重ねて画面に表示する映像出力部とを備えたものである。
この発明によれば、識別番号を有するコンテンツを受信する受信部と、アプリケーション映像を生成する任意のアプリケーションを実行するアプリケーション実行部と、予め設定された画面領域に任意のアプリケーションが生成するアプリケーション映像を関連付けた画面レイアウト情報を、識別番号毎に生成する画面レイアウト構成部と、画面レイアウト構成部が生成した画面レイアウト情報に基づいて、アプリケーションが生成したアプリケーション映像を、当該アプリケーションに関連付けられた画面領域に描画するアプリケーション描画部と、アプリケーション描画部によって描画されたアプリケーション映像をコンテンツに含まれる映像に重ねて画面に表示する映像出力部とを備えるようにしたので、視聴者が映像情報を表示するアプリケーションを自由に配置設定することができ、視聴者が見やすい画面表示に変更可能な画面生成装置を提供することができる。
実施の形態１．
図１は、この発明の実施の形態１に係る放送受信システムの構成を示す説明図である。図１に示す放送受信システムは、映像または音声（コンテンツ）および映像情報メタデータを配信する放送サービス配信装置１０、画面生成装置を備え、映像、音声および映像情報メタデータを受信すると共に画面表示する放送受信端末２０、インターネットを介して配置テンプレートを提供する配置テンプレート提供サーバ３０からなる。
図１に示す放送サービス配信装置１０は、映像または音声に関連した映像情報メタデータが蓄積された映像情報メタデータ蓄積部１１を備え、映像または音声とともにその映像に関連する映像情報メタデータを多重化して配信する。放送受信端末２０は、画面生成装置によって放送サービス配信装置１０から配信される映像、音声および映像情報メタデータを受信すると共に、配置テンプレート提供サーバ３０からインターネットを介して配置テンプレートをダウンロードし、映像情報メタデータを描画するアプリケーションを画面上に配置させる。配置テンプレート提供サーバ３０は、配置テンプレート蓄積部３１を備え、放送受信端末２０の画面（図示せず）に映像情報メタデータを配置させる制御に使用する配置テンプレートをインターネットを介して配信する。
図２は、この発明の実施の形態１に係る画面生成装置の構成を示すブロック図である。放送受信端末２０が有する画面生成装置２００において、チューナ（受信部）２０８が放送サービス配信装置１０から配信される映像、音声および映像情報を受信する。受信した映像、音声および映像情報は、デマルチプレクサ２０９によって映像データ、音声データおよび映像情報メタデータに分離され、ビデオデコーダ２１０、オーディオデコーダ２１１および映像情報メタデータ記録部２０６にそれぞれ出力される。ビデオデコーダ２１０およびオーディオデコーダ２１１は、映像データおよび音声データをそれぞれ復号化し、映像出力部２１２および音声出力部２１３へそれぞれ出力する。また、ネットワークインタフェース２０５はインターネット等ネットワークと接続され、配置テンプレート提供サーバ３０から配信される配置テンプレート（予め設定された画面領域）をダウンロードする。
画面レイアウト構成部２０４は、映像情報メタデータおよび配置テンプレートを用いて、映像情報を画面に描画するアプリケーションの表示位置、配置等を設定するための画面レイアウトを生成する。生成した画面レイアウトを画面レイアウト蓄積部２０７が保存する。
アプリケーション実行部２０１は、画面レイアウト蓄積部２０７に記録されている画面レイアウトおよびアプリケーションデータ蓄積部２０２に記録されているアプリケーションデータを用いて、アプリケーションを実行させる。特定のアプリケーションを実行することによって、特定の映像および音声を生成する。
ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、アプリケーション描画部）２０３は、画面に表示するアプリケーション等の描画処理、音声出力処理、および図示しないリモコン等の入力デバイスを用いた視聴者による操作指示入力の処理を行う。
映像出力部２１２は、ＧＵＩ２０３にて描画されるアプリケーション（アプリケーション映像）をビデオデコーダ２１０から出力される復号化済み映像データとミキシングし、画面に表示させる。また、音声出力部２１３は、アプリケーション実行部２０１にて生成されるアプリケーションの音声データ（アプリケーション音声）をオーディオデコーダ２１１から出力される復号化済み音声データとミキシングし、図示しないスピーカから出力させる。
図３は、この発明の実施の形態１に係る映像情報メタデータの１例を示す説明図である。図３に示す映像情報メタデータ４１は、チューナ２０８が受信する映像に多重化して配信される映像情報であり、デマルチプレクサ２０９によって分離され、映像情報メタデータ記録部２０６に記録される。映像情報メタデータ４１は、帰属する映像に関する映像コンテンツを特定する映像コンテンツＩＤ（識別番号）、その映像内容のジャンル、視聴者の住む地域における放送チャンネルおよび放送時間等から構成されている。映像情報メタデータ４１は、ＥＧＰ（Ｅｌｅｃｔｒｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）と同様に、通常、映像と多重化され放送サービス配信装置１０から放送波によって送信されている。
図４は、この発明の実施の形態１に係る放送受信端末の画面に表示されるアプリケーションの配置可能領域の１例を示す説明図である。放送受信端末２０において、映像を表示する画面２１上には、アプリケーション描画が可能な領域であるアプリケーションエリア２２，２３が設けられている。これらアプリケーションエリア２２，２３は、配置テンプレート４２により規定されている。この配置テンプレート４２は、配置テンプレート提供サーバ３０からインターネットを介して提供されている。図２に示す画面生成装置２００は、ネットワークインタフェース２０５を介して受信中の映像に関連した配置テンプレートをダウンロードする。この実施の形態１では、アプリケーションエリアが２つ設けられた配置テンプレート４２を用いて説明する。なお、配置テンプレート４２に記述された映像コンテンツＩＤは、図３に示す映像情報メタデータ４１の映像コンテンツＩＤと関連付けられている。
この配置テンプレート４２には、アプリケーションエリア２２を特定するアプリケーションエリアＩＤ「００１」、表示領域の大きさを示す表示エリア「９００×１００」、画面２１上での表示領域の座標を示す表示位置「（９００，５０）」等が記述されている。同様に、アプリケーションエリア２３を特定するアプリケーションエリアＩＤ、表示エリア、表示位置等が記述されている。ただし、アプリケーションエリア２３を特定する配置テンプレート４２の記述には、このアプリケーションエリア２３に描画可能なジャンル「文字列」が追加されており、表示できるアプリケーションのジャンルを制限している。
図５は、この発明の実施の形態１に係る放送受信端末の画面に表示されるアプリケーションの１例を示す説明図である。画面に表示されるアプリケーション２４は、アプリケーションデータ４３により規定されている。このアプリケーションデータ４３は、アプリケーションデータ蓄積部２０２に予め保存されている。アプリケーションデータ４３には、アプリケーションを特定するアプリケーションＩＤ、アプリケーション名を示す名前、アプリケーションのジャンル、アプリケーションを描画するために必要な画面２１上の表示領域の大きさを示す表示サイズ等が記述されている。「ジャンル：時計」のアプリケーション（時計アプリケーションと呼ぶ）２４は、アプリケーション実行部２０１からの描画要求を受けて、ＧＵＩ２０３がアプリケーションデータ４３に基づき画面に描画したときの外観の１例である。
図６は、この発明の実施の形態１に係る放送受信端末の画面の１例を示す説明図である。図６に示す画面２１において、放送サービス配信装置１０から受信中の映像が表示され、その映像に重畳して、時計アプリケーションであるアプリケーション２４ａとニュースアプリケーションであるアプリケーション２４ｂとがそれぞれ描画されている。なお、図６では、時計アプリケーション２４ａは図４に示すアプリケーションエリア２２に描画され、ニュースアプリケーション２４ｂはアプリケーションエリア２３に描画されている。
図６に示すこれらアプリケーション２４ａ，２４ｂは、画面レイアウト４４の記述に従って描画される。画面レイアウト４４は、図３に示す映像情報メタデータ４１に対応し、かつ、図４に示す配置テンプレート４２および図５に示すアプリケーションデータ４３に基づいて生成されている。アプリケーション２４ａは、画面レイアウト４４の「アプリケーションエリアＩＤ：００１」で始まる記述により規定されている。アプリケーションエリア２２を特定するアプリケーションエリアＩＤ「００１」には、アプリケーション２４ａを特定するアプリケーションＩＤ「Ｃｌｏｃｋ＿００１」、表示領域の大きさを示す表示エリア「２００×８０」、表示領域の座標を示す表示位置「（９８０，５０）」が記述されている。同様に、アプリケーション２４ｂは、画面レイアウト４４の「アプリケーションエリアＩＤ：００２」で始まる記述により規定されている。アプリケーションＩＤは、図５に示すアプリケーションデータ４３に記述されたアプリケーションＩＤと同一であり、表示エリアおよび表示位置は、画面２１に配置された結果の表示エリアおよび表示位置をそれぞれ示す。また、この画面レイアウト４４の映像コンテンツＩＤ「００１」は、図３に示す映像情報メタデータ４１の映像コンテンツＩＤ「００１」と関連付けられている。
時計アプリケーション、ニュースアプリケーション等のアプリケーションに表示される時刻、ニュース速報等の情報は、放送サービス配信装置１０が映像情報に多重化して配信する。もしくは、ネットワークインタフェース２０５を用いたＨＴＴＰ通信等により、放送サービス配信装置１０から取得するか、情報をアプリケーションデータ４３に予め同封してもよい。
このように、映像情報メタデータと配置テンプレートとが映像コンテンツＩＤによって関連付けられているため、アプリケーションエリアは映像コンテンツＩＤによって自動的に決定される。このアプリケーションエリアに表示させるアプリケーションの種類は、ユーザが自由に選択・設定することができる。このアプリケーションの種類は、放送サービス配信装置１０から配信される映像に関連する、例えば番組情報といった内容を表示するアプリケーションであってもよいし、映像とは関連のない時刻等の内容を表示するアプリケーションでもよい。
以下では、画面生成装置２００の動作を説明する。
図７は、この発明の実施の形態１に係る画面生成装置の動作を示すシーケンス図である。図７において図２と同一または相当の部分については同一の符号を付し説明を省略する。
画面生成装置２００において、放送サービス配信装置が配信する映像、音声および映像情報をチューナ２０８が常時受信し、デマルチプレクサ２０９へ出力する（ステップＳＴ１０１）。デマルチプレクサ２０９は、チューナ２０８から受け付けた映像、音声および映像情報の分離化を行い、映像データ、音声データおよび映像情報に分離する（ステップＳＴ１０２）。分離された映像データはビデオデコータ２１０へ出力され（ステップＳＴ１０３）、音声データはオーディオデコーダ２１１へ出力される（ステップＳＴ１０４）。また、映像情報は映像情報メタデータ４１として映像情報メタデータ記録部２０６に保存される（ステップＳＴ１０５）。
続いて、ビデオデコーダ２１０およびオーディオデコーダ２１１は映像データおよび音声データの復号化をそれぞれ行い、復号化された復号化済み映像データおよび復号化済み音声データが映像出力部２１２および音声出力部２１３にそれぞれ出力される（ステップＳＴ１０６およびＳＴ１０７）。以上のステップＳＴ１０１からＳＴ２０７の処理が、映像、音声および映像情報を受信している期間、繰り返し行われる。
上述の処理が行われている期間に、視聴者がリモコン等の入力デバイスのアプリケーション起動ボタンを押下する等の操作をすることによってＧＵＩ２０３にアプリケーション起動要求が入力されると（ステップＳＴ１０８）、ＧＵＩ２０３がアプリケーション実行部２０１にアプリケーション起動処理開始要求を行う（ステップＳＴ１０９）。続いて、アプリケーション実行部２０１は、ＧＵＩ２０３から要求されたアプリケーションの起動処理を行い（ステップＳＴ１１０）、画面レイアウト構成部２０４に画面レイアウト構成要求を行う（ステップＳＴ１１１）。この要求を受けて、画面レイアウト構成部２０４が、映像情報メタデータ記録部２０６に保存された、放送サービス配信装置１０から受信中の映像情報メタデータを取得する（ステップＳＴ１１２）。
ステップＳＴ１１３において、画面レイアウト構成部２０４が、取得した映像情報メタデータ４１（図３に示す）に関連する画面レイアウト４４（図６に示す）が画面レイアウト蓄積部２０７に既に蓄積されているか、映像コンテンツＩＤを使用して検索する。
ステップＳＴ１１３での検索の結果、映像情報メタデータに記述された映像コンテンツＩＤ「００１」と同一の映像コンテンツＩＤが記述された画面レイアウトが存在しない場合には、まず、画面レイアウト構成部２０４からの要求に従ってネットワークインタフェース２０５が、配置テンプレート提供サーバ３０から提供される受信中の映像情報に関連した配置テンプレート４２（図４に示す）をダウンロードする（ステップＳＴ１１４）。この配置テンプレートを画面レイアウト構成部２０４が取得する（ステップＳＴ１１５）。また、画面レイアウト構成部２０４は、実行されるアプリケーションのアプリケーションデータ４３（図５に示す）をアプリケーション実行部２０１を介してアプリケーションデータ蓄積部２０２から取得する（ステップＳＴ１１６およびＳＴ１１７）。
なお、画面生成装置２００において起動可能なアプリケーション数と同数のアプリケーションデータが、アプリケーションデータ蓄積部２０２から画面レイアウト構成部２０４へ出力されることとする。
次に、ステップＳＴ１１８およびＳＴ１１９において、配置テンプレートで記述されるアプリケーションエリアに配置するアプリケーションの種類を視聴者に選択させるために、画面レイアウト構成部２０４がアプリケーション実行部２０１を介して、ＧＵＩ２０３に対してアプリケーション選択画面描画要求を行う。これを受けて、ＧＵＩ２０３は、画面にアプリケーション選択画面を表示する（ステップＳＴ１２０）。
ここで、画面に表示されるアプリケーション選択画面の１例を図８に示す。図８は、この発明の実施の形態１に係る放送受信端末の画面に表示されるアプリケーション選択画面の１例を示す説明図である。図８において図４および５と同一または相当の部分については同一の符号を付し説明を省略する。このアプリケーション選択画面２５に表示されるアプリケーションの種類は、アプリケーションデータ蓄積部２０２から取得された複数のアプリケーションデータ中、配置テンプレートに記述された表示エリア、ジャンル等の条件に適合するもののみである。図８に示す例では、時計アプリケーションとメールアプリケーションが表示されており、この２つがアプリケーションエリア２２に配置可能なアプリケーションである。視聴者はリモコン等の入力デバイスを操作し、アプリケーションエリア２２に配置するアプリケーションを選択する。
ＧＵＩ２０３が入力デバイスからアプリケーション選択要求を受け付け（ステップＳＴ１２１）、アプリケーションエリア２２に配置するアプリケーションが決定される。アプリケーションエリアが複数ある場合には、ステップＳＴ１１８からステップＳＴ１２１をアプリケーションエリア数繰り返し行い、例えばアプリケーション２２に配置するアプリケーション決定後に、アプリケーションエリア２３に配置するアプリケーションを決定すればよい。
ＧＵＩ２０３は、選択されたアプリケーションに対応するアプリケーションデータを、アプリケーション実行部２０１を介して画面レイアウト構成部２０４に通知する（ステップＳＴ１２２およびＳＴ１２３）。この通知を受けた画面レイアウト構成部２０４が、受信中の映像情報に関連した配置テンプレートと、配置テンプレートによって規定されたアプリケーションエリアにそれぞれ配置するアプリケーションのアプリケーションデータとを組み合わせた画面レイアウトを生成する（ステップＳＴ１２４）。なお、この画面レイアウトは、映像情報メタデータと関連付けられて、画面レイアウト蓄積部２０７に蓄積される。
ステップＳＴ１１３での検索の結果、映像情報メタデータに記述された映像コンテンツＩＤ「００１」と同一の映像コンテンツＩＤが記述された画面レイアウトが存在した場合には、画面レイアウト蓄積部２０７から取得した画面レイアウトを、一方、既存の画面レイアウトが存在しない場合にはステップＳＴ１１６からステップＳＴ１２４において生成された新たな画面レイアウトを、画面レイアウト構成部２０４がアプリケーション実行部２０１に出力する（ステップＳＴ１２５）。なお、既存の画面レイアウトが存在した場合に、その既存画面レイアウトを使用するか視聴者に対して問い合わせ、使用しない場合には前述の画面レイアウトが存在しない場合と同様の処理に進み、新たな画面レイアウトを生成すればよい。
アプリケーション実行部２０１は、ＧＵＩ２０３に対して、画面レイアウトをもとにしたアプリケーション描画要求を行う（ステップＳＴ１２６）。また、アプリケーション実行部２０１はアプリケーションデータをもとにしたアプリケーション用の音声データを生成し、ＧＵＩ２０３へ出力する。そしてＧＵＩ２０３は、映像出力部２１２および音声出力部２１３に対して、画面レイアウトによって指定されたアプリケーションの映像データおよび音声データを出力するようそれぞれ出力要求を行う（ステップＳＴ１２７およびＳＴ１２８）。映像出力部２１２は、受け付けた出力要求に応じて、ステップＳＴ１１６で出力された映像データにステップＳＴ１０６で出力された復号化済み映像データをミキシングして出力する（ステップＳＴ１２９）。音声出力部２１３は、受け付けた出力要求に応じて、ステップＳＴ１１７で出力された音声データにステップＳＴ１０７で出力された復号化済み音声データをミキシングして出力する（ステップＳＴ１３０）。
このようにして、１種類の映像情報メタデータに対して複数のアプリケーションを関連付けた画面レイアウトが生成され、図６に示すように、複数のアプリケーション２４ａ，２４ｂが画面２１上に配置される。例えば、毎週同一の曜日および時間に放送されている番組に関連する映像情報メタデータは放送日によらず同じである。そのため、視聴者は、一度その番組の映像情報メタデータに対応する画面レイアウトを生成し、画面レイアウト蓄積部２０７に保存しておけば、それ以降、その番組を視聴する際にはアプリケーションの配置設定を不要とすることができる。
また、配置テンプレートを用いてアプリケーションの配置を設定することによって、配置設定に必要な視聴者が操作する項目を制限することができ、視聴者の設定操作回数を減少させることができる。さらに、放送提供者が配置テンプレートを提供することによって、画面に表示される映像上の意図しない位置にアプリケーションを配置することを回避できる。
以上のように、実施の形態１によれば、映像コンテンツＩＤによって識別される映像、音声および映像情報を受信するチューナ２０８と、アプリケーションを実行するアプリケーション実行部２０１と、配置テンプレートに記述されたアプリケーションエリアに、ユーザの選択等による任意のアプリケーションを関連付けた画面レイアウトを、映像コンテンツＩＤ毎に生成する画面レイアウト構成部２０４と、画面レイアウト構成部２０４が生成した画面レイアウトに基づいて、アプリケーションエリアにアプリケーションが生成する映像を描画するＧＵＩ２０３と、ＧＵＩ２０３によって描画されたアプリケーションが生成した映像に復号化済み映像データに重ねて画面２１に表示する映像出力部２１２と、アプリケーションが生成した音声と復号化済み音声データとをミキシングして出力する音声出力部２１３とを備えるように構成したので、視聴者が映像情報を表示するアプリケーションを自由に配置設定することで、視聴者が見やすい画面表示に変更可能な画面生成装置を提供することができる。
なお、本実施の形態１では、アプリケーションデータ蓄積部２０２に予めアプリケーションデータが蓄積されている構成であったが、放送提供者が映像に合わせたアプリケーションデータを提供する構成であってもよい。この場合には、画面生成装置２００がネットワークインタフェース２０５またはチューナ２０８を介してアプリケーションデータを取得し、アプリケーションデータ蓄積部２０２に保存する。
この構成の場合には、特定の映像のシーンに合わせたアプリケーションを画面に表示させることができ、番組関連情報やＣＭ等を提供することが可能となる。
また、本実施の形態１では、映像情報メタデータに記述された映像コンテンツＩＤ「００１」と同一の映像コンテンツＩＤが記述された画面レイアウトを用いて、アプリケーションを画面に配置する構成であった。これにかえて、映像情報メタデータにおける特定の情報、例えばジャンル、チャンネル等を画面レイアウトと関連付け、視聴者が指定したジャンル、チャンネル等の映像情報メタデータが帰属する映像を受信した場合に、その指定したジャンル、チャンネル等に関連付けられた画面レイアウトを用いて、アプリケーションを画面に配置する構成であってもよい。具体的には、画面レイアウトにジャンル、チャンネル等のＩＤを記述しておき、図７に示すステップＳＴ１１３において画面レイアウト構成部２０４が画面レイアウトを検索する際に、映像情報メタデータの該当するＩＤ記述を含む画面レイアウトを取得する。
この構成の場合には、１種類の画面レイアウトを複数の番組に関する映像情報メタデータに適用できるため、画面レイアウトを生成する回数を減少させることができると共に、より多くの種類の映像に対してアプリケーションを自動で配置させることができる。
実施の形態２．
実施の形態２では、実施の形態１に係る放送受信端末２０が備える画面生成装置２００で生成した画面レイアウトを複数の放送受信端末間で共有するために、画面レイアウト共有サーバを有する画像レイアウト共有システムについて説明する。
図９は、この発明の実施の形態２に係る画面レイアウト共有システムの構成を示す説明図である。図９に示す放送受信端末２０ａ，２０ｂは実施の形態１に係る放送受信端末２０と同一の構成であり、それぞれが画面生成装置２００を備える。これら放送受信端末２０ａ，２０ｂが、画面レイアウト共有サーバ５０とネットワークを介して接続され、映像情報メタデータまたは画面レイアウトが放送受信端末２０ａ，２０ｂと画面レイアウト共有サーバ５０間で送受信される。
図１０は、この実施の形態２に係る画面レイアウト共有システムの構成を示すブロック図である。図１０において図２と同一または相当の部分については同一の符号を付し説明を省略する。放送受信端末２０ａ，２０ｂがそれぞれ備える画面生成装置２００のネットワークインタフェース２０５は、ネットワークを介して画面レイアウト共有サーバ５０と接続されている。
図１０に示す画面レイアウト共有サーバ５０は、画面生成装置２００とネットワークで接続され、画面レイアウトのアップロードを受け付けると共に、ダウンロード要請のあった画面レイアウトを送信するウェブサーバ５３、画面レイアウトを保存する画面レイアウト蓄積部５２、画面生成装置２００から受け取った画面レイアウトを管理して画面レイアウト蓄積部５２に保存すると共に、画面生成装置２００からダウンロード要請があった画面レイアウトを画面レイアウト蓄積部５２から検索する画面レイアウト管理部５１を備える。
以下では、画面レイアウト共有システムの動作について説明する。
まず、画面生成装置２００から画面レイアウト共有サーバ５０へ、生成した画面レイアウトをアップロードする場合を説明する。画面レイアウトが新たに生成された場合（図７に示すステップＳＴ１２４）、視聴者によるアップロード指示がＧＵＩ２０３に入力された場合等に、画面レイアウト構成部２０４が、ネットワークインタフェース２０５を介して、画面レイアウト共有サーバ５０内のウェブサーバ５３に接続する。そして、生成した画面レイアウトを対応する映像情報メタデータとともにアップロードする。
ウェブサーバ５３は、受け取った画面レイアウトおよび映像情報メタデータを画面レイアウト管理部５１へ出力する。画面レイアウト管理部５１は、受け取った画面レイアウトを映像情報メタデータに関連付けて画面レイアウト蓄積部５２に出力し、画面レイアウト蓄積部５２に保存される。画面レイアウトと映像情報メタデータとの関連付けは、例えば実施の形態１で説明したように、共通の映像コンテンツＩＤでナンバリングする等の方法で行えばよい。
次に、画面生成装置２００が画面レイアウト共有サーバ５０から、画面レイアウトをダウンロードする場合を説明する。画面レイアウト構成部２０４が画面レイアウト蓄積部２０７を検索する場合（図７に示すステップＳＴ１１３）、画面レイアウト構成部２０４が、ネットワークインタフェース２０５を介して、画面レイアウト共有サーバ５０内のウェブサーバ５３に接続する。そして、画面レイアウト構成部２０４が映像情報メタデータに含まれる映像コンテンツＩＤを指定して、その映像コンテンツＩＤを用いて映像情報メタデータに関連付けられた画面レイアウトのダウンロード要求を行う。
ウェブサーバ５３は受け付けた映像コンテンツＩＤを、画面レイアウト管理部５１に出力する。画面レイアウト管理部５１が、この映像コンテンツＩＤに関連した画面レイアウトが画面レイアウト蓄積部５２に存在するか検索する。検索の結果、画面レイアウトが存在した場合には、画面レイアウト管理部５１がウェブサーバ５３を介して、この画面レイアウトを画面生成装置２００へ送信する。
検索の結果、画面レイアウトが存在しない場合には、画面レイアウト管理部５１がウェブサーバ５３を介して、その旨を通知するメッセージを画面生成装置２００へ送信する。
なお、画面生成装置２００による画面レイアウトのダウンロードは、画面レイアウト構成部２０４が画面レイアウト蓄積部２０７を検索する場合（図７に示すステップＳＴ１１３）以外のタイミングで実行される構成であってもよい。例えば、画面生成装置２００が定期的に画面レイアウト共有サーバ５０との接続を行い、画面生成装置２００が備える画面レイアウト蓄積部２０７を、画面レイアウト共有サーバ５０が備える画面レイアウト蓄積部５２と同期させる構成であってもよい。
以上のように、本実施の形態２によれば、画面レイアウト共有サーバ５０と複数の画面生成装置２００とを接続するように構成したので、複数の画面生成装置２００が画面レイアウトを共用することができる。
また、視聴者が複数の画面生成装置２００を利用する場合には、特定の画面生成装置２００が生成した画面レイアウトを画面レイアウト共有サーバ５０にアップロードし、他の画面生成装置２００がその画面レイアウトを画面レイアウト共有サーバ５０からダウンロードすることによって、全ての画面生成装置２００で画面レイアウトの生成および設定操作を行う必要はなくなる。さらに、視聴者が生成および設定した画面レイアウトを複数の画面生成装置２００が共有することにより、個別に画面レイアウトの生成および設定をすることなく、自動でアプリケーションが画面上に配置可能となる。
実施の形態３．
図１１は、この発明の実施の形態３に係る画面生成装置の構成を示すブロック図である。図１１において図２と同一または相当の部分については同一の符号を付し説明を省略する。この実施の形態３に係る画面生成装置２００ａは、上記実施の形態１に係る画面生成装置２００に音声制御部２１４を追加した構成である。この音声制御部２１４は、オーディオデコーダ２１１から出力される復号化済み音声データにＧＵＩ２０３から出力されるアプリケーションの音声データをミキシングする際の、音量バランス、音声効果等の音場設定を行う。
図７に示すステップＳＴ１２８において、ＧＵＩ２０３から音声出力要求が出力されると、音声制御部２１４が、画面レイアウト構成部２０４から映像コンテンツＩＤで互いに関連付けられた画面レイアウトおよび映像情報メタデータを取得し、映像の内容と、その映像に関連付けられた画面レイアウトによって定義されているアプリケーションの内容から、予め設定された優先度に従って音声をミキシングする。なお、ステップＳＴ１２８に至る処理は、上述の実施の形態１と同様であるので説明を省略する。
例えば、音声制御部２１４は、映像情報メタデータに含まれる映像コンテンツＩＤ、ジャンル（「ジャンル：音楽」、「ジャンル：映画」等）等の映像に関する情報を抽出する。一方、アプリケーション実行部２０１は、図６に示すような画面レイアウト４４に記載されたアプリケーションＩＤをキーとして、アプリケーションデータ蓄積部２０２から図５に示すアプリケーションデータ４３を取得し、アプリケーションのジャンル（「ジャンル：音楽」、「ジャンル：映画」等）等のアプリケーションの内容を抽出する。
映像制御部２１４は「ジャンル：写真」の優先度は３、「ジャンル：音楽」の優先度は５、「ジャンル：映画」の優先度は１０というように、各ジャンルの優先度を予め記憶している。ここでは、優先度の数値が大きい場合にミキシングの音声を大きくする設定とする。
そして、音声制御部２１４は、映像情報メタデータに記述されたジャンルと画面レイアウトに記述されたジャンルとをつき合わせ、例えば、映像のジャンルが「ジャンル：映画」であり、アプリケーションのジャンルが「ジャンル：音楽」であった場合には、優先度に従って映像に伴った復号化済み音声を大きくし、アプリケーションの音声を小さく、または消音するといったミキシングを行う。
ミキシングのルールは、上述の優先度を設定する構成以外であってもよく、視聴者の設定操作の履歴等により動的に生成する、またはアプリケーションデータに「ボリューム」の項目を記述して予め設定する等の構成であってもよい。
音声制御部２１４によってミキシングされたアプリケーションの音声データと復号化済み音声データとが、音声出力部２１３ａに出力される。
以上のように、本実施の形態３によれば、アプリケーションの音声データと復号化済み音声データとがそれぞれ優先度を有し、復号化済み音声データの音量およびアプリケーションの音声データの音量をこの優先度に応じてミキシングする音声制御部２１４を備える構成としたので、視聴者が音声を調整する必要がなくなり、自動で音場設定を行うことができる。
実施の形態４．
上記実施の形態１は、画面生成装置２００が配置テンプレート提供サーバ３０から配置テンプレートをダウンロードして、その配置テンプレートに従ってアプリケーションを配置する構成とした。この実施の形態４では、画面生成装置２００が画像解析部２１５を備えることにより、配置テンプレートを用いることなくアプリケーションを配置できる構成とする。
図１２は、この発明の実施の形態４に係る画面生成装置の構成を示すブロック図である。図１２において図２と同一または相当の部分については同一の符号を付し説明を省略する。この実施の形態４に係る画面生成装置２００ｂは、上記実施の形態１に係る画面生成装置２００に画像解析部２１５を追加した構成である。この画像解析部２１５は、ビデオデコーダ２１０から出力される復号化済み映像データを画像解析し、アプリケーションの配置が可能な領域を検出し、配置テンプレートを生成する。
以下では、画像解析部２１５の配置テンプレート生成動作について説明する。図１３は、この実施の形態４に係る放送受信端末の画面の１例を示す説明図である。図１３（ａ）は放送受信端末２０の画面２１に表示される映像の１例を示し、映像にはテロップ２６，２７が含まれている。映像のテロップ２６，２７は文字や画像による静止画で構成されるため、各画素の時間に対する変化が少ない。そこで、画像解析部２１５は、ビデオデコーダ２１１から出力される復号化済み映像データを解析し、前後の映像データの差分等を比較することにより、変化が大きい画素と変化が小さい画素の境界を検出する。
図１３（ｂ）に、図１３（ａ）で示した画面２１の映像から画像解析部２１５が検出した、映像のテロップが表示されている領域を示す。図において、鎖線は変化が大きい画素と変化が小さい画素の境界である。画像会席部２１５は、境界に囲まれた、変化が小さい画素が含まれる領域２８ａ，２８ｂをテロップが表示されている領域と判定する。従って、画像解析部２１５は映像のテロップが表示されていない領域をアプリケーションエリア２９に設定した配置テンプレートを生成する。
なお、画面解析部２１５は、アプリケーションエリア２９を複数に分割し、複数のアプリケーションを描画可能な配置テンプレートを生成してもよい。
図１２に示す画像解析部２１５を備えた画面生成装置２００ａは、図７に示すステップＳＴ１１４およびＳＴ１１５において、画面レイアウト構成部２０４が配置テンプレート提供サーバ３０から提供される受信中の映像情報に関連した配置テンプレートを取得する処理にかえて、画像解析部２１５がビデオデコーダ２１０からの復号化済み映像データを画像解析して生成した配置テンプレートを画面レイアウト構成部２０４が取得する処理を行う。これ以外の処理は、図７に示す処理と同一であるため説明を省略する。
以上のように、本実施の形態４によれば、復号化済み映像データを解析して、時間経過に応じて復号化済み映像データが変化しない領域を検出し、この領域をアプリケーションエリアに設定する画像解析部２１５を備えるように構成したので、ネットワークインタフェース２０５を用いて配置テンプレート提供サーバ３０から配置テンプレートを取得する必要がなくなる。また、放送提供者等が配置テンプレートを予め用意する必要がなくなる。
実施の形態５．
図１４は、この発明の実施の形態５に係る画面生成装置の構成を示すブロック図である。
図１４において図２と同一または相当の部分については同一の符号を付し説明を省略する。
図１４に示す画面生成装置２００ｃは、上記実施の形態１に係る画面生成装置２００に、光学式ディスクの再生を行う光学式ディスクドライブ２１６、および、光学式ディスクドライブ２１６が再生する光学式ディスクに含まれるディスク情報を取得するディスク情報解析部２１７を追加した構成である。このディスク情報解析部２１７が、光学式ディスクドライブ２１６から得られるディスク情報に基づいて実行されるアプリケーションの画面レイアウトを自動設定する。
視聴者の操作によって、画面生成装置２００ｃに搭載された光学式ディスクドライブ２１６に光学式ディスクが挿入されると、この光学式ディスクドライブ２１６が光学式ディスクの再生を行う。続いて、ディスク情報解析部２１７が、光学式ディスクドライブ２１６から光学式ディスクを特定するためのディスクＩＤを取得し、画面レイアウト構成部２０４に出力する。
図１４に示す画面生成装置２００ｃは、図７に示すステップＳＴ１０１−ＳＴ１１２において、チューナ２０８が受信する映像および映像情報にかえて、光学式ディスクドライブ２１６が再生する光学式ディスクの映像および映像情報であるディスクＩＤ（識別番号）を用いて、処理を行う。
続いて、図７に示すステップＳＴ１１４において、画面レイアウト構成部２０４からの要求に従って、ネットワークインタフェース２０５が、配置テンプレート提供サーバ３０からディスクＩＤに対応した配置テンプレートをダウンロードする。放送受信端末の画面に配置テンプレートに基づいて光学式ディスクに応じたアプリケーションが表示される。
光学式ディスクの映像データは、光学式ディスクドライブ２１６からビデオデコーダ２１０ａへ出力され、複合化される。続いて、復号化された復号化済み映像データが映像出力部２１２ａに出力される。映像出力部２１２ａによって、復号化済み映像データがＧＵＩ２０３から出力されるアプリケーションの映像データと重畳される。
同様に、光学式ディスクの音声データは、光学式ディスクドライブ２１６からオーディオデコーダ２１１ａへ出力され、復号化される。続いて、復号化された復号化済み音声データが音声出力部２１３ｂに出力される。音声出力部２１３ｂによって、復号化済み音声データがＧＵＩ２０３から出力されるアプリケーションの音声データとミキシングされる。
このような場合のアプリケーションとしては、例えば、映画コンテンツが記録されたＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）を再生する場合に、その映画に関連した情報を表示するもの、または、目的の言語の字幕が選択不可能である映画に対して、ネットワークインタフェース２０５を用いて字幕情報を取得して表示するもの等がある。このようなアプリケーションデータおよびその配置テンプレートは、光学式ディスクの製作者が予め生成し、配置テンプレート提供サーバ３０から配信すればよい。
以上のように、本実施の形態５によれば、映像、音声およびディスクＩＤが記憶された光学式ディスクを再生する光学式ディスクドライブ２１６と、光学式ディスクからディスクＩＤを取得する情報解析部２１７とを備えるように構成したので、光学式ディスクの再生と同時にアプリケーションが自動的に配置される。また、光学式ディスクの製作者がアプリケーションデータおよびその配置テンプレートを生成・配信することにより、光学式ディスクの映像に関連情報等を付加して表示することができる。
なお、上述した説明では、上記実施の形態１で示した構成に対して上記実施の形態２から上記実施の形態５までをそれぞれ適用する場合を示したが、これに限らず、上記実施の形態２−４の構成、または上記実施の形態２、３および５の構成を適宜組み合わせたものであっても構わない。
この発明の実施の形態１に係る放送受信システムの構成を示す説明図である。 この発明の実施の形態１に係る画面生成装置の構成を示すブロック図である。 この発明の実施の形態１に係る映像情報メタデータの１例を示す説明図である。 この発明の実施の形態１に係る放送受信端末の画面に表示されるアプリケーションの配置可能領域の１例を示す説明図である。 この発明の実施の形態１に係る放送受信端末の画面に表示されるアプリケーションの１例を示す説明図である。 この発明の実施の形態１に係る放送受信端末の画面の１例を示す説明図である。 この発明の実施の形態１に係る画面生成装置の動作を示すシーケンス図である。 この発明の実施の形態１に係る画面生成装置の動作を示すシーケンス図である。 この発明の実施の形態１に係る放送受信端末の画面に表示されるアプリケーション選択画面の１例を示す説明図である。 この発明の実施の形態２に係る画面レイアウト共有システムの構成を示す説明図である。 この実施の形態２に係る画面レイアウト共有システムの構成を示すブロック図である。 この発明の実施の形態４に係る画面生成装置の構成を示すブロック図である。 の発明の実施の形態４に係る画面生成装置の構成を示すブロック図である。 この実施の形態４に係る放送受信端末の画面の１例を示す説明図である。 この発明の実施の形態５に係る画面生成装置の構成を示すブロック図である。
符号の説明
２０ 放送受信端末、２００，２００ａ，２００ｂ，２００ｃ 画面生成装置、２０１ アプリケーション実行部、２０２ アプリケーションデータ蓄積部、２０３ ＧＵＩ、２０４ 画面レイアウト構成部、２０５ ネットワークインタフェース、２０６ 映像情報メタデータ記録部、２０７ 画面レイアウト蓄積部、２０８ チューナ、２０９ デマルチプレクサ、２１０，２１０ａ ビデオデコーダ、２１１，２１１ａ オーディオデコーダ、２１２，２１２ａ 映像出力部、２１３，２１３ａ，２１３ｂ 音声出力部、２１４ 音声制御部、２１５ 画面解析部。

Claims (7)

  1. 識別番号を有するコンテンツを受信する受信部と、
    アプリケーション映像を生成する任意のアプリケーションを実行するアプリケーション実行部と、
    予め設定された画面領域に前記任意のアプリケーションが生成するアプリケーション映像を関連付けた画面レイアウト情報を、前記識別番号毎に生成する画面レイアウト構成部と、
    前記画面レイアウト構成部が生成した画面レイアウト情報に基づいて、前記アプリケーションが生成したアプリケーション映像を、当該アプリケーションに関連付けられた画面領域に描画するアプリケーション描画部と、
    前記アプリケーション描画部によって描画された前記アプリケーション映像を前記コンテンツに含まれる映像に重ねて画面に表示する映像出力部とを備えた画面生成装置。
  2. アプリケーション実行部は、アプリケーション音声を生成する任意のアプリケーションを実行することを特徴とする請求項１記載の画面生成装置。
  3. アプリケーションが生成したアプリケーション音声を受信部が受信したコンテンツに含まれる音声に重ねて出力する音声出力部を備えたことを特徴とする請求項２記載の画面生成装置。
  4. アプリケーションが生成するアプリケーション音声とコンテンツの音声とがそれぞれ優先度を有し、前記アプリケーション音声の音量および前記音声の音量を当該優先度に応じて設定する音声制御部を備え、
    音声出力部は、前記音声制御部によって設定された前記音量に基づいて、前記アプリケーション音声を前記音声に重ねて出力することを特徴とする請求項３記載の画面生成装置。
  5. 映像を解析して、時間経過に応じて当該映像が変化しない領域を検出し、当該領域をアプリケーションが生成したアプリケーション映像を表示する画面領域に設定する画像解析部を備えたことを特徴とする請求項１から請求項４のうちのいずれか１項記載の画面生成装置。
  6. 識別番号を有するコンテンツが記憶された光学式ディスクを再生する光学式ディスクドライブと、
    前記光学式ディスクから前記識別番号を取得する情報解析部とを備えたことを特徴とする請求項１から請求項４のうちのいずれか１記載の画面生成装置。
  7. 請求項１から請求項６のうちのいずれか１項記載の画面生成装置と、
    前記画面生成装置と接続され、当該画面生成装置において生成された画面レイアウト情報を受信して識別番号毎に蓄積すると共に、当該画面生成装置から送信される識別番号に基づく画面レイアウト送信要求に応じて当該識別番号の画面レイアウト情報を送信する画面レイアウト共有サーバとを備えた画面レイアウト共有システム。
JP2007335891A 2007-12-27 2007-12-27 画面生成装置および画面レイアウト共有システム Expired - Fee Related JP5219501B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007335891A JP5219501B2 (ja) 2007-12-27 2007-12-27 画面生成装置および画面レイアウト共有システム
US12/116,597 US20090172512A1 (en) 2007-12-27 2008-05-07 Screen generating apparatus and screen layout sharing system
EP08014709.3A EP2076027B1 (en) 2007-12-27 2008-08-19 Screen generating apparatus and screen layout sharing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007335891A JP5219501B2 (ja) 2007-12-27 2007-12-27 画面生成装置および画面レイアウト共有システム

Publications (2)

Publication Number Publication Date
JP2009159367A true JP2009159367A (ja) 2009-07-16
JP5219501B2 JP5219501B2 (ja) 2013-06-26

Family

ID=40084504

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007335891A Expired - Fee Related JP5219501B2 (ja) 2007-12-27 2007-12-27 画面生成装置および画面レイアウト共有システム

Country Status (3)

Country Link
US (1) US20090172512A1 (ja)
EP (1) EP2076027B1 (ja)
JP (1) JP5219501B2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011087245A (ja) * 2009-10-19 2011-04-28 Sharp Corp 映像出力装置、映像出力方法およびプログラム
JP2011097563A (ja) * 2009-09-30 2011-05-12 Canon Inc デジタル放送受信装置及びその制御方法
JP2011250067A (ja) * 2010-05-26 2011-12-08 Funai Electric Co Ltd 映像受信装置
JP2013009334A (ja) * 2011-05-20 2013-01-10 Nippon Hoso Kyokai <Nhk> 受信機
JP2013055454A (ja) * 2011-09-02 2013-03-21 Toshiba Corp 映像再生装置及び映像再生方法
JP2013128247A (ja) * 2011-12-19 2013-06-27 Sharp Corp 表示装置、テレビジョン受信装置、表示方法、コンピュータプログラム及び記録媒体
JP2015015728A (ja) * 2014-08-13 2015-01-22 ソニー株式会社 制御装置、および制御方法
KR20150011057A (ko) * 2013-07-22 2015-01-30 삼성전자주식회사 단말기의 개인 매거진 서비스 운용 방법 및 장치
WO2015029313A1 (ja) * 2013-08-29 2015-03-05 パナソニックＩｐマネジメント株式会社 放送画像出力装置、ダウンロードサーバ、およびこれらの制御方法
JP2015111757A (ja) * 2013-12-06 2015-06-18 船井電機株式会社 画像処理装置および通信装置
US9426270B2 (en) 2010-09-29 2016-08-23 Sony Corporation Control apparatus and control method to control volume of sound
JP2017175419A (ja) * 2016-03-24 2017-09-28 富士通株式会社 描画処理装置、方法、及びプログラム
JP2020523810A (ja) * 2017-06-21 2020-08-06 グーグル エルエルシー ビデオストリーミングサービスのための動的なカスタムインタスティシャル遷移ビデオ
JP2023508130A (ja) * 2020-10-06 2023-03-01 テンセント・アメリカ・エルエルシー テレカンファレンスの方法
US11617017B2 (en) * 2021-06-30 2023-03-28 Rovi Guides, Inc. Systems and methods of presenting video overlays
US12489940B2 (en) 2021-06-30 2025-12-02 Adeia Guides Inc. Systems and methods of presenting video overlays

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010140533A (ja) * 2008-12-10 2010-06-24 Fujitsu Ten Ltd コンテンツ再生装置
KR20110029553A (ko) * 2009-09-16 2011-03-23 삼성전자주식회사 디스플레이장치 및 그 구동방법
US9407724B2 (en) 2010-05-04 2016-08-02 Microsoft Technology Licensing, Llc Using double buffering for screen sharing
US9143570B2 (en) 2010-05-04 2015-09-22 Microsoft Technology Licensing, Llc Desktop screen sharing over HTTP
US8826322B2 (en) 2010-05-17 2014-09-02 Amazon Technologies, Inc. Selective content presentation engine
KR20120073892A (ko) * 2010-12-27 2012-07-05 삼성전자주식회사 디스플레이 장치 및 이에 적용되는 메뉴 표시방법
KR101763887B1 (ko) * 2011-01-07 2017-08-02 삼성전자주식회사 디바이스간 동기화된 인터랙션을 제공하는 콘텐츠 동기화 장치 및 방법
US20130031581A1 (en) * 2011-07-25 2013-01-31 General Instrument Corporation Preparing an alert in a multi-channel communications environment
US9716904B2 (en) 2012-05-17 2017-07-25 Ericsson Ab Video content presentation override control systems, methods and devices
US20150154774A1 (en) * 2013-07-24 2015-06-04 Telefonaktiebolaget Lm Ericsson (Publ) Media rendering apparatus and method with widget control
CN104079988A (zh) * 2014-06-30 2014-10-01 北京酷云互动科技有限公司 一种电视节目关联信息的推送设备及推送方法
US10205906B2 (en) * 2016-07-26 2019-02-12 The Directv Group, Inc. Method and apparatus to present multiple audio content
KR102471989B1 (ko) 2016-12-07 2022-11-29 주식회사 알티캐스트 클라우드 기반 유저 인터페이스 제공 시스템 및 그 방법
CN107135426A (zh) * 2017-05-03 2017-09-05 深圳市茁壮网络股份有限公司 一种终端界面的配置方法及系统
CN109413460B (zh) * 2018-08-30 2021-10-08 视联动力信息技术股份有限公司 一种视联网终端的功能菜单的展示方法和系统
US11202128B2 (en) * 2019-04-24 2021-12-14 Rovi Guides, Inc. Method and apparatus for modifying output characteristics of proximate devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002185881A (ja) * 2000-12-15 2002-06-28 Canon Inc 情報出力制御装置、情報出力制御方法、及び記憶媒体
JP2004072530A (ja) * 2002-08-07 2004-03-04 Sony Corp 電子機器装置及びプログラム生成方法
JP2007300452A (ja) * 2006-05-01 2007-11-15 Mitsubishi Electric Corp 画像及び音声通信機能付テレビジョン放送受像機

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6869023B2 (en) * 2002-02-12 2005-03-22 Digimarc Corporation Linking documents through digital watermarking
US5968120A (en) * 1997-05-02 1999-10-19 Olivr Corporation Ltd. Method and system for providing on-line interactivity over a server-client network
JP4541476B2 (ja) * 1999-02-19 2010-09-08 キヤノン株式会社 マルチ画像表示システムおよびマルチ画像表示方法
JP4541482B2 (ja) * 2000-02-29 2010-09-08 キヤノン株式会社 画像処理装置及び画像処理方法
JP2002051232A (ja) * 2000-08-04 2002-02-15 Canon Inc 受信装置、リモートコントロール装置、受信システム及び被制御装置
US6943845B2 (en) * 2000-12-15 2005-09-13 Canon Kabushiki Kaisha Apparatus and method for data processing, and storage medium
US6778224B2 (en) * 2001-06-25 2004-08-17 Koninklijke Philips Electronics N.V. Adaptive overlay element placement in video
JP4258261B2 (ja) * 2002-04-22 2009-04-30 パナソニック株式会社 番組詳細情報表示装置及びその方法
JP2004133733A (ja) * 2002-10-11 2004-04-30 Sony Corp 表示装置および方法、並びにプログラム
US8490144B2 (en) * 2002-12-11 2013-07-16 Broadcom Corporation Media exchange network having media processing systems and personal computers with common user interfaces
US7278109B2 (en) * 2003-06-03 2007-10-02 International Business Machines Corporation System and method for dynamic uploading of user interface generation logic
KR100604016B1 (ko) * 2003-08-11 2006-07-24 엘지전자 주식회사 소리레벨 제어 기능을 갖는 영상표시기기 및 그 제어방법
JP2005141424A (ja) * 2003-11-05 2005-06-02 Canon Inc 情報処理方法及び情報処理装置
US7206789B2 (en) * 2003-11-13 2007-04-17 St. Jude Children's Research Hospital, Inc. System and method for defining and collecting data in an information management system having a shared database
JP2006197183A (ja) * 2005-01-13 2006-07-27 Matsushita Electric Ind Co Ltd テレビジョン放送受信装置及びテレビジョン放送受信方法
US8032136B2 (en) * 2005-05-31 2011-10-04 Sharp Kabushiki Kaisha Service providing system, service using device, and template transmitting device
US20070035560A1 (en) * 2005-08-05 2007-02-15 Samsung Electronics Co., Ltd. Apparatus for providing multiple screens and method of dynamically configuring multiple screens
KR100881723B1 (ko) * 2007-09-21 2009-02-06 한국전자통신연구원 미디어 실감 재현을 위한 디바이스 연동/제어 정보 생성장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002185881A (ja) * 2000-12-15 2002-06-28 Canon Inc 情報出力制御装置、情報出力制御方法、及び記憶媒体
JP2004072530A (ja) * 2002-08-07 2004-03-04 Sony Corp 電子機器装置及びプログラム生成方法
JP2007300452A (ja) * 2006-05-01 2007-11-15 Mitsubishi Electric Corp 画像及び音声通信機能付テレビジョン放送受像機

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011097563A (ja) * 2009-09-30 2011-05-12 Canon Inc デジタル放送受信装置及びその制御方法
CN102577424B (zh) * 2009-10-19 2014-12-10 夏普株式会社 影像输出装置、影像输出方法
WO2011049016A1 (ja) * 2009-10-19 2011-04-28 シャープ株式会社 映像出力装置、映像出力方法およびプログラム
CN102577424A (zh) * 2009-10-19 2012-07-11 夏普株式会社 影像输出装置、影像输出方法及程序
JP2011087245A (ja) * 2009-10-19 2011-04-28 Sharp Corp 映像出力装置、映像出力方法およびプログラム
JP2011250067A (ja) * 2010-05-26 2011-12-08 Funai Electric Co Ltd 映像受信装置
US9426270B2 (en) 2010-09-29 2016-08-23 Sony Corporation Control apparatus and control method to control volume of sound
JP2013009334A (ja) * 2011-05-20 2013-01-10 Nippon Hoso Kyokai <Nhk> 受信機
JP2013055454A (ja) * 2011-09-02 2013-03-21 Toshiba Corp 映像再生装置及び映像再生方法
JP2013128247A (ja) * 2011-12-19 2013-06-27 Sharp Corp 表示装置、テレビジョン受信装置、表示方法、コンピュータプログラム及び記録媒体
WO2013094272A1 (ja) * 2011-12-19 2013-06-27 シャープ株式会社 表示装置、テレビジョン受信装置、表示方法、コンピュータプログラム及び記録媒体
KR20150011057A (ko) * 2013-07-22 2015-01-30 삼성전자주식회사 단말기의 개인 매거진 서비스 운용 방법 및 장치
KR102115259B1 (ko) * 2013-07-22 2020-06-05 삼성전자 주식회사 단말기의 개인 매거진 서비스 운용 방법 및 장치
WO2015029313A1 (ja) * 2013-08-29 2015-03-05 パナソニックＩｐマネジメント株式会社 放送画像出力装置、ダウンロードサーバ、およびこれらの制御方法
JPWO2015029313A1 (ja) * 2013-08-29 2017-03-02 パナソニックＩｐマネジメント株式会社 放送画像出力装置、ダウンロードサーバ、およびこれらの制御方法
US9781466B2 (en) 2013-08-29 2017-10-03 Panasonic Intellectual Property Management Co., Ltd. Broadcast image output device, download server, and method of controlling broadcast image output device and download server
JP2015111757A (ja) * 2013-12-06 2015-06-18 船井電機株式会社 画像処理装置および通信装置
JP2015015728A (ja) * 2014-08-13 2015-01-22 ソニー株式会社 制御装置、および制御方法
JP2017175419A (ja) * 2016-03-24 2017-09-28 富士通株式会社 描画処理装置、方法、及びプログラム
US11388452B2 (en) 2017-06-21 2022-07-12 Google Llc Dynamic custom interstitial transition videos for video streaming services
JP2020523810A (ja) * 2017-06-21 2020-08-06 グーグル エルエルシー ビデオストリーミングサービスのための動的なカスタムインタスティシャル遷移ビデオ
JP2023063306A (ja) * 2017-06-21 2023-05-09 グーグル エルエルシー ビデオストリーミングサービスのための動的なカスタムインタスティシャル遷移ビデオ
US12267533B2 (en) 2017-06-21 2025-04-01 Google Llc Dynamic custom interstitial transition videos for video streaming services
JP2023508130A (ja) * 2020-10-06 2023-03-01 テンセント・アメリカ・エルエルシー テレカンファレンスの方法
US11914922B2 (en) 2020-10-06 2024-02-27 Tencent America LLC Audio mixing for teleconferencing
JP7548488B2 (ja) 2020-10-06 2024-09-10 テンセント・アメリカ・エルエルシー テレカンファレンスの方法
JP2024133169A (ja) * 2020-10-06 2024-10-01 テンセント・アメリカ・エルエルシー オーディオミキシングのための方法および装置
US12254242B2 (en) 2020-10-06 2025-03-18 Tencent America LLC Recommending audio mixing parameters by audio stream sender
JP7765559B2 (ja) 2020-10-06 2025-11-06 テンセント・アメリカ・エルエルシー オーディオミキシングのための方法および装置
US11617017B2 (en) * 2021-06-30 2023-03-28 Rovi Guides, Inc. Systems and methods of presenting video overlays
US12489940B2 (en) 2021-06-30 2025-12-02 Adeia Guides Inc. Systems and methods of presenting video overlays

Also Published As

Publication number Publication date
EP2076027B1 (en) 2013-05-29
JP5219501B2 (ja) 2013-06-26
EP2076027A1 (en) 2009-07-01
US20090172512A1 (en) 2009-07-02

Similar Documents

Publication Publication Date Title
JP5219501B2 (ja) 画面生成装置および画面レイアウト共有システム
US12425691B2 (en) Reception apparatus, reception method, and program for switching between first and second content
KR101926203B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP2005210686A (ja) 信号出力方法およびチャンネル選択装置
JP6043089B2 (ja) 放送通信連携受信装置
CN104301794A (zh) 广播接收机以及控制广播接收机的方法
WO2019188393A1 (ja) 情報処理装置、情報処理方法、送信装置、及び送信方法
JP6203657B2 (ja) 映像表示装置
JP4421666B1 (ja) コンテンツ受信装置及びコンテンツ再生方法
JP7117991B2 (ja) 受信装置及び受信方法
JP2000013759A (ja) 情報送信装置および方法、情報受信装置および方法、並びに提供媒体
JP7099947B2 (ja) 送受信システム及び送受信方法
CN106454495A (zh) 信息处理装置、信息处理方法和程序
JP2013016962A (ja) コンテンツ再生装置
JP2020102739A (ja) 送信装置及び送信方法
JP2018014736A (ja) 映像表示装置、サーバ、及び、映像表示システム
KR20010042543A (ko) 프로그램을 제공하기 위한 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130305

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees