JP2017184024A - 番組関連情報処理方法 - Google Patents

Abstract

【課題】簡単に、視聴中（又は出力中）の番組に関する情報を提供することが可能な番組関連情報処理プログラムを提供すること。【解決手段】実施形態によれば、番組関連情報処理プログラムは、音声データを取得する手順と、前記音声データを送信する手順と、前記音声データに対応する第１の番組の認識結果を受信する手順と、前記認識結果に基づき前記第１の番組に関する第１の番組関連情報の少なくとも一部を表示する手順と、をコンピュータに実行させる。【選択図】図３

Description

本発明は、番組に関連する情報を出力する番組関連情報処理プログラム及び番組関連情報処理方法に関する。

大幅に普及したデジタルテレビ受像器（以下、テレビ）は、入力されるデジタルテレビジョン放送信号に基づき、指定されたチャンネルの番組を再生（表示）する。また、テレビは、入力されるデジタルテレビジョン放送信号に基づき、指定された番組表を再生（表示）する。

例えば、番組表は、放送時間を縦軸とし、チャンネルを横軸として、数時間分の複数チャンネルの複数番組に対応する複数セルにより構成される。例えば、１つのセルは、番組タイトル、番組概要、及び出演者名等の情報を含む。テレビは、番組表中の任意のセルの選択操作に対応して、選択されたセルに対応する番組を再生したり、録画又は録画予約したりする。

特許第３６００１４９号公報

番組視聴者（以下、ユーザ）が、視聴中の番組に関連する様々な情報を得たい、知りたい場合には、例えば、ＰＣ等を使って番組タイトルをキーワードとして番組に関する情報を検索する、又は視聴中の番組を提供する放送局のサイトを閲覧するなどが考えられる。ユーザは、もっと簡単、気楽に、テレビで番組を見ながら、視聴中の番組に関連する様々な情報を得たい、知りたいという要望をもっている。また、見たい番組を見つけたい、番組の評価を知りたい、番組を見ている人達のリアクションを知りたいなどの要望もある。

また、各種サービス事業者は、どのような視聴者がどのような番組又はＣＭに接しているかの情報を収集し、視聴者の行動パターンを分析し、その分析を活用したマーケティングソリューションを提供したいという要望をもっている。

本発明の目的は、簡単に、視聴中（又は出力中）の番組に関する情報を提供することが可能な番組関連情報処理プログラム及び番組関連情報処理方法を提供することである。

また、本発明の目的は、どのような視聴者がどのような番組等に接したかの情報を効果的に収集することが可能な番組関連情報処理方法を提供することである。

実施形態によれば、番組関連情報処理プログラムは、音声データを取得する手順と、前記音声データを送信する手順と、前記音声データに対応する第１の番組の認識結果を受信する手順と、前記認識結果に基づき前記第１の番組に関する第１の番組関連情報の少なくとも一部を表示する手順と、をコンピュータに実行させる。

また、実施形態によれば、番組関連情報処理方法では、情報通信装置が、音声データを取得し、前記音声データを送信し、前記音声データに対応する第１の番組の認識結果を受信し、前記認識結果に基づき前記第１の番組に関する第１の番組関連情報の少なくとも一部を表示する。また、サーバが、前記音声データを前記情報通信装置から受信し、番組音声データベースに基づいて前記音声データに対応する第１の番組を認識し、前記認識結果を前記情報通信装置へ送信する。

実施形態によれば、簡単に、視聴中（又は出力中）の番組に関する情報を提供することが可能な番組関連情報処理プログラム及び番組関連情報処理方法を提供できる。

また、実施形態によれば、どのような視聴者がどのような番組等に接したかの情報を効果的に収集することが可能な番組関連情報処理方法を提供できる。

実施形態に係る番組関連情報処理システムの概略構成の一例を示す図である。 実施形態に係る番組関連情報処理システムを構成する各デバイスの概略構成の一例を示すブロック図である。 実施形態に係る情報通信端末による番組関連情報出力処理の一例を示すフローチャートである。 実施形態に係るサーバによる番組認識処理の一例を示すフローチャートである。 実施形態に係る情報通信端末による番組関連情報の出力例（表示例）を示す図である。 実施形態に係る情報通信端末による番組の公式ページの表示例を示す図である。 実施形態に係る情報通信端末による番組の出演者情報の表示例を示す図である。 実施形態に係る情報通信端末による番組で取り上げられた商品に関する詳細な情報（文字と画像）の表示例を示す図である。 実施形態に係る情報通信端末によるコメントで取り上げられている番組の無料又は有料視聴リンクの表示例を示す図である。 実施形態に係る情報通信端末による番組の実況画面の表示例を示す図である。 実施形態に係る情報通信端末による見た番組／気になる情報の表示例を示す図である。 実施形態に係る情報通信端末の表示画面の遷移の一例を示す図である。 実施形態に係る番組関連情報処理システムにおいて想定されるデータ種類とデータ内容の一例を示す図である。 実施形態に係る番組関連情報処理システムにおいてユーザアクション等の蓄積の一例を説明するための図である。

以下、実施形態について、図面を参照して説明する。
図１は、実施形態に係る番組関連情報処理システムの概略構成の一例を示す図である。図１に示すように、番組関連情報処理システムは、情報通信端末１０及び複数のサーバ２０及び３０により構成される。情報通信端末１０及び複数のサーバ２０及び３０は、ネットワークを介して接続可能に構成される。

情報通信端末１０は、スマートフォン又はタブレット型ＰＣ等を想定するが、プロセッサ、メモリ、及びディスプレイ等を備え、情報処理、情報記憶、情報表示、情報通信、操作入力、及び音声入力（音声記録）等ができるデバイスであればどのようなデバイスであってもよい。また、サーバ２０及び３０は、大容量記憶装置を備えたコンピュータ等を想定するが、プロセッサ及びメモリ等を備え、情報処理、情報記憶、及び情報通信等ができるデバイスであればどのようなデバイスであってもよい。

図２は、実施形態に係る番組関連情報処理システムを構成する各デバイスの概略構成の一例を示すブロック図である。図２に示すように、情報通信端末１０は、情報処理部１１、ＲＯＭ１２、ＲＡＭ１３、データメモリ１４、入力部１５、ディスプレイ１６、通信部１７、音声入力部（マイク）１８等を備え、データバスを介して互いに接続される。

ＲＯＭ１２は、基本動作プログラム（BIOSなど）を記憶する。ＲＡＭ１３は、ワーキングメモリとして機能し、各種情報を一時記憶する。データメモリ１４は、ＥＥＰＲＯＭ（登録商標）、ＦＲＡＭ（登録商標）、又はＦＬＡＳＨ等の不揮発性メモリであり、各種アプリケーションプログラム及び番組関連情報等を記憶する。情報処理部１１は、プロセッサ等により構成され、ＲＯＭ１２に記憶された基本動作プログラム、データメモリ１４に記憶された各種アプリケーションプログラムを実行する。

ディスプレイ１６は、例えば液晶ディスプレイであり、各種情報を表示する。また、入力部１５は、例えばタッチパネル（押圧センサ又は静電センサー）であり、ディスプレイ１６の液晶ディスプレイに対向して配置される。つまり、ユーザは、入力部１５を介して、ディスプレイ１６に表示される内容を選択したり、表示内容を切り替えたりすることができる。

通信部１７は、例えば、異なる複数の通信方式をサポートし、３Ｇ／４Ｇ／ＬＴＥ（登録商標）等のキャリア通信、及びＷｉ−ｆｉ等のＬＡＮ通信をサポートし、サーバ２０との通信を実現する。音声入力部１８は、周囲の音声を入力する。

サーバ２０は、情報通信端末１０から送信される音声データに対応する番組を認識し、情報通信端末１０に認識結果を返信する。図２に示すように、サーバ２０は、情報処理部２１、ＲＯＭ２２、ＲＡＭ２３、データメモリ２４、番組認識部２５、大容量記憶部２６、通信部２７等を備え、データバスを介して互いに接続される。情報処理部２１は、プロセッサ等により構成され、ＲＯＭ２２に記憶された基本動作プログラム、データメモリ２４に記憶された各種アプリケーションプログラムを実行する。ＲＡＭ２３は、ワークメモリとして機能する。大容量記憶部２６はデータベースを格納し、データベースは、複数チャンネルの複数番組の音声データ及び複数ＣＭの音声データを含む。例えば、複数番組の音声データは番組識別情報（番組ＩＤなど）に関連付けられる。また、番組ＩＤに対しては、チャンネル番号、番組タイトル、番組出演者情報、及び番組概要等の情報が関連付けられる。また、複数ＣＭの音声データをＣＭ識別情報（ＣＭＩＤなど）に関連付け、さらに、番組ＩＤとＣＭＩＤを関連付けて、どの番組でどのＣＭが放送されているかを管理するようにしてもよい。

サーバ３０は、情報通信端末１０からリクエストされる番組関連情報を提供するサーバである。例えば、情報通信端末１０は、複数チャンネルの所定放送時間帯の番組関連情報をリクエストする。或いは、情報通信端末１０は、番組ＩＤに基づき番組関連情報をリクエストする。

或いは、サーバ３０は、サーバ２０からのリクエストに応じて、番組関連情報をサーバ２０へ提供し、サーバ２０から情報通信端末１０へ番組関連情報を提供するようにしてもよい。或いは、サーバ２０とサーバ３０とを一つのサーバで実現するようにしてもよい。

サーバ３０は、情報処理部３１、ＲＯＭ３２、ＲＡＭ３３、データメモリ３４、大容量記憶部３６、通信部３７等を備え、データバスを介して互いに接続される。情報処理部３１は、プロセッサ等により構成され、ＲＯＭ３２に記憶された基本動作プログラム、データメモリ３４に記憶された各種アプリケーションプログラムを実行する。ＲＡＭ３３は、ワークメモリとして機能する。大容量記憶部３６はデータベースを格納し、データベースは、複数チャンネルの複数番組に関する番組関連情報群を含む。例えば、各番組関連情報には番組ＩＤが対応付けられる。

なお、番組関連情報群は、インターネット上（各種サーバ上）に存在する情報から生成することができる。例えば、テレビ番組ガイドを提供するサーバ上にはテレビ番組ガイド（番組表）が存在し、ツイッター（登録商標）等の各種投稿サイトを提供するサーバ上、及びニコニコ動画（登録商標）等の各種動画サイトを提供するサーバ上には番組に関するコメント等が存在する。

以下、本実施形態に係る番組関連情報処理システムによる番組関連情報の提示（表示）の一例について説明する。例えば、本実施形態では、大画面のＴＶを視聴しながら、情報通信端末１０をセカンドスクリーンとしてユーザの手元で使用することを想定する。本実施形態では、情報通信端末のディスプレイ１６を4インチ〜13インチ程度の小型に想定し説明するが、特にディスプレイ１６のサイズはどのようなサイズであってもよい。

図３は、実施形態に係る情報通信端末による番組関連情報出力処理の一例を示すフローチャートである。例えば、情報通信端末１０において、情報処理部１１（プロセッサ）とデータメモリ１４の番組関連情報処理アプリケーションプログラム（以下、アプリケーション）により後述する全ての処理（音声データの送信、番組認識結果の受信、番組関連情報の出力、変更等）が実行される。

まず、情報通信端末１０の通信部１７は、外部サーバからアプリケーションをダウンロードし（ＳＴ１０１）、データメモリ１４がダウンロードしたアプリケーションを記憶する。なお、情報通信端末１０は、各種情報記憶媒体を介してアプリケーションを取得するようにしてもよい。

例えば、本アプリケーションはユーザ登録を要求する。ユーザは、入力部１５を介してログイン情報（識別情報及びパスワード）を設定し、さらに、ユーザ登録情報（氏名、生年月日、及び住所等）を登録する。例えば、ログイン情報及びユーザ登録情報は、サーバ２０（大容量記憶部２６）で管理される。なお、ユーザは、各種投稿サイト及び各種動画サイトに対しても、ログイン情報（識別情報及びパスワード）を設定し、さらに、ユーザ登録情報（氏名、生年月日、及び住所等）を登録しているものとする。これにより、本アプリケーションのユーザと、各種投稿サイト及び各種動画サイトのユーザとの対応付けが可能となる。

例えば、情報通信端末１０を携帯する、又は情報通信端末１０を近傍に置いたユーザが、テレビを視聴するケースを想定する。番組関連情報の提示を受けたい場合、ユーザは、情報通信端末１０の入力部１５を介してアプリケーションの実行を指示し、これに対応して、情報処理部１１がアプリケーションを実行する（ＳＴ１０２）。例えば、アプリケーションはログイン情報に基づきログインして実行することを前提として説明するが、ログインせずに実行することもできる。

アプリケーションの実行に対応して、音声入力部１８が起動し、音声入力部１８は視聴中の番組の音声を入力し（ＳＴ１０３）、データメモリ１４に音声データが記録される。例えば、情報処理部１１は、各種のフィルタリング処理により音声入力部１８からの音声データから番組音声データ及びＣＭ音声データを抽出し、番組音声データ及びＣＭ音声データを記録する。通信部１７は、記録された音声データ及び記録時間情報（現在日時）をサーバ２０へ送信する（ＳＴ１０４）。例えば、通信部１７は、記録された音声データ、記録時間情報、及び情報通信端末１０の機器識別情報をサーバ２０へ送信するようにしてもよい。ログインしてアプリケーションが実行されている場合には、サーバ２０は、音声データ等とユーザ登録情報とを対応付けて管理することができる。ログインせずにアプリケーションが実行されている場合には、サーバ２０は、音声データ等と機器識別情報とを対応付けて管理することができる。

図４は、実施形態に係るサーバによる番組認識処理の一例を示すフローチャートである。

図４に示すように、サーバ２０の通信部２７は、情報通信端末１０から送信された音声データを受信する（ＳＴ２０１）。番組認識部２５は、大容量記憶部２６に格納されたデータベースと通信部２７により受信された音声データとに基づき、受信した音声データに対応する番組等を認識する（ＳＴ２０２）。例えば、認識の対象は番組だけでもよいし、番組とＣＭの両方であってもよい。例えば、番組認識部２５は、データベースに含まれる複数番組の音声データと受信された音声データとを比較照合し、類似度を計算し、計算結果に基づき音声データに対応する番組（例えば第１の番組）を認識する。番組認識結果は、大容量記憶部２６に蓄積される（ＳＴ２０３）。通信部２７は、番組認識結果を情報通信端末１０へ返信する（ＳＴ２０４）。

例えば、ログインしてアプリケーションが実行されている場合には、ユーザ登録情報に関連付けて番組認識結果が蓄積される。つまり、どのユーザがどのタイミングでどのような番組を視聴したかを示す情報が蓄積される。ログインせずにアプリケーションが実行されている場合には、機器識別情報に関連付けて番組認識結果が蓄積される。つまり、どの端末のユーザがどのタイミングでどのような番組を視聴しかたを示す情報が蓄積される。また、データベースに含まれる番組の音声データに番組ＩＤが対応付けられ、さらに番組ＩＤにＣＭＩＤが対応付けられている場合には、どのユーザがどのようなＣＭを視聴したかを示す予測情報を蓄積することもできる。

なお、音声データから番組を認識する技術をＴＶリアルタイムACR（Automatic Content Recognition）と呼ぶ。この認識技術により、テレビの番組及びCMに接触したユーザをオンラインでリアルタイムにとらえることが可能となる。また、とらえたデータを他データ（IDFA、ADID、クッキー）と照合し、オフライン（テレビ視聴）からオンラインまでワンストップで捕捉することが実現できる。サーバ２０（大容量記憶部２６）は、エリアごとのTVの番組及びCMの音声データを、テレビ局とは事前のデータのやり取りなく、ほぼリアルタイムに暗号化しキャッシュしデータベースを構築する。情報通信端末１０はＴＶの番組の音声データ及びＣＭの音声データを検出し暗号化する。そしてサーバ２０が、データベースの音声データと情報通信端末１０から送信される音声データとをほぼリアルタイムにマッチングし、情報通信端末１０から送信される音声データに対応する番組を認識する。なお、本実施形態では、サーバ２０がデータベースを保持し、番組認識処理を実行するケースについて説明したが、データベースの保持と番組認識処理とを複数のサーバで分散するようにしてもよい。

図３に示すように、情報通信端末１０の通信部１７は、サーバ２０から第１の番組が認識されたことを示す番組認識結果（例えば第１の番組認識結果）を受信する（ＳＴ１０５）。情報処理部１１は、第１の番組認識結果に基づき第１の番組に関する第１の番組関連情報を表示するために、複数番組に関する番組関連情報群に含まれる第１の番組関連情報の少なくとも一部に基づき番組案内画面（初期画面）を構成する（ＳＴ１０６）。情報処理部１１及びディスプレイ１６は、番組案内画面の構成に基づき第１の番組関連情報の少なくとも一部を出力（表示）する（ＳＴ１０７）。例えば、図５に示すように、第１の番組関連情報の少なくとも一部を出力（表示）する。

なお、僅かな時間（数秒）でＳＴ１０３〜ＳＴ１０７の処理が実行され、これにより、ユーザは、リアルタイムに視聴している第１の番組に関する第１の番組関連情報の少なくとも一部を見ることができる。しかも、視聴中の第１の番組に関する第１の番組関連情報の少なくとも一部だけが表示されるので（他の番組に関する番組関連情報は表示されないので）、リアルタイムに視聴している第１の番組に関する第１の番組関連情報に迷い無く接することができる。また、このような表示は、情報通信端末１０のディスプレイサイズにも好適である。

例えば、第１の番組の番組認識結果は、第１の番組の識別情報を含み、この第１の番組の識別情報から、第１の番組のチャンネル番号、番組タイトル、番組出演者情報、及び番組概要等の情報を取得することができる。さらに、これら情報をキー（キーワード）として、ネットワーク上（各種サーバ上）に存在する第１の番組に関する第１の番組関連情報（第１の番組に関する書き込み等のコメント）を抽出することもできる。

なお、本実施形態では、情報通信端末１０が、サーバ２０から番組認識結果を受信し、番組認識結果に基づき番組関連情報を収集するケースについて説明するが、サーバ２０が、番組認識結果に基づき番組関連情報を収集し、情報通信端末１０に対して番組関連情報を返信するようにしてもよい。

ユーザが、ディスプレイ１６に表示された情報に対して、入力部１５を介して第１の表示変更操作を入力すると（ＳＴ１０８）、情報処理部１１及びディスプレイ１６は、第１の番組関連情報の表示内容を変更（更新）し、変更された第１の番組関連情報を出力（表示）する（ＳＴ１０９）。例えば、図６〜図１１に示すように、変更された第１の番組関連情報を出力（表示）する。

また、ユーザが、ディスプレイ１６に表示された情報に対して、入力部１５を介して第２又は第３の表示変更操作を入力すると（ＳＴ１０８）、情報処理部１１及びディスプレイ１６は、第１の番組関連情報の表示に替えて、第２又は第３の番組関連情報を出力（表示）する（ＳＴ１０９）。

例えば、第２の番組関連情報は、第１の番組と少なくとも一部の放送時間が重なる第２の番組に関する第２の番組関連情報であり、第１の番組と第２の番組のチャンネルは異なる。また、第３の番組関連情報は、第１の番組と放送時間の異なる第３の番組に関する第３の番組関連情報であり、第１の番組と第３の番組のチャンネルは同一又は異なる。

ここで、番組関連情報の取得について説明する。例えば、情報通信端末１０（アプリケーション）が、現在時間情報に基づき、サーバ３０から定期的に複数チャンネルの複数番組の番組関連情報群を受信する。例えば、現在時刻から24時間分の番組関連情報を受信する。或いは、情報通信端末１０が、第１の番組の番組認識結果を受信したことに対応して、第１の番組の番組関連情報を受信する。或いは、情報通信端末１０が、第１の番組の番組認識結果を受信したことに対応して、複数チャンネルの複数番組の番組関連情報群を受信する。或いは、サーバ２０が第１の番組の番組認識結果とともに、第１の番組の番組関連情報を送信し、情報通信端末１０が、第１の番組の番組認識結果とともに、第１の番組の番組関連情報を受信する。或いは、サーバ２０が第１の番組の番組認識結果とともに、複数チャンネルの複数番組の番組関連情報群を送信し、情報通信端末１０が、第１の番組の番組認識結果とともに、複数チャンネルの複数番組の番組関連情報群を受信する。

図５は、実施形態に係る情報通信端末による番組関連情報の出力例（表示例）を示す図である。図５に示すように、情報通信端末１０の通信部１７が、第１の番組の番組認識結果を受信すると、ディスプレイ１６は、第１の番組に関する第１の番組関連情報の少なくとも一部を表示する。本実施形態では、第１の番組（一つの番組）の認識結果に対応して第１の番組（一つの番組）の番組関連情報の少なくとも一部を出力するケースを中心に説明する。これにより、ユーザは、情報通信端末１０の表示画面から現在視聴中の番組を一目で特定することができる。なお、第１の番組（一つの番組）の認識結果に対応して第１の番組（一つの番組）の番組関連情報を出力するとともに、第１の番組と同一時間帯に放送されている他の２以上の番組の番組関連情報を出力するようにしてもよい。その場合、第１の番組の番組関連情報を強調表示する。また、第１の番組（一つの番組）の認識結果に対応して第１の番組（一つの番組）の番組関連情報のセルを含む番組表を出力してもよい。番組表は、放送時間を縦軸とし、チャンネルを横軸として、数時間分の複数チャンネルの複数番組に対応する複数セルにより構成される。例えば、１つのセルは、番組タイトル、番組概要、及び出演者名等の情報を含む。この場合、第１の番組の番組関連情報のセルを強調表示する。

第１の番組関連情報は、第１の番組に関する画像情報１０１を含む。画像情報１０１は、第１の番組のロゴタイプの画像を含む。ロゴタイプの画像とは、番組のタイトル、キャラクター、マーク、出演者名等を図案化、装飾化した文字又は文字列であり、第１の番組を知っているユーザであれば、第１の番組のロゴタイプの画像を一目見れば、第１の番組であることを瞬時に認識することができる。なお、ディスプレイ１６に表示される放送の種別タグ１１１は、地上波、BS、CS等の放送種別の選択を受け付ける。

また、第１の番組関連情報が、第１の番組に関するコメント１０２を含むようにしてもよい。さらに、第１の番組関連情報が、第１の番組の出演者（タレント等）の画像（静止画又は動画）１０３を含むようにしてもよい。さらに、第１の番組関連情報が、第１の番組で取り上げられた商品（サービスを含む）の画像（静止画又は動画）１０４を含むようにしてもよい。このような第１の番組関連情報は、第１の番組の番組ＩＤに対応付けられた番組タイトル、番組出演者情報等に基づき、ネットワーク上から収集される。さらに、ネットワーク上の複数のコメント間の共通情報から、第１の番組関連情報を推定し収集することもできる。

例えば、ユーザは、入力部１５を介して、ディスプレイ１６に表示される機能ボタン１１２を選択すると、第１の番組関連情報（第１の番組に関する画像情報１０１）の表示に替えて、第１の番組と少なくとも一部の放送時間が重なる第２の番組に関する第２の番組関連情報（第２の番組に関する画像情報１０１ａ）を表示する。同様に、ユーザは、入力部１５を介して、ディスプレイ１６に表示される機能ボタン１１３を選択すると、第１の番組関連情報（第１の番組に関する画像情報１０１）の表示に替えて、第１の番組と少なくとも一部の放送時間が重なる第３の番組に関する第３の番組関連情報（第３の番組に関する画像情報）を表示する。

また、別の機能ボタンを設けて、例えば、ユーザが、入力部１５を介して、ディスプレイ１６に表示されるその別の機能ボタンを選択すると、第１の番組関連情報（第１の番組に関する画像情報１０１）の表示に替えて、第１の番組と放送時間の異なる第４の番組に関する第４の番組関連情報（第４の番組に関する画像情報）を表示する。

また、ユーザが、入力部１５を介して、ディスプレイ１６に表示される第１の番組関連情報の一部を選択することにより、情報処理部１１及びディスプレイ１６が、第１の番組の公式ページ１２１を表示するようにしてもよい。例えば、ユーザが、入力部１５を介して、ディスプレイ１６に表示される第１の番組に関するコメント１０２を選択すると、情報処理部１１及びディスプレイ１６は、第１の番組関連情報（第１の番組に関する画像情報１０１）の表示に替えて、図６に示すような第１の番組の公式ページ１２１を表示する。

また、ユーザが、入力部１５を介して、ディスプレイ１６に表示される第１の番組関連情報の一部に対する操作入力により、情報処理部１１及びディスプレイ１６が、第１の番組の出演者情報を表示するようにしてもよい。例えば、ユーザが、入力部１５を介して、ディスプレイ１６に表示される第１の番組の出演者の画像１０３を選択すると、情報処理部１１及びディスプレイ１６は、第１の番組関連情報（第１の番組に関する画像情報１０１）の表示に替えて、図７に示すような第１の番組の出演者情報１２２を表示する。

また、ユーザが、入力部１５を介して、ディスプレイ１６に表示される第１の番組関連情報の一部に対する操作入力により、情報処理部１１及びディスプレイ１６が、第１の番組で取り上げられた商品に関する詳細な情報（文字と画像）を表示するようにしてもよい。例えば、ユーザが、入力部１５を介して、ディスプレイ１６に表示される第１の番組で取り上げられた商品の画像１０４を選択すると、情報処理部１１及びディスプレイ１６は、第１の番組関連情報（第１の番組に関する画像情報１０１）の表示に替えて、図８に示すような第１の番組で取り上げられた商品に関する詳細な情報（文字と画像）１２３を表示する。

また、ユーザが、入力部１５を介して、ディスプレイ１６に表示される第１の番組関連情報の一部に対する操作入力により、情報処理部１１及びディスプレイ１６が、第１の番組に関するコメントで取り上げられている番組の無料又は有料視聴リンクを表示するようにしてもよい。例えば、ユーザが、入力部１５を介して、ディスプレイ１６に表示される第１の番組に関するコメント１０２を選択すると、情報処理部１１及びディスプレイ１６は、第１の番組関連情報（第１の番組に関する画像情報１０１）の表示に替えて、図９に示すような第１の番組に関するコメントで取り上げられている番組の無料又は有料視聴リンク１２４を表示する。

また、ユーザが、入力部１５を介して、ディスプレイ１６に表示される第１の番組関連情報の一部に対する操作入力により、情報処理部１１及びディスプレイ１６が、第１の番組のお気に入り登録画面を表示するようにしてもよい。続けて、ユーザは、入力部１５を介して、お気に入りとして第１の番組をデータメモリ１４へ登録する。登録されるお気に入りの情報が、第１の番組の放送開始日時情報（例えば第１の番組：毎週金曜日15:00放送開始）を含む場合には、情報処理部１１は、放送開始時刻の所定時間前（例えば１０分前）になると、その旨を通知する（例えばプッシュ通知）。或いは、登録されるお気に入りの情報が、タレント名を含む場合には、情報処理部１１は、タレント名に該当するタレントの出演番組の放送開始時刻の所定時間前（例えば１０分前）になると、その旨を通知する（例えばプッシュ通知）。

また、ユーザが、入力部１５を介して、ディスプレイ１６に表示される第１の番組関連情報の一部に対する操作入力により、情報処理部１１及びディスプレイ１６が、第１の番組の実況画面１３１を表示するようにしてもよい。実況画面１３１は、インターネット上の第１の番組に対する多数ユーザのリアクションを表示する。例えば、ユーザが、入力部１５を介して、ディスプレイ１６に表示される第１の番組に関する画像情報１０１に対する操作入力（スワイプ）により、情報処理部１１及びディスプレイ１６は、第１の番組関連情報（第１の番組に関する画像情報１０１）の表示に替えて、図１０に示すような第１の番組の実況画面１３１を表示する。実況画面１３１は、ネットワーク上のサーバにより提供される。

例えば、実況画面１３１には、第１の番組に関する投稿サイト及び動画サイトのコメントが集約され、順次、投稿及びコメントが流れる（文字の弾幕が流れる）。また、実況画面１３１には、ユーザの感情の入力を受け付ける機能ボタン１３２、１３３を表示する。例えば、第１の番組を楽しんでいる、盛り上がっているようなユーザは、機能ボタン１３２を選択し、逆の感情のユーザは、機能ボタン１３３を選択する。情報通信端末１０は、選択結果をサーバへ送信する。サーバは、機能ボタン１３２、１３３の選択結果をリアルタイムに反映した実況画面１３１を生成し、情報通信端末１０へ提供する。これにより、情報通信端末１０で表示される実況画面１３１には、機能ボタン１３２、１３３の選択結果がリアルタイムに反映される。例えば、機能ボタン１３２、１３３の選択結果の割合を、実況画面１３１の背景色の割合で表現する。機能ボタン１３２の選択結果に対して緑を割り当て、機能ボタン１３３の選択結果に対して赤を割り当てれば、実況画面１３１の背景色の緑の割合が多ければ、第１の番組を楽しんでいる、盛り上がっているようなユーザが多いことが分かる。逆に、実況画面１３１の背景色の赤の割合が多ければ、逆の感情のユーザが多いことが分かる。ユーザは、実況画面１３１を介して番組自体の盛り上がりを共有／体感することができる。

なお、本実施形態では、ユーザの感情の入力を受け付ける機能ボタン１３２、１３３を表示するケースについて説明したが、１つの機能ボタンを表示するようにしてもよいし、３以上の機能ボタンを表示するようにして、ユーザの感情を３以上に細分化して、細分化されたユーザの感情の入力を受け付けるようにしてもよい。

さらに、実況画面１３１には、機能ボタン１３４を表示する。例えば、第１の番組について番組メモを取りたいユーザは、機能ボタン１３４を選択する。これに対応して、情報通信端末１０は、見た番組／気になる情報の画面１４１中の第１の番組について気になる情報を付加することができる。例えば、見た番組／気になる情報の画面１４１は、サービス提供事業者により提供される情報であり、番組別に用意され、放送時間軸に沿って番組に関する情報が書き込まれている。例えば、ユーザは、後から、気になる情報を頼りに、情報通信端末１０のブラウザー機能を使って、第１の番組中の気になる情報を調べることができる。例えば、第１の番組で取り上げられたショップや商品の情報を忘れてしまったとしても、見た番組／気になる情報の画面１４１中の気になる情報を頼りに簡単に調べることができる。

また、図１１に示す見た番組／気になる情報の画面１４１中の機能ボタン１４２から、LINE（登録商標）、SMS、メールなどへ、気になる情報を共有することができる。

なお、サーバにおいて、実況画面１３１のデータを集積することにより、視聴番組に対するユーザの評価を分析することが可能となる。例えば、ログインしてアプリケーションを実行している場合、タレントＡの登場タイミングで機能ボタン１３２が選択されると、ユーザ登録情報から、あるユーザ（例えば20代男性）がタレントＡに対して好感を持つことを示す情報が集積される。また、タレントＢの登場タイミングで機能ボタン１３３が選択されると、ユーザ登録情報から、あるユーザ（例えば20代男性）がタレントＢに対して否定的な印象を持つことを示す情報が集積される。このようにして、各ユーザからの情報を蓄積する。結果、蓄積された情報は非常に価値ある情報となる。つまり、番組のキャスティング資料として使用することもできるし、ＣＭへのタレント起用の資料として使用することもできる。例えば、ある商品のＣＭで起用されているタレントに対して、類似商品のＣＭで起用するタレントの選定にも大いに役立てることができる。

図１２は、情報通信端末の表示画面の遷移の一例を示す図である。上記説明したように情報通信端末１０で実行されるアプリケーションにより、図１２に示すような表示画面遷移が生じる。例えば、情報通信端末１０では、ACRを使った番組表（図５）が表示される。

図１３は、本実施形態を実現する上で想定されるデータの種類とデータ内容の一例を示す図である。これらデータにより、情報通信端末１０は、番組関連情報を出力することができる。

図１４は、本実施形態により蓄積されるデータの一例を示す図である。図１４に示すように、主な入力は、投稿データ、リアルタイム視聴（ＡＣＲ）データ、テレビ番組表データ、テレビ番組メタデータ、オンライン行動履歴データである。主なアクションは、番組表に対するアクション、実況閲覧、気になるボタン（機能ボタン１３４）によるアクションである。主な入力とアクションから、図１４に示すようなテレビ・エンタメデータマネジメントプラットフォーム（DMP）を蓄積することができる。

サービス事業者は、蓄積されたDMPを分析し、視聴者の動向等を推定することができる。つまり、データ分析結果に基づき番組を制作したり、ＣＭを制作したり（より効果的なタレントを選定したＣＭ制作）できる。

なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

１０…情報通信端末、１１…情報処理部、１４…データメモリ、１５…入力部、１６…ディスプレイ、１７…通信部、１８…音声入力部、２０…サーバ、２１…情報処理部、２４…データメモリ、２５…番組認識部、２６…大容量記憶部、２７…通信部、３０…サーバ、３１…情報処理部、３４…データメモリ、３６…大容量記憶部、３７…通信部、１０１、１０１ａ…画像情報、１０２…番組に関するコメント、１０３…出演者（タレント等）の画像、１０４…番組で取り上げられた商品の画像（静止画又は動画）、１１１…種別タグ、１１２、１１３…機能ボタン、１２１…番組の公式ページ、１２２…番組の出演者情報、１２３…商品に関する詳細な情報（文字と画像）、１２４…番組の無料又は有料視聴リンク、１３１…番組の実況画面、１３２〜１３４…機能ボタン、１４１…見た番組／気になる情報の画面、１４２…機能ボタン。

なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る
以下、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
音声データを取得する手順と、
前記音声データを送信する手順と、
前記音声データに対応する第１の番組の認識結果を受信する手順と、
前記認識結果に基づき前記第１の番組に関する第１の番組関連情報の少なくとも一部を表示する手順と、
をコンピュータに実行させる番組関連情報処理プログラム。
［Ｃ２］
前記第１の番組関連情報を受信する手順をコンピュータに実行させるＣ１の番組関連情報処理プログラム。
［Ｃ３］
複数番組に関する番組関連情報群を受信する手順と、
前記認識結果に基づき前記第１の番組関連情報を表示するために、前記番組関連情報群に含まれる前記第１の番組関連情報の少なくとも一部に基づき番組案内画面を構成する手順とコンピュータに実行させるＣ１又はＣ２の番組関連情報処理プログラム。
［Ｃ４］
前記第１の番組関連情報は、前記第１の番組に関する第１の画像情報を含むＣ１乃至Ｃ３の何れか１つの番組関連情報処理プログラム。
［Ｃ５］
前記第１の番組関連情報は、前記第１の番組に関するロゴタイプの第１の画像情報を含むＣ１乃至Ｃ４の何れか１つの番組関連情報処理プログラム。
［Ｃ６］
前記第１の番組関連情報は、前記第１の番組に関するコメントを含むＣ１乃至Ｃ５の何れか１つの番組関連情報処理プログラム。
［Ｃ７］
前記第１の番組関連情報は、前記第１の番組の出演者の画像を含むＣ１乃至Ｃ６の何れか１つの番組関連情報処理プログラム。
［Ｃ８］
前記第１の番組の番組関連情報は、前記第１の番組で取り上げられた商品の画像を含むＣ１乃至Ｃ７の何れか１つの番組関連情報処理プログラム。
［Ｃ９］
前記第１の番組関連情報は、前記第１の番組に関する番組実況を含むＣ１乃至Ｃ８の何れか１つの番組関連情報処理プログラム。
［Ｃ１０］
前記第１の番組関連情報は、前記第１の番組に関する番組視聴ログデータに基づく情報を含むＣ１乃至Ｃ９の何れか１つの番組関連情報処理プログラム。
［Ｃ１１］
前記第１の画像情報に対する第１の変更操作に対応して、前記第１の番組関連情報の表示に替えて、前記第１の番組と少なくとも一部の放送時間が重なる第２の番組に関する第２の番組関連情報を表示する手順をコンピュータに実行させるＣ４の番組関連情報処理プログラム。
［Ｃ１２］
前記第１の画像情報に対する第２の変更操作に対応して、前記第１の番組関連情報の表示に替えて、前記第１の番組と放送時間の異なる第３の番組に関する第３の番組関連情報を表示する手順をコンピュータに実行させるＣ１１の番組関連情報処理プログラム。
［Ｃ１３］
情報通信装置が、音声データを取得し、前記音声データを送信し、前記音声データに対応する第１の番組の認識結果を受信し、前記認識結果に基づき前記第１の番組に関する第１の番組関連情報の少なくとも一部を表示し、
サーバが、前記音声データを前記情報通信装置から受信し、番組音声データベースに基づいて前記音声データに対応する第１の番組を認識し、前記認識結果を前記情報通信装置へ送信する番組関連情報処理方法。
［Ｃ１４］
前記サーバが、前記通信装置によるログイン情報と前記認識結果を対応付けて管理するＣ１３の番組関連情報処理方法。

Claims (14)

1. 音声データを取得する手順と、
   前記音声データを送信する手順と、
   前記音声データに対応する第１の番組の認識結果を受信する手順と、
   前記認識結果に基づき前記第１の番組に関する第１の番組関連情報の少なくとも一部を表示する手順と、
   をコンピュータに実行させる番組関連情報処理プログラム。
2. 前記第１の番組関連情報を受信する手順をコンピュータに実行させる請求項１の番組関連情報処理プログラム。
3. 複数番組に関する番組関連情報群を受信する手順と、
   前記認識結果に基づき前記第１の番組関連情報を表示するために、前記番組関連情報群に含まれる前記第１の番組関連情報の少なくとも一部に基づき番組案内画面を構成する手順とコンピュータに実行させる請求項１又は２の番組関連情報処理プログラム。
4. 前記第１の番組関連情報は、前記第１の番組に関する第１の画像情報を含む請求項１乃至３の何れか１つの番組関連情報処理プログラム。
5. 前記第１の番組関連情報は、前記第１の番組に関するロゴタイプの第１の画像情報を含む請求項１乃至４の何れか１つの番組関連情報処理プログラム。
6. 前記第１の番組関連情報は、前記第１の番組に関するコメントを含む請求項１乃至５の何れか１つの番組関連情報処理プログラム。
7. 前記第１の番組関連情報は、前記第１の番組の出演者の画像を含む請求項１乃至６の何れか１つの番組関連情報処理プログラム。
8. 前記第１の番組の番組関連情報は、前記第１の番組で取り上げられた商品の画像を含む請求項１乃至７の何れか１つの番組関連情報処理プログラム。
9. 前記第１の番組関連情報は、前記第１の番組に関する番組実況を含む請求項１乃至８の何れか１つの番組関連情報処理プログラム。
10. 前記第１の番組関連情報は、前記第１の番組に関する番組視聴ログデータに基づく情報を含む請求項１乃至９の何れか１つの番組関連情報処理プログラム。
11. 前記第１の画像情報に対する第１の変更操作に対応して、前記第１の番組関連情報の表示に替えて、前記第１の番組と少なくとも一部の放送時間が重なる第２の番組に関する第２の番組関連情報を表示する手順をコンピュータに実行させる請求項４の番組関連情報処理プログラム。
12. 前記第１の画像情報に対する第２の変更操作に対応して、前記第１の番組関連情報の表示に替えて、前記第１の番組と放送時間の異なる第３の番組に関する第３の番組関連情報を表示する手順をコンピュータに実行させる請求項１１の番組関連情報処理プログラム。
13. 情報通信装置が、音声データを取得し、前記音声データを送信し、前記音声データに対応する第１の番組の認識結果を受信し、前記認識結果に基づき前記第１の番組に関する第１の番組関連情報の少なくとも一部を表示し、
    サーバが、前記音声データを前記情報通信装置から受信し、番組音声データベースに基づいて前記音声データに対応する第１の番組を認識し、前記認識結果を前記情報通信装置へ送信する番組関連情報処理方法。
14. 前記サーバが、前記通信装置によるログイン情報と前記認識結果を対応付けて管理する請求項１３の番組関連情報処理方法。