JP2015133694A - 端末装置、端末装置の制御方法およびコンピュータプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】動画の操作で調理が中断することなく、動画の進行に沿って調理を進めることができる端末装置を提供する。
【解決手段】関連付け記憶部（１７１）から動画およびメタデータを読み出し、動画の進行に合わせてユーザにより実行される調理工程が非加熱工程であるか否か、および、実行される調理工程が完了したか否かについて認識した結果を示す認識結果情報を受け取り、メタデータ、および認識結果情報に基づいて、動画の再生を制御する動画再生制御部（１７２）と、を具備し、動画再生制御部（１７２）は、所定の非加熱工程を紹介するチャプタの再生中であって、非加熱工程の実行が完了していない場合、再生中のチャプタをリピートまたは一時停止し、非加熱工程の実行が完了すると次のチャプタを再生するように制御する。
【選択図】図２

Description

本開示は、動画の内容に基づいてその動画の再生を制御する端末装置、制御方法およびコンピュータプログラムを記録した記録媒体に関する。

従来、サーバから端末装置へレシピ情報を提供することにより、端末装置を利用するユーザの調理を支援するシステムが提案されている。

例えば、特許文献１には、端末装置から所定の料理のレシピ情報がサーバへ要求された場合、サーバから端末装置に対して調理工程ごとの調理状態を示す動画が提供される調理情報システムが提案されている。これにより、端末装置を利用するユーザは、調理工程ごとに具体的な調理状態を確認でき、スムーズに調理を進めることができる。

特開２００２−２９０９５５号公報

上述したシステムが提案される一方で、従来通り、テレビの料理番組をレコーダに録画しておき、その番組で紹介される調理工程の動画を見ながら調理を行う人も多い。しかしながら、料理番組を見ながら調理を行う場合、以下の課題がある。

図９は、従来の課題を説明する図であり、ユーザの調理の進行と、動画（料理番組）の再生の進行との関係の一例を示す図である。一般的に、料理番組では、非加熱の調理工程（例えば、材料を切る工程など。以下、非加熱工程という）の時間が短縮されることが多い。よって、図９に示すように、動画の再生開始とともに調理を開始した場合、ユーザが所定の非加熱工程を実行している最中に、加熱の調理工程（例えば、材料を煮る工程など。以下、加熱工程という）の動画に切り替わってしまうことが起こる。このようにユーザの進行より速く動画が進んでしまうと、ユーザは、動画を一時停止する操作を行い、実行中の工程が終了したら動画を再生する操作を行うことなる。すなわち、動画の操作で調理が中断してしまい、スムーズに調理を進めることができないという問題がある。

本発明の目的は、動画の操作で調理が中断することなく、動画の進行に沿って調理を進めることができる端末装置、端末装置の制御方法およびコンピュータプログラムを記録した記録媒体を提供することである。

本開示の一態様に係る端末装置は、複数の調理工程を順に紹介する動画と、前記複数の調理工程にそれぞれ対応した前記動画のチャプタに関するメタデータとを取得する取得部と、前記取得部が受信した前記動画と前記メタデータとを関連付けて記憶する関連付け記憶部と、前記関連付け記憶部から前記動画および前記メタデータを読み出し、前記動画の進行に合わせてユーザにより実行される調理工程が非加熱工程であるか否か、および、前記実行される調理工程が完了したか否かについて認識した結果を示す認識結果情報を受け取り、前記メタデータおよび前記認識結果情報に基づいて、前記動画の再生を制御する動画再生制御部と、を具備し、前記動画再生制御部は、所定の非加熱工程を紹介するチャプタの再生中であって、前記非加熱工程の実行が完了していない場合、再生中の前記チャプタをリピートまたは一時停止し、前記非加熱工程の実行が完了すると次のチャプタを再生する。

なお、これらの包括的または具体的な側面は、システム、方法、および、コンピュータプログラムで実現されてもよく、システム、装置、方法、およびコンピュータプログラムの任意な組み合わせで実現されてもよい。

本開示によれば、ユーザは動画の操作で調理が中断することなく、動画の進行に沿って調理を進めることができる。

図１は、本開示の実施の形態に係る動画制御システムの構成の一例を示すブロック図である。 図２は、本開示の実施の形態に係る動画再生制御動作の一例を示すフローチャートである。 図３は、本開示の実施の形態に係る動画の構成の一例を示す図である。 図４は、本開示の実施の形態に係るメタデータ構成の一例を示す図である。 図５は、本開示の実施の形態の効果について説明する図である。 図６は、本開示の変形例４に係る動画の表示例を示す図である。 図７は、本開示の実施の形態に係る端末装置の機能をソフトウェアにより実現するコンピュータのハードウェア構成の一例を示す図である。 図８は、本開示の実施の形態に係る動画制御システムの構成の一例を示すブロック図である。 図９は、従来の動画制御システムにおけるユーザの調理の進行と動画の再生の進行との関係を示す図である。

本開示に係る端末装置は、複数の調理工程を順に紹介する動画と、前記複数の調理工程にそれぞれ対応した前記動画のチャプタに関するメタデータとを取得する取得部と、前記取得部が受信した前記動画と前記メタデータとを関連付けて記憶する関連付け記憶部と、前記関連付け記憶部から前記動画および前記メタデータを読み出し、前記動画の進行に合わせてユーザにより実行される調理工程が非加熱工程であるか否か、および、前記実行される調理工程が完了したか否かについて認識した結果を示す認識結果情報を受け取り、前記メタデータ、および前記認識結果情報に基づいて、前記動画の再生を制御する動画再生制御部と、を具備し、前記動画再生制御部は、所定の非加熱工程を紹介するチャプタの再生中であって、前記非加熱工程の実行が完了していない場合、再生中の前記チャプタをリピートまたは一時停止し、前記非加熱工程の実行が完了すると次のチャプタを再生する。

このように構成することにより、ユーザは、動画の操作で調理が中断することなく、動画の進行に沿って調理を進めることができる。

本開示に係る端末装置は、前記動画の進行に合わせてユーザにより実行される調理工程が非加熱工程であるか否か、および、前記実行される調理工程が完了したか否かを認識する工程認識部を備え、前記認識結果情報は、前記工程認識部により前記動画再生制御部へ出力される。

このように構成することにより、端末装置は、ユーザにより実行される調理工程が非加熱工程であるか否か、および、前記実行される調理工程が完了したか否かを認識できる。

本開示に係る端末装置は、前記端末装置と接続する外部装置から前記認識結果情報を取得する認識結果取得部を備え、前記認識結果取得部は、前記取得した認識結果情報を前記動画再生制御部へ出力する。

このように構成することにより、端末装置の外部から認識結果情報を取得できる。

本開示に係る端末装置は、前記メタデータには、前記チャプタのそれぞれに対応付けて前記調理工程に関する情報が登録されており、前記動画再生制御部は、所定のチャプタのリピート中または一時停止中、前記調理工程に関する情報に基づいて、次のチャプタで紹介される調理工程に関する情報をテロップまたは静止画で表示する。

このように構成をすることにより、ユーザは、前もって次の工程を認識することができる。

本開示に係る端末装置は、前記動画再生制御部は、所定のチャプタのリピート中、前記リピート中である旨を示す表示を行う。

このように構成をすることにより、ユーザは、再生中のチャプタがリピート再生であることを認識できる。

本開示に係る端末装置は、前記メタデータには、前記チャプタのいずれかに対応付けて、材料と分量の一覧表示画像の表示時点を示す情報が登録されており、前記動画再生制御部は、前記一覧表示画像の表示を要求された場合、前記一覧表示画像の表示時点を示す情報に基づいて、前記表示時点へジャンプして前記一覧表示画像を表示する。

このように構成をすることにより、ユーザは、一覧表示画像を探すために早送りまたは巻き戻しを行うことなく、容易に材料の一覧表示を見ることができる。

本開示に係る端末装置は、前記メタデータには、所定の加熱工程を紹介するチャプタに対応付けて、材料が所定の状態になるまで加熱する旨を示す情報が登録されており、前記動画再生制御部は、前記所定の加熱工程を紹介するチャプタを再生する際、前記材料が所定の状態になるまで加熱する旨を示す情報に基づいて、前記材料が所定の状態になったことを示す認識結果情報を受け取るまで、前記所定の加熱工程を紹介するチャプタの再生を、リピートする、一時停止する、または、スロー再生にする。

このように構成をすることにより、チャプタで紹介される加熱工程および、ユーザが実行する加熱工程において、火加減、調理器具、材料の量または大きさなどの差異があっても、ユーザによる加熱工程の実行の終了と、加熱工程を紹介するチャプタの再生終了と同じタイミングとすることができる。

本開示に係る端末装置は、前記動画再生制御部は、所定の加熱工程を紹介するチャプタの再生中に、前記端末装置とネットワーク通信可能な装置から発信される所定の着信を検出した場合、または、調理が中断された旨を示す認識結果情報を受信した場合、前記所定の加熱工程を紹介するチャプタの再生を一時停止する。

このように構成をすることにより、ユーザが調理を中断したとき、特別な操作入力を行うことなく、所定の加熱工程を紹介するチャプタの再生を一時停止することができる。

本開示に係る端末装置は、前記動画再生制御部は、前記調理が再開されてから、材料の温度が前記調理の中断時の温度に戻るまでの間、前記所定の加熱工程を紹介するチャプタの再生を、リピートする、一時停止する、または、スロー再生にするように制御する。

このように構成をすることにより、ユーザは、動画再生および調理を中断した後に再開する場合、加熱を中断していた時間における材料の温度低下を気にすることなく、調理を再開できる。

本開示の制御方法は、端末装置の制御方法であって、前記端末装置のコンピュータに対して、複数の調理工程を順に紹介する動画と、前記複数の調理工程にそれぞれ対応した前記動画のチャプタに関するメタデータとを取得させ、前記動画と前記メタデータとを関連付けて所定の記憶部に記憶させ、前記記憶部から前記動画および前記メタデータを読み出させ、前記動画の進行に合わせてユーザにより実行される調理工程が非加熱工程であるか否か、および、前記実行される調理工程が完了したか否かについて認識した結果を示す認識結果情報を受け取らせ、前記メタデータおよび前記認識結果情報に基づいて、前記動画の再生を制御させ、前記動画の再生の制御は、所定の非加熱工程に対応したチャプタの再生中に前記非加熱工程の実行が完了していない場合、再生中の前記チャプタをリピートまたは一時停止させ、前記非加熱工程の実行が完了すると次のチャプタを再生させる。

このように構成することにより、ユーザは、動画の操作で調理が中断することなく、動画の進行に沿って調理を進めることができる。

本開示のコンピュータプログラムを記録した記録媒体は、コンピュータが読み取り可能なコンピュータプログラムを記録した非一時的記録媒体であって、前記コンピュータプログラムは、前記コンピュータに対して、複数の調理工程を順に紹介する動画と、前記複数の調理工程にそれぞれ対応した前記動画のチャプタに関するメタデータとを取得させ、前記受信部が受信した前記動画と前記メタデータとを関連付けて所定の記憶部に記憶させ、前記記憶部から前記動画および前記メタデータを読み出させ、前記動画の進行に合わせてユーザにより実行される調理工程が非加熱工程であるか否か、および、前記実行される調理工程が完了したか否かについて認識した結果を示す認識結果情報を受け取らせ、前記メタデータおよび前記認識結果情報に基づいて、前記動画の再生を制御させ、前記動画の再生の制御では、所定の非加熱工程に対応したチャプタの再生中に前記非加熱工程の実行が完了していない場合、再生中の前記チャプタをリピートまたは一時停止させ、前記非加熱工程の実行が完了すると次のチャプタを再生させる。

このように構成することにより、ユーザは、動画の操作で調理が中断することなく、動画の進行に沿って調理を進めることができる。

（実施の形態）
以下、本開示の実施の形態について、図面を参照して詳細に説明する。

なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。

図１は、本開示の実施の形態に係る動画制御システムの構成の一例を示すブロック図である。図１に示すように、この動画制御システムは、端末１０（本開示の端末装置の一例）、メタデータ配信サーバ２０、レコーダ３０、入力装置４０を有する。

図１において、端末１０とメタデータ配信サーバ２０は、例えばインターネットを介して接続される。なお、端末１０とメタデータ配信サーバ２０とを接続するネットワークは、インターネット以外でもよい。また、上記ネットワークは、無線ネットワークでもよいし、有線ネットワークでもよいし、有線ネットワークと無線ネットワークとが混在したネットワークでもよい。同様に、端末１０とレコーダ３０、および、端末１０と入力装置４０は、それぞれ、有線ネットワーク、無線ネットワーク、または、それらが混在したネットワークを介して接続される。

端末１０は、例えば、スマートフォンまたはタブレットなどの情報処理装置である。端末１０は、動画取得部１１、メタデータ取得部１２、操作部１３、工程認識部１４、動画再生部１５、表示部１６、制御部１７を備える。

動画取得部１１は、レコーダ３０から送信された動画を受信する通信インターフェースである。動画取得部１１は、受信した動画を制御部１７の関連付け記憶部１７１へ出力する。

ここで、動画は、例えば、テレビで放映され、レコーダ３０に録画された料理番組（複数の調理工程を順番に動画で紹介する番組）である。動画の具体的な例については図３を用いて後述する。

また、レコーダ３０は、テレビ番組などの動画を録画可能な装置であり、例えば、ハードディスクレコーダ、ブルーレイディスクレコーダなどが挙げられる。

メタデータ取得部１２は、メタデータ配信サーバ２０から送信されたメタデータを受信する通信インターフェースである。メタデータ取得部１２は、受信したメタデータを制御部１７の関連付け記憶部１７１へ出力する。

ここで、メタデータは、動画ごとに存在し、その動画を構成するチャプタに関する情報である。メタデータの具体的な例については図４を用いて後述する。

また、メタデータ配信サーバ２０は、メタデータを記憶するメタデータ記憶部２１と、メタデータ記憶部２１のメタデータを端末１０へ送信するメタデータ送信部２２とを有する。メタデータ記憶部２１はメモリまたはハードディスクなどの記憶デバイスであり、メタデータ送信部２２はインターネット通信を可能とする通信インターフェースである。

操作部１３は、ユーザの操作を受け付ける、ボタン、タッチパネルなどの入力デバイスである。操作部１３は、ユーザの操作を受け付けると、その操作内容を示す情報を制御部１７の動画再生制御部１７２へ出力する。

ここで、ユーザの操作としては、所望の動画を選択する操作、選択した動画の再生を指示する操作（以下、再生指示操作という）、再生中の動画の停止または一時停止を指示する操作（以下、再生停止操作、再生一時停止操作という）などが挙げられる。

工程認識部１４は、入力装置４０から実行中工程情報を受信し、その情報に基づいて、ユーザが実行している調理工程（以下、実行中工程という）を認識するプロセッサなどの制御デバイスである。具体的には、工程認識部１４は、実行中工程が加熱工程または非加熱工程のどちらであるか、および、その実行中工程が完了したか否かを認識する。例えば、工程認識部１４は、調理中のユーザの手元が撮影された画像の画像認識により、実行中工程について認識する。また、例えば、工程認識部１４は、調理中のユーザの発した音声（例えば、どんな調理工程を開始するのかを示す音声、または、どんな調理工程を完了したのかを示す音声）の音声認識により、実行中工程について認識する。あるいは、例えば、調理に使用されている調理機器のスイッチのオン／オフにより、実行中工程について認識する。そして、工程認識部１４は、認識結果を示す認識結果情報を端末１０の動画再生制御部１７２へ出力する。

ここで、加熱工程とは、加熱を伴う調理工程であり、例えば、煮る、炒める、焼く、蒸す、揚げるなどが挙げられる。一方、非加熱工程とは、加熱を伴わない調理工程であり、例えば、洗う、剥く、切る、擂るなどが挙げられる。

また、実行中工程情報とは、実行中工程に関する情報であり、例えば、調理中のユーザの手元を撮影した画像、調理中のユーザが発した音声、調理に使用されている調理機器の動作状態を示す情報などが挙げられる。

また、入力装置４０は、例えば、調理中のユーザの手元を撮影するカメラ、調理中のユーザの音声を拾うマイク、調理に使用されている調理機器（例えば、電子レンジ、電磁調理器など）などが挙げられる。

動画再生部１５は、制御部１７から入力した動画の再生を行い、表示部１６へ表示させるプロセッサなどの制御デバイスである。

表示部１６は、再生された動画を表示する、ディスプレイなどの表示デバイスである。

制御部１７は、動画再生部１５で行われる動画の再生を制御するプロセッサなどの制御デバイスである。制御部１７は、関連付け記憶部１７１、動画再生制御部１７２を有する。

例えば、関連付け記憶部１７１は、１または複数のメモリ、又は書き込む可能な記録媒体などの記憶装置である。

関連付け記憶部１７１は、動画取得部１１で取得された動画、および、メタデータ取得部１２で取得されたメタデータを入力し、それらを関連付けて記憶する。この関連付けは、例えば、動画およびメタデータのそれぞれに付与された識別情報（例えば、後述する動画ＩＤ）に基づいて行われる。なお、動画およびメタデータの具体的な例については、それぞれ、図３および図４を用いて後述する。

動画再生制御部１７２は、操作部１３から所定の動画の再生指示操作を示す情報を入力すると、その動画とメタデータを関連付け記憶部１７１から読み出す。そして、動画再生制御部１７２は、読み出した動画を動画再生部１５へ出力し、その再生を指示する。

上記再生指示の後、動画再生制御部１７２は、メタデータに基づいて、再生中の動画の再生時間がチャプタの境界の時間に到達したか否かを判定する。

上記判定の結果、再生時間がチャプタの境界の時間に到達した場合、動画再生制御部１７２は、工程認識部１４から受け取った認識結果情報に基づいて、動画の再生を制御する。

例えば、認識結果情報において実行中工程が加熱工程である旨が示されている場合、動画再生制御部１７２は、次のチャプタを再生するように、動画再生部１５へ指示する。

また、例えば、認識結果情報において実行中工程が非加熱工程であり、かつ、その工程が完了した旨が示されている場合、動画再生制御部１７２は、次のチャプタを再生するように、動画再生部１５へ指示する。

また、例えば、認識結果情報において実行中工程が非加熱工程であり、かつ、その工程が完了していない旨が示されている場合、動画再生制御部１７２は、次のチャプタへ進まずに再生中のチャプタをリピートまたは一時停止するように、動画再生部１５へ指示する。

次に、本実施の形態に係る端末１０の動画再生制御処理の処理手順の一例について説明する。図２は、端末１０の動画再生制御処理の処理手順の一例を示すフローチャートである。

ステップＳ１０において、動画取得部１１は、レコーダ３０に録画されている動画をレコーダ３０から取得する。

ここで、動画取得部１１が取得する動画の一例について説明する。図３は、動画の構成例を示す図である。

図３に示すように、動画は、所定の料理の９つの調理工程、すなわち工程１から工程９までが順番に紹介される構成である。９つの調理工程のうち、工程１〜４は非加熱工程であり、工程５〜９は加熱工程である。そして、この動画は、後述するメタデータに基づいて所定の時間毎に区切られる。このように区切られた動画の単位を「チャプタ」という。図３では、チャプタの境界をそれぞれ示している。チャプタの境界は、換言すれば、チャプタの開始時間と言える。本実施の形態では例として、各チャプタは、各工程に１対１に対応するものとする。すなわち、工程１に対応する動画を「チャプタ１」といい、これと同様に、工程２〜９に対応する動画もそれぞれ「チャプタ２」〜「チャプタ９」という。

以上、動画取得部１１が取得する動画の一例について説明した。以下、図２の説明に戻る。

ステップＳ１１において、メタデータ取得部１２は、メタデータ配信サーバ２０に記憶されているメタデータをメタデータ配信サーバ２０から取得する。

ここで、メタデータ取得部１２が取得するメタデータの一例について説明する。図４は、メタデータの構成例を示す図である。

図４に示すように、メタデータは、動画ＩＤ、時間、チャプタ内容、工程種別、関連情報の各情報を含む。

動画ＩＤは、レコーダ３０から端末１０へ送信される動画を識別可能な情報である。

時間は、チャプタの開始時間（例えば、時、分、秒）を示す情報である。

チャプタ内容は、チャプタの内容を示す情報である。本実施の形態では、上述したとおり、工程１〜９に対応して予めチャプタが分けられている。よって、チャプタ内容は、工程の内容（例えば、「牛肉切る」等）を含んでもよい。

工程種別は、工程の種別（例えば、加熱工程／非加熱工程）を示す情報である。

関連情報は、工程に関連する情報である。関連情報は、例えば、工程で使用する材料の詳細（例えば、材料の種類および分量）、工程で使用する材料の切り方の詳細（例えば、切り方のコツ）、工程における加熱条件の詳細（例えば、加熱の温度、加熱による材料の変化）などが挙げられる。

以上、メタデータ取得部１２が取得するメタデータの一例について説明した。以下、図２の説明に戻る。

ステップＳ１２において、制御部１７の関連付け記憶部１７１は、動画取得部１１で取得された動画と、メタデータ取得部１２で取得されたメタデータとを関連付けて記憶する。例えば、関連付け記憶部１７１は、動画に付与された動画ＩＤと、メタデータに付与された動画ＩＤとを照合し、それらが一致した場合、動画とメタデータを関連付ける。

ステップＳ１３において、制御部１７の動画再生制御部１７２は、操作部１３で受け付けられた再生指示操作に基づいて関連付け記憶部１７１から動画およびメタデータを読み出し、読み出した動画の再生を動画再生部１５へ指示する。これにより、動画再生部１５において動画の再生が開始され、表示部１６において、再生された動画に対応する内容の表示が開始される。例えば、工程１の動画（チャプタ１）の再生が開始される。ここで、ユーザは、動画の再生開始と同時に調理を開始し、動画の進行に合わせて調理を進行する。よって、再生されるチャプタで紹介される工程と、実行中工程とは一致する。

また、動画再生制御部１７２は、チャプタの再生中、自動的にまたはユーザからの要求に応じて、メタデータの関連情報（図４参照）を表示部１６に表示するように、動画再生部１５へ指示してもよい。関連情報の内容は、例えば、ユーザの視認を妨げない位置において、静止画またはテロップで表示される。

ステップＳ１４において、動画再生制御部１７２は、メタデータに基づいて、チャプタの再生時間がチャプタの境界の時間に到達したか否かを判定する。例えば、動画再生制御部１７２は、チャプタ１が再生中の場合、チャプタ１の再生時間がチャプタ１とチャプタ２の境界の時間（すなわち、チャプタ２の開始時間）に到達したか否かを判定する。このステップＳ１４の判定は、チャプタの再生時間がチャプタの境界の時間に到達するまで繰り返される（ステップＳ１４：ＮＯ）。そして、判定の結果、チャプタの再生時間がチャプタの境界の時間に到達すると（ステップＳ１４：ＹＥＳ）、フローはステップＳ１５へ進む。

ステップＳ１５において、動画再生制御部１７２は、工程認識部１４から受け取った認識結果情報に基づいて、実行中工程が非加熱工程であるか否かを判定する。

ステップＳ１５の判定の結果、実行中工程が非加熱工程ではない場合（ステップＳ１５：ＮＯ）、フローはステップＳ１８へ進む。その一方、実行中工程が非加熱工程である場合（ステップＳ１５：ＹＥＳ）、フローはステップＳ１６へ進む。

ステップＳ１６において、動画再生制御部１７２は、工程認識部１４から受け取った認識結果情報に基づいて、実行中工程が完了したか否かを判定する。

ステップＳ１６の判定の結果、実行中工程が完了した場合（ステップＳ１６：ＹＥＳ）、フローはステップＳ１８へ進む。その一方、実行中工程が完了していない場合（ステップＳ１６：ＮＯ）、フローはステップＳ１７へ進む。

ステップＳ１７において、動画再生制御部１７２は、再生中のチャプタをリピートまたは一時停止するように、動画再生部１５へ指示する。これにより、動画再生部１５において、動画の再生が制御される。そして表示部１６において、再生が制御された動画が表示される。例えば、チャプタ２へ進まずに、チャプタ１がリピート再生される、または、チャプタ２の開始時点で一時停止される。なお、リピート再生とは、所定のチャプタだけを繰り返し再生することである。

ステップＳ１７の制御の後、フローはステップＳ１６へ戻る。すなわち、ユーザが実行中工程を完了するまで、リピート再生または一時停止が行われる。

ステップＳ１８において、動画再生制御部１７２は、次のチャプタを再生するように、動画再生部１５へ指示する。これにより、動画再生部１５において、次のチャプタの再生（例えば、チャプタ２の再生）が開始される。

図５は、本実施の形態の効果を説明する図であり、ユーザの調理の進行と、動画（料理番組）の再生の進行との関係の一例を示す図である。図５に示すように、本実施の形態に係る端末１０によれば、非加熱工程のチャプタの再生中であってその非加熱工程の実行が完了していない場合、そのチャプタをリピートまたは一時停止し、工程の実行が完了すると次のチャプタの再生を開始することを特徴とする。これにより、動画の操作で調理が中断することなく、動画の進行に沿って調理を進めることができる。

以上、本開示の実施の形態について説明してきたが、本開示の実施の形態はこれに限定されるものではない。以下、本開示の実施の形態の変形例について説明する。

＜変形例１＞
例えば、上記実施の形態では、メタデータはネットワークを介して配信され、端末１０において動画と関連付けられるとしたが、これに限定されない。例えば、メタデータは、メタデータ配信サーバ２０、レコーダ３０、または、図示しないその他の装置において動画に付与されてもよい。よって、本変形例によれば、端末１０において、動画とメタデータとを関連付ける処理を削減することができる。

＜変形例２＞
また、例えば、上記実施の形態では、動画制御（リピートまたは一時停止）を実行するか否かの判断用フラグとしてメタデータに工程種別を予め含むとしたが、これに限定されない。例えば、上記フラグは、メタデータの他の項目（例えば、チャプタ内容）に基づいて付与されてもよい。例えば、関連付け記憶部１７１は、図３のメタデータ（工程種別を除いたもの）を取得すると、別途用意されたテーブル（例えば、チャプタ内容ごとに加熱工程であるか非加熱工程であるかが定義された情報）を参照し、取得したメタデータのチャプタごとに工程種別を判定し、その結果をメタデータに付与してもよい。よって、本変形例によれば、メタデータ配信サーバ２０から端末１０へ配信されるデータ量を削減できる。あるいは、上記フラグは、動画取得部１１による動画の判定に基づいて付与されてもよい。例えば、動画取得部１１は、所定の動画を取得すると、その動画の映像解析を行う。この映像解析は、例えば、別途用意されたテーブル（例えば、動画に含まれる音声パターンおよび／または映像パターンごとに加熱工程であるか非加熱工程であるかが定義された情報）と、取得した動画とのパターンマッチングにより行われる。映像解析の結果、動画取得部１１は、取得した動画が非加熱工程であった場合、その動画に動画制御を実行する旨のフラグを付与する一方で、取得した動画が加熱工程であった場合、その動画に動画制御を実行しない旨のフラグを付与する。このように動作することで、メタデータの管理（すなわち、メタデータ配信サーバ２０）が不要になるという効果を奏する。

＜変形例３＞
また、例えば、上記実施の形態では、所定のチャプタの再生中に、そのチャプタの関連情報を表示してもよいとしたが、これに限定されない。例えば、動画再生制御部１７２は、所定のチャプタを再生中（リピート再生中または一時停止中を含む）、次のチャプタで紹介される調理工程に関する情報（例えば、メタデータに含まれているチャプタ内容または関連情報）をテロップまたは静止画で表示するように制御してもよい。よって、本変形例によれば、ユーザは、前もって次の工程を認識することができる。

＜変形例４＞
また、例えば、上記実施の形態において、リピート再生中にその旨を示す表示を行うようにしてもよい。例えば、動画再生制御部１７２は、リピート再生中である旨を示す文字などを表示するように制御してもよいし、または、動画の色相、彩度、輝度を通常再生のときと異ならせて表示するように制御してもよい。図６は、例えば、前者の例を示す図である。図６に示すように、端末１０の表示部１６には動画再生部１５によりリピート再生された動画が表示されており、その動画中に「リピート中」という文字列１６１が表示されている。よって、本変形例によれば、ユーザは、再生中のチャプタがリピート再生であることを認識できる。

＜変形例５＞
また、例えば、上記実施の形態において、ユーザからの要求に応じて一覧表示画像へジャンプする機能を実現してもよい。一覧表示画像とは、調理に使用される材料と分量が一覧で表示される画像である。この一覧表示画像の表示時点がメタデータの関連情報に登録されている場合、動画再生制御部１７２は、ユーザから一覧表示画像の表示要求を受けると、表示時点へジャンプして一覧表示画像を表示するように制御してもよい。よって、本変形例によれば、ユーザは、一覧表示画像を探すために早送りまたは巻き戻しを行うことなく、容易に材料の一覧表示を見ることができる。また、上記一覧表示画像は所定時間表示されるが、その所定時間が経過すると、動画再生制御部１７２は、所定時間経過後の時点の動画を表示するように制御してもよい。これにより、ユーザは、一覧表示画像の表示後に、適切な時点の動画を見ることができる。なお、本変形例では、一覧表示画像の表示時点へジャンプする例としたが、一覧表示画像の画像データをメタデータに登録しておき、それを表示するようにしてもよい。これにより、ジャンプすることなく、一覧表示画像を表示できる。

＜変形例６＞
また、例えば、上記実施の形態において、所定の加熱工程のチャプタを再生する際、加熱されている材料の状態（例えば、材料の色）が変化するまで、そのチャプタの再生を制御してもよい。この制御は、例えば、リピート再生、一時停止、スロー再生のいずれかである。例えば、メタデータにおいて、「炒める」工程を紹介するチャプタ５に対応して「材料の色が満遍なく変化するまで加熱する」旨の関連情報が登録されている場合、動画再生制御部１７２は、材料の色が満遍なく変化したことを示す認識結果情報を受け取るまで、チャプタ５の再生を制御するようにしてもよい。ここでいう認識結果情報は、例えば、工程認識部１４において材料の色の変化が画像認識されることで得られた情報である。なお、動画再生制御部１７２は、上記制御とともに、関連情報（材料の色が満遍なく変化するまで加熱する旨）を画面表示するように制御してもよい。加熱工程では、火加減、調理器具、材料の量または大きさなどの差異によって、必ずしも動画と同じ時間で工程が終了しない場合があるが、本変形例によれば、上記差異があっても、ユーザによる加熱工程の実行の終了と、加熱工程を紹介する動画（または、チャプタ）の再生終了とを同じタイミングとするとができる。更に、加熱工程の次の調理工程がある場合、ユーザは、次の調理工程を紹介する動画（または、チャプタ）の進行に沿って、速やかに調理を進めることができる。

＜変形例７＞
また、例えば、上記実施の形態において、動画再生制御部１７２は、所定の調理工程を紹介するチャプタの再生中に、ネットワークを介して端末１０と接続された機器（または装置）から発信される信号を受信した場合、チャプタの再生を一時停止してもよい。ここでいう信号は、例えば、電話機からの着信を示す信号、パーソナルコンピュータからのメールの受信を示す信号、ドアホンからの呼び出しを示す信号が挙げられる。

このように構成をすることにより、例えば、ユーザが加熱工程の実行を中断したとき、特別な操作入力を行うことなく、加熱工程を紹介するチャプタの再生を一時停止することができる。

また、このように構成をすることにより、例えば、ユーザが非加熱工程の実行を中断したとき、特別な操作入力を行うことなく、非加熱工程を紹介するチャプタの再生を一時停止することができる。

または、例えば、動画再生制御部１７２は、所定の調理工程を紹介するチャプタの再生中に、ユーザによる調理工程の実行が中断された旨を示す認識結果情報を受信した場合、チャプタの再生を一時停止してもよい。ここでいう認識結果情報は、例えば、工程認識部１４において、ユーザの手が映らなくなったことが画像認識されることで得られた情報、または、調理機器がオフになったことが検出されることで得られた情報である。

このように構成をすることにより、例えば、ユーザが加熱工程の実行を中断したとき、特別な操作入力を行うことなく、加熱工程を紹介するチャプタの再生を一時停止することができる。

また、このように構成をすることにより、例えば、ユーザが非加熱工程の実行を中断したとき、特別な操作入力を行うことなく、非加熱工程を紹介するチャプタの再生を一時停止することができる。

以下、上述したチャプタの再生が一時停止されたときにおいて、ユーザの操作により加熱が停止された場合の処理について説明する。なお、加熱の停止は、ユーザの操作によってではなく、制御部１７が加熱を停止するように調理機器を制御することで行われてもよい。

すなわち、動画再生制御部１７２は、チャプタの一時停止時から調理再開までに低下した材料の温度が再加熱により元に戻るまでの間、上記一時停止したチャプタの再生を制御（例えば、リピート再生、一時停止、スロー再生のいずれか）するようにしてもよい。ここで、この動作の具体的な手順について以下に説明する。以下では、加熱工程が「煮る」工程である場合を例として説明する。

まず、動画再生制御部１７２は、「煮る」工程の実験により取得されたデータとして、加熱時間に対する材料の温度上昇の割合および加熱停止時からの経過時間に対する材料の温度低下の割合を示すデータ（以下、「変化率データ」という）を取得する。

次に、動画再生制御部１７２は、チャプタ７の再生を開始すると、その再生開始時（換言すれば、ユーザが「煮る」工程を開始した時点）からの経過時間Ｔ１を計測する。

次に、動画再生制御部１７２は、上述した電話の着信等または調理の中断を示す認識結果情報に基づいて調理の中断を検出すると、チャプタ７の再生を一時停止するように制御する。また、このとき、動画再生制御部１７２は、経過時間Ｔ１を記憶するとともに、チャプタ７の一時停止時（換言すれば、ユーザが「煮る」工程を中断した時点）からの経過時間Ｔ２を計測する。

次に、動画再生制御部１７２は、加熱前の材料の温度（例えば、メタデータの関連情報に予め登録されている）と、変化率データと、記憶した経過時間Ｔ１とに基づいて、チャプタ７の一時停止時における材料の温度Ｃ１を算出する。

次に、動画再生制御部１７２は、調理の再開を示す認識結果情報に基づいて調理の再開を検出すると、経過時間Ｔ２を記憶する。ここでいう認識結果情報は、例えば、工程認識部１４において、ユーザの手が映ったことが画像認識されることで得られた情報、または、調理機器がオンになったことが検出されることで得られた情報である。

次に、動画再生制御部１７２は、記憶した経過時間Ｔ２と、温度Ｃ１と、変化率データとに基づいて、「煮る」工程再開時（再加熱開始時）における材料の温度Ｃ２を算出する。

次に、動画再生制御部１７２は、温度Ｃ１と、温度Ｃ２と、変化率データとに基づいて、時間Ｔ３を算出する。時間Ｔ３は、温度Ｃ２を温度Ｃ１に戻すために必要な加熱時間である。

次に、動画再生制御部１７２は、時間Ｔ３の間、チャプタ７の一時停止を継続するように制御する。あるいは、動画再生制御部１７２は、時間Ｔ３の間、チャプタ７のリピート再生またはスロー再生を行うように制御してもよい。

本変形例によれば、ユーザは、動画再生および調理を中断した後に再開する場合、加熱を中断していた時間における材料の温度低下を気にすることなく、調理を再開できる。

＜変形例８＞
また、例えば、上記実施の形態では、動画は、テレビで放映され、レコーダ３０に録画された料理番組としたが、これに限定されない。すなわち、動画の種類としては、複数の調理工程を順番に動画で紹介するものであれば、例えば、インターネット等（例えば、ビデオオンデマンド）で配信される動画、または、ユーザが撮影した動画であってもよい。また、動画の保存先としては、レコーダ３０に限定されず、例えば、スマートフォン、タブレット等（端末１０、または、端末１０以外の端末）であってもよい。

＜変形例９＞
また、例えば、上記実施の形態に係る端末１０の機能は、コンピュータプログラムにより実現され得る。

図７は、端末１０の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ１３００は、キーボード、マウス、タッチパッドなどの入力装置１３０１、ディスプレイ、スピーカなどの出力装置１３０２、ＣＰＵ（Central Processing Unit）１３０３、ＲＯＭ（Read Only Memory）１３０４、ＲＡＭ（Random Access Memory）１３０５、ハードディスク装置、ＳＳＤ（Solid State Drive）などの記憶装置１３０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置１３０７、ネットワークを介して通信を行う送受信装置１３０８を備え、各部はバス１３０９により接続される。

そして、読取装置１３０７は、上記端末１０の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１３０６に読み取ったプログラムを記憶する。あるいは、送受信装置１３０８が、ネットワークに接続されたサーバ装置と通信を行い、端末装置１０は、例えば、サーバ装置から上記端末１０の機能を実現するためのプログラムをダウンロードし、記憶装置１３０６に記憶する。

そして、ＣＰＵ１３０３が、記憶装置１３０６に記憶されたプログラムをＲＡＭ１３０５にコピーし、そのプログラムに含まれる命令をＲＡＭ１３０５から順次読み出して実行することにより、端末１０の機能が実現される。

＜変形例１０＞
また、例えば、上記実施の形態では、動画取得部１１、メタデータ取得部１２、制御部１７、工程認識部１４を端末１０が備えるとしたが、これに限定されない。例えば、上記各部は、端末１０と通信可能なサーバ装置に備えられてもよい。

＜変形例１１＞
また、例えば、上記実施の形態では、工程認識部１４を端末１０が備えるとしたが、これに限定されない。図８は、本開示の動画制御システムの構成の一例を示すブロック図である。図８において、図１と同一の符号を付したものは、図１に示したものと同一またはこれに相当するものであるため、ここでは説明を省略する。

図１に示す構成と異なるのは、工程認識部１４ａを端末１０とは別の外部の装置に設け、工程認識部１４ａで認識された結果を取得する工程情報取得部２０１４を端末装置１０に設けた点である。工程認識部１４ａは、入力装置４０から実行中工程情報を受信し、その情報に基づいて、ユーザが実行している調理工程（以下、実行中工程という）を認識するプロセッサなどの制御デバイスである。具体的には、工程認識部１４ａは、実行中工程が加熱工程または非加熱工程のどちらであるか、および、その実行中工程が完了したか否かを認識する。

工程認識部１４ａの詳細な動作（工程認識処理）は、工程認識部１４と同じであるのでここでは、詳細な説明を省略する。

外部の装置とは、例えば、カメラやマイクなどを具備したヘッドマウントディスプレイ（HMD）などである。例えば、ヘッドマウントディスプレイ（HMD）は、入力装置４０および工程認識部１４ａを備える。

端末１０とHMD（または工程認識部１４ａ）は、それぞれ、有線ネットワーク、無線ネットワーク、または、それらが混在したネットワークを介して接続される。

このように構成することにより、例えば、工程認識処理は、端末１０とは別の装置に対応するヘッドマウントディスプレイ（HMD）が備える工程認識部１４ａで行われる。HMDは、工程認識部１４ａで認識された結果を示す認識結果情報を端末１０へ送信（または出力）する。端末１０の工程情報取得部２０１４は、HMDから送信された認識結果情報を取得（または受信）する。

工程情報取得部２０１４は、取得した認識結果情報を動画再生制御部１７２へ出力する。動画再生制御部１７２は、工程情報取得部２０１４から受け取った認識結果情報に基づいて、動画の再生を制御する。

本変形例によれば、ユーザは、端末１０とは別の装置が備える工程認識部１４ａにより認識された結果を示す認識結果情報を利用することができるので、端末１０は、図１に示した工程認識部１４を備える必要がなくなる。よって、端末１０の構成を簡単にすることができる。

本開示は、動画の内容に基づいてその動画の再生を制御する端末装置、制御方法およびコンピュータプログラムを記録した記録媒体に好適である。

１０ 端末
１１ 動画取得部
１２ メタデータ取得部
１３ 操作部
１４、１４ａ 工程認識部
１５ 動画再生部
１６ 表示部
１７ 制御部
２０ メタデータ配信サーバ
２１ メタデータ記憶部
２２ メタデータ送信部
３０ レコーダ
４０ 入力装置
１６１ 文字列
１７１ 関連付け記憶部
１７２ 動画再生制御部
２０１４ 工程情報取得部

Claims (11)

1. 複数の調理工程を順に紹介する動画と、前記複数の調理工程にそれぞれ対応した前記動画のチャプタに関するメタデータとを取得する取得部と、
   前記取得部が受信した前記動画と前記メタデータとを関連付けて記憶する関連付け記憶部と、
   前記関連付け記憶部から前記動画および前記メタデータを読み出し、前記動画の進行に合わせてユーザにより実行される調理工程が非加熱工程であるか否か、および、前記実行される調理工程が完了したか否かについて認識した結果を示す認識結果情報を受け取り、前記メタデータ、および前記認識結果情報に基づいて、前記動画の再生を制御する動画再生制御部と、を具備し、
   前記動画再生制御部は、
   所定の非加熱工程を紹介するチャプタの再生中であって、前記非加熱工程の実行が完了していない場合、再生中の前記チャプタをリピートまたは一時停止し、前記非加熱工程の実行が完了すると次のチャプタを再生する、
   端末装置。
2. 前記動画の進行に合わせてユーザにより実行される調理工程が非加熱工程であるか否か、および、前記実行される調理工程が完了したか否かを認識する工程認識部を備え、
   前記認識結果情報は、前記工程認識部により前記動画再生制御部へ出力される
   請求項１記載の端末装置。
3. 前記端末装置と接続する外部装置から前記認識結果情報を取得する認識結果取得部を備え、
   前記認識結果取得部は、前記取得した認識結果情報を前記動画再生制御部へ出力する
   請求項１記載の端末装置。
4. 前記メタデータには、前記チャプタのそれぞれに対応付けて前記調理工程に関する情報が登録されており、
   前記動画再生制御部は、
   所定のチャプタのリピート中または一時停止中、前記調理工程に関する情報に基づいて、次のチャプタで紹介される調理工程に関する情報をテロップまたは静止画で表示する、
   請求項１記載の端末装置。
5. 前記動画再生制御部は、
   所定のチャプタのリピート中、前記リピート中である旨を示す表示を行う、
   請求項１または２記載の端末装置。
6. 前記メタデータには、前記チャプタのいずれかに対応付けて、材料と分量の一覧表示画像の表示時点を示す情報が登録されており、
   前記動画再生制御部は、
   前記一覧表示画像の表示を要求された場合、前記一覧表示画像の表示時点を示す情報に基づいて、前記表示時点へジャンプして前記一覧表示画像を表示する、
   請求項１から３のいずれか１項に記載の端末装置。
7. 前記メタデータには、所定の加熱工程を紹介するチャプタに対応付けて、材料が所定の状態になるまで加熱する旨を示す情報が登録されており、
   前記動画再生制御部は、
   前記所定の加熱工程を紹介するチャプタを再生する際、前記材料が所定の状態になるまで加熱する旨を示す情報に基づいて、前記材料が所定の状態になったことを示す認識結果情報を受け取るまで、前記所定の加熱工程を紹介するチャプタの再生を、リピートする、一時停止する、または、スロー再生にする、
   請求項１から４のいずれか１項に記載の端末装置。
8. 前記動画再生制御部は、
   所定の加熱工程を紹介するチャプタの再生中に、前記端末装置とネットワーク通信可能な装置から発信される所定の信号を検出した場合、または、調理が中断された旨を示す認識結果情報を受信した場合、前記所定の加熱工程を紹介するチャプタの再生を一時停止する、
   請求項１から５のいずれか１項に記載の端末装置。
9. 前記動画再生制御部は、
   前記調理が再開されてから、材料の温度が前記調理の中断時の温度に戻るまでの間、前記所定の加熱工程を紹介するチャプタの再生を、リピートする、一時停止する、または、スロー再生にする、
   請求項８記載の端末装置。
10. 端末装置の制御方法であって、
    前記端末装置のコンピュータに対して、
    複数の調理工程を順に紹介する動画と、前記複数の調理工程にそれぞれ対応した前記動画のチャプタに関するメタデータとを取得させ、
    前記動画と前記メタデータとを関連付けて所定の記憶部に記憶させ、
    前記記憶部から前記動画および前記メタデータを読み出させ、前記動画の進行に合わせてユーザにより実行される調理工程が非加熱工程であるか否か、および、前記実行される調理工程が完了したか否かについて認識した結果を示す認識結果情報を受け取らせ、前記メタデータおよび前記認識結果情報に基づいて、前記動画の再生を制御させ、
    前記動画の再生の制御は、
    所定の非加熱工程に対応したチャプタの再生中に前記非加熱工程の実行が完了していない場合、再生中の前記チャプタをリピートまたは一時停止させ、前記非加熱工程の実行が完了すると次のチャプタを再生させる、
    制御方法。
11. コンピュータが読み取り可能なコンピュータプログラムを記録した非一時的記録媒体であって、
    前記プログラムは、前記コンピュータに対して、
    複数の調理工程を順に紹介する動画と、前記複数の調理工程にそれぞれ対応した前記動画のチャプタに関するメタデータとを取得させ、
    受信した前記動画と前記メタデータとを関連付けて所定の記憶部に記憶させ、
    前記記憶部から前記動画および前記メタデータを読み出させ、前記動画の進行に合わせてユーザにより実行される調理工程が非加熱工程であるか否か、および、前記実行される調理工程が完了したか否かについて認識した結果を示す認識結果情報を受け取らせ、前記メタデータおよび前記認識結果情報に基づいて、前記動画の再生を制御させ、
    前記動画の再生の制御では、
    所定の非加熱工程に対応したチャプタの再生中に前記非加熱工程の実行が完了していない場合、再生中の前記チャプタをリピートまたは一時停止させ、前記非加熱工程の実行が完了すると次のチャプタを再生させる、
    コンピュータプログラムを記録した非一時的記録媒体。

Images