JP5465620B2 - 映像コンテンツに重畳する付加情報の領域を決定する映像出力装置、プログラム及び方法 - Google Patents

映像コンテンツに重畳する付加情報の領域を決定する映像出力装置、プログラム及び方法 Download PDF

Info

Publication number
JP5465620B2
JP5465620B2 JP2010144420A JP2010144420A JP5465620B2 JP 5465620 B2 JP5465620 B2 JP 5465620B2 JP 2010144420 A JP2010144420 A JP 2010144420A JP 2010144420 A JP2010144420 A JP 2010144420A JP 5465620 B2 JP5465620 B2 JP 5465620B2
Authority
JP
Japan
Prior art keywords
additional information
video
candidate
feature
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010144420A
Other languages
English (en)
Other versions
JP2012010117A (ja
Inventor
知彦 高橋
勝 菅野
茂之 酒澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2010144420A priority Critical patent/JP5465620B2/ja
Priority to GB1110362.9A priority patent/GB2481519B/en
Priority to US13/168,447 priority patent/US8849063B2/en
Publication of JP2012010117A publication Critical patent/JP2012010117A/ja
Application granted granted Critical
Publication of JP5465620B2 publication Critical patent/JP5465620B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、映像コンテンツに対して、広告情報のような付加情報を重畳する技術に関する。
近年、テレビ番組のようなデジタル放送映像の放送形態は、地上波デジタル放送だけでなく、インターネット又はＣＡＴＶ(Cable Television)を介したストリーミング又はＶＯＤ(Video On Demand)のように多様化してきている。一方で、その放送コンテンツに含まれる広告情報（ＣＭ：Commercial)は、従来同様、放送コンテンツの冒頭や合間等に挿入される場合が多い。このような場合、ユーザの相当数が、冒頭の広告情報によって視聴を中断したり、デジタルビデオレコーダによってＣＭをスキップする、という調査結果が得られている。そのため、放送形態に応じて、広告情報を、より効果的にユーザに提示する技術が求められている。
従来、放送映像の中に、広告情報を重畳（オーバレイ）する技術がある（例えば非特許文献１参照）。この広告情報は、例えば「TV Widget」と称されるアプリケーションによって構成される。この技術は、放送映像の内容や映像特性とは関係の無い、独立の情報を提供するものである。
また、放送配信技術とは別に、ユーザがクリックした映像上のオブジェクトに、関連した広告情報を提示する技術もある（例えば特許文献１参照）。更に、映像の中に、広告情報を、ユーザ視聴に効果的なタイミングで表示する技術もある（例えば特許文献２参照）。更に、インターネットを介したＷｅｂ配信技術として、Ｗｅｂページに関連した広告情報を提供する技術もある。
また、Ｗｅｂページの一定領域に、広告情報を挿入する技術もある（例えば非特許文献１参照）。この技術によれば、サーバが、多数の広告主から、一定のフォーマットに従った広告情報を受け付ける。そして、サイト運用者は、自ら公開するサイトページの中で、広告情報を提示可能な領域を予め指定する。そして、ユーザが、そのサイトページを閲覧する毎に、サーバは、そのユーザのプロファイルに基づいて、最適な広告情報を、そのサイトページで指定された領域に提示する。プロファイルとしては、例えば、ＩＰアドレスから取得された所在地のような情報である。ユーザのプロファイルに応じて広告情報を提供する技術は、ターゲット広告とも称される。
特開２００９−２６７４７４号公報 特開２００２−１０１４０６号公報 特開平１２−１８２０５３号公報 特開平１０−２３３９９４号公報 特開２００５−２５２８５９号公報
Yahoo! CONNECTED TV、[online]、［平成２２年５月３１日検索］、インターネット＜URL:http://connectedtv.yahoo.com/services/tv-widgets＞ Google Ad Sense、[online]、［平成２２年５月３１日検索］、インターネット＜URL:https://www.google.com/adsense/static/ja/AdFormats.html＞ Yu-Fei Ma, Lie Lu, Hong-Jiang Zhang, andMingjing Li,"A User Attention Model for Video Summarization", ACMMultimedia '02, Dec 2002
前述した従来技術によれば、放送映像に広告情報を重畳する際に、ユーザ視聴を考慮して、放送映像の適切な時間及び位置に、広告情報を表示することはできない。非特許文献１に記載された技術は、放送映像の内容や映像特性に関連して、広告情報を制御するものではない。また、特許文献１に記載された技術は、広告情報の表示時間及び表示位置を制御するものではない。更に、特許文献２に記載された技術は、ユーザ視聴に効果的なタイミングは、事前に設定された時刻情報に基づくものである。
非特許文献１に記載された技術によれば、広告情報の決定は、サイトページのコンテクスト（テキスト）と、広告情報の内容（広告主が付与した広告の属性情報）とを対応付けたものに過ぎない。また、広告情報の提示位置も、サイトページの内容に関係なく、予め設定されたものである。
このように、従来技術によれば、放送映像に広告情報を重畳する際に、放送映像の内容及び映像特性を全く考慮しない。従って、放送映像に重畳された広告情報の位置や色調によっては、ユーザが視覚的な違和感を生じる場合も多い。
尚、Ｗｅｂ配信技術と、放送技術とは、以下のような相違点がある。
（１）Ｗｅｂ配信技術は、広告情報の挿入位置を予め指定し、ページ全体を最適にデザインしている。これに対して、テレビ放送技術は、広告情報の挿入を予め指定するものではない。
（２）Ｗｅｂ配信技術によれば、ＨＴＭＬ(HyperText Markup Language)によるスタティック（静的）なページとして表示される。これに対し、テレビ放送技術によれば、時間経過と共に変化するダイナミック（動的）な「映像」であるため、画面上に広告情報を挿入する位置を決定すること自体が難しい。
そこで、本発明は、できる限りユーザが視覚的な違和感を生じないように、映像に対する付加情報（例えば広告情報）の重畳領域を決定する映像出力装置、プログラム及び方法を提供することを目的とする。
本発明によれば、映像コンテンツを出力する映像出力装置であって、
映像フレームに重畳表示可能な付加情報を記憶した付加情報記憶手段と、
映像コンテンツにおける重畳候補となる各映像フレームについて、１つ以上の特徴領域を検出する特徴領域検出手段と、
付加情報記憶手段から、映像コンテンツに重畳すべき任意の付加情報を選択する付加情報選択手段と、
付加情報には、映像フレーム枠内に対する１つ以上の重畳候補領域が予め指定されており、映像フレーム中の重畳候補領域に付加情報を重畳するにあたり、当該映像フレームが含む全ての特徴領域との間の距離ができる限り長くなる重畳候補領域を決定する構図評価手段と
を有し、
構図評価手段における距離は、重畳候補領域の重心座標と映像フレームの特徴領域の重心座標との間の差、又は、重畳候補領域の周辺縁と映像フレームの特徴領域の重心座標との間の差である
ことを特徴とする。
本発明の映像出力装置における他の実施形態によれば、
構図評価手段は、
重畳候補領域毎に、映像フレームの特徴領域との間の距離を抽出し、
重畳候補領域毎に、距離が最も短い１つの特徴領域を抽出し、
全ての重畳候補領域の中で、最も短い当該特徴領域との間の距離が最も長い重畳候補領域に、付加情報を重畳するべく決定する
ことによって、映像フレームの特徴領域からできる限り離れた位置に、付加情報が重畳されることも好ましい。
本発明の映像出力装置における他の実施形態によれば、
付加情報選択手段は、付加情報記憶手段に記憶された複数の付加情報を選択し、
構図評価手段は、映像フレームの特徴領域と、各付加情報における各重畳候補領域との間の距離が長くなる重畳候補領域から順に、付加情報を重畳するべく決定することも好ましい。
本発明の映像出力装置における他の実施形態によれば、
付加情報選択手段は、付加情報記憶手段から複数の付加情報を選択し、
映像フレームの各特徴領域について、当該映像フレーム全体の映像的特徴量と、各付加情報全体の映像的特徴量との間の類似度が、予め設定された所定値（設定類似度）に最も近い付加情報を選択する色調評価手段を更に有することも好ましい。
本発明の映像出力装置における他の実施形態によれば、映像的特徴量は、色調であってもよい。
本発明の映像出力装置における他の実施形態によれば、所定値（設定類似度）度とは、付加情報の輪郭が目立つように両色調の類似度が高いか、付加情報の輪郭が目立つように両色調の類似度が低いか、又は、両色調の類似度が所定程度であることも好ましい。
本発明の映像出力装置における他の実施形態によれば、
特徴領域検出手段の前段にあって、付加情報を重畳すべき映像フレームを選択する重畳候補スロット選択手段を更に有し、
重畳候補スロット選択手段は、
複数の映像フレームからなる時間方向の複数のスロットの中から、付加情報の重畳に適するスロットを選択し、
映像コンテンツのスロット毎に、映像的及び／又は音声的な特徴量を検出し、
当該特徴量が所定閾値以下となる映像コンテンツのスロットを、重畳候補スロットとして選択することも好ましい。
本発明の映像出力装置における他の実施形態によれば、
特徴領域検出手段は、
重畳候補スロットの中から、複数の代表フレームＲｍ（ｍ≧１）を選択し、
代表フレーム毎に、１つ以上の特徴領域を検出し、
全特徴領域の合計面積が最も広い代表フレームを選択し、
選択された代表フレームの画面面積に対する全特徴領域の合計面積が、所定閾値以上である場合、その重畳候補スロットに基づく代表フレームは除外され、その他の代表フレームは構図評価手段へ出力されることも好ましい。
本発明の映像出力装置における他の実施形態によれば、
特徴領域検出手段は、特徴領域を、顔認識、テロップ抽出、動き注視モデル(Motion Attention Model)、ＲＯＩ(Region of Interest)、情報密度ＤＣＴ係数のＡＣ高周波成分の総エネルギー量、及び／又は、輝度・彩度に基づいて検出することも好ましい。
本発明の映像出力装置における他の実施形態によれば、
映像コンテンツは、デジタル放送映像データであり、
付加情報は、広告情報であり、
付加情報記憶手段は、広告配信サーバから取得した広告情報を記憶することも好ましい。
本発明の映像出力装置における他の実施形態によれば、
ユーザ属性情報を予め記憶したユーザ属性記憶手段を更に有し、
付加情報記憶手段は、付加情報にユーザ属性情報が付与されており、
付加情報選択手段は、ユーザ属性記憶手段のユーザ属性情報と、付加情報のユーザ属性情報とを比較して、当該付加情報を選択することも好ましい。
本発明の映像出力装置における他の実施形態によれば、
構図評価手段によって決定された映像フレームの当該重畳候補領域に、付加情報を重畳する映像重畳手段と、
付加情報が重畳された当該映像フレームからなる映像コンテンツを出力する映像出力手段と
を更に有することも好ましい。
本発明によれば、映像コンテンツを出力する映像出力装置に搭載されたコンピュータを機能させるプログラムであって、
映像フレームに重畳表示可能な付加情報を記憶した付加情報記憶手段と、
映像コンテンツにおける重畳候補となる各映像フレームについて、１つ以上の特徴領域を検出する特徴領域検出手段と、
付加情報記憶手段から、映像コンテンツに重畳すべき任意の付加情報を選択する付加情報選択手段と、
付加情報には、映像フレーム枠内に対する１つ以上の重畳候補領域が予め指定されており、映像フレーム中の重畳候補領域に付加情報を重畳するにあたり、当該映像フレームが含む全ての特徴領域との間の距離ができる限り長くなる重畳候補領域を決定する構図評価手段と
してコンピュータを機能させ、
構図評価手段における距離は、重畳候補領域の重心座標と映像フレームの特徴領域の重心座標との間の差、又は、重畳候補領域の周辺縁と映像フレームの特徴領域の重心座標との間の差である
ようにコンピュータを機能させることを特徴とする。
本発明によれば、映像コンテンツを出力する装置における映像出力方法であって、
映像フレームに重畳表示可能な付加情報を記憶する付加情報記憶部を有し、
映像コンテンツにおける重畳候補となる各映像フレームについて、１つ以上の特徴領域を検出する第１のステップと、
付加情報記憶部から、映像コンテンツに重畳すべき任意の付加情報を選択する第２のステップと、
付加情報には、映像フレーム枠内に対する１つ以上の重畳候補領域が予め指定されており、映像フレーム中の重畳候補領域に付加情報を重畳するにあたり、当該映像フレームが含む全ての特徴領域との間の距離ができる限り長くなる重畳候補領域を決定する第３のステップと
を有し、
第３のステップについて、距離は、重畳候補領域の重心座標と映像フレームの特徴領域の重心座標との間の差、又は、重畳候補領域の周辺縁と映像フレームの特徴領域の重心座標との間の差である
ことを特徴とする。
本発明の映像出力装置、プログラム及び方法によれば、できる限りユーザが視覚的な違和感を生じないように、映像に対する付加情報（例えば広告情報）の重畳領域を決定することができる。
本発明におけるシステム構成図である。 映像フレームにおける複数の重畳候補領域を表す説明図である。 映像フレームに重畳可能な付加情報を表す説明図である。 映像フレームに付加情報を重畳したものであって、ユーザが視覚的な違和感を生じやすい表示画面である。 本発明における映像出力装置の機能構成図である。 重畳候補スロット選択部の処理を表す説明図である。 特徴領域検出部及び構図評価部のフローチャートである。 構図評価部によって重畳候補領域を決定する説明図である。 特徴変動量によって除外された重畳候補領域を表す説明図である。図９によれば、 映像出力装置を、セットトップボックスに構成したシステム構成図である。 ユーザ操作によって詳細な広告情報を配信する説明図である。
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
図１は、本発明におけるシステム構成図である。
図１によれば、映像出力装置１は、放送局２と放送アンテナ３との間に接続され、放送局２から、配信すべき放送映像（映像コンテンツ）を入力する。放送映像は、多数の映像フレームの連続からなり、時間方向に複数のスロットに区分される。スロットの区切りは、固定長であってもよい。また、放送局側で映像に付与されたメタデータによって、映像の内容的に意味のあるシーンを単位とする区切りであってもよい。更に、また、映像の特徴に基づいて分割された結果を単位とするものであってもよい（例えば特許文献５参照）。
映像出力装置１は、映像コンテンツ（放送映像）に付加情報を重畳する。付加情報は、広告情報であってもよいし、放送映像に関連する情報であってもよい。例えば、放送映像に対して、Widget広告情報を表示することも好ましい。付加情報は、映像出力装置１内に予め蓄積されたものであってもよいし、インターネットを介して広告配信サーバ４から取得するものであってもよい。
放送映像（映像コンテンツ）は、デジタル放送映像データであって、例えば地上波デジタル放送局から放送される。そのために、映像出力装置１は、付加情報を重畳した放送映像を、放送アンテナ３へ出力する。尚、インターネット及びアクセスネットワーク（ＣＡＴＶも含む）を介して、ユーザによって視聴される端末（テレビ）へ向けて配信するものであってもよい。例えば、ＶＯＤの場合、インターネット又はＣＡＴＶを介して、特定のユーザの端末へ向けて配信される。
図１によれば、ユーザ宅内には、セットトップボックス５が設置されている。セットトップボックス５は、放送局２からの放送波を受信し、又はインターネットを介して放送映像を受信する。受信された放送映像は、ユーザが視聴するテレビ６へ出力される。
図２は、映像フレームにおける複数の重畳候補領域を表す説明図である。
本発明によれば、映像フレームに、付加情報を重畳可能な重畳候補領域（テンプレート）が対応付けられる。重畳候補領域は、映像のフレームに対して、１カ所だけ指定されてもよいし、複数個、指定されていてもよい。図２によれば、４つの重畳候補領域が表されている。重畳候補領域は、放送映像の画面をできる限り隠さないように、画面全体における角部分又は隅部分に設定することが好ましい。
図３は、映像フレームに重畳可能な付加情報を表す説明図である。
付加情報は、Widgetを用いた広告情報であってもよい。付加情報は、テキスト、画像、映像又はアプリケーションである。アプリケーションとは、例えばＨＴＭＬやＢＭＬ(Broadcast Markup Language)等で構成されたものである。一般的に、広告画像は（広告固有の特性から）目に付きやすいロゴと、テキストとから構成される。
図３によれば、例えば、付加情報１は、そのサイズから、領域１及び４に重畳可能となる。また、付加情報４は、そのサイズから、領域２及び３に重畳可能となる。尚、付加情報は、重畳候補領域に応じて、そのサイズを自動的に変換可能なものであってもよい。例えば、付加情報６は、領域１及び４の場合と、領域２及び３の場合とで、そのサイズが変換されている。
例えば付加情報がテキストである場合、重畳候補領域（テンプレート）の大きさに合わせて表示画像を生成する「ティッカーアプリケーション」を用いるものであってもよい。ティッカーアプリケーションの場合、映像フレームのいずれの重畳候補領域にも、付加情報を重畳することができる。
図４は、映像フレームに付加情報を重畳したものであって、ユーザが視覚的な違和感を生じやすい表示画面である。
図４（ａ）は、映像フレーム全体から見て、特徴的画像の割合が比較的多い映像フレームに、付加情報が重畳された場合である。この場合、ユーザは視覚的に煩雑さを感じやすい。
図４（ｂ）は、特徴的画像に比較的近い位置に、付加情報が重畳された場合である。ユーザの視点は、特徴的画像に焦点されているにも関わらず、その近くに付加情報が表示されるので、ユーザは視覚的な違和感を生じやすい。逆に、特徴的画像から離れた部分は、視覚的な影響を与えない空白部分となる。
図４（ｃ）は、映像フレーム全体の色調と類似の色調の付加情報が重畳された場合である。この場合、映像フレームと付加情報とを視覚的に区別しにくいために、ユーザは視覚的に違和感を生じやすい。
本発明によれば、できる限りユーザが視覚的に違和感を生じないようにするものである。従って、図４に表されたような視覚的な違和感を生じないように、映像フレームにおける最適な位置に、最適な付加情報を重畳する。
図５は、本発明における映像出力装置の機能構成図である。
図５によれば、映像出力装置１は、放送映像入力部１０１と、付加情報入力部１０２と、放送映像出力部１０３と、ユーザ属性受信部１０４とを有する。放送映像入力部１０１は、放送局２から放送映像を受信する。付加情報入力部１０２は、広告配信サーバ４から付加情報（広告情報）を受信する。尚、放送映像及び付加情報は、インターネットを介して受信されるものであってもよい。放送映像出力部１０３は、付加情報を重畳した放送映像を、放送アンテナ３へ出力するものであって、コンテンツストリーマとして機能する。また、放送映像出力部１０３は、放送映像を、インターネットを介してユーザ視聴の端末６へ向けて直接的に配信するものであってもよい。ユーザ属性受信部１０４は、ユーザ視聴の端末６から、ユーザ属性情報を受信する。
本発明における映像出力装置１は、重畳候補スロット選択部１１１と、特徴領域検出部１１２と、付加情報記憶部１２１と、付加情報選択部１２２と、構図評価部１１３と、色調評価部１１４と、放送映像重畳部１１５と、ユーザ属性記憶部１２３とを有する。これら機能構成部は、映像出力装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
重畳候補スロット選択部１１１は、放送映像入力部１０１から放送映像を入力する。重畳候補スロット選択部１１１は、放送映像における時間方向に区分されたスロットの中で、付加情報を重畳するに適するスロットを選択する。即ち、付加情報を重畳するに適しないスロットを除外する。
図６は、重畳候補スロット選択部の処理を表す説明図である。
重畳候補スロット選択部１１１は、放送映像のスロット毎に、映像的及び／又は音声的な特徴量を検出し、当該特徴量が所定閾値以下となる放送映像のスロットを、付加情報の重畳対象（安定映像）として選択する。
例えば、放送番組の冒頭のスロットは、付加情報を重畳しないように除外される。ユーザは、視聴しようとした放送映像について、冒頭に広告情報を視聴した場合、その放送映像の視聴を中止する場合が多いからである。
また、例えば、スロット毎の音量を検知し、音量の変化が所定閾値よりも大きいスロットは、付加情報を重畳しないように除外される。音量の変化が大きいスロットの映像は、ユーザ視聴に対して有意な影響を与える想定され、広告情報を挿入する部分として適しない。逆に、音量の変化が小さいスロットは、広告情報を挿入する部分としての候補となり得る。
更に、例えば、スロット毎の映像的な特徴量の変動を検出し、その特徴量の変動が所定閾値よりも大きいスロットは、付加情報を重畳しないように除外される。例えば映像スロットの中の１枚以上の映像フレームを選択し、それら映像フレームの全体又は特徴部分における特徴量の変動を検出するものであってもよい。
重畳候補スロット選択部１１１は、最終的に、付加情報の重畳候補スロット（複数の映像フレームからなる）を、特徴領域検出部１１２へ出力する。
図７は、特徴領域検出部及び構図評価部のフローチャートである。以下では、図５の機能構成と共に、図７のフローチャートを参照して説明する。
特徴領域検出部１１２は、重畳候補スロット選択部１１１から、重畳候補スロット単位で受け取る。尚、最初に、処理時間を短縮するために縮小映像を生成することも好ましい。例えば、映像フレームの解像度又は階層を少なくする。縮小映像に対して処理することによって、その後の処理負荷を軽減することができる。
（Ｓ７０１）最初に、重畳候補スロットの中から、複数の代表フレームＲｍ（ｍ≧１）が選択される。代表フレームは、一定時間間隔毎に選択されてもよいし、所定規則毎に選択されてもよい。
（Ｓ７０２）次に、代表フレーム毎に、１つ以上の特徴領域を検出する。映像フレームに含まれる特徴領域は、視聴者が注視しやすく、ユーザの視覚的な認識を構成する重要な領域である。
特徴領域検出部１１２は、例えば以下のような認識機能のいずれか１つ又はそれらの組み合わせに基づいて特徴領域を検出する。
［１］顔認識に基づく領域の座標（左上及び右下座標）
［２］字幕（テロップ）抽出に基づく領域の座標（左上及び右下座標）字幕検出技術として、時間軸方向の輝度変化及び輝度勾配を用いた既存技術を用いることができる（例えば特許文献３及び４参照）。
［３］動き注視モデル(Motion Attention Model)又はＲＯＩ(Region of Interest)に基づく注視領域の座標（左上及び右下座標）（例えば非特許文献３参照）。
［４］情報密度（単位面積あたりの特徴点の数）が一定以上の領域の座標（左上及び右下座標）。特徴点の多い領域は、有意な情報が多く存在すると想定される。特徴点(interest point)検出は、例えばコーナー(corner)検出技術のような、画像の角を検出する技術である。例えばHarrisとStephensの方法がある。
［５］ＤＣＴ係数のＡＣ高周波成分の総エネルギー量に基づく領域の座標。画像中で、なだらか且つ変化の少ない領域には、ＤＣＴ(Discrete Cosine Transform)のＡＣ（交流、Alternate Current）高周波成分が含まれていない。なだらか且つ変化の少ない領域ほど、有意な情報が少ない。一般に、人間の眼の視覚特性は、低周波成分に敏感であり、高周波成分には鈍感であるといえる。ＤＣＴとは、映像フレームの画素領域を、離散コサイン変換を用いて周波数領域に変換する技術をいう。そこで、ブロックあたりのＤＣＴの高周波成分の総和(dAC)を算出する。
［６］輝度・彩度に基づく領域の座標。画面の他の領域と比較して、輝度又は彩度が高い領域は、画面の中で注視を集めやすい領域といえる。逆に、輝度又は彩度が低い領域は、画面の中で注視を集めにくく、有意な情報が少ない。そのために、以下のように、輝度比及び／又は彩度比が、所定閾値よりも低い場合に、付加情報を挿入するに適する。
輝度比：ＶＰ／ＶＡ
彩度比：ＳＰ／ＳＡ
画面全体の輝度：ＶＡ
画面全体の彩度：ＳＡ
重畳候補領域の輝度：ＶＰ
重畳候補領域の彩度：ＳＰ
前述したように、特徴領域が少ない映像フレームほど、それら特徴領域以外の部分に、付加情報を挿入しやすい。一方で、特徴領域が多い映像フレームほど、それら特徴領域以外の部分に、付加情報を挿入しにくい。特徴領域が多い映像フレームに付加情報を挿入した場合、ユーザは視覚的に煩雑さを感じる。
（Ｓ７０３）次に、特徴領域検出部１１２は、全特徴領域の合計面積が最も広い代表フレームを選択する。このような代表フレームは、その重畳候補スロットの中では、付加情報を重畳することによって、ユーザに対して視覚的に最も違和感を生じやすいものである。このように最も違和感を生じやすい映像フレームを、その重畳候補スロットにおける代表フレームとして選択することによって、そのスロットにおける最悪の映像フレームを対象とする。これによって、重畳候補スロット毎に、１つの代表フレームが選択される。
（Ｓ７０４）そして、特徴領域検出部１１２は、選択された代表フレームの画面面積に対する全特徴領域の合計面積が、所定閾値以上である場合、その重畳候補スロットに基づく代表フレームは、除外される。全特徴領域の合計面積が比較的多い映像フレームに、付加情報を重畳した場合、ユーザは、視覚的に煩雑さを感じるからである（図４（ａ）参照）。
付加情報記憶部１２１は、放送映像に重畳すべき付加情報を記憶する。例えば、Widget広告情報を記憶するものであってもよい。付加情報記憶部１２１は、付加情報入力部１０２を介して、広告配信サーバ４から取得した広告情報を記憶するものであってもよい。
付加情報は、メタデータと対応付けて保存される。メタデータは、付加情報を選択するためのポリシ情報である。ポリシ情報とは、付加情報の提供元（広告主）における制御情報である。例えば、以下のようなポリシ情報である。
付加情報選択部１２２は、付加情報記憶部１２１から、放送映像に重畳すべき１つ以上の付加情報を選択する。ここで、付加情報選択部１２２は、付加情報に付与されたメタデータと、放送映像（代表フレーム）に付与されたメタデータとを比較して、その放送映像の内容に近いジャンルの付加情報を選択する。選択された付加情報は、構図評価部１１３へ出力される。
例えば、放送映像の内容が「プロ野球中継」であって、放送映像に付与されたメタデータが「野球」である場合、「野球」及びそれに類似するメタデータが付与された広告情報（付加情報）が選択される。
尚、付加情報選択部１２２は、ユーザ属性記憶部１２３に記憶された配信先ユーザのユーザ属性情報に基づいて、付加情報を選択するものであってもよい。放送映像が、放送アンテナ３を介して不特定多数のユーザへ配信されるものである場合、付加情報選択部１２２は、ユーザ属性情報に限られない。一方で、放送映像が、ＶＯＤのように特定のユーザへ配信される場合、付加情報選択部１２２は、そのユーザ属性情報に基づいて付加情報を選択することができる。
ユーザ属性記憶部１２３は、ユーザ属性受信部１０４を介して受信したユーザ属性情報を記憶する。例えば、以下のようなユーザ属性情報である。
構図評価部１１３は、各重畳候補スロットにおける代表フレームを入力する。そして、構図評価部１１３は、映像フレーム中の重畳候補領域に付加情報を重畳するにあたり、当該映像フレームが含む全ての特徴領域との間の距離ができる限り長くなる重畳候補領域を決定する。付加情報には、そのサイズに応じて、映像フレームに対する１つ以上の重畳候補領域（テンプレート）が指定されている。
図８は、構図評価部によって重畳候補領域を決定する説明図である。
以下では、図７のフローチャートに基づいて、図８を参照しつつ、構図評価部１１３の処理を説明する。
（Ｓ７１１）付加情報の重畳候補領域毎に、Ｓ７１２〜Ｓ７１４を繰り返す。
（Ｓ７１２）代表フレームの特徴領域毎に、Ｓ７１３を繰り返す。図８（ａ）によれば、複数の重畳候補領域と、代表フレームにおける複数の特徴領域とが表されている。例えば、人物映像における顔、胸及び手の部分が特徴領域として検出される。
（Ｓ７１３）付加情報の重畳候補領域と、映像フレームの特徴領域との間の距離を算出する。これによって、代表フレームにおける特徴領域の偏りが評価される。ここで、距離は、代表フレームの特徴領域の重心（中心）座標と、付加情報の重畳候補領域の重心（中心）座標との間の差をであってもよい。また、特徴領域の重心（中心）座標と、重畳候補領域の周辺縁との間の距離であってもよい。
（Ｓ７１４）そして、付加情報の重畳候補領域毎に、Ｓ７１３の距離が最も短い１つの特徴領域を抽出する（図８（ｂ）参照）。そして、この距離が長ければ長いほど、画面内の特徴領域と、重畳候補領域の付加情報とが離れて表示され、ユーザに視覚的な違和感を生じない。
（Ｓ７１５）最後に、全ての重畳候補領域の中で、当該特徴領域との間のＳ７１４の距離が、最も長い１つの重畳候補領域に、付加情報を重畳するべく決定する（図８（ｃ）参照）。この距離が最長となる重畳候補領域は、特徴領域と間で対角線の構図を形成することが期待される。
ここで、付加情報選択部１２２は、付加情報記憶部１２１に記憶された付加情報の全部又は一部を選択したとする。このとき、構図評価部１１３は、映像フレームの特徴領域と、各付加情報における各重畳候補領域との間の距離が長くなる重畳候補領域から順に、付加情報を重畳するべく決定する。
所定の映像コンテンツに対して、ｘ個の付加情報を重畳することが求められているとする。このとき、このｘの値は、サービス運営者又はコンテンツ所有者によって予め設定されるものであってもよい。ｘの値は、重畳すべき付加情報の数と、重畳対象となる映像コンテンツの数との関係から設定される。この場合、各付加情報における各重畳候補領域との間の距離が長くなる重畳候補領域から順に、付加情報を重畳するべく決定する（Ｓ７１４参照）。
図９は、映像フレームに対する付加情報の重畳位置のバランスを表す説明図である。
図９（ａ）は、映像フレームの上端部分に付加情報が重畳された画面表示である。一方で、図９（ｂ）は、映像フレームの下端部分に付加情報が重畳された画面表示である。付加情報の重畳位置として、図９（ｂ）は、図９（ａ）と比較して、ユーザにとって視覚的に安定した構図の心証を与える。
そのために、構図評価部１１３は、映像フレームの当該特徴領域と、映像フレームにおける特定位置の重畳候補領域との間の距離には、重み付けω（０＜ω＜１）を乗算することも好ましい。これによって、複数の重畳候補領域の中で、映像フレームにおける特定位置の重畳候補領域が、他の重畳候補領域よりも決定され易くなる。特定位置の重畳候補領域は、例えば、映像フレームにおける下端部分の重畳候補領域であることも好ましい。
構図評価部１１３は、１つの付加情報及び重畳候補領域を決定するものであってもよいし、優先順に複数の付加情報及び重畳候補領域を決定するものであってもよい。決定された付加情報及び重畳候補領域は、色調評価部１１４へ出力される。
色調評価部１１４は、映像フレームの各特徴領域について、当該映像フレーム全体の色調と、各付加情報全体の色調との類似度が、設定類似度に最も近い付加情報を選択する。構図評価部１１３から複数の付加情報を受け取る場合、優先順に色調を評価する。
例えば、当該映像フレーム全体の色調と、各付加情報全体の色調とが類似する場合、ユーザは視覚的に付加情報との輪郭を判断しにくい（見づらい）。一方で、両色調が類似する方が、ユーザにとって視覚的に違和感を与えない場合もある。これは、予め設定された設定類似度によって判定されることが好ましい。設定類似度とは、付加情報の輪郭が目立つように両色調の類似度が高いか、付加情報の輪郭が目立つように両色調の類似度が低いか、又は、両色調の類似度が所定程度である。例えば、両色調の類似度は、映像フレームと付加情報との間で、Cannyフィルタによってエッジを抽出し、設定類似度の閾値以下でエッジが検出されない場合、両色調は類似するとして、その付加情報を重畳候補から除外する。即ち、できる限り、ユーザが視覚的に見やすい色調の付加情報が選択される。
放送映像重畳部１１５は、映像フレームの当該重畳候補領域に、付加情報を重畳する。この放送映像は、放送映像出力部１０３へ出力される。
付加情報が重畳された放送映像は、放送アンテナ３又はインターネットを介して、ユーザ宅のテレビ６によって受信され、ユーザによって視聴される。
図１０は、映像出力装置を、セットトップボックスに構成したシステム構成図である。
図１０によれば、セットトップボックスとしての映像出力装置５は、放送局２から、放送アンテナ３又はインターネットを介して放送映像を受信する。そして、映像出力装置５は、付加情報を重畳した放送映像をテレビ６へ出力する。尚、セットトップボックスとしての映像出力装置５は、アクセスネットワーク及びインターネットを介して広告配信サーバ４から、ユーザ属性情報に基づく広告情報を受信する。これによって、ユーザ毎に、適切且つ異なる広告情報を閲覧することができる。
図１１は、ユーザ操作によって詳細な広告情報を配信する説明図である。
テレビは、ユーザ操作による入力を受け付けることができる。例えば、ティッカーアプリケーションによって、重畳候補領域に簡潔な広告情報が重畳表示されているとする。このとき、ユーザが、その詳細情報を所望するために、その重畳候補領域を指定（ポインティングデバイスによるクリック）したとする。この場合、セットトップボックスとしての映像出力装置５は、広告配信サーバ４へ詳細な広告情報の取得を要求する。そして、映像出力装置５は、広告配信サーバ４から受信した詳細な広告情報を、テレビに出力することができる。このとき、詳細な広告情報は、放送映像の内容や特徴変動量に関係なく、ディスプレイの広い領域に表示することが好ましい。これによって、ユーザに対して、有効な広告情報を配信することができる。
以上、詳細に説明したように、本発明の映像出力装置、プログラム及び方法によれば、できる限りユーザが視覚的な違和感を生じないように、放送映像の最適な位置に、最適な付加情報（例えば広告情報）を重畳することができる。ユーザに対しては、放送映像の内容にできる限り影響を与えない位置及び色調で、広告情報のような付加情報が提示される。付加情報が広告情報である場合、広告主にとっては、ＣＭスキップ等の懸念が減少すると共に、ユーザに対する広告情報の露出増加も期待できる。
また、本発明の映像出力装置等によれば、広告情報だけでなく、放送局からのお知らせ（例えば選挙速報）の重畳位置を決定する用途にも用いることができる。このとき、番組の魅力を極力損なわないよう、ユーザに必要な情報を提示することができる。
更に、本発明の映像出力装置等によれば、ユーザにとって最も違和感が「大きい」重畳位置を決定することもできる。このため、例えば緊急地震速報などの、極めて重大であって且つユーザに注意喚起を促したい付加情報については、画面上の、最も違和感の大きい位置に付加情報を重畳することによって、ユーザが見落とさないようにすることもできる。
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
１ 映像出力装置
１０１ 放送映像入力部
１０２ 付加情報入力部
１０３ 放送映像出力部
１０４ ユーザ属性受信部
１１１ 重畳候補スロット選択部
１１２ 特徴領域検出部
１１３ 構図評価部
１１４ 色調評価部
１１５ 放送映像重畳部
１２１ 付加情報記憶部
１２２ 付加情報選択部
１２３ ユーザ属性記憶部
２ 放送局
３ 放送アンテナ
４ 広告配信サーバ
５ セットトップボックス
６ テレビ

Claims (14)

  1. 映像コンテンツを出力する映像出力装置であって、
    映像フレームに重畳表示可能な付加情報を記憶した付加情報記憶手段と、
    前記映像コンテンツにおける重畳候補となる各映像フレームについて、１つ以上の特徴領域を検出する特徴領域検出手段と、
    前記付加情報記憶手段から、前記映像コンテンツに重畳すべき任意の付加情報を選択する付加情報選択手段と、
    前記付加情報には、映像フレーム枠内に対する１つ以上の重畳候補領域が予め指定されており、前記映像フレーム中の前記重畳候補領域に前記付加情報を重畳するにあたり、当該映像フレームが含む全ての特徴領域との間の距離ができる限り長くなる重畳候補領域を決定する構図評価手段と
    を有し、
    前記構図評価手段における前記距離は、前記重畳候補領域の重心座標と前記映像フレームの特徴領域の重心座標との間の差、又は、前記重畳候補領域の周辺縁と前記映像フレームの特徴領域の重心座標との間の差である
    ことを特徴とする映像出力装置。
  2. 前記構図評価手段は、
    前記重畳候補領域毎に、前記映像フレームの特徴領域との間の距離を抽出し、
    前記重畳候補領域毎に、前記距離が最も短い１つの特徴領域を抽出し、
    全ての重畳候補領域の中で、最も短い当該特徴領域との間の前記距離が最も長い重畳候補領域に、前記付加情報を重畳するべく決定する
    ことによって、前記映像フレームの特徴領域からできる限り離れた位置に、前記付加情報が重畳されることを特徴とする請求項１に記載の映像出力装置。
  3. 前記付加情報選択手段は、前記付加情報記憶手段に記憶された複数の付加情報を選択し、
    前記構図評価手段は、前記映像フレームの特徴領域と、各付加情報における各重畳候補領域との間の距離が長くなる重畳候補領域から順に、前記付加情報を重畳するべく決定する
    ことを特徴とする請求項１又は２に記載の映像出力装置。
  4. 前記付加情報選択手段は、前記付加情報記憶手段から複数の付加情報を選択し、
    前記映像フレームの各特徴領域について、当該映像フレーム全体の映像的特徴量と、各付加情報全体の映像的特徴量との間の類似度が、予め設定された所定値（設定類似度）に最も近い付加情報を選択する色調評価手段を更に有することを特徴とする請求項１から３のいずれか１項に記載の映像出力装置。
  5. 前記映像的特徴量は、色調であることを特徴とする請求項４に記載の映像出力装置。
  6. 前記所定値（設定類似度）とは、付加情報の輪郭が目立つように両色調の類似度が高いか、付加情報の輪郭が目立つように両色調の類似度が低いか、又は、両色調の類似度が所定程度であることを特徴とする請求項５に記載の映像出力装置。
  7. 前記特徴領域検出手段の前段にあって、前記付加情報を重畳すべき映像フレームを選択する重畳候補スロット選択手段を更に有し、
    前記重畳候補スロット選択手段は、
    複数の映像フレームからなる時間方向の複数のスロットの中から、前記付加情報の重畳に適するスロットを選択し、
    前記映像コンテンツのスロット毎に、映像的及び／又は音声的な特徴量を検出し、
    当該特徴量が所定閾値以下となる前記映像コンテンツのスロットを、重畳候補スロットとして選択する
    ことを特徴とする請求項１から６のいずれか１項に記載の映像出力装置。
  8. 前記特徴領域検出手段は、
    前記重畳候補スロットの中から、複数の代表フレームＲｍ（ｍ≧１）を選択し、
    前記代表フレーム毎に、１つ以上の特徴領域を検出し、
    全特徴領域の合計面積が最も広い代表フレームを選択し、
    選択された代表フレームの画面面積に対する全特徴領域の合計面積が、所定閾値以上である場合、その重畳候補スロットに基づく代表フレームは除外され、その他の代表フレームは前記構図評価手段へ出力される
    ことを特徴とする請求項７に記載の映像出力装置。
  9. 前記特徴領域検出手段は、特徴領域を、顔認識、テロップ抽出、動き注視モデル(Motion Attention Model)、ＲＯＩ(Region of Interest)、情報密度ＤＣＴ係数のＡＣ高周波成分の総エネルギー量、及び／又は、輝度・彩度に基づいて検出することを特徴とする請求項１から８のいずれか１項に記載の映像出力装置。
  10. 前記映像コンテンツは、デジタル放送映像データであり、
    前記付加情報は、広告情報であり、
    前記付加情報記憶手段は、広告配信サーバから取得した前記広告情報を記憶する
    ことを特徴とする請求項１から９のいずれか１項に記載の映像出力装置。
  11. ユーザ属性情報を予め記憶したユーザ属性記憶手段を更に有し、
    前記付加情報記憶手段は、前記付加情報にユーザ属性情報が付与されており、
    前記付加情報選択手段は、前記ユーザ属性記憶手段のユーザ属性情報と、前記付加情報のユーザ属性情報とを比較して、当該付加情報を選択する
    ことを特徴とする請求項１から１０のいずれか１項に記載の映像出力装置。
  12. 前記構図評価手段によって決定された前記映像フレームの当該重畳候補領域に、前記付加情報を重畳する映像重畳手段と、
    前記付加情報が重畳された当該映像フレームからなる映像コンテンツを出力する映像出力手段と
    を更に有することを特徴とする請求項１から１１のいずれか１項に記載の映像出力装置。
  13. 映像コンテンツを出力する映像出力装置に搭載されたコンピュータを機能させるプログラムであって、
    映像フレームに重畳表示可能な付加情報を記憶した付加情報記憶手段と、
    前記映像コンテンツにおける重畳候補となる各映像フレームについて、１つ以上の特徴領域を検出する特徴領域検出手段と、
    前記付加情報記憶手段から、前記映像コンテンツに重畳すべき任意の付加情報を選択する付加情報選択手段と、
    前記付加情報には、映像フレーム枠内に対する１つ以上の重畳候補領域が予め指定されており、前記映像フレーム中の前記重畳候補領域に前記付加情報を重畳するにあたり、当該映像フレームが含む全ての特徴領域との間の距離ができる限り長くなる重畳候補領域を決定する構図評価手段と
    してコンピュータを機能させ、
    前記構図評価手段における前記距離は、前記重畳候補領域の重心座標と前記映像フレームの特徴領域の重心座標との間の差、又は、前記重畳候補領域の周辺縁と前記映像フレームの特徴領域の重心座標との間の差である
    ようにコンピュータを機能させることを特徴とする映像出力プログラム。
  14. 映像コンテンツを出力する装置における映像出力方法であって、
    映像フレームに重畳表示可能な付加情報を記憶する付加情報記憶部を有し、
    前記映像コンテンツにおける重畳候補となる各映像フレームについて、１つ以上の特徴領域を検出する第１のステップと、
    前記付加情報記憶部から、前記映像コンテンツに重畳すべき任意の付加情報を選択する第２のステップと、
    前記付加情報には、映像フレーム枠内に対する１つ以上の重畳候補領域が予め指定されており、前記映像フレーム中の前記重畳候補領域に前記付加情報を重畳するにあたり、当該映像フレームが含む全ての特徴領域との間の距離ができる限り長くなる重畳候補領域を決定する第３のステップと
    を有し、
    第３のステップについて、前記距離は、前記重畳候補領域の重心座標と前記映像フレームの特徴領域の重心座標との間の差、又は、前記重畳候補領域の周辺縁と前記映像フレームの特徴領域の重心座標との間の差である
    ことを特徴とする映像出力方法。
JP2010144420A 2010-06-25 2010-06-25 映像コンテンツに重畳する付加情報の領域を決定する映像出力装置、プログラム及び方法 Expired - Fee Related JP5465620B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010144420A JP5465620B2 (ja) 2010-06-25 2010-06-25 映像コンテンツに重畳する付加情報の領域を決定する映像出力装置、プログラム及び方法
GB1110362.9A GB2481519B (en) 2010-06-25 2011-06-17 Apparatus and method for optimizing on-screen location of additional content overlay on video content
US13/168,447 US8849063B2 (en) 2010-06-25 2011-06-24 Apparatus and method for optimizing on-screen location of additional content overlay on video content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010144420A JP5465620B2 (ja) 2010-06-25 2010-06-25 映像コンテンツに重畳する付加情報の領域を決定する映像出力装置、プログラム及び方法

Publications (2)

Publication Number Publication Date
JP2012010117A JP2012010117A (ja) 2012-01-12
JP5465620B2 true JP5465620B2 (ja) 2014-04-09

Family

ID=44454300

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010144420A Expired - Fee Related JP5465620B2 (ja) 2010-06-25 2010-06-25 映像コンテンツに重畳する付加情報の領域を決定する映像出力装置、プログラム及び方法

Country Status (3)

Country Link
US (1) US8849063B2 (ja)
JP (1) JP5465620B2 (ja)
GB (1) GB2481519B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10008041B2 (en) 2015-09-29 2018-06-26 Colopl, Inc. Image generating device, image generating method, and image generating program

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8988609B2 (en) 2007-03-22 2015-03-24 Sony Computer Entertainment America Llc Scheme for determining the locations and timing of advertisements and other insertions in media
US8451380B2 (en) 2007-03-22 2013-05-28 Sony Computer Entertainment America Llc Scheme for determining the locations and timing of advertisements and other insertions in media
US8503523B2 (en) * 2007-06-29 2013-08-06 Microsoft Corporation Forming a representation of a video item and use thereof
TW201222476A (en) * 2010-11-26 2012-06-01 Chung-Chiu Wu Image processing system and method thereof, computer readable storage media and computer program product
US9583074B2 (en) 2011-07-20 2017-02-28 Google Inc. Optimization of label placements in street level images
US10445772B1 (en) * 2011-09-09 2019-10-15 Google Llc Label placement based on objects in photographic images
FR2984668B3 (fr) * 2011-12-16 2014-09-05 Phonitive Procede de traitement de sequence video sur les terminaux mobiles en temps reel
JP5867133B2 (ja) * 2012-02-10 2016-02-24 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20130211925A1 (en) * 2012-02-15 2013-08-15 Robert W. Holland User-selected advertisement layout
US9043820B2 (en) * 2012-09-25 2015-05-26 Verizon Patent And Licensing Inc. Advertisement delivery engine
US9094618B1 (en) 2013-03-14 2015-07-28 Tribune Broadcasting Company, Llc Systems and methods for causing a stunt switcher to run a bug-overlay DVE with absolute timing restrictions
US9049386B1 (en) * 2013-03-14 2015-06-02 Tribune Broadcasting Company, Llc Systems and methods for causing a stunt switcher to run a bug-overlay DVE
US9473801B1 (en) 2013-03-14 2016-10-18 Tribune Broadcasting Company, Llc Systems and methods for causing a stunt switcher to run a bug-removal DVE
US9549208B1 (en) 2013-03-14 2017-01-17 Tribune Broadcasting Company, Llc Systems and methods for causing a stunt switcher to run a multi-video-source DVE
US9185309B1 (en) 2013-03-14 2015-11-10 Tribune Broadcasting Company, Llc Systems and methods for causing a stunt switcher to run a snipe-overlay DVE
US10296933B2 (en) * 2013-04-12 2019-05-21 Facebook, Inc. Identifying content in electronic images
US9467750B2 (en) * 2013-05-31 2016-10-11 Adobe Systems Incorporated Placing unobtrusive overlays in video content
KR101524379B1 (ko) * 2013-12-27 2015-06-04 인하대학교 산학협력단 주문형 비디오에서 인터랙티브 서비스를 위한 캡션 교체 서비스 시스템 및 그 방법
EP3103258B1 (en) * 2014-02-07 2020-07-15 Sony Interactive Entertainment America LLC Scheme for determining the locations and timing of advertisements and other insertions in media
CN105100886B (zh) * 2014-04-22 2019-03-15 腾讯科技（北京）有限公司 网络媒介信息的发布控制方法、及装置、服务器和系统
US9414011B2 (en) * 2014-05-07 2016-08-09 Disney Enterprises, Inc. Remote, directed delivery of data for on-air graphics
JP2016004064A (ja) * 2014-06-13 2016-01-12 大日本印刷株式会社 コンテンツ配信装置及びコンテンツ配信システム
JP2017139509A (ja) * 2014-06-23 2017-08-10 シャープ株式会社 表示装置及び表示システム
WO2016012875A1 (en) * 2014-07-23 2016-01-28 Comigo Ltd. Reducing interference of an overlay with underlying content
US9743153B2 (en) 2014-09-12 2017-08-22 Sorenson Media, Inc Content replacement with onscreen displays
US9641870B1 (en) 2014-09-12 2017-05-02 Sorenson Media, Inc. Content management of a content feed
JP6352126B2 (ja) * 2014-09-17 2018-07-04 ヤフー株式会社 広告表示装置、広告表示方法、及び広告表示プログラム
EP3013055A1 (en) * 2014-10-23 2016-04-27 Thomson Licensing Video frame set processing cost management method, apparatus and related computer program product
JP2016116032A (ja) * 2014-12-12 2016-06-23 シャープ株式会社 受信装置、放送システム、受信方法及びプログラム
US20170024916A1 (en) * 2015-07-21 2017-01-26 Microsoft Technology Licensing, Llc Media composition using aggregate overlay layers
US10178196B2 (en) * 2015-08-21 2019-01-08 Comcast Cable Communications, Llc Local cache maintenance for media content
JP6512068B2 (ja) * 2015-09-30 2019-05-15 株式会社三洋物産 遊技機
CN105430512A (zh) * 2015-11-06 2016-03-23 腾讯科技（北京）有限公司 一种在视频图像上显示信息的方法和装置
EP3174007A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for calibrating the orientation of a camera mounted to a vehicle
EP3173979A1 (en) * 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for identification of characteristic points of a calibration pattern within a set of candidate points in an image of the calibration pattern
US20170214980A1 (en) * 2016-01-21 2017-07-27 Hashplay Inc. Method and system for presenting media content in environment
US11017437B2 (en) * 2016-05-25 2021-05-25 At&T Intellectual Property I, L.P. Method and system for managing communications including advertising content
US10042829B2 (en) * 2016-06-28 2018-08-07 Google Llc Measurement of visibility of overlay content
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
JP6897042B2 (ja) * 2016-09-27 2021-06-30 日本電気株式会社 画像検査装置、画像検査方法および画像検査プログラム
CA3046752A1 (en) * 2016-12-13 2018-06-21 Rovi Guides, Inc. Systems and methods for minimizing obstruction of a media asset by an overlay by predicting a path of movement of an object of interest of the media asset and avoiding placement of the overlay in the path of movement
US10482327B1 (en) * 2017-01-18 2019-11-19 Snap Inc. Media overlay selection system
KR102591292B1 (ko) * 2017-02-14 2023-10-19 삼성전자주식회사 디스플레이 장치와 방법 및 광고 서버
US10433018B2 (en) * 2017-03-06 2019-10-01 Tribune Broadcasting Company, Llc Video production system with dynamic character generator output
DE102017108371B4 (de) * 2017-04-20 2020-08-27 Carl Zeiss Meditec Ag Medizinisch-optisches Darstellungssystem und Verfahren zum Betreiben desselben
US11102549B2 (en) * 2017-09-27 2021-08-24 Wurl Inc. Selective video overlay
KR102200317B1 (ko) * 2017-12-08 2021-01-08 구글 엘엘씨 디지털 비디오 컨텐츠 수정
CN108154103A (zh) * 2017-12-21 2018-06-12 百度在线网络技术（北京）有限公司 检测推广信息显著性的方法、装置、设备和计算机存储介质
EP3534334B1 (en) * 2018-02-28 2022-04-13 Aptiv Technologies Limited Method for identification of characteristic points of a calibration pattern within a set of candidate points derived from an image of the calibration pattern
EP3534333B1 (en) 2018-02-28 2025-12-17 Aptiv Technologies AG Method for calibrating the position and orientation of a camera relative to a calibration pattern
US11436776B2 (en) * 2019-03-15 2022-09-06 Canon Kabushiki Kaisha Information processing apparatus and control method thereof
WO2020189817A1 (ko) * 2019-03-19 2020-09-24 전자부품연구원 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템
CN110286813B (zh) * 2019-05-22 2020-12-01 北京达佳互联信息技术有限公司 图标位置确定方法和装置
US10951563B2 (en) 2019-06-27 2021-03-16 Rovi Guides, Inc. Enhancing a social media post with content that is relevant to the audience of the post
CN110996020B (zh) * 2019-12-13 2022-07-19 浙江宇视科技有限公司 Osd叠加方法、装置及电子设备
CN111372122B (zh) * 2020-02-27 2022-03-15 腾讯科技（深圳）有限公司 一种媒体内容植入方法、模型训练方法以及相关装置
CN111832529B (zh) * 2020-07-23 2025-08-29 深圳传音控股股份有限公司 视频文本转换方法、移动终端和计算机可读存储介质
WO2022025883A1 (en) * 2020-07-29 2022-02-03 Google Llc Non-occluding video overlays
WO2022093252A1 (en) * 2020-10-30 2022-05-05 Google Llc Non-occluding video overlays
US11695988B2 (en) * 2021-07-15 2023-07-04 Disney Enterprises, Inc. Content stream having encoded metadata for video enhancement
US11930247B2 (en) * 2021-10-13 2024-03-12 Rovi Guides, Inc. System and method for selection of supplemental content according to skip likelihood
US11606609B1 (en) 2021-10-13 2023-03-14 Rovi Guides, Inc. System and method for selection of supplemental content according to skip likelihood

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02298194A (ja) * 1988-10-03 1990-12-10 Hitachi Ltd カラービデオプリンタ装置
AU6276096A (en) * 1995-06-16 1997-01-15 Princeton Video Image, Inc. System and method for inserting static and dynamic images into a live video broadcast
JP3720511B2 (ja) 1997-02-21 2005-11-30 シャープ株式会社 カメラ調整用画像処理装置およびそれを用いたカメラ調整方法
JP3655110B2 (ja) 1998-12-15 2005-06-02 株式会社東芝 映像処理方法及び装置並びに映像処理手順を記録した記録媒体
JP3727231B2 (ja) * 2000-09-21 2005-12-14 日本電信電話株式会社 番組提示方法、番組提示装置、番組提示プログラムを記録した記録媒体
US6778224B2 (en) * 2001-06-25 2004-08-17 Koninklijke Philips Electronics N.V. Adaptive overlay element placement in video
JP4349574B2 (ja) 2004-03-05 2009-10-21 Ｋｄｄｉ株式会社 動画像データのシーン分割装置
SG119229A1 (en) * 2004-07-30 2006-02-28 Agency Science Tech & Res Method and apparatus for insertion of additional content into video
JP2007215097A (ja) * 2006-02-13 2007-08-23 Matsushita Electric Ind Co Ltd 表示データ生成装置
JP2007251273A (ja) * 2006-03-13 2007-09-27 Oki Electric Ind Co Ltd 画像処理装置，画像伝送システムおよび画像処理方法
US8087044B2 (en) * 2006-09-18 2011-12-27 Rgb Networks, Inc. Methods, apparatus, and systems for managing the insertion of overlay content into a video signal
US7688889B2 (en) * 2006-09-18 2010-03-30 Rgb Networks, Inc. Methods, apparatus, and systems for insertion of overlay content into a video signal with transrating capabilities
US8654255B2 (en) * 2007-09-20 2014-02-18 Microsoft Corporation Advertisement insertion points detection for online video advertising
JP4932779B2 (ja) 2008-04-22 2012-05-16 ヤフー株式会社 Ｔｖ番組と連動した動画対応広告装置及び方法
GB0809631D0 (en) * 2008-05-28 2008-07-02 Mirriad Ltd Zonesense
EP2189914A1 (en) * 2008-11-21 2010-05-26 Thomson Licensing Technique for customizing content
US8260055B2 (en) * 2009-03-27 2012-09-04 The Nielsen Company (Us), Llc Methods and apparatus for identifying primary media content in a post-production media content presentation
US8739041B2 (en) * 2010-06-17 2014-05-27 Microsoft Corporation Extensible video insertion control

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10008041B2 (en) 2015-09-29 2018-06-26 Colopl, Inc. Image generating device, image generating method, and image generating program

Also Published As

Publication number Publication date
GB2481519B (en) 2016-03-23
US8849063B2 (en) 2014-09-30
GB2481519A (en) 2011-12-28
JP2012010117A (ja) 2012-01-12
GB201110362D0 (en) 2011-08-03
US20110321084A1 (en) 2011-12-29

Similar Documents

Publication Publication Date Title
JP5465620B2 (ja) 映像コンテンツに重畳する付加情報の領域を決定する映像出力装置、プログラム及び方法
US10785507B2 (en) Advertisement supported video download
US8745657B2 (en) Inserting interactive objects into video content
KR101540246B1 (ko) 콘텐츠 서명을 이용하는 동적 콘텐츠 삽입
US9693030B2 (en) Generating alerts based upon detector outputs
JP5248239B2 (ja) 配信システム、配信システムのサーバ、配信システムの端末、配信方法
JPWO2006123744A1 (ja) コンテンツ表示システム及びコンテンツ表示方法
JP2011193326A (ja) 放送映像に付加情報を重畳する放送映像出力装置、プログラム及び方法
EP2534624A2 (en) Customized television advertising
KR20080078186A (ko) 멀티미디어 휴대형 단말기 사용자를 위한 관심 영역의 추출방법
KR101927965B1 (ko) 광고 동영상 제작 시스템 및 방법
US12395711B2 (en) Dynamic code integration within network-delivered media
US20130124310A1 (en) Method and apparatus for creating recommendations for a user
US20110164827A1 (en) Audiovisual content delivery system
US20130205334A1 (en) Method and apparatus for providing supplementary information about content in broadcasting system
US8341668B2 (en) Television advertising for local businesses
US8561106B1 (en) Video advertisement placement
US20210014571A1 (en) Systems and methods for blending interactive applications with television programs
Chang et al. ViSA: virtual spotlighted advertising
KR101540613B1 (ko) 가상 광고 영상 선택 장치 및 방법
JP6567715B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2017011438A (ja) 情報処理装置、プログラム、情報処理システム、及び受信装置
JP6363015B2 (ja) 電子機器及び表示方法
US20160212475A1 (en) Dynamically generated user interface
CN113222995B (zh) 视频处理方法、视频处理装置及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140122

R150 Certificate of patent or registration of utility model

Ref document number: 5465620

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees