JP2017123536A - 印画物作製装置、サーバ装置、及び動画データ配信システム - Google Patents

Abstract

【課題】携帯端末で撮影することで動画が安定的に重畳して再生されるような印画物を作製する。【解決手段】動画データ配信システムは、サーバ装置１及び印画物作製装置２を備える。印画物作製装置２は、被撮影者を撮影して撮影画像を生成し、撮影画像、画像データ、及びサーバ装置１において動画データが保存される場所を示す保存場所情報をコード化したコード画像を合成して合成画像を生成し、この合成画像を印画紙にプリントして印画物３を作製する。画像データは、テンプレート画像領域、及び撮影画像が挿入される挿入領域３１を含む。サーバ装置１は、画像データのテンプレート画像領域の少なくとも一部に特徴点抽出領域を設定し、印画物３上のコード画像から保存場所情報を読み取ってアクセスしてきた携帯端末４へ、特徴点抽出領域情報を送信する。サーバ装置１は、携帯端末４から特徴点が合致したことが通知されると、動画データを携帯端末４へ送信する。【選択図】図１

Description

本発明は、携帯端末においてＡＲ技術により動画を再生するための印画物を作製する印画物作製装置に関する。また、本発明は、携帯端末へ動画データを配信するサーバ装置及び動画データ配信システムに関する。

免許証、パスポート、履歴書等に貼付するための証明写真等を撮影するボックス型の印画物作製装置が知られている（例えば特許文献１参照）。印画物作製装置は、人物を撮影し、用途に応じた様々なサイズの写真をプリントして出力する。このような印画物作製装置においては、利用者のニーズが多様化しており、常に新たなサービスが求められている。

従来、タブレット端末やスマートフォン等の携帯端末で撮影した現実空間の画像上に、仮想物体等の画像を重畳して表示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が知られている（例えば特許文献２、３参照）。

ＡＲ空間への仮想物体の配置は、通常、画像に映る実空間の３次元構造の認識（環境認識）に基づいて行われる。例えば、入力画像の変化に応じて動的に更新される特徴点群を用いて、特徴点の位置の認識と環境内のカメラの位置及び姿勢の認識とが同時に実行されて、環境が認識される。

画像内の特徴点群に基づく環境認識技術の精度は、画像内の特徴点の分布に依存する。特徴点の数が多いほど、認識は安定的になる。一方、特徴点の数が少ない場合、ＡＲアプリケーションを利用するユーザが端末（カメラ）の向きを少し変えただけでも環境認識が不安定になり易く、仮想物体を撮影画像に重畳することが困難になっていた。

特開２００６−３１１２７６号公報 特開２０１１−８７５２号公報 特表２０１２−５０３２２８号公報

本発明は、上記従来の実状に鑑みてなされたものであり、携帯端末で撮影することで動画が安定的に重畳して再生されるような印画物を作製する印画物作製装置、及び携帯端末へ動画データを配信するサーバ装置及び動画データ配信システムを提供することを課題とする。

本発明の一態様による印画物作製装置は、サーバ装置から受信した画像データ、前記サーバ装置において前記テンプレート画像に対応する動画データが保存される場所を示す保存場所情報、及び特徴点抽出領域情報を記憶する記憶部と、被撮影者を撮影し、撮影画像を生成する撮影装置と、前記画像データ及び前記撮影画像を合成して合成画像を生成する画像合成部と、前記特徴点抽出領域情報に基づく前記合成画像内の特徴点抽出領域から、所定数以上の特徴点を抽出できるか否か判定する判定部と、前記判定部が前記所定数以上の特徴点が抽出できると判定した場合に、前記保存場所情報をコード化したコード画像を含む前記合成画像を印画紙にプリントして出力するプリンタと、を備えるものである。

本発明の一態様による印画物作製装置は、前記判定部が前記所定数以上の特徴点が抽出できないと判定した場合に、前記撮影装置が被撮影者の再撮影を行うことを特徴とする。

本発明の一態様による印画物作製装置は、被撮影者の再撮影時のストロボの光量を、前回撮影時の光量から変更することを特徴とする。

本発明の一態様による印画物作製装置は、前記判定部が前記所定数以上の特徴点が抽出できないと判定した場合に、前記合成画像へのスタンプの挿入、文字の挿入、前景画像又は背景画像の合成のいずれかを含む編集処理を行う編集処理部をさらに備えることを特徴とする。

本発明の一態様による印画物作製装置において、前記編集処理部は、前記スタンプ又は文字の挿入を前記特徴点抽出領域内に制限することを特徴とする。

本発明の一態様によるサーバ装置は、画像データを印画物作製装置へ送信し、動画データを携帯端末へ送信するサーバ装置であって、前記画像データ及び前記動画データを保存する記憶部と、前記画像データに特徴点抽出領域を設定し、設定した特徴点抽出領域を示す特徴点抽出領域情報を前記記憶部に登録する設定部と、前記動画データの保存場所情報及び前記画像データを前記印画物作製装置へ送信すると共に、テンプレート画像、前記保存場所情報をコード化したコード画像、及び前記印画物作製装置が被撮影者を撮影した撮影画像を合成した合成画像が前記印画物作製装置によりプリントされた印画物上の前記コード画像から前記保存場所情報を読み取ってアクセスしてきた前記携帯端末へ、前記画像データ及び前記特徴点抽出領域情報を送信する画像データ送信部と、前記携帯端末へ前記動画データを送信する送信部と、を備え、前記画像データは、テンプレート画像領域、及び前記撮影画像が挿入される挿入領域を含み、前記設定部は、前記テンプレート画像領域の少なくとも一部に前記特徴点抽出領域を設定することを特徴とするものである。

本発明の一態様によるサーバ装置において、前記設定部は、前記テンプレート画像領域の全体を前記特徴点抽出領域に設定することを特徴とする。

本発明の一態様によるサーバ装置において、前記設定部は、前記挿入領域を含まないように前記特徴点抽出領域を設定することを特徴とする。

本発明の一態様によるサーバ装置は、前記印画物作製装置から、前記挿入領域に前記撮影画像が挿入された画像を受信し、受信した画像内の前記特徴点抽出領域から、所定数以上の特徴点を抽出できるか否か判定し、判定結果を前記印画物作製装置に通知することを特徴とする。

本発明の一態様による動画データ配信システムは、印画物作製装置と、前記印画物作製装置へ画像データを送信し、携帯端末へ前記画像データに対応する動画データを送信するサーバ装置とを備える動画データ配信システムであって、前記印画物作製装置は、被撮影者を撮影して撮影画像を生成し、前記撮影画像、前記サーバ装置から受信した前記画像データ、及び前記サーバ装置において前記動画データが保存される場所を示す保存場所情報をコード化したコード画像を合成して合成画像を生成し、前記合成画像を印画紙にプリントして印画物を作製し、前記サーバ装置は、前記画像データに特徴点抽出領域を設定し、前記印画物上の前記コード画像から前記保存場所情報を読み取ってアクセスしてきた前記携帯端末へ、前記特徴点抽出領域を示す特徴点抽出領域情報及び前記画像データを送信し、前記携帯端末から特徴点が合致したことが通知されると、前記動画データを前記携帯端末へ送信し、前記画像データは、テンプレート画像領域、及び前記撮影画像が挿入される挿入領域を含み、前記サーバ装置は、前記テンプレート画像領域の少なくとも一部に前記特徴点抽出領域を設定することを特徴とするものである。

本発明によれば、印画物作製装置で作製された印画物を携帯端末で撮影することで、印画物に動画が安定的に重畳して再生されるように携帯端末へ動画データを配信することができる。

本発明の第１の実施形態に係る動画データ配信システムの概略構成図である。 （ａ）はテンプレート画像の一例を示す図であり、（ｂ）は印画物作製装置から出力されるプリント物の一例を示す図である。 （ａ）〜（ｄ）は特徴点抽出領域の設定例を示す図である。 印画物作製装置の構成図である。 印画物作製装置の演算制御装置のハードウェア構成図である。 画像販売プログラムを実行することで実現される機能ブロック図である。 サーバ装置の構成図である。 管理情報の一例を示す図である。 携帯端末の構成図である。 動画再生アプリを実行することで実現される機能ブロック図である。 第１の実施形態に係る動画データ配信方法を説明するシーケンス図である。 管理情報の一例を示す図である。 第２の実施形態に係る画像販売プログラムを実行することで実現される機能ブロック図である。

以下、本発明の実施の形態を図面に基づいて説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る動画データ配信システムの概略構成図である。図１に示すように、動画データ配信システムは、サーバ装置１、印画物作製装置２、及び携帯端末４を備える。サーバ装置１と印画物作製装置２とは通信可能に接続されている。

サーバ装置１は、テンプレート画像データと、このテンプレート画像データに対応する動画データとを保存している。サーバ装置１は、テンプレート画像データと、対応する動画データにアクセスするための保存場所情報（例えばＵＲＬ）とを印画物作製装置２へ送信する。

テンプレート画像データは、例えば、図２（ａ）に示すように、スポーツ選手や有名人等の人物の画像３０を含むテンプレート画像領域と、印画物作製装置２が撮影したユーザ画像が挿入されるユーザ画像挿入領域３１とを有するフレーム画像のデータである。動画データは、例えば、画像３０の人物が動いたり音声を出したりしている動画のデータである。画像３０は人物に限定されず、動物やキャラクターなどでもよい。以下、画像３０を人物画像として説明を行う。

印画物作製装置２は、ボックス型の写真撮影装置であり、ユーザから料金が支払われると、ユーザを撮影し、ユーザ画像を生成する。また、印画物作製装置２は、サーバ装置１から受信した保存場所情報をコード化して二次元コードを生成する。そして、印画物作製装置２は、画像データのユーザ画像挿入領域３１にユーザ画像を挿入し、さらに二次元コード画像を合成し、合成画像を印画紙にプリントしてプリント物（印画物）３を出力する。これにより、図２（ｂ）に示すように、人物画像３０、ユーザ画像３２、及び二次元コード３３がプリントされたプリント物３が作製される。

ユーザは、スマートフォンやタブレット機器等の携帯端末４を有しており、この携帯端末４には動画データを再生するためのプログラム（動画再生アプリ）が記憶されている。携帯端末４がこのプログラムを実行すると、二次元コードを読み取るために携帯端末４のカメラ機能が起動する。ユーザが携帯端末４のカメラでプリント物３上の二次元コード３３を撮影すると、携帯端末４は二次元コード３３を読み取って保存場所情報を取得し、サーバ装置１にアクセスする。

携帯端末４は、サーバ装置１から画像データを取得するとともに、携帯端末４のカメラでプリント物３の所定領域（特徴点抽出領域）を撮影するようユーザに指示する。ユーザが携帯端末４のカメラで特徴点抽出領域を撮影すると、携帯端末４は、撮影された特徴点抽出領域の画像と、サーバ装置１から取得した画像との特徴点を比較して照合する。

照合により２つの画像の特徴点が一致した場合、携帯端末４はサーバ装置１から人物画像３０に対応する動画データを取得し、ディスプレイ上で動画を再生する。動画再生には公知のＡＲ技術が用いられ、携帯端末４のカメラで撮影しているプリント物３に動画が重畳して再生される。例えば、携帯端末４は、プリント物３の特徴点抽出領域内の特徴点を追跡して携帯端末４のカメラの位置姿勢を推定し、カメラ画像と動画の位置合わせを行う。これにより、プリント物３が動いた場合でも、その動きに合わせて動画の表示（再生）位置を追従させることができる。

このように、本実施形態による動画データ配信システムでは、印画物作製装置２が、ユーザを撮影し、ユーザ画像３２、人物画像３０、及び二次元コード３３をプリントしたプリント物３を販売する。ユーザは、自身の画像と、有名人等の画像とが合成された写真（プリント物３）を購入できる。さらに、ユーザは、購入したプリント物３の二次元コード３３を携帯端末４で読み取り、サーバ装置１にアクセスして動画データを受信・再生し、人物画像３０に対応する動画を視聴することができる。

ここで、図３（ａ）に示すように、特徴点抽出領域３４が画像（プリント物３）の中央部分に設定されている場合について考える。印画物作製装置２で撮影を行う際のユーザの姿勢や位置によっては、図３（ｂ）に示すように特徴点抽出領域３４内にユーザがほとんど位置せず、特徴点抽出領域３４の空白部分が大きくなり、抽出される特徴点の数が少なくなる。特徴点の数が少ないと、特徴点の比較が困難になり、携帯端末４のカメラで撮影しているプリント物３に動画を重畳して再生することが困難となる。また、動画再生中にプリント物３が僅かに動いたり傾いたりしただけで、特徴点の追跡ができなくなって、動画再生が停止し得る。

そこで、本実施形態では、図３（ｃ）に示すように、特徴点抽出領域３４をテンプレート画像中の人物画像領域の少なくとも一部に設定する。これにより、印画物作製装置２で撮影を行う際のユーザの姿勢や位置によらず、動画の重畳再生に好適な数の特徴点を抽出することができ、安定的に動画再生を行うことができるようになる。

図３（ｄ）に示すように、ユーザ画像挿入領域３１を除いたテンプレート画像領域の全体を特徴点抽出領域３４としてもよい。

図４は、印画物作製装置２の概略構成を示す。印画物作製装置２は、ユーザ（被撮影者）Ｐを撮影し、撮影画像データを生成する撮影装置２１と、この撮影画像データに対して画像処理を施す演算制御装置２０と、印画物（写真）をプリントするプリンタ２３と、撮影装置２１がユーザＰを撮影する際にユーザＰに光を照射するストロボ２４と、サーバ装置１との通信を行う通信部２５とを備える。

また、印画物作製装置２は、ユーザＰから各種指示を受け付けると共に、撮影した画像のプレビュー表示を行うタッチパネル２２を備えている。さらに、印画物作製装置２には、ユーザＰが印画物の代金として支払う貨幣を受け入れたり、釣銭を払い出したりする課金部（図示せず）が設けられている。印画物作製装置２におけるユーザＰの背中側の壁紙は、クロマキー合成に適した色、例えば青色や黄緑色になっている。

撮影装置２１は、例えばデジタルカメラであり、レンズ、シャッタ、ＣＭＯＳセンサ、Ａ／Ｄ変換器等を有する。撮影装置２１がユーザＰを撮影する場合には、ＣＭＯＳセンサが、レンズにより収束された撮影光を、シャッタを介して受光すると共に、受光面に結像された光学像を光電変換し、画像信号として出力する。そして、Ａ／Ｄ変換器が、ＣＭＯＳセンサから出力された画像信号をＡ／Ｄ変換し、撮影画像データを生成する。撮影装置２１は、撮影画像データを演算制御装置２０へ出力する。

通信部２５は、サーバ装置１と通信を行い、サーバ装置１からテンプレート画像データ、及び保存場所情報を受信する。

演算制御装置２０は、撮影装置２１、タッチパネル２２、プリンタ２３、ストロボ２４、通信部２５、及び課金部に接続されており、各部の制御やデータの受け渡しを行う。

図５に、演算制御装置２０のハードウェア構成を示す。演算制御装置２０は、ＣＰＵ（中央演算処理部）２０１、メインメモリ２０２、ディスク装置２０３、及び入出力部２０４を有する。演算制御装置２０の各部はバスを介して接続されている。

ディスク装置２０３は、制御プログラム、画像販売プログラム、サーバ装置１から受信したテンプレート画像データ及び保存場所情報を記憶する。

ＣＰＵ２０１が制御プログラムを実行することで、印画物作製装置２の各部を制御する制御部として機能する。

ＣＰＵ２０１が画像販売プログラムを実行することで、図６に示すように、画像データ受信部２１０、サンプル画像表示部２１１、保存場所情報取得部２１２、コード化処理部２１３、撮影処理部２１４、切抜部２１５、画像合成部２１６、及びプリント処理部２１７が実現され、ユーザの撮影及びプリント物３の販売が行えるようになる。

画像データ受信部２１０は、サーバ装置１からテンプレート画像データを受信し、ディスク装置２０３に格納する。

サンプル画像表示部２１１は、サーバ装置１から受信した画像データを用いて、タッチパネル２２にプリント物３のサンプル画像を表示する。保存場所情報取得部２１２は、サーバ装置１から保存場所情報を取得する。撮影処理部２１４は、撮影装置２１を用いてユーザＰの撮影処理を行う。

コード化処理部２１３は、保存場所情報取得部２１２が取得した保存場所情報をコード化して二次元コード画像を生成する。

切抜部２１５は、撮影装置２１による撮影画像内の人物（ユーザ）と背景色（壁紙色）との色差を判別し、撮影画像からユーザ画像を切り抜く。ここで判別される色差とは、色相差、彩度差、又は色相差及び彩度差の組み合わせである。

画像合成部２１６は、購入された画像と、コード化処理部２１３により生成された二次元コード画像と、切抜部２１５により撮影画像から切り抜かれたユーザ画像とを合成して合成画像を作成する。例えば、画像合成部２１６は、図２（ａ）、（ｂ）に示すように、購入画像のテンプレート画像データのユーザ画像挿入領域３１にユーザ画像３２を挿入し、さらに、二次元コード画像３３を合成して合成画像を作成する。二次元コード画像３３は、人物画像３０及びユーザ画像３２に重ならない位置に合成することが好ましい。

プリント処理部２１７は、作成された合成画像を、入出力部２０４を介してプリンタ２３へ転送し、印画紙にプリントするように制御する。これにより、プリンタ２３からプリント物３が出力される。

タッチパネル２２は、操作ボタンを表示し、操作ボタンが押されると、その操作ボタンに対応した操作指示を受け付ける。また、印画物作製装置２はライブビュー機能を有し、人物画像３０とユーザ画像３２とを合成した画像をタッチパネル２２の画面で確認できるようになっている。

タッチパネル２２上の撮影指示ボタンが押されると、ボタンタッチ後、所定のタイミングでプリント用画像生成のための撮影処理が行われ、合成画像が静止画表示される。ユーザＰは、表示された合成画像を確認し、承認ボタンを押すと、演算制御装置２０は、この合成画像（プリント用画像）のデータをプリンタ２３へ転送する。

プリンタ２３は、演算制御装置２０から受け取った合成画像を印画紙にプリントしてプリント物３を出力する。プリンタ２３のプリント方式は特に限定されず、インクジェット方式、昇華型熱転写方式、溶融型熱転写方式等を用いることができる。

図７はサーバ装置１の構成図である。サーバ装置１は、特徴点抽出領域設定部１０、画像データ送信部１１、保存場所情報送信部１２、動画データ送信部１３、動画配信管理部１４、端末情報取得部１５、及び記憶部１６を備え、例えばコンピュータにより構成される。

記憶部１６は、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ（例えば、ＳＤ又はＸＤメモリなど）、ＲＡＭ、ＳＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＰＲＯＭ、磁気メモリの少なくとも１つのタイプの記憶媒体を含む。

記憶部１６は、画像データ（テンプレート画像データ）、動画データ、及び管理情報を保存する。画像データ及び動画データは、ライセンサから提供されたものである。

図８に管理情報の一例を示す。管理情報は、複数のボックスに区分けされており、各ボックスには販売可能数、販売期間、動画配信期間、画像情報、及び動画情報が含まれる。管理情報は、画像販売及び動画配信の管理単位でボックス分けされている。

画像情報は、テンプレート画像データを特定する情報である。動画情報は、動画データを特定する情報である。管理情報の各ボックスの画像情報及び動画情報により、テンプレート画像データと動画データとが紐付けられる。例えば、ボックス００１では、テンプレート画像データＰ１に動画データＭ１が紐付けられており、ボックス００２では、テンプレート画像データＰ２に動画データＭ２が紐付けられている。

販売可能数は、当該ボックスの画像情報が示すテンプレート画像データを使用したプリント物３の販売可能枚数（上限枚数）である。販売期間は、当該ボックスの画像情報が示すテンプレート画像データを使用したプリント物３を印画物作製装置２において販売する期間である。

管理情報のボックス毎に、印画物作製装置２における累積販売枚数の情報を持たせ、更新するようにしてもよい。例えば、サーバ装置１は、印画物作製装置２から画像販売の可否の問合せを受け付けると、管理情報内の販売可能数、累積販売枚数、販売期間等の情報を確認し、販売可否を回答する。販売可と回答した場合、累積販売枚数を更新する。

動画配信期間は、当該ボックスの動画情報が示す動画データを、サーバ装置１にアクセスしてきた携帯端末４で再生できるように配信（送信）する期間である。

サーバ装置１は、テンプレート画像データ及び動画データの組み合わせが登録されると、この組み合わせに対して識別ＩＤを割り当てる。識別ＩＤは、例えば管理情報のボックス番号を用いることができる。印画物作製装置２に送信される保存場所情報は、この識別ＩＤを含む。

特徴点抽出領域設定部１０は、記憶部１６に保存されている画像データについて、特徴点抽出領域を設定する。特徴点抽出領域設定部１０は、画像データ内の特徴量（色彩が大きく変わる部分や濃淡の濃い部分）が多い領域、例えば人物画像領域の少なくとも一部や、ユーザ画像挿入領域３１を除いたテンプレート画像領域全体を特徴点抽出領域として設定する。特徴点抽出領域は、ライセンサ等から指示されてもよいし、特徴点抽出領域設定部１０が自動で選定してもよい。設定された特徴点抽出領域の情報は、画像データに紐付けて記憶部１６に保存される。

画像データ送信部１１は、印画物作製装置２及び携帯端末４へ画像データを送信する。例えば、画像データ送信部１１は、ライセンサから提供された画像データ及び動画データがサーバ装置１に登録されると、印画物作製装置２へ画像データを送信する。また、画像データ送信部１１は、携帯端末４が保存場所情報に基づいてサーバ装置１にアクセスした場合、この保存場所情報に対応するボックスの画像情報を参照し、画像データを携帯端末４へ送信する。例えば、保存場所情報がボックス００１に含まれるものである場合、画像データ送信部１１は携帯端末４へ画像データＰ１を送信し、保存場所情報がボックス００２に含まれるものである場合、画像データ送信部１０は携帯端末４へ画像データＰ２を送信する。

保存場所情報送信部１２は、サーバ装置１における動画データの保存場所を示す保存場所情報を印画物作製装置２へ送信する。保存場所情報は、携帯端末４が動画データ再生に際しサーバ装置１にアクセスするために使用されるものである。

動画データ送信部１３は、携帯端末４からの要求に応じて、携帯端末４へ動画データを送信する。携帯端末４へ送信する動画データは、携帯端末４へ送信した画像データに対応したものである。

動画配信管理部１４は、管理情報を参照し、携帯端末４がアクセスしてきた際の保存場所情報に含まれる識別ＩＤから、対応する画像データ及び動画データを特定する。例えば、携帯端末４がサーバ装置１にアクセスしてきた際の保存場所情報に含まれる識別ＩＤがボックス００２を示すものである場合、必要とされる画像及び動画は画像データＰ２及び動画データＭ２であると決定する。

端末情報取得部１５は、アクセスしてきた携帯端末４の端末情報、例えば個体識別情報、設定言語、メーカ、モデル名、ＩＰアドレスゾーン、ネットワークセグメント、ＧＰＳ位置情報、インストールされているアプリのアプリＩＤ等を取得する。

図９は、携帯端末４のブロック構成図である。携帯端末４は、ＣＰＵ４０、メモリ４１、カメラ４２、通信部４３、ディスプレイ（タッチパネル）４４、及びＧＰＳ４５を備える。

メモリ４１は、動画再生アプリ（アプリケーションプログラム）を記憶する。メモリ４１は、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ（例えば、ＳＤ又はＸＤメモリなど）、ＲＡＭ、ＳＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＰＲＯＭ、磁気メモリの少なくとも１つのタイプの記憶媒体を含む。

ＣＰＵ４０が動画再生アプリを実行することで、図１０に示すように、コード読取部４０１、画像取得部４０２、特徴点比較部４０３、及び動画再生部４０４が実現され、動画の再生が行えるようになる。

コード読取部４０１は、カメラ４２を用いてプリント物３にプリントされた二次元コード３３から保存場所情報を読み取る。画像取得部４０２は、読み取った保存場所情報を用いて、通信部４３を介してサーバ装置１にアクセスし、人物画像３０に対応する画像データ及び特徴点抽出領域情報を取得する。

特徴点比較部４０３は、サーバ装置１から取得した画像と、カメラ４２で撮影したプリント物３の画像とについて、特徴点抽出領域情報で示される特徴点抽出領域から特徴点を抽出し、比較する。特徴点が合致した場合、動画再生部４０４は、特徴点が合致したことをサーバ装置１に通知し、サーバ装置１から動画データを受信する。特徴点が不一致の場合、ディスプレイ４４に再生不可であることが表示される。

動画再生部４０４は、公知のＡＲ技術を用いて、受信した動画データを、カメラ４２で撮影しているプリント物３の画像に重畳させて再生する。例えば、検出した人物画像３０の特徴点を追跡してカメラ４２の位置姿勢を推定し、カメラ画像と動画の位置合わせを行う。

ＧＰＳ４５は、携帯端末４の位置情報を取得する。

図１１は、本実施形態によるプリント物の販売及び動画再生の処理の流れを示す図である。

ライセンサから提供された画像データ及び動画データが記憶部１６に登録される（ステップＳ１０１）。データの登録に伴い、サーバ装置１は保存場所情報を生成し、画像データ及び動画データとの対応関係を記憶部１６内の管理情報に登録する。販売可能数や販売期間等の情報も登録される。

続いて、特徴点抽出領域設定部１０が、登録された画像データについて、特徴点抽出領域を設定する（ステップＳ１０２）。設定された特徴点抽出領域の情報は、画像データに紐付けて記憶部１６内の管理情報に登録される。

サーバ装置１が印画物作製装置２へ画像データ及び保存場所情報を送信する（ステップＳ１０３）。サーバ装置１から印画物作製装置２への画像データの送信タイミングは任意である。

送信された画像データ及び保存場所情報はディスク装置２０３に記憶される。これにより、印画物作製装置２で合成画像の販売が開始される。サンプル画像表示部２１１は、画像データを用いて、タッチパネル２２にプリント物３のサンプル画像を表示する。

ユーザが、印画物作製装置２を操作して購入画像を選択すると（ステップＳ１０４）、印画物作製装置２は、選択された画像が販売可能か否かをサーバ装置１に問い合わせる（ステップＳ１０５）。サーバ装置１から販売可能と回答があると（ステップＳ１０６）、印画物作製装置２は課金処理を行い、ユーザから料金が支払われる（ステップＳ１０７）。

続いて、印画物作製装置２がユーザを撮影する（ステップＳ１０８）。印画物作製装置２のライブビュー機能により、テンプレート画像とユーザ画像とを合成した画像がタッチパネル２２に表示される。ユーザは、タッチパネル２２の画面で写り具合を確認し、体の位置や角度を調整して、撮影指示を行う。

ユーザの撮影後、切抜部２１５が撮影画像からユーザ画像を切り抜く。また、コード化処理部２１３が、保存場所情報を示す二次元コード画像を生成する。そして、画像合成部２１６が、購入されたテンプレート画像データのユーザ画像挿入領域に切り抜いたユーザ画像を挿入し、さらに、二次元コード画像を合成して、合成画像を作成する（ステップＳ１０９）。

プリンタ２３が、この合成画像を印画紙にプリントして出力する（ステップＳ１１０）。これにより、ユーザは、人物画像３０、ユーザ画像３２、及び二次元コード３３がプリントされたプリント物３（図２（ｂ）参照）を入手することができる（ステップＳ１１１）。

ユーザが、携帯端末４の動画再生アプリを実行すると、カメラ４２が起動し、ディスプレイ４４上に二次元コードの読み取り指示が表示される（ステップＳ１１２）。カメラ４２でプリント物３の二次元コード３３を撮影することで、携帯端末４は保存場所情報を取得する（ステップＳ１１３）。

携帯端末４の画像取得部４０２は、保存場所情報に基づき、通信部４３を介してサーバ装置１にアクセスし、画像データを要求する（ステップＳ１１４）。サーバ装置１は、管理情報を参照し、携帯端末４からアクセスされた際の保存場所情報に対応する画像データ及び特徴点抽出領域情報を携帯端末４へ送信する（ステップＳ１１５）。

携帯端末４がサーバ装置１から画像データ及び特徴点抽出領域情報を受信すると、ディスプレイ４４上に、プリント物３の特徴点抽出領域の読み取り指示が表示される。カメラ４２でプリント物３の特徴点抽出領域を撮影すると、特徴点比較部４０３が、サーバ装置１から受信した画像と、カメラ４２で撮影した画像との特徴点を比較する（ステップＳ１１６）。特徴点が合致すると、携帯端末４はサーバ装置１に対し動画データを要求する（ステップＳ１１７）。

サーバ装置１は、ステップＳ１１６で携帯端末４へ送信した画像データに対応する動画データを携帯端末４へ送信する（ステップＳ１１８）。携帯端末４が動画データを受信すると、動画再生部４０４が、公知のＡＲ技術を用いて、カメラ４２で撮影しているプリント物３の画像に重畳させて動画データを再生する（ステップＳ１１９）。これにより、例えば、ディスプレイ４４では、プリント物３内の人物画像３０が動き出したように動画が再生される。

このように、本実施形態によれば、印画物作製装置２がユーザを撮影し、ライセンサが提供したフレーム画像に、撮影したユーザ画像を合成したプリント物３を作製する。また、プリント物３にプリントされた二次元コードを携帯端末４で読み取り、サーバ装置１にアクセスして、ライセンサから提供された動画データを受信・再生し、フレーム画像に対応する動画を楽しむことができる。

また、特徴量の多い部分を特徴点抽出領域として設定しているため、特徴点が抽出し易く、動画データを撮影画像に重畳して安定的に再生することができる。

サーバ装置１の記憶部１６に保存された管理情報で、販売可能数を設定することで、プリント物３の発行枚数を制限し、プリント物３の価値を上げることができる。

ユーザ（携帯端末４）の位置や、動画再生時刻により、異なる動画が再生されるようにしてもよい。この場合、図１２に示すように、管理情報には、位置や時刻等の条件に応じた複数の動画が定義される。ユーザ（携帯端末４）の位置は、ＧＰＳ４５により取得される。例えば、条件１に時刻５：００〜１０：００、条件２に時刻１０：００〜１８：００、条件３に時刻１８：００〜５：００が設定されている場合、朝、昼、夜で再生される動画を変えることができる。

条件に“位置”を設定した場合、特定の場所で特定の動画が再生される。例えば、イベント会場において動画再生を行うことで、イベントに関連した特別な動画を視聴可能にできる。

上記実施形態では、販売可能数や販売期間を管理情報に設定していたが、これらの設定を省略してもよい。この場合、印画物作製装置２からサーバ装置１への問合せ処理（図１１のステップＳ１０５、Ｓ１０６）は省略される。

上記実施形態では、保存場所情報のコード化処理を印画物作製装置２で行っていたが、サーバ装置１がコード化処理を行い、二次元コードを合成したテンプレート画像データを印画物作製装置２へ送信してもよい。二次元コードが合成されたテンプレート画像データを格納した記憶媒体を印画物作製装置２に接続するなどして、印画物作製装置２のディスク装置２０３にデータを書き込んでもよい。この場合、印画物作製装置２から、サーバ装置１との通信機能を省略できる。

上記実施形態では、印画物作製装置２にてテンプレート画像データを保存していたが、サンプル画像のデータのみ保存しておき、撮影したユーザ画像と合成するテンプレート画像データは、ユーザの撮影を行う度にサーバ装置１からダウンロードするようにしてもよい。

動画データ配信システムは複数の印画物作製装置２を備えていてもよい。サーバ装置１は、印画物作製装置２毎に、画像の販売枚数や販売期間を設定してもよい。

動画再生期間が終了した後でも、追加課金により動画再生期間を延長できるようにしてもよい。例えば、動画再生期間が終了した後に携帯端末４からアクセスがあると、サーバ装置１は動画再生期間を延長するか否かを確認する。ユーザが携帯端末４を操作して再生期間延長を選択すると、課金画面を表示し、クレジットカード決済等を行う。課金処理後、サーバ装置１は、管理情報に、ユーザを識別する情報（例えば携帯端末４にインストールされている動画再生アプリのアプリＩＤ）と、延長した再生期間とを追加登録する。これにより、追加課金を行ったユーザに対しては、動画再生期間を延長することができる。

［第２の実施形態］
上記第１の実施形態では、テンプレート画像内の特徴量が多い部分、例えばユーザ画像挿入領域３１を除いたテンプレート画像領域の全体を特徴点抽出領域として設定する例について説明したが、図３（ａ）に示すように、ユーザ画像挿入領域３１を含むように特徴点抽出領域を設定してもよい。

上述したように、特徴点抽出領域内にユーザがほとんど位置せず、特徴点抽出領域の空白部分が大きくなると（図３（ｂ）参照）、抽出される特徴点の数が少なくなり、動画再生が不安定になり得る。本実施形態では、印画物作製装置２でユーザを撮影し、ユーザ画像をテンプレート画像に合成した後、印画物の作製前に、特徴点抽出を行い、特徴点が十分に抽出できるか否かを判定する。特徴点が十分に抽出できない場合は、特徴点が抽出できるような画像となるように再撮影を行ったり、撮影した画像の編集を行ったりする。

本実施形態では、印画物作製装置２のＣＰＵ２０１が画像販売プログラムを実行することで、図１３に示すように、上記第１の実施形態と比較して、特徴点抽出判定部２１８、再撮影処理部２１９、及び編集処理部２２０がさらに実現される。

特徴点抽出判定部２１８は、テンプレート画像のユーザ画像挿入領域にユーザ画像が挿入された合成画像から特徴点を抽出する。特徴点抽出領域情報はサーバ装置１から予め取得しており、例えば画像の中央部分が抽出領域となる。特徴点抽出判定部２１８は、抽出した特徴点の数が所定値以上である場合、抽出ＯＫと判定し、所定値未満の場合、抽出ＮＧと判定する。抽出ＯＫの場合は、二次元コード画像の合成、プリント処理へと進む。

抽出ＮＧの場合、印画物作製装置２は、ユーザに対して、再撮影を行うか、又は編集を行うかの選択を求める。

ユーザが再撮影を行うことを選択した場合、再撮影処理部２１９は、特徴点が増えるようなアングルを音声で案内したり、タッチパネル２２に図示したりする。また、再撮影処理部２１９は、再撮影する際に、特徴点が増えるように（例えば陰影が作られやすいように）ストロボ２４の光量を調整する。

また、再撮影処理部２１９は、ライブビュー機能によりテンプレート画像とユーザ画像とを合成した画像をタッチパネル２２に表示する際に、特徴点抽出領域も併せて表示し、特徴点抽出領域内に入るようにユーザに対して立ち位置等を指示する。

このようにして再撮影されたユーザ画像を合成したテンプレート画像からは、特徴点が十分に抽出できる。

編集処理部２２０は、ユーザが編集を行うことを選択した場合に、スタンプや文字入れ、コントラスト調整などの操作画面を提示したり、背景画像や前景画像の選択画面を提示したりして、特徴点が増えるような編集をユーザに行わせる。スタンプや文字の配置可能な位置を特徴点抽出領域内に制限してもよい。スタンプを入れたり背景画像を合成したりすることで、抽出領域の空白部分は小さくなり、特徴点が十分に抽出できる。

印画物作製装置２は、特徴点が十分に抽出できる合成画像をサーバ装置１に送信（アップロード）する。サーバ装置１は、合成画像を受信すると、一意の識別情報を割り当て、合成画像と識別情報とを紐付けて保存する。サーバ装置１は、この識別情報を含む保存場所情報を印画物作製装置２に通知する。あるいはまた、サーバ装置１は、予め複数の保存場所情報を準備しておき、合成画像を受信すると、未使用の保存場所情報と対応付けて保存すると共に、当該保存場所情報を印画物作製装置２に通知してもよい。

印画物作製装置２は、通知された保存場所情報を示す二次元コードを含む合成画像を印画紙にプリントして、印画物３を作製する。携帯端末４が、この印画物３上の二次元コードから保存場所情報を読み取ってサーバ装置１にアクセスすると、サーバ装置１は保存場所情報に含まれる識別情報に対応する合成画像を携帯端末４へ送信する。これにより、携帯端末４において画像の特徴点比較を行うことができる。

このように、本実施形態によれば、合成画像から特徴点が十分に抽出できない場合に、印画物作製装置２において再撮影や編集を行うことで、特徴点が抽出し易い合成画像を得ることができ、動画データを撮影画像に重畳して安定的に再生することができる。

上記第２の実施形態では、特徴点抽出判定処理を印画物作製装置２で行っていたが、サーバ装置１で行ってもよい。この場合、印画物作製装置２は、テンプレート画像のユーザ画像挿入領域にユーザ画像を挿入した合成画像をサーバ装置１に送信する。サーバ装置１は、印画物作製装置２から受信した画像から特徴点を抽出し、判定結果を印画物作製装置２に通知する。

上述した実施形態で説明した動画データ配信システムの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、動画データ配信システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、動画データ配信システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１ サーバ装置
２ 印画物作製装置
３ プリント物
４ 携帯端末

Claims (10)

1. サーバ装置から受信した画像データ、前記サーバ装置において前記テンプレート画像に対応する動画データが保存される場所を示す保存場所情報、及び特徴点抽出領域情報を記憶する記憶部と、
   被撮影者を撮影し、撮影画像を生成する撮影装置と、
   前記画像データ及び前記撮影画像を合成して合成画像を生成する画像合成部と、
   前記特徴点抽出領域情報に基づく前記合成画像内の特徴点抽出領域から、所定数以上の特徴点を抽出できるか否か判定する判定部と、
   前記判定部が前記所定数以上の特徴点が抽出できると判定した場合に、前記保存場所情報をコード化したコード画像を含む前記合成画像を印画紙にプリントして出力するプリンタと、
   を備える印画物作製装置。
2. 前記判定部が前記所定数以上の特徴点が抽出できないと判定した場合に、前記撮影装置が被撮影者の再撮影を行うことを特徴とする請求項１に記載の印画物作製装置。
3. 被撮影者の再撮影時のストロボの光量を、前回撮影時の光量から変更することを特徴とする請求項２に記載の印画物作製装置。
4. 前記判定部が前記所定数以上の特徴点が抽出できないと判定した場合に、前記合成画像へのスタンプの挿入、文字の挿入、前景画像又は背景画像の合成のいずれかを含む編集処理を行う編集処理部をさらに備えることを特徴とする請求項１に記載の印画物作製装置。
5. 前記編集処理部は、前記スタンプ又は文字の挿入を前記特徴点抽出領域内に制限することを特徴とする請求項４に記載の印画物作製装置。
6. 画像データを印画物作製装置へ送信し、動画データを携帯端末へ送信するサーバ装置であって、
   前記画像データ及び前記動画データを保存する記憶部と、
   前記画像データに特徴点抽出領域を設定し、設定した特徴点抽出領域を示す特徴点抽出領域情報を前記記憶部に登録する設定部と、
   前記動画データの保存場所情報及び前記画像データを前記印画物作製装置へ送信すると共に、テンプレート画像、前記保存場所情報をコード化したコード画像、及び前記印画物作製装置が被撮影者を撮影した撮影画像を合成した合成画像が前記印画物作製装置によりプリントされた印画物上の前記コード画像から前記保存場所情報を読み取ってアクセスしてきた前記携帯端末へ、前記画像データ及び前記特徴点抽出領域情報を送信する画像データ送信部と、
   前記携帯端末へ前記動画データを送信する送信部と、
   を備え、
   前記画像データは、テンプレート画像領域、及び前記撮影画像が挿入される挿入領域を含み、
   前記設定部は、前記テンプレート画像領域の少なくとも一部に前記特徴点抽出領域を設定することを特徴とするサーバ装置。
7. 前記設定部は、前記テンプレート画像領域の全体を前記特徴点抽出領域に設定することを特徴とする請求項６に記載のサーバ装置。
8. 前記設定部は、前記挿入領域を含まないように前記特徴点抽出領域を設定することを特徴とする請求項６又は７に記載のサーバ装置。
9. 前記印画物作製装置から、前記挿入領域に前記撮影画像が挿入された画像を受信し、受信した画像内の前記特徴点抽出領域から、所定数以上の特徴点を抽出できるか否か判定し、判定結果を前記印画物作製装置に通知することを特徴とする請求項６に記載のサーバ装置。
10. 印画物作製装置と、前記印画物作製装置へ画像データを送信し、携帯端末へ前記画像データに対応する動画データを送信するサーバ装置とを備える動画データ配信システムであって、
    前記印画物作製装置は、被撮影者を撮影して撮影画像を生成し、前記撮影画像、前記サーバ装置から受信した前記画像データ、及び前記サーバ装置において前記動画データが保存される場所を示す保存場所情報をコード化したコード画像を合成して合成画像を生成し、前記合成画像を印画紙にプリントして印画物を作製し、
    前記サーバ装置は、前記画像データに特徴点抽出領域を設定し、前記印画物上の前記コード画像から前記保存場所情報を読み取ってアクセスしてきた前記携帯端末へ、前記特徴点抽出領域を示す特徴点抽出領域情報及び前記画像データを送信し、前記携帯端末から特徴点が合致したことが通知されると、前記動画データを前記携帯端末へ送信し、
    前記画像データは、テンプレート画像領域、及び前記撮影画像が挿入される挿入領域を含み、前記サーバ装置は、前記テンプレート画像領域の少なくとも一部に前記特徴点抽出領域を設定することを特徴とする動画データ配信システム。
    

Images