JP5551205B2 - 携帯端末装置、端末プログラム、拡張現実感システム、および玩具 - Google Patents

Description

本発明は、例えば、自動販売機等で販売されるカプセルトイに関連したアニメーションＣＧやサウンドの再生が可能な、携帯端末装置、端末プログラム、拡張現実感システム、および玩具に関する。

ガシャポン（登録商標）を代表とするカプセルトイは、半透明性プラスチック製の球状のケースの中に、テレビ人気番組やゲームのキャラクタ商品等が収納された玩具である。例えば、自動販売機等において、消費者がコインを投入口に入れてハンドルを回すことにより、取り出し口からランダムに選択されたカプセルトイが排出される。一方で、携帯端末の多機能化が進み、最近では、撮影機能は勿論のこと、インターネット接続を行うネットワーク通信環境を強化したスマートフォンが普及してきた。

ところで、従来、人間が知覚する現実環境をコンピュータによって拡張するＡＲ（Augmented Reality）技術が知られている。例えば、特許文献１には、拡張現実画像において、現実世界の様子を表す画像に合成（重ね合わせ）されるオブジェクト画像を適切に変化させる技術が紹介されている。

特開２０１１−２０４０４７号公報

上記した特許文献１に開示されているように、ＡＲ技術は、３次元位置認識のために用いられるマーカと呼ばれる所定形状の図形を現実世界の中に配置し、撮影機器がそのマーカを含む現実世界を撮影する。したがって、マーカは、撮影された画像内において透視変換された形態で配置される。そして、このマーカに対応付けられたオブジェクトに透視変換技術が適用され、撮影された画像を背景にして得られたオブジェクト画像が合成され、拡張現実画像が生成される。このＡＲ技術により動画や静止画によるＣＧ（Computer Graphics）再生が可能になる。

ところで、上記したスマートフォンとカプセルトイとを連携させることにより、消費者が購入したカプセルトイに収納されたフィギュア等の内容物と関連したアニメーションＣＧやサウンド等を再生できれば消費者が購入したカプセルトイに付加価値を与えることができ、趣向を高めるとともに販売促進効果も得られるはずである。しかしながら、従来のＡＲ技術によれば、特殊なマーカを必要とし、かつ、その背景となるオブジェクト画像はマーカ近傍に描画されなければならないといった制約がある。

本発明は、上記した課題を解決するためになされたものであり、透視変換技術を必要とすることなく簡易に拡張現実画像を生成し、消費者が購入した玩具と関連した拡張現実画像を再生することによって趣向を高め、玩具の販売促進効果を得ることができる、携帯端末装置、端末プログラム、拡張現実感システム、および玩具を提供することを目的とする。

本発明の携帯端末装置は、少なくとも、撮像部と、表示部と、記憶部とを有する携帯端末装置であって、前記撮像部が、所定の位置に特定のマークが付与されたフィギュア設置用台座とフィギュア本体とを含む玩具を撮影して得た画像を取得する画像取得部と、前記取得した前記フィギュア設置用台座の画像を画像認識する画像認識部と、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像を、前記画像取得部が取得した画像、または前記記憶部に記憶してある前記フィギュア本体を含む映像の上に重ね合わせて前記表示部に表示する演出制御部と、を備える。
また、本発明の携帯端末装置は、少なくとも、撮像部と、表示部と、記憶部とを有する携帯端末装置であって、前記撮像部が、フィギュア設置用台座の上面かつ、フィギュア本体を前記フィギュア設置用台座に設置したとき、前記フィギュア本体より手前側に配置されている特定のマークが付与された前記フィギュア設置用台座と前記フィギュア本体とを含む玩具を撮影して得た画像を取得する画像取得部と、前記取得した前記フィギュア設置用台座の画像を画像認識する画像認識部と、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像を、前記画像取得部が取得した画像、または前記記憶部に記憶してある前記フィギュア本体を含む映像の上に重ね合わせて前記表示部に表示する演出制御部と、を備える。

本発明の携帯端末装置において、音声出力部を備え、前記演出制御部は、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の音声を前記音声出力部に出力することが好ましい。また、本発明の携帯端末装置において、前記演出制御部は、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像が前記表示部に表示された後、前記画像取得部において前記所定のマークの６０％以上の部分が取得されていれば、前記演出用の映像を前記表示部に表示し続けることが好ましい。

本発明の携帯端末装置において、前記演出制御部は、前記画像認識部によって認識される前記フィギュア設置用台座の２以上の組み合わせに応じて、前記演出用の映像もしくは前記音声、またはその両方のパターンを変化させるように制御することが好ましい。本発明の携帯端末装置において、前記演出制御部は、前記画像認識部によって認識される前記フィギュア設置用台座の特定の組み合わせにより、前記表示部に１以上の釦スイッチを表示し、前記釦スイッチによる選択操作を検知すると、予め前記釦スイッチ毎に用意された音声を、前記音声出力部に出力することが好ましい。本発明の携帯端末装置において、前記演出制御部は、時間監視により、前記演出用の映像もしくは音声、またはその両方のパターンを変化させるように制御することが好ましい。
また、本発明の携帯端末装置において、前記演出制御部は、前記画像認識部により画像認識された前記特定のマークが単数か否かを判定し、画像認識した前記特定のマークの数が単数であれば、前記画像認識部で画像認識された前記フィギュア設置用台座に対応付けて用意された前記演出用の映像を生成し、前記画像認識部により画像認識された前記特定のマークの数が複数であれば、その組み合わせによって決まる、前記演出用の映像、もしくは前記音声、またはその両方のパターンを変化させるように制御することが好ましい。

本発明の端末プログラムは、所定の位置に特定のマークが付与されたフィギュア設置用台座と、フィギュア本体とを含む玩具と、少なくとも、撮像部と、表示部と、音声出力部と、記憶部と、を有し、前記撮像部により前記玩具を撮影して拡張現実画像を生成して前記表示部に表示する携帯端末装置とを有する拡張現実感システムにおいて、前記携帯端末装置に使用されるコンピュータによって制御される端末プログラムであって、前記コンピュータに、前記撮像部により前記玩具を撮影して得た画像を取得する処理と、前記取得した前記フィギュア設置用台座の画像を画像認識する処理と、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像を、前記取得した画像、または前記記憶部に記憶してある前記フィギュア本体の映像の上に重ね合わせて前記表示部に表示する処理と、を実行させる。
また、本発明の端末プログラムは、フィギュア設置用台座の上面かつ、フィギュア本体を前記フィギュア設置用台座に設置したとき、前記フィギュア本体より手前側に配置されている特定のマークが付与された前記フィギュア設置用台座と、前記フィギュア本体とを含む玩具と、少なくとも、撮像部と、表示部と、音声出力部と、記憶部と、を有し、前記撮像部により前記玩具を撮影して拡張現実画像を生成して前記表示部に表示する携帯端末装置とを有する拡張現実感システムにおいて、前記携帯端末装置に使用されるコンピュータによって制御される端末プログラムであって、前記コンピュータに、前記撮像部により前記玩具を撮影して得た画像を取得する処理と、前記取得した前記フィギュア設置用台座の画像を画像認識する処理と、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像を、前記取得した画像、または前記記憶部に記憶してある前記フィギュア本体の映像の上に重ね合わせて前記表示部に表示する処理と、を実行させる。

本発明の端末プログラムにおいて、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の音声を前記音声出力部に出力する処理を実行させることが好ましい。本発明の端末プログラムにおいて、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像が前記表示部に表示された後、前記撮像部において前記所定のマークの６０％以上の部分が撮像されていれば、前記演出用の映像を前記表示部に表示し続ける処理を実行させることが好ましい。

本発明の拡張現実感システムは、所定の位置に特定のマークが付与されたフィギュア設置用台座と、フィギュア本体とを含む玩具と、少なくとも、撮像部と、表示部と、音声出力部と、記憶部と、を有し、前記撮像部が前記玩具を撮影して得た画像を取得して前記フィギュア設置用台座の画像を画像認識し、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像を、前記取得した画像、または前記記憶部に記憶してある前記フィギュア本体の映像の上に重ね合わせて前記表示部に表示する携帯端末装置と、を有する。
また、本発明の拡張現実感システムは、フィギュア設置用台座の上面かつ、フィギュア本体を前記フィギュア設置用台座に設置したとき、前記フィギュア本体より手前側に配置されている特定のマークが付与された前記フィギュア設置用台座と、前記フィギュア本体とを含む玩具と、少なくとも、撮像部と、表示部と、音声出力部と、記憶部と、を有し、前記撮像部が前記玩具を撮影して得た画像を取得して前記フィギュア設置用台座の画像を画像認識し、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像を、前記取得した画像、または前記記憶部に記憶してある前記フィギュア本体の映像の上に重ね合わせて前記表示部に表示する携帯端末装置と、を有する。

本発明の拡張現実感システムにおいて、前記携帯端末装置は、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の音声を前記音声出力部に出力することが好ましい。本発明の拡張現実感システムにおいて、前記携帯端末装置は、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像が前記表示部に表示された後、前記撮像部において前記所定のマークの６０％以上の部分が撮像されていれば、前記演出用の映像を前記表示部に表示し続けることが好ましい。

本発明の玩具は、前記携帯端末装置、前記端末プログラム、前記拡張現実感システムのいずれかに使用可能な玩具である。また、本発明の玩具において、前記フィギュア本体と前記フィギュア設置用台座とは取り外し可能であることが好ましい。また、本発明の玩具において、前記特定のマークは、前記フィギュア設置用台座の上面、前記フィギュア本体を前記フィギュア設置用台座に設置したとき、前記フィギュア本体より手前側に配置されていることが好ましい。

本発明によれば、透視変換技術を必要とすることなく簡易に拡張現実画像を生成し、消費者が購入した玩具と関連した拡張現実画像を再生することによって趣向を高め、玩具の販売促進効果を得ることができる、携帯端末装置、端末プログラム、拡張現実感システム、および玩具を提供することができる。

本発明の実施の形態に係る拡張現実感システムを示す図である。 本発明の実施の形態に係る携帯端末装置の内部構成を示すブロック図である。 本発明の実施の形態に係る携帯端末装置の動作を示すフローチャートである。 本発明の実施の形態に係る携帯端末装置の動作を画面上に時系列に展開して示した画面遷移図である。 本発明の実施の形態に係る携帯端末装置の画面構成の一例を示す図である。 本発明の実施の形態に係る携帯端末装置の画面構成の他の例を示す図である。

（実施形態の構成）
以下、添付図面を参照して本発明を実施するための実施の形態（以下、単に本実施形態という）について詳細に説明する。

図１に、本実施形態に係る拡張現実感システム１００が示されている。図１に示されるように、本実施形態に係る拡張現実感システム１００は、所定の位置に特定のマーク１１０が付与されたフィギュア設置用台座（以下、断りがない場合単に台座１１という）と、フィギュア本体１２とを含むカプセルトイ１０と、このカプセルトイ１０を撮影して得た画像を取得して台座１１の画像を画像認識し、画像認識されたフィギュア設置用台座１１のそれぞれに対応付けて用意された演出用の映像を前景に、同じく取得したフィギュア本体１２の画像を背景に重ね合わせることにより拡張現実画像を生成し、表示する携帯端末装置２０と、を有する。

ここでは、玩具として、不図示のカプセルから取り出されたキャラクタグッズ等、プラスチック製の組み立て式のフィギュア（フィギュア本体１２）を収納したカプセルトイ１０を例に説明する。このカプセルトイ１０には、更に、そのフィギュア本体１２に対応した特定のマーク１１０が所定の位置に付与された台座１１も収納されている。ここで、特定のマークとは画像であり、台座１１の任意の場所に印刷、あるいは貼付されているものとする。携帯端末装置２０は、台座１１に印刷、あるいは貼付された特定のマーク１１０を撮影することによって得た画像を認識し、台座１１のそれぞれに対応して用意される映像（拡張現実画像）および音声を生成して再生する。なお、本実施の形態では、台座１１のそれぞれに対応して用意される映像（拡張現実画像）および音声を出力しているがこれに限られることはなく、映像のみを出力するものでもよいし、音声のみを出力するものでもよい。なお、本実施の形態において、生成される拡張現実画像は、あらかじめ携帯端末装置２０内部（後述する記憶部２６）に登録され、あるいは必要に応じてインターネット経由でカプセルトイ１０の販売元のサイトからダウンロードにより無償で取得するものとする。

本実施の形態において、例えば、台座の上部には開口部が設けられ、フィギュア体の台座との設置部には該開口部と嵌合可能な突起部が設けられたものを用いることができる。このような構成とすることで、台座とフィギュア本体は取り外しでき、台座には任意のフィギュア本体が設置可能であり、ユーザーが好みのフィギュア本体を台座上に設置することができる。ただし、これに限られることはなく、台座とフィギュア本体は取り外しできればどのような構成でもよい。また、台座とフィギュア本体とがとりはずしできない形態であってもよいことはもちろんである。台座とフィギュア本体とが取り外し可能であることにより、ユーザーが任意のフィギュア本体を設置することができるため、台座のそれぞれに対応して用意される映像（拡張現実画像）または音声等と、ユーザーが好みのフィギュアと重ね合わせて楽しむことができ、より興趣性の増したシステムを提供することができる。

図２に本実施形態に係る携帯端末装置２０の内部構成が示されている。図２に示されるように、携帯端末装置２０は、撮像部２１と、表示部２２と、操作部２３と、音声出力部２４と、通信部２５と、記憶部２６と、制御部２７と、を含み構成される。

撮像部２１は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサ等の光電変換素子と、その制御回路等により構成されるカメラである。表示部２２は、多数の画素（複数色の発光素子の組み合わせ）を縦横に配して構成される、例えばＬＣＤ（Liquid Crystal Display Device）や有機ＥＬ（Electro-Luminescence）を用いて構成されており、制御部２７により生成され、記憶部２６の所定の領域（ＶＲＡＭ領域）に書き込まれた拡張現実感画像を含む表示情報を表示する。

操作部２３は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー（左右上下）、決定キー、発信キー、撮像キー等、各種の機能が割り当てられたキースイッチを有しており、これらのキーが操作者によって操作された場合に、その操作内容に対応する信号を発生し、これを操作者の指示として制御部２７に出力する。なお、この操作部２３は、位置情報を入力するタッチパネルで実現してもよい。この場合、タッチパネル上に上記したキースイッチ類や拡張現実画像が表示される。

音声出力部２４は、制御部２７により生成される音声（サウンド）を出力するスピーカである。通信部２５は、無線通信システムを捕捉し、通信ネットワークに接続される不図示の基地局との間で無線通信を行い、各種データの送受信を行う。ここで、各種データとは、音声通話時の音声データ、メール送受信時のメールデータ、Ｗｅｂ（World Wide Web）閲覧時のＷｅｂページデータ等である。本発明と関係するところでは、制御部２７は、通信部２５を介し、カプセルトイ１０（台座１１）に対応した拡張現実画像生成のために必要なデータをカプセルトイ販売元のサイト（サーバ）からダウンロードにより取得する。このとき、通信部２５は、例えば、ＴＣＰ／ＩＰ（Transmission Control Protocol／Internet Protocol）に準拠したプロトコルにしたがい不図示のサーバとの接続を行う。

記憶部２６は、本実施形態に係る端末プログラム２６０が格納されるプログラム領域の他に、作業領域とＶＲＡＭ（Video RAM）領域とが割当てられており、作業領域には、制御部２７により生成される拡張現実感画像、あるいはインターネット経由で取得される拡張現実感画像、撮像部２１により撮影された映像、フィギュア本体１２に関連したテンプレート映像等が格納され、ＶＲＡＭ領域には、この拡張現実画像を含む表示情報が描画される。なお、記憶部２６として、例えば、半導体記憶素子、磁気、あるいは光記憶素子が実装される。

制御部２７は、所定の位置に特定のマーク１１０が付与された台座１１とフィギュア本体１２とを含むカプセルトイ１０を撮影して得た画像を取得し、取得した台座１１の画像を画像認識して、当該画像認識された台座１１のそれぞれに対応付けて用意された演出用の映像を前景に、フィギュア本体１２の画像、または記憶部２６に記憶されてあるフィギュア本体１２に関連した映像を背景として重ね合わせて表示する機能を有する。この機能は、記憶部２６に記憶された端末ブログラム２６０を逐次読み出し実行する、例えば、マイクロプロセッサによって実現される。

また、制御部２７は、画像認識された台座１１のそれぞれに対応付けられて用意された演出用の音声を生成し、当該音声を音声出力部２４に出力する。また、制御部２７は、認識される台座１１（特定のマーク１１０）の２以上の組み合わせに応じて、演出用の映像もしくは音声、またはその両方のパターンを変化させるように制御する。また、制御部２７は、認識される台座１１の特定の組み合わせにより、表示部２２に１以上の釦スイッチを表示し、この釦スイッチによる選択操作を検知すると、予め釦スイッチ毎に用意された音声を音声出力部２４に出力する。また、制御部２７は、時間監視により、演出用の映像もしくは音声、またはその両方のパターンを変化させるように制御してもよい。

このため、制御部２７が実行する端末プログラム２６０の構造を機能的に分解して図示すれば、図２に示すように、画像取得部２７１と、画像認識部２７２と、演出制御部２７３と、表示制御部２７４と、音声合成部２７５と、を含む。

画像取得部２７１は、撮像部２１が、所定の位置に特定のマーク１１０が付与された台座１１とフィギュア本体１２とを含む玩具１０を撮影して得た画像を取得して画像認識部２７２に出力する。画像認識部２７２は、画像取得部２７１が取得した台座１１の画像を画像認識して演出制御部２７３に出力する。演出制御部２７３は、画像認識部２７２で画像認識された台座１１のそれぞれに対応付けて用意された演出用の映像を前景とし、画像取得部２７１が取得したフィギュア本体１２の画像（静止画や動画）、または予め記憶部２６に記憶されているフィギュア本体１２に関連した映像（静止画や動画）を背景として重ね合わせ、表示制御部２７４を介して表示部２２に出力する。また、演出制御部２７３は、画像認識部２７２で画像認識された台座１１のそれぞれに対応付けられて用意された演出用の音声を生成し、音声合成部２７５を介して音声を合成して音声出力部２４に出力する。

演出制御部２７３は、画像認識部２７２によって認識される台座１１の２以上の組み合わせに応じて、演出用の映像もしくは音声、またはその両方のパターンを変化させるように制御する。また、演出制御部２７３は、画像認識部２７２によって認識される台座１１の特定の組み合わせにより、表示部２２に１以上の釦スイッチを表示し、当該釦スイッチによる選択操作を検知すると、予め釦スイッチ毎に用意された音声を、音声合成部２７５を介して音声出力部２４に出力する。なお、演出制御部２７３は、時間監視により、演出用の映像もしくは音声、またはその両方のパターンを変化させるように制御してもよい。

表示制御部２７４は、演出制御部２７３により生成される拡張現実画像を含む表示情報を記憶部２６のＶＲＡＭ領域に描画し、描画した表示情報を表示部２２の表示タイミングに同期して読み出して表示部２２に表示する。音声合成部２７５は、演出制御部２７３により生成される音声を復号し、音声出力部２４を介して外部へ出力する。

なお、本実施の形態において、台座１１に特定のマーク１１０を設けているがこれに限られるものではなく、フィギュア本体に特定のマークを設けてもよい。その場合、フォギュア本体に設けられた画像を特定のマークとして認識するものでもよいし、フォギュア本体の形や色の配色を特定のマークとして認識するようにしてもよい。フィギュア本体に特定のマークを設けることにより、例えば、ライティングしたい場合はライト付台座に設置し、ライティングが必要ない場合はライト無台座に設置したりと、台座の選択の幅を広げることが可能である。

（実施形態の動作）
以下、本実施形態の携帯端末装置２０の動作について、図３のフローチャートに基づき、図４〜図６の画面構成図を参照しながら詳細に説明する。

まず、消費者は、購入したカプセルトイ１０の中に収納されているフィギュア（部品）を組み立て、組み立てが完了したフィギュア本体１２をカプセルに同梱されている台座１１に載置する。続いて消費者は、携帯端末装置２０の電源を立ち上げ、操作部２３に割当てられた「撮影釦」を押下することによりカプセルトイ１０を被写体として撮影する。このとき、台座１１に付与された特定のマークが被写体に含まれるように配慮する。なお、本実施の形態において、台座１１に付与された特定のマークは、台座１１の上面かつ、フィギュア本体１２を台座１１に設置した際に、フィギュア本体より手前側に配置されていることが好ましい。そのように配置することにより、台座１１に付与された特定のマークを撮影する際に、フィギュア本体に隠れることがなく、特定のマークをより容易に認識することができる。

制御部２７は、操作部２３による「撮像釦」の押下を検出することにより（ステップＳ１０１“ＹＥＳ”）画像取得部２５１を起動する。画像取得部２７１は、撮影により取得した台座１１の画像を画像認識部２７２へ、フィギュア本体１２の画像を演出制御部２７３のそれぞれに出力する（ステップＳ１０２）。これを受けて画像認識部２７２は、台座１１に付与された特定のマークの画像を認識してその結果を演出制御部２７３へ出力する（ステップＳ１０３）。

演出制御部２７３は、まず、画像認識部２７２により画像認識された特定のマークが単数か否かを判定する（ステップＳ１０４）。演出制御部２７３は、画像認識した特定のマークの数が単数であれば（ステップＳ１０４“ＹＥＳ”）、画像認識部２７２で画像認識された台座１１に対応付けて用意された演出用の映像（エフェクト映像）を生成し（ステップＳ１０５）、ここで生成したエフェクト映像を前景とし、同じく画像取得部２７１が取得したフィギュア本体１２の画像、または記憶部２６に記憶されているフィギュア本体１２の映像を背景として重ね合わせた合成画像（拡張現実画像）を生成し、表示制御部２７４へ出力する（ステップＳ１０７）。なお、演出制御部２７３は、エフェクト映像の生成時、同時に、画像認識部２７２で画像認識された台座１１のそれぞれに対応付けて用意された演出用の音声を生成し、音声合成部２７５に出力する。音声合成部２７５は、演出制御部２７３で生成された音声を復号し、その音声を、音声出力部２４を介して外部に出力する（ステップＳ１０８）。

一方、表示制御部２７４は、記憶部２６のＶＲＡＭ領域に描画されたエフェクト映像とフィギュア本体１２との重ね合わせ映像を表示部２２の表示タイミングに同期して読み出し、表示部２２へ出力することにより、表示部２２に、例えば、図４（ａ）〜（ｅ）に示す画面遷移図として示す拡張現実画像を表示する。すなわち、図４（ａ）〜（ｅ）に時系列で示すように、携帯端末装置２０の表示部２２上に、演出制御部２７３により生成されたエフェクト映像１２ｅが前景として、また、撮影されたフィギュア本体１２の画像、または記憶部２６に記憶された映像が背景として重ね合わせ表示され、フィギュア本体１２の実写映像を含む２次元アニメーションＣＧが再生される。ここでは、キャラクタを模したフィギュア本体１２が変身する様子を画面遷移によって示してある。

なお、演出制御部２７３は、画像認識部２７２で画像認識した特定のマークの数が複数であれば（ステップＳ１０４“ＮＯ）、その組み合わせによって決まるエフェクト映像、もしくは音声、またはその両方のパターンを変化させるように制御する（ステップＳ１０６）。この場合も演出制御部２７３は、取得したフィギュア本体１２の画像を背景にエフェクト映像を重ね合わせ（ステップＳ１０７）、重ね合わせ（合成）されたエフェクト映像と音声とを再生出力する（ステップＳ１０８）。図５に、画像認識部２７２で画像認識される台座１１が複数の場合の撮影画面が示されている。

なお、演出制御部２７３は、タイマによる時間監視により、エフェクト映像、もしくは音声、またはその両方のパターンを変化させるように制御することも可能である。この場合、演出制御部２７３は、通信部２５経由でインターネットに接続し、カプセルトイ１０の販売元のサイトを閲覧し、例えば、季節に合ったエフェクト映像を取得してもよい。なお、ここで使用されるタイマは、携帯端末装置２０が標準的に内蔵するＲＴＣ（Real Time Clock）であり、図示省略してある。

次に、演出制御部２７３は、画像認識部２７２が認識した特定のマークの数が例えば３個の場合、図６に示されるように、生成されるエフェクト映像として表示部２２の画面上に貼り付けられ再生される釦スイッチ２２０の押下を検出すると（ステップＳ１０９“ＹＥＳ”）、音声合成部２７５を介し、その釦スイッチ２２０に対応して用意されたフィギュア本体１２が模したキャラクタが発するレアな特殊音声（例えば、「変身！」）を生成し、音声出力部２４を介して出力することによって演出効果を高めている（ステップＳ１１０）。

なお、本実施の形態において、台座１１に付与された特定のマークを認識し、その結果を演出制御部へ出力し、エフェクト映像が生成された後、特定のマークが部分的にフィギュア本体に隠れた場合や、カメラの撮影部から部分的にはずれた場合でも、特定のマークの６０％以上が認識できれば、生成したエフェクト映像を画面上に表示するようになっている。それにより、様々な角度からフィギュア体を撮影することにより、特定のマークが認識しづらくなった場合でも、フィギュア体を含む画像にエフェクト映像を重ねて表示することが可能である。なお、本実施の形態では、特定のマークの６０％以上の認識率を必要としたが、これに限られることはない。ただし、特定のマークの誤認識を防止するためには、６０％以上の認識率とすることが好ましい。

以上説明のように本実施形態に係る携帯端末装置２０によれば、台座１１に付された特定のマーク１１０を認識することにより携帯端末装置２０とカプセルトイ１０とを連携させ、台座１１のそれぞれに対応して用意された演出用の映像を生成して前景とし、撮影により得たフィギュア本体１２の画像（静止画や動画）、または記憶部１６に記憶されているフィギュア本体の映像（静止画や動画）を背景として重ね合わせて表示することにより、透視変換技術を必要とすることなく簡易に拡張現実画像を再生可能な携帯端末装置２０を提供することができる。このため、消費者が購入したカプセルトイ１０と関連した拡張現実画像を再生することによって趣向を高め、カプセルトイ１０の販売促進効果を得ることができる。同時に、画像認識された台座１１のそれぞれに対応付けて用意した演出用の音声を生成し、当該音声を出力することにより演出効果を増すことができる。

また、画像認識されるフィギュア設置用台座の２以上の組み合わせに応じて、演出用の映像、もしくは音声、またはその両方のパターンを変化させるように制御することで、演出効果が増すとともに、消費者の購買意欲を高めることができ、カプセルトイ１０の販売促進効果が増す。更に、画像認識される台座１１の特定の組み合わせにより携帯端末装置２０の画面上に表示される釦スイッチ２２０の押下により、例えば、レアな音声を再生する仕組みを構築することで、一層演出効果が増すとともに、消費者の購買意欲を高め、カプセルトイ１０の販売促進効果が増す。なお、時間監視により、演出用の映像、もしくは音声、またはその両方のパターンを変化させることで、例えば、季節により演出パターンを変更することで、消費者に飽きを生じさせることのない演出パターンで継続性や期待感を与えることができる。

なお、本実施形態に係る端末プログラム２６０は、例えば、図１、および図２のブロック図に示すように、所定の位置に特定のマーク１１０が付与されたフィギュア設置用台座１１と、フィギュア本体１２とを含む玩具（カプセルトイ１０）と、少なくとも、撮像部２１と表示部２２と、音声出力部２４と、記憶部２６と、を有し、撮像部２１により前記玩具を撮影して拡張現実画像を生成して前記表示部２２に表示する携帯端末装置２０とを有する拡張現実感システムにおいて、前記携帯端末装置２０に使用されるコンピュータ（制御部２７）によって制御される端末プログラム２６０である。そして、例えば、図３に示すように、コンピュータ（制御部２７）に、前記撮像部２１により前記玩具（カプセルトイ１０）を撮影して得た画像を取得する処理（Ｓ１０２）と、前記取得した前記フィギュア設置用台座１１の画像を画像認識する処理（Ｓ１０３）と、前記画像認識された前記フィギュア設置用台座１１のそれぞれに対応付けて用意された演出用の映像を、前記取得した画像、または前記記憶部１６に記憶してある前記フィギュア本体１２の映像の上に重ね合わせて前記表示部に表示するとともに、前記画像認識された前記フィギュア設置用台座１１のそれぞれに対応付けて用意された演出用の音声を前記音声出力部２４に出力する処理（Ｓ１０４〜Ｓ１０８）と、を実行させる。

上記した本実施形態に係る端末プログラム２６０によれば、コンピュータ（携帯端末装置２０の制御部２７）が上記した端末プログラム２６０を逐次読み出し実行することにより、フィギュア設置用台座１１に付与された特定のマーク１１０を認識することによって携帯端末装置２０とカプセルトイ１０とを連携させることができる。そして、フィギュア設置用台座１１のそれぞれに対応して用意された演出用の映像を生成して前景とし、撮影されたフィギュア本体１２の映像、または記憶部２６に記憶されているフィギュア本体１２の映像を背景として重ね合わせて表示することにより、透視変換技術を必要とすることなく簡易に拡張現実画像を再生可能な端末プログラム２６０を提供することかできる。このため、消費者が購入したカプセルトイ１０と関連した拡張現実画像を再生することによって趣向を高め、カプセルトイ１０の販売促進効果を得ることができる。同時に、画像認識された台座１１のそれぞれに対応付けて用意した演出用の音声を生成し、当該音声を出力することにより演出効果を増すことができる。

また、本実施形態に係る仮想現実感システム１００は、例えば、図１、図２に示すように、所定の位置に特定のマーク１１０が付与されたフィギュア設置用台座１１と、フィギュア本体１２とを含む玩具（カプセルトイ１０）と、少なくとも、撮像部２１と、表示部２２と、音声出力部２４と、記憶部２６と、を有し、前記撮像部２１が前記玩具（カプセルトイ１０）を撮影して得た画像を取得して前記フィギュア設置用台座１１の画像を画像認識し、前記取得した、または前記記憶部１６に記憶してある前記フィギュア本体１２の映像の上に重ね合わせて前記表示部に表示するとともに、前記画像認識された前記フィギュア設置用台座１１のそれぞれに対応付けて用意された演出用の音声を前記音声出力部２４に出力する携帯端末装置２０と、を有する。

上記した本実施形態に係る仮想現実感シテスム１００によれば、携帯端末装置２０は、カプセルトイ１０を撮影し、画像認識によって得たフィギュア設置用台座１１のそれぞれに対応付けて用意された演出用の映像を生成し、この生成された演出用の映像を前景とし、取得したフィギュア本体１２の画像、または記憶部に記憶されているフィギュア本体１２の映像を背景として表示部２２に重ね合わせて表示することにより、透視変換技術を必要とすることなく簡易に拡張現実画像を再生可能とする。このため、消費者が購入したカプセルトイ１０と関連した拡張現実画像を再生することによって趣向を高め、カプセルトイ１０の販売促進効果を得ることができる。同時に、画像認識された台座１１のそれぞれに対応付けて用意した演出用の音声を生成し、当該音声を出力することにより演出効果を増すことができる。

また、本実施形態に係る玩具（カプセルトイ１０）は、例えば、図１に示すように、所定の位置に特定のマーク１１０が付与されたフィギュア設置用台座１１と、フィギュア本体１２とを含む玩具である。そして、その玩具（カプセルトイ１０）は、撮影して得た画像を取得してフィギュア設置用台座１１の画像を画像認識し、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像を、前記取得した、または記憶してある前記フィギュア本体の映像の上に重ね合わせて表示するとともに、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の音声を出力する携帯端末装置２０を有する拡張現実感システム１００に使用される。

上記した本実施形態に係る玩具（カプセルトイ１０）によれば、所定の位置に特定のマーク１１０が付与されたフィギュア設置用台座１１により、フィギュア設置用台座１１を撮影した携帯端末装置２０に対して、フィギュア設置用台座１１のそれぞれに対応付けて用意された演出用の映像を生成させ、ここで生成された演出用の映像を前景に、フィギュア本体１２の画像、または記憶部２６に記憶されてあるフィギュア本体１２に関連した映像を背景に重ね合わせ表示させることができる。したがって、透視変換技術を必要とすることなく簡易に拡張現実画像を再生可能になる。このため、消費者が購入した玩具（カプセルトイ１０）と関連した拡張現実画像を再生することによって趣向を高め、玩具の販売促進効果を得ることができる。また、同時に、画像認識された台座１１のそれぞれに対応付けて用意した演出用の音声を生成し、当該音声を出力することにより演出効果を増すことができる。

なお、上記した本実施形態に係る玩具によれば、組み立て式のフィギュア本体１２が収納されたカプセルトイ１０についてのみ例示して説明したが、フィギュア本体１２は組み立て式ではなく、ダイキャストやＰＶＣ（ポリ塩化ビニル）で製作された一体型であってもよい。また、携帯端末装置２０が生成する演出用の映像として２次元アニメーションＣＧのみ例示したが、３次元アニメーションＣＧ、あるいは単なるイラストであってもよい。また、背景用の映像として、撮影され取得されるフィギュア本体１２の静止画や動画を例に説明したが、予め撮影され、既に記憶部２６に記憶されているフィギュア本体１２に関連した映像（静止画や動画）であってもよい。更に、携帯端末装置２０としてスマートフォンを例示したが、撮影機能とインターネット接続環境をする携帯電話やＰＤＡ（Personal Digital Assistance）、あるいはＰＣ（Personal Computer）であってもよい。

本実施形態によれば、フィギュア設置用台座１１に付された特定のマーク１１０を認識することにより携帯端末装置２０により生成される演出用の映像と玩具１０とを連携させ、画像認識されたフィギュア設置用台座１１のそれぞれに対応付けて用意された演出用の映像を、撮影により取得した、または記憶してあるフィギュア本体１２の映像の上に重ね合わせて表示する。したがって、透視変換技術を必要とすることなく簡易に拡張現実画像を再生可能な携帯端末装置２０を提供することができる。このため、消費者が購入した玩具１０と関連した拡張現実画像を再生することによって趣向を高め、玩具１０の販売促進効果を得ることができる。

また、画像認識されたフィギュア設置用台座１１のそれぞれに対応付けられて用意された演出用の音声を生成し、当該生成した音声を出力するため、映像のみならず関連した音声を再生することにより演出効果を増すことができる。

また、フィギュア設置用台座１１の組み合わせにより演出用の映像または音声を可変とすることで、演出効果が増すとともに消費者の購買意欲を高めることができ、玩具１０の販売促進効果が増す。

また、表示部２２に表示された釦スイッチ２２０の押下により、例えば、レアな音声を再生する仕組みを構築することで、一層演出効果が増すとともに消費者の購買意欲を高めることができ、玩具の販売促進効果が増す。

また、例えば、季節により演出パターンを変更することで、消費者に飽きを生じさせることなく購買意欲の継続性や演出に対する期待感を与えることができる。

また、コンピュータ（携帯端末装置２０）が上記した端末プログラム２６０を逐次読み出し実行することにより、携帯端末装置２０と玩具１０とを連携させることができ、例えば、フィギュア設置用台座１１のそれぞれに対応して用意された演出用の映像を生成して前景に、撮影されたフィギュア本体１２の画像を背景に重ね合わせることにより、透視変換技術を必要とすることなく簡易に拡張現実画像を再生可能な端末プログラム２６０を提供することができる。このため、消費者が購入した玩具１０と関連した拡張現実画像を再生することによって趣向を高め、玩具１０の販売促進効果を得ることができる。また、画像認識されたフィギュア設置用台座１１のそれぞれに対応付けられて用意された演出用の音声を生成し、当該生成した音声を出力する。したがって、映像のみならず関連した音声を再生することにより演出効果を増すことができる。

また、携帯端末装置２０が、撮影し、認識したフィギュア設置用台座１１のそれぞれに対応付けて用意された演出用の映像を生成し、例えば、生成された演出用の映像を前景とし、取得したフィギュア本体１２の画像を背景として表示部２２に重ね合わせて表示する。したがって、透視変換技術を必要とすることなく簡易に拡張現実画像を再生可能な拡張現実感システム１００を提供することかできる。このため、消費者が購入した玩具１０と関連した拡張現実画像を再生することによって趣向を高め、玩具１０の販売促進効果を得ることができる。また、画像認識されたフィギュア設置用台座１１のそれぞれに対応付けられて用意された演出用の音声を生成し、当該生成した音声を出力する。したがって、映像のみならず関連した音声を再生することにより演出効果を増すことができる。

また、玩具１０は、携帯端末装置２０に、フィギュア設置用台座１１に付された特定のマーク１１０を認識させることにより携帯端末装置２０と連携させることができ、携帯端末装置２０は、フィギュア設置用台座１１のそれぞれに対応して用意された演出用の映像を生成して、例えば前景とし、撮影されたフィギュア本体１２の画像を背景として重ね合わせることにより、透視変換技術を必要とすることなく簡易に拡張現実画像を再生可能になる。このため、消費者が購入した玩具１０と関連した拡張現実画像を再生することによって趣向を高め、玩具１０の販売促進効果を得ることができる。また、携帯端末装置２０は、画像認識されたフィギュア設置用台座１１のそれぞれに対応付けられて用意された演出用の音声を生成し、当該生成した音声を出力する。したがって、映像のみならず関連した音声を再生することにより演出効果を増すことができる。

以上、本発明の好ましい実施形態について詳述したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またその様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１０…カプセルトイ（玩具）、１１…フィギュア設置用台座（台座）、１２…フィギュア本体、２０…携帯端末装置、２１…撮像部、２２…表示部、２…操作部、２４…音声出力部、２５…通信部、２６…記憶部、２７…制御部、１００…拡張現実感システム、２７１…画像取得部、２７２…画像認識部、２７３…演出制御部、２７４…表示制御部、２７５…音声合成部、２６０…端末プログラム。

Claims (16)

1. 少なくとも、撮像部と、表示部と、記憶部とを有する携帯端末装置であって、
   前記撮像部が、フィギュア設置用台座の上面かつ、フィギュア本体を前記フィギュア設置用台座に設置したとき、前記フィギュア本体より手前側に配置されている特定のマークが付与された前記フィギュア設置用台座と前記フィギュア本体とを含む玩具を撮影して得た画像を取得する画像取得部と、
   前記取得した前記フィギュア設置用台座の画像を画像認識する画像認識部と、
   前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像を、前記画像取得部が取得した画像、または前記記憶部に記憶してある前記フィギュア本体を含む映像の上に重ね合わせて前記表示部に表示する演出制御部と、
   を備える携帯端末装置。
2. 請求項１において、
   音声出力部を備え、
   前記演出制御部は、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の音声を前記音声出力部に出力する携帯端末装置。
3. 請求項１または請求項２において、
   前記演出制御部は、
   前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像が前記表示部に表示された後、前記画像取得部において前記所定のマークの６０％以上の部分が取得されていれば、前記演出用の映像を前記表示部に表示し続ける携帯端末装置。
4. 請求項１乃至請求項３のいずれか一項において、
   前記演出制御部は、
   前記画像認識部により画像認識された前記特定のマークが単数か否かを判定し、
   画像認識した前記特定のマークの数が単数であれば、前記画像認識部で画像認識された前記フィギュア設置用台座に対応付けて用意された前記演出用の映像を生成し、
   前記画像認識部により画像認識された前記特定のマークの数が複数であれば、
   その組み合わせによって決まる、前記演出用の映像、もしくは前記音声、またはその両方のパターンを変化させるように制御する携帯端末装置。
5. 請求項１乃至請求項４のいずれか一項において、
   前記演出制御部は、
   前記画像認識部によって認識される前記フィギュア設置用台座の特定の組み合わせにより、前記表示部に１以上の釦スイッチを表示し、前記釦スイッチによる選択操作を検知すると、予め前記釦スイッチ毎に用意された音声を、前記音声出力部に出力する携帯端末装置。
6. 請求項１乃至請求項５のいずれか一項において、
   前記演出制御部は、
   時間監視により、前記演出用の映像もしくは音声、またはその両方のパターンを変化させるように制御する携帯端末装置。
7. 請求項１乃至請求項６のいずれか一項に記載の携帯端末装置とともに用いられる前記玩具。
8. フィギュア設置用台座の上面かつ、フィギュア本体を前記フィギュア設置用台座に設置したとき、前記フィギュア本体より手前側に配置されている特定のマークが付与された前記フィギュア設置用台座と、前記フィギュア本体とを含む玩具と、少なくとも、撮像部と、表示部と、音声出力部と、記憶部と、を有し、前記撮像部により前記玩具を撮影して拡張現実画像を生成して前記表示部に表示する携帯端末装置とを有する拡張現実感システムにおいて、前記携帯端末装置に使用されるコンピュータによって制御される端末プログラムであって、
   前記コンピュータに、
   前記撮像部により前記玩具を撮影して得た画像を取得する処理と、
   前記取得した前記フィギュア設置用台座の画像を画像認識する処理と、
   前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像を、前記取得した画像、または前記記憶部に記憶してある前記フィギュア本体の映像の上に重ね合わせて前記表示部に表示する処理と、
   を実行させる端末プログラム。
9. 請求項８において、
   前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の音声を前記音声出力部に出力する処理を実行させる端末プログラム。
10. 請求項８または請求項９において、
    前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像が前記表示部に表示された後、前記撮像部において前記所定のマークの６０％以上の部分が撮像されていれば、前記演出用の映像を前記表示部に表示し続ける処理を実行させる端末プログラム。
11. 請求項８乃至請求項１０のいずれか一項に記載の端末プログラムとともに用いられる前記玩具。
12. フィギュア設置用台座の上面かつ、フィギュア本体を前記フィギュア設置用台座に設置したとき、前記フィギュア本体より手前側に配置されている特定のマークが付与された前記フィギュア設置用台座と、前記フィギュア本体とを含む玩具と、
    少なくとも、撮像部と、表示部と、音声出力部と、記憶部と、を有し、前記撮像部が前記玩具を撮影して得た画像を取得して前記フィギュア設置用台座の画像を画像認識し、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像を、前記取得した画像、または前記記憶部に記憶してある前記フィギュア本体の映像の上に重ね合わせて前記表示部に表示する携帯端末装置と、
    を有する拡張現実感システム。
13. 請求項１２において、
    前記携帯端末装置は、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の音声を前記音声出力部に出力する拡張現実感システム。
14. 請求項１２または請求項１３において、
    前記携帯端末装置は、前記画像認識された前記フィギュア設置用台座のそれぞれに対応付けて用意された演出用の映像が前記表示部に表示された後、前記撮像部において前記所定のマークの６０％以上の部分が撮像されていれば、前記演出用の映像を前記表示部に表示し続ける拡張現実感システム。
15. 請求項１２乃至請求項１４のいずれか一項に記載の拡張現実感システムに使用される前記玩具。
16. 請求項７、１１、１５に記載の玩具において、
    前記フィギュア本体と前記フィギュア設置用台座とは取り外し可能である前記玩具。