JP2024091702A - 情報提供装置 - Google Patents

Abstract

【課題】利便性を向上させること。
【解決手段】情報提供装置３は、移動体の周囲を撮影した撮影画像を取得する画像取得部３２３と、乗員から所定の要求があった場合に、移動体の位置情報を取得する情報取得部３２４と、位置情報を用いて、統計的に視線が集中する物体を特定する特定部３２５と、特定部３２５によって視線が集中する物体を特定できない場合には、撮影画像に基づいて、撮影画像内における視線が集中する注目領域を抽出する領域抽出部３２６と、撮影画像内における前記注目領域に含まれる物体を認識する物体認識部３２７と、特定部３２５によって特定された物体に関する物体情報、または、注目領域に含まれる物体に関する物体情報を提供する情報提供部３２８とを備える。
【選択図】図３

Description

本発明は、情報提供装置、情報提供方法、情報提供プログラム及び記憶媒体に関する。

従来、車両の周囲に存在する対象物を特定し、当該対象物に関する名称等の情報を音声にて読み上げる対象物特定装置が知られている（例えば、特許文献１参照）。特許文献１に記載の対象物特定装置では、車両の乗員が手や指で指し示している指示方向に存在する地図上の施設等を対象物として特定している。

特開２００７－８００６０号公報

しかしながら、特許文献１に記載の技術では、対象物に関する情報を得ることを望む車両の乗員に対して、当該対象物を手や指で指し示すという作業を行わせる必要があり、利便性を向上させることができない、という問題が一例として挙げられる。

本発明は、上記に鑑みてなされたものであって、例えば利便性を向上させることができる情報提供装置、情報提供方法、情報提供プログラム及び記憶媒体を提供することを目的とする。

請求項１に記載の情報提供装置は、移動体の周囲を撮影した撮影画像を取得する画像取得部と、乗員から所定の要求があった場合に、前記移動体の位置情報を取得する情報取得部と、前記位置情報を用いて、統計的に視線が集中する物体を特定する特定部と、前記特定部によって前記視線が集中する物体を特定できない場合には、前記撮影画像に基づいて、前記撮影画像内における視線が集中する注目領域を抽出する領域抽出部と、前記撮影画像内における前記注目領域に含まれる物体を認識する物体認識部と、前記特定部によって特定された物体に関する物体情報、または、前記注目領域に含まれる物体に関する物体情報を提供する情報提供部とを備えることを特徴とする。

図１は、実施の形態１に係る情報提供システムの構成を示すブロック図である。 図２は、車載端末の構成を示すブロック図である。 図３は、情報提供装置の構成を示すブロック図である。 図４は、情報提供方法を説明する図である。 図５は、情報提供方法を説明する図である。 図６は、情報提供方法を示すフローチャートである。 図７は、情報提供方法を説明する図である。 図８は、実施の形態２に係る情報提供装置の構成を示すブロック図である。 図９は、情報提供方法を説明する図である。 図１０は、情報提供方法を示すフローチャートである。 図１１は、実施の形態３に係る情報提供装置の構成を示すブロック図である。 図１２は、情報提供方法を示すフローチャートである。 図１３は、情報提供装置が記憶するテーブルの一例を示す図である。 図１４は、情報提供装置が記憶するテーブルの一例を示す図である。

以下に、図面を参照しつつ、本発明を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。

（実施の形態１）
〔情報提供システムの概略構成〕
図１は、実施の形態１に係る情報提供システム１の構成を示すブロック図である。情報提供システム１は、移動体である車両ＶＥ（図１）の乗員ＰＡ（図７参照）に対して、当該車両ＶＥの周囲に存在する建物等の物体に関する物体情報（例えば当該物体の名称等）を提供するシステムである。この情報提供システム１は、図１に示すように、車載端末２と、情報提供装置３とを備える。そして、これら車載端末２及び情報提供装置３は、無線通信網であるネットワークＮＥ（図１）を介して、通信を行う。

なお、情報提供装置３と通信を行う車載端末２としては、図１では１台である場合を例示しているが、複数の車両にそれぞれ搭載された複数台であっても構わない。また、１台の車両に乗車している複数の乗員に対してそれぞれ物体情報を提供するために、１台の車両に車載端末２が複数台、搭載されていても構わない。

〔車載端末の構成〕
図２は、車載端末２の構成を示すブロック図である。車載端末２は、例えば、車両ＶＥに設置される据え置き型のナビゲーション装置またはドライブレコーダーである。なお、車載端末２としては、ナビゲーション装置またはドライブレコーダーに限らず、車両ＶＥの乗員ＰＡが利用するスマートフォン等の携帯型端末を採用しても構わない。この車載端末２は、図２に示すように、音声入力部２１と、音声出力部２２と、撮像部２３と、入力部２４と、端末本体２５と、センサ部２６と、表示部２７とを備える。

音声入力部２１は、音声を入力して電気信号に変換するマイクロフォン２１１（図７参照）を含み、当該電気信号にＡ／Ｄ（Analog／Digital）変換等を行うことにより音声情報を生成する。本実施の形態１において、音声入力部２１にて生成された音声情報は、デジタル信号である。そして、音声入力部２１は、当該音声情報を端末本体２５に出力する。

音声出力部２２は、スピーカ２２１（図７参照）を含み、端末本体２５から入力したデジタルの音声信号をＤ／Ａ（Digital／Analog）変換によってアナログの音声信号に変換し、当該スピーカ２２１から当該アナログの音声信号に応じた音声を出力する。

撮像部２３は、端末本体２５による制御の下、車両ＶＥの周囲を撮影して撮影画像を生成する。そして、撮像部２３は、生成した撮影画像を端末本体２５に出力する。

入力部２４は、タッチパネル、キーボードやマウス等の入力デバイスを含み、乗員ＰＡの操作に応じて各種データの入力を受け付ける。そして、入力部２４は、入力を受け付けた各種データを端末本体２５に出力する。表示部２７は、液晶または有機ＥＬ（Electro Luminescence）等を用いた表示ディスプレイで構成され、端末本体２５による制御の下、各種の画像を表示する。

センサ部２６は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ、ジャイロセンサ、加速度センサや方位センサ等のセンサ装置を含み、端末本体２５における処理に用いられる情報をセンシングする機能を有する。ＧＰＳセンサは、ＧＰＳ衛星からのＧＰＳ信号を受信することで、対象の緯度、経度及び高度を示す情報を測定する。ＧＰＳセンサ１０９により取得される情報は、以下では、「位置情報」とも称される。

端末本体２５は、図２に示すように、通信部２５１と、制御部２５２と、記憶部２５３とを備える。通信部２５１は、制御部２５２による制御の下、ネットワークＮＥを介して情報提供装置３との間で情報の送受信を行う。

制御部２５２は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等のコントローラによって、記憶部２５３に記憶された各種のプログラムが実行されることにより実現され、車載端末２全体の動作を制御する。なお、制御部２５２は、ＣＰＵやＭＰＵに限らず、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路によって構成されても構わない。

記憶部２５３は、制御部２５２が実行する各種のプログラムや、当該制御部２５２が処理を行うときに必要なデータ等を記憶する。

〔情報提供装置の構成〕
図３は、情報提供装置３の構成を示すブロック図である。情報提供装置３は、例えば、サーバ装置である。この情報提供装置３は、図３に示すように、通信部３１と、制御部３２と、記憶部３３とを備える。

通信部３１は、制御部３２による制御の下、ネットワークＮＥを介して車載端末２（通信部２５１）との間で情報の送受信を行う。

制御部３２は、ＣＰＵやＭＰＵ等のコントローラによって、記憶部３３に記憶された各種のプログラム（本実施の形態に係る情報提供プログラムを含む）が実行されることにより実現され、情報提供装置３全体の動作を制御する。なお、制御部３２は、ＣＰＵやＭＰＵに限らず、ＡＳＩＣやＦＰＧＡ等の集積回路によって構成されても構わない。この制御部３２は、図３に示すように、要求情報取得部３２１と、音声解析部３２２と、画像取得部３２３と、情報取得部３２４と、特定部３２５と、領域抽出部３２６と、物体認識部３２７と、情報提供部３２８と、反映部３２９とを備える。

要求情報取得部３２１は、車両ＶＥの乗員ＰＡからの物体情報の提供を要求する要求情報を取得する。本実施の形態１では、当該要求情報は、車両ＶＥの乗員ＰＡが発した言葉（音声）を音声入力部２１が取り込み、当該音声に基づいて当該音声入力部２１にて生成された音声情報である。すなわち、要求情報取得部３２１は、通信部３１を介して車載端末２から当該要求情報（音声情報）を取得する。音声解析部３２２は、要求情報取得部３２１が取得した要求情報（音声情報）を解析する。

画像取得部３２３は、撮像部２３にて生成された撮影画像を、通信部３１を介して車載端末２から取得する。情報取得部３２４は、乗員ＰＡから所定の要求があった場合に、移動体の位置情報を取得する。本実施形態では、情報取得部３２４は、音声解析部３２２が要求情報（音声情報）を解析した結果、当該要求情報（音声情報）に特定のキーワードが含まれている場合に、移動体の位置情報を車載端末２から取得する。ここで、当該特定のキーワードとしては、車両ＶＥの乗員ＰＡが物体情報の提供を要求する言葉であり、「なに」、「なんですか」、「なんだろう」、「おしえて」等の言葉を例示することができる。また、情報取得部３２４は、移動体の位置情報とともに、乗員の所定の要求内容から、乗員ＰＡが着目している物体を特定するための特定のキーワードをさらに取得するようにしてもよい。例えば、情報取得部３２４は、乗員ＰＡが発した言葉に、「建物」、「お寺」、「お店」などの特定のキーワードが含まれている場合には、該特定のキーワードを取得する。

特定部３２５は、位置情報を用いて、統計的に視線が集中する物体を特定する。本実施の形態１では、特定部３２５は、位置情報を入力データとして、統計的に視線が集中する物体を特定する第３の学習モデルを用いて、視線が集中する物体を特定する。つまり、特定部３２５は、第３の学習モデルに位置情報を入力し、第３の学習モデルからの出力結果として、視線が集中する物体の情報を取得する。なお、ここで統計的に視線が集中する物体とは、乗員ＰＡの視線が集中する物体と予測される物体、言い換えると、特定部３２５が乗員ＰＡの視線が集中する物体であろうと判定した物体のことを意味するものである。また、特定部３２５は、位置情報およびキーワードを用いて、位置情報およびキーワードに応じて統計的に視線が集中する物体を特定するようにしてもよい。例えば、特定部３２５は、乗員ＰＡが「あの建物は何？」、「あそこのお寺について教えて」、「あのお店は何？」などと言葉を発した場合に、言葉を発した際の車両ＶＥの位置情報の他に、「建物」、「お寺」、「お店」などの乗員ＰＡが着目している物体を特定するためのキーワードも用いて、統計的に視線が集中する物体を特定するようにしてもよい。この場合には、例えば、特定部３２５は、位置情報およびキーワードを入力データとして、統計的に視線が集中する物体を特定する第３の学習モデルを用いて、視線が集中する物体を特定する。つまり、特定部３２５は、位置情報とともに、乗員ＰＡが着目している物体を特定するためのキーワードを第３の学習モデルに入力し、第３の学習モデルからの出力結果として、視線が集中する物体の情報を取得するようにしてもよい。

第３の学習モデルは、例えば、アイトラッカを用いて被験者の視線が集中する領域を判別し、当該領域が予めラベリングされた位置情報とキーワードを教師データとし、当該教データ像を利用して当該領域を機械学習（例えば深層学習等）することにより得られたモデルである。なお、本実施形態では、第３の学習モデルは、後述する反映部３２９により更新される。

領域抽出部３２６は、特定部３２５によって視線が集中する物体を特定できない場合には、画像取得部３２３にて取得された撮影画像に基づいて、当該撮影画像内における視線が集中する（視線が集中し易い）注目領域を抽出（予測）する。本実施の形態１では、領域抽出部３２６は、所謂、視覚的顕著性技術を利用して撮影画像内における注目領域を抽出する。より具体的に、領域抽出部３２６は、以下に示す第１の学習モデルを用いた画像認識（ＡＩ（Artificial Intelligence）を用いた画像認識）により、撮影画像内における注目領域を抽出する。

なお、ここで特定部３２５によって視線が集中する物体を特定できない場合とは、特定部３２５が実際に特定できなかった場合のみならず、例えば、第３の学習モデルの学習不足により十分な精度で視線が集中する物体を特定できない場合を含むものとする。当該第１の学習モデルは、アイトラッカを用いて被験者の視線が集中する領域を判別し、当該領域が予めラベリングされた画像を教師画像とし、当該教師画像を利用して当該領域を機械学習（例えば深層学習等）することにより得られたモデルである。

物体認識部３２７は、撮影画像内において、領域抽出部３２６にて抽出された注目領域に含まれる物体を認識する。本実施の形態１では、物体認識部３２７は、以下に示す第２の学習モデルを用いた画像認識（ＡＩを用いた画像認識）により、撮影画像内における注目領域に含まれる物体を認識する。

当該第２の学習モデルは、動物、山、川、湖、及び施設等の各種の物体が撮影された撮影画像を教師画像とし、当該教師画像に基づいて当該物体の特徴を機械学習（例えば深層学習等）することにより得られたモデルである。

情報提供部３２８は、特定部３２５によって特定された物体に関する物体情報、または、物体認識部３２７にて認識された物体に関する物体情報を提供する。より具体的に、情報提供部３２８は、記憶部３３における物体情報ＤＢ（Data Base：データベース）３３３から特定部３２５にて特定された物体に対応する物体情報、または、物体認識部３２７にて認識された物体に対応する物体情報を読み出す。そして、情報提供部３２８は、通信部３１を介して車載端末２に当該物体情報を送信する。

反映部３２９は、情報提供部３２８によって物体情報を提供した結果を学習モデルに反映する。例えば、反映部３２９は、情報提供部３２８によって物体情報を提供した結果として、情報提供部３２８によって提供された物体情報がユーザの希望に沿う情報であったか否かを判定する。この結果、反映部３２９は、ユーザの希望に沿う情報であった場合には、情報提供部３２８によって物体情報を提供した結果を正解データとして学習モデルに反映し、ユーザの希望に沿う情報でなかった場合には、情報提供部３２８によって物体情報を提供した結果を不正解データとして学習モデルに反映する。なお、ユーザの希望に沿う情報であったか否かを判定する手法については、ユーザの手動による入力を受け付けることで判定してもよいし、物体情報を提供した後のユーザの行動等から自動で判定してもよい。なお、反映部３２９は、位置情報とともに、乗員ＰＡが着目している物体を特定するためのキーワードを第３の学習モデルに入力して物体情報を提供した場合には、キーワードについても学習モデルに反映する。

記憶部３３は、制御部３２が実行する各種のプログラム（本実施の形態に係る情報提供プログラム）の他、制御部３２が処理を行うときに必要なデータ等を記憶する。この記憶部３３は、図３に示すように、第１の学習モデルＤＢ３３１と、第２の学習モデルＤＢ３３２と、物体情報ＤＢ３３３と、第３の学習モデルＤＢ３３４を備える。第１の学習モデルＤＢ３３１は、上述した第１の学習モデルを記憶する。第２の学習モデルＤＢ３３２は、上述した第２の学習モデルを記憶する。第３の学習モデルＤＢ３３４は、上述した第３の学習モデルを記憶する。

物体情報ＤＢ３３３は、上述した物体情報を記憶する。ここで、物体情報ＤＢ３３３には、各種の物体に関連付けられた複数の物体情報が記憶されている。当該物体情報としては、物体の名称等の当該物体を説明する情報であって、文字データ、音声データ、あるいは、画像データによって構成されている。

ここで、図４および図５を用いて、情報提供装置３による情報提供方法の一例を説明する。図４および図５は、情報提供方法を説明する図である。図４を用いて、位置情報を考慮した第３の学習モデルを用いて統計的に視線が集中する物体を特定できた場合の情報提供方法について説明する。

図４の例では車両ＶＥの乗員ＰＡが建物に注目して「あれは何？」と発話した場合を例に説明する。図４に例示するように、車両ＶＥの乗員ＰＡから物体情報の提供を要求する言葉として「あれは何？」というが言葉が発話された場合には、車両ＶＥの車載端末２は、位置情報を情報提供装置３に通知する。そして、情報提供装置３は、位置情報を考慮して学習された第３の学習モデルを用いて、車両ＶＥの現在位置で統計的に乗員の視線が集中するであろうと予測される物体を特定する。そして、情報提供装置３は、特定した物体に対応する物体情報（建物名称、詳細説明、画像など）を、通信部３１を介して車載端末２に送信する。

このように、情報提供装置３では、位置情報を考慮した第３の学習モデルを用いて統計的に視線が集中する物体を特定して、該物体に対応する物体情報を乗員ＰＡに提供することができるので、視覚顕著性技術を用いる場合と比較して、処理負荷を軽減することが可能である。

ここで、情報提供装置３が第３の学習モデルを用いて統計的に視線が集中する物体を特定できなかった場合に、視覚顕著性技術と物体認識により視線が集中する物体を特定する情報提供方法について図５を用いて説明する。なお、図５の例では車両ＶＥの乗員ＰＡがライオンに注目して「あれ何？」と発話した場合を例に説明する。

情報提供装置３は、第３の学習モデルを用いて統計的に視線が集中する物体を特定できなかった場合には、第１の学習モデルを用いた画像認識により、撮影画像内における注目領域を抽出する。続いて、情報提供装置３は、第２の学習モデルを用いた画像認識により、撮影画像内における注目領域に含まれるライオンを認識する。そして、情報提供装置３は、認識したライオンに対応する物体情報を、通信部３１を介して車載端末２に送信する。

このように、情報提供装置３は、第３の学習モデルを用いて統計的に視線が集中する物体を特定できなかった場合であっても、視覚顕著性技術を用いてリアルタイムに乗員ＰＡの要求に応じた物体情報を提供することが可能である。

〔情報提供方法〕
次に、情報提供装置３（制御部３２）が実行する情報提供方法について説明する。図６は、情報提供方法を示すフローチャートである。図７は、情報提供方法を説明する図である。具体的に、図７は、撮像部２３にて生成され、ステップＳ１０６にて取得される撮影画像ＩＭを示す図である。ここで、図７では、車両ＶＥ内からフロントガラスを介して当該車両ＶＥの前方が撮影されるように当該車両ＶＥ内に撮像部２３を設置した場合を例示している。また、図７では、撮影画像ＩＭ内に車両ＶＥの助手席に座った乗員ＰＡが被写体として含まれる場合を例示している。さらに、図７では、当該乗員ＰＡが「あれ何？」という言葉を発している場合を例示している。

なお、撮像部２３の設置位置としては、上述した設置位置に限らない。例えば、車両ＶＥ内から当該車両ＶＥの左側方や右側方、あるいは、後方が撮影されるように当該車両ＶＥ内に撮像部２３を設置してもよく、車両ＶＥの周囲が撮影されるように当該車両ＶＥ外に撮像部２３を設置しても構わない。また、本実施の形態に係る車両の乗員としては、車両ＶＥの助手席に座った乗員に限らず、運転席や後部座席に座った乗員等を含むものである。また、撮像部２３の数としては、一つに限らず、複数としても構わない。

先ず、要求情報取得部３２１は、通信部３１を介して車載端末２から要求情報（音声情報）を取得する（ステップＳ１０１）。ステップＳ１０１の後、音声解析部３２２は、当該ステップＳ１０１にて取得された要求情報（音声情報）を解析する（ステップＳ１０２）。ステップＳ１０２の後、音声解析部３２２は、当該ステップＳ１０２にて要求情報（音声情報）を解析した結果、当該要求情報（音声情報）に特定のキーワードが含まれているか否かを判定する(ステップＳ１０３)。ここで、当該特定のキーワードとしては、車両ＶＥの乗員ＰＡが物体情報の提供を要求する言葉であり、「なに」、「なんですか」、「なんだろう」、「おしえて」等の言葉を例示することができる。

特定のキーワードが含まれていないと判定された場合（ステップＳ１０３：Ｎｏ）には、制御部３２は、ステップＳ１０１に戻る。一方、特定のキーワードが含まれていると判定された場合（ステップＳ１０３：Ｙｅｓ）には、情報取得部３２４は、乗員ＰＡから所定の要求があった場合に、車両ＶＥの位置情報を取得する（ステップＳ１０４）。そして、特定部３２５は、位置情報を用いて統計的に視線が集中する物体を特定した結果、視線が集中する物体を特定できるかを判定する（ステップＳ１０５）。

この結果、特定部３２５が、視線が集中する物体を特定できないと判定した場合には（ステップＳ１０５：Ｎｏ）、画像取得部３２３は、通信部３１を介して車載端末２から撮像部２３にて生成された撮影画像ＩＭを取得する（ステップＳ１０６）。

なお、図６及び図７では、車両ＶＥの乗員ＰＡが「あれ何？」との言葉を発したタイミング（ステップＳ１０３：Ｙｅｓ）で画像取得部３２３が通信部３１を介して車載端末２から撮像部２３にて生成された撮影画像ＩＭを取得する構成としているが、これに限らない。例えば、情報提供装置３は、通信部３１を介して車載端末２から撮像部２３にて生成された撮影画像を順次、取得する。そして、画像取得部３２３は、当該順次、取得された撮影画像のうち、車両ＶＥの乗員ＰＡが「あれ何？」との言葉を発したタイミング（ステップＳ１０３：Ｙｅｓ）で取得された撮影画像をステップＳ１０４以降の処理に用いる撮影画像として取得する構成としても構わない。

ステップＳ１０６の後、領域抽出部３２６は、第１の学習モデルＤＢ３３１に記憶された第１の学習モデルを用いた画像認識により、撮影画像ＩＭ内における視線が集中する注目領域Ａｒ１（図７参照）を抽出する（ステップＳ１０７）。

ステップＳ１０７の後、物体認識部３２７は、第２の学習モデルＤＢ３３２に記憶された第２の学習モデルを用いた画像認識により、撮影画像ＩＭ内において、当該ステップＳ５にて抽出された注目領域Ａｒ１に含まれる物体ＯＢ１を認識する（ステップＳ１０８）。

ステップＳ１０８の後、情報提供部３２８は、物体情報ＤＢ３３３から、特定部３２５によって特定された物体ＯＢ１、または、物体認識部３２７によって認識された物体ＯＢ１に対応する物体情報を取得し（ステップＳ１０９）、通信部３１を介して車載端末２に当該物体情報を送信する（ステップＳ１１０）。そして、制御部２５２は、音声出力部２２及び表示部２７の少なくともいずれかの動作を制御し、情報提供装置３から送信された物体情報を音声、文字、及び画像の少なくともいずれかによって、車両ＶＥの乗員ＰＡに対して報知する。例えば、物体ＯＢ１が「ムーラン・ルージュ」である場合には、物体情報として「あれはムーラン・ルージュです。華やかなダンスショーを夜にやっています。」等の音声が車両ＶＥの乗員ＰＡに対して報知される。また、例えば、物体ＯＢ１が建物ではなく動物のバッファローである場合には、物体情報として「あれはバッファローです。バッファローは群れで行動します。」等の音声が車両ＶＥの乗員ＰＡに対して報知される。その後、反映部３２９は、物体情報を提供した結果を学習モデルに反映する（ステップＳ１１１）。

以上説明した本実施の形態１によれば、以下の効果を奏する。本実施の形態１に係る情報提供装置３は、車両ＶＥの周囲を撮影した撮影画像を取得し、乗員ＰＡから所定の要求があった場合に、車両ＶＥの位置情報を取得する。そして、情報提供装置３は、位置情報を用いて、統計的に視線が集中する物体を特定する。また、情報提供装置３は、視線が集中する物体を特定できない場合には、撮影画像に基づいて、撮影画像内における視線が集中する注目領域を抽出し、撮影画像内における注目領域に含まれる物体を認識する。その後、情報提供装置３は、特定した物体に関する物体情報、または、注目領域に含まれる物体に関する物体情報を提供する。

したがって、物体に関する物体情報を得ることを望む車両ＶＥの乗員ＰＡに対して、従来のように当該物体を手や指で指し示すという作業を行わせる必要がなく、利便性を向上させることができる。

また、情報提供装置３は、位置情報を考慮した第３の学習モデルを用いて統計的に視線が集中する物体を特定して、該物体に対応する物体情報を乗員ＰＡに提供することができるので、視覚顕著性技術を用いる場合と比較して、処理負荷を軽減することが可能である。

また、情報提供装置３は、統計的に視線が集中する物体を特定できなかった場合であっても、視覚的顕著性技術を利用して、撮影画像ＩＭ内における視線が集中する注目領域Ａｒ１を抽出することができる。このため、車両ＶＥの乗員ＰＡが物体ＯＢ１を手や指で指し示さなくても、当該物体ＯＢ１を含む領域を注目領域Ａｒ１として精度良く抽出することができる。

また、情報提供装置３は、車両ＶＥの乗員ＰＡからの物体情報の提供を要求する要求情報に応じて、当該物体情報を提供する。このため、当該要求情報によらず、常時、物体情報を提供する構成と比較して、情報提供装置３の処理負荷を軽減することができる。

（実施の形態２）
次に、本実施の形態２について説明する。以下の説明では、上述した実施の形態１と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。図８は、実施の形態２に係る情報提供装置３Ａの構成を示すブロック図である。本実施の形態２に係る情報提供装置３Ａでは、情報取得部３２４および特定部３２５の機能が変更されている。以下では、説明の便宜上、本実施の形態２に係る情報取得部を情報取得部３２４Ａ、本実施の形態２に係る特定部を特定部３２５Ａと記載する（図８参照）。さらに、情報提供装置３Ａでは、記憶部３３に第４の学習モデルＤＢ３３５（図８参照）が追加されている。

第４の学習モデルは、例えば、アイトラッカを用いて被験者の視線が集中する領域を判別し、当該領域が予めラベリングされた位置情報とキーワードと属性情報を教師データとし、当該教師データを利用して当該領域を機械学習（例えば深層学習等）することにより得られたモデルである。なお、本実施形態では、第４の学習モデルは、反映部３２９により更新される。そして、第４の学習モデルＤＢ３３５は、当該第４の学習モデルを記憶する。

情報取得部３２４Ａは、車両ＶＥの位置情報とともに、乗員ＰＡの属性情報をさらに取得する。例えば、情報取得部３２４Ａは、属性情報として、乗員ＰＡの年齢、乗員ＰＡの性別、乗員ＰＡの国籍、乗員ＰＡの外観、乗員ＰＡの嗜好（例えば、コーヒーが好き、旅行が好き等）、および、乗員ＰＡの言語のうち、いずれか一つまたは複数の情報を車載端末２から取得する。なお、車載端末２は、どのような手法で属性情報を取得してもよい。例えば、車載端末２は、入力部２４を介して乗員ＰＡの手動による属性情報の入力を受け付けてもよし、音声入力部２１や撮像部２３により入力された音声や画像を解析して乗員の属性情報を自動で取得してもよい。また、車載端末２は、属性情報を事前に記憶していてもよいし、外部のＤＢから属性情報を取得するようにしてもよい。

特定部３２５Ａは、位置情報および属性情報を用いて、位置情報および属性情報に応じて統計的に視線が集中する物体を特定する。例えば、特定部３２５Ａは、位置情報および属性情報を入力データとして、統計的に視線が集中する物体を特定する学習モデルを用いて、視線が集中する物体を特定する。

ここで、図９を用いて、情報提供装置３Ａによる情報提供方法の一例を説明する。図９は、情報提供方法を説明する図である。図９を用いて、位置情報および属性情報を考慮した第４の学習モデルを用いて統計的に視線が集中する物体を特定できた場合の情報提供方法について説明する。

図９の例では車両ＶＥの乗員ＰＡが建物に注目して「あれは何？」と発話した場合を例に説明する。図９に例示するように、車両ＶＥの乗員ＰＡから物体情報の提供を要求する言葉として「あれは何？」というが言葉が発話された場合には、車両ＶＥの車載端末２は、位置情報および属性情報を情報提供装置３Ａに通知する。そして、情報提供装置３Ａは、位置情報および属性情報を考慮して学習された第４の学習モデルを用いて、統計的に視線が集中するであろうと予測される物体を特定する。具体的な例を挙げて図９について説明すると、例えば、カフェについて「あれは何？」と発話した乗員ＰＡの属性情報が、性別「女性」、嗜好「コーヒーが好き」であるものとする。この場合に、情報提供装置３Ａは、言葉を発した際の車両ＶＥの位置情報とともに属性情報を考慮して学習された第４の学習モデルに対して、位置情報とともに、属性情報として、性別「女性」、嗜好「コーヒーが好き」という情報を入力することで、現在位置において同一または類似の属性情報を有する者が統計的に視線を集中させるであろう物体として「カフェ○○」を特定する。言い換えると、情報提供装置３Ａは、当該場所に置いて、コーヒー好きな女性が統計的に注目しやすい物体として「カフェ○○」を特定する。そして、図９の例では、情報提供装置３Ａは、カフェ○○の情報に対応する物体情報として、カフェ○○の情報とともにカフェ○○のメニューや予約情報を取得して車両ＶＥの車載端末２に送信する。

このように、情報提供装置３Ａでは、位置情報および属性情報を考慮した第４の学習モデルを用いて統計的に視線が集中する物体を特定して、該物体に対応する物体情報を乗員ＰＡに提供することができるので、視覚顕著性技術を用いる場合と比較して、処理負荷を軽減することが可能である。なお、情報提供装置３Ａは、第４の学習モデルを用いて統計的に視線が集中する物体を特定できなかった場合には、実施の形態１と同様に、視覚顕著性技術と物体認識により視線が集中する物体を特定する。

次に、情報提供装置３Ａが実行する情報提供方法について説明する。図１０は、情報提供方法を示すフローチャートである。本実施の形態２に係る情報提供方法では、図１０に示すように、上述した実施の形態１で説明した情報提供方法（図６参照）に対して、ステップＳ２０５の処理が追加されている。図１０のステップＳ２０１～２０４は、図６のステップＳ１０１～Ｓ１０４と同様の処理であり、ステップＳ２０７～Ｓ２１１は、図６のステップＳ１０６～１１０で同様の処理である。このため、以下では、ステップＳ２０５～Ｓ２０６のみを主に説明する。

ステップＳ２０６は、ステップＳ２０５の後に実行される。ステップＳ２０５において、情報取得部３２４Ａは、乗員ＰＡの属性情報を取得する（ステップＳ２０５）。そして、特定部３２５Ａは、位置情報および属性情報を用いて、位置情報および属性情報に応じて統計的に視線が集中する物体を特定した結果、視線が集中する物体を特定できるかを判定する（ステップＳ２０６）。

この結果、特定部３２５Ａが、視線が集中する物体を特定できないと判定した場合には（ステップＳ２０６：Ｎｏ）、ステップＳ２０７の処理に進む。また、特定部３２５Ａは、視線が集中する物体を特定できると判定した場合には（ステップＳ２０６：Ｙｅｓ）、ステップＳ２１０の処理に進む。

なお、情報提供装置１０Ａは、ステップＳ２０４において、位置情報を取得した後、位置情報のみを用いて、位置情報に応じて統計的に視線が集中する物体を特定し、その結果、視線が集中する物体を特定できるかを判定し、視線が集中する物体を特定できないと判定した場合にのみ、ステップＳ２０５の処理に進むようにしてもよい。

以上説明した本実施の形態２によれば、上述した実施の形態１と同様の効果の他、以下の効果を奏する。本実施の形態２に係る情報提供装置３Ａは、位置情報および属性情報に応じて統計的に視線が集中する物体を特定した結果、視線が集中する物体を特定できるかを判定するので、車両ＶＥの乗員ＰＡが物体情報を得ることを望む物体を含む領域を注目領域として精度良く特定することができる。したがって、車両ＶＥの乗員ＰＡに対して、適切な物体情報を提供することができる。

（実施の形態３）
次に、本実施の形態３について説明する。以下の説明では、上述した実施の形態１、実施の形態２と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。

図１１は、実施の形態３に係る情報提供装置３Ｂの構成を示すブロック図である。また、本実施の形態３に係る情報提供装置３Ｂでは、上述した実施の形態２で説明した情報提供装置３Ａ（図８参照）と比べて、画像取得部３２３、領域抽出部３２６および物体認識部３２７を有していない点が変更されている。

情報取得部３２４Ａは、実施の形態２と同様に、車両ＶＥの位置情報とともに、乗員ＰＡの属性情報をさらに取得する。例えば、情報取得部３２４Ａは、属性情報として、乗員ＰＡの年齢、乗員ＰＡの性別、乗員ＰＡの国籍、乗員ＰＡの外観、および、乗員ＰＡの言語のうち、いずれか一つまたは複数の情報を車載端末２から取得する。

特定部３２５Ａは、位置情報および属性情報を用いて、位置情報および属性情報に応じて統計的に視線が集中する物体を特定する。例えば、特定部３２５Ａは、位置情報および属性情報を入力データとして、統計的に視線が集中する物体を特定する学習モデルを用いて、視線が集中する物体を特定する。

反映部３２９は、情報提供部３２８によって物体情報を提供した結果を学習モデルに反映する。例えば、反映部３２９は、情報提供部３２８によって物体情報を提供した結果として、情報提供部３２８によって提供された物体情報がユーザの希望に沿う情報であったか否かを判定する。この結果、反映部３２９は、ユーザの希望に沿う情報であった場合には、情報提供部３２８によって物体情報を提供した結果を正解データとして学習モデルに反映し、ユーザの希望に沿う情報でなかった場合には、情報提供部３２８によって物体情報を提供した結果を不正解データとして学習モデルに反映する。なお、ユーザの希望に沿う情報であったか否かを判定する手法については、ユーザの手動による入力を受け付けることで判定してもよいし、物体情報を提供した後のユーザの行動等から自動で判定してもよい。

次に、情報提供装置３Ｂが実行する情報提供方法について説明する。図１２は、情報提供方法を示すフローチャートである。先ず、要求情報取得部３２１は、通信部３１を介して車載端末２から要求情報（音声情報）を取得する（ステップＳ３０１）。ステップＳ３０１の後、音声解析部３２２は、当該ステップＳ３０１にて取得された要求情報（音声情報）を解析する（ステップＳ３０２）。ステップＳ３０２の後、音声解析部３２２は、当該ステップＳ３０２にて要求情報（音声情報）を解析した結果、当該要求情報（音声情報）に特定のキーワードが含まれているか否かを判定する(ステップＳ３０３)。ここで、当該特定のキーワードとしては、車両ＶＥの乗員ＰＡが物体情報の提供を要求する言葉であり、「なに」、「なんですか」、「なんだろう」、「おしえて」等の言葉を例示することができる。

特定のキーワードが含まれていないと判定された場合（ステップＳ３０３：Ｎｏ）には、制御部３２は、ステップＳ３０１に戻る。一方、特定のキーワードが含まれていると判定された場合（ステップＳ３０３：Ｙｅｓ）には、情報取得部３２４は、乗員ＰＡから所定の要求があった場合に、車両ＶＥの位置情報を取得する（ステップＳ３０４）。

そして、情報取得部３２４Ａは、乗員ＰＡの属性情報を取得する（ステップＳ３０５）。そして、特定部３２５Ａは、位置情報および属性情報を用いて、位置情報および属性情報に応じて統計的に視線が集中する物体を特定した結果、視線が集中する物体を特定できるかを判定する（ステップＳ３０６）。

この結果、特定部３２５Ａが、視線が集中する物体を特定できないと判定した場合には（ステップＳ３０６：Ｎｏ）、そのまま処理を終了する。また、特定部３２５Ａは、視線が集中する物体を特定できると判定した場合には（ステップＳ３０６：Ｙｅｓ）、ステップＳ３０７の処理に進む。その後、情報提供部３２８は、物体情報ＤＢ３３３から当該ステップＳ３０６にて特定された物体に対応する物体情報を取得し（ステップＳ３０７）、通信部３１を介して車載端末２に当該物体情報を送信する（ステップＳ３０８）。

そして、制御部２５２は、音声出力部２２及び表示部２７の少なくともいずれかの動作を制御し、情報提供装置３から送信された物体情報を音声、文字、及び画像の少なくともいずれかによって、車両ＶＥの乗員ＰＡに対して報知する。例えば、物体ＯＢ１が「ムーラン・ルージュ」である場合には、物体情報として「あれはムーラン・ルージュです。華やかなダンスショーを夜にやっています。」等の音声が車両ＶＥの乗員ＰＡに対して報知される。また、例えば、物体ＯＢ１が建物ではなく動物のバッファローである場合には、物体情報として（あれはバッファローです。バッファローは群れで行動します。」等の音声が車両ＶＥの乗員ＰＡに対して報知される。その後、反映部３２９は、物体情報を提供した結果を学習モデルに反映する（ステップＳ３０９）。

以上説明した本実施の形態３によれば、上述した実施の形態１、２と同様の効果の他、以下の効果を奏する。本実施の形態３に係る情報提供装置３Ｂは、乗員ＰＡから所定の要求があった場合に、車両ＶＥの位置情報と乗員ＰＡの属性を示す属性情報を取得し、位置情報および属性情報を用いて、統計的に視線が集中する物体を特定し、特定した物体に関する物体情報を提供する。このため、上述した実施の形態１、２で説明した画像取得部３２３、領域抽出部３２６および物体認識部３２７で説明した第２の学習モデルＤＢ３３２を設ける必要がなく、情報提供装置３Ｂの構成の簡素化を図ることができる。

（その他の実施形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１～３によってのみ限定されるべきものではない。上述した実施の形態１～３に係る情報提供装置３、３Ａ、３Ｂは、位置情報とキーワードを考慮した第３の学習モデル、または、位置情報、キーワードおよび属性情報を考慮した第４の学習モデルを用いて、統計的に視線が集中する物体を特定した。しかしながら、学習モデルを用いずとも、テーブルを用いて統計的に視線が集中する物体を特定するようにしてもよい。

例えば、特定部３２５Ａは、第３の学習モデルを用いずに、図１３に例示するテーブルを用いて統計的に視線が集中する物体を特定するようにしてもよい。図１３に例示するテーブルでは、「位置情報」と「キーワード」と統計的に視線が集中する「物体」とが対応付けられている。

また、例えば、特定部３２５Ａは、第４の学習モデルを用いずに、図１４に例示するテーブルを用いて統計的に視線が集中する物体を特定するようにしてもよい。図１４に例示するテーブルでは、「位置情報」と「キーワード」と「属性情報」と統計的に視線が集中する「物体」とが対応付けられている。これらのテーブルは、予め記憶部３３に記憶されていてもよいし、適宜追加や変更されるようになっていてもよい。

上述した実施の形態１～３において、情報提供装置３、３Ａ、３Ｂは、特定のキーワードを含む要求情報（音声情報）を取得したことをトリガとして、各処理を実行していた。しかしながら、本実施の形態に係る情報提供装置としては、特定のキーワードを含む要求情報（音声情報）を取得しなくても、常時、当該各処理を実行する構成としても構わない。また、本実施の形態に係る要求情報としては、音声情報に限らず、車両ＶＥの乗員ＰＡによる車載端末２に設けられたスイッチ等の操作部への操作に応じた操作情報であっても構わない。

上述した実施の形態１～３において、情報提供装置３、３Ａ、３Ｂの全ての構成を車載端末２に設けても構わない。この場合には、当該車載端末２は、本実施の形態に係る情報提供装置に相当する。また、情報提供装置３、３Ａ、３Ｂにおける制御部３２の一部の機能、及び記憶部３３の一部を車載端末２に設けても構わない。この場合には、情報提供システム１全体が本実施の形態に係る情報提供装置に相当する。

３、３Ａ、３Ｂ 情報提供装置
３２１ 要求情報取得部
３２２ 音声解析部
３２３ 画像取得部
３２４、３２４Ａ 情報取得部
３２５、３２５Ａ 特定部
３２６ 領域抽出部
３２７ 物体認識部
３２８ 情報提供部
３２９ 反映部

Claims (1)

1. 移動体の周囲を撮影した撮影画像を取得する画像取得部と、
   乗員から所定の要求があった場合に、前記移動体の位置情報を取得する情報取得部と、
   前記位置情報を用いて、統計的に視線が集中する物体を特定する特定部と、
   前記特定部によって前記視線が集中する物体を特定できない場合には、前記撮影画像に基づいて、前記撮影画像内における視線が集中する注目領域を抽出する領域抽出部と、
   前記撮影画像内における前記注目領域に含まれる物体を認識する物体認識部と、
   前記特定部によって特定された物体に関する物体情報、または、前記注目領域に含まれる物体に関する物体情報を提供する情報提供部とを備える
   ことを特徴とする情報提供装置。

Images