JP2019211969A - 学習管理装置、学習管理サーバ、および学習管理方法 - Google Patents

Abstract

【課題】状況等が変化した場合であっても、推論モデルが適切であるか否かを確認するようにした学習管理装置、学習管理サーバ、および学習管理方法を提供する。【解決手段】推論モデルを推論エンジンに設定し（Ｓ８１）、画像データを入力し、推論モデルを用いて、ユーザにガイド表示を行うための出力を得て（Ｓ５５）、推論エンジンの出力に基づいてガイド表示を行い（Ｓ５７）、推論モデルの更新について判定し、この判定の結果に基づいて、外部の学習装置に推論モデルの更新を依頼、もしくは推論モデルの更新が必要か否かの判定を依頼する（Ｓ６３、Ｓ６９）。【選択図】 図６

Description

本発明は、学習装置において生成した推論モデルを用いて、推論を行う推論装置において、推論モデルが適切であるかについて確認する学習管理装置、学習管理サーバ、および学習管理方法に関する。

近年、深層学習の利用が進み、画像を深層学習の推論モデルを用いて解析することが提案されている（特許文献１参照）。すなわち、画像データを母集合（教師データ）とし、深層学習を利用して推論モデルを生成し、この推論モデルを用いて、入力画像等を解析してガイド等を行うことが種々提案されている。また、画像データを状況に応じて、変更することについても提案されている（特許文献２参照）。

特開２０１７−０９１５２５号公報 特開２０１７−１７３３０７号公報

上述したように、画像を入力し、推論モデルを用いた推論を行って、ガイド等を行うことは種々提案されている。しかし、推論モデルを生成した後に、状況等が変化し、適切なガイド等を行うことができない場合がある。しかし、従来は、推論モデル生成後の状況変化については考慮されていなかった。

本発明は、このような事情を鑑みてなされたものであり、状況等が変化した場合であっても、推論モデルが適切であるか否かを確認するようにした学習管理装置、学習管理サーバ、および学習管理方法を提供することを目的とする。

上記目的を達成するため第１の発明に係る学習管理装置は、推論モデルを入力する入力部と、画像データを入力し、上記推論モデルを用いて、ユーザにガイド表示を行うための出力を得る推論部と、上記推論部の出力に基づいて上記ガイド表示を行う表示部と、上記推論モデルの更新について確認し、この確認の結果に基づいて、外部の学習装置に上記推論モデルの更新を依頼し、もしくは上記推論モデルの更新が必要か否かの判定を依頼する更新確認部と、を有する。

第２の発明に係る学習管理装置は、上記第１の発明において、上記更新確認部は、最新の教師データを取得し、この最新の教師データを用いて、現在使用している推論モデルの信頼性を検出し、この信頼性が低い場合には、上記外部の学習装置に上記推論モデルの更新を依頼する。
第３の発明に係る学習管理装置は、上記第１の発明において、上記更新確認部は、上記外部の学習装置に上記推論モデルの更新を依頼してから所定の時間が経過すると、外部の学習装置に上記推論モデルの更新を依頼し、もしくは上記推論モデルの更新が必要か否かの判定を依頼する。

第４の発明に係る学習管理装置は、上記第１の発明において、上記更新確認部は、現状の変化を監視し、現状が変化した場合に、上記外部の学習装置に上記推論モデルの更新を依頼する。
第５の発明に係る学習管理装置は、上記第４の発明において、上記更新確認部は、ユーザが上記ガイド表示を採用せず、操作に反映していな場合に、現状が変化したと判定する。

第６の発明に係る学習管理装置は、上記第１の発明において、上記更新確認部は、常時、上記推論モデルの更新が必要か否かについて確認を行う。
第７の発明に係る学習管理装置は、上記第１の発明において、外部装置が、上記推論モデルの更新が必要か否かについて確認を行っており、上記更新確認部は上記外部装置から確認結果に基づいて、判定する。

第８の発明に係る学習管理サーバは、推論モデルの確認の依頼を入力したか否か、もしくは前回の推論モデルの更新から所定時間が経過したことか否かについて判定する判定部と、上記判定部によって、上記推論モデルの確認の依頼を入力し、もしくは前回の推論モデルの更新から所定時間が経過したと判定された場合には、データベースから学習母集合を設定する母集合作成部と、上記母集合作成部で作成した学習母集合を用いて、依頼を受けた推論モデルの信頼性に基づいて、更新の必要性について判定する更新確認部と、を有する。
第９の発明に係る学習管理サーバは、上記第８の発明において、上記母集合作成部は、前回の推論モデルを生成した際に使用された条件に基づいて、上記データベースから学習母集合を設定する。

第１０の発明に係る学習管理サーバは、推論モデルを学習によって生成する際に、使用可能なデータを蓄積するデータベースと、上記推論モデルを生成するための学習をおこなってから所定時間が経過したか否かを判定する時間判定部と、上記時間判定部によって、上記所定時間が経過したと判定された場合に、前回の推論モデルを生成した際に使用された条件に基づいて、上記データベースを検索し、上位データが変動しているか否かを判定する判定部と、上記判定部によって、上位データが変動していると判定された場合に、上記推論モデルの更新を推奨する推奨部と、を有する。

第１１の発明に係る学習管理サーバは、推論モデルを学習によって生成する際に、使用可能であり、かつ第三者の評価を含むデータを蓄積するデータベースと、上記第三者の評価に変化があった否かを判定する判定部と、上記判定部によって、上記第三者の評価に変化があった場合に、上記推論モデルの更新を推奨する推奨部と、を有する。

第１２の発明に係る学習管理方法は、推論モデルを推論部に設定し、画像データを入力し、上記推論モデルを用いて、ユーザにガイド表示を行うための出力を得て、上記推論部の出力に基づいて上記ガイド表示を行い、上記推論モデルの更新について判定し、この判定の結果に基づいて、外部の学習装置に上記推論モデルの更新を依頼、もしくは上記推論モデルの更新が必要か否かの判定を依頼する。

第１３の発明に係る学習管理方法は、上記第１２の発明において、最新の教師データを取得し、この最新の教師データを用いて、現在使用している推論モデルの信頼性を検出し、この信頼性が低い場合には、上記外部の学習装置に上記推論モデルの更新を依頼する。
第１４の発明に係る学習管理方法は、上記第１２の発明において、上記外部の学習装置に上記推論モデルの更新を依頼してから所定の時間が経過すると、外部の学習装置に上記推論モデルの更新を依頼、もしくは上記推論モデルの更新が必要か否かの判定を依頼する。

第１５の発明に係る学習管理方法は、上記第１２の発明において、現状の変化を監視し、現状が変化した場合に、上記外部の学習装置に上記推論モデルの更新を依頼する。
第１６の発明に係る学習管理方法は、上記第１５の発明において、ユーザが上記ガイド表示を採用せず、操作に反映していな場合に、現状が変化したと判定する。
第１７の発明に係る学習管理方法は、上記第１２の発明において、常時、上記推論モデルの更新が必要か否かについて確認を行う。

第１８の発明に係るコンピュータ組み込み方法は、ソーシャル・ネットワーク・システムと連携可能なコンピュータ組み込み方法であって、上記ソーシャル・ネットワーク・システムは、コンテンツ・アイテムが随時掲載可能であり、上記掲載されたコンテンツ・アイテムが随時、上記ソーシャル・ネットワーク・システムのユーザから品質評価されることが可能であり、上記コンピュータ組み込み方法は、上記掲載されたコンテンツ・アイテムのうち、上記品質評価の情報が付随した特定のコンテンツ・アイテムを教師データとしたコンテンツ・アイテムの特徴から上記品質評価を推論する推論モデルが、上記時間的な推移によって追加されたコンテンツ・アイテムの変化やコンテンツ・アイテムの評価傾向の時間的変化によって当初の狙いの推論結果が出力できなくなったことを判定する。

第１９の発明に係るコンピュータ組み込み方法は、上記第１８の発明において、上記コンテンツ・アイテムを教師データとして使用して機械学習した時の条件を履歴として記録するステップを有し、この記録された履歴に従って、新たな教師データを生成することを推奨する。
第２０の発明に係るコンピュータ組み込み方法は、上記第１８の発明において、特定のユーザが、上記コンテンツ・アイテムを教師データとして使用して機械学習した時の条件を履歴として記録するステップを有する。

本発明によれば、状況等が変化した場合であっても、推論モデルが適切であるか否かを確認するようにした学習管理装置、学習管理サーバ、および学習管理方法を提供することができる。

本発明の第１実施形態に係る学習管理システムの全体構成および学習管理方法を示すブロック図である。 本発明の第１実施形態に係る学習システムにおける推論モデル形成のための構成を示すブロック図である。 本発明の第１実施形態に係る学習管理システムを、工業用内視鏡に適用した場合において、工業用内視鏡を検査対象物に挿入する際の画像変化を示す図である。 本発明の第１実施形態に係る学習管理システムにおいて、画像取得装置の制御動作を示すフローチャートである。 本発明の第１実施形態に係る学習管理システムにおいて、推論モデルの取得動作を示すフローチャートである。 本発明の第２実施形態に係る学習システムの主として電気的構成を示すブロック図である。 本発明の第２実施形態に係る学習システムにおけるカメラの動作を示すフローチャートである。 本発明の第２実施形態に係る学習システムにおける外部機器の動作を示すフローチャートである。 本発明の第２実施形態に係る学習システムにおける画像管理の動作を示すフローチャートである。 本発明の第３実施形態に係る学習システムの主として電気的構成を示すブロック図である。 本発明の第３実施形態に係る学習システムにおけるカメラの主として電気的構成を示すブロック図である。 本発明の第３実施形態に係る学習システムにおけるカメラの動作を示すフローチャートである。 本発明の第３実施形態に係る学習システムにおけるカメラの動作を示すフローチャートである。 本発明の第２実施形態に係る学習システムにおける画像管理サーバの動作を示すフローチャートである。 本発明の第３実施形態に係る学習システムにおける画像管理サーバの動作を示すフローチャートである。

以下、本発明の第１実施形態として、学習管理システムに適用した例について、図１Ａないし図４を用いて、説明する。

図１Ａは、学習装置において、推論モデルを生成するための構成を示す。この学習装置は、例えば、ソーシャル・ネットワーク・システムと連携し、ソーシャル・ネット・ワーク上に掲載されたコンテンツ・アイテム（ユーザ投稿の写真やブログなど）に、第三者が「イイネ！」などの品質評価（主観評価に限る必要はない）が書き込めるような環境を想定している。このような環境下では、掲載されたコンテンツ・アイテムのうち、品質評価の情報が付随した特定のコンテンツ・アイテムは、どのようなコンテンツ・アイテムがどのような評価を得るかを推論するときの教師データとして使用するために、ソーシャル・ネット・ワークからコンテンツ・アイテムとその評価結果を取得することが可能となる。したがって、取得した教師データを用いて、コンテンツ・アイテムの特徴と、品質評価の関係を推論するための機械学習を、コンピュータなどによって行うことが可能である。この学習結果で得られた推論エンジンを用いることによって、これから投稿されるコンテンツ・アイテムがどのような評価を得るかの予想が可能となる。

上述のソーシャル・ネットワーク・システムは、コンテンツ・アイテムが随時、投稿や掲載可能であり、また掲載されたコンテンツ・アイテムは、随時、ソーシャル・ネットワーク・システムのユーザから（好みを含めて）品質評価されることが可能である。このため、新しい革新的なコンテンツ・アイテムの登場や、新しい評価者の加入や、その他、オピニオンリーダーの加入によってフォロワの傾向が変化する場合がある。このように状況が時間と共に変化するので、推論エンジンは時代遅れとなっていく。例えば、状況が変わっているのに、古いデータで学習してしまう場合もある。この場合は、教師データは、すでに時代遅れのデータセット（旧データセット）となっていたりする。

図１Ａにおいて、学習装置２００Ａには、データセットＡ、Ｂからからなる旧データセット２０１Ａを教師データとして、推論エンジン２０３Ａ（ネットワークのデザイン（層数））が学習を行い、推論モデルを生成する。すなわち、旧データセット２０１Ａは、入力データ（画像データ等）と、出力結果の組合せからなる教師データである。学習開始部２０４Ａは、教師データの入力データ（画像データ等）を推論エンジン２０３Ａに入力した際に、教師データの出力結果と一致するように、推論エンジン２０３Ａに学習を実行させる。推論モデルは、学習を実行した結果であり、推論エンジン２０３Ａ内のニューロンの結合の強さや重み付けである。なお、推論エンジン２０３Ａの構成については、図１Ｂを用いて後述する。

推論モデルが生成された後、推論エンジン２０３Ａは、入力部２０５Ａから、画像データ等の入力データを入力し、出力部２０６Ａからの推論結果を出力する。学習管理制御部２０７Ａは、推論結果の信頼性を判定する。この推論結果の信頼性は、図１Ａに右下のグラフに示すように、時間が経過するにつれて、増々低下する。時代遅れが始まると、この低下スピードは予想外に大きくなる場合がある。

例えば、旧データセット２０１Ａとして、「イイネ」と評価された画像データを用いて、推論モデルを生成したとする。この場合には、推論エンジン２０３Ａは、入力部２０５Ａに画像データが入力されると、「イイネ」と評価されるような画像を撮影できるようなガイドを行うことができる。しかし、推論モデルを生成した後、インターネットにアップロードされた画像の評価者の好みが変化した場合には、旧データセット２０１Ａによって生成された推論モデルでは、評価されるような画像を撮影することができなくなる場合がある。この場合には、最新の「イイネ」画像Ａ’を入力しても、「イイネ」と評価されず、信頼性Ｂ’が低下してしまう。

学習管理部２０７Ａは、信頼性が低下すると、学習装置２００Ｂ（図１では、２００Ｂと２００Ａは同じでもよいが、分かりやすくするために、２００Ｂで示す）に対して、学習用データを新しいデータセット２０１Ｂに変更する。推論エンジン２０３Ｂは、このデータセット２０１Ｂを教師用データとして、学習を行い、推論モデルを再生成する。この再生成された推論モデルは、外部出力部２０５Ｂから出力され、外部にある画像取得装置２１０等内の推論エンジン２０３に入力される。再生成された推論モデルを使用することにより、推論結果の信頼性は、一定のレベルを保つことができる。

次に、図１Ｂを用いて、先に触れた深層学習を行う推論エンジン２０３Ａ、２０３Ｂ、２０３の構成について説明する。この推論エンジン２０３は、入力層Ｉと出力層Ｏの間に中間層（ニューロン）が配置されている。この中間層としては、何層かのニューロンＮ１１〜Ｎ１ｎ、Ｎ２１〜Ｎ２ｎ、・・・が配置されている。ニューロンの層の数は設計上適宜決められ、また各層におけるニューロンの数も設計上適宜決められる。なお、推論エンジン２０３Ａ、２０３Ｂ、２０３は、ハードウエア回路で構成されたチップでもよく、また、ソフトウエアによって実現するようにしてもよい。

深層学習を行う際には、入力層Ｉには、教師用データの内の画像データ等の入力データが入力され、出力層Ｏには、教師用データの内の正解が与えられる。入力層Ｉに画像データが入力された際に、出力層Ｏから正解が出力されるように、各ニューロンと各ニューロンの結合の強さ（重み付け）が、それぞれ学習によって決定される。推論モデルとしては、学習によって得られた各ニューロンと各ニューロンの結合の強さ（重み付け）が出力される。なお、入力層Ｉに入力される画像データは、所定の条件に従って画像データの集団に絞っておき、出力層Ｏの正解データとしては、第三者から高い評価（「イイネ」評価）を与えるようにしてもよい。

次に、図２を用いて、画像取得装置として、工業用内視鏡で画像を取得する場合の動作について、説明する。先に、ソーシャル・ネットワーク・システムにおいて評価を付する環境の例を説明した。しかし、本願の発明は、このシステムにとどまるものではないので、ここではあえて、その環境下でなくとも本願の発明が実施できる例をあげる。時間とともに、推論エンジンが時代遅れとなることは、第三者の評価、という点のみならず、検査する対象物が時代によって設計や材質が変わる場合がある。検査を実施する機械も、機種変更があったり、マイナーチェンジがあったり、利用できるアクセサリが変わったり、また使用する人の癖などが世代によって変わったりするからである。

図２は、本実施形態を管３１１の中を観察する工業用内視鏡３０１に応用した場合の教師画像の例を示す。図２（ａ）は、管３１１の中に、工業用内視鏡３０１が挿入され、管壁に衝突した状態を示し、図２（ｂ）は、管３１１の中を工業用内視鏡３０１が挿入され、直進していく状態を示す。

工業用内視鏡３０１の挿入部３０２は、可撓性を有して管状である。挿入部３０２は、先端側から順に、先端部３０２ａ、湾曲部３０２ｂ、可撓管部３０２ｃを有している。湾曲部３０２ｂは、例えば、図示しない複数の湾曲駒を有している。湾曲部３０２ｂは、湾曲自在であり、ユーザの手元操作によって、任意の方向に曲げることができる。先端部３０２ａには、図示しないＣＣＤ（Charge Coupled Device）イメージセンサ、又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子、および図示しない照明部を有する撮像部３０３が設けられている。

管３１１は、管３１１ａと管３１１ｂの２つの管から構成され、管３１１ａと管３１１ｂが継ぎ目３１２において継ぎ合わされている。図１２に示す例においては、継ぎ目３１２の内側にリング状の錆３１３が発生し、内側に隆起している。

図２（ａ）（ｂ）は、錆３１３の状態を観察するために、工業用内視鏡３０１の挿入部３０２を管３１１に挿入した様子を示す。図２（ａ）は、挿入部３０２の先端部３０２ａを錆３１３の観察位置に上手く移動させることができず、管壁に衝突した場合を示す。一方、図２（ｂ）は、挿入部３０２の先端部３０２ａを管の中で直進させ、上手く移動させることができた場合を示す。

図２（ａ）の下部に示した画像Ｐ１〜Ｐ８は、工業用内視鏡３０１の撮像部３０３において取得した画像を示す。画像Ｐ１〜Ｐ３は、管３１１の入り口部付近における画像であり、管３１１の遠方が暗くなっている（黒丸参照）。画像Ｐ４は、時刻Ｔ＝０において取得した画像であり、遠方を示す黒丸の外側に錆３１３が見える。

時刻Ｔ１において、挿入部３０２の先端部３０２ａを下方に向けて移動し、そのまま進むと（時刻Ｔ１〜Ｔ３、画像Ｐ５〜Ｐ７）、最後には、先端部が錆３１３に衝突してしまう（時刻Ｔ４、画像Ｐ８）。この場合には、錆３１３を上方から観察することができない。

図２（ｂ）においては、時刻Ｔ０以前に取得される画像は、図２（ａ）の場合と同じである。時刻Ｔ１において、先端部３０２ａは、管３１１の中を直進し、錆３１３の真上付近を通過することから、画像の中心が暗くなっており、その外側に錆３１３が円周状に見える。さらに、時刻Ｔ２において、先端部３０２ａは、錆３１３の上を通過することから、錆３１３は見えなくなり、画像の中心が暗くなっているだけである。

このように、工業用内視鏡３０１を管３１１に挿入し、内部を観察する場合には、適切に操作しないと、図２（ａ）に示すように、管壁に衝突等を起こし、内部を観察することができない。しかし、図１で説明したように、教師用の画像データを用いて、推論エンジンの推論モデルを生成することにより、ガイド表示を行うことが可能となる。

しかし、管３１１の内部は変化し、また工業用内視鏡３０１の撮像部や挿入部等は更新されることがあり、推論モデルを用いたガイド表示の信頼性が低下することがある。そこで、本実施形態においては、学習管理制御部２０７Ａが、信頼性が低下した場合等において、新たな教師データを用いて、学習装置に推論モデルの更新を依頼するようにしている。

次に、図３および図４に示すフローチャートを用いて、第１実施形態に係る学習管理システムの動作について説明する。図３に示すフローチャートは、画像取得装置２１０の制御動作を示す。このフローチャートに示す画像取得装置２１０は、図２に示すような工業用内視鏡３０１に適用した例である。

図３に示すフローが開始すると、まず、必要に応じて、推論モデルを取得し、履歴を記録する（Ｓ１）。ここでは、画像取得装置２１０の推論エンジンが使用する推論モデルを、必要に応じて取得する（図４のＳ４７参照）。既に取得済みであれば、または取得済みで、かつ更新の必要がなければ、取得処理は行わない。また、履歴としては、推論モデルを取得した場合には、取得日、使用機器の種別、推論モデルのバージョン、推論モデルの用途、推論モデルの対象物、推論モデルが有効な条件等の履歴を記録する。

続いて、画像を入力し、表示し、推論を行う（Ｓ３）。ここでは、撮像部３０３によって、画像データを入力し、この画像データに基づいて、表示部に表示を行う。ユーザは、この表示によって管３１１内の様子を観察することができる。また、推論エンジン２０３によって、ガイド表示のための推論を行う。

次に、画像を仮記録する（Ｓ５）。ここでは、ステップＳ３において取得した画像を工業内視鏡３０１内のメモリに仮記録する。後述するステップＳ７、Ｓ９等においては、ここで仮記録した画像の変化に基づいて、推論を行う。

画像の仮記録を行うと、次に、画像を比較し、変化を検出したか否かを判定する（Ｓ７）。ここでは、仮記録された直近と、その前に仮記録された画像を比較する。そして、比較結果に基づいて、画像が変化しているか否かを判定する。例えば、図２（ａ）における画像Ｐ１〜Ｐ３の間には変化がなく、一方、画像Ｐ３とＰ４の間には変化があり、同様に、Ｐ４とＰ５、Ｐ５とＰ６、・・・の間でも画像が変化している。

ステップＳ７における判定の結果、変化を検出した場合には、変化前後の画像変化を用いて推論を行う（Ｓ９）。ここでは、変化前と、変化後の画像の変化分を、推論エンジン２０３に入力し、推論結果を得る。例えば、図２（ａ）に示されるように、挿入部３０２の先端部３０２ａが移動している場合に、画像がＰ４〜Ｐ５、Ｐ５〜Ｐ６のように変化していくと、管壁に衝突してしまうと推論することができる。一方、図２（ｂ）に示されるように、挿入部３０２の先端部３０２ａが移動している場合に、画像がＰ１４〜Ｐ１５、Ｐ１５〜Ｐ１６のように変化していくと、管壁に衝突することなく、直進していくと推論することができる。画像変化に基づいて推論を行うと、推論結果に基づくガイドを表示する。

続いて、変化が順調か否かを判定する（Ｓ１１）。このステップでは、ステップＳ９における推論結果に基づいて、順調に変化しているか否かを判定する。例えば、図２（ａ）の画像Ｐ４〜Ｐ８に示されるような場合には、管壁に衝突すると推論され、このような場合には順調とは判断されない。一方、一方、図２（ｂ）の画像Ｐ１１〜Ｐ１６に示されるように、管内を直進すると推論される場合には、順調と判断される。

ステップＳ１１における判定の結果、順調に変化していない場合には、警告表示を行う（Ｓ１３）ここでは、順調に変化していないことから、ユーザに操作を慎重にするように、警告表示を行う。警告表示を行うと、次に、警告の動作を継続しているか否かを判定する（Ｓ１５）。このステップでは、警告表示していたにも関わらず、ユーザが行っていた操作をそのまま継続し、何かトラブル（例えば、衝突等）があったか否かを判定する。

ステップＳ１５における判定の結果、動作を継続していた場合には、撮影を行い、警告を無視したことを記録する（Ｓ１７）。警告表示を行ったにも関わらず、ユーザが無理に動作を続けたことにより、機器や対象物を破損してしまうことがある。そこで、このステップでは、その責任の所在を証拠として記録するために、撮影を行い、警告を無視したことを記録する。

一方、ステップＳ１５における判定の結果、動作を継続しなかった場合には再学習を依頼する（Ｓ１９）。警告が無視されることなく、ユーザが動作を変更した場合には、推論モデルが、現状に一致しなくなってきた可能性がある。例えば、工業用内視鏡の撮像部３０３が取り替えられた場合、挿入部３０２の材質が異なっている場合、または管３１１の内部状況が大きく変わった等、種々の事情がありうる。このような場合には、推論モデルを更新するために、学習装置２００に再学習を依頼する（図４の３１参照）。

ステップＳ１７において警告を無視したことを記録すると、またはステップＳ１９において再学習を依頼すると、またはステップＳ７における判定の結果、画像が変化しなかった場合、または画像が順調に変化していた場合には、次に、撮影操作がなされたか否かを判定する（Ｓ２１）。ここでは、撮像部３０３によって静止画像（または動画像）を取得するための操作がなされたか否かを判定する。この判定の結果、撮影操作がなされていない場合には、ステップＳ３に戻る。

ステップＳ２１における判定の結果、撮影操作が行われた場合には、撮影を行い、記録する（Ｓ２３）。ここでは、撮像部３０３によって画像データを取得し、この画像データに画像処理を施し後に、記録媒体等に画像データを記録する。画像データを記録すると、ステップＳ３に戻る。

次に、図４に示すフローチャートを用いて、推論モデル取得の動作について説明する。この推論モデル取得は、学習装置２００の学習管理制御部２０７Ａ内のＣＰＵ（Central Processing Unit）等のプロセッサが、記憶部に記憶されたプログラムに従って、学習装置内の各部を制御することによって実現される。

図４に示す推論モデル取得のフローが開始すると、まず、再学習依頼か否かについて判定する（Ｓ３１）。前述したように、画像取得装置２１０は、推論モデルの信頼性が低下するような状況になると、学習装置２００に再学習を行って新たな推論モデルを作成することを、通信部を通じて依頼してくる。このステップでは、画像取得装置から、再学習の依頼があったか否かについて判定する。

ステップＳ３１における判定の結果、再学習の依頼がない場合には、挿入時画像変化を母集合とする（Ｓ３３）。ここでは、画像取得装置２１０（工業用内視鏡３０１）が、ステップＳ５またはステップＳ１９において、取得した画像データの中から、管３１１への挿入時の画像の変化、すなわち画像の差分データを抽出し、この差分データを母集合とする。

一方、再学習依頼があった場合には、学習履歴に従い母集合を刷新する（Ｓ３５）。このステップでは、ステップＳ１において記録した学習履歴を参照し、母集合を刷新する。すなわち、前回、推論モデルを生成した後において、推論結果の信頼性が低下した時点以降等の画像を母集合にする等によって、母集合を新たに生成し直す。この母集合の刷新にあたっては、学習履歴に基づいて、現在、観察した画像に類似しているかに基づいて母集合を作成する。すなわち、前回の学習時よりも後の画像であって、現在の画像に類似する画像を母集合とすることによって、信頼性の高い推論モデルを生成することができるからである。また、履歴情報を見て、現在の状況からかけ離されていない場合や、教師データが足りない場合は、一部の母集合を入れ替えるだけでもよい。

ステップＳ３３またはＳ３５において、母集合を生成すると、次に、挿入ＯＫ時の画像変化を教師画像化する（Ｓ３７）。このステップでは、母集合の画像の中から、図２（ｂ）に示すように、工業用内視鏡３０１を管３１１に挿入した際に、順調に移動させることができた場合の画像の変化を抽出し、この画像と挿入ＯＫを関連付け、教師用データとする。

次に、挿入ＮＧ時の画像変化を区別して教師画像化する（Ｓ３９）。このステップでは、母集合の画像の中から、図２（ａ）に示すように、工業用内視鏡３０１を管３１１に挿入した際に、順調に移動させることができなかった場合の画像の変化を抽出し、この画像と挿入ＮＧを関連付け、教師用データとする。

続いて、推論モデルを生成する（Ｓ４１）。ここでは、ステップＳ３７およびＳ３９において抽出した画像を教師用データとし、学習装置２００が推論モデルを生成する。すなわち、推論エンジン２０３は、結果がＯＫであった場合、ＮＧであった場合のそれぞれの入力画像に対して、結果が一致するように、中間層の各ニューロンの結合の強さ（重み付け）を算出し、算出結果を推論モデルとして出力する。

推論モデルを生成すると、依頼データがあれば、推論を行う（Ｓ４３）。ここでは、ステップＳ３７、Ｓ３９における教師画像以外の依頼データがあれば、この依頼データを用いて、推論を行う。すなわち、外部データベース等に記録され、結果が分かっている依頼データがあれば、そのデータを入力し、ステップＳ４１において生成した推論モデルを用いて、推論を行う。また、依頼データとしては、外部データに記録されているデータに限らず、新規に取得し結果が分かっているデータでもよく、また依頼状況下での試行錯誤の結果、上手くいった場合等のデータも教師用データとして使用できる。ステップＳ４１において生成した推論モデルは、これらの依頼データを用いて、正しく推論されなければならないので、実際に即した画像群データ（依頼データ）を用いるのがよい。この推論を行うことによって、ステップＳ４１において生成した推論モデルの信頼性を予測することができる。

続いて、推論の信頼性が所定の値以上か否かを判定する（Ｓ４５）。ここでは、ステップＳ４１において生成した推論モデルの信頼性を判定する。信頼性の判定は、例えば、ＬＯＳＳ値等を算出し行う。ＬＯＳＳ値は、予め解答（例えば、挿入時ＯＫまたはＮＧ）が分かっている練習問題で深層学習を行った場合に、深層学習で生成された推論モデルでの推論結果と、予め分かっている解答との差異である。予め解答が分かっている練習問題としては、ステップＳ４３における依頼データを用いてもよく、また記録されている挿入時の画像（教師画像以外の画像）を用いてもよい。これ以外にも、先の依頼データを使って検証し、うまく行く場合のデータでは、ＯＫを表示し、うまく行かなかった場合のデータでは、必ずＮＧを表示するようになれば、推論モデルの信頼性が良いといった判定もできる。

ステップＳ４５における判定の結果、信頼性が所定の値以上ない場合には、学習母集合の再設定を行う（Ｓ４９）。信頼性が低いのは、ステップＳ４１において推論モデルを生成した際に使用した画像データの母集合が適当でなかった可能性がある。そこで、このステップでは、母集合を変えてみる。この場合には、学習履歴に基づいて、適切な時期の画像データに変更する等の処理を行えばよい。

一方、ステップＳ４５における判定の結果、推論モデルの信頼性が高い場合には、推論モデルを送信する（Ｓ４７）。画像取得装置２１０（工業用内視鏡３０１）は、初期段階では推論モデルがインストールされている。このステップでは、新たに推論モデルを生成した際に、依頼元の画像取得装置２１０に、通信部を通じて、新たな推論モデルを送信する。推論モデルを送信すると、このフローを終了する。

このように、本発明の第１実施形態においては、画像取得装置２１０において、画像変化が順調ではなく、警告表示がなされ、ユーザが警告表示を無視する状態が継続すると、学習装置２００に対して、再学習を依頼する。再学習によって、信頼性の高い推論モデルを常に維持することが可能となる。

なお、本実施形態においては、警告表示がなされた際のユーザの行動や、その後に生じたトラブル等に基づいて、再学習を依頼するようにしている。しかし、再学習を依頼するタイミングは、これに限られない。例えば、推論モデルを機器に設定してから所定時間経過して、対象物が以前のものとは変わってしまった場合や、作業者が変わってしまった場合等、先に設定された推論モデルが想定していた環境から変わってしまったと考えられる場合には、再学習を依頼してもよい。また、推論モデルを使用しても、時間が掛かり過ぎる等、上手く作業ができない場合にも、再学習を依頼してもよい。こられの場合には、教師データを新たに集め（装置自らが作成したものでもよいし、外部から取得したものでもよい）再学習を依頼してもよい。また、例えば、この教師データ（依頼データでも良い）を使用して、画像取得装置において、ＬＯＳＳ値を所定のタイミングで算出し、この結果に基づいて、再学習依頼を行うようにしてもよい。

また、図２に示すような工業用内視鏡の場合には、例えば、管壁への衝突時に先立つ画像群を推論エンジンに入力した場合は、衝突前のタイミングにて警告が表示されることが求められる。一方、衝突することなく所定の観察ができた場合には、その作業時の画像群を推論エンジンに入力した場合に、画像群の表示とともにＯＫ表示が出ることが求められる。これが、正しく依頼データをもとにして、正しい学習モデルができたかどうかの信頼性判断となる（Ｓ４５における判断）。

次に、図５ないし図８を用いて、本発明の第２実施形態を説明する。本実施形態は学習システムを構成する画像取得装置として、カメラを採用した例である。このカメラは、ソーシャル・ネットワーク・システムと連携し、ソーシャル・ネット・ワーク上に掲載されたコンテンツ・アイテム（ユーザ投稿の写真やブログなど）に、第三者が「イイネ！」などの品質評価（主観評価に限る必要はない）が書き込めるような環境で使用することを想定している。このような環境下では、掲載されたコンテンツ・アイテムのうち、品質評価の情報が付随した特定のコンテンツ・アイテムは、どのようなコンテンツ・アイテムがどのような評価を得るかを推論するときの教師データとして使用するために、ソーシャル・ネット・ワークからコンテンツ・アイテムとその評価結果を取得することが可能となる。したがって、取得した教師データを用いて、コンテンツ・アイテムの特徴と、品質評価の関係を推論するための機械学習を、コンピュータなどによって行うことが可能である。この学習結果で得られた推論エンジンを用いることによって、これから投稿されるコンテンツ・アイテムがどのような評価を得るかの予想が可能となる。

上述した推論エンジンを搭載したカメラは、外部データベースに記録された画像に対して、第三者が「イイネ」と評価するような画像を撮影するように、ガイドを表示する。このガイドは、外部データベースに記録されている画像と評価を用いて、学習部によって推論された推論モデルを用いて行う。

図５（ａ）は、第２実施形態に係る学習システムの主として電気的構成を示すブロック図を示す。この学習システムは、カメラ１０と外部機器２０を有する。カメラ１０は、図１における画像取得装置２０７に相当し、外部機器２０は学習装置２００に相当する。

カメラ１０は、画像入力部１１、推論エンジン１２、通信部１４、表示部１５、設定部１６、制御部１７を有する。このカメラ１０は、推論モデルを受信する撮像装置として機能する。画像入力部１１は、撮影レンズ、撮像素子、撮像制御回路、画像データ処理回路等を有し、被写体の画像データを生成する。

推論エンジン１２は、後述する外部機器２０内の入出力モデル化部２８によって生成された推論モデルを入力し、これを学習成果物１３ａとして記憶部１３に記憶する。推論エンジン１３は、記憶部１３に記憶された推論モデルを用いて、画像入力部１１によって入力された画像データが、設定部１６によって設定されたリクエストに合致した画像であるか否かを推論する。推論エンジン１３は、図１Ｂと同様、入力層、中間層、出力層を有し、これらの間のニューロンの結合の強さや重み付けは、記憶部１３に記憶された推論モデル（学習成果物）に従って設定される。推論エンジン１２は、画像データを入力し、推論モデルを用いて、ユーザにガイド表示を行うための出力を得る推論部（推論エンジン）として機能する。

通信部１４は、通信回路を有し、外部機器２０の通信部２６と、ネットを通じて、無線通信または有線通信を行う。この通信部１４は、設定部１６において設定されたリクエストを学習部２５に送信し、また入出力モデル化部２８で生成された推論モデルを入力する。また、通信部１４は、推論モデルを入力する入力部（入力インターフェース）として機能する。

なお、カメラ１０が直接、外部機器２０にアクセスできない場合に、スマートフォン等の携帯型通信装置等を通じて、外部機器２０に通信するようにしてもよい。また、カメラ１０自体がスマートフォン等の携帯型通信装置に内蔵されている場合には、この携帯型通信装置を通じて、外部機器２０に通信するようにすればよい。

表示部１５は、表示パネル等を有し、画像入力部１１において取得した画像データに基づく表示を行う。また、推論エンジン１２における推論結果の表示を行う。また、設定部１６において設定する項目は、図５（ｂ）に示すように表示される。表示部１５は、前回学習した日付１５ｂを表示し、またユーザが手動で再学習依頼を行うための更新アイコン１５ｃも表示する。なお、再学習の指示は、更新アイコン１５ｃに限らず、スイッチ、ダイヤル等の操作部材を操作することによって、行ってもよい。表示部１５は、推論部の出力に基づいてガイド表示を行う表示部として機能する。

設定部１６は、インターフェース回路を含み、ユーザが推論モデルを依頼する際の要望（リクエスト）を設定する。例えば、第三者から評価され（例えば、第三者から「イイネ」と評価される）、かつユーザが希望する写真が撮影できるような撮影ガイドを設定することができる。図５（ｂ）に示す例では、ユーザの要望に合致するように、評価者（ターゲットフォロア）の国籍、性別、テーマ等の付随情報を設定できるようにしている。ただし、注意すべきは、こうしたソーシャル・ネットワーク・システムを代表とするネット環境下では、コンテンツ・アイテムが随時、投稿や掲載可能であり、また掲載されたコンテンツ・アイテムが、随時、ソーシャル・ネットワーク・システムなどのユーザから（好みを含めて）品質評価される可能性がある。このため、このような環境下では、はやりすたりが激しく変化する可能性があり、特に、新しい革新的なコンテンツ・アイテムの登場や、新しい評価者の加入や、その他、オピニオンリーダーの加入によってフォロワの傾向が変化する場合がある。このような状況の時間的変化に対しては、推論エンジンは時代遅れとなるというおそれがあった。

制御部１７は、ＣＰＵ（Central Processing Unit）、周辺回路、メモリ等を有するプロセッサであり、ＣＰＵはメモリに記憶されたプログラムに従って、カメラ１０内の各部を制御する。

制御部１７は、学習管理部１７ｂを有する。学習管理部１７ｂは、図１Ａを用いて説明したように（図１Ａでは学習管理制御部２０７Ａ）、推論モデルを用いた推論の信頼性等の確認を行うか判断し、信頼性が低下している場合等には、学習装置に再学習の依頼を行う。また、ユーザが、更新アイコン１５ｃをタッチする等によって、再学習を指示した場合にも、学習装置に再学習の依頼を行う（図６のＳ６３〜Ｓ７３、Ｓ８１参照）。

学習管理部１７ｂは、推論モデルの更新について判定し、この判定の結果に基づいて、外部の学習装置に推論モデルの更新を依頼、もしくは推論モデルの更新が必要か否かの判定を依頼する更新確認部として機能する（例えば、図３のＳ１５、Ｓ１９、図６のＳ６３、図１１ＡのＳ１８３、Ｓ１８５等参照）。更新確認部は、最新の教師データを取得し、この最新の教師データを用いて、現在使用している推論モデルの信頼性を検出し、この信頼性が低い場合には、外部の学習装置に推論モデルの更新を依頼する（例えば、図６のＳ６５、Ｓ６７、Ｓ６９参照）。

また更新確認部は、外部の学習装置に推論モデルの更新を依頼してから所定の時間が経過すると、外部の学習装置に上記推論モデルの更新を依頼、もしくは推論モデルの更新が必要か否かの判定を依頼する（例えば、図６のＳ６５参照）。更新確認部は、現状の変化を監視し、現状が変化した場合に、外部の学習装置に推論モデルの更新を依頼する（例えば、図３のＳ７〜Ｓ１９、図６のＳ６３、図１２ＢのＳ２７１等参照）。更新確認部は、ユーザが上記ガイド表示を採用せず、操作に反映していな場合に、現状が変化したと判定する（例えば、図３のＳ１５、Ｓ１９、図１１ＡのＳ１８３、Ｓ１８５参照）。

また、更新確認部は、常時、上記推論モデルの更新が必要か否かについて確認を行う（例えば、図６のＳ６３参照）。また、外部装置が、推論モデルの更新が必要か否かについて確認を行っており、更新確認部は外部装置から確認結果に基づいて判定する（図６のＳ６３、図８のＳ１５７、Ｓ１６５参照）。

外部機器２０は、外部画像データベース（ＤＢ）２１と、学習部２５を有する。外部画像ＤＢ２１と学習部２５は、同一の機器内に配置されていなくてもよく、両者は通信によって連携することができればよい。また、外部画像ＤＢ２１は複数設けられていてもよく、学習部２５から複数の外部画像ＤＢに通信部２５および通信部２６を通じて、画像データにアクセスし、画像データに関する情報を取得することができればよい。

外部画像ＤＢ２１は、通信部２２、画像分類部２３、制御部２４を有する。外部画像ＤＢ２１は、第三者からアクセス可能であり、例えば、第三者が気に入ると、「イイネ」等、第三者の好みに合ったことが意思表示される。この意思表示は、ネットを通じて、評価された画像に関連付けて外部画像データベースに記録され、またネットを通じて公表される。外部画像ＤＢ２１は、推論モデルを学習によって生成する際に、使用可能なデータを蓄積するデータベースとして機能する。外部ＤＢ２１は、推論モデルを学習によって生成する際に、使用可能であり、かつ第三者の評価を含むデータを蓄積するデータベースとして機能する

通信部２２は、通信回路を有し、学習部２５の通信部２６と、データの送受信を行う。画像分類部２３は、外部画像ＤＢ２１内に蓄積され、または外部画像ＤＢ２１と外部にある画像ＤＢに蓄積された画像データの画像分類を行う。画像分類部２３には、フォロワプロフィール２３ａとテーマ２３ｂが記憶されている。一般に画像ＤＢには、画像データが、その画像に関する第三者の評価、例えば、第三者が「イイネ」と評価した数等と共に記録されている。フォロワプロフィール２３ａは、「イイネ」と評価した人（フォロワ）に関する情報（フォロワプロフィール、例えば、フォロワの住んでいる地域、性別、年齢等）を記録している。テーマ２３ｂは、画像のテーマ、例えば、撮影対象（例えば、風景、人物、料理等）等の情報を画像に関連付けて記録している。

制御部２４は、ＣＰＵ（Central Processing Unit）、周辺回路、メモリ等を有するプロセッサであり、ＣＰＵはメモリに記憶されたプログラムに従って、外部画像ＤＢ２１内の各部を制御する。制御部２４は、ＤＢ管理部２４ｂを有する。

ＤＢ管理部２４ｂは、外部画像ＤＢ内に蓄積される画像データを管理する。ＤＢ管理部２４ｂは、推論モデルを生成するための学習をおこなってから所定時間が経過したか否かを判定する時間判定部として機能する（例えば、図８のＳ１５１参照）。ＤＢ管理部２４ｂは、時間判定部によって、所定時間が経過したと判定された場合に、前回の推論モデルを生成した際に使用された条件に基づいて、データベースを検索し、上位データが変動しているか否かを判定する判定部として機能する（例えば、図８のＳ１５３、Ｓ１５５参照）。ＤＢ管理部２４ｂは、判定部によって、上位データが変動していると判定された場合に、推論モデルの更新を推奨する推奨部として機能する（例えば、図８のＳ１５７参照）。

ＤＢ管理部２４ｂは、第三者の評価に変化があった否かを判定する判定部として機能する（例えば、図８のＳ１６１参照）。またＤＢ管理部２４ｂは、判定部によって、第三者の評価に変化があった場合に、推論モデルの更新を推奨する推奨部として機能する（例えば、図８のＳ１６５参照）。

学習部２５は、通信部２６、母集合作成部２７、入出力モデル化部２８、制御部２９を有する。学習部２５は、外部画像ＤＢ２１に蓄積された画像データの中から、カメラ１０のユーザのリクエストに基づいた撮影ができる推論モデルを生成する。リクエストは、画像に対する品質や量比を撮影前に判断する時の判断基準となるものである。例えば、学習部２５は、カメラ１０から送信されてきたリクエストに合致し、第三者から評価されることが所定値より多い画像を画像データベースの中から抽出し、この抽出した画像用いて、深層学習を行い、推論モデルを出力する（例えば、図７のＳ９１〜Ｓ９９参照）。この推論モデルを設定した推論エンジンに、撮影前、または撮影時に、画像を入力することにより、所望の品質レベルの画像かどうかを判定することができる。

また、この学習部２５は、深層学習が決められた画像データの範囲において、信頼性のある推論モデルが生成された場合には、学習途中モデルとして出力する（例えば、図９のＳ１０１、Ｓ１０５〜Ｓ１０９参照）。

通信部２６は、通信回路を有し、外部画像ＤＢ２１の通信部２２とデータの送受信を行う。また通信部２６は、カメラ１０の通信部１４ともデータの送受信を行う。

母集合作成部２７は、後述するカメラの設定部１６によって設定されたリクエストに基づいて、最適な母集合を作成する。最適な母集合としては、全ての画像データをそのまま全部使用してもよい。しかし、母集合が大きすぎると、処理に時間が掛かってしまう。また母集合が大きすぎると、過学習となり信頼性が低下してしまう場合がある。そこで、付随情報として送信されてきた国籍、性別等の情報を用いて、全画像データから適当なサイズの母集合を抽出する。

母集合作成部２７は、判定部によって、推論モデルの確認の依頼を入力し、もしくは前回の推論モデルの更新から所定時間が経過したと判定された場合には、データベースから学習母集合を設定する母集合作成部として機能する（例えば、図７のＳ１１５等参照）。この母集合作成部は、前回の推論モデルを生成した際に使用された条件に基づいて、データベースから学習母集合を設定する（例えば、図７のＳ１１５参照）。

入出力モデル化部２８は、所謂人工知能（ＡＩ）を用いて深層学習（機械学習）を行う。具体的には、入出力モデル化部２８は、母集合作成部２７によって作成された画像データの母集合を用い、設定部１６によって設定されたリクエストを満たす画像の推論モデルを、深層学習によって生成する。出力モデル化部２８は、図１Ｂに示すような構成を有している。入力層Ｉに母集合作成部２７に作成された画像データを入力する。また、出力層Ｏに、画像の評価結果、例えば、「フランスの２０代女性が高い評価を与えた（イイネと評価）」という教師データ（正解）を与える。入力と出力が一致するように、各ニューロンＮ１１〜Ｎ２ｎの結合の強さ（重み付け）を算出することによって推論モデルを生成する。

なお、画像データの母集合が大きいと、深層学習によって推論モデルが完成するまでに相当の時間（母集合の大きさおよび設定部１６によって設定されたリクエスト（条件）によっては、何カ月、何年）がかかる。そこで、母集合の画像データの全てについて推論が終了しない場合であっても、一定レベルの信頼性が期待できる場合には、このときの推論モデルを学習途中モデルとしてカメラに出力するようにしてもよい。

制御部２９は、ＣＰＵ（Central Processing Unit）、周辺回路、メモリ等を有するプロセッサであり、ＣＰＵはメモリに記憶されたプログラムに従って、学習部２５内の各部を制御する。

制御部２９は、学習管理部２９ｂを有する。学習管理部２９ｂは、カメラ１０から再学習の依頼を受けると、母集合作成部２７に母集合を作成させ、この母集合を用いて、入出力モデル化部２８に再学習を行って推論モデルを生成させる。また、カメラ１０の学習管理部１７ｂが行う推論モデルを確認する機能を、学習管理部２９ｂが代行するようにしてもよい。この場合の処理については、図８を用いて後述する。

学習管理部２９ｂは、推論モデルの確認の依頼を入力したか否か、もしくは前回の推論モデルの更新から所定時間が経過したことか否かについて判定する判定部として機能する（例えば、図７のＳ１１１参照）。学習管理部２９ｂは、母集合作成部で作成した学習母集合を用いて、依頼を受けた推論モデルの信頼性に基づいて、更新の必要性について判定する更新確認部として機能する（図７のＳ１２１参照）。

なお、制御部１７、２４、２９内のＣＰＵの周辺回路の全部または一部をＣＰＵ（Central Processing Unit）とプログラムコードによって実現するようにしてもよく、ＤＳＰ（Digital Signal Processor）等のプログラムコードで実行される回路で実現するようにしてもよく、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またハードウエア回路によって実行するようにしても勿論かまわない。また、ＣＰＵの機能の一部をＤＳＰ等のプログラムコードで実行される回路で実現するようにしてもよく、ヴェリログによって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またハードウエア回路によって実現するようにしてもよい。

次に、図６ないし図８に示すフローチャートを用いて、本実施形態における動作を説明する。

図６はカメラ１０における動作を示し、制御部１７がメモリに記憶されたプログラムに従って、図６に示すフローチャートを実行する。カメラ制御のフローが開始すると、まず、撮影モードか否かを判定する（Ｓ５１）。本フローにおいては、カメラ１０は、撮影モードと学習モードの２種類のみを記載する。しかし、これらのモード以外にも、再生モード等、他のモードを実行できるようにしてもよい。操作部材（不図示）によって学習モードが設定されていなければ、撮影モードと判定される。なお、学習モードは、ユーザが設定部１６によって、学習部２５に推論モデルの生成を依頼するモードである。

ステップＳ５１における判定の結果、撮影モードであった場合には、画像入力を行う（Ｓ５３）。このステップでは、画像入力部１１によって画像データを取得する。この取得された画像データに基づいて、表示部１５にスルー画像が表示される。

画像を入力すると、次に、推論を行う（Ｓ５５）。ここでは、推論エンジン１２が、入力した画像データに対して、入出力モデル化部２８が生成した推論モデル（後述するＳ８１で取得）を用いて、推論を行う。推論エンジン１５は、図１Ｂに示すような構成をしている。この推論エンジンの入力層Ｉに画像入力部１１で入力した画像データを入力し、各ニューロンＮ１１〜Ｎ２ｎ間の結合の強さ（重み付け）として、記憶部１３に記憶されている推論モデルを設定する。この推論エンジン１５の出力層Ｏからの出力が、推論結果となる。

推論を行うと、次に、推論結果を表示する（Ｓ５７）。ここでは、ステップＳ５で行った推論結果を表示する。例えば、学習部２５に対するリクエストが、「フランスの２０代女性から評価を受ける写真」に応じた付随情報を含んでいれば、ステップＳ５３で入力した画像が、このリクエストに合致するか否か、即ちある一定数以上の第三者の評価（「イイネ」）を得られるか否かが、表示部１５に表示される。

なお、入出力モデル化部２８において、最初に学習用母集合として設定した画像データについて深層学習が終了せず、再設定した画像データの母集合について学習途中モデルが生成されて送信され、推論エンジン１２が学習途中モデルを用いて推論した場合には、学習途中モデルを用いたことが分かるように表示を行う。また、推論モデルが現在のスルー画表示されている画像に適していない場合には、推論ができないこと等の警告表示を行うようにしてもよい。また、推論の結果、第三者からの評価が得られない場合には、評価が得られるような写真撮影を行うためのアドバイス表示を行うようにしてもよい。

推論結果の表示を行うと、次に、撮影するか否かを判定する（Ｓ５９）。ここでは、カメラ１０のレリーズ釦が全押しされたか否かに基づいて判定する。ユーザは、撮影を行うか否かあたって、ステップＳ５７における推論結果の表示が参考にすることができる。また、アドバイス表示を参考にして撮影を行うようにしてもよい。このステップでの判定の結果、撮影でない場合には、ステップＳ５１に戻り、前述の動作を実行する。

ステップＳ５９における判定の結果、撮影であった場合には、撮影を実行する（Ｓ６１）。ここでは、適正露出となるように露出制御を行い、画像入力部１１で入力した画像データに、記録用の画像処理を施し、画像処理された画像データを記録媒体に記録する。

撮影を行うと、次に、推論モデルを更新（再学習）する否かについて確認する（Ｓ６３）。図１Ａを用いて説明したように、最適な推論モデルを生成しても、その後、状況が変化すると、推論モデルの信頼性が低下してくる。すなわち、ステップＳ６１における撮影結果が、正しい判断で推論されているかを確認できるようにしている。つまり、ユーザのリクエストに従った良否判定、品質レベル判定が、今現在の状況においても有効か否かを確認できるようにしている。このため、推論モデルを更新（再学習）する否かについて不安がある場合は、ユーザがこのことを確認することができるような分岐を設けている。例えば、上述したような「イイネ」を撮影できるような撮影ガイドを表示する場合であっても、閲覧者の好みの変化等によって、「イイネ」と評価されなく場合がある。そこで、このステップでは、最適な推論モデルに更新できるように、再学習が必要か否かを確認するかどうかの判定を行う。このステップでの判定の結果、再学習の必要性を確認できなかった場合には、ステップＳ５１に戻り、前述の動作を実行する。

ステップＳ６３において、更新の確認をするかどうかについては、ユーザがマニュアル操作で行うだけではなく、カメラが特定の条件で判断するようにしてもよく、また外部機器に依頼して、その結果を反映するようにしてもよい。例えば、常時オンライン学習を行うために、常に確認するようにしてもよい。また、ステップＳ６９において、再学習を依頼した時点から所定時間が経過すると、自動的に更新の確認を行うようにしてもよい。この場合には、後述するステップＳ６５、Ｓ６７を省略して、Ｓ６９において再学習を依頼するようにしてもよい。また、外部データベース側で、画像等を監視して推論モデルの更新が必要と判断した場合に、カメラ側に確認を要求してくる場合がある（例えば、図８のＳ１５７、Ｓ１６５等参照）。この場合には、後述するステップＳ６５、Ｓ６７を実行してもよいが、省略して、Ｓ６９において再学習を依頼するようにしてもよい。さらに、前述のように撮影画像を利用して、画像を評価依頼してもよい。また最新の人気画像などを取得して、カメラ１０内に設定されている現状の推論モデルに入力し、高い評価が出るかどうかで判断してもよい。

更に、ステップＳ６３における更新の確認方法としては、カメラ１０で撮影した画像を外部データベースにアップし、「イイネ」と評価される等、外部の評価に基づいて判定してもよい。カメラ１０の推論モデルは、「イイネ」と評価されるように撮影ガイドを行っており、外部データベースにアップした場合に「イイネ」と評価されないのは、推論モデルが不適切になったと考えられる。また、ユーザが、カメラ１０を使用していて、再学習が必要と感じた場合には、更新アイコン１５ｃを操作する。この操作は、このステップで判定する。

ステップＳ６３における判定の結果、再学習するか否かの確認を行うことになった場合には、次に、最新サンプルを取得し、推論結果を確認する（Ｓ６５）。推論エンジンによる推論は、入力データを入力した際の推論結果（出力）である。最新サンプルは、入力データと、この入力データに対する品詞圧や良否などの評価結果であり、学習部２５に要求することにより、その条件を満たす画像を取得することができる（図８のＳ１１７、Ｓ１１９参照）。最新サンプルの入手方法としては、学習部２５から取得する以外にも、カメラ１０が取得した画像をアップロードする等によって第三者から評価結果を得た画像でもよく、学習部２５または外部画像ＤＢ２１において、定期的に第三者の評価を収集する等によって最新サンプルを取得してもよい。外部データベースにアップロードし、このときの評価結果と合わせて、最新サンプルとしてもよい。ここでは、カメラが主体となって要求している例を示したが、外部機器から送信／受信した情報によって、カメラが最新サンプル取得の必要性を判定してもよい。その情報がサンプルそのものでもよい。なお、教師データは推論モデルを生成するための多数のデータであるのに対して、サンプルデータは、推論モデルの信頼性を確認できる程度のデータ数であればよい。

続いて、信頼性が低下しているか否かを判定する（Ｓ６７）。このステップでは、ステップＳ６５で取得した複数の最新サンプルを教師データとして使用し、推論エンジン１２において推論を行い、この推論結果の信頼性が低下しているか否かを判定する。すなわち、入力データに対する結果が一致しないケースの割合が、所定値より大きい場合には、信頼性が低下していると判定する。なお、信頼性低下の確認は、必ずしもこのタイミングで行う必要はなく、ステップＳ７１の推論モデル取得の時に参照できるようにしても良い。

ステップＳ６７における判定の結果、信頼性が低下していた場合には、教師データを刷新した学習を依頼する（Ｓ６９）。ここでは、カメラ１０が通信部１４、２６を通じて、学習管理２９ｂに対して、再学習を依頼する。学習管理部２９ｂは、再学習の依頼を受けると、母集合作成部２７に学習の履歴等を参照して新しい教師データを生成させ、この教師データを用いて入出力モデル化部２８に推論モデルを生成させる（図７参照）。ステップＳ６９において教師データを刷新した学習を依頼すると、またはステップＳ６７における判定の結果、信頼性が低下していない場合には、ステップＳ５１に戻り、前述の動作を実行する。

ステップＳ５１に戻り、このステップにおける判定の結果、撮影モードでない場合には、推論モデル等を取得か否かについて判定する（Ｓ７１）。ユーザは、撮影ガイドを取得したい場合（手動判定であっても、また自動判定であっても良い）には、撮影ガイドの用途をリクエストして、学習部２５に送信する。例えば、第三者が高い評価（「イイネ」）を与える写真等を撮影したい場合には、ユーザは外部機器２０の学習部２５にユーザが設定部１６で設定したリクエストを送信する。リクエストは、例えば、「フランスの２０代の女性から評価を受ける写真」のように、評価者（ターゲットフォロア）の国籍、性別、テーマ等の付随情報を設定する（詳しくは、ステップＳ７５参照）。そして、学習部２５から推論モデルを返信してもらい、カメラ１０はこの推論モデルを用いて撮影を行う。このタイミングで、すでに推論モデルを取得していた場合に、何らかの修正やバージョンアップを行うことも可能である。したがって、ステップＳ６７のような信頼性判定をここで行ってもよい。

ステップＳ７１では、ユーザがこの推論モデルを取得したいか否かについて判定する。ユーザはタッチパネルや操作部材等によって学習モードを設定するので、これらの操作状態に基づいて判定する。この判定の結果、推論モデル等の取得ではない場合には、ステップＳ５１に戻り、前述の動作を行う。

次に、受信か否かを判定する（Ｓ７３）。後述するステップＳ７９において、学習部２５にリクエストを送信した場合、またはステップＳ６９において再学習を学習部２５に要求した場合には、学習部２５から推論モデルが送信されてくる（図８のＳ１０３参照）。このステップでは、学習部２５からの送信されてくる推論モデルを受信するか否かを判定する。

ステップＳ７３における判定の結果、受信の場合には、特定用途の推論モデルの取得または刷新（更新）を行う（Ｓ８１）。ここでは、推論モデルを受信し、また推論モデルを既に受信している場合には、新たに受信した推論モデルに刷新する（置き換える）。この推論モデルの刷新（更新）は、リクエストに応じたものである事を想定しており、このリクエストが既になされている場合は再度、行う必要がないので、新しいバージョンの推論モデルが取得される。また、リクエスト情報がなくても、汎用的に使える推論モデルがある場合、その汎用モデルを取得してもよい。このステップでの処理を行うと、ステップＳ５１に戻る。

ステップＳ７３における判定の結果、受信でないばあいには、リクエストの設定を行う（Ｓ７５）。ユーザは、学習部２５に、深層学習を依頼する場合には、設定部１６において、ユーザの意図に応じた撮影を行うために、リクエストを設定する。このステップでは、これらのリクエストの設定を行う。リクエストは、例えば、第三者から高い評価を受けるために設定する項目（付随項目）がある。この付随項目は、評価する第三者の国籍、性別、年齢層等の評価者のプロフィール（「フォロワプロフィール」ともいう）や、風景、人物、料理等、写真のテーマである（これらを総称して「ターゲットプロフィール」ともいう）。なお、リクエストは、フォロワプロフィールやテーマに限らず、ユーザの意図する写真を表すものであれば、ユーザの意図を表す条件であれば、これらの条件を適宜含めてもよい。また、リクエストは、ユーザの意図する画像そのものであってもよい。既にリクエストが設定されている場合には、それに準拠してもよい。また、リクエストが必ずしも有効ではない場合がありうる。例えば、ユーザが想定しているような種別の画像や、評価者が不在または少数の場合は、深層学習することができないという表示を行ってもよい。

続いて、学習を依頼するか否かを判定する（Ｓ７７）。このステップでは、ステップＳ７５において設定したリクエスト、例えば、国籍、性別、テーマ等の付随情報で設定されるリクエストを、通信部１４を通じて、外部機器２０の学習部２５に送信するか否かを判定する。この判定の結果、依頼しない場合には、ステップＳ５１に戻る。

ステップＳ７９における判定の結果、学習を依頼する場合には、条件を送信し、また刷新する（Ｓ７９）。ここでは、ステップＳ７５において設定したリクエストを、学習部２５に通信部１４，２６と通じて送信する。

このように、本実施形態におけるカメラ制御では、撮影ガイド等に使用する推論モデルを更新する否かについて確認し（Ｓ６３参照）、更新の必要性を確認する場合には、最新のサンプル（教師データ等）を入手して、カメラ１０の推論エンジン１２を用いて推論し、この推論結果の信頼性に基づいて判定する（Ｓ６５〜Ｓ６９参照）。このため、オフラインで深層学習を用いた推論モデルを使用する装置であっても、最適な推論モデルを保持することが可能となる。

次に、図７に示すフローチャートを用いて、外部機器２０の動作を説明する。この動作は、外部機器２０内の学習管理部２９ｂおよびＤＢ管理部２４ｂがメモリに記憶されたプログラムに従って外部機器２０内の各部を制御することにより実現する。

図７に示す外部機器の制御フローが開始すると、まず、学習依頼か否かについて判定する（Ｓ９１）。前述したように、ステップＳ６９、Ｓ７９において、カメラ１０は通信部１４を通じて、外部機器２０の学習部２５に学習を依頼する。この判定の結果、学習依頼がない場合には、待機状態となる。

ステップＳ９１における判定の結果、学習の依頼があった場合には、学習母集合の設定を行う（Ｓ９３）。外部画像ＤＢ２１および使用可能な外部画像ＤＢの全画像データを学習用の母集合としてもよい。しかし、ここでは、効率よく学習するために、ユーザからのリクエストに基づいて、外部の画像データベースの中から深層学習の対象とする画像データを抽出して学習母集合を設定する。

続いて、フォロワプロフィールから母集合の絞り込みを行う（Ｓ９５）。設定部１６において設定されたリクエストには、深層学習の際にターゲットとする画像を「イイネ」と評価したフォロワのプロフィールが含まれている場合がある。この場合には、フォロワプロフィールを用いて母集合の絞り込みを行ってもよい。また、リクエストにフォロワのプロフィールが含まれていない場合には、リクエストに含まれる付随情報に基づいて評価の高い画像を抽出し、この画像のフォロワのプロフィールを取得する。フォロワのプロフィールが分かれば、このステップで、この情報を用いて学習用の母集合の絞り込みを行う。

次に、フォロー画像の判定を行う（Ｓ９７）。ここでは、母集合の画像データの中からユーザが設定部で設定したリクエストに合致する画像、すなわち第三者の評価が高い画像（「イイネ」と評価された画像）であるか否かを判定する。この判定でテーマに合致すると判定された画像（フォロー画像）を、入力モデル化部２８における深層学習の際の入力画像とする。

次に、深層学習を行い、推論モデルを生成する（Ｓ９９）。ここでは、入出力モデル化部２８が、設定された母集合に対して、フォロー画像を用いて深層学習を行い、推論モデルを生成する。

推論モデルの生成を開始すると、フォロー画像の特徴判定が特定規模の演算で可能か否かについて判定する（Ｓ１０１）。母集合の大きさ、またフォロー画像の数および特徴、また深層学習を行うための回路規模によっては、深層学習を行うための時間が相当長くなる場合がある。ここでは、ユーザが推論モデルの生成時間として通常、許容できる時間内に演算が終了するか否かを判定する。

ステップＳ１０１における判定の結果、特定規模の演算で可能であれば、推論モデルを送信する（Ｓ１０３）。ここでは、入出力モデル化部２８が深層学習によって推論モデルの生成を完了すると、この生成された推論モデルをカメラ１０に送信する（図６のＳ８１参照）。

一方、ステップＳ１０１における判定の結果、特定規模の演算で可能でない場合には、学習母集合の再設定を行う（Ｓ１０５）。学習母集合となる画像データが多すぎることから、再度、リクエスト（付随情報等）を用いて、深層学習の対象となる母集合を変更し、再設定する。

学習母集合を再設定すると、次に、学習途中でも送信可の要求があるか否かを判定する（Ｓ１０７）。前述したように、深層学習には時間がかかることが多い。そこで、前述したように、ユーザは、ある程度の高い信頼度で推論モデルが生成されれば、この学習途中モデルを送信することを要求している場合がある。このステップでは、この要求がなされているか否かを判定する。このステップでの判定の結果、送信要求がない場合には、ステップＳ９９に戻る。

なお、ある程度の高い信頼度での推論モデルであるか否かは、ＬＯＳＳ値が閾値より低いか否かで判定してもよい。ＬＯＳＳ値は、予め解答が分かっている練習問題で深層学習を行った場合に、深層学習で生成された推論モデルでの推論結果と、予め分かっている解答との差異である。深層学習による推論モデルをどのような評価方法を採用するかは、学習装置の信頼性に影響を与える。本実施形態においては、ＬＯＳＳ値を用いて、学習装置を評価する。

一方、ステップＳ１０７における判定の結果、送信要求が有る場合には、学習途中モデルをカメラ１０に送信する（Ｓ１０９）。ここでは、学習母集合を再設定し、この範囲である程度の高い信頼度での推論モデルが生成されたことから、この学習途中モデルをカメラ１０に送信する。学習途中モデルを送信した後も推論モデル生成のための深層学習を行い、推論モデルが生成されると、カメラ１０に送信する（Ｓ１０３）。なお、学習途中モデルを送信した場合には、推論モデルの生成を終了しても構わない。この場合には、ステップＳ１０３をスキップして、ステップＳ９１に戻る。

ステップＳ３９に戻り、このステップでの判定の結果が学習依頼でない場合には、推論確認依頼、または時間経過等で更新か否かを判定する（Ｓ１１１）。前述したように、カメラ１０において、推論モデルの更新を確認し、推論モデルの再学習を依頼する場合がある（図６のＳ６９）。また、確認機能を外部機器２０において行ってもよく、この場合には、ステップ１１１において、推論モデルを更新する必要があるか否かを確認する。例えば、学習を行ってから所定の時間が経過すると、更新するようにしてもよい。その他、ステップＳ６３において行った確認のための方法を、このステップで行ってもよい。この判定の結果、推論確認依頼でもなく、かつ時間経過等での更新でない場合には、画像管理を行う（Ｓ１１３）。この画像管理については、図８を用いて後述する。

ステップＳ１１１における判定の結果、推論確認依頼、または時間経過等で更新の場合には、前回の条件に合致の最新のサンプルを検索する（Ｓ１１５）。このステップでは、前回の深層学習で推論モデルを生成した際の条件（リクエスト）に合致するような最新のサンプル（母集合、教師データ）を検索する。

続いて、サンプル依頼があるか否かについて判定する（Ｓ１１７）。前述したように、ステップＳ６５（図６参照）において、カメラ１０は最新サンプルを学習部２５に要求する場合がある。このステップでは、カメラ１０から最新サンプルが要求されているか否等に基づいて判定する。

ステップＳ１１７における判定の結果、サンプル送信の依頼がある場合には、サンプル送信を行う（Ｓ１１９）。ここでは、ステップＳ１１５において検索した最新のサンプルを、カメラ１０に送信する。一方、サンプル送信の依頼がない場合には、信頼性を確認して結果を送信する（Ｓ１２１）。ここでは、ステップＳ１１５において検索したサンプルを用い、推論エンジンで推論を行い、この推論結果の信頼性を確認し、この結果をカメラ１０に送信する。ステップＳ１１９のサンプル送信、またはステップＳ１２１の信頼性の結果を送信すると、ステップＳ９１に戻り、前述の動作を実行する。

このように、外部機器２０の制御フローでは、学習依頼を受けると（Ｓ９１Ｙｅｓ）、学習母集合を設定し（Ｓ９３）、推論モデルを生成し（Ｓ９９）、この生成された推論モデルを送信する（Ｓ１０３）。また、推論の確認を依頼されると、最新のサンプルを検索し（Ｓ１１５）、サンプル依頼があればカメラ１０に送信する（Ｓ１１５、Ｓ１１７、Ｓ１１９）。サンプル依頼がなければ、推論モデルの信頼性を確認して、カメラに信頼性の結果を送信する（Ｓ１２１）。カメラ１０は、外部機器から推論モデルの信頼性が低いとの結果を受信すると、再学習を依頼する（図６のＳ６９、Ｓ７１参照）。

次に、ステップＳ１１３の画像管理について、図８に示すフローチャートを用いて説明する。この画像管理のフローは、主として、外部画像ＤＢ２１に設けられたＤＢ管理部２４ｂ内のＣＰＵによって実行される。

図８に示す画像管理のフローが始まると、まず、画像取得か否かを判定する（Ｓ１２１）。ユーザがカメラ１０で撮影した画像を、外部画像ＤＢ２１にアップロードしてくることがある。このステップでは、画像がアップロード（画像取得）されてきたか否かを判定する。ステップＳ１２１における判定の結果、画像取得の場合には、画像を記録する（Ｓ１２３）。ここでは、アップロードされた画像を、外部画像ＤＢ２１のデータベースに記録する。

画像を記録すると、次に、コメント等が有るか否かについて判定する（Ｓ１２５）。画像には、コメント等の情報が関連付けられている場合がある。このステップでは、コメント等の情報が有るか否かを判定する。この判定の結果、コメント等がある場合には、そのコメントを記録する（Ｓ１２７）。ここでは、が部画像ＤＢ２１のデータベースに、画像に関連付けてコメントを記録する。ステップＳ１２７においてコメントを記録すると、またはステップＳ１２５における判定の結果、コメントがない場合には、ステップＳ９１に戻り、前述の動作を実行する。

ステップＳ１２１に戻り、このステップにおける判定の結果、画像取得でない場合には、次に、画像表示か否かを判定する（Ｓ１３１）。第三者が、外部画像ＤＢ２１にアクセスし、この画像データベースに記録されている画像を閲覧する場合がある。このステップでは、画像閲覧の要求か否かを判定する。ステップＳ１３１における判定の結果、画像表示の場合には、特定条件画像表示を行う（Ｓ１３１）。このステップでは、第三者が指定した等の画像を、第三者に送信し、表示させる。

次に、コメントやイイネを受信したか否かを判定する（Ｓ１３５）。ステップＳ１３３において、画像を受信したユーザは、受信した画像に対して、コメントを送信したり、イイネと評価する場合がある。このステップでは、コメントやイイネ表示があったか否かについて判定する。このステップＳ１３５における判定の結果、イイネやコメントあった場合には、記録を行う（Ｓ１３９）。ここでは、表示した画像に関連付けて、イイネやコメントを記録する。ステップＳ１３９においてコメントやイイネを記録すると、またはステップＳ１３５における判定の結果、コメントやイイネがない場合には、ステップＳ９１に戻り、前述の動作を実行する。

ステップＳ１３１に戻り、このステップにおける判定の結果、画像表示がない場合には、次に、教師データの依頼か否かを判定する（Ｓ１４１）。入出力モデル化２８が推論を行う場合の教師データとして、外部画像ＤＢ２１に記録されている画像の中から抽出する場合がある（Ｓ１１５参照）。また、学習管理部２９ｂは、ステップＳ１１５において最新のサンプルを検索する。最新サンプルは、評価結果が付随している新たな画像や新たに評価された昔の画像等である。深層学習するに十分な数のサンプルデータ（依頼データ）があれば教師データになる。この検索にあたって、外部画像ＤＢ２１に記録されている画像の中から検索する場合がある。このステップでは、これらの教師データの検索の依頼か否かを判定する。

ステップＳ１４１における判定の結果、教師データの依頼の場合には、特定条件の画像を検索する（Ｓ１４１）。ここでは、教師データの検索の依頼の際に、付与されている条件（特定条件）に基づいて、画像ＤＢ２１に記録されている画像の中から検索する。画像の検索が終わると、送信等、学習時の日付、履歴管理を行う（Ｓ１４５）。ここでは、検索された画像を学習部２５等の依頼元に送信する。また、この検索を行い学習した日時情報を取得し、日時情報等の情報を履歴として記録する。ステップＳ１４５において、履歴管理等を行うと、ステップＳ９１に戻り、前述の動作を実行する。

ステップＳ１４１に戻り、このステップにおける判定の結果、教師データの検索依頼でない場合には、次に、前回学習から所定時間が経過しているか否かを判定する（Ｓ１５１）。前述したように、深層学習によって推論モデルを生成してから時間が経過すると、状況が変わり、推論モデルの信頼性が低下する場合がある。そこで、このステップでは、ステップＳ１４５において記録された履歴等に基づいて、深層学習を行ってからの経過時間に基づいて判定する。

ステップＳ１５１における判定の結果、前回学習してから所定時間が経過しているばあいには、前回の（リクエスト）条件で再検索を行う（Ｓ１５３）。ここでは、前回、特定の条件を満たす推論モデルを得た時の深層学習を行った際の条件で母集合を生成する。したがって、このシステムでは、前回のリクエストがどのようなもので、どのようなタイミングのものであるかを記憶しておくことが好ましい。このために、画像管理装置の記録部にユーザ毎に記録しておいてもよい。また、ユーザ側に記録してあるものを受信して判定できるようにしておいてもよい。

再検索を行うと、次に、上位データが変動しているか否かを判定する（Ｓ１５５）。ここでは、ステップＳ１５３において検索した母集合の上位データが変動しているか否かを判定する。

ステップＳ１５５における判定の結果、上位データが変動している場合には、更新を推奨する（Ｓ１５７）。この場合には、母集合の内容が大きく変わっていることから、推論モデルが最適でなくなっている可能性が高く、また推論結果の信頼性も低くなっているおそれがある。そこで、カメラ１０のユーザに更新を推奨する。この更新の推奨は、図６のＳ７３、Ｓ８１において受信し、推奨をレコメンド表示してもよく、また、Ｓ６３において、確認するように自動判定を行うようにしてもよい。ステップＳ１５７において更新を推奨すると、またはステップＳ１５５における判定の結果、上位データに変動がない場合には、ステップＳ９１に戻り、前述の動作を実行する。

ステップＳ１５１に戻り、このステップにおける判定の結果、前回学習から時間が経過していない場合には、次に、イイネ数が急上昇したか否かについて判定する（Ｓ１６１）。カメラ１０のユーザがイイネと評価される画像を撮影するに適した推論モデルを使用している場合には、イイネの数が推論モデルの生成に影響する。すなわち、第三者の好みが変化すると、イイネ数が急上昇する画像が出てくる。

ステップＳ１６１における判定の結果、イイネ数が急上昇した場合には、次に、類似フォロワの学習履歴があるか否かを判定する（Ｓ１６３）。イイネ数が急上昇したとしても、推論モデルがイイネ数の急上昇した画像をターゲットして作成されている場合もあれば、ユーザに全然興味がないような画像の場合がある。これは、鑑賞者の嗜好が時代の流れで急変したとか、新たな嗜好を持つ鑑賞者がＳＮＳで急増したとか、非常に時代の求める（多くの人の嗜好にマッチした）新しい画像がアップされ、評価された場合であるから、昔の学習は古くなったことに相当する。例えば、リクエストが、「フランスの２０代女性から評価を受ける写真」の場合、イイネ数が急上昇したとしても、フランス人女性が反応した画像であれば、考慮すべきである。しかし、日本人男性が局地的にイイネと評価しても、このユーザのリクエストの対象とすべきコンテンツではない。そこで、イイネ数が急上昇した画像に類似する画像について、学習した履歴があるか否かを判定する。

ステップＳ１６３における判定の結果、類似フォロワの学習履歴が有る場合には、更新を推奨する（Ｓ１６５）。類似フォロワについて、過去に学習していることから、更新を推奨する。ステップＳ１６５において更新を推奨すると、またはステップＳ１６１、Ｓ１６３における判定の結果がいずれもＮｏの場合には、ステップＳ９１に戻り、前述の動作を実行する。

このように、画像管理のフローにおいては、画像のアップロードがあった場合（Ｓ１２１）、画像の閲覧要求があった場合（Ｓ１３１）には、それぞれ画像を記録し、また表示している。また、教師データの検索要求があった場合には（Ｓ１４１）、要求に応じた検索を行う。さらに、前回からの学習時間に応じて、更新することを推奨するか否かについて判定している（Ｓ１５５）。また、イイネ数の変化に応じて、更新することを推奨するか否かについて判定している（Ｓ１６３）。

なお、画像管理のステップＳ１５１〜Ｓ１６５のように、外部画像ＤＢ２１のＤＢ管理部２４ｂが、更新を推奨するか否かについて判定している。しかし、このフローは、学習部２５の学習管理部２９ｂが判定するようにしてもよい。

以上、説明したように、第２実施形態においては、画像取得装置としてカメラを採用し、カメラ１０内および外部機器２０内に学習管理部を配置している。このため、推論モデルの更新が必要か否かについて、所定のタイミング・条件で確認しているので、最適な推論モデルを保持することができる。

次に、図９ないし図１２Ｂを用いて、本発明の第３実施形態を説明する。本実施形態においても、学習システムを構成する画像取得装置として、カメラを採用した例である。第１実施形態においては、管３１１内に工業用内視鏡３０１を挿入する際のガイドを、推論モデルを用いて行っていた。第１実施形態においては、ガイドが表示した警告をユーザが無視することが続くと、推論モデルを再学習によって更新していた。第２実施形態においては、ユーザが第３者によって評価される画像を撮影するための撮影ガイドを、推論モデルによって行っていた。この推論モデルを更新するか否かを所定のタイミング（または所定の条件）で確認し、推論モデルの信頼性が低下した場合には再学習を学習装置に依頼し、この学習の結果、得られた新しい推論モデルに更新していた。第３実施形態においても、推論モデルを更新するか否かを所定のタイミング（または所定の条件）で確認し、推論モデルの信頼性が低下した場合には再学習を学習装置に依頼し、この学習の結果、得られた新しい推論モデルに更新する。第２実施形態と比較すると、第３実施形態では、予め複数の推論モデルを用意している点で相違している。

図９は、第３実施形態に係る学習システムの主として電気的構成を示すブロック図を示す。この学習システムもカメラ１０と外部機器２０とからなる。外部機器２０の詳細を図９に示し、カメラ１０の詳細を図１０に示す。外部機器２０は、各事業者が運営する画像の公表用サーバであってもよい。このサーバは、制限なしに画像を公表してもよく、また会員等のみに公表する等、公表範囲を制限するものでもよい（公表の範囲については、第２実施形態も同様である）。画像記録部１４０、モデルＤＢ１３０、および制御部１１０は、同一の機器内に配置されていなくてもよく、これらの三者は通信によって連携するようにしてもよい。また、画像記録部１４０は複数設けられていてもよく、制御部１１０から通信部を通じて、複数の外部の画像記録部１４０内の画像データにアクセスし、画像データに関する情報を入手できればよい。

外部機器２０は、制御部１１０、通信部１２０、モデルデータベース（モデルＤＢ）１３０、画像記録部１４０を有する。外部機器２０内の各部１１０〜１４０は、サーバ３０内に全てが設けられていてもよく、また外部機器２０内の各部１１０〜１４０の内の一部が、サーバ３０内に設けられ、他は外部のサーバ等に設けられていてもよい。

制御部１１０には、アクセス判定部１１１、表示制御部１１２、傾向判定部１１３、イイネモデル学習部１１４、データベース（ＤＢ）管理部１１５が設けられている。制御部１１０は、ＣＰＵ（Central Processing Unit）、周辺回路、メモリ等を有するプロセッサであり、ＣＰＵはメモリに記憶されたプログラムに従って、外部機器２０の各部を制御する。外部機器２０内の各部１１０〜１４０は、主としてプログラムによって実現されるが、一部または全部をハードウエア回路によって実現するようにしてもよい。

アクセス判定部１１１は、ユーザＡが使用するパーソナルコンピュータ（ＰＣ）２５０から外部機器２０にアクセスが有ったか否かを判定する。表示制御部１１２は、画像記録部１４０内に記録された画像をＰＣ２５０で表示させる際や、イイネモデル学習部１１４によって学習された結果をＰＣ２５０で表示させる際等の表示を制御する。

傾向判定部１１３は、カメラ１０（またはＰＣ２５０）に記録されている画像データを分析し、ユーザＡの画像の傾向を判定する。例えば、撮影対象、撮影対象の位置、撮影対象の大きさ、撮影方向（横向きか、正面向きか、見上げての撮影か等）、撮影時の焦点距離、露出制御値等、種々の観点から、撮影画像の傾向を判定する。また、傾向判定部１１３は、ユーザＡの画像の傾向を判定すると、モデルＤＢ１３０に記憶されている第１イイネモデル〜第ｎイイネモデルの中から、ユーザＡの画像の傾向に最も近いイイネモデルを検索し、この検索されたイイネモデルをＰＣ２５０に送信する。

イイネモデル学習部１１４は、図１Ｂに示したような入力層Ｉ、中間層Ｎ１１〜Ｎ２ｎ、出力層Ｏを有し、推論モデルを算出する。すなわち、イイネモデル学習部１１４は、前述の入出力モデル化部２８と同様に、深層学習を行って、イイネ画像を得るための推論モデルを生成する。前述したように、イイネ画像は、インターネット等にアップされた画像に対して、第三者の「イイネ」等の高評価を得ている画像である。

また、イイネモデル学習部１１４は、ガイド情報３３を作成する。ガイド情報３３は、カメラ１０の表示部８に、スルー画表示と共に推論結果が表示される際であって、スルー画が第三者による評価が高くないと予測される場合、第三者による評価が高い画像とするためのアドバイスである。このガイド表示３３は、推論結果とスルー画の差異に応じた指示がなされる。例えば、推論の結果、焦点距離を望遠側が望ましいのに対して、スルー画では広角側になっている場合には、この焦点距離の差が撮影ガイド情報となる。また、推論結果が、絞りを開放側にして被写界深度を浅くするのが望ましいのに対して、スルー画では絞りを絞り込み被写界深度が深くなっている場合には、この絞り値の差が撮影ガイド情報となる。このガイド表示３３は、深層学習によって生成するようにしてもよい。また、ガイド表示３３は、第三者から高い評価を受けた画像の例（サンプル画像）であってもよい。

イイネモデル学習部１１４が学習のために入力する大量の画像は、画像毎にどのような評価のものであるかが分かるような情報が紐付けられて取得される。このため、イイネモデル学習部は、評価の良い画像と悪い画像の画質や構図や表情や色合いなどの差異についても深層学習することができる。もちろん、特定の関係を見極めて機械学習するようにしても良い。

ＤＢ管理部１１５は、カメラ１０から再学習の依頼を受けると、モデルＤＢ１３０に記憶されている画像データの中から母集合を作成し、イイネモデル学習部１１４に再学習を行って推論モデルを生成させる。また、カメラ１０の学習管理部１ｄ、または外部機器２０のイイネモデル学習部１１４によって行われる、推論を行うか否かを確認する機能を、ＤＢ管理部１１５が代行するようにしてもよい。

通信部１２０は、通信回路を有し、ネット４００を通じてＰＣ２５０と通信を行うことができる。なお、カメラ１０と直接、通信するようにしても勿論かまわない。通信部１２０を通じて、ＰＣ２５０から撮影画像３１を取得し（撮影画像ＵＰ）、またイイネモデル学習部１１４が生成したモデル情報（推論モデル）３２をＰＣ２５０に送信する。また、モデル情報３２に基づく画像を撮影するためのアドバイスを表示するためのガイド情報３３もＰＣ２５０に送信する。モデル情報３２及びガイド情報３３を受信したＰＣ２５０は、カメラ１０に推論モデルおよびガイド情報を出力することができる。

画像記録部１４０は、画像データベース（ＤＢ）であり、ユーザＡに限らず多数のユーザが撮影画像を画像記録部１４０に格納可能である。図９に示す例では、画像記録部１４０には画像データ１４１として、犬の画像１４１ｂ、猫の画像１４１ｃが、分類分けされて、多数記録されている。すなわち、画像データベースに記録されている画像データは、分類分けされている。分類分けは例示であり、これ以外にも種々の分類がある。

それぞれの画像１４１ｂ、１４１ｄの内、「イイネ」が付された画像には、人気情報１４２が関連付けられている。また、付随情報１４３として画像の撮影情報（例えば、Ｅｘｉｆ情報）等が関連付けられ、また人気情報１４２が関連付けられている場合には、画像の投稿者情報、「イイネ」を付与した人のプロフィール情報、フォロア情報等、種々の情報が関連付けられている。

モデルデータベース（ＤＢ）１３０には、第１イイネモデル１３１〜第ｎイイネモデル１３ｎが記憶されている。このモデルＤＢ１３０に記憶されているイイネモデルは、イイネモデル１１４によって既に学習された推論モデルである。

第１イイネモデル１３１には、画像特徴入力１３１ａ、第１特徴抽出１３１ｂ、第１特徴学習１３１ｃ、出力１３１ｄが記憶されている。この第１イイネモデル１３１は、図１Ｂに示した学習モデルに対応している。第１画像特徴入力１３１ａは、入力層Ｉに入力される画像の特徴である。第１特徴抽出１３１ｂは入力層Ｉに入力された画像データの内から抽出される画素の位置、輝度、色等の情報である。第１特徴学習１３１ｄは、各ニューロン間での結合の強さ（重み付け）である。出力１３１ｄは、深層学習の結果が記憶されている。前述したように、傾向判定部１１３は、ユーザＡのカメラ１００に記録されている画像の傾向を調べ、ユーザＡの好みに近い、またユーザＡに推奨するイイネモデルを検索し、ＰＣ２５０に送信する。

次に、図１０を用いて、カメラ１０の構成について説明する。カメラ１０は、画像処理及び制御部１、撮像部２、時計部３、記録部４、アクセサリ情報取得部５、操作判定部６、姿勢センサ７ａ等のセンサ、表示部８、通信部９等を有する。

画像処理及び制御部１には、表示制御部１ａ、記録制御部１ｂ、撮影時情報付与部１ｃが設けられている。制御部１は、ＣＰＵ（Central Processing Unit）、周辺回路、メモリ等を有するプロセッサであり、ＣＰＵはメモリに記憶されたプログラムに従って、カメラ１０の各部を制御する。また、画像処理及び制御部１内の各部１ａ〜１ｃは、主としてプログラムおよび周辺回路によって実現されるが、全部を周辺回路によって実現するようにしてもよい。また、画像処理および制御部１は、画像処理回路を有し、撮像部２から入力した画像データに画像処理を施す。

表示制御部１ａは、表示制御回路を有し、撮像部２からの画像データに基づくスルー画表示、記録部４内の撮影画像記録部の再生表示、学習結果記録部４ｂに記録された推論モデルを用いての推論の結果表示、ガイド記録部４ｃに記録されたガイド表示等、表示部８に種々の画像表示を行う際の表示制御を行う。

記録制御部１ｂは、記録制御回路を有し、記録部４への画像データ等の記録の制御を行う。すなわち、撮影画像を撮影画像記録部４ｄに記録する。また推論補助部１ｂ１は、外部機器２０から送信されてきたモデル情報（推論モデル）３２を学習結果記録部４ｂに、ガイド情報３３をガイド記録部４ｃに記録する。また、カメラ１０が推論モデルを用いて推論した際にアドバイスを採用した場合には、これらの情報も記録する（図１１ＡのＳ１９１参照）。

撮影時情報付与部１ｃは、状況部１ｃ１、設定部１ｃ２、バージョン情報１ｃ４、推論部１ｃ５を有する。状況部１ｃ１は、カメラ１０の撮影情報、例えば、焦点距離、焦点位置、露出制御値（絞り値、シャッタ速度値、ＩＳＯ感度値等）、被写体の種類、被写体の大きさ、被写体の光線の当たり具合、アクセサリの装着・使用状態等、種々の撮影状況を示す情報を取得する。

設定部１ｃ２は、図５の設定部１６と同様に、ユーザＡがイイネを取得したいテーマに関連するリクエスト情報を設定する。この設定されたリクエスト情報は、通信部９を通じて外部機器２０に送信される。外部機器２０のイイネモデル学習部１１４は、このリクエスト情報に基づいて、深層学習を行い、学習結果としての推論モデルはカメラ１０に送信される（図１１ＢのＳ２１１、Ｓ２３１参照）。また、このときの推論の際の画像の特徴等は第ｎイイネモデルとしてモデルＤＢ１３０に記録される。バージョン情報１ｃ４は、例えば、交換レンズ等のアクセサリバージョン情報である。

推論部１ｃ５は、図５の推論エンジン１３と同様に、外部機器２０からの推論モデルを用いて、推論を行う。スルー画表示中になされた推論結果は、表示部８に表示される。ユーザＡは、推論結果を参考にすることにより、設定部１ｃ２で設定した意図に応じた撮影が可能となる。推論部１ｃ５は、画像入力部によって入力した画像データが、受信部で受信した推論モデルによって、第三者から評価されるか否かを判定する推論部として機能する。

学習管理部１ｄは、学習管理部１７ｂ（図５（ａ）参照）と同様、推論モデルを用いた推論結果を監視し、学習装置に再学習の依頼を行う。また、ユーザが、手動で再学習が必要かどうかの確認を指示した場合にも、この確認動作を行う（図１１ＡのＳ１８３、Ｓ１８５参照）。

撮像部２は、図５（ａ）の画像入力部１１と同様に、撮影レンズ、撮像素子、撮像制御回路、画像データ処理回路等を有し、被写体の画像データを生成する。この画像データは、画像処理及び制御部１において画像処理が施される。また、撮像部２は、撮影レンズの画角情報、距離情報等の情報を画像処理及び制御部１に出力する。これらの情報は、状況部１ｃ１が、撮影状況を判定する際に使用する。なお、カメラ１０に装着されている撮影レンズが交換レンズの場合には、交換レンズ情報５ｂを入力すればよい。

アクセサリ情報取得部５は、交換レンズ情報部５ｂを有する。交換レンズ情報部５ｂは、交換レンズの焦点距離情報、焦点位置情報、絞り値情報、バージョン情報等を有する。また、交換レンズ情報以外にも、例えば、装着されたストロボ装置の情報等、カメラのアクセサリ情報であればよい。アクセサリ情報取得部５は、取得した情報を画像処理及び制御部１に送信する。状況部１ｃ１は、取得した情報も用いて状況を判定する。

時計部３は、計時機能およびカレンダー機能を有する。撮像部２から出力される画像データは、日時情報等が関連付けられる。

通信部９は、通信回路を有し、ＰＣ２５０と通信を行う。カメラ１０から通信部９を通じて、直接または間接的に、撮影画像が外部機器２０に送信され、モデル情報３２、ガイド情報３３を受信する。操作判定部６は、レリーズ釦、ダイヤル、操作釦等、種々の操作部材の操作状態を判定し、判定結果を画像処理及び制御部１に出力する。通信部９は、撮影状況および／または画像記録部に記録された画像を、学習装置に送信する送信部として機能する。通信部９は、撮影状況および／または画像記録部に記録された画像に基づいて、学習装置によって生成された推論モデルの内から選択された最適な推論モデルを受信する受信部として機能する。

姿勢センサ７ａは、加速度センサ、ジャイロ等でもよく、カメラ１０の姿勢を検出する。ＧＰＳ（Global Positioning System）７ｂは、カメラ１０の位置を衛星測位システムによって測定する。方位センサ７ｃは、方位磁石を有し、カメラ１０の撮影レンズが向いている方向を検出する。姿勢センサ７ａ、ＧＰＳ７ｂ、および方位センサ７ｃの出力は、画像処理及び制御部１に出力され、状況部１ｃ１は、これらのセンサの出力に基づいて、カメラ１０の状況を判定する。姿勢センサ７ａ、ＧＰＳ７ｂ、および方位センサ７ｃの全てを備えてもよいが、いずれかを省略してもよい。

表示部８は、図５（ａ）の表示部１５と同様に、表示パネル等を有し、撮像部２において取得した画像データに基づく表示を行う。また、推論部１ｃ５における推論結果の表示を行う。また、ガイド記録部４ｃに記録されているガイド情報に基づく表示を行うようにしてもよい。設定部１ｃ２において設定したリクエストを図５（ｂ）に示すように表示を行うようにしてもよい。タッチパネル８ｂは、表示部８の前面側に設けられ、ユーザＡが表示部８の表示面をタッチしたことを検出する。この検出結果は、画像処理及び制御部１に出力される。

記録部４には、学習結果記録部４ｂ、ガイド記録部４ｃ、撮影画像記録部４ｄを有する。学習結果記録部４ｂは、設定部１ｃ２によって設定され、イイネモデル学習部１１４によって深層学習された結果（推論モデル、または学習途中モデル）が記録される。また、状況部１ｃ１によって検出されたカメラ１０の状況に応じて、傾向判定部１１３が推奨した学習結果（推論モデル）も記録される。

ガイド記録部４ｃは、外部機器２０から送信されてきたガイド表示３３を記録する。このガイド表示はイイネモデル学習部１１４で深層学習された生成された推論モデルを実行する際に、ユーザＡへの参考となるガイド表示を行うためのデータが記録される。ガイド表示としては、露出制御値、焦点距離等の撮影操作にあたってのアドバイスの他、「イイネ」と評価されるようなサンプル画像であってもよい。

なお、制御部１１０、画像処理及び制御部１内のＣＰＵの周辺回路の全部または一部をＣＰＵ（Central Processing Unit）とプログラムコードによって実現するようにしてもよく、ＤＳＰ（Digital Signal Processor）等のプログラムコードで実行される回路で実現するようにしてもよく、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またハードウエア回路によって実行するようにしても勿論かまわない。また、ＣＰＵの機能の一部をＤＳＰ等のプログラムコードで実行される回路で実現するようにしてもよく、ヴェリログによって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またハードウエア回路によって実現するようにしてもよい。

次に、図１１Ａないし図１２Ｂに示すフローチャートを用いて、本実施形態に係る学習システムの動作について説明する。

図１１Ａおよび図１１Ｂに示すフローチャートはカメラ１０における動作を示し、画像処理および制御部１がメモリに記憶されたプログラムに従ってフローチャートを実行する。カメラ制御のフローが開始すると、まず、撮影モードが否かを判定する（Ｓ１７１）。本実施形態においては、撮影モードがデフォルトモードであり、操作部材等によって他のモードが設定されていなければ、撮影モードと判定される。

ステップＳ１７１における判定の結果、撮影モードであれば、次に、各種センサを起動し、アクセサリの判定を行う（Ｓ１７３）。ここでは、姿勢センサ７ａ、ＧＰＳ７ｂ、および方位センサ７ｃ等のセンサを起動し、センサ検知結果を入力する。また、アクセサリ情報取得部５から、カメラ１０にアクセサリ（例えば、交換レンズ）が装着されているか否かの判定を行う。交換レンズから焦点距離等の各種情報を取得する。

次に、撮像を行い、スルー画を表示させる（Ｓ１７５）。ここでは、撮像部２によって画像データを取得し、画像処理及び制御部１は画像処理を行い、表示部８にスルー画を表示させる。

続いて、推論を行う（Ｓ１７７）。後述するように、外部機器２０からイイネモデル学習部１１４によって生成された推論モデルを受信しているので（Ｓ２１３参照）、このステップでは、推論部１ｃ５が、受信した推論モデルを用いて、推論を行う。ここでの推論は、例えば、スルー画表示されている画像が、ユーザＡが設定したリクエスト（条件）の下でで、第三者から高い評価（「イイネ」と評価）を受ける可能性があるか否かについて行われる。

推論を行うと、次に、特定条件に合致するか否かについて判定する（Ｓ１７９）。ここでは、スルー画表示やアクセサリ（例えば、交換レンズ）が、ユーザＡが設定した特定条件（リクエスト）と合致しているかを判定する。

ステップＳ１７９における判定の結果、特定条件に合致する場合には、対応ガイドＵＩ（User Interface）表示を行う（Ｓ１８１）。ここでは、推論部１ｃ５における推論の結果が、第三者による高い評価（「イイネ」と評価）を受けると予想される場合には、表示部８に、スルー画と共に、「ユーザＡが設定した条件に合致し、「イイネ」と評価されそうであることを表示する。また、合致とは、完全合致でなくてもよい。この場合には、完全合致されるための撮影について、ガイド表示を行うようにしてもよい。

一方、ステップＳ１７９における判定の結果、特定条件に合致しない場合には、特に、その旨を表示しない。しかし、「イイネ」と評価されそうにない場合に、ガイド記録部４ｃに記録されているガイド情報３３に基づいて表示を行うようにしてもよい。この場合のガイド情報としては、このテーマなら、どのよう撮影すれば「イイネ」と評価されるかのアドバイスを行う。例えば、イイネと評価される画像と、現在のスルー画の差分をアドバイス表示としてもよい。すなわち、イイネと評価される画像と同様の画像を撮影するための、絞り値、シャッタ速度値、撮影方向、焦点距離等を表示する。また、「イイネ」と評価されるサンプル画像を表示するようにしてもよい。

ステップＳ１８１において対応ガイドＵＩ表示を行うと、またはステップＳ１７９における判定の結果、特定条件に合致しない場合には、次に、ユーザガイドを採用したか否かを判定する（Ｓ１８３）。前述したように、ステップＳ１７７における推論結果に基づいて、表示部８にユーザガイドが表示される。特定条件に不完全に合致している場合、または合致しない場合にも、第三者に評価されるような撮影のガイドがなされる。しかし、このような場合に、ユーザがガイドを無視し、ガイドとは異なる撮影を行う場合がある。このステップでは、ユーザが表示部８に表示されたガイドを採用したか否かについて判定する。

ステップＳ１８３における判定の結果、ユーザガイドを採用していなかった場合には、教師データを刷新した学習を依頼する（Ｓ１８５）。ユーザがガイドを採用しなかったのは、推論が現状に合致していないことが推測される。そこで、外部機器２０のＤＢ管理部１１５に新しい教師データを作成し、イイネモデル学習部１１４にて再学習を行うことを依頼する。なお、外部機器２０は、予め刷新した教師データを用いて、深層学習を行い、この生成した推論モデルを、モデルＤＢ部１３０に記憶している場合がある。この場合には、再学習を行うことなく、モデルＤＢ１３０に記憶されている推論モデルを選択して、カメラに送信する。

ステップＳ１８５において教師データを刷新した学習を依頼すると、またはステップＳ１８３における判定の結果、ユーザガイドを採用した場合には、次に、撮影するか否かを判定する（Ｓ１８７）。ここでは、カメラ１０のレリーズ釦が全押しされたか否かに基づいて判定する。ユーザＡは、撮影を行うか否かあたって、ステップＳ６１における対応ガイドＵＩ表示を参考にすることができる。この判定の結果、撮影でない場合には、ステップＳ１７１に戻り、前述の動作を実行する。

ステップＳ１８７における判定の結果、撮影の場合には、次に、アドバイスを採用して撮影するか否かを判定する（Ｓ１８９）。ユーザＡは、ステップＳ１８１において表示された対応ガイドＵＩ表示に従って撮影を行う場合には、操作部材またはタッチパネルによってその旨を表示する。または、絞り、シャッタ速度、撮影方向、焦点距離等、対応ガイドＵＩ表示に従ったことを各種センサ出力および／または操作部材等の操作状態に基づいて判定できた場合には、自動的にアドバイスを採用したと判定するようにしてもよい。

ステップＳ１８９における判定の結果、アドバイスを採用した場合には、推論補助部１ｂ１は、その時の画像および状況を記録し、また採用ガイド情報を関連付けて記録部４に記録する（Ｓ１９１）。この場合には、画像と撮影状況を記録し、採用したアドバイス（ガイド情報）を画像に関連付けて記録しておく。アドバイスを受け入れるかどうかの結果を蓄積することにより、カメラ１０を使用するユーザが好むアドバイスと好まないアドバイスを判定することができる。あえて採用されなかったアドバイスは、ユーザには受け入れがたい内容であると考えられる。このような余計なアドバイスは、そのユーザにとって煩わしい場合が多く、次に同様の状況になった際に、同じアドバイスを表示しないようにすればよい。

また、ステップＳ１９１において、どのような推論モデルを使用したかを記録しておけば、その画像が自らの良否判定のみによって取得したものか、ガイドによるものかを証拠として記録しておくことができる。この結果、ガイドに即して撮影したのにもかかわらず、評価が低くなった場合などは、新たな学習を行うのが好ましい。これによって、本実施形態の特徴である学習の刷新のトリガとすることができる。具体的には、このような画像を多数投稿しても、イイネと評価されない場合は、この推論モデルが時代遅れになっていると考えてもよいし、そもそも、良い教師データが過去にはなかったとも考えられる。

一方、ステップＳ１８９における判定の結果、アドバイスを採用しなかった場合には、画像と状況を記録する（Ｓ１９３）。アドバイスが採用されなかった画像および状況を記録することにより、次の推論の際に参考にすることができる。なお、ステップＳ１８５における再学習の依頼を、このステップＳ１９３において実行するようにしてもよい。このような状況を記録しておくことによって、ユーザが必要とする推論モデルの判定、あるいは、必要とする教師データの母集合の作り方に反映することができる。また、このような画像をアップした場合、イイネと評価されない場合は、ユーザの責任であり、推論エンジンを使った方が良いという判断を、カメラまたは外部装置が行う時の参考データとなる。

ステップＳ１９１、またはＳ１９３において記録を行うと、次に、所定時間が経過したか否かを判定する（Ｓ１９５）。撮影後、所定時間が経過したか否か、例えば、所謂レックビュー表示時間が経過したか否かについて判定する。この判定の結果、所定時間が経過していない場合には、ステップＳ１８７において撮影した画像を表示部８に表示する。一方、判定の結果、所定時間が経過すると、ステップＳ１７１に戻り、前述の動作を実行する。

ステップＳ１７１に戻り、この判定の結果、撮影モードでない場合には、再生モードであるか否かについて判定する（Ｓ２０１）。再生モードは、記録部４に記録された撮影画像を表示部８に再生表示するモードである。ユーザＡが再生釦を操作する等により再生モードを選択することにより、実行される。このステップにおける判定の結果、再生モードが選択された場合には、再生モードで作動する（Ｓ２０３）。再生モードが終了すると、ステップＳ１７１に戻る。

ステップＳ２０１における判定の結果、再生モードでない場合には、画像送信モードであるか否かについて判定する（Ｓ２０５）。画像送信モードは、カメラ１０からＰＣ２５０を通じて、外部機器２０に撮影画像３１を送信するモードである。画像モードは、ユーザＡが画像送信釦を操作する等により画像送信モードが設定される。このステップにおける判定の結果、画像送信モードが選択された場合には（図１２ＡのＳ２３３参照）、送信モードで作動する（Ｓ２０７）。送信モードが終了すると、ステップＳ１７１に戻る。

ステップＳ２０５における判定の結果、画像送信モードでない場合には、撮影状況データ等を送信する（Ｓ２０９）。画像送信モードでない場合には、残るモード、すなわち推論モデル取得モードとなる。ここでは、状況部１ｃ１が収集した撮影状況、および記録部に記録されている画像に関する情報を、ＰＣ２５０を通じて、外部機器２０に送信する。外部機器２０は、受信した撮影状況に関する情報に基づいて、ユーザＡに最適の推論モデルを検索し、カメラ１０に送信する。この最適の推論モデルの検索については、図１２Ｂを用いて後述する。なお、第２実施形態と同様に、ユーザがリクエストを作成し、外部機器２０に学習を依頼してもよい。

撮影状況データ等を送信すると、推論モデル等を取得したか否かについて判定する（Ｓ２１１）。前述したように、外部機器２０は撮影状況に関する情報に基づいて最適の推論モデルを送り返してくる。

ステップＳ２１１における判定の結果、推論モデル等を取得できない場合には、ステップＳ１７１に戻り、前述の動作を実行する。一方、推論モデル等を取得した場合には、取得した推論モデル等を記録部４に記録する（Ｓ２１３）。

図１２Ａおよび図１２Ｂに示すフローチャートは、外部機器２０における動作を示し、制御部１１０がメモリに記憶されたプログラムに従ってフローチャートを実行する。画像管理サーバのフローが開始すると、まず、画像鑑賞か否かの判定を行う（Ｓ２２１）。ユーザＡがＰＣ２５０またはカメラ１０等において、画像記録部１４０に記録されている画像を鑑賞したい場合がある。この場合には、ＰＣ２５０等からアクセス判定部１１１にその旨のアクセスがある。ＰＣ２５０等は、画像管理サーバにアクセスする際に、画像の検索条件等を送信する。

ステップＳ２２１における判定の結果、画像鑑賞の場合には、検索条件等でアップされた画像を選択一覧表示する（Ｓ２２３）。この場合には、画像記録部１４０に記録されている画像の中から、検索条件に従って検索を行う。検索が終わると、表示制御部１１２は、選択された画像を一覧表示できるようにしてから、ＰＣ２５０等にデータを送信する。

続いて、イイネ画像を選択操作したか否かを判定する（Ｓ２２５）。ユーザＡが表示部８に表示された画像の中で、気に入った画像があれば、「イイネ」をクリックし、気に入ったことを送信する。ここでは、ユーザＡが「イイネ」と評価したか否かを判定する。

ステップＳ２２５における判定の結果、イイネ画像として選択操作した場合には、イイネを選択した人のプロフィールと、画像の関連付けを行う（Ｓ２２７）。ここでは、イイネを選択した人（すなわちユーザＡ）、イイネと評価された人（すなわち選択された画像の投稿者）、および選択された画像を、関連付ける。特定の人が、特定の人の画像をイイネと評価することが多い場合があることから、イイネを選択した人のプロフィールと、イイネと評価される人のプロフィールの両方を記録しておけば、両者の関係を推測することができる。つまり、投稿した人と評価をした人の関係なども考慮した評価がされることが好ましい。さらに、どんな画像であっても高い評価を付ける人や、なかなか高い評価を付けない人もいるので、プロフィール情報は、こうした評価者の性格なども含めるようにしてもよい。

続いて、カテゴライズ等の集計を行う（Ｓ２２９）。ステップＳ２２７で各画像と各評価者の関係を判定している。「イイネ」と評価された画像は、様々な人が入れ替わり立ち替わり評価を行っている場合があり、この評価を分析することにより、どのようなプロフィールの人からどのような評価がされているかが分かる。また、評価者と被評価者のプロフィールを分析することにより、どのような分類の画像が評価を与えたり又は受けたりするかが判定できる。さらには、このような共通のプロフィールの人は、このような画像を好む傾向にあるといったカテゴライズ等も可能となる。

また、ステップＳ２２９において、制御部１１０は、上述したように、ステップＳ２２７における関連付け行った情報を用いて、分類等を行う。画像に添付されている情報（例えば、Ｅｘｉｆ情報）等にから、撮影時の焦点距離、焦点位置、絞り値、シャッタ速度値、撮影レンズの方向、フラッシュ装置の利用等の情報を取得し、この情報に基づいて分類する。また画像解析することにより、写真のテーマ、例えば、風景、人物、料理等で分類分けしてもよい。また、画像に投稿者（撮影者）のプロファイルが添付されていれば、投稿者の国籍、性別、年齢層等で分類分けしてもよい。また、画像にコメントが付されていた場合には、このコメントに基づいて分類分けしてもよい。

カテゴライズ等の集計を行うと、次に、終了か否かについて判定する（Ｓ２３１）。ここでは、アクセス判定部１１１が、ユーザＡからのアクセスが終了したか否かを判定する。この判定の結果、終了でない場合には、ステップＳ２２３に戻り、前述の動作を実行する。一方、終了の場合には、ステップＳ２２１に戻り、前述の動作を実行する。

ステップＳ２２１における判定の結果、画像鑑賞でない場合には、カメラ接続か否かについて判定する（Ｓ２３３）。ここでは、カメラ１０から直接、またはＰＣ２５０を介して、画像管理サーバに接続されているか否かを判定する。

ステップＳ２３３における判定の結果、カメラ接続の場合には、画像整理か否かについて判定する（Ｓ２３５）。ここでは、画像記録部１４０に記録されている撮影画像を整理するか、または撮影画像を画像記録部１４０に記録すると共に整理を行うか否かを判定する。ユーザＡは、外部機器２０に接続した際に、作業内容を指定することから、この作業内容に基づいて判定する。

ステップＳ２３５における判定における判定の結果、画像整理であった場合には、写真整理、フォルダ分け、アルバム化、投稿等の処理を実行する（Ｓ２３７）。ユーザＡが第三者にも画像を鑑賞してもらいたい場合には、画像投稿を行う。このような投稿画像は、ＳＮＳ等によりコミュニティを作って批評しやすい環境にすることも出来る。前述のように、画像の評価にあたって、評価者や被評価者の間の人間関係も考慮した方が良いことから、このとき、ユーザＡのプロフィールも併せて記録する。プロフィールを記録することにより、単に知り合いというだけで「イイネ」と評価した場合を排除することも可能となる。しかし、このような「イイネ」を排除しなくても、「イイネ」が多いか又は少ないかが明解な場合は、トータルで学習させても、主観的に評価される画像とされない画像を区別することができる。ステップＳ２３７における写真整理等を行うと、ステップＳ２２１に戻り、前述の動作を実行する。

ステップＳ２３３における判定の結果、カメラ接続でない場合には、依頼または更新か否かを判定する（Ｓ２４１）。カメラ１０において、推論モデルの送信を依頼する場合があり（Ｓ２１１、Ｓ２１３）、また推論モデル生成用の母集合を刷新して再学習することによって推論モデルを更新することが要求してくる場合がある（Ｓ１８５）。このステップでは、このような依頼または更新の要求があったか否かについて判定する。この判定の結果、要求がない場合には、ステップＳ２２１に戻り、前述の動作を実行する。

ステップＳ２４１における判定の結果、依頼または更新の要求が有った場合には、イイネ画像判定を行う（Ｓ２４３）。ここでは、外部機器２０にアクセス可能なユーザのために、推論モデルを生成する作業をステップＳ１４３〜Ｓ２６１において実行する。まず、このステップでは、画像記録部１４０に記録されている画像の中で、第三者から高い評価（「イイネ」と評価）を受けた画像を抽出する。この画像は、イイネモデル学習部１１４で深層学習する際の入力画像（入力層Ｉに設定）として使用する。

イイネ画像判定を行うと、次に、全分野深層学習を行う（Ｓ２４５）。ここでは、一般的に、「イイネ」と評価されるための画像の推論モデルを生成するための深層学習を行う。この深層学習は、図１Ｂを用いて説明したように、全分野の画像（母集合）を入力層Ｉに入力した際に、出力層Ｏからイイネが出力されるように、中間層のニュートラルＮ１１〜Ｎ２ｎの結合の強さ、重み付け等を調整する。この調整された中間層のニュートラルの結合の強さ、重み付け等が推論モデルである。また、深層学習する際には、撮影状況も推論モデル作成にあたって反映されるようにする。最適な推論モデルを推奨する際に利用するためである（Ｓ２７５参照）。

全分野深層学習を行うと、第１推論モデルを作成する（Ｓ２４７）。深層学習が終了した際の中間層のニュートラルの結合の強さ、重み付け等を第１モデルとして、モデルＤＢ部１３０に記録する。なお、この推論モデルは、汎用性の推論モデルであり、特定カテゴリに適した推論モデルが生成されていない場合には、この汎用性のある推論モデルが外部装置に送信される。

第１推論モデルを作成すると、次に、第１ガイドを作成する（Ｓ２４９）。第１推論モデルを作成すると、この第１推論モデルで写真を撮影できるようにするための第１ガイド情報を作成する。この第１ガイドは、評価される画像と評価されない画像との差異を検出して作成する。この際の検出にあたっては、撮影時や観察時の入力画像を評価するための学習用の推論モデル、また入力画像がいずれのカテゴリに属するかの学習用推論モデルを利用して差異を検出するようにしてもよい。いずれにしても、評価された画像と評価されなかった画像の差異が検出されるような学習を行った推論モデルを作成すればよい。

ステップＳ２４３〜Ｓ２４９において、汎用性の高い一般的な推論モデル（辞書）とガイドが作成できる。しかし、さらに、絞り込まれたリクエストによって、カスタマイズした推論モデルを得るようにしてもよい。例えば、教師データを刷新して再学習によって、推論モデルを生成し、第１推論モデルを更新するようにしてもよい。

第１ガイドを作成すると、次に、送信等を行い、学習時の日付を記録し、履歴の管理を行う（Ｓ２５１）。ここでは、ステップＳ２４９で作成された第１ガイドをカメラ等に送信する。また、この推論モデルを作成するために深層学習を行った日付（日時情報）をモデルＤＢ部１３０またはＤＢ管理部１１５に記録する。さらに、過去の推論モデルの生成を行った際に使用した、推論用母集合の作成条件等、母集合に関する条件、教師用データに関する情報、推論モデルの送信先等、種々の情報を、履歴として、モデルＤＢ部１３０またはＤＢ管理部１１５に記録する。履歴を管理することによって、次回の刷新や再学習のタイミングなどの条件を決めることができる。

ステップＳ２５１において履歴管理等を行うと、次に、特定カテゴリにイイネの数が増加したか否かについて判定する（Ｓ２５３）。例えば、「フランスの２０代女性から評価を受ける写真」について、イイネの数が増加するような場合がある。このステップでは、カテゴリごとにイイネの数をウォッチし、この数に基づいて判定する。この判定の結果、特定カテゴリにイイネの数が増加していない場合には、ステップＳ２２１に戻り、前述の動作を実行する。

ステップＳ２５３における判定の結果、特定カテゴリにイイネの数が増加した場合には、特定分野について深層学習を行う（Ｓ２５５）。ここでは、イイネの数が増加した特定カテゴリについて、画像データの母集合を限定し、深層学習を行う。

特定分野の深層学習を行うと、第ｎ推論モデルを作成する（Ｓ２５５）。深層学習が終了した際の中間層のニュートラルの結合の強さ、重み付け等を第ｎモデルとして、モデルＤＢ部１３０に記録する。なお、この推論モデルは、複数記録可能であり、第ｎ推論モデル、第ｎ＋１推論モデル、第ｎ＋２推論モデル、・・・と、順次、追加していく。

第ｎモデルを作成すると、次に、第ｎガイドを作成する（Ｓ２５９）。第ｎの推論モデルを作成すると、この第ｎ推論モデルで写真を撮影できるようにするためのアドバイスを作成する。アドバイスとしては、露出制御値、焦点距離、焦点位置、撮影レンズの方向等、種々のアドバイスを含むようにしてもよい。また、第ｎモデルで撮影できるサンプル写真であってもよい。

第ｎガイドを作成すると、次に、ステップＳ２５１と同様に、送信等を行い、学習時の日付を記録し、履歴の管理を行う（Ｓ２６１）。ここでは、ステップＳ２５９で作成された第ｎガイドをカメラ等に送信する。また、この推論モデルを作成するために深層学習を行った日付（日時情報）をモデルＤＢ部１３０またはＤＢ管理部１１５に記録する。さらに、過去の推論モデルの生成を行った際に使用した、推論用母集合の作成条件等、母集合に関する条件、教師用データに関する情報、推論モデルの送信先等、種々の情報を、履歴として、モデルＤＢ部１３０またはＤＢ管理部１１５に記録する。

ステップＳ２６１における履歴管理は、特定カテゴリ対象の推論モデルに関しており、この推論モデルは、リクエスト条件に特定のシーン限定などが入った条件で募集合を作られた教師データで学習したものであるから、シーンの情報などは厳密に特定することが好ましい。この特定は、カメラが行っていても、外部機器側でその特定の切り分けで画像を分類していない可能性があるので、汎用モデルと違って、より母集合の作成方法に工夫が必要である。したがって、ここでの履歴管理は母集合を正しく作成できるような情報であることが好ましい。例えば、星空のようなシーンを特定したくても、外部機器には夜景しかない場合があり、このような不整合を解消するために、夜景からさらに画像の特徴や仰角情報や付けられたコメントなどで絞り込みを行う必要がるので、履歴管理が重要となる。また、母集合設定の困難さから、前回の学習が失敗している可能性が高いので、ユーザにより頻繁に更新を推奨した方が良いとも考えられる。ステップＳ２６１において履歴管理等を行うと、ステップＳ２２１に戻り、前述の動作を実行する。

ステップＳ２３５に戻り、このステップにおける判定の結果、画像整理でなかった場合には、撮影状況、撮影画像の傾向判定を行う（Ｓ２７１）。ステップＳ２０９（図１１Ｂ）において、状況部１ｃ１が収集した撮影状況と、撮影画像記録部４ｄに記録されている撮影画像が外部機器２０に送信されている。このステップでは、傾向判定部１１３が、カメラ１０の撮影状況、およびユーザＡの撮影の好みの傾向を判定する。

次に、教師データを刷新する（Ｓ２７３）。ここでは、ステップＳ２７１において判定された、撮影状況の変化や撮影画像の傾向に応じて、教師データを刷新する。すなわち、深層学習用に教師データとして抽出する画像データの条件を変更する。

教師データを刷新すると、次に、最適モデルが有るか否かについて判定する（Ｓ２７７）。傾向判定部１１３は、ステップＳ２７１において行った傾向判定を行っている。この傾向判定が、第１イイネモデル１３１等のイイネモデルにおける画像特徴入力、特徴抽出、特徴学習等と一致度が高いイイネモデルを検索し、これを最適モデルとする。このステップでは、モデルＤＢ１３０の中からユーザＡに薦める最適モデルが有るか否かについて判定する。

ステップＳ２７５における判定の結果、最適モデルが有る場合には、最適モデルを推奨する（Ｓ２７７）。ここでは、ステップＳ２７５において抽出したモデルを最適モデルとして設定する。

続いて、ユーザ要求があるか否かを判定する（Ｓ２７９）。ここでは、ユーザＡから最適モデルの送信要求があるか否かについて判定する。なお、撮影状況等がユーザＡの操作により送信されてきた場合には、自動的にユーザの要求があったと判定してもよい。

ステップＳ２７９における判定の結果、ユーザ要求があった場合には、旧モデルとガイドを消去する（Ｓ２８１）。ここでは、前回、送付した旧推論モデルおよび旧ガイドを消去する。旧推論モデル等を消去するのは、省エネ設計、それに伴う発熱の問題や携帯性や省スペースを考慮すると、すべての使用シーンに対応した推論モデルを無数に有することは、機器、装置の設計や製造上適切ではないからである。上述の問題点が許される分野の装置であれば消去はしなくてもよい。余計な判断が矛盾する可能性から、推論モデルの優先度を下げるような工夫をしてもよい。

続いて、新モデルおよび新ガイドを送信する（Ｓ２８５）。ステップＳ２７７において設定した最適モデル（新モデル）と、この最適モデルに基づいて作成したガイドを、カメラ１０に送信する。カメラ１０では、前述したように、受信した推論モデルおよびガイドを記録する（Ｓ２１３参照）。

新モデルおよび新ガイドを送信すると、またはステップＳ２７５における判定の結果、最適モデルがない場合、またはステップＳ２７９における判定の結果、ユーザ要求がない場合には、ステップＳ２２１に戻り、前述の動作を実行する。

このように、本発明の第３実施形態においては、ユーザが推論モデルを用いて推論したガイドやアドバイスを採用しなかった場合には、推論モデルを再生成するように、外部機器２０に依頼する（Ｓ１８３、Ｓ１８５、Ｓ１９３）。このため、撮影状況や、撮影の好み等が変化した場合に、推論モデルを更新し、ユーザの好みに適合した推論モデルに基づくガイドやアドバイスを行うことができる。

以上説明したように、本発明の各実施形態においては、推論モデルを推論部に設定し（例えば、図３のＳ１、図６のＳ８１、図１１ＢのＳ２１３参照）、画像データを入力し、推論モデルを用いて、ユーザにガイド表示を行うための出力を得て（例えば、図３のＳ３、図６のＳ５５、図１１ＡのＳ１７７参照）、推論部の出力に基づいてガイド表示を行っている（例えば、図３のＳ９、図６のＳ５７、図１１ＡのＳ１８１参照）。また、推論モデルの更新について判定し、この判定の結果に基づいて、外部の学習装置に推論モデルの更新を依頼、もしくは推論モデルの更新が必要か否かの判定を依頼する（例えば、図３のＳ１５、Ｓ１９、図６のＳ６３、図１１ＡのＳ１８３、Ｓ１８５参照）。このため、状況等が変化しても適切なガイド等を行うことができるように、推論モデルを更新することができる。

また、本発明の各実施形態においては、カメラ１０や工業用内視鏡３０１等の機器内の制御部、および制御部に組み込まれたプログラム等は、ソーシャル・ネットワーク・システムと連携可能なコンピュータ組み込み方法を実行する。コンピュータ組み込みソフトウエアは、組み込み機器に搭載されて動作するソフトウエアであり、コンピュータ組み込み方法は、このソフトウエアによって実現する方法を意味する。また、ソーシャル・ネットワーク・システムは、コンテンツ・アイテムが時間的に随時掲載（投稿）可能であり、接続されたユーザが追加可能であり、掲載されたコンテンツ・アイテムが随時、ソーシャル・ネットワーク・システムのユーザから品質評価（好みを含めてもよい）されることが可能である。例えば、上述したように、画像をソーシャル・ネットワークにアップロードすると、第三者の閲覧が可能になり、第三者から「イイネ」等、品質評価を受け、アップロードした画像と品質評価を関連付けることができる。また、本実施形態におけるコンピュータ組み込み方法は、掲載されたコンテンツ・アイテムのうち、品質評価の情報が付随した特定のコンテンツ・アイテムを教師データとしたコンテンツ・アイテムの特徴から品質評価を推論する推論モデルが、時間的な推移によって追加されたコンテンツ・アイテムの変化やコンテンツ・アイテムの評価傾向の時間的変化によって当初の狙いの推論結果が出力できなくなったことを判定することができる（例えば、図６のＳ６３〜Ｓ６９、図７のＳ１１１〜Ｓ１２１、図８のＳ１５１〜Ｓ１６５、図１１ＡのＳ１８５、図１２ＢのＳ２４１〜Ｓ２６１等参照）。

また、上述のソーシャル・ネットワーク・システムと連携可能なコンピュータ組み込み方法であって、このコンピュータ組み込み方法は、コンテンツ・アイテムを教師データとして使用して機械学習した時の条件を履歴として記録するステップを有し、この記録された履歴に従って、新たな教師データを生成する（例えば、図８のＳ１５３参照）。例えば、前回、深層学習した際のリクエスト等の条件に従って、母集合を生成し、この母集合を用いて推論モデルを生成してもよい。

また、上述のソーシャル・ネットワーク・システムと連携可能なコンピュータ組み込み方法であって、このコンピュータ組み込み方法は、特定のユーザが、コンテンツ・アイテムを教師データとして使用して機械学習した時の条件を履歴として記録するステップを有する（例えば、図１２ＢのＳ２５１、Ｓ２６１等参照）。例えば、推論モデルを生成した際には、生成に当たって使用した条件の履歴、例えば、日時、リクエスト（シーン、評価者等）、母集合情報等、として記録しておく。この履歴を管理することにより、次回、推論モデルを生成する際に使用することができる。

また、ソーシャル・ネットワーク・システムと連携可能なコンピュータ組み込み方法であって、ソーシャル・ネットワーク・システムは、コンテンツ・アイテムが時間的に随時掲載（投稿）可能であり、接続されたユーザが追加可能であり、掲載されたコンテンツ・アイテムが随時、ソーシャル・ネットワーク・システムのユーザから品質評価（好みを含めてもよい）されることが可能である。また、コンピュータ組み込み方法は、特定のユーザが、コンテンツ・アイテムを教師データとして使って機械学習した時の条件（例えば、カメラと外部機器とのカテゴリの不整合を解消するような）履歴として記録するステップを有する（例えば、図１２ＢのＳ２６１参照）。

なお、本発明の各実施形態においては、学習装置における学習は、深層学習を行っていたが、これに限らず、機械学習等の人工知能を利用した学習であれば、よい。また、推論モデルは、学習装置がカメラ等から推論モデルの生成の依頼を受けて行っていた。しかし、カメラ等において、学習装置を内蔵し、外部のデータベース等と連携しながら、推論モデルを生成するようにしてもよい。更に、カメラ等に推論エンジンを設け、推論を行っていた。しかし、これに限らず、クラウド内に設けた外部サーバに推論エンジンを配置し、インターネット等によって常時接続し、クラウド内の推論エンジンによる推論結果に基づいて、表示等を行ってもよい。

また、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ、顕微鏡等の科学機器用のカメラ、自動車搭載用カメラ、監視用カメラでも構わない。いずれにしても、画像データを入力可能であり、また外部画像データベースに直接的または間接的にアクセスすることが可能な機器であれば、本発明を適用することができる。

また、近年は、様々な判断基準を一括して判定できるような人工知能が用いられる事が多く、ここで示したフローチャートの各分岐などを一括して行うような改良もまた、本発明の範疇に入るものであることは言うまでもない。そうした制御に対して、ユーザが善し悪しを入力可能であれば、ユーザの嗜好を学習して、そのユーザにふさわしい方向に、本願で示した実施形態はカスタマイズすることが可能である。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・画像処理及び制御部、１ａ・・・表示制御部、１ｂ・・・記録制御部、１ｂ１・・・推論補助部、１ｃ・・・撮影時情報付与部、１ｃ１・・・状況部、１ｃ２・・・設定部、１ｃ４・・・バージョン情報、１ｃ５・・・推論部、１ｄ・・・学習管理部、２・・・撮像部、３・・・時計部、４・・・記録部、４ｂ・・・学習結果記録部、４ｃ・・・ガイド記録部、４ｄ・・・撮影画像記録部、５・・・アクセサリ情報取得部、５ｂ・・・交換レンズ情報部、６・・・操作判定部、７ａ・・・姿勢センサ、７ｂ・・・ＧＰＳ、７ｃ・・・方位センサ、８・・・表示部、８ｂ・・・タッチパネル、９・・・通信部、１０・・・カメラ、１１・・・画像入力部、１２・・・推論エンジン、１３・・・記憶部、１３ａ・・・学習成果物、１４・・・通信部、１５・・・表示部、１６・・・設定部、１７・・・制御部、２０・・・外部機器、２１・・・外部画像ＤＢ、２２・・・通信部、２３・・・画像分類部、２３ａ・・・フォロワプロフィール、２３ｂ・・・テーマ、２５・・・学習部、２６・・・通信部、２７・・・母集合作成部、２８・・・入出力モデル化部、２９・・・制御部、３０・・・サーバ、３１・・・撮影画像、３２・・・モデル情報、３３・・・ガイド情報、１１０・・・制御部、１１１・・・アクセス判定部、１１２・・・表示制御部、１１３・・・傾向判定部、１１４・・・イイネモデル学習部、１２０・・・通信部、１３０・・・モデルＤＢ部、１３１・・・第１イイネモデル、１３１ａ・・・画像特徴入力、１３１ｂ・・・第１特徴抽出、１３１ｃ・・・第１特徴学習、１３１ｄ・・・出力、１４０・・・画像記録部、１４１・・・画像データ、１４１ｂ・・・犬の画像データ、１４１ｃ・・・猫の画像データ、１４２・・・人気情報、１４３・・・付随情報、２００・・・学習装置、２００Ａ・・・学習装置、２００Ｂ・・・学習装置、２０１Ａ・・・旧データセット、２０１Ｂ・・・新データセット、２０３・・・推論エンジン、２０３Ａ・・・推論エンジン、２０３Ｂ・・・推論エンジン、２０４Ａ・・・学習開始部、２０５Ａ・・・入力部、２０５Ｂ・・・外部出力部、２０６Ａ・・・出力部、２０７Ａ・・・学習管理制御部、２１０・・・外部装置、２５０・・・ＰＣ、３０１・・・工業用内視鏡、３０２・・・挿入部、３０２ａ・・・先端部、３０２ｂ・・・湾曲部、３０２ｃ・・・可撓管部、３０３・・・撮像部、３１１・・・管、３１１ａ・・・管、３１１ｂ・・・管、３１２・・・継ぎ目、３１３・・・錆、 ４００・・・ネット

Claims (20)

1. 推論モデルを入力する入力部と、
   画像データを入力し、上記推論モデルを用いて、ユーザにガイド表示を行うための出力を得る推論部と、
   上記推論部の出力に基づいて上記ガイド表示を行う表示部と、
   上記推論モデルの更新について確認し、この確認の結果に基づいて、外部の学習装置に上記推論モデルの更新を依頼し、もしくは上記推論モデルの更新が必要か否かの判定を依頼する更新確認部と、
   を有することを特徴とする学習管理装置。
2. 上記更新確認部は、最新の教師データを取得し、この最新の教師データを用いて、現在使用している推論モデルの信頼性を検出し、この信頼性が低い場合には、上記外部の学習装置に上記推論モデルの更新を依頼することを特徴とする請求項１に記載の学習管理装置。
3. 上記更新確認部は、上記外部の学習装置に上記推論モデルの更新を依頼してから所定の時間が経過すると、外部の学習装置に上記推論モデルの更新を依頼し、もしくは上記推論モデルの更新が必要か否かの判定を依頼することを特徴とする請求項１に記載の学習管理装置。
4. 上記更新確認部は、現状の変化を監視し、現状が変化した場合に、上記外部の学習装置に上記推論モデルの更新を依頼することを特徴とする請求項１に記載の学習管理装置。
5. 上記更新確認部は、ユーザが上記ガイド表示を採用せず、操作に反映していな場合に、現状が変化したと判定することを特徴とする請求項４に記載の学習管理装置。
6. 上記更新確認部は、常時、上記推論モデルの更新が必要か否かについて確認を行うことを特徴とする請求項１に記載の学習管理装置。
7. 外部装置が、上記推論モデルの更新が必要か否かについて確認を行っており、上記更新確認部は上記外部装置から確認結果に基づいて、判定することを特徴とする請求項１に記載の学習管理装置。
8. 推論モデルの確認の依頼を入力したか否か、もしくは前回の推論モデルの更新から所定時間が経過したことか否かについて判定する判定部と、
   上記判定部によって、上記推論モデルの確認の依頼を入力し、もしくは前回の推論モデルの更新から所定時間が経過したと判定された場合には、データベースから学習母集合を設定する母集合作成部と、
   上記母集合作成部で作成した学習母集合を用いて、依頼を受けた推論モデルの信頼性に基づいて、更新の必要性について判定する更新確認部と、
   を有することを特徴とする学習管理サーバ。
9. 上記母集合作成部は、前回の推論モデルを生成した際に使用された条件に基づいて、上記データベースから学習母集合を設定することを特徴とする請求項８に記載の学習管理サーバ。
10. 推論モデルを学習によって生成する際に、使用可能なデータを蓄積するデータベースと、
    上記推論モデルを生成するための学習をおこなってから所定時間が経過したか否かを判定する時間判定部と、
    上記時間判定部によって、上記所定時間が経過したと判定された場合に、前回の推論モデルを生成した際に使用された条件に基づいて、上記データベースを検索し、上位データが変動しているか否かを判定する判定部と、
    上記判定部によって、上位データが変動していると判定された場合に、上記推論モデルの更新を推奨する推奨部と、
    を有すること特徴とする学習管理サーバ。
11. 推論モデルを学習によって生成する際に、使用可能であり、かつ第三者の評価を含むデータを蓄積するデータベースと、
    上記第三者の評価に変化があった否かを判定する判定部と、
    上記判定部によって、上記第三者の評価に変化があった場合に、上記推論モデルの更新を推奨する推奨部と、
    を有すること特徴とする学習管理サーバ。
12. 推論モデルを推論部に設定し、
    画像データを入力し、上記推論モデルを用いて、ユーザにガイド表示を行うための出力を得て、
    上記推論部の出力に基づいて上記ガイド表示を行い、
    上記推論モデルの更新について判定し、この判定の結果に基づいて、外部の学習装置に上記推論モデルの更新を依頼、もしくは上記推論モデルの更新が必要か否かの判定を依頼する、
    ことを特徴とする学習管理方法。
13. 最新の教師データを取得し、この最新の教師データを用いて、現在使用している推論モデルの信頼性を検出し、この信頼性が低い場合には、上記外部の学習装置に上記推論モデルの更新を依頼することを特徴とする請求項１２に記載の学習管理方法。
14. 上記外部の学習装置に上記推論モデルの更新を依頼してから所定の時間が経過すると、外部の学習装置に上記推論モデルの更新を依頼、もしくは上記推論モデルの更新が必要か否かの判定を依頼することを特徴とする請求項１２に記載の学習管理方法。
15. 現状の変化を監視し、現状が変化した場合に、上記外部の学習装置に上記推論モデルの更新を依頼することを特徴とする請求項１２に記載の学習管理方法。
16. ユーザが上記ガイド表示を採用せず、操作に反映していな場合に、現状が変化したと判定することを特徴とする請求項１５に記載の学習管理方法。
17. 常時、上記推論モデルの更新が必要か否かについて確認を行うことを特徴とする請求項１２に記載の学習管理方法。
18. ソーシャル・ネットワーク・システムと連携可能なコンピュータ組み込み方法であって、
    上記ソーシャル・ネットワーク・システムは、コンテンツ・アイテムが随時掲載可能であり、上記掲載されたコンテンツ・アイテムが随時、上記ソーシャル・ネットワーク・システムのユーザから品質評価されることが可能であり、
    上記コンピュータ組み込み方法は、上記掲載されたコンテンツ・アイテムのうち、上記品質評価の情報が付随した特定のコンテンツ・アイテムを教師データとしたコンテンツ・アイテムの特徴から上記品質評価を推論する推論モデルが、上記時間的な推移によって追加されたコンテンツ・アイテムの変化やコンテンツ・アイテムの評価傾向の時間的変化によって当初の狙いの推論結果が出力できなくなったことを判定することを特徴とする。
19. 上記コンテンツ・アイテムを教師データとして使用して機械学習した時の条件を履歴として記録するステップを有し、この記録された履歴に従って、新たな教師データを生成することを推奨することを特徴とする請求項１８に記載のコンピュータ組み込み方法。
20. 特定のユーザが、上記コンテンツ・アイテムを教師データとして使用して機械学習した時の条件を履歴として記録するステップを有することを特徴とする請求項１８に記載のコンピュータ組み込み方法。

Images