JP7514063B2 - 検出装置、検出方法、コンピュータプログラム、および記憶媒体 - Google Patents

Description

本発明は、人力駆動車の一部をイメージから検出する検出装置、検出方法、コンピュータプログラム、および記憶媒体に関する。

フロントディレーラ、リアディレーラ、シートポスト、またはサスペンションを含むコンポーネントを備える人力駆動車が知られている。人力駆動車のコンポーネントに診断装置を接続して診断を行なう技術が知られている（特許文献１、２参照）。

米国特許第７８１９０３２号明細書 米国特許第９２２７６９７号明細書

現在、人力駆動車に関する情報をユーザがより手軽に取得する手段を提供することが求められている。

本発明の目的は、ユーザが手軽に人力駆動車に関する物体の情報を取得することを可能にする検出装置、検出方法、コンピュータプログラム、および記憶媒体を提供することである。

（１）本発明の第１側面に従う検出装置は、人力駆動車の少なくとも一部が含まれる第１イメージから前記人力駆動車に関する物体を被検出物体として検出し、前記被検出物体に関する関連情報を出力する制御部を備える。
このため、ユーザは、人力駆動車のイメージから、人力駆動車の関連情報を手軽に取得することができる。

（２）本発明の第２側面に従う検出装置では、前記制御部は、イメージの入力に応じて前記被検出物体の識別情報および前記被検出物体である確度を出力するように学習された学習モデルによって、前記物体を検出する。
このため、入力したイメージから被検出物体の識別情報および確度が学習モデルから出力され、学習によって精度よく被検出物体を検出できる。

（３）本発明の第３側面に従う検出装置では、前記物体は、前記人力駆動車のコンポーネントを含み、前記制御部は、前記第１イメージから前記人力駆動車のコンポーネントを被検出コンポーネントとして検出する。
このため、ユーザは、人力駆動車のイメージから、人力駆動車に含まれるコンポーネントの関連情報を取得することができる。

（４）本発明の第４側面に従う検出装置では、前記制御部は、前記関連情報と、前記被検出コンポーネントが強調された第２イメージと、を出力する。
このため、ユーザは、検出されたコンポーネントと、関連情報とを認識し易い。

（５）本発明の第５側面に従う検出装置では、前記関連情報は、前記被検出コンポーネントに関連するコンポーネント情報を含む。
このため、ユーザは、人力駆動車に含まれるコンポーネントが何であるのか、そのコンポーネントに関連する情報を、人力駆動車の一部を含むイメージからより手軽に情報を取得することができる。

（６）本発明の第６側面に従う検出装置では、前記コンポーネント情報は、前記被検出コンポーネントの種類に関する情報、前記被検出コンポーネントのスペックに関する情報、前記被検出コンポーネントの組立方法に関する情報、前記被検出コンポーネントの組付方法に関する情報、前記被検出コンポーネントの分解方法に関する情報、前記被検出コンポーネントの調整方法に関する情報、および、前記被検出コンポーネントの置換品に関する情報の少なくとも１つに関する情報を含む。
このため、ユーザは、人力駆動車の一部を含むイメージから、人力駆動車に含まれるコンポーネントの種類、スペック、組立方法、組付方法、分解方法、調整方法、および置換品の少なくとも１つの情報を手軽に取得することができる

（７）本発明の第７側面に従う検出装置では、前記組付方法に関する情報は、前記被検出コンポーネントを前記人力駆動車に組み付けるための部品に関する情報、および前記被検出コンポーネントの組み付けに必要な工具に関する情報のうちの少なくとも１つを含む。
このため、ユーザは、人力駆動車のイメージから、人力駆動車に含まれるコンポーネントを組み付けるための情報を手軽に取得することができる。

（８）本発明の第８側面に従う検出装置では、前記置換品に関する情報は、前記被検出コンポーネントを前記置換品に置き換える場合に必要となる他の部品に関する情報を含む。
このため、ユーザは、人力駆動車のイメージから、人力駆動車に含まれるコンポーネントの置換品の情報を手軽に取得することができる。

（９）本発明の第９側面に従う検出装置では、前記制御部は、前記被検出コンポーネントについて、前記人力駆動車への組付け状態に関する情報を出力する。
このため、ユーザは、人力駆動車のイメージから、人力駆動車に含まれるコンポーネントの組付け状態の情報を取得することができる。

（１０）本発明の第１０側面に従う検出装置では、前記制御部は、前記第１イメージから複数の前記被検出コンポーネントを検出し、複数の前記被検出コンポーネント間の適合状態に関する情報を前記関連情報として出力する。
このため、ユーザは、人力駆動車のイメージから、人力駆動車に含まれる複数のコンポーネント間の適合性に関する情報を取得することができる。

（１１）本発明の第１１側面に従う検出装置では、前記物体は、前記人力駆動車のフレームを含み、前記制御部は、前記第１イメージから前記フレームを被検出フレームとして検出する。
このため、ユーザは、人力駆動車のイメージから、人力駆動車に含まれるフレームの関連情報を取得することができる。

（１２）本発明の第１２側面に従う検出装置では、前記制御部は、前記関連情報と、前記被検出フレームが強調された第３イメージと、を出力する。
このため、ユーザは、検出されたフレームと、関連情報とを認識し易い。

（１３）本発明の第１３側面に従う検出装置では、前記制御部は、前記関連情報として、前記人力駆動車の使用者の身体情報および属性情報の少なくとも１つを含む使用者情報と、前記被検出フレームと、に基づき推奨されるコンポーネントに関する情報を出力する。
このため、ユーザは人力駆動車のイメージから、自身の身体に適合したフレームおよびコンポーネントの情報を取得することができる。

（１４）本発明の第１４側面に従う検出装置では、前記身体情報は、前記使用者の関節位置に関する情報を含む。
このため、ユーザは、人力駆動車のイメージと、ユーザの関節位置とに基づき、自身の身体に適合したフレームおよびコンポーネントの情報を取得することができる。

（１５）本発明の第１５側面に従う検出装置では、前記制御部は、文字列およびグラフィックの少なくとも１つによって、前記関連情報を出力する。
このため、ユーザは、人力駆動車のイメージから、文字列、グラフィックによって関連情報を取得することができる。

（１６）本発明の第１６側面に従う検出装置は、前記制御部から出力される情報を表示する表示部をさらに備える。
このため、ユーザは、被検出物体、および関連情報を視認することができる。

（１７）本発明の第１７側面に従う検出装置では、前記表示部は、前記関連情報を、被選択関連情報として選択する入力を受け付け、前記制御部は、前記被選択関連情報の詳細情報を出力する。
このため、ユーザは、人力駆動車のイメージから検出された物体に関する関連情報に対し、いずれの関連情報をより詳細に表示させるかを選択し、詳細な情報を取得することができる。

（１８）本発明の第１８側面に従う検出装置では、前記表示部は、前記被検出コンポーネントが強調された第２イメージにおいて、前記被検出コンポーネントを、被選択コンポーネントとして選択可能に構成され、前記制御部は、前記被選択コンポーネントの関連情報を出力する。
このため、ユーザは、人力駆動車のイメージから検出されたコンポーネントに関する関連情報に対し、いずれのコンポーネントについて関連情報を表示させるかを選択できる。

（１９）本発明の第１９側面に従う検出装置は、前記制御部から出力される情報を記憶する記憶部をさらに備える。
このため、検出装置は、人力駆動車における被検出物体に関する関連情報を記憶しておくことができる。

（２０）本発明の第２０側面に従う検出装置では、前記制御部は、前記被検出物体の識別情報を、前記関連情報と対応付けて前記記憶部に記憶させる。
このため、検出装置は、被検出物体の識別情報と、関連情報とを記憶しておくことができる。

（２１）本発明の第２１側面に従う検出装置では、前記制御部は、前記被検出物体の識別情報を、前記人力駆動車の使用者の識別情報と対応付けて前記記憶部に記憶させる。
このため、検出装置は、人力駆動車のイメージにおける被検出物体の識別情報と、使用者を識別する情報とを対応付けて記憶しておくことができる。

（２２）本発明の第２２側面に従う検出装置では、前記制御部は、前記被検出物体の識別情報を、前記関連情報と対応付けて外部に出力する。
このため、検出装置は、人力駆動車のイメージにおける被検出物体の識別情報を、外部、たとえばクラウドサーバ、に出力することができる。

（２３）本発明の第２３側面に従う検出装置では、前記制御部は、前記被検出物体の識別情報を、前記人力駆動車の使用者の識別情報と対応付けて外部に出力する。
このため、検出装置は、人力駆動車のイメージにおける被検出物体の識別情報と、使用者を識別する情報とを対応付けて外部、たとえばクラウドサーバ、に出力することができる。

（２４）本発明の第２４側面に従う検出装置では、前記制御部は、前記人力駆動車の走行履歴に基づき、前記第１イメージの入力を使用者に促すための情報を出力する。
このため、ユーザは、より確実に、人力駆動車に関する物体の関連情報を取得することができる。

（２５）本発明の第２５側面に従う検出装置では、前記制御部は、前記第１イメージを、前記人力駆動車の走行履歴と対応付けて外部に出力する。
このため、検出装置は、人力駆動車のイメージを、前記人力駆動車の走行履歴と対応付けられて外部、たとえばクラウドサーバ、に出力することができる。

（２６）本発明の第２６側面に従う検出装置では、前記制御部は、前記第１イメージを、前記人力駆動車の走行環境を示す走行環境情報と対応付けて外部に出力する。
このため、検出装置は、人力駆動車のイメージと、前記人力駆動車が走行した走行環境を示す情報とを対応付けて外部、たとえばクラウドサーバ、に出力することができる。

（２７）本発明の第２７側面に従う検出装置では、前記制御部は、インターネットを介して収集された人力駆動車の一部を含むイメージに対し、前記イメージに写っている物体の識別情報をラベル付けした教師データによって、前記学習モデルを学習させる。
このため、インターネットで収集された非常に多くの人力駆動車のイメージに基づいて人力駆動車に関する物体を精度よく検出するように学習モデルが学習される。

（２８）本発明の第２８側面に従う検出装置では、前記制御部は、人力駆動車のフレームおよびコンポーネントの少なくとも１つに関する設計用アプリケーションプログラムによって生成されるレンダリングイメージに基づく教師データによって、前記学習モデルを学習させる。
このため、設計用アプリケーションプログラムにて作成された人力駆動車のイメージに基づいて、人力駆動車に関する物体を精度よく検出するように学習モデルが学習される。

（２９）本発明の第２９側面に従う検出装置では、前記制御部は、人力駆動車のフレームおよびコンポーネントの少なくとも１つを、複数の異なる角度から見たときの複数のイメージを含む教師データによって、前記学習モデルを学習させる。
このため、検出装置は、人力駆動車に関する複数のイメージに基づき、人力駆動車に関する物体を検出するように学習モデルを生成することができる。

（３０）本発明の第３０側面に従う検出装置では、前記制御部は、前記学習モデルから出力される確度が所定値以下である場合、確度が高い順に前記物体の識別情報を複数出力し、選択された物体の識別情報をラベル付けした第４イメージによって、前記学習モデルを学習させる。
このため、イメージから学習モデルによって出力された確度が所定値以下である場合には、候補の選択を受け付けて学習モデルが再学習され、検出の精度が高まる。

本発明は、上述の特徴的な要素を備える検出装置として実現することができるだけでなく、各特徴的な処理を実行する検出方法、コンピュータに特徴的な処理を実行させるコンピュータプログラム、学習モデルの生成方法、および記憶媒体として実現することができる。

（３１）本発明の第３１側面に従う検出方法は、人力駆動車の少なくとも一部が含まれる第１イメージから前記人力駆動車に関する物体を被検出物体として検出し、前記被検出物体に関する関連情報を出力する。
このため、ユーザは、人力駆動車のイメージから、人力駆動車の関連情報を手軽に取得することができる。

（３２）本発明の第３２側面に従う生成方法は、人力駆動車の少なくとも一部を含む複数の第１イメージに対して、人力駆動車に関する物体の識別情報をラベル付けした教師データを作成し、イメージの入力に応じて、前記イメージから前記人力駆動車に関する物体を被検出物体として検出し、前記被検出物体の識別情報および前記被検出物体である確度を出力する学習モデルを、作成された教師データに基づいて生成する。
このため、入力したイメージから被検出物体の識別情報および確度を出力する学習モデルを生成することができる。

（３３）本発明の第３３側面に従うコンピュータプログラムは、コンピュータに、人力駆動車の少なくとも一部が含まれる第１イメージから前記人力駆動車に関する物体を被検出物体として検出し、前記被検出物体に関する関連情報を出力する、処理を実行させる。
このため、ユーザは、人力駆動車のイメージから、人力駆動車の関連情報を手軽に取得することができる。

（３４）本発明の第３４側面に従う記憶媒体は、上述のコンピュータプログラムが記憶された、コンピュータが読み取り可能な記憶媒体である。
このため、コンピュータプログラムをコンピュータに読み取らせることで、前記コンピュータが、人力駆動車のイメージから、人力駆動車の関連情報を出力する装置になる。

本発明に関する検出装置によれば、ユーザは、特別な診断装置を用いずに、人力駆動車のイメージから、人力駆動車の関連情報を手軽に取得することができる。

第１実施形態に係る検出装置の構成を示すブロック図である。 学習モデルの概要を示す図である。 学習モデルを用いた検出装置によるコンポーネントの検出方法の一例を示すフローチャートである。 検出装置の表示部における関連情報の出力例を示す。 検出装置の表示部における関連情報の他の出力例を示す。 検出装置の表示部における関連情報の他の出力例を示す。 検出装置の表示部における関連情報の他の出力例を示す。 検出装置の表示部における関連情報の他の出力例を示す。 検出装置の表示部における関連情報の他の出力例を示す。 第２実施形態の学習モデルの概要を示す図である。 第２実施形態の学習モデルを用いた検出装置によるコンポーネントの検出方法の一例を示すフローチャートである。 第２実施形態における検出装置の表示部における関連情報の出力例を示す。 検出装置の表示部における関連情報の他の出力例を示す。 検出装置の表示部における関連情報の他の出力例を示す。 変形例における検出装置の処理手順の一例を示すフローチャートである。 変形例における検出装置の処理手順の一例を示すフローチャートである。 第３実施形態における学習モデルの概要を示す図である。 第３実施形態の検出装置による処理手順の一例を示すフローチャートである。 検出装置の表示部における関連情報の出力例を示す。 第４実施形態における検出装置による処理手順の一例を示すフローチャートである。 第５実施形態における検出装置およびサーバ装置を含むシステムの構成を示すブロック図である。 第５実施形態における処理手順の一例を示すフローチャートである。 第５実施形態における処理手順の一例を示すフローチャートである。

以下の各実施形態に関する説明は、本発明に関する出力装置が取り得る形態の例示であり、その形態を制限することを意図していない。本発明に関する出力装置は、各実施形態の変形例、および、相互に矛盾しない少なくとも２つの変形例が組み合わせられた形態等のように各実施形態とは異なる形態を取り得る。

以下の各実施形態に関する説明において、前、後、前方、後方、左、右、横、上、および、下等の方向を表す言葉は、ユーザが人力駆動車のサドルに着座した状態における方向を基準として用いられる。

（第１実施形態）
図１は、第１実施形態に係る検出装置１の構成を示すブロック図である。検出装置１は、第１例ではスマートフォンである。検出装置１は、第２例ではタブレット端末である。検出装置１は、制御部１００、記憶部１０２、表示部１０４、通信部１０８、入出力部１１０、および撮像部１１２を備える。

制御部１００は、ＣＰＵ（Central Processing Unit ）および／またはＧＰＵ（Graphics Processing Unit）を用いたプロセッサである。制御部１００は、内蔵するＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）等のメモリを用いて処理を実行する。検出装置１は、人力駆動車の少なくとも一部が含まれる第１イメージから人力駆動車に関する物体を被検出物体として検出し、被検出物体に関する関連情報を出力する。

記憶部１０２は、例えばフラッシュメモリ等の不揮発性メモリを含む。記憶部１０２には、コンピュータプログラム１Ｐが記憶されている。制御部１００は、コンピュータプログラム１Ｐを読み出して実行する。コンピュータプログラム１Ｐは、人力駆動車の部品メーカから提供され、または任意の配信サーバから配信され、汎用コンピュータである検出装置１にインストールされる。コンピュータプログラム１Ｐは、コンピュータに、人力駆動車の少なくとも一部が含まれる第１イメージから人力駆動車に関する物体を被検出物体として検出し、被検出物体に関する関連情報を出力する、処理を実行させる。コンピュータプログラム１Ｐは、記憶媒体５に記憶されたコンピュータプログラム５Ｐを制御部１００が読み出して記憶部１０２に複製したものであってもよい。

記憶部１０２には、学習モデル１Ｍが記憶されている。学習モデル１Ｍは、イメージの入力に応じて前記被検出物体の識別情報および前記被検出物体である確度を出力するように学習されている。制御部１００は、学習モデル１Ｍによって物体を検出する。学習モデル１Ｍは、記憶媒体５に記憶された学習モデル５Ｍを制御部１００が読み出して記憶部１０２に複製したものであってもよい。

第１実施形態において、物体は、人力駆動車のコンポーネントを含み、制御部１００は、第１イメージから人力駆動車のコンポーネントを被検出コンポーネントとして検出する。

記憶部１０２には予め、検出されたコンポーネントに関連するコンポーネント情報を含む関連情報が記憶されている。コンポーネント情報は第１例では、人力駆動車のコンポーネントの識別情報に対応付けたコンポーネントの種類であり、種類を示す名称を含む。コンポーネント情報は第２例では、コンポーネントの型番を識別する識別情報に対応付けられた各コンポーネントのスペックに関する情報である。コンポーネント情報は第３例では、コンポーネントの型番を識別する識別情報に対応付けられた各コンポーネントの組立方法に関する情報である。コンポーネント情報は第３例では、コンポーネントの型番を識別する識別情報に対応付けられた各コンポーネントの組立方法に関する情報である。コンポーネント情報は第４例では、コンポーネントの型番を識別する識別情報に対応付けられた各コンポーネントの組付方法に関する情報である。コンポーネント情報は第５例では、コンポーネントの型番を識別する識別情報に対応付けられた各コンポーネントの分解方法に関する情報である。コンポーネント情報は第６例では、コンポーネントの型番を識別する識別情報に対応付けられた各コンポーネントの調整方法に関する情報である。コンポーネント情報は第７例では、コンポーネントの型番を識別する識別情報に対応付けられた各コンポーネントの置換品に関する情報である。これらの情報の一部または全部が関連情報に含まれてよい。関連情報は、コンピュータプログラム１Ｐに組み込まれていてもよい。

組付方法に関する情報は、被検出コンポーネントを人力駆動車に組み付けるための部品に関する情報、および前記被検出コンポーネントの組み付けに必要な工具に関する情報のうちの少なくとも１つを含む。置換品に関する情報は、前記被検出コンポーネントを前記置換品に置き換える場合に必要となる他の部品に関する情報を含む。

記憶部１０２には、予め記憶されている情報に加え、制御部１００が出力する情報が記憶される。記憶部１０２には検出された人力駆動車に関する関連情報が記憶される。記憶部１０２には、使用者の識別情報が記憶される。使用者の識別情報は、たとえば、名前、ニックネーム、ユーザＩＤ、または電子メールアドレスを含む。記憶部１０２には、使用者に関する使用者情報が記憶される。使用者情報は、人力駆動車の使用者の身体情報および属性情報の少なくとも１つを含む。身体情報は、たとえば、使用者の身長、体重を含む。身体情報は、使用者の関節位置を含んでよい。属性情報は、たとえば、使用者の好むライディングスタイルや、ライフスタイルに関する情報を含む。

表示部１０４は、液晶パネルまたは有機ＥＬディスプレイ等の表示装置である。表示部１０４は、制御部１００から出力される情報を表示する。第１実施形態では表示部１０４は、撮像部１１２で撮像した人力駆動車のイメージと共に、人力駆動車の一部に関する関連情報を表示する。

表示部１０４は、ユーザの操作入力を受け付けるインタフェースである操作部１０６を含む。本実施形態では、操作部１０６は、表示部１０４に含まれるタッチパネルデバイスである。操作部１０６は、物理ボタン、およびマイクロフォン等であってもよい。

通信部１０８は、公衆通信網Ｎへの通信接続を実現する通信モジュールである。制御部１００は、通信部１０８を介して、情報を外部に出力することができる。

入出力部１１０は、外部記憶装置、または通信機器と接続されるインタフェースである。入出力部１１０は例えば、ＵＳＢ（Universal Serial Bus）インタフェースである。

撮像部１１２は、ＣＭＯＳ（Complementary MOS ）イメージセンサ等の撮像素子を含む。撮像部１１２は起動すると撮像素子にて撮像された画像を出力する。撮像部１１２は、制御部１００の指示に基づいて静止画像または動画像を撮像する。

第１実施形態の制御部１００は、学習モデル１Ｍを用いて人力駆動車のコンポーネントを検出する。制御部１００は、人力駆動車を撮像した第１イメージを学習モデル１Ｍへ入力し、写っている人力駆動車、人力駆動車のコンポーネント、人力駆動車のフレームを検出し、検出されたコンポーネント、フレーム等に関連する関連情報を出力する。以下に、学習モデル１Ｍを用いた検出処理を詳細に説明する。

図２は、学習モデル１Ｍの概要を示す図である。学習モデル１Ｍは、人力駆動車の少なくとも一部が含まれる第１イメージの入力に応じて人力駆動車に関する物体の識別情報およびその物体である確度を出力するように学習された学習モデルである。学習モデル１Ｍは、図２に示すようにニューラルネットワーク（以下ＮＮ：Neural Network）を用いた教師ありの深層学習アルゴリズムによって人力駆動車に関する物体の識別情報を、確度を示すスコアと共に出力する。学習モデル１Ｍの学習アルゴリズムは教師なしの学習アルゴリズムでもよいし、リカレントニューラルネットワーク（Recurrent Neural Network）でもよい。

学習モデル１ＭのＮＮは、図２に示すように、定義データによって定義される複数段の畳み込み層、プーリング層および全結合層を含み、入力される第１イメージの特徴量に基づいて、入力された第１イメージに写っている物体を分類し、分類結果を識別する識別情報と確度とを出力する。

学習モデル１Ｍは、人力駆動車に関する事業者によって管理されるモデル作成装置にて、インターネットを介して収集された人力駆動車の一部を含む第１イメージに対し、第１イメージに写っている物体の識別情報をラベル付けした教師データによって、学習されている。具体的には、学習モデル１Ｍは、人力駆動車の少なくとも一部を含む複数の第１イメージに対して、人力駆動車に関する物体の識別情報をラベル付けした教師データを作成し、イメージの入力に応じて、イメージから人力駆動車に関する物体を被検出物体として検出し、人力駆動車に関する物体の識別情報および確度を出力する学習モデルを、作成された教師データに基づいて生成する、生成方法によって生成される。

学習モデル１Ｍは予め、人力駆動車に関する事業者によって管理されるモデル作成装置にて、人力駆動車のフレームおよびコンポーネントの少なくとも１つに関する設計用アプリケーションプログラムによって生成されるレンダリングイメージに基づく教師データによって、学習されてもよい。レンダリングイメージが教師データに使用される場合であっても、物体の識別情報をラベル付けして教師データが作成される。設計用アプリケーションプログラムは例えば三次元ＣＡＤである。

学習モデル１Ｍは予め、人力駆動車に関する事業者によって管理されるモデル作成装置にて、人力駆動車のフレームおよびコンポーネントの少なくとも１つを複数の異なる角度から見たときの複数のイメージを含む教師データによって学習されてもよい。

教師データのイメージにラベル付けされる物体の識別情報は、第１例では、人力駆動車のコンポーネントの種類を区別する情報である。図２では、スプロケットを含む第１イメージは「０」のラベル、リアディレーラを含む第１イメージには「１」のラベル、フロントディレーラを含む第１イメージには「２」のラベルが付けられている。

教師データのイメージにラベル付けされる物体の識別情報は、第２例では、人力駆動車の各コンポーネントまたはフレームの型番に対応する。第２例では、コンポーネントまたはフレームを含む第１イメージに型番別のラベルが付けられて教師データとされる。

図２に示した学習モデル１Ｍを用いた検出処理を、フローチャートを参照して説明する。学習モデル１Ｍは、型番に対応するコンポーネントの識別情報を出力するように学習してあるものとする。
ある。

図３は、学習モデル１Ｍを用いた検出装置１によるコンポーネントの検出方法の一例を示すフローチャートである。スマートフォンである検出装置１を所持するユーザ、または検出装置１を所持する人力駆動車のメンテナンススタッフが、コンピュータプログラム１Ｐを起動させると、制御部１００は以下の処理を実行する。

制御部１００は、人力駆動車を含む第１イメージを受け付ける（ステップＳ１０１）。ステップＳ１０１において、制御部１００は、撮像部１１２は起動させ、画像出力を受け付ける。あらかじめ撮像部１１２によって取得された第１イメージを記憶部１０２に記憶しておき、ステップＳ１０１において制御部１００が、選択された第１イメージを記憶部１０２から読み出すことで第１イメージを受け付けてもよい。

制御部１００は、受け付けた第１イメージを出力する（ステップＳ１０３）。ステップＳ１０３において制御部１００は、第１イメージを表示部１０４に表示させる。

制御部１００は、受け付けた第１イメージを学習済みの学習モデル１Ｍに入力する（ステップＳ１０５）。学習モデル１Ｍは、第１イメージの入力に応じて、コンポーネントを検出し、被検出コンポーネントの型番に対応する識別情報および確度を出力する。制御部１００は、学習モデル１Ｍから出力された識別情報および確度を取得する（ステップＳ１０７）。ステップＳ１０５およびステップＳ１０７によって、制御部１００は、人力駆動車のコンポーネントを被検出コンポーネントとして検出する。

制御部１００は、被検出コンポーネントに関連するコンポーネント情報を含む関連情報を記憶部１０２から読み出し（ステップＳ１０９）、読み出された関連情報を出力する（ステップＳ１１１）。ステップＳ１０９において制御部１００は、関連情報を表示部１０４に出力する。制御部１００は、文字列およびグラフィックの少なくとも１つによって、関連情報を出力する。表示部１０４は、ステップＳ１０３で表示されている第１イメージ上に、関連情報を示す文字列を重畳させて表示する。関連情報の出力は表示部１０４への出力に限らず、入出力部１１０を介した外部装置への出力でも、印刷出力であっても、音声出力であってもよい。

ステップＳ１１１において制御部１００は、関連情報をコンポーネントごとに選択可能に出力し、選択されたコンポーネントの関連情報の詳細情報を出力する。詳細情報の出力例は、図４－図９を参照して詳細に説明する。

ステップＳ１０９において読み出されるコンポーネント情報は、記憶部１０２に関連情報として記憶されている情報の内の任意の情報である。読み出されるコンポーネント情報は、記憶部１０２に関連情報として記憶されている全ての情報であってよい。

制御部１００は、ステップＳ１１１で出力した関連情報と対応付けて、ステップＳ１０７で検出されたコンポーネントの識別情報を記憶部１０２に記憶させ（ステップＳ１１３）、処理を終了する。

図４は、検出装置１の表示部１０４における関連情報の表示例を示す。図４には、表示部１０４に表示されているコンピュータプログラム１Ｐに基づくアプリ画面１４０の例が示されている。アプリ画面１４０には、ステップＳ１０３で表示部１０４に表示された第１イメージ１４２が含まれる。アプリ画面１４０には、第１イメージ１４２に重畳して、被検出コンポーネントに関する関連情報が文字列によって表示されている。図４の例では、関連情報は、コンポーネントの型番を示す情報である。表示部１０４は、操作部１０６を介して、関連情報を被選択関連情報として選択する入力を受け付ける。表示部１０４は、図４のアプリ画面１４０上で、文字によって表示されている関連情報をオブジェクト１４４として選択する入力を受け付ける。図４では、選択可能な関連情報のオブジェクト１４４は、矩形枠で示されている。

制御部１００は、被選択関連情報の詳細情報を出力する。具体的には、制御部１００は、詳細情報を表示部１０４に出力する。図５は、表示部１０４における詳細情報の表示例を示す。図５に示すように、アプリ画面１４０には、第１イメージ１４２に重畳されて、太字枠で示す選択されたオブジェクト１４４に対応する被検出コンポーネントの詳細情報として、コンポーネントの型番に対応付けて記憶部１０２に記憶されているコンポーネントのスペックに関する情報が表示されている。アプリ画面１４０には、被検出コンポーネントの型番に対応付けて記憶部１０２に記憶されているコンポーネントの置換品、および置換品に置き換える場合に必要となる他の部品に関する情報が表示されてもよい。

図６は、検出装置１の表示部１０４における関連情報の他の表示例を示す。図６では、オブジェクト１４４が選択された場合の他の表示例が示される。アプリ画面１４０には、第１イメージ１４２に写っているコンポーネントの型番を示す情報が関連情報として表示されている。関連情報は図４同様に、選択可能なオブジェクト１４４として表示されている。オブジェクト１４４をユーザが選択した場合、たとえば、アプリ画面１４０上で、ユーザがオブジェクト１４４をタップした場合、図６に示すように、コンポーネントの関連情報として、「組立方法」、「組付方法」、「分解方法」、「調整方法」および「登録」の少なくとも１つを選択することが可能なメニュー１４６が文字列で表示される。「登録」が選択された場合、人力駆動車の使用者の識別情報および属性情報を受け付け、被検出コンポーネントの種類、型番および関連情報が、使用者の識別情報および属性情報に対応付けて記憶部１０２に記憶される。

図７は、検出装置１の表示部１０４における関連情報の他の表示例を示す。図７の例は、クランクを写した第１イメージ１４２のオブジェクト１４４に対して表示されるメニュー１４６で「組付方法」が選択された場合の表示例である。「組付方法」が選択された場合に表示される組付方法に関する情報は、被検出コンポーネントを人力駆動車に組み付けるための部品に関する情報、および前記被検出コンポーネントの組み付けに必要な工具に関する情報のうちの少なくとも１つを含む。図７の例では、部品に関する情報が表示されている。

図８は、検出装置１の表示部１０４における関連情報の他の表示例を示す。図８の例は、図６のメニュー１４６で「調整方法」が選択された場合の表示例である。「調整方法」が選択された場合、図８に示すように、調整の手順を示す詳細情報が表示されている。

図９は、検出装置１の表示部１０４における関連情報の他の表示例を示す。図９の例は、図６のメニュー１４６で「分解方法」が選択された場合の表示例である。「分解方法」が選択された場合、図９に示すように、分解の手順を示す詳細情報が表示されている。

図４から図９に示したように、ユーザはスマートフォンまたはタブレット端末を用い、コンピュータプログラム１Ｐを起動させることによって、人力駆動車のイメージから、人力駆動車の関連情報を手軽に取得することができる。検出装置１は、学習済みの学習モデル１Ｍに基づく検出によって精度よく被検出物体を検出できる。

（第２実施形態）
第２実施形態における学習モデル１Ｍは、第１イメージに写っている人力駆動車に関する物体の第１イメージ内での位置も出力するように学習される。学習モデル１Ｍはこの場合、ＳＳＤ（Single Shot MultiBox Detector ）として学習される。第２実施形態の構成は、学習モデル１Ｍの内容および制御部１００による処理内容以外は、第１実施形態と同様であるから、共通する構成には同一の符号を付して詳細な説明を省略する。

図１０は、第２実施形態の学習モデル１Ｍの概要を示す図である。学習モデル１Ｍはこの場合、入力された第１イメージを複数チャネルに分解し、畳み込みまたはプーリング処理の後、複数のスケールの特徴マップを段階的に出力する。学習モデル１Ｍは、複数段階ごとに出力された特徴マップに対して検出範囲を候補と確度とを出力し、段階ごとに出力された検出範囲の候補に対して重複したものを除外しながら、検出範囲候補を集合させ、検出枠のおよび対応する確度（score）を出力する。

第２実施形態における学習モデル１Ｍを生成するための教師データは、第１イメージ内の物体の範囲を示す枠の位置、幅および高さも含む。物体の位置も出力する学習モデル１Ｍは、ＳＳＤに限られずＲ－ＣＮＮ、ＹＯＬＯ等に基づくモデルであってよい。

図１０に示した位置も含めて検出する学習モデル１Ｍを生成するための教師データは、第１実施形態同様に、人力駆動車に関する事業者によって管理されるモデル作成装置にて、インターネットを介して収集された人力駆動車の一部を含む第１イメージに対し、第１イメージに写っている物体の識別情報をラベル付けし、第１イメージ内の物体の位置を指定した教師データである。なお、学習モデル１Ｍは、人力駆動車に関する事業者によって管理されるモデル作成装置にて、人力駆動車のフレームおよびコンポーネントの少なくとも１つに関する設計用アプリケーションプログラムによって生成されるレンダリングイメージに基づく教師データに基づいて、生成されてもよい。

図１１は、第２実施形態の学習モデル１Ｍを用いた検出装置１によるコンポーネントの検出方法の一例を示すフローチャートである。図１１のフローチャートに示す処理手順の内、第１実施形態の図４のフローチャートに示した処理手順と共通する手順については同一のステップ番号を付して詳細な説明を省略する。

第２実施形態では制御部１００は、使用者の識別情報、および属性情報の入力を受け付け（ステップＳ１２１）、第１イメージを受け付ける（Ｓ１０１）。ステップＳ１２１における識別情報の受け付けは、コンピュータプログラム１Ｐの初回起動のみであってもよいし、検出処理の都度受け付けてもよい。また、制御部１００は、ステップＳ１２１において、記憶部１０２に記憶される複数の使用者の識別情報のいずれか１つを選択する操作入力を受け付けてもよい。

第２実施形態の学習モデル１Ｍは、ステップＳ１０５の第１イメージの入力に応じて、コンポーネントを検出し、被検出コンポーネントの型番に対応する識別情報、コンポーネントの検出範囲、および確度を出力する。制御部１００は、学習モデル１Ｍから出力された識別情報、検出範囲、および確度を取得する（ステップＳ１２３）。

制御部１００は、取得した検出範囲の情報に含まれる第１イメージ内における検出位置、幅および高さに基づき、被検出コンポーネントが強調された第２イメージを作成する（ステップＳ１２５）。第２イメージは例えば、第１イメージ上のコンポーネントを囲む枠を重畳させて得られる。第２イメージは例えば、第１イメージ上のコンポーネントに輪郭のグラフィックを重畳させて得られる。第２イメージは例えば、コンポーネントから出る吹き出しのグラフィックである。第２イメージは例えば、第１イメージ上のコンポーネントの範囲を覆うように半透明のグラフィックを重畳させて得られる。第２イメージは文字列を含んでよい。

制御部１００は、取得した識別情報に対応するコンポーネントの関連情報を記憶部１０２から読み出す（Ｓ１０９）。制御部１００は、読み出した関連情報と、検出されたコンポーネントが強調された第２イメージと、を出力する（ステップＳ１２７）。制御部１００は、関連情報と第２イメージとを表示部１０４に表示させる。

制御部１００は、第２イメージ上でコンポーネントの選択を受け付け（ステップＳ１２９）、選択されたコンポーネントの関連情報を出力する（ステップＳ１３１）。

制御部１００は、被検出物体、すなわち被検出コンポーネント、の識別情報を、関連情報と対応付けて、記憶部１０２に記憶させる（Ｓ１１３）。制御部１００は、被検出物体、すなわち被検出コンポーネント、の識別情報を、人力駆動車の使用者の識別情報と対応付けて記憶部１０２に記憶させ（ステップＳ１３３）、処理を終了する。

図１２は、第２実施形態における検出装置１の表示部１０４における関連情報の表示例を示す。図１２には、コンピュータプログラム１Ｐに基づいて表示部１０４に表示されるアプリ画面１４０の例が示されている。アプリ画面１４０には、検出コンポーネントが強調された第２イメージ１４８が含まれる。第２イメージ１４８は、検出されたコンポーネントに対応するオブジェクト１５０を、被選択コンポーネントとして選択可能に含む。図１２の例では、検出された３つのコンポーネントは、検出枠で囲まれて強調され、選択可能なオブジェクト１５０は吹き出しである。

図１３は、検出装置１の表示部１０４における関連情報の他の表示例を示す。図１３の例は、図１２の例で表示されている３つのコンポーネントのオブジェクト１５０の内、「リアディレーラ」を選択した場合の表示例である。「リアディレーラ」が選択された場合、検出された「リアディレーラ」に関する関連情報として「組立方法」、「組付方法」、「分解方法」、「調整方法」および「登録」の少なくとも１つを選択可能なメニュー１４６が吹き出しのオブジェクト１５０内に表示される。

図１４は、検出装置１の表示部１０４における関連情報の他の表示例を示す。図１４の例は、図１３の例で表示されているメニュー１４６でリアディレーラの「調整方法」が選択された場合の表示例である。「調整方法」が選択された場合、図１４に示すように、調整の手順を示す詳細情報が表示されている。第２実施形態では位置も検出されているため、ボルトの位置、チェーンを掛ける位置が第２イメージ１４８内で特定できるので、制御部１００は第２イメージ１４８上で、更に詳細な手順を示すグラフィック１５２を表示する。

ユーザはスマートフォンまたはタブレット端末を用い、コンピュータプログラム１Ｐを起動させることによって、人力駆動車のイメージから、人力駆動車の関連情報を手軽に取得することができる。第２実施形態の検出装置１は、コンポーネントが強調された第２イメージを表示するので、ユーザは、検出されたコンポーネントと、関連情報とを認識し易い。

（変形例）
変形例では、検出装置１は記憶部１０２に予め、コンポーネントの型番ごとに、適合するコンポーネントの組付け状態の画像を記憶している。変形例における検出装置１の制御部１００は、あらかじめ記憶部１０２に、同一の人力駆動車に搭載するコンポーネントとして相互に適合するか否かの適合状態に関する情報を、コンポーネントの型番に対応付けて記憶させている。

図１５および図１６は、変形例における検出装置１の処理手順の一例を示すフローチャートである。図１５および図１６のフローチャートに示す処理手順の内、第２実施形態の図１１のフローチャートに示した処理手順と共通する手順については同一のステップ番号を付して詳細な説明を省略する。

制御部１００は、ステップＳ１２３において、被検出コンポーネントの識別情報、検出範囲および確度を取得する（Ｓ１２３）。ステップＳ１２３において、制御部１００は、学習モデル１Ｍから複数の識別情報を取得してもよい。つまり制御部１００は、ステップＳ１０５およびステップＳ１２３の処理によって、第１イメージから複数の被検出コンポーネントを検出してもよい。

制御部１００は、ステップＳ１２３で取得した識別情報に対応する型番に対応付けて記憶部１０２に記憶してある組付け状態の画像を関連情報として読み出す（ステップＳ１４１）。ステップＳ１４１の処理は、ステップＳ１２３の後、ステップＳ１２５の第２イメージの作成に前後して実施されてよい。

制御部１００は、ステップＳ１２３で取得した被検出コンポーネントの識別情報と、ステップＳ１２１で受け付けた使用者の識別情報に対応付けられているコンポーネントの識別情報とを用い、人力駆動車に搭載されている複数のコンポーネント間の適合状態を関連情報として記憶部１０２から読み出す（ステップＳ１４３）。ステップＳ１２５およびステップＳ１０５において制御部１００が第１イメージから複数のコンポーネントを検出している場合、既に取得済みの使用者の識別情報に対応付けられているコンポーネントの識別情報を用いなくもよい。

制御部１００は、ステップＳ１４３で読み出した適合状態に基づき、複数のコンポーネントが適合しないか否かを判断する（ステップＳ１４５）。適合しないと判断された場合（Ｓ１４５：ＹＥＳ）、制御部１００は検出されたコンポーネントの置換品に関する情報を関連情報として記憶部１０２から読み出す（ステップＳ１４７）。

制御部１００は、被検出コンポーネントについて、ステップＳ１４１で読み出した組付け状態に関する情報を出力する（ステップＳ１２７）。ステップＳ１２３において、第１イメージから複数の被検出コンポーネントを検出している場合、制御部１００は、複数の被検出コンポーネント間の適合状態に関する情報を関連情報として出力してもよい。ステップＳ１２７において、制御部１００は、被検出コンポーネントの置換品に関する情報を含んでいてもよい。置換品に関する情報は、被検出コンポーネントを置換品に置き換える場合に必要となる他の部品に関する情報を含む。

ステップＳ１２７において出力される関連情報には、組付け状態に関してその良し悪しの診断結果が含まれてもよい。この場合、制御部１００は、コンポーネントの組付け状態について、コンポーネントを撮像した第１イメージから良し悪しを診断する。例えば制御部１００は、第１イメージを入力し、組付け状態の良し悪しを出力するように学習された学習済み診断モデルを用いて良し悪しを診断し、診断結果を、組付け状態に関する情報のひとつとして出力する。

このようにして、ユーザは人力駆動車のイメージから、コンポーネントの組付け状態の情報、複数のコンポーネント間の適合性に関する情報を手軽に取得することができる。

（第３実施形態）
第３実施形態において、検出対象の物体は、人力駆動車のフレームを含み、制御部１００は、第１イメージから前記フレームを被検出フレームとして検出する。第３実施形態では、第２実施形態と同様に学習モデル１Ｍは、第１イメージに写っている人力駆動車に関する物体の第１イメージ内での位置も出力するようにＳＳＤとして学習される。第３実施形態の構成は、学習モデル１Ｍの内容および制御部１００による処理内容以外は、第１実施形態または第２実施形態と同様であるから、共通する構成には同一の符号を付して詳細な説明を省略する。

図１７は、第３実施形態における学習モデル１Ｍの概要を示す図である。第３実施形態では、人力駆動車に関する事業者によって管理されるモデル作成装置にて、インターネットを介して収集された人力駆動車の一部を含む第１イメージに対し、第１イメージに写っている物体の識別情報をラベル付けした教師データに基づいて、学習モデル１Ｍが生成される。第３実施形態では、フレームのタイプおよび型番に対応付けられている識別情報によってラベル付けされた教師データを用いて学習モデル１Ｍが生成される。人力駆動車に関する事業者によって管理されるモデル作成装置にて、人力駆動車のフレームに関する設計用アプリケーションプログラムによって生成されるレンダリングイメージに基づく教師データによって、学習モデル１Ｍが生成されてもよい。

図１７に示した学習モデル１Ｍを用いた検出処理を、フローチャートを参照して説明する。第３実施形態では、上述したように、検出対象の物体は、人力駆動車のフレームを含み、制御部１００は人力駆動車のフレームを被検出フレームとして検出し、ライダーである使用者の身体情報を受け付け、推奨されるチェーンやコンポーネントの部品の情報を関連情報として出力する。

図１８は、第３実施形態の検出装置１による処理手順の一例を示すフローチャートである。スマートフォンである検出装置１を所持するユーザ、または検出装置１を所持する人力駆動車のメンテナンススタッフが、第３実施形態におけるコンピュータプログラム１Ｐを起動させると、制御部１００は以下の処理を実行する。

制御部１００は、人力駆動車を含む第１イメージを受け付ける（ステップＳ３０１）。ステップＳ３０１において、制御部１００は、撮像部１１２は起動させ、画像出力を受け付ける。あらかじめ撮像部１１２によって取得された第１イメージを記憶部１０２に記憶しておき、ステップＳ３０１において制御部１００が、選択された第１イメージを記憶部１０２から読みだすことで第１イメージを受け付けてもよい。

制御部１００は、受け付けた第１イメージを出力する（ステップＳ３０３）。ステップＳ３０３において制御部１００は、第１イメージを表示部１０４に表示させる。

制御部１００は、受け付けた第１イメージを学習済みの学習モデル１Ｍに入力する（ステップＳ３０５）。学習モデル１Ｍは、第１イメージの入力に応じて、検出されたフレームのタイプまたは型番に対応する識別情報、フレームの検出範囲、および確度を出力する。制御部１００は、学習モデル１Ｍから出力された識別情報、検出範囲および確度を取得する（ステップＳ３０７）。ステップＳ３０７では寸法も検出してよい。ステップＳ３０５およびステップＳ３０７において、制御部１００は、第１イメージから人力駆動車のフレームを被検出フレームとして検出する。

制御部１００は、ステップＳ３０７で取得した検出範囲の情報に含まれる第１イメージ内におけるフレームの検出位置、幅および高さに基づいて、被検出フレームが強調された第３イメージを作成する（ステップＳ３０９）。第３イメージは例えば、第１イメージ上のフレームに沿う線を重畳させて得られる。第３イメージは例えば、第１イメージ上のフレームを囲む枠を重畳させて得られる。第３イメージは例えば、フレームから出る吹き出しのグラフィックである。第３イメージは例えば、第１イメージ上のフレームの範囲を覆うように半透明のグラフィックを重畳させて得られる。第３イメージは文字列を含んでよい。

制御部１００は、ステップＳ３０７で取得した識別情報に対応するフレームの関連情報を記憶部１０２から読み出し（ステップＳ３１１）、読み出した関連情報と、被検出フレームが強調された第３イメージを出力する（ステップＳ３１３）。制御部１００は、関連情報と第３イメージを表示部１０４に表示させる。

制御部１００は、使用者の識別情報および使用者情報を受け付ける（ステップＳ３１５）。制御部１００は、表示部１０４の操作部１０６を介して使用者の識別情報および使用者情報を受け付けてもよいし、あらかじめ記憶部１０２に記憶されている使用者の識別情報および使用者情報を読み出してもよい。

身体情報が使用者の関節位置を含む場合、その位置の受け付けは以下のように行なわれる。使用者が対象の人力駆動車に乗っている状態を第三者、または使用者自身によって撮像する。撮像画像を検出装置１で取得する。撮像自体を検出装置１の撮像部１１２によって行なってもよい。検出装置１の制御部１００は、コンピュータプログラム１Ｐに基づき、撮像画像を表示部１０４に表示させた状態で、タッチパネル上で関節位置の選択を受け付ける。制御部１００は、別途関節位置を検出する任意の検出エンジンを用いて自動的に使用者の関節位置を検出してよい。

制御部１００は、関連情報として、ステップＳ３１５で受け付けた使用者の身体情報および属性情報の少なくとも１つと、ステップＳ３０７で検出した被検出フレームとに基づき推奨されるコンポーネントに関する情報を出力する（ステップＳ３１７）。記憶部１０２は、フレームの型番、使用者の身長または関節位置の情報と対応付けて推奨されるコンポーネントの型番を記憶しており、制御部１００は、記憶部１０２に記憶されている情報に基づき、推奨されるコンポーネントに関する情報を出力する。

制御部１００は、推奨コンポーネントに関する情報を、関連情報として出力する（ステップＳ３１９）。ステップＳ３１９において制御部１００は、関連情報を表示部１０４に表示させる。制御部１００は、被検出フレームの識別情報、および関連情報を使用者の識別情報に対応付けて記憶部１０２に記憶し（ステップＳ３２１）、処理を終了する。

制御部１００は、文字列およびグラフィックの少なくとも１つによって、関連情報を出力する。図１９は、検出装置１の表示部１０４における関連情報の表示例である。図１９には、表示部１０４に表示されているコンピュータプログラム１Ｐに基づくアプリ画面１４０の例が示されている。アプリ画面１４０には、ステップＳ３１３で表示部１０４に出力された第３イメージ１５４が含まれる。アプリ画面１４０には、第３イメージ１５４に重畳して、第３イメージ１５４に写っている被検出フレームに関する関連情報が文字列によって出力されている。図１９の例では、被検出フレームの型番および推奨されるコンポーネントの内容を含む関連情報が、文字列および矩形枠のグラフィックによって表示されている。

このような検出装置１によって、ユーザは、人力駆動車のイメージから、人力駆動車に含まれるフレームの関連情報を手軽に取得することができる。ユーザは、身体情報を入力することによって、自身の身体に適合したフレームおよびコンポーネントの情報を手軽に取得することができる。

（第４実施形態）
第４実施形態の検出装置１は、学習モデル１Ｍにおける検出の確度が所定値以下である場合に、写っているコンポーネントまたはフレームの識別情報の選択を受け付け、選択された識別情報をラベル付けした第４イメージによって学習モデル１Ｍを再学習させる。第４実施形態の構成は、制御部１００による処理内容以外は、第１実施形態と同様であるから、共通する構成には同一の符号を付して詳細な説明を省略する。

図２０は、第４実施形態における検出装置１による処理手順の一例を示すフローチャートである。図２０のフローチャートに示した処理手順の内、第１実施形態の図３のフローチャートに示した処理手順と共通する手順には同一のステップ番号を付して詳細な説明を省略する。

制御部１００が、受け付けた第１イメージを、ステップＳ１０５にて学習済みの学習モデル１Ｍに入力した場合、学習モデル１Ｍからは複数の識別情報と夫々に対応付けられる確度が出力される。第１実施形態で制御部１００は、最も確度が高い識別情報をステップＳ１０７で取得すればよい。第３実施形態では、最も高い確度が所定値以下である場合には、学習モデル１Ｍを再学習させる。制御部１００は、学習モデル１Ｍから出力される確度が所定値以下である場合、確度が高い順に物体の識別情報を複数出力し、選択された物体の識別情報をラベル付けした第４イメージによって、学習モデル１Ｍを学習させる。

制御部１００は、ステップＳ１０７で学習モデル１Ｍから出力される識別情報および確度の内、確度が所定値以下であるか否かを判断する（ステップＳ４０１）。確度が所定値以下でないと判断された場合（Ｓ４０１：ＮＯ）、制御部１００は処理をステップＳ１０９へ進める。

ステップＳ４０１で確度が所定値以下であると判断された場合（Ｓ４０１：ＹＥＳ）、制御部１００は、学習モデル１Ｍから出力される複数の識別情報を、確度の高い順に所定個数分選択し（ステップＳ４０３）、選択した複数の識別情報を出力する（ステップＳ４０５）。ステップＳ４０５において制御部１００は、複数の識別情報を表示部１０４に表示させる。ステップＳ４０５において出力される複数の識別情報は、学習モデル１Ｍから出力される識別情報に対応付けられているコンポーネントの名前、または型番等、ユーザが、コンポーネントが何であるかを認識できる情報である。

制御部１００は、ステップＳ４０５で出力した複数の識別情報からいずれかの選択を受け付け（ステップＳ４０７）、選択された物体の識別情報をラベル付けした第４イメージを作成する（ステップＳ４０９）。制御部１００は、作成された第４イメージを教師データとして、学習モデル１Ｍを再学習させ（ステップＳ４１１）、選択された識別情報に対応する関連情報を読み出し（ステップＳ４１３）、処理をステップＳ１１１へ進める。

このようにイメージから学習モデルによって出力された確度が所定値以下である場合には、候補の選択を受け付けて学習モデルが再学習され、検出の精度が高まる。

（第５実施形態）
第５実施形態では、関連情報は、検出装置１が通信接続可能なサーバ装置２に記憶されており、検出装置１はサーバ装置２から関連情報を取得する。図２１は、第５実施形態における検出装置１およびサーバ装置２を含むシステムの構成を示すブロック図である。第５実施形態における検出装置１の構成の一部は、第１実施形態と同様であるから、共通する構成には同一の符号を付して詳細な説明を省略する。

第５実施形態の検出装置１は、制御部１００、記憶部１０２、表示部１０４、通信部１０８、入出力部１１０、および撮像部１１２を備える。

第５実施形態の検出装置１の記憶部１０２には、関連情報が記憶されていない。関連情報はサーバ装置２にて記憶されたものが使用される。記憶部１０２には、スマートフォンである検出装置１のユーザの人力駆動車の走行履歴が記憶されている。記憶部１０２には、人力駆動車の走行環境を示す走行環境情報が記憶される。走行環境は、位置情報によって特定される走行路面の種類、天候の情報を含む。走行履歴および走行環境は第１例では、人力駆動車のサイクルコンピュータから入出力部１１０または他の無線通信モジュールによって取得された情報である。走行履歴および走行環境は、検出装置１の制御部１００が他のコンピュータプログラムに基づいて測定して得られるものであってもよい。

第５実施形態の検出装置１の通信部１０８は、Wi-Fi に対応する無線通信デバイスを用い、公衆通信網Ｎへ、アクセスポイントＡＰを介して接続してもよい。通信部１０８は、キャリアネットワークＮ２を介した通信を実現するキャリア通信用モジュールであってよい。

サーバ装置２は、サーバコンピュータを用いる。サーバ装置２は、制御部２０、記憶部２２、および通信部２４を備える。サーバ装置２は１台のサーバコンピュータとして説明するが、複数のサーバコンピュータで機能または処理を分散させてもよい。

制御部２０は、ＣＰＵまたはＧＰＵを用いたプロセッサである。制御部２０は、内蔵するＲＯＭおよびＲＡＭ等のメモリを用いて処理を実行する。

記憶部２２は、例えばハードディスクまたはＳＳＤ（Solid State Drive ）等の不揮発性メモリを含む。記憶部２２には、サーバプログラム２Ｐが記憶されている。制御部２０は、サーバプログラム２Ｐを読み出して実行する。

記憶部２２は、関連情報データベースＤＢ１と、使用者識別情報データベースＤＢ２と、イメージデータベースＤＢ３を含む。関連情報データベースＤＢ１は、検出されるコンポーネントまたはフレームに関連する情報を含む。より具体的には、関連情報データベースＤＢ１は、コンポーネントの種類、型番、スペック、組立方法、組付方法、分解方法、調整方法、置換品、コンポーネント同士の適合性、フレームとコンポーネントとの適合性に関する情報を含む。関連情報データベースＤＢ１には、コンポーネントメーカ、フレームメーカから提供される情報のほか、人力駆動車の販売店、コンポーネント販売店、およびフレーム販売店のスタッフ、メンテナンススタッフから収集された適合性の情報が含まれてよい。使用者識別情報データベースＤＢ２は、人力駆動車の使用者の名前、ニックネーム、ユーザＩＤ、および電子メールアドレスに関する情報を含む。イメージデータベースＤＢ３は、人力駆動車を含むイメージに関する情報を含む。

通信部２４は、公衆通信網Ｎへの通信接続を実現する通信モジュールである。通信部２４は、有線接続のためのネットワークカードである。制御部２０は、通信部２４によって検出装置１との間で情報を送受信する。

図２２および図２３は、第５実施形態における処理手順の一例を示すフローチャートである。スマートフォンである検出装置１を所持するユーザ、または検出装置１を所持する人力駆動車のメンテナンススタッフが、コンピュータプログラム１Ｐを起動させると、制御部１００は以下の処理を実行する。

制御部１００は、記憶部１０２に記憶されている人力駆動車の走行履歴に基づき、前記第１イメージの入力を使用者に促すための情報を、表示部１０４に出力する（ステップＳ５０１）。ステップＳ５０１の出力先は、表示部１０４に限られず、検出装置１が備える音声入出力部を用いて音声出力してもよい。

制御部１００は、人力駆動車を含む第１イメージを受け付ける（ステップＳ５０３）。ステップＳ５０３において、制御部１００は、撮像部１１２は起動させ、画像出力を受け付ける。あらかじめ撮像部１１２によって取得された第１イメージを記憶部１０２に記憶しておき、ステップＳ１０１において制御部１００が、選択された第１イメージを記憶部１０２から読みだすことで第１イメージを受け付けてもよい。

制御部１００は、受け付けた第１イメージを出力する（ステップＳ５０５）。ステップＳ５０５において制御部１００は、第１イメージを表示部１０４に表示させる。

制御部１００は、受け付けた第１イメージを学習済みの学習モデル１Ｍに入力する（ステップＳ５０７）。学習モデル１Ｍは、第１イメージの入力に応じて、コンポーネントを検出し、被検出コンポーネントの型番に対応する識別情報および確度を出力する。制御部１００は、学習モデル１Ｍから出力された識別情報および確度を取得する（ステップＳ５０９）。ステップＳ５０７およびステップＳ５０９によって制御部１００は、第１イメージから人力駆動車のコンポーネントを被検出コンポーネントとして検出する。制御部１００は、取得した識別情報を含む関連情報の読み出し依頼を通信部１０８からサーバ装置２へ送信する（ステップＳ５１１）。

サーバ装置２は、関連情報の読み出し依頼を通信部２４によって受信し（ステップＳ２０１）、制御部２０は、読み出し依頼に含まれるコンポーネントの識別情報に対応するコンポーネントの関連情報を記憶部２２から読み出す（ステップＳ２０３）。ステップＳ２０３において制御部２０は、記憶部２２に記憶されているコンポーネントのスペック情報から、メンテナンススタッフによって得られる関連情報を含む多様な情報を読み出してよい。制御部２０は、読み出した関連情報を検出装置１へ送信する（ステップＳ２０５）。

検出装置１は、サーバ装置２から送信された関連情報を受信し（ステップＳ５１３）、制御部１００は、ステップＳ５０９によって検出された識別情報に対応するコンポーネントについて関連情報を表示部１０４に出力する（ステップＳ５１５）。

制御部１００は、出力しているコンポーネントのいずれかの選択を受け付け（ステップＳ５１７）、選択されたコンポーネントに対するメニュー１４６によって登録操作を受け付ける（ステップＳ５１９）。制御部１００は、通信部１０８を介して、選択されたコンポーネント、すなわち被検出物体の識別情報を、関連情報と対応付けて外部（サーバ装置２）に出力する（ステップＳ５２１）。

制御部１００は、通信部１０８を介して、選択されたコンポーネント、すなわち被検出物体の識別情報を、使用者の識別情報と対応付けて外部（サーバ装置２）に出力する（ステップＳ５２２）。

制御部１００は、選択されたコンポーネントに対し、ステップＳ５０３で受け付けた第１イメージを、記憶部１０２に記憶してある人力駆動車の走行履歴と対応付けて外部（サーバ装置２）に出力する（ステップＳ５２３）。

制御部１００は、選択されたコンポーネントに対し、ステップＳ５０３で受け付けた第１イメージを、記憶部１０２に記憶してある人力駆動車の走行環境と対応付けて外部（サーバ装置２）に出力する（ステップＳ５２５）

ステップＳ５２３およびステップＳ５２５の処理手順は必須ではなく、いずれか一方のみ実施されてもよい。

サーバ装置２では、関連情報と対応付けられた被検出物体（被検出コンポーネント）の識別情報を受信し（ステップＳ２０７）、使用者の識別情報と対応付けられた被検出物体（被検出コンポーネント）の識別情報を受信する（ステップＳ２０８）。制御部２０は、被検出物体（被検出コンポーネント）の識別情報を関連情報に対応付けて記憶部２２の関連情報データベースＤＢ１に記憶し（ステップＳ２０９）、被検出物体（被検出コンポーネント）の識別情報を使用者の識別情報に対応付けて記憶部２２の使用者識別情報データベースＤＢ２に記憶する（ステップＳ２１０）。

制御部２０は、走行履歴と対応付けられた第１イメージを受信し（ステップＳ２１１）、走行環境と対応付けられた第１イメージを受信する（ステップＳ２１３）。制御部２０は、記憶部２２のイメージデータベースＤＢ３に、走行履歴と対応付けられた第１イメージを、ステップＳ２０８で受信した使用者の識別情報と対応付けて記憶し（ステップＳ２１５）、走行環境と対応付けられた第１イメージを、ステップＳ２０８で受信した使用者の識別情報と対応付けて記憶する（ステップＳ２１６）。制御部２０は、登録完了を検出装置１へ通知し（ステップＳ２１７）、処理を終了する。

検出装置１では、登録通知を受信すると（ステップＳ５２７）、登録完了を表示部１０４に出力し（ステップＳ５２９）、処理を終了する。

ステップＳ２１５において、走行履歴すなわちどれほど人力駆動車が走行したのかの情報と対応付けて第１イメージがサーバ装置２で記憶される。ステップＳ２１５で記憶された情報は、どれほど消耗したかをユーザに知らせるために使用できる。ステップＳ２１５で記憶された情報は、消耗したり汚れたりしたコンポーネントの第１イメージを、新品のコンポーネントの第１イメージとは別に教師データとして用いて学習モデル１Ｍを再学習させるために使用してもよい。

ステップＳ２１６において、走行環境すなわちどのような環境で人力駆動車が走行したのかの情報と対応付けて第１イメージがサーバ装置２で記憶される。ステップＳ２１６で記憶された情報は、コンポーネントの第１イメージを走行環境別の教師データとして用いて学習モデル１Ｍを再学習させるために使用してもよい。

第５実施形態では、コンポーネントの検出に関して説明したが、フレーム検出についても同様の処理が可能である。

第５実施形態では、サーバ装置２に関連情報が記憶されており、サーバ装置２から関連情報が読み出される構成として説明した。学習モデル１Ｍもサーバ装置２にて記憶され、検出装置１は学習モデル１Ｍから出力される識別情報の情報を取得して検出処理に用いてもよい。この場合、サーバ装置２で、複数の検出装置１から収集した第１イメージによって学習モデル１Ｍを更新し、より精度よく検出することが期待される。

１…検出装置、１００…制御部、１０２…記憶部、１０４…表示部、１０６…操作部、１０８…通信部、１１０…入出力部、１１２…撮像部、１Ｐ…コンピュータプログラム、１Ｍ…学習モデル、２…サーバ装置、２０…制御部、２２…記憶部、２４…通信部、２Ｍ…学習モデル、５…記憶媒体、５Ｐ…コンピュータプログラム、５Ｍ…学習モデル

Claims (38)

1. 人力駆動車の少なくとも一部が含まれる第１イメージから前記人力駆動車のコンポーネントを被検出コンポーネントとして検出し、前記被検出コンポーネントに関する関連情報として、前記被検出コンポーネントの識別情報に対応付けて記憶されている組付け状態のイメージに基づき、前記被検出コンポーネントの前記人力駆動車への組み付けの適否を示す情報を出力する制御部を備える検出装置。
2. 前記制御部は、イメージの入力に応じて前記被検出コンポーネントの識別情報および前記被検出コンポーネントである確度を出力するように学習された学習モデルによって、前記コンポーネントを検出する、請求項１に記載の検出装置。
3. 前記制御部は、前記関連情報と、前記被検出コンポーネントが強調された第２イメージと、を出力する、請求項１に記載の検出装置。
4. 前記関連情報は、前記被検出コンポーネントに関連するコンポーネント情報を含む、請求項１から３のいずれか一項に記載の検出装置。
5. 前記コンポーネント情報は、前記被検出コンポーネントの種類に関する情報、前記被検出コンポーネントのスペックに関する情報、前記被検出コンポーネントの組立方法に関する情報、前記被検出コンポーネントの組付方法に関する情報、前記被検出コンポーネントの分解方法に関する情報、前記被検出コンポーネントの調整方法に関する情報、および、前記被検出コンポーネントの置換品に関する情報の少なくとも１つに関する情報を含む、請求項４に記載の検出装置。
6. 前記組付方法に関する情報は、前記被検出コンポーネントを前記人力駆動車に組み付けるための部品に関する情報、および前記被検出コンポーネントの組み付けに必要な工具に関する情報のうちの少なくとも１つを含む、請求項５に記載の検出装置。
7. 前記置換品に関する情報は、前記被検出コンポーネントを前記置換品に置き換える場合に必要となる他の部品に関する情報を含む、請求項５または６に記載の検出装置。
8. 前記制御部は、前記第１イメージから複数の前記被検出コンポーネントを検出し、複数の前記被検出コンポーネント間の適合状態に関する情報を前記関連情報として出力する、請求項１から７のいずれか一項に記載の検出装置。
9. 前記制御部は、
   前記第１イメージから前記人力駆動車のフレームを被検出フレームとして検出し、
   前記被検出フレームへの前記被検出コンポーネントの組付けの適否を示す情報を出力する、請求項１から８のいずれか一項に記載の検出装置。
10. 前記制御部は、前記関連情報と、前記被検出フレームが強調された第３イメージと、を出力する、請求項９に記載の検出装置。
11. 前記制御部は、前記関連情報として、前記人力駆動車の使用者の身体情報および属性情報の少なくとも１つを含む使用者情報と、前記被検出フレームと、に基づき推奨されるコンポーネントに関する情報を出力する、請求項９または１０に記載の検出装置。
12. 前記身体情報は、前記使用者の関節位置に関する情報を含む、請求項１１に記載の検出装置。
13. 前記制御部は、文字列およびグラフィックの少なくとも１つによって、前記関連情報を出力する、請求項１から１２のいずれか一項に記載の検出装置。
14. 前記制御部から出力される情報を表示する表示部をさらに備える、請求項１から１３のいずれか一項に記載の検出装置。
15. 前記表示部は、前記関連情報を、被選択関連情報として選択する入力を受け付け、
    前記制御部は、前記被選択関連情報の詳細情報を出力する、請求項１４に記載の検出装置。
16. 前記表示部は、前記被検出コンポーネントが強調された第２イメージにおいて、前記被検出コンポーネントを、被選択コンポーネントとして選択可能に構成され、
    前記制御部は、前記被選択コンポーネントの関連情報を出力する、請求項１４または１５に記載の検出装置。
17. 前記制御部から出力される情報を記憶する記憶部をさらに備える、請求項１から１６のいずれか一項に記載の検出装置。
18. 前記制御部は、前記被検出コンポーネントの識別情報を、前記関連情報と対応付けて前記記憶部に記憶させる、請求項１７に記載の検出装置。
19. 前記制御部は、前記被検出コンポーネントの識別情報を、前記人力駆動車の使用者の識別情報と対応付けて前記記憶部に記憶させる、請求項１７または１８に記載の検出装置。
20. 前記制御部は、前記被検出コンポーネントの識別情報を、前記関連情報と対応付けて外部に出力する、請求項１から１９のいずれか一項に記載の検出装置。
21. 前記制御部は、前記被検出コンポーネントの識別情報を、前記人力駆動車の使用者の識別情報と対応付けて外部に出力する、請求項１から２０のいずれか一項に記載の検出装置。
22. 前記制御部は、前記人力駆動車の走行履歴に基づき、前記第１イメージの入力を使用者に促すための情報を出力する、請求項１から２１のいずれか一項に記載の検出装置。
23. 前記制御部は、前記第１イメージを、前記人力駆動車の走行履歴と対応付けて外部に出力する、請求項１から２２のいずれか一項に記載の検出装置。
24. 前記制御部は、前記第１イメージを、前記人力駆動車の走行環境を示す走行環境情報と対応付けて外部に出力する、請求項１から２３のいずれか一項に記載の検出装置。
25. 前記制御部は、インターネットを介して収集された人力駆動車の一部を含むイメージに対し、前記イメージに写っているコンポーネントの識別情報をラベル付けした教師データによって、前記学習モデルを学習させる、請求項２に記載の検出装置。
26. 前記制御部は、人力駆動車のフレームおよびコンポーネントの少なくとも１つに関する設計用アプリケーションプログラムによって生成されるレンダリングイメージに基づく教師データによって、前記学習モデルを学習させる、請求項２に記載の検出装置。
27. 前記制御部は、人力駆動車のフレームおよびコンポーネントの少なくとも１つを、複数の異なる角度から見たときの複数のイメージを含む教師データによって、前記学習モデルを学習させる、請求項２に記載の検出装置。
28. 前記制御部は、前記学習モデルから出力される確度が所定値以下である場合、確度が高い順に前記コンポーネントの識別情報を複数出力し、選択された物体の識別情報をラベル付けした第４イメージによって、前記学習モデルを学習させる、請求項２に記載の検出装置。
29. 人力駆動車の少なくとも一部が含まれる第１イメージから前記人力駆動車に関する物体を被検出物体として検出し、前記被検出物体に関する関連情報を出力する制御部を備え、
    前記物体は、前記人力駆動車のフレームを含み、
    前記制御部は、前記第１イメージから前記フレームを被検出フレームとして検出し、
    前記関連情報として、前記人力駆動車の使用者の身体情報および属性情報の少なくとも１つを含む使用者情報と、前記被検出フレームと、に基づき推奨されるコンポーネントに関する情報を出力する、検出装置。
30. 前記身体情報は、前記使用者の関節位置に関する情報を含む、請求項２９に記載の検出装置。
31. 前記関連情報は、前記被検出コンポーネントに対応する型番情報を含む、請求項１に記載の検出装置。
32. 人力駆動車の少なくとも一部が含まれる第１イメージから前記人力駆動車のコンポーネントを被検出コンポーネントとして検出し、
    前記被検出コンポーネントに関する関連情報として、前記被検出コンポーネントの識別情報に対応付けて記憶されている組付け状態のイメージに基づき、前記被検出コンポーネントの前記人力駆動車への組み付けの適否を示す情報を出力する、処理を含む検出方法。
33. 人力駆動車の少なくとも一部が含まれる第１イメージから前記人力駆動車のフレームを被検出フレームとして検出し、
    前記被検出フレームに関する関連情報として、前記人力駆動車の使用者の身体情報および属性情報の少なくとも１つを含む使用者情報と、前記被検出フレームと、に基づき推奨されるコンポーネントに関する情報を出力する、処理を含む検出方法。
34. 前記関連情報は、前記被検出コンポーネントに対応する型番情報を含む、請求項３２に記載の検出方法。
35. コンピュータに、
    人力駆動車の少なくとも一部が含まれる第１イメージから前記人力駆動車のコンポーネントを被検出コンポーネントとして検出し、
    前記被検出コンポーネントに関する関連情報として、前記被検出コンポーネントの識別情報に対応付けて記憶されている組付け状態のイメージに基づき、前記被検出コンポーネントの前記人力駆動車への組み付けの適否を示す情報を出力する、処理を実行させるコンピュータプログラム。
36. 請求項３５に記載のコンピュータプログラムが記憶された、コンピュータが読み取り可能な記憶媒体。
37. コンピュータに、
    人力駆動車の少なくとも一部が含まれる第１イメージから前記人力駆動車のフレームを被検出フレームとして検出し、
    前記被検出フレームに関する関連情報として、前記人力駆動車の使用者の身体情報および属性情報の少なくとも１つを含む使用者情報と、前記被検出フレームと、に基づき推奨されるコンポーネントに関する情報を出力する、処理を実行させるコンピュータプログラム。
38. 前記関連情報は、前記被検出コンポーネントに対応する型番情報を含む、請求項３５に記載のコンピュータプログラム。

Images