JP7331509B2 - ボルト検査装置、ボルト検査システム、ボルト検査方法及びプログラム - Google Patents

Description

本発明は、ボルトの締付け状態を検査するためのボルト検査装置、ボルト検査システム、ボルト検査方法及びプログラムに関する。

構造物、設備、機械等には、部材を接合するためにボルトが用いられる。例えば橋梁等の構造物には、構造用鋼材を接合するために高力ボルトが用いられる。高力ボルトの締め付けは、一次締め、マーキング、本締めの順序で行われる。図１３（ａ）に示すように、一次締めは、所定のトルク値でナット６１を回転させて行う。一次締めが終わったボルトには、マーキング６２が付けられる。マーキング６２は、ボルト６３、ナット６１、座金６４及び母材６５にかけて付けられる。図１３（ｂ）に示すように、本締めは、所定のボルト張力が得られるように、専用のレンチを用いてボルト６３のピンテール６３ａ（図１３（ａ）参照）が破断するまで締め付けることにより行われる。図１３（ｂ）には、ピンテール６３ａが破断された後のボルト６３を示す。正常に一次締めが行われると、本締めでは、ボルト６３、座金６４が回転することなくナット６１のみが回転する。

締付け完了後には、ボルトの締付け状態が検査される。正常に一次締め、本締めが行われると、図１３（ｂ）に示すように、ボルト６３、座金６４、母材６５のマーキング６２ａの角度が一致し、ナット６１のマーキング６２ｂの角度のみがずれる。このため、一次締めの際に付けたマーキング６２ａ，６２ｂのずれ、ピンテール６３ａの破断の有無等により、ボルトの締付け状態を検査することができる。

ところで、従来からボルトの締付け状態の検査は、目視により行われていた。しかし、構造物には多数のボルトが使用されているので、ボルトを１つずつ検査するのは手間と時間がかかる。この問題を解決するために、特許文献１には、ボルトをカメラにより撮影し、カメラで撮影した画像に基づいてボルトの締付け状態を自動的に判定するボルト検査装置が開示されている。この検査装置は、撮影した画像に基づいてボルト、ナット、座金及び母材に付けたマーキングのマーキング角度を検出するマーキング角度算出部と、検出したマーキング角度に基づいて、締付け状態を判定する判定部と、を備える。

特開２０１８－９９３２号公報

しかし、従来のボルト検査装置においては、カメラでボルトを撮影する際の撮影角度によっては、マーキングを検出できないという課題がある。例えば、ボルトを真正面（ボルトの中心線の方向）から撮影した場合、座金のマーキングがナットの裏に隠れてしまい、座金のマーキングを検出できない。マーキングを検出できないと、ボルトの締付け状態を検査したくても検査することができない。このため、ボルトの締付け状態の検査業務の効率化を図れない。

本発明は、このような事情に鑑みてなされたもので、ボルトの締付け状態の検査業務の効率化を図ることを目的とする。

上記課題を解決するために、本発明の一態様は、高力ボルトの締付け状態を検査するためのボルト検査装置であって、取り込まれた高力ボルトの動画像から複数の静止画像を抽出し、各静止画像から個々の高力ボルトのボルト画像を検出するボルト検出部と、検出された前記ボルト画像に位置情報を付与するボルトタグ付け部と、同一の高力ボルトを撮影した複数の前記ボルト画像を、ボルト画像から高力ボルトの締付け状態を判定するための機械学習を行った学習済みの学習モデルに取り込むことで、高力ボルトの締付け判定を行うボルト検査部と、を備え、前記ボルト検査部は、ナット、ボルト、座金、母材の少なくとも一つのマーキングを検出できなかった状態を判定する診断不能判定部を含むボルト検査装置である。

本発明の他の態様は、高力ボルトの締付け状態を検査するボルト検査方法であって、取り込まれた高力ボルトの動画像から複数の静止画像を抽出し、各静止画像から個々の高力ボルトのボルト画像を検出するボルト検出ステップと、検出された前記ボルト画像に位置情報を付与するボルトタグ付けステップと、同一の高力ボルトを撮影した複数の前記ボルト画像を、ボルト画像から高力ボルトの締付け状態を判定するための機械学習を行った学習済みの学習モデルに取り込むことで、高力ボルトの締付け判定を行うボルト検査ステップと、を備え、前記ボルト検査ステップは、ナット、ボルト、座金、母材の少なくとも一つのマーキングを検出できなかった状態を判定する診断不能判定ステップを含むボルト検査方法である。

本発明によれば、ボルトの締付け状態の検査業務の効率化を図ることができる。

本発明の一実施形態のボルト検査システムの全体構成図である。 本実施形態のボルト検査装置の機能ブロック図である。 本実施形態のボルト検査装置の処理のフローチャートである。 ボルト検出部の処理のフローチャートである。 ボルト検出部の第１学習モデルの概念図である ボルトタグ付け部の処理のフローチャートである。 検査員による動画の撮影方法を示す模式図である。 ボルト画像に付与された位置情報の概念図である。 ボルト検査部の処理のフローチャートである。 ボルト検査の判定基準を示す図である。 第２学習モデルの一例である座金裏返し判定学習モデルの概念図である。 端末の表示装置に表示される画像の一例を示す図である。 図１３（ａ）は一次締めの状態のボルトの斜視図であり、図１３（ｂ）は本締めの状態のボルトの斜視図である。

以下、添付図面を参照して、本発明の実施形態のボルト検査装置及び方法、並びにボルト検査システムを詳細に説明する。ただし、本発明のボルト検査装置、ボルト検査システムは種々の形態で具体化することができ、明細書に記載される実施形態に限定されるものではない。本実施形態は、明細書の開示を十分にすることによって、当業者が発明を十分に理解できるようにする意図をもって提供されるものである。
（ボルト検査システムの構成）

図１を参照して、本発明の一実施形態のボルト検査システム４０のハードウェア構成を説明する。本実施形態のボルト検査システム４０は、端末２２と、ボルト検査装置１と、を備える。端末２２は、タブレット、スマートフォン等のカメラ４３付きの携帯情報端末である。ボルト検査装置１は、管理センターのクラウド環境上に設けられるコンピュータである。端末２２とボルト検査装置１との間は、端末・ボルト検査装置間通信機能で接続される。通信機能は、インターネットや内部ネットワークによって構成される。

ボルト検査作業の全体の流れは、以下のとおりである。検査員は、端末２２のカメラ４３を用いてボルトの動画像と静止画像を撮影する。撮影した動画像と静止画像は、端末・ボルト検査装置間通信機能を介してボルト検査装置１に送信される。ボルト検査装置１は、取り込まれた動画像と静止画像に基づいてボルトの締付け状態の判定を行い、判定結果を出力する。ボルト検査装置１が出力する判定結果は、端末・ボルト検査装置間通信機能を介して端末２２に送信される。端末２２の表示装置には、ボルト検査装置１が出力する判定結果が表示される。
（端末の構成）

端末２２のハードウェア構成を説明する。図１に示すように、端末２２は、ＣＰＵ４２、撮影装置としてのカメラ４３、記憶装置４４、通信インターフェース４１、ユーザインターフェース４５を有する。ＣＰＵ４２は、記憶装置４４に格納されたプログラムを実行する。記憶装置４４は、ＲＯＭとＲＡＭを含む。ＲＯＭは、不変のプログラム（ＢＩＯＳ）等を格納する。ＲＡＭは、ＣＰＵ４２が実行するプログラム及びプログラムの実行時に使用されるデータを一次的に格納する。カメラ４３は、ボルトの動画像と静止画像を撮影する。通信インターフェース４１は、所定のプロトコルにしたがってボルト検査装置１との通信を制御する。カメラ４３が撮影した画像は、通信インターフェース４１を介してボルト検査装置１に送信される。ユーザインターフェース４５は、ユーザに入出力機能を提供する。入力機能は、ユーザからの入力を受けるタッチパネル等の入力インターフェースである。出力機能は、プログラムの実行結果をオペレータが視認可能な形式で出力する表示装置２２ａ等の出力インターフェースである。
（ボルト検査装置の構成）

ボルト検査装置１のハードウェア構成を説明する。ボルト検査装置１は、ＣＰＵ５２、ＧＰＵ５３、記憶装置３、補助記憶装置５５、通信インターフェース５１を有する。ＣＰＵ５２は、記憶装置３に格納されたプログラムを実行し、取り込まれたボルトの動画像と静止画像に基づいてボルトの締付け状態の検査の処理を行う。ＧＰＵ５３は、検査の処理のための画像処理を行う。記憶装置３は、ＲＯＭとＲＡＭを含む。ＲＯＭは、不変のプログラム（ＢＩＯＳ）等を格納する。ＲＡＭは、ＣＰＵ５２が実行するプログラム及びプログラムの実行時に使用されるデータを一次的に格納する。

ボルト検査装置１は、補助記憶装置５５を有する。補助記憶装置５５は、磁気記録装置（ＨＤＤ）、半導体記憶装置（ＳＳＤ）等の大容量の記憶装置から構成される。補助記憶装置５５は、端末２２から受信した画像データや各種の学習モデルを記録するデータベースを格納する。通信インターフェース５１は、所定のプロトコルにしたがって端末２２との通信を制御する。ボルトの締付け状態の判定結果は、端末２２に送信される。

ボルト検査装置１は、入力インターフェースと出力インターフェースを有してもよい。入力インターフェースには、キーボードやマウスが接続され、ユーザからの入力を受け付ける。出力インターフェースには、表示装置やプリンタが接続され、プログラムの実行結果をオペレータが視認可能な形式で出力する。ＣＰＵ５２が実行するプログラムは、リムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリ等）又はネットワークを介してボルト検査装置１に提供される。
（ボルト検査装置の機能）

ボルト検査装置１の機能を説明する。図２は、ボルト検査装置１の機能ブロック図を示す。図２の機能ブロック図の各部は、制御部２（図１のＣＰＵ、ＧＰＵ等のプロセッサ５２，５３）が記憶装置３に記録されているプログラムを読みだして実行することにより実現される。

本実施形態のボルト検査装置１は、橋梁の構造用鋼材を接合する高力ボルト（以下、単にボルトという）の締付け状態を検査する。上記のように、ボルトは、端末２２のカメラ４３によって撮影される。撮影されたボルトの動画像と静止画像は、ボルト検査装置１に取り込まれる。動画像は、時系列的に出力される３０枚／秒、５０枚／秒等の静止画像から構成される。動画像は、カメラ４３の位置を移動させながらボルトを撮影した動画像であり、ボルトを異なる角度から撮影した複数の静止画像を含む。

ボルトには、橋梁のウェブ部に取り付けられるボルトと橋梁のフランジ部に取り付けられるボルトがある。一般的にウェブ部のボルトの数はフランジ部のボルトの数よりも多い。本実施形態では、端末２２のカメラ４３によってウェブ部のボルトを動画像で撮影し、フランジ部のボルトを静止画像で撮影する。なお、ウェブ部のボルトとフランジ部のボルトを動画像で撮影してもよい。

端末２２のカメラ４３によってボルトを撮影する替わりに、ドローン等の無人飛行機に搭載された撮影装置によりボルトを撮影してもよい。また、昇降・水平移動可能なロボットに搭載された撮影装置によりボルトを撮影してもよい。これらの撮影装置によって撮影された動画像と静止画像は、端末２２と同様にボルト検査装置１に送信される。

図２に示すように、ボルト検査装置１は、ボルト検出部４と、ボルトタグ付け部５と、ボルト検査部７と、を備える。ウェブ部を撮影したボルトの動画像は、ボルト検出部４に取り込まれる。

図３は、ボルト検査装置１の処理のフローチャートである。図３に示すように、ボルト検出部４は、入力動画像から複数の静止画像１６（図５参照）を抽出し、各静止画像１６から個々のボルトのボルト画像２７（図８参照）を検出する（Ｓ１）。

検出されたボルト画像２７は、ボルトタグ付け部５に取り込まれる。ボルトタグ付け部５では、検出されたボルト画像２７に位置情報を付与する（Ｓ２）。具体的には、ボルトタグ付け部５は、検出されたボルト画像２７に採番を行い、個々のボルト画像２７に行番号と列番号を付与する（図８参照）。

位置情報が付与されたボルト画像２７は、ボルト検査部７に取り込まれる。ボルト検査部７では、同一のボルトを撮影した複数のボルト画像２７に基づいてボルトの締付け状態の判定を行う（Ｓ３）。

一枚のボルト画像２７は、一つの撮影角度から撮影した画像である。一枚のボルト画像２７からボルトの締付け状態を判定しようとしても、マーキングが隠れていて、マーキングを検出できない場合がある。そこで、本実施形態においては、撮影角度が異なる複数（例えば１０枚、２０枚等）のボルト画像２７に基づいてボルトの締付け状態を判定するので、ボルトの締付け状態を判定できる可能性を飛躍的に高めることができる。このため、多数のボルトの締付け状態をほぼ漏れなく判定できるようになる。また、ボルトの形状はどのボルトも似ていて、ボルト画像２７からどのボルトを撮影したのかを認識することは困難である。しかしながら、ボルトタグ付け部５によってボルト画像２７に位置情報を付与することで、複数のボルト画像２７が同一のボルトを撮影したものであることを保証することができる。

再び図２に戻り、ボルト検査部７は、前処理部８と、判定部９と、代表画像選択部１０と、を備える。前処理部８は、ボルト画像２７に対して特徴量を浮き彫りにさせるための前処理を行う。例えば前処理部８は、ボルト画像２７を２値化する。なお、判定部９の判定内容によっては、前処理部８を省略してもよい。

判定部９は、前処理部８によって前処理されたボルト画像２７に基づいて、ボルトの締付け状態の各検査項目を判定する。例えば、判定部９は、座金の裏表の異常の有無を判定する座金裏返し判定部９ａと、ナットの裏表の異常の有無を判定するナット裏返し判定部９ｂと、座金の供廻りの有無を判定する座金の供廻り判定部９ｃと、マーキングの付け忘れの有無を判定するマーキング忘れ判定部９ｄと、ナットの締め忘れの有無を判定する締め忘れ判定部９ｅと、ピンテールの切り忘れの有無を判定するピンテール切断不良判定部９ｆと、正常に締付けが行われたことを判定する正常締付け判定部９ｇ部と、を備える。判定部９ａ～９ｇは、後述する第２学習モデル３１（図１１参照）によって構成される。

代表画像選択部１０は、第２学習モデル３１の判定結果の確信度が最も高い代表ボルト画像を選択する。代表ボルト画像は、記憶装置３に記録される。

判定部９の判定結果は、表示制御部１１に取り込まれる。表示制御部１１の判定結果出力部１１ａは、ボルトの配列に合わせてボルトを模した画像を表示させると共に、ボルトの締付け判定の結果を表示させる。表示制御部１１の帳票出力部１１ｂは、表示装置に帳票（図示せず）を表示させる。表示装置は、例えばボルトを撮影した端末２２の表示装置２２ａ（図１２参照）、現場事務所のパソコンの表示装置等である。

また、フランジ部を撮影したボルトの静止画像は、ボルト検出部１２に取り込まれる。ボルト検出部１２は、ボルト検出部４と同様に、取り込まれたボルトの静止画像から個々のボルトのボルト画像を検出する。ボルト検出部１２によって検出されたボルト画像は、ボルトタグ付け部１３に取り込まれる。ボルトタグ付け部１３は、ボルトタグ付け部５と同様に、検出されたボルト画像に位置情報を付与する。タグ付けされたボルト画像は、ボルト検査部７に取り込まれる。ボルト検査部７は、動画像から検出したボルト画像２７と同様に、静止画像から検出したボルト画像（図示せず）に基づいて、ボルトの締付け状態を判定する。

以下に、ボルト検出部４、ボルトタグ付け部５、ボルト検査部７の詳細を順番に説明する。
（ボルト検出部）

図４は、ボルト検出部４の処理のフローチャートである。ボルト検出部４には、ボルトを撮影した動画像が取り込まれる（Ｓ１１）。ボルト検出部４は、取り込まれた動画像から所定の時間間隔毎に複数の静止画像１６（図５参照）を抽出する（Ｓ１２）。次に、ボルト検出部４は、個々のボルトのボルト画像２７を検出するための機械学習を行った学習済みの第１学習モデル１８（図５参照）に１枚目の静止画像１６を取り込む（Ｓ１３）。１枚目の静止画像１６を第１学習モデル１８に取り込むことにより、個々のボルトのボルト画像２７が検出される（Ｓ１４）。次に、Ｓ１５に移行する。Ｓ１５において、２枚目以降の静止画像１６を第１学習モデル１８に取り込むか否かを判断する。ここで、第１学習モデル１８に取り込む２枚目以降の静止画像１６があればＳ１３に復帰し、第１学習モデル１８に取り込む静止画像１６が存在するまでＳ１３～Ｓ１５を繰り返す。そして、全ての静止画像１６を第１学習モデル１８に取り込むと、エンドとなる。

図５は、ボルト検出部４の第１学習モデル１８の概念図である。図５を参照して、第１学習モデル１８の機械学習を説明する。ユーザは、複数個のボルトが撮影された学習用静止画像１４を作成する。また、ユーザは、学習用静止画像１４に対し、個々のボルトに分解するための情報、例えば個々のボルトに四角形のタグ１５ａを付け加えて、教師静止画像１５を作成する。第１学習モデル１８は、学習用静止画像１４とタグ１５ａが付け加えられた教師静止画像１５との相関関係を学習する。第１学習モデル１８としては、ニューラルネットワーク、ディープニューラルネットワーク等を用いることができる。学習済みの第１学習モデル１８は、補助記憶装置５５（図２参照）に記録される。

学習済みの第１学習モデル１８に各静止画像１６を取り込めば、個々のボルトにタグ１５ａが付与された静止画像１６が得られる。タグ１５ａで囲まれた画像を切り出せば、個々のボルトのボルト画像２７が得られる。
（ボルトタグ付け部）

図６は、ボルトタグ付け部５（図２参照）の処理のフローチャートである。ボルトタグ付け部５には、ボルト検出部４が動画像から抽出した静止画像１６が取りこまれる。まず、ボルトタグ付け部５は、静止画像１６からマーカ画像を検出する（Ｓ２１）。次に、ボルトタグ付け部５は、マーカ２１ａ（図７参照）を識別するための機械学習が行われたマーカ識別用学習モデルにマーカ画像を取り込むことにより、マーカ２１ａの番号を認識する（Ｓ２２）。次に、ボルトタグ付け部５は、認識したマーカ２１ａの番号、検出したマーカ２１ａの座標、及び検出したボルトの座標に基づいて、ボルト画像２７に位置情報を付与する（Ｓ２３）。

ここで、マーカ（番号）について説明する。図７（ａ）に示すように、橋梁には、予め１～ｎ（図７（ａ）ではｎ＝２７）のマーカ２１ａ（番号）が付与されたマグネット２１が貼り付けられている。ここで、マーカ２１ａ（番号）とボルトの行数とは一致する。端末２２（図７（ｂ））には、予め接合部リストとボルトの個数が記録されている。検査員は、橋梁の設計図面２３（図７（ｃ））を参照しながら端末２２に表示される接合部リストから検査対象の接合部（例えば、Ｊ１９ウェブ部等）を選択する。検査員は、接合部リストから検査対象を選択した後、接合部のボルトを動画像で撮影する。

符号２４（図７（ｄ））は端末２２の表示装置に映っているボルトの画像である。検査員は、端末２２のタッチパネルを操作して撮影範囲を特定し、撮影位置をジグザグ状に移動させながらマーカ２１ａと接合部２５の全体を網羅的に撮影する。具体的には、検査員は、図７（ａ）の左から右に撮影位置を移動させながら上段のマーカ２１ａと接合部２５を撮影し、その後、撮影位置を下方に移動させ、その後、右から左に撮影位置を移動させながら上段よりも下側のマーカ２１ａと接合部２５を撮影し、その後、撮影位置を下方に移動させ、その後、左から右に撮影位置を移動させる。以降はこれを繰り返す。撮影した動画像は、上記のようにボルト検出部４に取り込まれる。

図８は、ボルト画像２７に付与された位置情報の概念図を示す。図８に示すように、例えば右上のボルト画像２７には、接合部（Ｊ１９ウェブ部）、行列番号（１行５列）のタグ付けがなされる。同様に、例えば右下のボルト画像２７には、接合部（Ｊ１９ｗｅｂ）、行列番号（４行５番）のタグ付けが行われる。なお、マーカ識別用学習モデルは、図５に示す第１学習モデル１８と同様に、マーカ２１ａの画像とユーザが教示した番号との相関関係を学習することで構築される。学習済みのマーカ識別用学習モデルは、補助記憶装置５５（図２参照）に記録される。
（ボルト検査部）

図９は、ボルト検査部７（図２参照）の処理のフローチャートである。ボルト検査部７は、ボルト画像２７の特徴量が浮き彫りになるように前処理する（Ｓ３１）。次に、ボルト検査部７は、ボルトの締付け状態を判定するための機械学習を行った学習済みの第２学習モデル３１（図１１参照）にボルト画像２７を取り込む（Ｓ３２）。第２学習モデル３１は、検査項目毎に作成される。すなわち、図１０に示すように、本実施形態では、ボルト検査の判定基準として、例えば、マーキング忘れ、ナット締め忘れ、座金供廻り、ピンテール切断不良、ナット裏返し、座金裏返し、正常、診断不能の８つが存在する。マーキング忘れは、一次締め後にマーキングを付け忘れている状態である。ナット締め忘れは、一次締め後の本締めにおいてナットを締め忘れている状態である。座金供廻りは、本締めにおいて座金がナットと一緒に回った状態である。ピンテール切断不良は、本締めにおいてピンテールが切断されなかった状態である。ナット裏返しは、ナットが裏返しになっている状態である。座金裏返しは、座金が裏返しになっている状態である。正常は、ボルト、座金、母材のマーキングが一直線上にあり、ナットのマーキングのみが回転した状態である。診断不能は、ナット、ボルト、座金、母材の少なくとも一つのマーキングを検出できなかった状態である。

再び図９に戻り、ボルト画像を前処理した後、検査項目毎に作成された第２学習モデル３１にボルト画像２７が取り込まれる（Ｓ３２）と、ボルトの締付け状態の判定が行われる（Ｓ３３）。判定が行われた後、代表ボルト画像の選択が行われる（Ｓ３４）。

図１１は、第２学習モデル３１の一例である座金裏返し判定学習モデルの概念図である。ユーザは疑似的に座金が裏返しになった状態（図１１の符号３２を参照）をつくり出し、座金が裏返しになった状態の多数の学習用ボルト画像３３を作成する。そして、多数の学習用ボルト画像３３に座金裏返しのラベルを付与する。そして、座金裏返し判定学習モデルに学習用ボルト画像３３と座金裏返しとの相関関係を学習させれば、座金裏返し判定学習モデル３１を構築することができる。構築後の座金裏返し判定学習モデルにボルト画像２７を取り込めば、座金裏返しの有無を判定することができる。その他の検査項目の第２学習モデル３１も座金裏返し判定学習モデルと同様に構築される。学習済みの第２学習モデル３１は、補助記憶装置５５（図２参照）に記録される。

ボルトの締付け状態の判定結果は、端末２２の表示装置２２ａに表示される。図１２は、端末２２の表示装置２２ａに表示される画像の一例を示す。表示装置２２ａには、ボルトの配列に合わせてボルトを模した格子状の画像が表示される。ボルト検査装置１が検出したボルトの数は、図面情報から端末２２に取り込まれたボルトの数と整合がとられる。異常があるボルト（図１２中斜線で示す３行４列のボルト）の画像には、例えば着色が付けられる。端末２２のタッチパネルを用いて異常があるボルトのボタンを押せば、どのような異常があるのかが表示されると共に、代表ボルト画像が表示される。表示装置２２ａには、判定結果を反映させた帳票も表示される。

なお、本発明のボルト検査装置は上記実施形態に具現化されるのに限られることはなく、本発明の要旨を変更しない範囲で他の実施形態に具現化可能である。

例えば、上記実施形態では、橋梁のボルトを検査しているが、橋梁以外の構造物のボルトを検査してもよい。

上記実施形態では、検査項目に合わせて７つの第２機械学習モデルを作成しているが、検査項目に合わせて少なくとも１つの第２機械学習モデルを作成すればよい。

１…ボルト検査装置
４…ボルト検出部
５…ボルトタグ付け部
７…ボルト検査部
１１…表示制御部
１６…静止画像
１８…第１学習モデル
２２ａ…表示装置
２７…ボルト画像
３１…第２学習モデル

Claims (7)

1. 高力ボルトの締付け状態を検査するためのボルト検査装置であって、
   取り込まれた高力ボルトの動画像から複数の静止画像を抽出し、各静止画像から個々の高力ボルトのボルト画像を検出するボルト検出部と、
   検出された前記ボルト画像に位置情報を付与するボルトタグ付け部と、
   同一の高力ボルトを撮影した複数の前記ボルト画像を、ボルト画像から高力ボルトの締付け状態を判定するための機械学習を行った学習済みの学習モデルに取り込むことで、高力ボルトの締付け判定を行うボルト検査部と、を備え、
   前記ボルト検査部は、ナット、ボルト、座金、母材の少なくとも一つのマーキングを検出できなかった状態を判定する診断不能判定部を含むボルト検査装置。
2. 前記ボルト検出部は、静止画像から個々の高力ボルトのボルト画像を検出するための機械学習を行った学習済みの第１学習モデルに静止画像を取り込むことで、個々の高力ボルトのボルト画像を検出することを特徴とする請求項１に記載のボルト検査装置。
3. 前記ボルト検査装置は、表示装置に高力ボルトの配列に合わせて高力ボルトを模した画像を表示させ、高力ボルトの締付け判定の結果を表示させる表示制御部を備えることを特徴とする請求項１又は２に記載のボルト検査装置。
4. 前記動画像は、無人飛行機に搭載された撮影装置により撮影されることを特徴とする請 求項１ないし３のいずれか一項に記載のボルト検査装置。
5. 高力ボルトの締付け状態を検査するボルト検査方法であって、
   取り込まれた高力ボルトの動画像から複数の静止画像を抽出し、各静止画像から個々の高力ボルトのボルト画像を検出するボルト検出ステップと、
   検出された前記ボルト画像に位置情報を付与するボルトタグ付けステップと、
   同一の高力ボルトを撮影した複数の前記ボルト画像を、ボルト画像から高力ボルトの締付け状態を判定するための機械学習を行った学習済みの学習モデルに取り込むことで、高力ボルトの締付け判定を行うボルト検査ステップと、を備え、
   前記ボルト検査ステップは、ナット、ボルト、座金、母材の少なくとも一つのマーキングを検出できなかった状態を判定する診断不能判定ステップを含むボルト検査方法。
6. 高力ボルトの締付け状態を検査するためのコンピュータに請求項５に記載のボルト検査方法を実行させるためのプログラム。
7. 高力ボルトの動画像を撮影するための端末と、
   請求項１ないし４のいずれか一項に記載のボルト検査装置と、を備えるボルト検査システム。

Images