JP7668460B2 - 処理方法およびそれを利用した処理装置 - Google Patents

Description

本開示は、処理技術、特に画像に対する処理を実行する処理方法およびそれを利用した処理装置に関する。

近年、ＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ）システム等を用いて建設図面が容易に作成される。建築図面をもとに見積書を作成する場合、ユーザは、建築図面に含まれる記号を抽出し、各記号の積算数を導出する。これらを手作業で行う場合、ユーザの手間が大きくなる。ユーザの手間を低減するために、記号を抽出するために、ニューラルネットワークを使用することが可能である。しかしながら、記号の種類は数十種類以上と多いとともに、類似した形状の記号も存在するので、すべての記号に対してニューラルネットワークを学習させることは困難である。一方、学習が不十分であると、処理の正確性が低下する。これらに対して、特許文献１では、記号を複数の系統に分類し、系統をもとにニューラルネットワークを学習させ、記号を系統として対象画像から抽出する（例えば、特許文献１参照）。

国際公開第１９／１８９０２６号

画像に含まれる記号の数をさらに高精度に積算することが望まれる。

本開示はこうした状況に鑑みなされたものであり、その目的は、画像に含まれる記号の数を高精度に積算する技術を提供することにある。

上記課題を解決するために、本開示のある態様の処理装置は、処理対象とすべき対象画像に含まれた複数の記号を記号の種類毎に積算する処理装置であって、複数種類の記号の一覧が示された表形式の凡例画像から、積算対象となる各記号を参照記号として抽出する抽出部と、対象画像に対して、抽出部において抽出した複数種類の参照記号により学習させた第１ニューラルネットワークの処理を実行することによって、対象画像に含まれた複数の記号のそれぞれを対象記号として抽出する第１処理部と、第２ニューラルネットワークとして対象記号用ニューラルネットワークと参照記号用ニューラルネットワークを含み、複数の対象記号のそれぞれに対して、抽出部において抽出した複数種類の参照記号により学習させた対象記号用ニューラルネットワークの処理を実行することによって、中間層の処理結果の画像を対象特徴画像として取得し、各参照記号との組合せに対して、抽出部において抽出した複数種類の参照記号により学習させた参照記号用ニューラルネットワークの処理を実行することによって、中間層の処理結果の画像を参照特徴画像として取得し、対象特徴画像を１次元のベクトルである第１特徴量に変換するとともに、参照特徴画像を１次元のベクトルである第２特徴量に変換し、複数の対象記号と各参照記号との組合せのそれぞれに対して、第１特徴量と第２特徴量との距離を類似度として導出する第２処理部と、各対象記号を最大の類似度の参照記号に分類することによって、各参照記号に含まれる対象記号の数を積算する積算部と、を備える。

本開示の別の態様は、処理方法である。この方法は、処理対象とすべき対象画像に含まれた複数の記号を記号の種類毎に積算する処理方法であって、複数種類の記号の一覧が示された表形式の凡例画像から、積算対象となる各記号を参照記号として抽出するステップと、対象画像に対して、抽出するステップにおいて抽出した複数種類の参照記号により学習させた第１ニューラルネットワークの処理を実行することによって、対象画像に含まれた複数の記号のそれぞれを対象記号として抽出するステップと、第２ニューラルネットワークとして対象記号用ニューラルネットワークと参照記号用ニューラルネットワークが含まれ、複数の対象記号のそれぞれに対して、抽出した複数種類の参照記号により学習させた対象記号用ニューラルネットワークの処理を実行することによって、中間層の処理結果の画像を対象特徴画像として取得し、各参照記号との組合せに対して、抽出した複数種類の参照記号により学習させた参照記号用ニューラルネットワークの処理を実行することによって、中間層の処理結果の画像を参照特徴画像として取得し、対象特徴画像を１次元のベクトルである第１特徴量に変換するとともに、参照特徴画像を１次元のベクトルである第２特徴量に変換し、複数の対象記号と各参照記号との組合せのそれぞれに対して、第１特徴量と第２特徴量との距離を類似度として導出するステップと、各対象記号を最大の類似度の参照記号に分類することによって、各参照記号に含まれる対象記号の数を積算するステップと、を備える。

なお、以上の構成要素の任意の組合せ、本開示の表現を方法、装置、システム、コンピュータプログラム、またはコンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本開示の態様として有効である。

本開示によれば、画像に含まれる記号の数を高精度に積算できる。

実施例の処理対象となる対象画像を示す図である。 実施例の凡例画像を示す図である。 実施例に係る処理装置の構成を示す図である。 図３の第２処理部における処理の概要を示す図である。 図４の対象記号用ニューラルネットワーク、参照記号用ニューラルネットワークの処理の概要を示す図である。 図３の積算部における処理の概要を示す図である。 図３の処理装置による処理手順を示すフローチャートである。

本開示の実施例を具体的に説明する前に、本実施例の概要を説明する。実施例は、複数の電気記号が示されている建設図面から、電気記号の種類毎に個数を積算する処理装置に関する。建設図面から電気記号を抽出する精度を向上するために、ニューラルネットワークを使用することが有力である。しかしながら、同一の機器であってもさまざま電気記号により表現されるので、すべての電気記号をニューラルネットワークを学習させることは困難である。例えば、同一の機器であっても地方等に応じて電気記号の形状が異なる。そのため、すべての電気記号に対してニューラルネットワークを学習させることは困難である。学習が不十分であっても誤判定が生じる可能性がある。本実施例は、ニューラルネットワークを使用して、建築画面に含まれる電気記号の数を高精度に積算することである。

本実施例に係る処理装置は、建築図面に付加された凡例画像であって、かつ建築図面において使用される電気記号の一覧が示される凡例画像をニューラルネットワークに使用する。処理装置は、凡例画像の各電気記号を参照記号として抽出し、参照記号によって第１ニューラルネットワークを学習させる。処理装置は、建築図面に対して第１ニューラルネットワークを使用することによって、建築図面から各電気記号を対象記号として抽出する。処理装置は、参照記号により第２ニューラルネットワークを学習させる。処理装置は、対象記号と参照記号とに対して第２ニューラルネットワークを使用することによって、対象記号と各参照記号との類似度を導出する。処理装置は、類似度をもとに、各参照記号に含まれる対象記号の数を積算する。

図１は、処理対象となる対象画像１０を示す。対象画像１０の一例は、前述のごとく建設図面である。対象画像１０には、記号２０と総称される第１記号２０ａから第２６記号２０ｚ、第２７記号２０ａａ、第２８記号２０ａｂ、第２９記号２０ａｃ、第３０記号２０ａｄが含まれる。各記号２０は電気記号である。ここでは、対象画像１０に含まれる記号２０の数を「３０」としたが、それに限定されない。記号２０の形状が異なれば、別の電気記号を示すので、別の機器に相当する。例えば、第５記号２０ｅと第６記号２０ｆは同じ形状であるが、第５記号２０ｅと第１記号２０ａは異なる形状である。このような対象画像１０をもとに見積書を作成する場合、ユーザは、記号２０の種類毎に記号２０の数を数える必要がある。対象画像１０のサイズが大きくなり、対象画像１０に含まれる記号２０の数が増加するほど、その作業にかかる手間が大きくなる。

図２は、凡例画像３０を示す。凡例画像３０は、凡例表であり、対象画像１０において使用される記号２０の一覧が示される。凡例画像３０は、対象画像１０の一部分、例えば、左下側部分あるいは右下部分に配置されてもよく、対象画像１０とは別に準備されてもよい。以下では、凡例画像３０における記号２０を参照記号４０と呼ぶ。図２において凡例画像３０には、参照記号４０と総称される第１参照記号４０ａ、第２参照記号４０ｂ、第３参照記号４０ｃが含まれる。第１参照記号４０ａは、定温式煙感知器を示し、第２参照記号４０ｂは、インターフォンを示し、第３参照記号４０ｃは、光電式煙感知器を示す。凡例画像３０に含まれる参照記号４０はこれらに限定されない。一般的に、参照記号４０は、統一されておらず、対象画像１０によって異なる。また、参照記号４０は、対象画像１０において実際に使用される記号２０と完全に同一でなくてもよい。これらの参照記号４０は、縦線と横線で構成される表の中に配置される。

図３は、処理装置１００の構成を示す。処理装置１００は、処理対象とすべき対象画像１０に含まれた複数の記号を記号の種類毎に積算する。処理装置１００は、抽出部１１０、第１処理部１１２、第２処理部１１４、積算部１１６を含む。対象画像１０は、図１に示される建築図面であり、かつ電子情報である。凡例画像３０は、図２に示される凡例表である。前述のごとく、凡例画像３０は対象画像１０の一部分に配置されていてもよい。

抽出部１１０は、凡例画像３０を受けつけ、凡例画像３０から各参照記号４０を抽出する。抽出部１１０は、表を構成する縦線と横線とを予め記憶しており、縦線と横線でパターンマッチングを実行することによって、凡例画像３０に含まれる表の位置を特定する。抽出部１１０は、特定した表の中に配置される参照記号４０を抽出する。抽出部１１０における参照記号４０にはパターンマッチング以外の技術が使用されてもよい。抽出部１１０は、抽出した複数種類の参照記号４０を第１処理部１１２と第２処理部１１４に出力する。

第１処理部１１２は、対象画像１０を受けつけるとともに、抽出部１１０から複数種類の参照記号４０を受けつける。第１処理部１１２は、畳み込み層とプーリング層との組合せを含む畳み込みニューラルネットワークを第１ニューラルネットワークとして保持する。第１処理部１１２は、複数種類の参照記号４０により第１ニューラルネットワークを学習させる。第１ニューラルネットワークの学習には公知の技術が使用されればよいが、畳み込みニューラルネットワークの畳み込み層が学習される。第１処理部１１２は、対象画像１０に対して、学習させた第１ニューラルネットワークの処理を実行することによって、対象画像１０に含まれた複数の記号２０のそれぞれの位置の重心の座標、あるいは複数の記号２０のそれぞれの位置の一部の座標を予測する。位置の一部の座標とは、例えば、記号２０の左上端の座標と右下端の座標である。第１処理部１１２は、対象画像１０から、予測した座標に配置される複数の記号２０のそれぞれを対象記号５０として抽出する。第１処理部１１２は、抽出した複数の対象記号５０を第２処理部１１４に出力する。

第２処理部１１４は、抽出部１１０から複数種類の参照記号４０を受けつけ、第１処理部１１２から複数の対象記号５０を受けつける。第２処理部１１４は、第２ニューラルネットワークを保持し、第２ニューラルネットワークを使用することによって、複数種類の参照記号４０のそれぞれと、各対象記号５０との間の類似度を導出する。

図４は、第２処理部１１４における処理の概要を示す。第２処理部１１４における第２ニューラルネットワークは、対象記号５０を入力するための対象記号用ニューラルネットワーク２００と、参照記号４０を入力するための参照記号用ニューラルネットワーク２１０とを含む。

図５は、対象記号用ニューラルネットワーク２００、参照記号用ニューラルネットワーク２１０の処理の概要を示す。対象記号用ニューラルネットワーク２００と参照記号用ニューラルネットワーク２１０は、畳み込みニューラルネットワークであり、畳み込み層２４２と総称される第１畳み込み層２４２ａから第３畳み込み層２４２ｃ、プーリング層２４４と総称される第１プーリング層２４４ａ、第２プーリング層２４４ｂ、全結合層２４６を含む。ここでは、一例として、第１畳み込み層２４２ａ、第１プーリング層２４４ａ、第２畳み込み層２４２ｂ、第２プーリング層２４４ｂ、第３畳み込み層２４２ｃ、全結合層２４６が順に並べられる。畳み込みニューラルネットワークの構成はこれに限定されない。

各畳み込み層２４２は、入力された画像に対して、当該画像のサイズよりも小さいサイズの空間フィルタをずらしながら空間フィルタリングを実行する。空間フィルタリングは公知の技術であるので、ここでは説明を省略するが、この空間フィルタリングが畳み込み処理に相当し、畳み込み処理によって画像の特徴量が抽出される。畳み込み層２４２においてパディング等が実行されてもよい。

各プーリング層２４４は、画像内の任意の領域に含まれた複数の画素を１つの画素にまとめることによって、画像のサイズを小さくする。ここで、複数の画素を１つの画素にまとめるために、平均プーリングあるいは最大プーリングが実行される。平均プーリングでは、領域内の複数の画素値の平均値が１つの画素に対して使用され、最大プーリングでは、領域内の複数の画素値のうちの最大値が１つの画素に対して使用される。プーリング処理は、着目領域における代表値あるいは平均値の並進移動に対してロバスト性を強化するためになされる。プーリング層２４４は、畳み込み層２４２に続くので、畳み込み層２４２において抽出される画像の特徴量にも相当する。

全結合層２４６は、対象記号用ニューラルネットワーク２００と参照記号用ニューラルネットワーク２１０の最終段に配置される。対象記号用ニューラルネットワーク２００と参照記号用ニューラルネットワーク２１０の各畳み込み層２４２は、参照記号４０により学習される。当該学習には公知の技術が使用されるので、ここでは説明を省略する。

学習の終了後、対象記号用ニューラルネットワーク２００の第１畳み込み層２４２ａには、対象記号５０（図４）が入力され、各畳み込み層２４２と各プーリング層２４４は、前述の処理を実行する。第３畳み込み層２４２ｃは、中間層であり、中間層の処理結果の画像を特徴量画像として出力される。対象記号用ニューラルネットワーク２００の中間層から得られる特徴量画像は、図４において対象特徴画像２２０と示される。対象特徴画像２２０は、例えば、４×４×２５６のサイズを有する。

学習の終了後、参照記号用ニューラルネットワーク２１０の第１畳み込み層２４２ａには、参照記号４０（図４）が入力され、各畳み込み層２４２と各プーリング層２４４は、前述の処理を実行する。第３畳み込み層２４２ｃは、中間層の処理結果の画像を特徴量画像として出力される。参照記号用ニューラルネットワーク２１０の中間層から得られる特徴量画像は、図４において参照特徴画像２３０と示される。参照特徴画像２３０も、例えば、４×４×２５６のサイズを有する。図４に戻る。

第２処理部１１４は、４×４×２５６のサイズの対象特徴画像２２０を１次元のベクトルである第１特徴量２２２に変換する。第１特徴量２２２のサイズは例えば４０９６である。また、第２処理部１１４は、４×４×２５６のサイズの参照特徴画像２３０を１次元のベクトルである第２特徴量２３２に変換する。第２特徴量２３２のサイズも例えば４０９６である。第２処理部１１４は、第１特徴量２２２と第２特徴量２３２とに対して２つのベクトルの二乗誤差等を使用することによって、第１特徴量２２２と第２特徴量２３２の距離を導出する。第１特徴量２２２と第２特徴量２３２との距離が小さくなるほど、第１特徴量２２２と第２特徴量２３２との類似度が大きくなり、第１特徴量２２２と第２特徴量２３２との距離が大きくなるほど、第１特徴量２２２と第２特徴量２３２との類似度が小さくなる。そのため、距離と類似度は、互いに関連したパラメータであり、例えば、距離の逆数が類似度に相当する。第２処理部１１４は、すべての参照記号４０とすべての対象記号５０との組合せのそれぞれに対して類似度（距離）を導出する。つまり、第２処理部１１４は、複数種類の対象記号５０のそれぞれと、各参照記号４０との間の類似度（距離）を導出する。図３に戻る。第２処理部１１４は、複数の類似度（距離）を積算部１１６に出力する。

積算部１１６は、第２処理部１１４から複数の類似度（距離）を受けつける。積算部１１６は、各対象記号５０を最大の類似度の参照記号４０に分類する。積算部１１６における処理を説明するために、ここでは図６も使用する。図６は、積算部１１６における処理の概要を示す。説明を明瞭にするための一部の対象記号５０として、第１対象記号５０ａ、第２対象記号５０ｂ、第３対象記号５０ｃが示され、一部の参照記号４０として、第１参照記号４０ａ、第３参照記号４０ｃが示される。第１対象記号５０ａと第１参照記号４０ａとの間の距離は「０．１」と示され、第１対象記号５０ａと第２参照記号４０ｂとの間の距離は「０．６」と示される。第１対象記号５０ａと第２参照記号４０ｂとの間の距離よりも、第１対象記号５０ａと第１参照記号４０ａとの間の距離の方が小さいので、第１対象記号５０ａは第１参照記号４０ａに分類される。距離が小さいことは、類似度が大きいことに相当する。第２対象記号５０ｂと第３対象記号５０ｃに対しても同様の処理がなされることによって、第２対象記号５０ｂは第１参照記号４０ａに分類され、第３対象記号５０ｃは第３参照記号４０ｃに分類される。

積算部１１６は、分類に続いて、各参照記号４０に含まれる対象記号５０の数を積算する。図６では、第１参照記号４０ａに含まれる対象記号５０の数は「２」であり、第２参照記号４０ｂに含まれる対象記号５０の数は「１」である。積算部１１６は、積算結果を出力する。

本開示における装置、システム、または方法の主体は、コンピュータを備えている。このコンピュータがプログラムを実行することによって、本開示における装置、システム、または方法の主体の機能が実現される。コンピュータは、プログラムにしたがって動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路（ＩＣ）、またはＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路で構成される。複数の電子回路は、１つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは１つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。プログラムは、コンピュータが読み取り可能なＲＯＭ、光ディスク、ハードディスクドライブなどの非一時的記録媒体に記録される。プログラムは、記録媒体に予め格納されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。

以上の構成による処理装置１００の動作を説明する。図７は、処理装置１００による処理手順を示すフローチャートである。抽出部１１０は、凡例画像３０から参照記号４０を抽出する（Ｓ１０）。第１処理部１１２は、対象画像１０から対象記号５０を抽出する（Ｓ１２）。第２処理部１１４は、対象記号５０と参照記号４０との間の類似度を導出する（Ｓ１４）。積算部１１６は、類似度をもとに対象記号５０をいずれかの参照記号４０に分類する（Ｓ１６）。積算部１１６は、参照記号４０毎に対象記号５０の数を積算する（Ｓ１８）。

本実施例によれば、凡例画像３０から抽出した参照記号４０と、第１ニューラルネットワークの処理により対象画像１０から抽出した対象記号５０に対して、第２ニューラルネットワークの処理を実行することによって対象記号５０と参照記号４０との間の類似度を導出するので、対象記号５０をいずれかの参照記号４０に分類できる。また、凡例画像３０を利用して対象記号５０をいずれかの参照記号４０に分類するので、各参照記号４０に含まれる対象記号５０の数を高精度に積算できる。また、第１ニューラルネットワークは、対象記号５０の位置の重心の座標、あるいは対象記号５０の位置の一部の座標を予測するので、対象画像１０から対象記号５０を抽出できる。また、第２ニューラルネットワークの中間層から得られる対象記号５０と参照記号４０との特徴量の距離を導出するので、類似度を導出できる。

本開示の一態様の概要は、次の通りである。本開示のある態様の処理装置（１００）は、処理対象とすべき対象画像（１０）に含まれた複数の記号を記号の種類毎に積算する処理装置（１００）であって、複数種類の記号の一覧が示された凡例画像（３０）から、各記号を参照記号（４０）として抽出する抽出部（１１０）と、対象画像（１０）に対して、複数種類の参照記号（４０）により学習させた第１ニューラルネットワークの処理を実行することによって、対象画像（１０）に含まれた複数の記号のそれぞれを対象記号（５０）として抽出する第１処理部（１１２）と、複数の対象記号（５０）のそれぞれと各参照記号（４０）との組合せに対して、複数種類の参照記号（４０）により学習させた第２ニューラルネットワークの処理を実行することによって、複数の対象記号（５０）のそれぞれと、各参照記号（４０）との間の類似度を導出する第２処理部（１１４）と、各対象記号（５０）を最大の類似度の参照記号（４０）に分類することによって、各参照記号（４０）に含まれる対象記号（５０）の数を積算する積算部（１１６）と、を備える。

第１処理部（１１２）において使用される第１ニューラルネットワークは、対象記号（５０）の位置の重心の座標、あるいは対象記号（５０）の位置の一部の座標を予測してもよい。

第２処理部（１１４）は、第２ニューラルネットワークの中間層から得られる対象記号（５０）と参照記号（４０）との特徴量の距離を類似度として導出してもよい。

本開示の別の態様は、処理方法である。この方法は、処理対象とすべき対象画像（１０）に含まれた複数の記号を記号の種類毎に積算する処理方法であって、複数種類の記号の一覧が示された凡例画像（３０）から、各記号を参照記号（４０）として抽出するステップと、対象画像（１０）に対して、複数種類の参照記号（４０）により学習させた第１ニューラルネットワークの処理を実行することによって、対象画像（１０）に含まれた複数の記号のそれぞれを対象記号（５０）として抽出するステップと、複数の対象記号（５０）のそれぞれと各参照記号（４０）との組合せに対して、複数種類の参照記号（４０）により学習させた第２ニューラルネットワークの処理を実行することによって、複数の対象記号（５０）のそれぞれと、各参照記号（４０）との間の類似度を導出するステップと、各対象記号（５０）を最大の類似度の参照記号（４０）に分類することによって、各参照記号（４０）に含まれる対象記号（５０）の数を積算するステップと、を備える。

以上、本開示を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

１０ 対象画像、 ２０ 記号、 ３０ 凡例画像、 ４０ 参照記号、 ５０ 対象記号、 １００ 処理装置、 １１０ 抽出部、 １１２ 第１処理部、 １１４ 第２処理部、 １１６ 積算部、 ２００ 対象記号用ニューラルネットワーク、 ２１０ 参照記号用ニューラルネットワーク、 ２２０ 対象特徴画像、 ２２２ 第１特徴量、 ２３０ 参照特徴画像、 ２３２ 第２特徴量、 ２４２ 畳み込み層、 ２４４ プーリング層、 ２４６ 全結合層。

Claims (3)

1. 処理対象とすべき対象画像に含まれた複数の記号を記号の種類毎に積算する処理装置であって、
   複数種類の記号の一覧が示された表形式の凡例画像から、積算対象となる各記号を参照記号として抽出する抽出部と、
   前記対象画像に対して、前記抽出部において抽出した複数種類の前記参照記号により学習させた第１ニューラルネットワークの処理を実行することによって、前記対象画像に含まれた前記複数の記号のそれぞれを対象記号として抽出する第１処理部と、
   第２ニューラルネットワークとして対象記号用ニューラルネットワークと参照記号用ニューラルネットワークを含み、複数の前記対象記号のそれぞれに対して、前記抽出部において抽出した複数種類の前記参照記号により学習させた前記対象記号用ニューラルネットワークの処理を実行することによって、中間層の処理結果の画像を対象特徴画像として取得し、各参照記号との組合せに対して、前記抽出部において抽出した複数種類の前記参照記号により学習させた前記参照記号用ニューラルネットワークの処理を実行することによって、中間層の処理結果の画像を参照特徴画像として取得し、対象特徴画像を１次元のベクトルである第１特徴量に変換するとともに、参照特徴画像を１次元のベクトルである第２特徴量に変換し、複数の前記対象記号と各参照記号との組合せのそれぞれに対して、前記第１特徴量と前記第２特徴量との距離を類似度として導出する第２処理部と、
   各対象記号を最大の類似度の前記参照記号に分類することによって、各参照記号に含まれる前記対象記号の数を積算する積算部と、
   を備える処理装置。
2. 前記第１処理部において使用される前記第１ニューラルネットワークは、前記対象記号の位置の重心の座標、あるいは前記対象記号の位置の一部の座標を予測する請求項１に記載の処理装置。
3. 処理対象とすべき対象画像に含まれた複数の記号を記号の種類毎に積算する処理方法であって、
   複数種類の記号の一覧が示された表形式の凡例画像から、積算対象となる各記号を参照記号として抽出するステップと、
   前記対象画像に対して、前記抽出するステップにおいて抽出した複数種類の前記参照記号により学習させた第１ニューラルネットワークの処理を実行することによって、前記対象画像に含まれた前記複数の記号のそれぞれを対象記号として抽出するステップと、
   第２ニューラルネットワークとして対象記号用ニューラルネットワークと参照記号用ニューラルネットワークが含まれ、複数の前記対象記号のそれぞれに対して、抽出した複数種類の前記参照記号により学習させた前記対象記号用ニューラルネットワークの処理を実行することによって、中間層の処理結果の画像を対象特徴画像として取得し、各参照記号との組合せに対して、抽出した複数種類の前記参照記号により学習させた前記参照記号用ニューラルネットワークの処理を実行することによって、中間層の処理結果の画像を参照特徴画像として取得し、対象特徴画像を１次元のベクトルである第１特徴量に変換するとともに、参照特徴画像を１次元のベクトルである第２特徴量に変換し、複数の前記対象記号と各参照記号との組合せのそれぞれに対して、前記第１特徴量と前記第２特徴量との距離を類似度として導出するステップと、
   各対象記号を最大の類似度の前記参照記号に分類することによって、各参照記号に含まれる前記対象記号の数を積算するステップと、
   を備える処理方法。

Images