JP6865363B2 - ラプラシアンピラミッドネットワークを利用して自律走行自動車レベル４及びレベル５を満足させるために要求される道路障害物検出におけるセグメンテーション性能向上のための学習方法及び学習装置、並びにこれを利用したテスト方法及びテスト装置 - Google Patents

ラプラシアンピラミッドネットワークを利用して自律走行自動車レベル４及びレベル５を満足させるために要求される道路障害物検出におけるセグメンテーション性能向上のための学習方法及び学習装置、並びにこれを利用したテスト方法及びテスト装置 Download PDF

Info

Publication number
JP6865363B2
JP6865363B2 JP2019202411A JP2019202411A JP6865363B2 JP 6865363 B2 JP6865363 B2 JP 6865363B2 JP 2019202411 A JP2019202411 A JP 2019202411A JP 2019202411 A JP2019202411 A JP 2019202411A JP 6865363 B2 JP6865363 B2 JP 6865363B2
Authority
JP
Japan
Prior art keywords
test
layers
layer
feature map
deconvolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019202411A
Other languages
English (en)
Other versions
JP2020119500A (ja
Inventor
桂賢 金
桂賢 金
鎔重 金
鎔重 金
寅洙 金
寅洙 金
鶴京 金
鶴京 金
雲鉉 南
雲鉉 南
碩▲ふん▼ 夫
碩▲ふん▼ 夫
明哲 成
明哲 成
東勳 呂
東勳 呂
宇宙 柳
宇宙 柳
泰雄 張
泰雄 張
景中 鄭
景中 鄭
泓模 諸
泓模 諸
浩辰 趙
浩辰 趙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020119500A publication Critical patent/JP2020119500A/ja
Application granted granted Critical
Publication of JP6865363B2 publication Critical patent/JP6865363B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、自律走行自動車レベル４及びレベル５を満足させるために要求される道路障害物及び交通標識などのエッジを検出するにおけるセグメンテーション性能向上のための学習方法に関し、より詳細には、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの特徴マップについてコンボリューション演算を少なくとも１回遂行して第１ないし第ｋエンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋエンコード済み特徴マップにデコンボリューション演算を少なくとも１回遂行して第ｋないし第１デコード済み特徴マップをそれぞれ出力する第ｋないし第１デコンボリューションレイヤ、（ｉｉｉ）前記ｋ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）それぞれに対応して配置される第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤそれぞれに対応する第１ないし第ｈディファレンシャル（ｄｉｆｆｅｒｅｎｔｉａｌ）レイヤを含む学習装置を利用した前記イメージセグメンテーションの性能向上のための前記学習方法において、（ａ）前記トレーニングイメージが入力されると、前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋエンコード済み特徴マップを出力するものの、（１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋエンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個のエンコード済み特徴マップで周波数が対応閾値より高い一つ以上の領域を獲得することにより、前記ｈ個のエンコード済み特徴マップから一つ以上のエッジ部分を抽出するようにして、第１ないし第ｈバンドパス特徴マップを出力させるプロセス、及び（２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のエンコード済み特徴マップそれぞれと前記第１ないし前記第ｈバンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行する段階：（ｂ）前記第ｋないし前記第１デコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のデコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力させる段階：（ｃ）前記第１デコード済み特徴マップ及びこれに対応する少なくとも一つのＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）ラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第１ないし前記第ｋデコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節する段階；を含むことを特徴とする学習方法及び前記学習装置、並びにこれを利用したテスト方法及びテスト装置に関する。
ディープラーニングは、事物やデータを群集化したり分類するのに使用する技術である。例えば、コンピュータは写真だけで犬と猫を区分することができない。しかし、人はとても容易にこの二つを区分することができる。このため、「機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）」という方法が考案された。これはコンピュータをもって入力された多くのデータのうちで類似したもの同士分類するようにする技術である。犬の写真と類似した動物の写真が入力されると、前記コンピュータはこれを犬の写真であると分類するのである。
データをどのように分類するかをめぐり、すでに多くの機械学習アルゴリズムが登場した。「意思決定木」や「ベイジアンネットワーク」「サポートベクターマシン（ＳＶＭ）」「人工神経網」などが代表的である。このうち、ディープラーニングは人工神経網の後裔である。
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解決するために９０年代にすでに使われていたが、現在のように広く使われるようになったのは最近の研究結果の賜物である。このようなディープＣＮＮは、２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習分野で非常に有用なツールとなった。
図１はＣＮＮを利用した一般的なセグメンテーションプロセスを簡略に示した図である。
図１を参照すると、従来の車線検出方法では、学習装置が、入力イメージが入力されて、一つ以上のコンボリューションレイヤをもって前記入力イメージに一つ以上のコンボリューション演算及び一つ以上の非線形演算であるＲｅＬＵを適用して少なくとも一つの特徴マップを出力し、一つ以上のデコンボリューションレイヤをもって、前記特徴マップに一つ以上のデコンボリューション演算及びソフトマックス演算を適用するようにしてセグメンテーション結果を生成する。
しかし、前記イメージのエンコード及びデコードプロセスで、エッジ部分が多く消えてしまう問題があり、こうした問題を解決し、前記入力イメージやこれに対応する特徴マップにおいて、前記エッジを強化しようとする様々な方法が提示されている。例えば、Ｇｏｌｎａｚ Ｇｈｉａｓｉ ａｎｄ Ｃｈａｒｌｅｓｓ Ｃ．Ｆｏｗｌｋｅｓは「Ｌａｐｌａｃｉａｎ Ｐｙｒａｍｉｄ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ Ｒｅｆｉｎｅｍｅｎｔ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ」というタイトルの論文（ｈｔｔｐｓ：／／ｗｗｗ．ｉｃｓ．ｕｃｉ．ｅｄｕ／〜ｆｏｗｌｋｅｓ／ｐａｐｅｒｓ／ｇｆ−ｅｃｃｖ１６．ｐｄｆ）において、ラプラシアンピラミッドを利用して、前記イメージをセグメンテーションする方法を提示した。このような方法は、サイズが小さい特徴マップにおいて、前記エッジを抽出してサイズが大きな特徴マップに前記エッジ情報を加えようとしたが、すでに前記エッジに対する情報がたくさん消失した状態であるので、かなりの性能向上を期待することが難しかった。
また、このような方法は、前記論文の前記タイトルとは異なって上位周波数の範囲を設定済バンドに分離する概念を利用しないので、前記ラプラシアンピラミッドを利用したと見ることはできない。併せて、このような方法はもともと存在していたエッジではなく、任意に生成したエッジを使用するために前記正確なエッジを反映することができないという問題点が存在する。
本発明は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）においてエッジ情報を格納して、特徴マップを生成することができる方法を提供することを目的とする。
また、本発明は、ラフラシアンピラミッドネットワークを構築することができるＣＮＮ構造を提示することを目的とする。
また、本発明は、エッジ情報の反映の際に、任意に生成されるエッジではなく、もともと存在するエッジ情報を見出して正確なエッジが反映され得る方法を提供することを目的とする。
本発明の一態様によると、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの特徴マップについて、コンボリューション演算を少なくとも１回遂行して第１ないし第ｋエンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋエンコード済み特徴マップにデコンボリューション演算を少なくとも１回遂行して第ｋないし第１デコード済み特徴マップをそれぞれ出力する第ｋないし第１デコンボリューションレイヤ、（ｉｉｉ）前記ｋ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）それぞれに対応して配置される第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤそれぞれに対応する第１ないし第ｈディファレンシャルレイヤを含む学習装置を利用したイメージセグメンテーション性能向上のための学習方法において、（ａ）前記トレーニングイメージが入力されると、前記学習装置は、前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋエンコード済み特徴マップを出力するものの、（１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋエンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個のエンコード済み特徴マップで周波数が対応閾値より高い一つ以上の領域を獲得することにより、前記ｈ個のエンコード済み特徴マップから一つ以上のエッジ部分を抽出するようにして、第１ないし第ｈバンドパス特徴マップを出力させるプロセス、及び（２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のエンコード済み特徴マップそれぞれと前記第１ないし前記第ｈバンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行する段階：（ｂ）前記学習装置は、前記第ｋないし前記第１デコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のデコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力させる段階：（ｃ）前記学習装置が、前記第１デコード済み特徴マップ及びこれに対応する少なくとも一つのＧＴ）ラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第１ないし前記第ｋデコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節する段階；を含むことを特徴とする学習方法が提供される。
一実施例において、前記（１）プロセスで、前記学習装置は、前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって（前記ｍは１から前記ｈまでの整数である）前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達された第ｎエンコード済み特徴マップから周波数が対応閾値より大きい領域を抽出させることにより、第ｍバンドパス特徴マップを生成し、前記（２）プロセスで、前記学習装置は、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎエンコード済み特徴マップと前記第ｍバンドパス特徴マップとの間の差を計算して第ｍディファレンシャル特徴マップを出力するようにし、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍディファレンシャル特徴マップを伝達するようにし、前記（ｂ）段階で、前記学習装置は、前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍバンドパス特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）デコード済み特徴マップの要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ ｓｕｍ）に前記デコンボリューション演算を適用することによって、第ｎデコード済み特徴マップを出力する。
一実施例において、前記（ｃ）段階で、前記学習装置は、前記第ｋないし前記第１デコンボリューションレイヤのうち少なくとも一つに対応する少なくとも一つのロスレイヤをもって、前記第ｋないし前記第１デコンボリューションレイヤのうち前記少なくとも一つから出力された少なくとも一つのデコード済み特徴マップ、及びこれに該当する少なくとも一つのＧＴラベルイメージを参考にして、前記ロスを生成するようにすることにより、前記ロスを利用したバックプロパゲーションプロセスを遂行する。
一実施例において、前記（ａ）段階で、前記学習装置は、前記第１ないし前記第ｋコンボリューションレイヤをもって前記トレーニングイメージ及び前記第１ないし前記第（ｋ−１）エンコード済み特徴マップのサイズを順次に減少させ、前記トレーニングイメージ及び前記第１ないし前記第（ｋ−１）エンコード済み特徴マップのチャンネル数を増加させて、前記第１ないし前記第ｋエンコード済み特徴マップをそれぞれ出力するようにし、前記第１ないし前記第ｈマスクレイヤをもって前記ｈ個のエンコード済み特徴マップから前記周波数が対応閾値より大きい前記領域を抽出することにより、前記第１ないし前記第ｋエンコード済み特徴マップのうちで前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のエンコード済み特徴マップから前記エッジ部分を抽出して前記第１ないし前記第ｈバンドパス特徴マップを出力するようにし、前記（ｂ）段階で、前記学習装置は、前記第ｋないし前記第１デコンボリューションレイヤをもって前記第ｋエンコード済み特徴マップ及び前記第ｋないし前記第２デコード済み特徴マップのサイズを順次に増加させ、前記第ｋエンコード済み特徴マップ及び前記第ｋないし前記第２デコード済み特徴マップのチャンネル数を順次に減少させて、前記第ｋないし前記第１デコード済み特徴マップをそれぞれ出力させる。
一実施例において、前記学習装置は（ｖ）それぞれの前記第１ないし前記第ｈマスクレイヤとそれに対応するデコンボリューションレイヤとの間にそれぞれ位置した第１ないし第ｈ中間レイヤ；をさらに含み、前記（ｂ）段階は、（ｂ１）前記学習装置は、前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤから出力されたそれぞれの前記第１ないし前記第ｈバンドパス特徴マップを獲得して第１ないし第ｈ中間特徴マップをそれぞれ出力させる段階；及び（ｂ２）前記学習装置は、前記ｋ個のデコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１中間レイヤに対応する前記ｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ出力された前記ｈ個のデコード済み特徴マップ及び前記第ｈないし前記第１中間特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１中間レイヤに対応しないそれぞれの前記（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤから出力された（ｋ−ｈ−１）個のデコード済み特徴マップ及び前記第ｋエンコード済み特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力させる段階；を含む。
一実施例において、前記学習装置は、前記第ｋコンボリューションレイヤ及び前記第ｋデコンボリューションレイヤの間でさらなる第（ｈ＋１）中間レイヤをさらに含むものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋエンコード済み特徴マップに中間演算を適用して第（ｈ＋１）中間特徴マップを出力し、前記第ｋデコンボリューションレイヤに前記第（ｈ＋１）中間特徴マップを伝達する。
一実施例において、前記第１ないし前記第ｈ中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション（ｄｉｌａｔｅｄ ｃｏｎｖｏｌｕｔｉｏｎ）演算を遂行し、前記ｈ個の中間レイヤの少なくとも一つのレセプティブフィールド（Ｒｅｃｅｐｔｉｖｅ ｆｉｅｌｄ）は、０の値を有するフィルター重み付け値によって決定される。
一実施例において、前記（１）プロセスで、前記学習装置は、前記第１ないし前記第ｈマスクレイヤのうち少なくとも第ｍマスクレイヤ（前記ｍは１から前記ｈまでの整数である）をもって前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達される第ｎエンコード済み特徴マップから前記周波数が対応閾値より大きい領域を抽出することにより、第ｍバンドパス特徴マップを生成するようにし、前記（２）プロセスで、前記学習装置は、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎエンコード済み特徴マップと前記第ｍバンドパス特徴マップとの間の差を計算して第ｍディファレンシャル特徴マップを出力し、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍディファレンシャル特徴マップを伝達するようにし、前記（ｂ１）段階で、前記学習装置は、前記第ｍマスクレイヤに対応する第ｍ中間レイヤをもって前記第ｍバンドパス特徴マップを参照して第ｍ中間特徴マップを出力し、前記（ｂ２）段階で、前記学習装置は、前記第ｍ中間レイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍ中間特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）デコード済み特徴マップの要素ごとの和に前記デコンボリューション演算を適用するようにすることにより、第ｎデコード済み特徴マップを出力する。
本発明の他の態様によると、少なくとも一つのテストイメージに対するセグメンテーションのためのテスト方法において、（ａ）学習装置が、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの学習用特徴マップについてコンボリューション演算を少なくとも１回遂行して第１ないし第ｋ学習用エンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋ学習用エンコード済み特徴マップにデコンボリューション演算を少なくとも１回遂行して第ｋないし第１学習用デコード済み特徴マップをそれぞれ出力する第ｋないし第１デコンボリューションレイヤ、（ｉｉｉ）前記ｋ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）それぞれに対応して配置される第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤそれぞれに対応する第１ないし第ｈディファレンシャルレイヤを含むとするとき、前記トレーニングイメージが入力されると、前記学習装置が、（１）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋ学習用エンコード済み特徴マップを出力するものの、（１−１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋ学習用エンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個の学習用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上の学習用領域を獲得することにより、前記ｈ個の学習用エンコード済み特徴マップから一つ以上の学習用エッジ部分を抽出するようにして、第１ないし第ｈ学習用バンドパス特徴マップを出力させるプロセス、（１−２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個の学習用エンコード済み特徴マップそれぞれと前記第１ないし前記第ｈ学習用バンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈ学習用ディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈ学習用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行し、（２）前記第ｋないし前記第１デコンボリューションレイヤをもって（２−１）前記第ｈないし前記第１学習用バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個の学習用デコード済み特徴マップを利用し、（２−２）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された学習用特徴マップを利用して、前記第ｋないし前記第１学習用デコード済み特徴マップを順次に出力するようにし、（３）前記第１学習用デコード済み特徴マップ及びこれに対応する少なくとも一つのＧＴラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第１ないし前記第ｋデコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節した状態で、前記テストイメージが入力されると、テスト装置は、前記第１ないし前記第ｋコンボリューションレイヤをもって第１ないし第ｋテスト用エンコード済み特徴マップを出力するものの、（ａ１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋテスト用エンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個のテスト用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上のテスト用領域を獲得することにより、前記ｈ個のテスト用エンコード済み特徴マップから一つ以上のテスト用エッジ部分を抽出するようにして、第１ないし第ｈテスト用バンドパス特徴マップを出力させるプロセス、及び（ａ２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のテスト用エンコード済み特徴マップそれぞれと前記第１ないし前記第ｈテスト用バンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈテスト用ディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈテスト用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行する段階；及び（ｂ）前記テスト装置が、前記第ｋないし前記第１デコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１テスト用バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のテスト用デコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力されたテスト用特徴マップを利用して、前記第ｋないし前記第１テスト用デコード済み特徴マップを順次に出力する段階：を含むことを特徴とするテスト方法が提供される。
一実施例において、前記（ａ１）プロセスで、前記テスト装置は、前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって（前記ｍは１から前記ｈまでの整数である）前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達された第ｎテスト用エンコード済み特徴マップから周波数が対応閾値より大きい領域を抽出させることにより、第ｍテスト用バンドパス特徴マップを生成し、前記（ａ２）プロセスで、前記テスト装置は、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎテスト用エンコード済み特徴マップと前記第ｍテスト用バンドパス特徴マップの間の差を計算して第ｍテスト用ディファレンシャル特徴マップを出力するようにし、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍテスト用ディファレンシャル特徴マップを伝達するようにし、前記（ｂ）段階で、前記テスト装置は、前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍテスト用バンドパス特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）テスト用デコード済み特徴マップのテスト用要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ ｓｕｍ）に前記デコンボリューション演算を適用することによって、第ｎテスト用デコード済み特徴マップを出力する。
一実施例において、前記（ａ）段階で、前記テスト装置は、前記第１ないし前記第ｋコンボリューションレイヤをもって前記テストイメージ及び前記第１ないし前記第（ｋ−１）テスト用エンコード済み特徴マップのサイズを順次に減少させ、前記テストイメージ及び前記第１ないし前記第（ｋ−１）テスト用エンコード済み特徴マップのチャンネル数を増加させて前記第１ないし前記第ｋテスト用エンコード済み特徴マップをそれぞれ出力するようにし、前記第１ないし前記第ｈマスクレイヤをもって前記ｈ個のテスト用エンコード済み特徴マップから前記周波数が対応閾値より大きい前記領域を抽出することにより、前記第１ないし前記第ｋテスト用エンコード済み特徴マップのうちで前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のテスト用エンコード済み特徴マップから前記テスト用エッジ部分を抽出して前記第１ないし前記第ｈテスト用バンドパス特徴マップを出力するように して、前記（ｂ）段階で、前記テスト装置は、前記第ｋないし前記第１デコンボリューションレイヤをもって前記第ｋテスト用エンコード済み特徴マップ及び前記第ｋないし前記第２テスト用デコード済み特徴マップのサイズを順次に増加させ、前記第ｋテスト用エンコード済み特徴マップ及び前記第ｋないし前記第２テスト用デコード済み特徴マップのチャンネル数を順次に減少させ、前記第ｋないし前記第１テスト用デコード済み特徴マップをそれぞれ出力させる。
一実施例において、前記テスト装置は（ｖ）それぞれの前記第１ないし前記第ｈマスクレイヤとそれに対応するデコンボリューションレイヤとの間にそれぞれ位置した第１ないし第ｈ中間レイヤ；をさらに含み、前記（ｂ）段階は、（ｂ１）前記テスト装置は、前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤから出力されたそれぞれの前記第１ないし前記第ｈテスト用バンドパス特徴マップを獲得して第１ないし第ｈテスト用中間特徴マップをそれぞれ出力させる段階；及び（ｂ２）前記テスト装置は、前記ｋ個のデコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１中間レイヤに対応する前記ｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ出力された前記ｈ個のテスト用デコード済み特徴マップ及び前記第ｈないし前記第１テスト用中間特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１中間レイヤに対応しないそれぞれの前記（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤから出力された（ｋ−ｈ−１）個のテスト用デコード済み特徴マップ及び前記第ｋテスト用エンコード済み特徴マップを利用して、前記第ｋないし前記第１テスト用デコード済み特徴マップを順次に出力させる段階；を含む。
一実施例において、前記テスト装置は、前記第ｋコンボリューションレイヤ及び前記第ｋデコンボリューションレイヤの間でさらなる第（ｈ＋１）中間レイヤをさらに含むものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋテスト用エンコード済み特徴マップに中間演算を適用して第（ｈ＋１）テスト用中間特徴マップを出力し、前記第ｋデコンボリューションレイヤに前記第（ｈ＋１）テスト用中間特徴マップを伝達する。
一実施例において、前記第１ないし前記第ｈ中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行し、前記ｈ個の中間レイヤの少なくとも一つのレセプティブフィールドは、０の値を有するフィルター加重値によって決定される。
一実施例において、前記（ａ１）プロセスで、前記テスト装置は、前記第１ないし前記第ｈマスクレイヤのうち少なくとも第ｍマスクレイヤ（前記ｍは１から前記ｈまでの整数である）をもって前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達される第ｎテスト用エンコード済み特徴マップから前記周波数が対応閾値より大きい領域を抽出することにより、第ｍテスト用バンドパス特徴マップを生成するようにし、前記（ａ２）プロセスで、前記テスト装置は、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎテスト用エンコード済み特徴マップと前記第ｍテスト用バンドパス特徴マップの間の差を計算して第ｍテスト用ディファレンシャル特徴マップを出力し、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍテスト用ディファレンシャル特徴マップを伝達するようにし、前記（ｂ１）段階で、前記テスト装置は、前記第ｍマスクレイヤに対応する第ｍ中間レイヤをもって前記第ｍテスト用バンドパス特徴マップを参照して第ｍテスト用中間特徴マップを出力し、前記（ｂ２）段階で、前記テスト装置は、前記第ｍ中間レイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍテスト用中間特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）テスト用デコード済み特徴マップのテスト用要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ ｓｕｍ）に前記デコンボリューション演算を適用するようにすることにより、第ｎテスト用デコード済み特徴マップを出力する。
本発明のまた他の態様によると、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの特徴マップについてコンボリューション演算を少なくとも１回遂行して第１ないし第ｋエンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋエンコード済み特徴マップにデコンボリューション演算を少なくとも１回遂行して第ｋないし第１デコード済み特徴マップをそれぞれ出力する第ｋないし第１デコンボリューションレイヤ、（ｉｉｉ）前記ｋ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）それぞれに対応して配置される第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤそれぞれに対応する第１ないし第ｈディファレンシャルレイヤを含む、セグメンテーション性能向上のための学習装置において、インストラクションを格納する少なくとも一つのメモリ；及び（I）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋエンコード済み特徴マップを出力するものの、（I−１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋエンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個のエンコード済み特徴マップで周波数が対応閾値より高い一つ以上の領域を獲得することにより、前記ｈ個のエンコード済み特徴マップから一つ以上のエッジ部分を抽出するようにして、第１ないし第ｈバンドパス特徴マップを出力させるプロセス、及び（I−２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のエンコード済み特徴マップそれぞれと前記第１ないし前記第ｈバンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセス；（II）前記第ｋないし前記第１デコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のデコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力させるプロセス；及び（III）前記第１デコード済み特徴マップ及びこれに対応する少なくとも一つのＧＴラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第１ないし前記第ｋデコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする学習装置が提供される。
一実施例において、前記（I−１）プロセスで、前記プロセッサは、前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって（前記ｍは１から前記ｈまでの整数である）前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達された第ｎエンコード済み特徴マップから周波数が対応閾値より大きい領域を抽出させることにより、第ｍバンドパス特徴マップを生成し、前記（I−２）プロセスで、前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎエンコード済み特徴マップと前記第ｍバンドパス特徴マップとの間の差を計算して第ｍディファレンシャル特徴マップを出力するようにし、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍディファレンシャル特徴マップを伝達するようにし、前記（II）プロセスで、前記プロセッサは、前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍバンドパス特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）デコード済み特徴マップの要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ ｓｕｍ）に前記デコンボリューション演算を適用することによって、第ｎデコード済み特徴マップを出力する。
一実施例において、前記（III）プロセスで、前記プロセッサは、前記第ｋないし前記第１デコンボリューションレイヤのうち少なくとも一つに対応する少なくとも一つのロスレイヤをもって前記第ｋないし前記第１デコンボリューションレイヤのうち、前記少なくとも一つから出力された少なくとも一つのデコード済み特徴マップ及びこれに該当する少なくとも一つのＧＴラベルイメージを参考にして、前記ロスを生成するようにすることにより、前記ロスを利用したバックプロパゲーションプロセスを遂行する。
一実施例において、前記（I）プロセスで、前記プロセッサは、前記第１ないし前記第ｋコンボリューションレイヤをもって前記トレーニングイメージ及び前記第１ないし前記第（ｋ−１）エンコード済み特徴マップのサイズを順次に減少させ、前記トレーニングイメージ及び前記第１ないし前記第（ｋ−１）エンコード済み特徴マップのチャンネル数を増加させて前記第１ないし前記第ｋエンコード済み特徴マップをそれぞれ出力するようにし、前記第１ないし前記第ｈマスクレイヤをもって前記ｈ個のエンコード済み特徴マップから前記周波数が対応閾値より大きい前記領域を抽出することにより、前記第１ないし前記第ｋエンコード済み特徴マップのうちで前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のエンコード済み特徴マップから前記エッジ部分を抽出して前記第１ないし前記第ｈバンドパス特徴マップを出力するようにし、前記（II）プロセスで、前記プロセッサは、前記第ｋないし前記第１デコンボリューションレイヤをもって前記第ｋエンコード済み特徴マップ及び前記第ｋないし前記第２デコード済み特徴マップのサイズを順次に増加させ、前記第ｋエンコード済み特徴マップ及び前記第ｋないし前記第２デコード済み特徴マップのチャンネル数を順次に減少させて、前記第ｋないし前記第１デコード済み特徴マップをそれぞれ出力させる。
一実施例において、（ｖ）それぞれの前記第１ないし前記第ｈマスクレイヤとそれに対応するデコンボリューションレイヤとの間にそれぞれ位置した第１ないし第ｈ中間レイヤ；が前記学習装置にさらに含まれ、前記（II）プロセスは、（II−１）前記プロセッサは、前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤから出力されたそれぞれの前記第１ないし前記第ｈバンドパス特徴マップを獲得して第１ないし第ｈ中間特徴マップをそれぞれ出力させるプロセス；及び（II−２）前記プロセッサは、前記ｋ個のデコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１中間レイヤに対応する前記ｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ出力された前記ｈ個のデコード済み特徴マップ及び前記第ｈないし前記第１中間特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１中間レイヤに対応しないそれぞれの前記（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤから出力された（ｋ−ｈ−１）個のデコード済み特徴マップ及び前記第ｋエンコード済み特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力させるプロセス；を含む。
一実施例において、前記第ｋコンボリューションレイヤ及び前記第ｋデコンボリューションレイヤの間でさらなる第（ｈ＋１）中間レイヤが前記学習装置にさらに含まれるものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋエンコード済み特徴マップに中間演算を適用して第（ｈ＋１）中間特徴マップを出力し、前記第ｋデコンボリューションレイヤに前記第（ｈ＋１）中間特徴マップを伝達する。
一実施例において、前記第１ないし前記第ｈ中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行し、前記ｈ個の中間レイヤの少なくとも一つのレセプティブフィールド（Ｒｅｃｅｐｔｉｖｅ ｆｉｅｌｄ）は、０の値を有するフィルター加重値によって決定される。
一実施例において、前記（I−１）プロセスで、前記プロセッサは、前記第１ないし前記第ｈマスクレイヤのうち少なくとも第ｍマスクレイヤ（前記ｍは１から前記ｈまでの整数である）をもって前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達される第ｎエンコード済み特徴マップから前記周波数が対応閾値より大きい領域を抽出することにより、第ｍバンドパス特徴マップを生成するようにし、前記（I−２）プロセスで、前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎエンコード済み特徴マップと前記第ｍバンドパス特徴マップとの間の差を計算して第ｍディファレンシャル特徴マップを出力し、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍディファレンシャル特徴マップを伝達するようにし、前記（II−１）プロセスで、前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍ中間レイヤをもって前記第ｍバンドパス特徴マップを参照して第ｍ中間特徴マップを出力し、前記（II−２）プロセスで、前記プロセッサは、前記第ｍ中間レイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍ中間特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）デコード済み特徴マップの要素ごとの和に前記デコンボリューション演算を適用するようにすることにより、第ｎデコードされたの特徴マップを出力する。
本発明のまた他の態様によると、少なくとも一つのテストイメージのセグメンテーションに関するテスト装置において、インストラクションを格納する少なくとも一つのメモリ；及び学習装置が、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの学習用特徴マップについてコンボリューション演算を少なくとも１回遂行して第１ないし第ｋ学習用エンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋ学習用エンコード済み特徴マップにデコンボリューション演算を少なくとも１回遂行して第ｋないし第１学習用デコード済み特徴マップをそれぞれ出力する第ｋないし第１デコンボリューションレイヤ、（ｉｉｉ）前記ｋ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）それぞれに対応して配置される第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤそれぞれに対応する第１ないし第ｈディファレンシャルレイヤを含むとするとき、前記トレーニングイメージが入力されると、前記学習装置が、（１）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋ学習用エンコード済み特徴マップを出力するものの、（１−１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋ学習用エンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個の学習用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上の学習用領域を獲得することにより、前記ｈ個の学習用エンコード済み特徴マップから一つ以上の学習用エッジ部分を抽出するようにして、第１ないし第ｈ学習用バンドパス特徴マップを出力させるプロセス、（１−２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個の学習用エンコード済み特徴マップそれぞれと前記第１ないし前記第ｈ学習用バンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈ学習用ディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈ学習用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行し、（２）前記第ｋないし前記第１デコンボリューションレイヤをもって（２−１）前記第ｈないし前記第１学習用バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個の学習用デコード済み特徴マップを利用し、（２−２）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された学習用特徴マップを利用して、前記第ｋないし前記第１学習用デコード済み特徴マップを順次に出力するようにし、（３）前記第１学習用デコード済み特徴マップ及びこれに対応する少なくとも一つのＧＴラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第１ないし前記第ｋデコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節した状態で、（I）前記第１ないし前記第ｋコンボリューションレイヤをもって第１ないし第ｋテスト用エンコード済み特徴マップを出力するものの、（I−１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋテスト用エンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個のテスト用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上のテスト用領域を獲得することにより、前記ｈ個のテスト用エンコード済み特徴マップから一つ以上のテスト用エッジ部分を抽出するようにして、第１ないし第ｈテスト用バンドパス特徴マップを出力させるプロセス、及び（I−２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のテスト用エンコード済み特徴マップそれぞれと前記第１ないし前記第ｈテスト用バンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈテスト用ディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈテスト用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセス；及び（II）前記第ｋないし前記第１デコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１テスト用バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のテスト用デコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力されたテスト用特徴マップを利用して、前記第ｋないし前記第１テスト用デコード済み特徴マップを順次に出力させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするテスト装置が提供される。
一実施例において、前記（I−１）プロセスで、前記プロセッサは、前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって（前記ｍは１から前記ｈまでの整数である）前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達された第ｎテスト用エンコード済み特徴マップから周波数が対応閾値より大きい領域を抽出させることにより、第ｍテスト用バンドパス特徴マップを生成し、前記（I−２）プロセスで、前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎテスト用エンコード済み特徴マップと前記第ｍテスト用バンドパス特徴マップの間の差を計算して第ｍテスト用ディファレンシャル特徴マップを出力するようにし、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍテスト用ディファレンシャル特徴マップを伝達するようにし、前記（II）プロセスで、前記プロセッサは、前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍテスト用バンドパス特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）テスト用デコード済み特徴マップのテスト用要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ ｓｕｍ）に前記デコンボリューション演算を適用することによって、第ｎテスト用デコード済み特徴マップを出力する。
一実施例において、前記（I）プロセスで、前記プロセッサは、前記第１ないし前記第ｋコンボリューションレイヤをもって前記テストイメージ及び前記第１ないし前記第（ｋ−１）テスト用エンコード済み特徴マップのサイズを順次に減少させ、前記テストイメージ及び前記第１ないし前記第（ｋ−１）テスト用エンコード済み特徴マップのチャンネル数を増加させて前記第１ないし前記第ｋテスト用エンコード済み特徴マップをそれぞれ出力するようにし、前記第１ないし前記第ｈマスクレイヤをもって前記ｈ個のテスト用エンコード済み特徴マップから前記周波数が対応閾値より大きい前記領域を抽出することにより、前記第１ないし前記第ｋテスト用エンコード済み特徴マップのうちで前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のテスト用エンコード済み特徴マップから前記テスト用エッジ部分を抽出して前記第１ないし前記第ｈテスト用バンドパス特徴マップを出力するようにし、前記（II）プロセスで、前記プロセッサは、前記第ｋないし前記第１デコンボリューションレイヤをもって前記第ｋテスト用エンコード済み特徴マップ及び前記第ｋないし前記第２テスト用デコード済み特徴マップのサイズを順次に増加させ、前記第ｋテスト用エンコード済み特徴マップ及び前記第ｋないし前記第２テスト用デコード済み特徴マップのチャンネル数を順次に減少させて、前記第ｋないし前記第１テスト用デコードされたの特徴マップをそれぞれ出力させる。
一実施例において、（ｖ）それぞれの前記第１ないし前記第ｈマスクレイヤとそれに対応するデコンボリューションレイヤとの間にそれぞれ位置した第１ないし第ｈ中間レイヤが前記テスト装置にさらに含まれて；前記（II）プロセスは、（II−１）前記プロセッサは、前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤから出力されたそれぞれの前記第１ないし前記第ｈテスト用バンドパス特徴マップを獲得して第１ないし第ｈテスト用中間特徴マップをそれぞれ出力させるプロセス；及び（II−２）前記プロセッサは、前記ｋ個のデコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１中間レイヤに対応する前記ｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ出力された前記ｈ個のテスト用デコード済み特徴マップ及び前記第ｈないし前記第１テスト用中間特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１中間レイヤに対応しないそれぞれの前記（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤから出力された（ｋ−ｈ−１）個のテスト用デコード済み特徴マップ及び前記第ｋテスト用エンコード済み特徴マップを利用して、前記第ｋないし前記第１テスト用デコード済み特徴マップを順次に出力させるプロセス；を含む。
一実施例において、前記第ｋコンボリューションレイヤ及び前記第ｋデコンボリューションレイヤの間でさらなる第（ｈ＋１）中間レイヤが前記テスト装置にさらに含まれ、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋテスト用エンコード済み特徴マップに中間演算を適用して第（ｈ＋１）テスト用中間特徴マップを出力し、前記第ｋデコンボリューションレイヤに前記第（ｈ＋１）テスト用中間特徴マップを伝達する。
一実施例において、前記第１ないし前記第ｈ中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行し、前記ｈ個の中間レイヤの少なくとも一つのレセプティブフィールドは、０の値を有するフィルター加重値によって決定される。
一実施例において、前記（I−１）プロセスで、前記プロセッサは、前記第１ないし前記第ｈマスクレイヤのうち少なくとも第ｍマスクレイヤ（前記ｍは１から前記ｈまでの整数である）をもって前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達される第ｎテスト用エンコード済み特徴マップから前記周波数が対応閾値より大きい領域を抽出することにより、第ｍテスト用バンドパス特徴マップを生成するようにし、前記（I−２）プロセスで、前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎテスト用エンコード済み特徴マップと前記第ｍテスト用バンドパス特徴マップとの間の差を計算して第ｍテスト用ディファレンシャル特徴マップを出力し、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍテスト用ディファレンシャル特徴マップを伝達するようにし、前記（II−１）プロセスで、前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍ中間レイヤをもって前記第ｍテスト用バンドパス特徴マップを参照して第ｍテスト用中間特徴マップを出力し、前記（II−２）プロセスで、前記プロセッサは、前記第ｍ中間レイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍテスト用中間特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）テスト用デコード済み特徴マップのテスト用要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ ｓｕｍ）に前記デコンボリューション演算を適用するようにすることにより、第ｎテスト用デコード済み特徴マップを出力する。
本発明によると、エッジ部分の格納された情報を有し、少なくとも一つの特徴マップを生成することができる前記ＣＮＮが提供され得る効果がある。
また、本発明によると、ラフラシアンピラミッドネットワークを構築することができるできるＣＮＮが提供され得る効果がある。
また、本発明によると、任意に生成されるエッジ部分ではなく、エンコード済み特徴マップからエッジ部分を抽出するため、正確なエッジ部分の情報を反映することができる効果がある。
本発明の実施例の説明に利用されるために添付された以下の図面は、本発明の実施例のうち単に一部であるにすぎず、本発明の属する技術分野において、通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の図面が得られ得る。
図１は、ＣＮＮを利用したコンボリューションセグメンテーションのプロセスを簡略に示したものである。 図２は、本発明の一実施例によるラプラシアンピラミッドネットワークを利用してイメージセグメンテーションするプロセスを簡略に示したものである。 図３は、本発明の他の実施例による前記ラプラシアンピラミッドネットワークを利用して、前記イメージセグメンテーションするプロセスを簡略に示したものである。 図４は、本発明の前記ラプラシアンピラミッドネットワークを利用して、エッジ部分を抽出するプロセスを詳細に示したものである。 図５は、本発明のまた他の実施例による前記ラプラシアンピラミッドネットワークを利用して、前記イメージセグメンテーションするプロセスを簡略に示したものである。
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、その実施例に関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現される得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は、実例として提供され、本発明を限定することを意図したものではない。
また、本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明の属する技術分野において、通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例に関して、添付された図面を参照して詳細に説明することとする。
図２は、本発明の一実施例によるラプラシアンピラミッドネットワークを利用してイメージセグメンテーションするプロセスを簡略に示したものである。
本発明による前記ラプラシアンピラミッドネットワークを学習するためのＣＮＮ基盤の学習装置は、図２で示したように、順次に連結されている第１コンボリューションレイヤ（１００＿１）ないし第ｋコンボリューションレイヤ（１００＿ｋ）及び第ｋデコンボリューションレイヤ（２００＿ｋ）ないし第１デコンボリューションレイヤ（２００＿１）を含む。そして、第１マスクレイヤ（３００＿１）ないし第（ｋ−１）マスクレイヤ（３００＿（ｋ−１）及び第１ディファレンシャル（ｄｉｆｆｅｒｅｎｔｉａｌ）レイヤ（４００＿１）ないし第（ｋ−１）ディファレンシャルレイヤ（４００＿（ｋ−１）がそれぞれの前記第１コンボリューションレイヤ（１００＿１）ないし前記第（ｋ−１）コンボリューションレイヤ（１００＿（ｋ−１））の次に含まれる。この際、前記第１ディファレンシャルレイヤ（４００＿１）ないし前記第（ｋ−１）ディファレンシャルレイヤ（４００＿（ｋ−１））のそれぞれは、これに対応する次のコンボリューションレイヤに連結されて、前記第１コンボリューションレイヤ（１００＿１）ないし前記第（ｋ−１）コンボリューションレイヤ（１００＿（ｋ−１））から出力されたそれぞれの特徴マップと前記第１マスクレイヤ（３００＿１）ないし前記第（ｋ−１）マスクレイヤ（３００＿（ｋ−１））から出力されたそれぞれの特徴マップとの間のそれぞれの差を前記対応する次のコンボリューションレイヤに伝達する。一方、前記第ｋデコンボリューションレイヤ（２００＿ｋ）ないし前記第２デコンボリューションレイヤ（２００＿２）それぞれの次には前記第（ｋ−１）マスクレイヤ（３００＿（ｋ−１））ないし前記第１マスクレイヤ（３００＿１）からの出力それぞれと前記第ｋデコンボリューションレイヤ（２００＿ｋ）ないし前記第２デコンボリューションレイヤ（２００＿２）からの出力それぞれを合算する第（ｋ−１）を合算レイヤ（５００＿（ｋ−１））ないし第１合算レイヤ（５００＿１）が存在する。ここで、「ディファレンシャル」という用語は、数学での微分や微分学を意味しない。
まず、少なくとも一つのトレーニングイメージ（１０）が入力されると、前記第１コンボリューションレイヤ（１００＿１）ないし前記第ｋコンボリューションレイヤ（１００＿ｋ）は第１ないし第ｋエンコード済み特徴マップを生成し、前記第ｋデコンボリューションレイヤ（２００＿ｋ）ないし前記第１デコンボリューションレイヤ（２００＿１）は、前記第ｋエンコード済み特徴マップに一つ以上のデコンボリューション演算を適用して第ｋないし第１デコード済み特徴マップを出力する。そして、前記第１デコード済み特徴マップに少なくとも一つ所定の演算を適用して、少なくとも一つのセグメンテーションラベルイメージ（２０）が生成される。
図２を参照すると、前記第１ないし前記第ｋエンコード済み特徴マップを生成する前記プロセスで、前記学習装置は（ｉ）前記第１マスクレイヤ（３００＿１）ないし前記第（ｋ−１）マスクレイヤ（３００＿（ｋ−１））をもって、前記第１ないし前記第（ｋ−１）エンコード済み特徴マップで周波数が対応閾値より高い一つ以上の領域を獲得して、前記第１ないし前記第（ｋ−１）コンボリューションレイヤから出力された前記第１ないし前記第（ｋ−１）エンコード済み特徴マップから一つ以上のエッジ部分を抽出させることにより、第１ないし第（ｋ−１）バンドパス特徴マップをそれぞれ出力するようにし、（ｉｉ）前記第１ディファレンシャルレイヤ（４００＿１）ないし前記第（ｋ−１）ディファレンシャルレイヤ（４００＿（ｋ−１））をもって、前記第１コンボリューションレイヤ（１００＿１）ないし前記第（ｋ−１）コンボリューションレイヤ（１００＿（ｋ−１））から出力された前記第１ないし前記第（ｋ−１）エンコード済み特徴マップそれぞれと前記第１ないし前記第（ｋ−１）マスクレイヤから出力された前記第１ないし前記第（ｋ−１）バンドパス特徴マップそれぞれの差を求めて第１ないし第（ｋ−１）ディファレンシャル特徴マップを出力させることにより、前記第１ないし前記第（ｋ−１）ディファレンシャル特徴マップそれぞれをそれに対応する次のコンボリューションレイヤに伝達するようにする。
そして、前記第ｋないし前記第１デコード済み特徴マップを出力する前記プロセスで、前記第ｋエンコード済み特徴マップが前記第ｋデコンボリューションレイヤ（２００＿ｋ）に入力されると、前記第ｋデコンボリューションレイヤ（２００＿ｋ）ないし前記第１デコンボリューションレイヤ（２００＿１）は、前記第ｋエンコード済み特徴マップ及び以前デコンボリューションレイヤから出力された前記第ｋないし前記第２デコード済み特徴マップにそれぞれ前記デコンボリューション演算を適用して順次に前記第ｋないし前記第１デコード済み特徴マップを出力するものの、前記第（ｋ−１）マスクレイヤ（３００＿（ｋ−１））ないし前記第１マスクレイヤ（３００＿１）から出力された前記第（ｋ−１）ないし前記第１バンドパス特徴マップは、前記第ｋないし前記第２デコード済み特徴マップに反映され得る。
この際、前記学習装置は、（ｉ）前記第１コンボリューションレイヤ（１００＿１）ないし前記第ｋコンボリューションレイヤ（１００＿ｋ）をもって順次に前記トレーニングイメージ及び前記第１ないし前記第（ｋ−１）エンコード済み特徴マップのサイズを減少させ、チャンネル数を増加させて前記第１ないし前記第ｋエンコード済み特徴マップをそれぞれ出力するようにし、（ｉｉ）前記第１マスクレイヤ（３００＿１）ないし前記第（ｋ−１）マスクレイヤ（３００＿（ｋ−１））をもって前記第１ないし前記第（ｋ−１）エンコード済み特徴マップから前記周波数が対応閾値より大きい前記領域を抽出して、前記第１ないし前記第（ｋ−１）エンコード済み特徴マップから前記エッジ部分を抽出させることにより、前記第１ないし前記第（ｋ−１）バンドパス特徴マップを出力するようにし、（ｉｉｉ）前記第ｋデコンボリューションレイヤ（２００＿ｋ）ないし前記第１デコンボリューションレイヤ（２００＿１）をもって順次に前記第ｋエンコード済み特徴マップ及び前記第ｋないし前記第２デコード済み特徴マップのサイズを増加させ、チャンネル数を減少させて前記第ｋないし前記第１デコード済み特徴マップをそれぞれ出力させる。
そして、前記学習装置は、前記セグメンテーションラベルイメージ（２０）及びこれに対応する少なくとも一つのＧＴラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第１ないし前記第ｋデコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節する。
一方で、前記学習装置は少なくとも一つのロスレイヤをもって前記第１デコンボリューションレイヤ（２００＿１）からの出力を利用するだけでなく、複数の前記デコンボリューションレイヤから出力された複数の前記デコード済み特徴マップを利用して、前記ロスを出力させる。たとえば、前記学習装置は、前記第ｋデコンボリューションレイヤ（２００＿ｋ）ないし前記第１デコンボリューションレイヤ（２００＿１）のうち少なくとも一つに対応する前記ロスレイヤ（図示せず）をもって前記第ｋないし前記第１デコンボリューションレイヤのうち、前記少なくとも一つから出力された少なくとも一つのデコード済み特徴マップ及びこれに対応するＧＴラベルイメージを参考にして一つ以上のロスを生成する。その後、前記学習装置は前記ロスを利用したバックプロパゲーションを遂行することができる。
図３は、本発明の他の実施例による前記ラプラシアンピラミッドネットワークを利用して、前記イメージセグメンテーションするプロセスを簡略に示したものである。
図３に示された本発明の他の実施例による前記ラプラシアンピラミッドネットワークを学習するための前記ＣＮＮ基盤の前記学習装置は、図２に示された本発明の一実施例による前記ラプラシアンピラミッドネットワークを学習するための前記ＣＮＮ基盤の前記学習装置と基本的に類似した構成を有するが、前記第１コンボリューションレイヤ（１００＿１）ないし前記第（ｋ−１）コンボリューションレイヤ（１００＿（ｋ−１））のうちでｈ個のコンボリューションレイヤにそれぞれ対応する第１ないし第ｈマスクレイヤ及び前記第１ないし前記第ｈマスクレイヤにそれぞれ対応する第１ないし第ｈディファレンシャルレイヤを含んで、前記マスクレイヤ及び前記ディファレンシャルレイヤは前記すべてのコンボリューションレイヤに対応しない。参考までに、図３に３００＿１と表現されたレイヤが前記第１マスクレイヤであり、３００＿（ｋ−１）と表現されたレイヤが前記第ｈマスクレイヤであり、４００＿１と表現されたレイヤが前記第１ディファレンシャルレイヤであり、４００＿（ｋ−１）と表現されたレイヤが前記第ｈディファレンシャルレイヤであろう。
この場合には、図３に示された前記学習装置は、前記第１コンボリューションレイヤ（１００＿１）ないし前記第ｋコンボリューションレイヤ（１００＿ｋ）をもって前記第１ないし前記第ｋエンコード済み特徴マップを出力するものの、（１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋエンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個のエンコード済み特徴マップで周波数が対応閾値より高い一つ以上の領域を獲得することにより、前記ｈ個のエンコード済み特徴マップから一つ以上のエッジ部分を抽出するようにして、第１ないし第ｈバンドパス特徴マップを出力させるプロセス、及び（２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のエンコード済み特徴マップそれぞれと前記第１ないし前記第ｈバンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行する。
そして、図３に示された前記学習装置は、前記第ｋデコンボリューションレイヤ（２００＿ｋ）ないし前記第１デコンボリューションレイヤ（２００＿１）をもって（ｉ）前記第ｈないし前記第１バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のデコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力させる。たとえば、前記学習装置は、前記第ｋデコンボリューションレイヤ（２００＿ｋ）ないし前記第１デコンボリューションレイヤ（２００＿１）をもって、（ｉ）前記第ｈないし前記第１バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のデコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された（ｋ−ｈ−１）個のデコード済み特徴マップ及び前記第ｋエンコード済み特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力する。
図４は、本発明の前記ラプラシアンピラミッドネットワークを利用して、前記エッジ部分を抽出するプロセスを詳しく示す。
図４を参考にすると、前記学習装置は前記第１コンボリューションレイヤ（１００＿１）ないし前記第ｋコンボリューションレイヤ（１００＿ｋ）のうちで第ｎコンボリューションレイヤ（１００＿ｎ）をもって（前記ｎは１からｋまでの整数である）前記ｈ個のマスクレイヤの一つに対応しない以前コンボリューションレイヤから伝達されたエンコード済み特徴マップ或いは以前ディファレンシャルレイヤから伝達されたディファレンシャル特徴マップに一つ以上のコンボリューション演算を適用するようにする。図４は、前記第１ないし前記第ｈディファレンシャルレイヤのうちで第（ｍ−１）ディファレンシャルレイヤから（前記ｍは１から前記ｈまでの整数である）第（ｍ−１）ディファレンシャル特徴マップを獲得した例を示す。
図４において、前記第ｎコンボリューションレイヤ（１００＿ｎ）は、入力された前記第（ｍ−１）ディファレンシャル特徴マップに前記コンボリューション演算を適用して第ｎエンコード済み特徴マップを生成する。図４で、それぞれの四角ボックスは各特徴マップの周波数領域を示し、矢印は、前記第ｎコンボリューションレイヤ（１００＿ｎ）、第ｍマスクレイヤ（３００＿ｍ）及び第ｍディファレンシャルレイヤ（４００＿ｍ）と関連した入力あるいは出力を示す。図４に示されたように、前記入力された第（ｍ−１）ディファレンシャル特徴マップの周波数領域は、前記出力された第ｎエンコード済み特徴マップの周波数領域とは大きな差がない。
しかも、図４を参照すると、前記第１ないし前記第ｈマスクレイヤのうちで前記第ｍマスクレイヤ（３００＿ｍ）は、前記第ｎコンボリューションレイヤ（１００＿ｎ）から伝達された前記第ｎエンコード済み特徴マップから周波数が対応閾値より大きい領域を抽出することにより、第ｍバンドパス特徴マップを生成する。前記第ｍマスクレイヤ（３００＿ｍ）は、前記第ｎエンコード済み特徴マップの前記周波数が対応閾値より大きい領域を獲得して前記第ｍバンドパス特徴マップを生成するために、バンドパスフィルターとして機能する。図４を参考にすると、前記第ｍバンドパス特徴マップの周波数領域は、前記第ｎエンコード済み特徴マップの、対応閾値より高い前記抽出された周波数領域を示す。そして、前記学習装置は、前記第ｍマスクレイヤ（３００＿ｍ）に対応する前記第ｍディファレンシャルレイヤ（４００＿ｍ）をもって、（ｉ）前記第ｎエンコード済み特徴マップと前記第ｍバンドパス特徴マップとの間の差を計算して第ｍディファレンシャル特徴マップを出力し、（ｉｉ）前記第ｎコンボリューションレイヤ（１００＿ｎ）の次の第（ｎ＋１）コンボリューションレイヤ（図示せず）に前記第ｍディファレンシャル特徴マップを伝達する。図４を参考にすると、前記第ｍディファレンシャル特徴マップの周波数領域は、前記第ｎエンコード済み特徴マップの、対応閾値より高い前記周波数が除去された領域を含む。
このように、それぞれのバンドパス特徴マップは、それぞれのマスクレイヤを通じて前記エンコード済み特徴マップの周波数バンドに対応する領域を抽出して順次に生成され、それぞれのディファレンシャルレイヤを通じて対応閾値より高い周波数が除去されて、それぞれのローパスフィルタリングされた（ｌｏｗ ｐａｓｓ ｆｉｌｔｅｒｅｄ）特徴マップが順次に生成される。これにより、本発明による前記学習装置は、前記ラフラシアンピラミッドネットワークを具現することができる。
すなわち、本発明による前記ラフラシアンピラミッドネットワークを用いた前記学習装置は、マスクレイヤをもってコンボリューションレイヤから出力されたエンコード済み特徴マップからエッジ部分を抽出させることによりバンドパス特徴マップを生成し、デファレンシャルレイヤをもって、前記エンコード済み特徴マップと前記バンドパス特徴マップとの間の差を利用して上位周波数バンドが取り除かれたデファレンシャルマップを生成するようにして、次のコンボリューションレイヤに前記デファレンシャル特徴マップを伝達する。これらの方法において、前記学習装置は、各コンボリューションレイヤから出力されたそれぞれのエンコード済み特徴マップから前記エッジ部分の情報を抽出する。前記エッジ部分の前記情報は、一つ以上のさらなる演算によって強化され得、前記デコンボリューションレイヤに伝達され得る。よって、前記デコンボリューションレイヤは、前記エッジ部分の前記情報を用いて復元（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）プロセスをより容易に実行する。本発明で提案する前記方法を通じては、前記エッジ部分の前記情報が前記デコード済み特徴マップではなく、前記エンコード済み特徴マップから抽出されるため、適切なエッジ部分を抽出することが可能である。
前記エッジ部分の、前記情報を利用した前記復元プロセスは、図２及び図３で示された前記第ｋデコンボリューションレイヤ（２００＿ｋ）ないし前記第２デコンボリューションレイヤ（２００＿２）及び前記第（ｋ−１）合算レイヤ（５００＿（ｋ−１））ないし前記第１合算レイヤ（５００＿１）によって遂行される。 例えば、図４では示されなかったが、前記学習装置は（ｉ）第ｍ合算レイヤ（５００＿ｍ）をもって前記第ｍマスクレイヤ（３００＿ｍ）から出力された前記第ｍバンドパス特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）デコード済み特徴マップの要素ごとの（ｅｌｅｍｅｎｔ−ｗｉｓｅ）和を出力するようにし、（ｉｉ）第ｎデコンボリューションレイヤをもって前記第ｍバンドパス特徴マップと前記第（ｎ＋１）デコード済み特徴マップの前記要素ごとの（ｅｌｅｍｅｎｔ−ｗｉｓｅ）和に前記デコンボリューション演算を適用して第ｎデコード済み特徴マップを出力させる過程を順次に遂行することにより、前記復元プロセスを遂行する。
図５は、本発明のまた他の実施例による前記ラプラシアンピラミッドネットワークを利用して、前記イメージセグメンテーションするプロセスを簡略に示したものである。図５で示された本発明のまた他の実施例による前記ラプラシアンピラミッドネットワークを学習するための前記ＣＮＮ基盤の前記学習装置は、図２または図３で示された前記ＣＮＮ基盤の前記学習装置と基本的に類似した構成を有するが、それぞれの前記第１ないし前記第ｈマスクレイヤとそれに対応するデコンボリューションレイヤとの間の中間レイヤをさらに含む。たとえば、前記中間レイヤは、それぞれの前記第１コンボリューションレイヤ（１００＿１）ないし前記第ｋコンボリューションレイヤ（１００＿ｋ）とそれぞれの前記第１デコンボリューションレイヤ（２００＿１）ないし前記第ｋデコンボリューションレイヤ（２００＿ｋ）との間に位置したそれぞれの第１中間レイヤ（６００＿１）ないし第ｋ中間レイヤ（６００＿ｋ）を含むものの、それぞれの前記第１ないし前記第ｈマスクレイヤとそれに対応するデコンボリューションレイヤとの間に位置したそれぞれのｈ個の中間レイヤを含むことができる。前記中間レイヤのうちで少なくとも一つは、一つ以上の膨張コンボリューション演算を遂行する。この際、それぞれの前記中間レイヤのレセプティブフィールド（Ｒｅｃｅｐｔｉｖｅ ｆｉｅｌｄ）は、０の値を有するフィルター加重値によって決定される。
仮に前記ｈ個の中間レイヤがさらに含まれる場合に、前記学習装置は、前記ｈ個の中間レイヤをもって前記第１ないし前記第ｈマスクレイヤから出力された前記第１ないし前記第ｈバンドパス特徴マップをそれぞれ獲得してｈ個の中間特徴マップそれぞれを生成するようにする。そして、前記学習装置は、前記第ｋないし前記第１デコンボリューションレイヤをもって（ｉ）前記ｈ個の中間レイヤに対応する前記ｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ出力された前記ｈ個のデコード済み特徴マップ及び前記ｈ個の中間特徴マップを利用し、（ｉｉ）前記ｈ個の中間レイヤに対応しないそれぞれの前記（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤから出力された（ｋ−ｈ−１）個のデコード済み特徴マップ及び前記第ｋエンコード済み特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力させる。そして、前記学習装置は、前記第ｋコンボリューションレイヤと前記第ｋデコンボリューションレイヤとの間にさらなる第（ｈ＋１）中間レイヤを含むものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋエンコード済み特徴マップに中間演算を適用して第（ｈ＋１）中間特徴マップを生成し、前記第ｋデコンボリューションレイヤに前記第（ｈ＋１）中間特徴マップを伝達する。この際、前記中間演算は前記膨張コンボリューション演算であり得る。
例えば、図５の前記学習装置は、前記第ｍマスクレイヤ（３００＿ｍ）に対応する第ｍ中間レイヤ（６００＿ｍ）（図示せず）をもって前記第ｍバンドパス特徴マップを参照して第ｍ中間特徴マップを生成し、前記第ｍ中間レイヤ（６００＿ｍ）に対応する前記第ｎデコンボリューションレイヤ（２００＿ｎ）（図示せず）をもって、前記第（ｎ＋１）デコンボリューションレイヤ（２００＿（ｎ＋１）（図示せず）から出力された前記第（ｎ＋１）デコード済み特徴マップと前記第ｍ中間特徴マップの要素ごとの（ｅｌｅｍｅｎｔ−ｗｉｓｅ）和に前記デコンボリューション演算を適用するようにすることにより、前記第ｎデコード済み特徴マップを生成する。
そして、図２ないし図５で示された前記学習方法は、前記ＣＮＮのテスト方法においても適用され得る。参考として、下記の説明において混乱を避けるために、前記学習プロセスに関連する用語に「学習用」という単語が追加されており、テストプロセスに関連する用語に「テスト用」という単語が追加された。
つまり、少なくとも一つのテストイメージに対するセグメンテーションのための前記テスト方法は、（ａ）学習装置が、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの学習用特徴マップについてコンボリューション演算を少なくとも１回遂行して第１ないし第ｋ学習用エンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋ学習用エンコード済み特徴マップにデコンボリューション演算を少なくとも１回遂行して第ｋないし第１学習用デコード済み特徴マップをそれぞれ出力する第ｋないし第１デコンボリューションレイヤ、（ｉｉｉ）前記ｋ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）それぞれに対応して配置される第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤそれぞれに対応する第１ないし第ｈディファレンシャルレイヤを含むとするとき、前記トレーニングイメージが入力されると、前記学習装置が、（１）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋ学習用エンコード済み特徴マップを出力するものの、（１−１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋ学習用エンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個の学習用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上の学習用領域を獲得することにより、前記ｈ個の学習用エンコード済み特徴マップから一つ以上の学習用エッジ部分を抽出するようにして、第１ないし第ｈ学習用バンドパス特徴マップを出力させるプロセス、（１−２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個の学習用エンコード済み特徴マップそれぞれと前記第１ないし前記第ｈ学習用バンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈ学習用ディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈ学習用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行し、（２）前記第ｋないし前記第１デコンボリューションレイヤをもって（２−１）前記第ｈないし前記第１学習用バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個の学習用デコード済み特徴マップを利用し、（２−２）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された学習用特徴マップを利用して、前記第ｋないし前記第１学習用デコード済み特徴マップを順次に出力するようにし、（３）前記第１学習用デコード済み特徴マップ及びこれに対応する少なくとも一つのＧＴラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第１ないし前記第ｋデコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節した状態で、前記テストイメージが入力されると、テスト装置は、前記第１ないし前記第ｋコンボリューションレイヤをもって第１ないし第ｋテスト用エンコード済み特徴マップを出力するものの、（１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋテスト用エンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個のテスト用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上のテスト用領域を獲得することにより、前記ｈ個のテスト用エンコード済み特徴マップから一つ以上のテスト用エッジ部分を抽出するようにして、第１ないし第ｈテスト用バンドパス特徴マップを出力させるプロセス、及び（２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のテスト用エンコード済み特徴マップそれぞれと前記第１ないし前記第ｈテスト用バンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈテスト用ディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈテスト用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行する段階；及び（ｂ）前記テスト装置が、前記第ｋないし前記第１デコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１テスト用バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のテスト用デコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力されたテスト用特徴マップを利用して、前記第ｋないし前記第１テスト用デコード済み特徴マップを順次に出力させる段階；を含む。
本発明による前記学習方法及び前記テスト方法は、自律走行自動車のレベル４及びレベル５を満足させるのに必要な道路障害物及び交通標識などのエッジを検出するのに遂行される。そして、イメージ内のテキスト部分をエッジ部分に強化して、ランドマーク及び道路表示だけでなく、交通標識がより正確に検出され得る。
本発明の技術分野における通常の技術者に理解され得るところであって、上記で説明されたイメージ、例えば、トレーニングイメージやテストイメージのようなイメージデータの送受信が学習装置及びテスト装置の各通信部により行われ得、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／又はメモリー）によって保有／維持され得、コンボリューション演算、デコンボリューション演算、ロス値演算の過程が主に学習装置及びテスト装置のプロセッサによって遂行され得るが、本発明がこれに限定されはしないであろう。また、前記学習装置及び前記テスト装置は、上述したプロセスを遂行するためのコンピュータ読取り可能なインストラクションを格納することができるメモリーをさらに含むことができる。一例として、プロセッサ、メモリ、メディアなどが一つのプロセッサに統合され得もする。
以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカル・ディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光メディア（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリーなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (30)

  1. （ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの特徴マップについて、コンボリューション演算を少なくとも１回遂行して第１ないし第ｋエンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋエンコード済み特徴マップにデコンボリューション演算を少なくとも１回遂行して第ｋないし第１デコード済み特徴マップをそれぞれ出力する第ｋないし第１デコンボリューションレイヤ、（ｉｉｉ）前記ｋ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）それぞれに対応して配置される第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤそれぞれに対応する第１ないし第ｈディファレンシャル（ｄｉｆｆｅｒｅｎｔｉａｌ）レイヤを含む学習装置を利用したイメージセグメンテーションの性能向上のための学習方法において、
    （ａ）前記トレーニングイメージが入力されると、前記学習装置は、前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋエンコード済み特徴マップを出力するものの、（１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋエンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個のエンコード済み特徴マップで周波数が対応閾値より高い一つ以上の領域を獲得することにより、前記ｈ個のエンコード済み特徴マップから一つ以上のエッジ部分を抽出するようにして、第１ないし第ｈバンドパス特徴マップを出力させるプロセス、及び（２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のエンコード済み特徴マップそれぞれと前記第１ないし前記第ｈバンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行する段階；
    （ｂ）前記学習装置は、前記第ｋないし前記第１デコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のデコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力させる段階；
    （ｃ）前記学習装置が、前記第１デコード済み特徴マップ及びこれに対応する少なくとも一つのＧＴラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第１ないし前記第ｋデコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節する段階；
    を含むことを特徴とする学習方法。
  2. 前記（１）プロセスで、
    前記学習装置は、前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって（前記ｍは１から前記ｈまでの整数である）前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達された第ｎエンコード済み特徴マップから周波数が対応閾値より大きい領域を抽出させることにより、第ｍバンドパス特徴マップを生成し、
    前記（２）プロセスで、
    前記学習装置は、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎエンコード済み特徴マップと前記第ｍバンドパス特徴マップとの間の差を計算して第ｍディファレンシャル特徴マップを出力するようにし、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍディファレンシャル特徴マップを伝達するようにし、
    前記（ｂ）段階で、
    前記学習装置は、前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍバンドパス特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）デコード済み特徴マップの要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ ｓｕｍ）に前記デコンボリューション演算を適用することによって、第ｎデコード済み特徴マップを出力することを特徴とする請求項１に記載の学習方法。
  3. 前記（ｃ）段階で、
    前記学習装置は、前記第ｋないし前記第１デコンボリューションレイヤのうち少なくとも一つに対応する少なくとも一つのロスレイヤをもって、前記第ｋないし前記第１デコンボリューションレイヤのうち前記少なくとも一つから出力された少なくとも一つのデコード済み特徴マップ及びこれに該当する少なくとも一つのＧＴラベルイメージを参考にして、前記ロスを生成するようにすることにより、前記ロスを利用したバックプロパゲーションプロセスを遂行することを特徴とする請求項１に記載の学習方法。
  4. 前記（ａ）段階で、
    前記学習装置は、前記第１ないし前記第ｋコンボリューションレイヤをもって前記トレーニングイメージ及び前記第１ないし前記第（ｋ−１）エンコード済み特徴マップのサイズを順次に減少させ、前記トレーニングイメージ及び前記第１ないし前記第（ｋ−１）エンコード済み特徴マップのチャンネル数を増加させて前記第１ないし前記第ｋエンコード済み特徴マップをそれぞれ出力するようにし、前記第１ないし前記第ｈマスクレイヤをもって前記ｈ個のエンコード済み特徴マップから前記周波数が対応閾値より大きい前記領域を抽出することにより、前記第１ないし前記第ｋエンコード済み特徴マップのうちで前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のエンコード済み特徴マップから前記エッジ部分を抽出して前記第１ないし前記第ｈバンドパス特徴マップを出力するようにし、
    前記（ｂ）段階で、
    前記学習装置は、前記第ｋないし前記第１デコンボリューションレイヤをもって前記第ｋエンコード済み特徴マップ及び前記第ｋないし前記第２デコード済み特徴マップのサイズを順次に増加させ、前記第ｋエンコード済み特徴マップ及び前記第ｋないし前記第２デコード済み特徴マップのチャンネル数を順次に減少させて、前記第ｋないし前記第１デコード済み特徴マップをそれぞれ出力させることを特徴とする請求項１に記載の学習方法。
  5. 前記学習装置は、（ｖ）それぞれの前記第１ないし前記第ｈマスクレイヤとそれに対応するデコンボリューションレイヤとの間にそれぞれ位置した第１ないし第ｈ中間レイヤ；をさらに含み、
    前記（ｂ）段階は、
    （ｂ１）前記学習装置は、前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤから出力されたそれぞれの前記第１ないし前記第ｈバンドパス特徴マップを獲得して第１ないし第ｈ中間特徴マップをそれぞれ出力させる段階；及び
    （ｂ２）前記学習装置は、前記ｋ個のデコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１中間レイヤに対応する前記ｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ出力された前記ｈ個のデコード済み特徴マップ及び前記第ｈないし前記第１中間特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１中間レイヤに対応しないそれぞれの前記（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤから出力された（ｋ−ｈ−１）個のデコード済み特徴マップ及び前記第ｋエンコード済み特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力させる段階；
    を含むことを特徴とする請求項１に記載の学習方法。
  6. 前記学習装置は、前記第ｋコンボリューションレイヤ及び前記第ｋデコンボリューションレイヤの間でさらなる第（ｈ＋１）中間レイヤをさらに含むものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋエンコード済み特徴マップに中間演算を適用して第（ｈ＋１）中間特徴マップを出力し、前記第ｋデコンボリューションレイヤに前記第（ｈ＋１）中間特徴マップを伝達することを特徴とする請求項５に記載の学習方法。
  7. 前記第１ないし前記第ｈ中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行し、前記ｈ個の中間レイヤの少なくとも一つのレセプティブフィールド（Ｒｅｃｅｐｔｉｖｅ ｆｉｅｌｄ）は、０の値を有するフィルター加重値によって決定されることを特徴とする請求項５に記載の学習方法。
  8. 前記（１）プロセスで、
    前記学習装置は、前記第１ないし前記第ｈマスクレイヤのうち少なくとも第ｍマスクレイヤ（前記ｍは１から前記ｈまでの整数である）をもって前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達される第ｎエンコード済み特徴マップから前記周波数が対応閾値より大きい領域を抽出することにより、第ｍバンドパス特徴マップを生成するようにし、
    前記（２）プロセスで、
    前記学習装置は、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎエンコード済み特徴マップと前記第ｍバンドパス特徴マップとの間の差を計算して第ｍディファレンシャル特徴マップを出力し、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍディファレンシャル特徴マップを伝達するようにし、
    前記（ｂ１）段階で、
    前記学習装置は、前記第ｍマスクレイヤに対応する第ｍ中間レイヤをもって前記第ｍバンドパス特徴マップを参照して第ｍ中間特徴マップを出力し、
    前記（ｂ２）段階で、
    前記学習装置は、前記第ｍ中間レイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍ中間特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）デコード済み特徴マップの要素ごとの和に前記デコンボリューション演算を適用するようにすることにより、第ｎデコード済み特徴マップを出力することを特徴とする請求項７に記載の学習方法。
  9. 少なくとも一つのテストイメージに対するセグメンテーションのためのテスト方法において、
    （ａ）学習装置が、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの学習用特徴マップについてコンボリューション演算を少なくとも１回遂行して第１ないし第ｋ学習用エンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋ学習用エンコード済み特徴マップにデコンボリューション演算を少なくとも１回遂行して第ｋないし第１学習用デコード済み特徴マップをそれぞれ出力する第ｋないし第１デコンボリューションレイヤ、（ｉｉｉ）前記ｋ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）それぞれに対応して配置される第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤそれぞれに対応する第１ないし第ｈディファレンシャルレイヤを含むとするとき、前記トレーニングイメージが入力されると、前記学習装置が、（１）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋ学習用エンコード済み特徴マップを出力するものの、（１−１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋ学習用エンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個の学習用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上の学習用領域を獲得することにより、前記ｈ個の学習用エンコード済み特徴マップから一つ以上の学習用エッジ部分を抽出するようにして、第１ないし第ｈ学習用バンドパス特徴マップを出力させるプロセス、（１−２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個の学習用エンコード済み特徴マップそれぞれと前記第１ないし前記第ｈ学習用バンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈ学習用ディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈ学習用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行し、（２）前記第ｋないし前記第１デコンボリューションレイヤをもって（２−１）前記第ｈないし前記第１学習用バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個の学習用デコード済み特徴マップを利用し、（２−２）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された学習用特徴マップを利用して、前記第ｋないし前記第１学習用デコード済み特徴マップを順次に出力するようにし、（３）前記第１学習用デコード済み特徴マップ及びこれに対応する少なくとも一つのＧＴラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第１ないし前記第ｋデコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節した状態で、前記テストイメージが入力されると、テスト装置は、前記第１ないし前記第ｋコンボリューションレイヤをもって第１ないし第ｋテスト用エンコード済み特徴マップを出力するものの、（ａ１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋテスト用エンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個のテスト用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上のテスト用領域を獲得することにより、前記ｈ個のテスト用エンコード済み特徴マップから一つ以上のテスト用エッジ部分を抽出するようにして、第１ないし第ｈテスト用バンドパス特徴マップを出力させるプロセス、及び（ａ２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のテスト用エンコード済み特徴マップそれぞれと前記第１ないし前記第ｈテスト用バンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈテスト用ディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈテスト用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行する段階；及び
    （ｂ）前記テスト装置が、前記第ｋないし前記第１デコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１テスト用バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のテスト用デコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力されたテスト用特徴マップを利用して、前記第ｋないし前記第１テスト用デコード済み特徴マップを順次に出力させる段階；
    を含むことを特徴とするテスト方法。
  10. 前記（ａ１）プロセスで、
    前記テスト装置は、前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって（前記ｍは１から前記ｈまでの整数である）前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達された第ｎテスト用エンコード済み特徴マップから周波数が対応閾値より大きい領域を抽出させることにより、第ｍテスト用バンドパス特徴マップを生成し、
    前記（ａ２）プロセスで、
    前記テスト装置は、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎテスト用エンコード済み特徴マップと前記第ｍテスト用バンドパス特徴マップとの間の差を計算して第ｍテスト用ディファレンシャル特徴マップを出力するようにし、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍテスト用ディファレンシャル特徴マップを伝達するようにし、
    前記（ｂ）段階で、
    前記テスト装置は、前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍテスト用バンドパス特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）テスト用デコード済み特徴マップのテスト用要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ ｓｕｍ）に前記デコンボリューション演算を適用することによって、第ｎテスト用デコード済み特徴マップを出力することを特徴とする請求項９に記載のテスト方法。
  11. 前記（ａ）段階で、
    前記テスト装置は、前記第１ないし前記第ｋコンボリューションレイヤをもって前記テストイメージ及び前記第１ないし前記第（ｋ−１）テスト用エンコード済み特徴マップのサイズを順次に減少させ、前記テストイメージ及び前記第１ないし前記第（ｋ−１）テスト用エンコード済み特徴マップのチャンネル数を増加させて前記第１ないし前記第ｋテスト用エンコード済み特徴マップをそれぞれ出力するようにし、前記第１ないし前記第ｈマスクレイヤをもって前記ｈ個のテスト用エンコード済み特徴マップから前記周波数が対応閾値より大きい前記領域を抽出することにより、前記第１ないし前記第ｋテスト用エンコード済み特徴マップのうちで前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のテスト用エンコード済み特徴マップから前記テスト用エッジ部分を抽出して前記第１ないし前記第ｈテスト用バンドパス特徴マップを出力するようにし、
    前記（ｂ）段階で、
    前記テスト装置は、前記第ｋないし前記第１デコンボリューションレイヤをもって前記第ｋテスト用エンコード済み特徴マップ及び前記第ｋないし前記第２テスト用デコード済み特徴マップのサイズを順次に増加させ、前記第ｋテスト用エンコード済み特徴マップ及び前記第ｋないし前記第２テスト用デコード済み特徴マップのチャンネル数を順次に減少させて、前記第ｋないし前記第１テスト用デコード済み特徴マップをそれぞれ出力させることを特徴とする請求項９に記載のテスト方法。
  12. 前記テスト装置は（ｖ）それぞれの前記第１ないし前記第ｈマスクレイヤとそれに対応するデコンボリューションレイヤとの間にそれぞれ位置した第１ないし第ｈ中間レイヤ；をさらに含み、
    前記（ｂ）段階は、
    （ｂ１）前記テスト装置は、前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤから出力されたそれぞれの前記第１ないし前記第ｈテスト用バンドパス特徴マップを獲得して、第１ないし第ｈテスト用中間特徴マップをそれぞれ出力させる段階；及び
    （ｂ２）前記テスト装置は、前記ｋ個のデコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１中間レイヤに対応する前記ｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ出力された前記ｈ個のテスト用デコード済み特徴マップ及び前記第ｈないし前記第１テスト用中間特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１中間レイヤに対応しないそれぞれの前記（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤから出力された（ｋ−ｈ−１）個のテスト用デコード済み特徴マップ及び前記第ｋテスト用エンコード済み特徴マップを利用して、前記第ｋないし前記第１テスト用デコード済み特徴マップを順次に出力させる段階；
    を含むことを特徴とする請求項９に記載のテスト方法。
  13. 前記テスト装置は、前記第ｋコンボリューションレイヤ及び前記第ｋデコンボリューションレイヤの間でさらなる第（ｈ＋１）中間レイヤをさらに含むものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋテスト用エンコード済み特徴マップに中間演算を適用して第（ｈ＋１）テスト用中間特徴マップを出力し、前記第ｋデコンボリューションレイヤに前記第（ｈ＋１）テスト用中間特徴マップを伝達することを特徴とする請求項１２に記載のテスト方法。
  14. 前記第１ないし前記第ｈ中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行し、前記ｈ個の中間レイヤの少なくとも一つのレセプティブフィールドは、０の値を有するフィルター加重値によって決定されることを特徴とする請求項１２に記載のテスト方法。
  15. 前記（ａ１）プロセスで、
    前記テスト装置は、前記第１ないし前記第ｈマスクレイヤのうち少なくとも第ｍマスクレイヤ（前記ｍは１から前記ｈまでの整数である）をもって前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達される第ｎテスト用エンコード済み特徴マップから前記周波数が対応閾値より大きい領域を抽出することにより、第ｍテスト用バンドパス特徴マップを生成するようにし、
    前記（ａ２）プロセスで、
    前記テスト装置は、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎテスト用エンコード済み特徴マップと前記第ｍテスト用バンドパス特徴マップとの間の差を計算して第ｍテスト用ディファレンシャル特徴マップを出力し、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍテスト用ディファレンシャル特徴マップを伝達するようにし、
    前記（ｂ１）段階で、
    前記テスト装置は、前記第ｍマスクレイヤに対応する第ｍ中間レイヤをもって前記第ｍテスト用バンドパス特徴マップを参照して第ｍテスト用中間特徴マップを出力し、
    前記（ｂ２）段階で、
    前記テスト装置は、前記第ｍ中間レイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍテスト用中間特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）テスト用デコード済み特徴マップのテスト用要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ ｓｕｍ）に前記デコンボリューション演算を適用するようにすることにより、第ｎテスト用デコード済み特徴マップを出力することを特徴とする請求項１４に記載のテスト方法。
  16. （ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの特徴マップについてコンボリューション演算を少なくとも１回遂行して第１ないし第ｋエンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋエンコード済み特徴マップにデコンボリューション演算を少なくとも１回遂行して第ｋないし第１デコード済み特徴マップをそれぞれ出力する第ｋないし第１デコンボリューションレイヤ、（ｉｉｉ）前記ｋ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）それぞれに対応して配置される第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤそれぞれに対応する第１ないし第ｈディファレンシャルレイヤを含む、セグメンテーション性能向上のための学習装置において、
    インストラクションを格納する少なくとも一つのメモリ；及び
    （I）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋエンコード済み特徴マップを出力するものの、（I−１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋエンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個のエンコード済み特徴マップで周波数が対応閾値より高い一つ以上の領域を獲得することにより、前記ｈ個のエンコード済み特徴マップから一つ以上のエッジ部分を抽出するようにして、第１ないし第ｈバンドパス特徴マップを出力させるプロセス、及び（I−２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のエンコード済み特徴マップそれぞれと前記第１ないし前記第ｈバンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセス；（II）前記第ｋないし前記第１デコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のデコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力させるプロセス；及び（III）前記第１デコード済み特徴マップ及びこれに対応する少なくとも一つのＧＴラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第１ないし前記第ｋデコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
    を含むことを特徴とする学習装置。
  17. 前記（I−１）プロセスで、
    前記プロセッサは、前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって（前記ｍは１から前記ｈまでの整数である）前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達された第ｎエンコード済み特徴マップから周波数が対応閾値より大きい領域を抽出させることにより、第ｍバンドパス特徴マップを生成し、
    前記（I−２）プロセスで、
    前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎエンコード済み特徴マップと前記第ｍバンドパス特徴マップとの間の差を計算して第ｍディファレンシャル特徴マップを出力するようにし、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍディファレンシャル特徴マップを伝達するようにし、
    前記（II）プロセスで、
    前記プロセッサは、前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍバンドパス特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）デコード済み特徴マップの要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ ｓｕｍ）に前記デコンボリューション演算を適用することによって、第ｎデコード済み特徴マップを出力することを特徴とする請求項１６に記載の学習装置。
  18. 前記（III）プロセスで、
    前記プロセッサは、前記第ｋないし前記第１デコンボリューションレイヤのうち少なくとも一つに対応する少なくとも一つのロスレイヤをもって前記第ｋないし前記第１デコンボリューションレイヤのうち、前記少なくとも一つから出力された少なくとも一つのデコード済み特徴マップ及びこれに該当する少なくとも一つのＧＴラベルイメージを参考にして、前記ロスを生成するようにすることにより、前記ロスを利用したバックプロパゲーションプロセスを遂行することを特徴とする請求項１６に記載の学習装置。
  19. 前記（I）プロセスで、
    前記プロセッサは、前記第１ないし前記第ｋコンボリューションレイヤをもって前記トレーニングイメージ及び前記第１ないし前記第（ｋ−１）エンコード済み特徴マップのサイズを順次に減少させ、前記トレーニングイメージ及び前記第１ないし前記第（ｋ−１）エンコード済み特徴マップのチャンネル数を増加させて前記第１ないし前記第ｋエンコード済み特徴マップをそれぞれ出力するようにし、前記第１ないし前記第ｈマスクレイヤをもって前記ｈ個のエンコード済み特徴マップから前記周波数が対応閾値より大きい前記領域を抽出することにより、前記第１ないし前記第ｋエンコード済み特徴マップのうちで前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のエンコード済み特徴マップから前記エッジ部分を抽出して前記第１ないし前記第ｈバンドパス特徴マップを出力するようにし、
    前記（II）プロセスで、
    前記プロセッサは、前記第ｋないし前記第１デコンボリューションレイヤをもって前記第ｋエンコード済み特徴マップ及び前記第ｋないし前記第２デコード済み特徴マップのサイズを順次に増加させ、前記第ｋエンコード済み特徴マップ及び前記第ｋないし前記第２デコード済み特徴マップのチャンネル数を順次に減少させて、前記第ｋないし前記第１デコード済み特徴マップをそれぞれ出力させることを特徴とする請求項１６に記載の学習装置。
  20. （ｖ）それぞれの前記第１ないし前記第ｈマスクレイヤとそれに対応するデコンボリューションレイヤとの間にそれぞれ位置した第１ないし第ｈ中間レイヤ；が前記学習装置にさらに含まれ、
    前記（II）プロセスは、
    （II−１）前記プロセッサは、前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤから出力されたそれぞれの前記第１ないし前記第ｈバンドパス特徴マップを獲得して第１ないし第ｈ中間特徴マップをそれぞれ出力させるプロセス；及び
    （II−２）前記プロセッサは、前記ｋ個のデコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１中間レイヤに対応する前記ｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ出力された前記ｈ個のデコード済み特徴マップ及び前記第ｈないし前記第１中間特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１中間レイヤに対応しないそれぞれの前記（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤから出力された（ｋ−ｈ−１）個のデコード済み特徴マップ及び前記第ｋエンコード済み特徴マップを利用して、前記第ｋないし前記第１デコード済み特徴マップを順次に出力させるプロセス；
    を含むことを特徴とする請求項１６に記載の学習装置。
  21. 前記第ｋコンボリューションレイヤ及び前記第ｋデコンボリューションレイヤの間でさらなる第（ｈ＋１）中間レイヤが前記学習装置にさらに含まれるものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋエンコード済み特徴マップに中間演算を適用して第（ｈ＋１）中間特徴マップを出力し、前記第ｋデコンボリューションレイヤに前記第（ｈ＋１）中間特徴マップを伝達することを特徴とする請求項２０に記載の学習装置。
  22. 前記第１ないし前記第ｈ中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行し、前記ｈ個の中間レイヤの少なくとも一つのレセプティブフィールド（Ｒｅｃｅｐｔｉｖｅ ｆｉｅｌｄ）は、０の値を有するフィルター加重値によって決定されることを特徴とする請求項２０に記載の学習装置。
  23. 前記（I−１）プロセスで、
    前記プロセッサは、前記第１ないし前記第ｈマスクレイヤのうち少なくとも第ｍマスクレイヤ（前記ｍは１から前記ｈまでの整数である）をもって前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達される第ｎエンコード済み特徴マップから前記周波数が対応閾値より大きい領域を抽出することにより、第ｍバンドパス特徴マップを生成するようにし、
    前記（I−２）プロセスで、
    前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎエンコード済み特徴マップと前記第ｍバンドパス特徴マップとの間の差を計算して第ｍディファレンシャル特徴マップを出力し、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍディファレンシャル特徴マップを伝達するようにし、
    前記（II−１）プロセスで、
    前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍ中間レイヤをもって前記第ｍバンドパス特徴マップを参照して第ｍ中間特徴マップを出力し、
    前記（II−２）プロセスで、
    前記プロセッサは、前記第ｍ中間レイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍ中間特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）デコード済み特徴マップの要素ごとの和に前記デコンボリューション演算を適用するようにすることにより、第ｎデコード済み特徴マップを出力することを特徴とする請求項２２に記載の学習装置。
  24. 少なくとも一つのテストイメージのセグメンテーションに関するテスト装置において、
    インストラクションを格納する少なくとも一つのメモリ；及び
    学習装置が、（ｉ）少なくとも一つのトレーニングイメージに対応する少なくとも一つの学習用特徴マップについてコンボリューション演算を少なくとも１回遂行して第１ないし第ｋ学習用エンコード済み特徴マップをそれぞれ出力する第１ないし第ｋコンボリューションレイヤ、（ｉｉ）前記第ｋ学習用エンコード済み特徴マップにデコンボリューション演算を少なくとも１回遂行して第ｋないし第１学習用デコード済み特徴マップをそれぞれ出力する第ｋないし第１デコンボリューションレイヤ、（ｉｉｉ）前記ｋ個のコンボリューションレイヤのうちｈ個のコンボリューションレイヤ（前記ｈは１から（ｋ−１）までの整数である）それぞれに対応して配置される第１ないし第ｈマスクレイヤ、及び（ｉｖ）前記第１ないし前記第ｈマスクレイヤそれぞれに対応する第１ないし第ｈディファレンシャルレイヤを含むとするとき、前記トレーニングイメージが入力されると、前記学習装置が、（１）前記第１ないし前記第ｋコンボリューションレイヤをもって前記第１ないし前記第ｋ学習用エンコード済み特徴マップを出力するものの、（１−１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋ学習用エンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個の学習用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上の学習用領域を獲得することにより、前記ｈ個の学習用エンコード済み特徴マップから一つ以上の学習用エッジ部分を抽出するようにして、第１ないし第ｈ学習用バンドパス特徴マップを出力させるプロセス、（１−２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個の学習用エンコード済み特徴マップそれぞれと前記第１ないし前記第ｈ学習用バンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈ学習用ディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈ学習用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行し、（２）前記第ｋないし前記第１デコンボリューションレイヤをもって（２−１）前記第ｈないし前記第１学習用バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個の学習用デコード済み特徴マップを利用し、（２−２）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された学習用特徴マップを利用して、前記第ｋないし前記第１学習用デコード済み特徴マップを順次に出力するようにし、（３）前記第１学習用デコード済み特徴マップ及びこれに対応する少なくとも一つのＧＴラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第１ないし前記第ｋデコンボリューションレイヤ及び前記第ｋないし前記第１コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節した状態で、（I）前記第１ないし前記第ｋコンボリューションレイヤをもって第１ないし第ｋテスト用エンコード済み特徴マップを出力するものの、（I−１）前記第１ないし前記第ｈマスクレイヤをもって、前記第１ないし前記第ｋテスト用エンコード済み特徴マップのうち、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力されるｈ個のテスト用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上のテスト用領域を獲得することにより、前記ｈ個のテスト用エンコード済み特徴マップから一つ以上のテスト用エッジ部分を抽出するようにして、第１ないし第ｈテスト用バンドパス特徴マップを出力させるプロセス、及び（I−２）前記第１ないし第ｈディファレンシャルレイヤをもって、前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のテスト用エンコード済み特徴マップそれぞれと前記第１ないし前記第ｈテスト用バンドパス特徴マップそれぞれとの差を求めることにより、第１ないし第ｈテスト用ディファレンシャル特徴マップを獲得して、前記第１ないし前記第ｈテスト用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセス；及び（II）前記第ｋないし前記第１デコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１テスト用バンドパス特徴マップ及び前記第ｈないし前記第１マスクレイヤに対応するｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたｈ個のテスト用デコード済み特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１マスクレイヤに対応しない（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力されたテスト用特徴マップを利用して、前記第ｋないし前記第１テスト用デコード済み特徴マップを順次に出力させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
    を含むことを特徴とするテスト装置。
  25. 前記（I−１）プロセスで、
    前記プロセッサは、前記第１ないし前記第ｈマスクレイヤのうちで少なくとも第ｍマスクレイヤをもって（前記ｍは１から前記ｈまでの整数である）前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達された第ｎテスト用エンコード済み特徴マップから周波数が対応閾値より大きい領域を抽出させることにより、第ｍテスト用バンドパス特徴マップを生成し、
    前記（I−２）プロセスで、
    前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎテスト用エンコード済み特徴マップと前記第ｍテスト用バンドパス特徴マップとの間の差を計算して第ｍテスト用ディファレンシャル特徴マップを出力するようにし、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍテスト用ディファレンシャル特徴マップを伝達するようにし、
    前記（II）プロセスで、
    前記プロセッサは、前記第ｍマスクレイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍテスト用バンドパス特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）テスト用デコード済み特徴マップのテスト用要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ ｓｕｍ）に前記デコンボリューション演算を適用することによって、第ｎテスト用デコード済み特徴マップを出力することを特徴とする請求項２４に記載のテスト装置。
  26. 前記（I）プロセスで、
    前記プロセッサは、前記第１ないし前記第ｋコンボリューションレイヤをもって前記テストイメージ及び前記第１ないし前記第（ｋ−１）テスト用エンコード済み特徴マップのサイズを順次に減少させ、前記テストイメージ及び前記第１ないし前記第（ｋ−１）テスト用エンコード済み特徴マップのチャンネル数を増加させて前記第１ないし前記第ｋテスト用エンコード済み特徴マップをそれぞれ出力するようにし、前記第１ないし前記第ｈマスクレイヤをもって前記ｈ個のテスト用エンコード済み特徴マップから前記周波数が対応閾値より大きい前記領域を抽出することにより、前記第１ないし前記第ｋテスト用エンコード済み特徴マップのうちで前記第１ないし前記第ｈマスクレイヤにそれぞれ入力される前記ｈ個のテスト用エンコード済み特徴マップから前記テスト用エッジ部分を抽出して前記第１ないし前記第ｈテスト用バンドパス特徴マップを出力するようにし、
    前記（II）プロセスで、
    前記プロセッサは、前記第ｋないし前記第１デコンボリューションレイヤをもって前記第ｋテスト用エンコード済み特徴マップ及び前記第ｋないし前記第２テスト用デコード済み特徴マップのサイズを順次に増加させ、前記第ｋテスト用エンコード済み特徴マップ及び前記第ｋないし前記第２テスト用デコード済み特徴マップのチャンネル数を順次に減少させて、前記第ｋないし前記第１テスト用デコード済み特徴マップをそれぞれ出力させることを特徴とする請求項２４に記載のテスト装置。
  27. （ｖ）それぞれの前記第１ないし前記第ｈマスクレイヤとそれに対応するデコンボリューションレイヤとの間にそれぞれ位置した第１ないし第ｈ中間レイヤが前記テスト装置にさらに含まれ；
    前記（II）プロセスは、
    （II−１）前記プロセッサは、前記第１ないし前記第ｈ中間レイヤをもって前記第１ないし前記第ｈマスクレイヤから出力されたそれぞれの前記第１ないし前記第ｈテスト用バンドパス特徴マップを獲得して第１ないし第ｈテスト用中間特徴マップをそれぞれ出力させるプロセス；及び
    （II−２）前記プロセッサは、前記ｋ個のデコンボリューションレイヤをもって（ｉ）前記第ｈないし前記第１中間レイヤに対応する前記ｈ個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ出力された前記ｈ個のテスト用デコード済み特徴マップ及び前記第ｈないし前記第１テスト用中間特徴マップを利用し、（ｉｉ）前記第ｈないし前記第１中間レイヤに対応しないそれぞれの前記（ｋ−ｈ）個のデコンボリューションレイヤそれぞれの以前レイヤから出力された（ｋ−ｈ−１）個のテスト用デコード済み特徴マップ及び前記第ｋテスト用エンコード済み特徴マップを利用して、前記第ｋないし前記第１テスト用デコード済み特徴マップを順次に出力させるプロセス；
    を含むことを特徴とする請求項２４に記載のテスト装置。
  28. 前記第ｋコンボリューションレイヤ及び前記第ｋデコンボリューションレイヤの間でさらなる第（ｈ＋１）中間レイヤが前記テスト装置にさらに含まれるものの、前記さらなる第（ｈ＋１）中間レイヤは、前記第ｋテスト用エンコード済み特徴マップに中間演算を適用して第（ｈ＋１）テスト用中間特徴マップを出力し、前記第ｋデコンボリューションレイヤに前記第（ｈ＋１）テスト用中間特徴マップを伝達することを特徴とする請求項２７に記載のテスト装置。
  29. 前記第１ないし前記第ｈ中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行し、前記ｈ個の中間レイヤの少なくとも一つのレセプティブフィールドは、０の値を有するフィルター加重値によって決定されることを特徴とする請求項２７に記載のテスト装置。
  30. 前記（I−１）プロセスで、
    前記プロセッサは、前記第１ないし前記第ｈマスクレイヤのうち少なくとも第ｍマスクレイヤ（前記ｍは１から前記ｈまでの整数である）をもって前記第ｍマスクレイヤに対応する第ｎコンボリューションレイヤから（前記ｎは１から前記ｋまでの整数である）伝達される第ｎテスト用エンコード済み特徴マップから前記周波数が対応閾値より大きい領域を抽出することにより、第ｍテスト用バンドパス特徴マップを生成するようにし、
    前記（I−２）プロセスで、
    前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍディファレンシャルレイヤをもって前記第ｎテスト用エンコード済み特徴マップと前記第ｍテスト用バンドパス特徴マップとの間の差を計算して第ｍテスト用ディファレンシャル特徴マップを出力し、前記第ｎコンボリューションレイヤの次の第（ｎ＋１）コンボリューションレイヤに前記第ｍテスト用ディファレンシャル特徴マップを伝達するようにし、
    前記（II−１）プロセスで、
    前記プロセッサは、前記第ｍマスクレイヤに対応する第ｍ中間レイヤをもって前記第ｍテスト用バンドパス特徴マップを参照して第ｍテスト用中間特徴マップを出力し、
    前記（II−２）プロセスで、
    前記プロセッサは、前記第ｍ中間レイヤに対応する第ｎデコンボリューションレイヤをもって前記第ｍテスト用中間特徴マップと第（ｎ＋１）デコンボリューションレイヤから出力された第（ｎ＋１）テスト用デコード済み特徴マップのテスト用要素ごとの和（ｅｌｅｍｅｎｔ−ｗｉｓｅ ｓｕｍ）に前記デコンボリューション演算を適用するようにすることにより、第ｎテスト用デコード済み特徴マップを出力することを特徴とする請求項２９に記載のテスト装置。
JP2019202411A 2019-01-25 2019-11-07 ラプラシアンピラミッドネットワークを利用して自律走行自動車レベル４及びレベル５を満足させるために要求される道路障害物検出におけるセグメンテーション性能向上のための学習方法及び学習装置、並びにこれを利用したテスト方法及びテスト装置 Active JP6865363B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/257,713 US10402977B1 (en) 2019-01-25 2019-01-25 Learning method and learning device for improving segmentation performance in road obstacle detection required to satisfy level 4 and level 5 of autonomous vehicles using laplacian pyramid network and testing method and testing device using the same
US16/257,713 2019-01-25

Publications (2)

Publication Number Publication Date
JP2020119500A JP2020119500A (ja) 2020-08-06
JP6865363B2 true JP6865363B2 (ja) 2021-04-28

Family

ID=67770114

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019202411A Active JP6865363B2 (ja) 2019-01-25 2019-11-07 ラプラシアンピラミッドネットワークを利用して自律走行自動車レベル４及びレベル５を満足させるために要求される道路障害物検出におけるセグメンテーション性能向上のための学習方法及び学習装置、並びにこれを利用したテスト方法及びテスト装置

Country Status (5)

Country Link
US (1) US10402977B1 (ja)
EP (1) EP3686774B1 (ja)
JP (1) JP6865363B2 (ja)
KR (1) KR102246326B1 (ja)
CN (1) CN111488782B (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10503998B2 (en) 2016-11-07 2019-12-10 Gracenote, Inc. Recurrent deep neural network system for detecting overlays in images
KR20210061839A (ko) * 2019-11-20 2021-05-28 삼성전자주식회사 전자 장치 및 그 제어 방법
CN111178181B (zh) * 2019-12-16 2023-06-09 深圳市华尊科技股份有限公司 交通场景分割方法及相关装置
CN111160230B (zh) * 2019-12-27 2023-06-06 清华大学苏州汽车研究院（吴江） 一种基于深度学习的道路不规则区域检测网络
CN111179283A (zh) * 2019-12-30 2020-05-19 深圳市商汤科技有限公司 图像语义分割方法及装置、存储介质
KR20210111557A (ko) * 2020-03-03 2021-09-13 현대자동차주식회사 심층 학습 기반의 객체 분류 장치 및 그 방법
JP7359969B2 (ja) 2020-03-04 2023-10-11 グーグル エルエルシー ストリーミングシーケンスモデルの一貫性予測
CN113822041B (zh) * 2020-06-18 2023-04-18 四川大学 一种适用密集文本的深度神经网络自然场景文本检测方法
CN112115920B (zh) * 2020-09-30 2024-07-26 广州市行动者科技有限责任公司 生成单目标检测神经网络的方法和装置
CN112287807B (zh) * 2020-10-27 2022-06-07 武汉大学 一种基于多分支金字塔神经网络的遥感影像道路提取方法
WO2022211409A1 (ko) * 2021-03-31 2022-10-06 현대자동차주식회사 특징맵 축소를 이용하는 머신 비전 데이터 코딩 장치 및 방법
CN114463187B (zh) * 2022-04-14 2022-06-17 合肥高维数据技术有限公司 基于聚合边缘特征的图像语义分割方法及系统
JP7713197B2 (ja) * 2022-06-24 2025-07-25 Ｎｔｔ株式会社 情報処理装置、領域区分方法、及びプログラム
CN116433940B (zh) * 2023-04-21 2024-11-29 北京数慧时空信息技术有限公司 基于孪生镜像网络的遥感影像变化检测方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8401336B2 (en) * 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
JP5506274B2 (ja) * 2009-07-31 2014-05-28 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
CN104700099B (zh) * 2015-03-31 2017-08-11 百度在线网络技术（北京）有限公司 识别交通标志的方法和装置
WO2016197303A1 (en) * 2015-06-08 2016-12-15 Microsoft Technology Licensing, Llc. Image semantic segmentation
CN104933722B (zh) * 2015-06-29 2017-07-11 电子科技大学 一种基于Spiking‑卷积神经网络模型的图像边缘检测方法
CN108603922A (zh) * 2015-11-29 2018-09-28 阿特瑞斯公司 自动心脏体积分割
US20170206434A1 (en) * 2016-01-14 2017-07-20 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
US11144889B2 (en) * 2016-04-06 2021-10-12 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
EP3252671A1 (en) * 2016-05-31 2017-12-06 Siemens Healthcare GmbH Method of training a deep neural network
WO2018033156A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 视频图像的处理方法、装置和电子设备
US10424064B2 (en) * 2016-10-18 2019-09-24 Adobe Inc. Instance-level semantic segmentation system
US10582907B2 (en) * 2016-10-31 2020-03-10 Siemens Healthcare Gmbh Deep learning based bone removal in computed tomography angiography
US10157441B2 (en) * 2016-12-27 2018-12-18 Automotive Research & Testing Center Hierarchical system for detecting object with parallel architecture and hierarchical method thereof
WO2018138603A1 (en) * 2017-01-26 2018-08-02 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and electronic device including the semiconductor device
CA3053487A1 (en) * 2017-02-22 2018-08-30 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Detection of prostate cancer in multi-parametric mri using random forest with instance weighting & mr prostate segmentation by deep learning with holistically-nested networks
CN108229455B (zh) * 2017-02-23 2020-10-16 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
US10133964B2 (en) * 2017-03-28 2018-11-20 Siemens Healthcare Gmbh Magnetic resonance image reconstruction system and method
US10365606B2 (en) * 2017-04-07 2019-07-30 Thanh Nguyen Apparatus, optical system, and method for digital holographic microscopy
US10325166B2 (en) * 2017-04-13 2019-06-18 Here Global B.V. Method, apparatus, and system for a parametric representation of signs
JP6744838B2 (ja) * 2017-04-18 2020-08-19 Kddi株式会社 エンコーダデコーダ畳み込みニューラルネットワークにおける解像感を改善するプログラム
US11164071B2 (en) * 2017-04-18 2021-11-02 Samsung Electronics Co., Ltd. Method and apparatus for reducing computational complexity of convolutional neural networks
US10824938B2 (en) * 2017-04-24 2020-11-03 Intel Corporation Specialized fixed function hardware for efficient convolution
US10733755B2 (en) * 2017-07-18 2020-08-04 Qualcomm Incorporated Learning geometric differentials for matching 3D models to objects in a 2D image
US10402995B2 (en) * 2017-07-27 2019-09-03 Here Global B.V. Method, apparatus, and system for real-time object detection using a cursor recurrent neural network
CN108022238B (zh) * 2017-08-09 2020-07-03 深圳科亚医疗科技有限公司 对3d图像中对象进行检测的方法、计算机存储介质和系统
US10753997B2 (en) * 2017-08-10 2020-08-25 Siemens Healthcare Gmbh Image standardization using generative adversarial networks
US10282589B2 (en) * 2017-08-29 2019-05-07 Konica Minolta Laboratory U.S.A., Inc. Method and system for detection and classification of cells using convolutional neural networks
US10635858B2 (en) * 2017-09-11 2020-04-28 Nec Corporation Electronic message classification and delivery using a neural network architecture
CN109493347B (zh) * 2017-09-12 2021-03-23 深圳科亚医疗科技有限公司 在图像中对稀疏分布的对象进行分割的方法和系统
US10223610B1 (en) * 2017-10-15 2019-03-05 International Business Machines Corporation System and method for detection and classification of findings in images
CN108564109B (zh) * 2018-03-21 2021-08-10 天津大学 一种基于深度学习的遥感图像目标检测方法
CN108520212A (zh) * 2018-03-27 2018-09-11 东华大学 基于改进的卷积神经网络的交通标志检测方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network

Also Published As

Publication number Publication date
KR20200092839A (ko) 2020-08-04
CN111488782B (zh) 2023-04-07
EP3686774C0 (en) 2023-08-30
US10402977B1 (en) 2019-09-03
JP2020119500A (ja) 2020-08-06
KR102246326B1 (ko) 2021-04-29
EP3686774A1 (en) 2020-07-29
CN111488782A (zh) 2020-08-04
EP3686774B1 (en) 2023-08-30

Similar Documents

Publication Publication Date Title
JP6865363B2 (ja) ラプラシアンピラミッドネットワークを利用して自律走行自動車レベル４及びレベル５を満足させるために要求される道路障害物検出におけるセグメンテーション性能向上のための学習方法及び学習装置、並びにこれを利用したテスト方法及びテスト装置
JP6865364B2 (ja) エッジロスを利用して歩行者イベント、自動車イベント、フォーリングイベント、フォールンイベントを含むイベントを検出するにおいて利用されるセグメンテーション性能向上のための学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置
KR102337376B1 (ko) 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
JP6856851B2 (ja) イメージエンコーディングのための方法及び装置そしてこれを利用したテスト方法及びテスト装置
US10692002B1 (en) Learning method and learning device of pedestrian detector for robust surveillance based on image analysis by using GAN and testing method and testing device using the same
JP6869565B2 (ja) 危険要素検出に利用される学習用イメージデータセットの生成方法及びコンピューティング装置、そしてこれを利用した学習方法及び学習装置｛ｍｅｔｈｏｄ ａｎｄ ｃｏｍｐｕｔｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｇｅｎｅｒａｔｉｎｇ ｉｍａｇｅ ｄａｔａ ｓｅｔ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｈａｚａｒｄ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP6847464B2 (ja) 車線候補ピクセルを分類して車線を検出する学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｌａｎｅ ｔｈｒｏｕｇｈ ｃｌａｓｓｉｆｙｉｎｇ ｌａｎｅ ｃａｎｄｉｄａｔｅ ｐｉｘｅｌｓ ａｎｄ ｔｅｓｔ ｍｅｔｈｏｄ， ｔｅｓｔ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP6855082B2 (ja) 自律走行状況での障害物検出のためのｃｎｎ学習用イメージデータセットの生成方法及び装置、そしてこれを利用したテスト方法及びテスト装置
CN111008638B (zh) 基于r-cnn的对象检测器的学习方法和装置
US10410120B1 (en) Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same
JP6912835B2 (ja) 自律走行自動車のレベル４を満たすために要求されるｈｄマップアップデートに利用される、少なくとも一つのアダプティブロス重み付け値マップを利用したアテンションドリブン・イメージセグメンテーション学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
JP6957050B2 (ja) モバイルデバイスまたは小型ネットワークに適用可能なハードウェアを最適化するのに利用可能なｒｏｉをプーリングするために、マスキングパラメータを利用する方法及び装置、そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｐｏｏｌｉｎｇ ｒｏｉ ｂｙ ｕｓｉｎｇ ｍａｓｋｉｎｇ ｐａｒａｍｅｔｅｒｓ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｍｏｂｉｌｅ ｄｅｖｉｃｅｓ ｏｒ ｃｏｍｐａｃｔ ｎｅｔｗｏｒｋｓ ｖｉａ ｈａｒｄｗａｒｅ ｏｐｔｉｍｉｚａｔｉｏｎ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR102279376B1 (ko) CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102279388B1 (ko) 차선 모델을 이용하여 차선을 검출할 수 있는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN111488978B (zh) 为了元学习用于调整残差网络的方法及装置
JP6856952B2 (ja) 複数のビデオフレームを利用してｃｎｎのパラメータを最適化するための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置
KR20200027428A (ko) 에지 이미지를 이용하여 객체를 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
JP2020038664A (ja) コンボリューションニューラルネットワークから複数の出力のアンサンブルを利用して統合された特徴マップを提供するための方法及び装置｛ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ｐｒｏｖｉｄｉｎｇ ｉｎｔｅｇｒａｔｅｄ ｆｅａｔｕｒｅ ｍａｐ ｕｓｉｎｇ ｅｎｓｅｍｂｌｅ ｏｆ ｍｕｌｔｉｐｌｅ ｏｕｔｐｕｔｓ ｆｒｏｍ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ｝
KR20200047307A (ko) 유용한 학습 데이터를 취사 선별하기 위한 cnn 기반 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
JP6869559B2 (ja) 障害物を検出する学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｏｂｓｔａｃｌｅｓ ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ， ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR20200092847A (ko) 핵심 성능 지수를 만족시킬 수 있는 하드웨어 최적화가 이루어지도록, cnn에서 복수의 블록 내의 입력 이미지로부터 특징을 추출하는 학습 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치
KR102320995B1 (ko) 객체의 스케일에 따라 모드 전환이 가능한 cnn 기반의 감시용 객체 검출기의 학습 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210310

R150 Certificate of patent or registration of utility model

Ref document number: 6865363

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250