JP7572082B2 - 積載空間認識装置、システム、方法、及びプログラム - Google Patents

Description

［関連出願についての記載］
本発明は、日本国特許出願：特願２０２１－０３０７４１号（２０２１年２月２６日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、積載空間認識装置、システム、方法、及びプログラムに関する。

物流業界では、トラックコンテナに積載した荷物が、輸送中の落下などの荷崩れにより、荷物の損傷が発生し、輸送品質の低下が発生している。そこで、荷崩れを未然に防止するように荷物を配置する情報を生成したり、実際に荷崩れが発生してしまった場合の早急に発見するための技術が提案されている（例えば、特許文献１～６参照）

特許文献１、２には、荷崩れを抑制する技術として、積み上げられた複数の物品を第１地点から撮像又は走査して得られた、前記複数の物品の表面の第１領域の３次元情報を取得する第１情報取得部と、前記複数の物品を第２地点から撮像又は走査して得られた、前記複数の物品の表面の第２領域の３次元情報を取得する第２情報取得部と、前記第１情報取得部が取得した前記第１領域の３次元情報、及び、前記第２情報取得部が取得した前記第２領域の３次元情報に基づいて、前記複数の物品の表面の少なくとも一部の３次元形状を示す情報を生成する合成部と、を備え、前記第１地点及び前記第２地点の位置は、互いに異なり、前記合成部は、前記第１領域の３次元情報及び前記第２領域の３次元情報の一方を他方により補完して、前記複数の物品の表面の少なくとも一部の３次元形状を示す情報を生成する、形状情報生成装置が開示されている。

特許文献３には、荷崩れを防止する技術として、所定の荷姿で、かつ所定の重量となるように複数の被積付物を積み付ける積み付け方法であって、前記各被積付物の重量および荷姿をそれぞれ測定するステップと、これら各被積付物の重量および荷姿からこれら各被積付物の密度を算出するステップと、これら各被積付物の密度情報を集積してこれら各被積付物それぞれの積み付け位置を算出するステップとを具備している、積み付け方法が開示されている。

特許文献４には、運転者がモニタにより荷室内の荷物の状況（荷崩れしていないかどうか）をいつでも確認することができる技術として、荷室の上面における車幅方向中間位置で且つ荷室の全長を三等分する二箇所に取り付けられた監視カメラと、該監視カメラによる荷室内の画像データを入力する情報処理装置と、該情報処理装置から荷室内の画像データを入力して表示するモニタと、前記情報処理装置から荷室内の画像データを入力して基地局に向け送信する通信機とを備え、前記監視カメラの画像により積載スペースの空き状況を把握し得るよう構成した、車両の荷室内監視装置が開示されている。

特許文献５には、ドライバ及び管理センターが運送車両の荷崩れを容易に知ることができ、荷崩れの処置に対し迅速に対応できる技術として、運送車両の荷台内に取り付けられたセンサにより積荷の荷崩れを監視し、積荷の荷崩れが検出されたとき、積荷の荷崩れが発生した旨を示す警告をドライバに発する車載端末と、前記車載端末が前記警告をドライバに発するときに前記車載端末から送信された、前記積荷の荷崩れが発生した旨を示す荷崩れ監視信号を受信して運送車両の積荷の荷崩れ情報を収集し管理する管理センターとを備えた、運送車両の荷崩れ監視システムが開示されている。

特許文献６には、移載中及び移載作業終了後に発生する荷崩れを検出することができる技術として、個々の物品の移載毎に、その前後におけるパレットに積付けられた物品群を上方から撮像して、物品の移載前の第１画像と、移載後の第２画像を取得し、第１画像と第２画像を比較し、移載された物品が存在していた領域以外の物品領域の変化度合に基づいて荷崩れの発生の有無を判定する物品の荷崩れ検出方法が開示されている。

特許第６５１１６８１号公報 特許第６５７７６８７号公報 特開２００２－２９６３１号公報 特開２０１８－１９９４８９号公報 特開２００５－０１８４７２号公報 特開２００７－１７９３０１号公報

以下の分析は、本願発明者により与えられる。

しかしながら、特許文献１～３に記載の荷崩れを抑制、防止する技術では、荷崩れが発生しないように荷物を積み込むだけでは荷崩れが完全になくなるわけではなく、車両の加速、制動、振動などにより荷崩れに繋がる荷物のあらゆる方向の移動があるため、荷物の移動による荷崩れの発生の可能性を判定することができない。

また、特許文献４に記載の荷物を確認する技術では、運転者がモニタにより荷室内の荷物の状況を確認して荷崩れを知ることになるため、運転者が車両運転中に荷物の移動による荷崩れの発生の可能性を判定することは安全上困難である。

また、特許文献５に記載の荷崩れを知る技術では、センサでの赤外線、超音波等の信号の受信の有無により荷崩れの判断をするので、センサでの信号の受信に変化がない範囲での荷物の移動を検出することができず、荷物の移動による荷崩れの発生の可能性を判定することができない可能性がある。

また、特許文献６の移載中及び移載作業終了後に発生する荷崩れを検出することができる技術では、撮像された、移載される前の第１画像と、移載された後の第２画像との各々のエッジ画像を生成して両画像を比較して、移載した物品以外の物品の変化度合に基づいて荷崩れの発生の有無を判定しているが、エッジ画像間の比較ではエッジ位置に移動のない荷物の移動（撮像位置に対する遠近方向の荷物の移動）を検出することができず、荷物の移動による荷崩れの発生の可能性を判定することができない可能性がある。

本発明の主な課題は、荷物の移動による荷崩れの発生の可能性を判定することに貢献することができる積載空間認識装置、システム、方法、及びプログラムを提供することである。

第１の視点に係る積載空間認識装置は、荷物の積載空間を所定の方向から撮像した３次元データに基づいて、前記積載空間に積載された荷物の全体像を推定して推定結果データとして出力するように構成されている荷物全体像推定部と、前記推定結果データをボクセル化してボクセルデータとして出力するように構成されているボクセル化部と、任意の基準時の前記ボクセルデータと、前記基準時から所定又は任意の時間を経過した後の前記ボクセルデータと、を比較することによって荷物の変動体積量又は移動量を推定し、推定された前記変動体積量又は移動量と閾値とを比較することによって荷崩れの可能性の有無を判定するように構成されている判定部と、
ユーザの操作により、前記積載空間における荷物の積載領域を指定するように構成された領域指定部と、を備え、
前記荷物全体像推定部は、前記積載領域に積載された荷物の全体像を推定するように構成されている。

第２の視点に係る積載空間認識システムは、積載空間内の荷物の表面をセンシングして撮像された３次元データを出力するセンサと、前記第１の視点に係る積載空間認識装置と、を備える。

第３の視点に係る積載空間認識方法は、ハードウェア資源を用いて荷物の積載空間を認識する積載空間認識方法であって、ユーザの操作により、前記積載空間における荷物の積載領域を指定するステップと、前記積載空間を所定の方向から撮像した３次元データに基づいて、前記積載空間における前記荷物の積載領域に積載された荷物の全体像を推定して推定結果データとして出力するステップと、前記推定結果データをボクセル化してボクセルデータとして出力するステップと、任意の基準時の前記ボクセルデータと、前記基準時から所定又は任意の時間を経過した後の前記ボクセルデータと、を比較することによって荷物の変動体積量又は移動量を推定し、推定された前記変動体積量又は移動量と閾値とを比較することによって荷崩れの可能性の有無を判定するステップと、を含む。

第４の視点に係るプログラムは、荷物の積載空間を認識させる処理をハードウェア資源に実行させるプログラムであって、ユーザの操作により、前記積載空間における荷物の積載領域を指定する処理と、前記積載空間を所定の方向から撮像した３次元データに基づいて、前記積載空間における前記荷物の積載領域に積載された荷物の全体像を推定して推定結果データとして出力する処理と、前記推定結果データをボクセル化してボクセルデータとして出力する処理と、任意の基準時の前記ボクセルデータと、前記基準時から所定又は任意の時間を経過した後の前記ボクセルデータと、を比較することによって荷物の変動体積量又は移動量を推定し、推定された前記変動体積量又は移動量と閾値とを比較することによって荷崩れの可能性の有無を判定する処理と、を前記ハードウェア資源に実行させる。

なお、プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。また、本開示では、コンピュータプログラム製品として具現することも可能である。プログラムは、コンピュータ装置に入力装置又は外部から通信インタフェイスを介して入力され、記憶装置に記憶されて、プロセッサを所定のステップないし処理に従って駆動させ、必要に応じ中間状態を含めその処理結果を段階毎に表示装置を介して表示することができ、あるいは通信インタフェイスを介して、外部と交信することができる。そのためのコンピュータ装置は、一例として、典型的には互いにバスによって接続可能なプロセッサ、記憶装置、入力装置、通信インタフェイス、及び必要に応じ表示装置を備える。

前記第１～第４の視点によれば、荷物の移動による荷崩れの発生の可能性を判定することに貢献することができる。

実施形態１に係る積載空間認識システムの構成及び使用態様の一例を模式的に示したイメージ図である。 実施形態１に係る積載空間認識システムにおける積載空間認識装置の構成を模式的に示したブロック図である。 実施形態１に係る積載空間認識システムにおける積載空間認識装置の動作を模式的に示したフローチャートである。 基準ボクセルと対比ボクセルとの差分を抽出したときに変動体積量がある場合のいくつかの例を模式的に示したイメージ図である。 基準ボクセルと対比ボクセルとの差分を抽出したときに変動体積量がなく、かつ、移動量がある場合のいくつかの例を模式的に示したイメージ図である。 図５の例２－１のまとまり推定から最長移動量推定までの推移を模式的に示したイメージ図である。 図５の例２－２のまとまり推定から最長移動量推定までの推移を模式的に示したイメージ図である。 図５の例２－３のまとまり推定から最長移動量推定までの推移を模式的に示したイメージ図である。 図５の例２－４のまとまり推定から最長移動量推定までの推移を模式的に示したイメージ図である。 実施形態１に係る積載空間認識システムの構成及び使用態様の変形例を模式的に示したイメージ図である。 実施形態２に係る積載空間認識装置の構成を模式的に示したブロック図である。 ハードウェア資源の構成を模式的に示したブロック図である。

以下、実施形態について図面を参照しつつ説明する。なお、本出願において図面参照符号を付している場合は、それらは、専ら理解を助けるためのものであり、図示の態様に限定することを意図するものではない。また、下記の実施形態は、あくまで例示であり、本発明を限定するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インタフェイスも同様である。プログラムはコンピュータ装置を介して実行され、コンピュータ装置は、例えば、プロセッサ、記憶装置、入力装置、通信インタフェイス、及び必要に応じ表示装置を備え、コンピュータ装置は、通信インタフェイスを介して装置内又は外部の機器（コンピュータを含む）と、有線、無線を問わず、交信可能に構成される。

［実施形態１］
実施形態１に係る積載空間認識システムについて図面を用いて説明する。図１は、実施形態１に係る積載空間認識システムの構成及び使用態様の一例を模式的に示したイメージ図である。図２は、実施形態１に係る積載空間認識システムにおける積載空間認識装置の構成を模式的に示したブロック図である。ここでは、トラックのコンテナの積み荷を例に説明する。

積載空間認識システム１は、センサ１０を用いて、物体（図１では荷物４）が積載される積載空間（図１ではトラック２のコンテナ３内の積載空間５）における物体の変動（体積変動、距離変動）を認識するシステムである（図１参照）。積載空間認識システム１では、センサ１０と、積載空間認識装置２００とが通信（有線通信又は無線通信）可能に接続された構成となっている。積載空間認識システム１は、トラック２に搭載することができる。積載空間認識システム１では、積載空間認識装置２００がセンサ１０で撮影された撮影データ（図２の１００）に基づいて積載空間５における物体の変動を認識する。ここで、撮影データ１００は、センサ１０で撮影した３次元データ（点群データ、深度データ等の３次元的な要素を撮影したデータ、他にも複数画像から３次元空間に再構成したデータ等）である。

センサ１０は、撮影領域となる積載空間５内の荷物４の表面をセンシングして撮影（撮像）するセンサである（図１参照）。センサ１０は、積載空間認識装置２００と通信可能に接続されている。センサ１０は、積載空間５を撮影した３次元データから作成された撮影データ（図２の１００）を積載空間認識装置２００に向けて出力する。センサ１０は、荷物４の検知に必要な撮影距離、画角、コンテナ３の大きさなどの撮影条件や顧客要望に応じて選択することができる。また、センサ１０には、各種メーカーから販売されている製品を用いることができる。センサ１０として、例えば、ステレオカメラ、ＴｏＦ（Time of Flight）カメラ、３Ｄ－ｌｉｄａｒ（Three Dimensions - light detection and ranging）、２Ｄ－ｌｉｄａｒ（Two Dimensions - light detection and ranging）、ＬＩＤＡＲ（Laser Imaging Detection And Ranging）等を用いることができる。センサ１０は、撮影領域となる積載空間５を撮影できる位置に取り付けることができ、例えば、コンテナ３の荷物搬入口側の上方付近に取り付けることができる。センサ１０は、積載空間５内の荷物４をコンテナ３の荷物搬入口側の上方から撮影することができる。センサ１０は、積載空間５に少なくとも１つあればよいが、複数あってもよい。また、センサ１０は、積載空間５が広大で１つのセンサで撮影することが困難な場合にも複数用いてもよい。なお、センサ１０が積載空間５に複数ある場合には、種類やメーカーが異なっていてもよい。また、センサ１０が積載空間５に複数ある場合には、各センサ１０で撮影された各撮影データを積載空間認識装置２００で合成すればよい。

積載空間認識装置２００は、センサ１０からの撮影データ１００に基づいて、荷物４が積載される積載空間５における荷物４の変動（体積変動、距離変動）を認識する装置である（図１、図２参照）。積載空間認識装置２００として、コンピュータを構成する機能部（例えば、プロセッサ、記憶装置、入力装置、通信インタフェイス、及び表示装置）を有する装置（コンピュータ装置）を用いることができ、例えば、ノート型パーソナルコンピュータ、スマートフォン、タブレット端末などを用いることができる。積載空間認識装置２００は、荷物４の荷崩れの可能性の有無を判定する機能を有する。積載空間認識装置２００は、パレット積み付けなどの状況下で、荷崩れが発生する場合には一定量のまとまった体積変化が見込まれる場合にも採用できる。積載空間認識装置２００は、所定のプログラムを実行することによって、前処理部２１０と、荷姿把握部２２０と、判定部２３０と、ユーザインタフェイス部２４０と、により実現される。

前処理部２１０は、撮影データ１００に対して、積載空間認識処理をするための前処理を行う機能部である（図２参照）。前処理部２１０は、撮影データ１００を前処理した前処理データ１０１を荷姿把握部２２０及びユーザインタフェイス部２４０に向けて出力する。前処理部２１０は、フォーマット変換部２１１と、ノイズ除去部２１２と、を備える。

フォーマット変換部２１１は、前処理として、撮影データ１００のフォーマットを、積載空間認識装置２００において共通に使える共通フォーマットに変換する機能部である（図２参照）。フォーマット変換部２１１は、共通フォーマットの撮影データ１００を、ノイズ除去部２１２に向けて出力する。なお、撮影データ１００のフォーマットがもともと共通フォーマットの場合は、フォーマット変換部２１１の処理を省略（スキップ）することができる。

ノイズ除去部２１２は、前処理として、フォーマット変換部２１１からの撮影データ１００からノイズ（例えば、積載空間認識に不要な点群）を除去する機能部である（図２参照）。ノイズ除去部２１２は、撮影データ１００におけるノイズが除去された前処理データ１０１を荷姿把握部２２０の荷物全体像推定部２２２に向けて出力し、必要に応じてユーザインタフェイス部２４０の表示部２４１に向けて出力する。ノイズ除去方法として、例えば、平滑化処理、フィルタリング（例えば、移動平均フィルタ処理、メディアンフィルタ処理など）、外れ値除去処理（例えば、カイの二乗検定による外れ値除去処理）などが挙げられる。なお、ノイズがほとんどない状態であれば、ノイズ除去部２１２の処理を省略（スキップ）してもよい。

前処理データ１０１は、表示部２４１に出力され、ユーザはこれらを閲覧することができる。また、撮影データ１００、前処理データ１０１は全ての処理の基礎となるため、保存可能とすることで、確証とすることも可能である。

荷姿把握部２２０は、前処理データ１０１から現状の荷姿を把握する機能ブロックである（図２参照）。荷姿把握部２２０は、把握された現状の荷姿に係るボクセルデータ１０２を判定部２３０に向けて出力する。荷姿把握部２２０は、領域指定部２２１と、荷物全体像推定部２２２と、ボクセル化部２２３とを備える。荷姿把握部２２０は、前処理データ１０１から積載された荷物の形状、あるいは空き空間についての情報を計測し、定量的な情報を提供する。

領域指定部２２１は、コンテナ３内で荷物４の積載が可能な領域（積載領域）を指定する機能部である（図２参照）。領域指定部２２１は、例えば、コンテナ３内で荷物４を積載できない領域がある場合などは、その領域を除外して領域指定を行う。領域指定部２２１は、操作部２４２を介してユーザから積載領域を指定させることができ、領域端を自動的に取得するシステムと組み合せて、自動で領域を指定することもできる。

また、領域指定部２２１は、操作部２４２を介してユーザから、判定部２３０での判定から除外する判定除外領域を指定するようにしてもよい。これにより、一定形状を保てない荷物４の荷姿変化の判定を行わないようにして、過剰な荷姿変化の判定を行わないようにすることができる。変化判定除外領域は、領域単位だけでなく、ボクセル単位や、単一・個別の荷物単位（オブジェクト単位）で指定されるようにしてもよい。

荷物全体像推定部２２２は、前処理データ１０１のノイズ除去部２１２からの前処理データ１０１、及び、領域指定部２２１に指定された積載領域に基づいて、積載領域に積載された荷物４の全体像を推定する機能部である（図２参照）。荷物全体像推定部２２２は、積載済みの荷物４の全体像に係る推定結果データを作成する。荷物全体像推定部２２２は、作成した推定結果データをボクセル化部２２３に向けて出力する。荷物全体像推定部２２２は、荷物表面や最前面に積載された荷物だけではなく、それらに遮蔽され、センサ１０からは確認できない奥の部分（オクルージョン部分）に積載された荷物（必要に応じて隙間）も推定する。オクルージョン部分に積載された荷物の推定には、時系列順に蓄積した過去のデータによる補完や、積載荷物に関するサイズや個数などの事前知識を用いてもよく、最前面の座標点とセンサを結ぶ直線の延長線上には荷物を示す座標点が存在すると仮定する様な単純なアルゴリズムの他、時系列に保存した前処理データ１０１を利用してもよく、機械学習を利用してもよい。

機械学習の教師データ収集方法の例としては、前処理データ１０１と、実際の積載状況とを関連付けてデータベースに記録する方法が挙げられる。例えば、コンテナの天井面に所定の間隔で距離センサを設け、積載された荷物との距離を距離センサにより測定する。これにより、センサ直下の荷物が天井近くまで積み上がっている、半分程度の高さまで積み上がっている、全く荷物が積まれていない、など、荷物の積載状況を把握することができる。天井面のセンサを複数設けることでコンテナ内全体の荷物の積載状況を把握することができる。このようにして、前処理データ１０１と、実際の積載状況との関連付けを行うことにより、機械学習を行うことができる。機械学習の方法はこれに限らず、他の方法により行われても良い。また、機械学習を利用する場合は、「重量」、「上積厳禁／下積厳禁」などの形状以外の情報・属性を推定する機能を具備しても良い。

ボクセル化部２２３は、荷物全体像推定部２２２の推定結果データをボクセル化する機能部である（図２参照）。ボクセル化部２２３は、荷物全体像推定部２２２の推定結果データに基づいて、荷物４の全体像に係るボクセルデータ１０２を作成する。ボクセル化部２２３は、積載済みの荷物４が存在しない部分は空き空間としてボクセルデータ１０２を作成する。ボクセル化部２２３は、作成されたボクセルデータ１０２を判定部２３０の基準確定部２３１及び差分抽出部２３２に向けて出力する。ボクセル化処理においては、３Ｄセンサからは見えない遮蔽された領域の推測、あるいは時系列順に蓄積したデータによる補完などを行ってもよく、積載荷物に関するサイズや個数などの事前知識を用いてもよい。

ここで、ボクセルデータ１０２は、荷物４の全体像を、所定サイズの複数のボクセル（立方体）の組み合せによって表したデータである。ボクセルデータ１０２は、各ボクセルの寸法、各面の位置に係る情報を含む。ボクセルデータ１０２は、作成の度に記憶されるようにしてもよい。ボクセルデータ１０２は、１ボクセル内の荷物の数、あるいは１つの荷物がどの複数ボクセルに跨って存在するかの情報、重さや形状などの情報などもあってもよい。

判定部２３０は、ある基準時点でのボクセルデータ１０２（基準ボクセルデータ）と、所定又は任意の時間が経過した時点でのボクセルデータ１０２（対比ボクセルデータ）と、を比較することによって、荷物の変動体積量又は移動量を推定し、推定された変動体積量又は移動量と閾値とを比較することによって荷崩れの可能性の有無を判定する機能部である（図２参照）。これにより、荷物４の落下を防止することができる。また、判定部２３０は、基準ボクセルデータと対比ボクセルデータとの比較だけでなく、対比ボクセルデータと１つ前に作成された他の対比ボクセルデータとを比較することによって、荷崩れの可能性の有無を検出するようにしてもよい。これにより、単位時間あたりの対比ボクセルデータ間の変化量が、基準ボクセルデータと対比ボクセルデータとの間の変化量よりも小さい場合に、荷崩れの可能性があると判定しないようにすることができる。さらに、トラック２（積載空間を有する構造体）に揺れや音を検出する検出部２０を付けておき（図１０参照）、判定部２３０は、検出部２０で一定以上の揺れや音を検出したときにボクセル化部２２３から対比ボクセルデータを取得して、荷崩れの可能性の有無を検出するようにしてもよい。さらに、移動推定の確からしさを補完、検証するために、別のシステムから得た情報、例えば重量のある荷物が多い、逆に軽い荷物が多い、など、を用いてもよい。判定部２３０は、基準確定部２３１と、差分抽出部２３２と、変動体積量推定部２３３と、まとまり抽出部２３４と、組み合せ推定部２３５と、移動量推定部２３６と、荷崩れ判定部２３７と、を備える。

基準確定部２３１は、ボクセル化部２２３からのある基準時点（基準時刻）のボクセルデータ１０２を変化基準点として確定する機能部である（図２参照）。基準確定部２３１は、操作部２４２からの指示によって、ボクセル化部２２３からの基準時点（指示された時点）のボクセルデータ１０２を記憶し、位置変動の基準データとして保持する。基準確定部２３１は、基準時点でのボクセルデータ１０２を差分抽出部２３２に向けて出力する。

差分抽出部２３２は、任意の基準時のボクセルデータ１０２（基準ボクセルデータ）と、前記基準時から所定又は任意の時間が経過した時点でのボクセルデータ１０２（対比ボクセルデータ）と、を比較することにより、所定の位置（例えば、トラック２の後方、センサ１０の位置）から荷物４を見た面の対応する位置のボクセルの差分（例えば、奥行き方向の位置の差分）を抽出する機能部である（図２参照）。差分抽出部２３２は、差分抽出処理にあたって、基準ボクセルデータを基準確定部２３１から取得するとともに、対比ボクセルデータをボクセル化部２２３から取得する。差分抽出処理では、例えば、トラック２の後方から荷物４を見たときのボクセルの表面の位置が奥行き方向のトラック２の前方側に変化した場合（例えば、対象となるボクセルの位置にある荷物４が左側、右側、又は下側に移動してその１つ奥側の荷物４が表れた場合、対象となるボクセルの位置にある荷物４が奥側に移動した場合、オクルージョン部分が減少した場合）は体積が「減少」したことを表すように差分を抽出し、同じくボクセルの表面の位置からトラック２の後方側に変化した場合（例えば、対象となるボクセルの位置にある荷物４が手前側に移動した場合、対象となるボクセルの位置にある荷物４の手前に別の荷物４が移動してきた場合、オクルージョン部分が増加した場合）は体積が「増加」したことを表すように差分を抽出することができる。また、差分抽出処理では、例えば、ボクセルの表面の位置がトラック２の前方又は後方に変化した距離の大きさに応じて体積の減少又は増加の程度を段階的に表すように差分を抽出することができる。差分抽出部２３２は、差分抽出処理によって抽出された差分データを変動体積量推定部２３３及びまとまり抽出部２３４に向けて出力する。

変動体積量推定部２３３は、差分抽出部２３２からの差分データに基づいて、荷物４の全体像の変動した体積量（変動体積量）を推定する機能部である（図２参照）。変動体積量は、例えば、トラック２の後方から荷物４を見た面の対応する位置のボクセルの奥行き方向の位置の差分の合計によって表すことができる。ある位置で、ある体積量が増加し、別の位置で同じ体積量が減少した場合、変動体積量は無し（０）となる（図５の移動例２－１～２－４参照）。また、ある位置で、ある体積量が増加し、別の位置で、増加した体積量よりも多い体積量が減少した場合、変動体積量はマイナスの値となる。また、ある位置で、ある体積量が増加し、別の位置で、増加した体積量よりも少ない体積量が減少した場合、変動体積量はプラスの値となる（図４の移動例１－１～１－３参照）。また、ある位置で、ある体積量が増加し、別の位置での体積量の減少がない場合、変動体積量はプラスの値となる。さらに、ある位置で、ある体積量が減少し、別の位置での体積量の増加がない場合、変動体積量はマイナスの値となる。変動体積量推定部２３３は、推定された変動体積量推定データを荷崩れ判定部２３７に向けて出力する。

まとまり抽出部２３４は、差分抽出部２３２からの差分データに基づいて、同じ水平方向の位置にある、体積量が増加したボクセル（体積量増加ボクセル）と体積量が減少したボクセル（体積量減少ボクセル）との間に存在する体積量の増減のないボクセルのまとまりを抽出する機能部である（図２参照）。まとまり抽出部２３４は、荷物４の体積量の変動を伴わないことを前提とすることができる。まとまり抽出部２３４は、まとまりを抽出することができた場合、抽出されたまとまりデータを含む差分データを組み合せ推定部２３５に向けて出力する。まとまり抽出部２３４は、まとまりを抽出することができない場合、差分抽出部２３２からの差分データを組み合せ推定部２３５に向けて出力する。

組み合せ推定部２３５は、まとまり抽出部２３４からの差分データ（まとまりを抽出できた場合はまとまりデータを含む）に基づいて、体積量増加ボクセルと体積量減少ボクセルとの組み合せを推定する機能部である（図２参照）。組み合せ推定部２３５は、荷物４の体積量の変動を伴わないことを前提とすることができる。組み合せ推定処理では、例えば、組み合せが複数通りできる場合には、同じ水平位置にある体積量増加ボクセルと体積量減少ボクセルとを優先的に組み合せることができる。また、組み合せが複数通りできる場合には、互いの距離が最も大きく離れている体積量増加ボクセルと体積量減少ボクセルとを優先的に組み合せることができる。また、組み合せが複数通りできる場合には、距離の合計が最大になるように体積量増加ボクセルと体積量減少ボクセルとを優先的に組み合せることができる。また、体積量減少ボクセルは、荷物４が落下する場合には荷物４が上に移動することはありえないので、その１つ上の段にある体積量増加ボクセルとは組み合せないようにすることができる。体積量増加ボクセルは、荷物４が落下する場合には荷物４が上に移動することはありえないので、その１つ下の段にある体積量減少ボクセルとは組み合せないようにすることができる。組み合せ推定部２３５は、組み合せを推定することができた場合、抽出された組み合せデータを含む差分データを移動量推定部２３６に向けて出力する。組み合せ推定部２３５は、組み合せを推定することができない場合、まとまり抽出部２３４からの差分データを移動量推定部２３６に向けて出力する。

移動量推定部２３６は、組み合せ推定部２３５からの差分データ（まとまりデータ及び組み合せデータを含むことがある）に基づいて、基準時から所定又は任意の時間が経過した時までの間に生じた荷物４の移動量を推定する機能部である（図２参照）。移動量推定部２３６は、荷物４の体積量の変動を伴わないことを前提とすることができる。移動量推定部２３６は、差分データにおいてまとまりデータ、組み合せデータを含む場合、組み合せデータに係る体積量減少ボクセルから体積量増加ボクセルまでの距離を算出し、まとまりデータに係る体積量の増減のないボクセルの長さを算出し、算出された前記距離から、算出された前記長さを差し引いた値を荷物４の移動量として推定する。移動量推定部２３６は、差分データにおいて、まとまりデータを含まず、かつ、組み合せデータを含む場合、組み合せデータに係る体積量減少ボクセルから体積量増加ボクセルまでの距離を算出し、算出された前記距離の値を荷物４の移動量として推定する。なお、差分データにおいて、組み合せデータを含まない場合（まとまりデータの有無は不問）は、体積量の変動を伴う荷物４の移動になるので、移動量推定部２３６では移動量を推定せず、変動体積量推定部２３３での変動体積量の推定を優先的に行うことができる。また、移動量の推定では、横方向の移動と縦方向の移動（落下）それぞれで異なる重みをつけるように補正してもよく、例えば、横方向の移動は大きく動いても警告しないように推定された移動量よりも小さくなるように補正し、縦方向又は斜め方向の移動が発生した場合は小さな移動でも警告するように推定された移動量よりも大きくなるように補正するようにしてもよい。移動量推定部２３６は、差分データにおいて複数の組み合せデータを含む場合、組み合せデータごとに移動量を推定することになる。

また、移動量推定部２３６は、推定された移動量の中から最も長い移動量を選択し、選択された前記移動量を最長移動量と推定する。なお、推定された移動量が１つの場合は、その移動量を最長移動量と推定する。移動量推定部２３６は、推定された最長移動量推定データを荷崩れ判定部２３７に向けて出力する。

なお、まとまり抽出部２３４、組み合せ推定部２３５、及び移動量推定部２３６の動作の例については、後述する。

荷崩れ判定部２３７は、変動体積量推定部２３３からの変動体積量推定データ、又は、移動量推定部２３６からの最長移動量推定データと、予め設定された閾値（変動体積量用の第１閾値、又は、最長移動量用の第２閾値）とを比較することによって、荷物４の荷崩れの可能性の有無を判定する機能部である（図２参照）。荷崩れ判定部２３７は、変動体積量推定データが第１閾値よりも大きいとき（第１閾値以上のときでも可）に、荷物４の荷崩れの可能性があると判定する。荷崩れ判定部２３７は、変動体積量推定データが第１閾値以下のとき（第１閾値未満のときでも可）に、荷物４の荷崩れの可能性がないと判定する。荷崩れ判定部２３７は、最長移動量が第２閾値よりも大きいとき（第２閾値以上のときでも可）に、荷物４の荷崩れの可能性があると判定する。荷崩れ判定部２３７は、最長移動量が第２閾値以下のとき（第２閾値未満のときでも可）に、荷物４の荷崩れの可能性がないと判定する。荷崩れ判定部２３７は、変動体積量及び最長移動量のどちらを優先的に用いて荷物４の荷崩れの可能性の有無を判定するかは任意であるが、データ処理負荷を考慮すると、相対的に負荷が小さい変動体積量を優先的に用いて判定することができる。荷崩れ判定部２３７は、荷物４の荷崩れの可能性があると判定された場合、警告出力指示情報を警告出力部２４３に向けて出力し、異常の発生をユーザに警告することになる。

ユーザインタフェイス部２４０は、ユーザインタフェイス（ユーザとの情報のやりとりをする機能）を備えた機能部である（図２参照）。ユーザインタフェイス部２４０は、ユーザと積載空間認識装置２００との間のインタフェイスを行い、各処理への操作、及び、各処理の結果の確認を行えるようにする。ユーザインタフェイス部２４０は、表示部２４１、操作部２４２、警告出力部２４３を備えている。

表示部２４１は、ノイズ除去部２１２からの前処理データ１０１等を表示する機能部である（図２参照）。表示部２４１として、例えば、液晶ディスプレイ、有機ＥＬ（Electroluminescence）ディスプレイ、ＡＲ（Augmented Reality）グラス等を用いることができる。

操作部２４２は、ユーザ操作に基づいて、領域指定部２２１及び基準確定部２３１への領域指定及び確定指示を行う機能部である（図２参照）。操作部２４２として、例えば、タッチパネル、マウス、ジェスチャーや目の動きを認識するカメラとソフトウェア等を用いることができる。

警告出力部２４３は、荷崩れ判定部２３７からの警告出力指示情報に基づいて、ユーザに対し警告を出力する機能部である（図２参照）。警告出力部２４３として、例えば、警告に係る文字や画像を表示するディスプレイ、アラーム音を出力するスピーカ、アラーム点灯するランプ、他のシステムへ警告出力指示情報を送信する通信部などを用いることができる。

次に、実施形態１に係る積載空間認識システムにおける積載空間認識装置の動作について図面を用いて説明する。図３は、実施形態１に係る積載空間認識システムにおける積載空間認識装置の動作を模式的に示したフローチャートである。なお、積載空間認識装置の構成部及びその詳細については図１及び図２並びにそれらの説明を参照されたい。

まず、前処理部２１０のフォーマット変換部２１１は、センサ１０から、撮影領域となる積載空間５内の荷物４を撮影した基準用の撮影データ１００（基準撮影データ；３次元データ）を取得する（ステップＡ１）。

次に、前処理部２１０のフォーマット変換部２１１は、基準用の撮影データ１００のフォーマットを共通フォーマットに変換する（ステップＡ２）。

次に、前処理部２１０のノイズ除去部２１２は、共通フォーマットに変換された基準用の撮影データ１００からノイズを除去して基準用の前処理データ１０１を作成する（ステップＡ３）。

次に、荷姿把握部２２０の荷物全体像推定部２２２は、基準用の前処理データ１０１、及び、領域指定部２２１で指定された積載領域に基づいて、積載領域上の積載済みの荷物４の全体像を推定する（ステップＡ４）。

次に、荷姿把握部２２０のボクセル化部２２３は、ステップＡ４で推定された推定結果データに基づいて、荷物４の全体像に係る基準用のボクセルデータ１０２（基準ボクセルデータ）を作成する（ステップＡ５）。

次に、判定部２３０の基準確定部２３１は、ボクセル化部２２３で作成された基準ボクセルデータを、ユーザによる操作部２４２の操作により、荷崩れ判定処理のための基準時の値として保存する（ステップＡ６）。ユーザによる操作部２４２の操作は、例えば、コンテナ３への荷物４の積み付けが完了し、配送を開始する前に行うことができる。

次に、前処理部２１０のフォーマット変換部２１１は、基準用の撮影データ１００（基準撮影データ）を取得してから所定又は任意の時間が経過した時点で、センサ１０から、撮影領域となる積載空間５内の荷物４を撮影した対比用の撮影データ１００（対比撮影データ；３次元データ）を取得する（ステップＡ７）。

次に、前処理部２１０のフォーマット変換部２１１は、対比用の撮影データ１００のフォーマットを共通フォーマットに変換する（ステップＡ８）。

次に、前処理部２１０のノイズ除去部２１２は、共通フォーマットに変換された対比用の撮影データ１００からノイズを除去して対比用の前処理データ１０１を作成する（ステップＡ９）。

次に、荷姿把握部２２０の荷物全体像推定部２２２は、対比用の前処理データ１０１、及び、領域指定部２２１で指定された積載領域に基づいて、積載領域上の積載済みの荷物４の全体像を推定する（ステップＡ１０）。

次に、荷姿把握部２２０のボクセル化部２２３は、ステップＡ１０で推定された推定結果データに基づいて、荷物４の全体像に係る対比用のボクセルデータ１０２（対比ボクセルデータ）を作成する（ステップＡ１１）。

次に、判定部２３０の差分抽出部２３２は、基準確定部２３１に保存された基準ボクセルデータと、ボクセル化部２２３で作成された対比ボクセルデータと、を比較することにより、所定の位置（例えば、トラック２の後方、センサ１０の位置）から荷物４を見た面の対応する位置のボクセルの差分（例えば、奥行き方向の位置の差分）を抽出する（ステップＡ１２）。

次に、判定部２３０の変動体積量推定部２３３は、差分抽出部２３２からの差分データに基づいて、荷物４の全体像の変動した体積量（変動体積量）を推定する（ステップＡ１３）。

次に、判定部２３０の荷崩れ判定部２３７は、変動体積量推定部２３３からの変動体積量推定データが、予め設定された変動体積量用の第１閾値よりも大きいか否かを判定する（ステップＡ１４）。変動体積量推定が第１閾値よりも大きい場合（ステップＡ１４のＹＥＳ）、荷物４の荷崩れの可能性があると判定し、警告出力部２４３に警告出力指示情報を出力し、ステップＡ２０に進む。

変動体積量推定が第１閾値以下の場合（ステップＡ１４のＮＯ）、判定部２３０のまとまり抽出部２３４は、差分抽出部２３２からの差分データに基づいて、同じ水平方向の位置にある、体積量増加ボクセルと体積量減少ボクセルとの間に存在する体積量の増減のないボクセルのまとまりを抽出する（ステップＡ１５）。まとまりを抽出できないときはスキップする。

次に、判定部２３０の組み合せ推定部２３５は、まとまり抽出部２３４からの差分データ（まとまりを抽出できた場合はまとまりデータを含む）に基づいて、体積量増加ボクセルと体積量減少ボクセルとの組み合せを推定する（ステップＡ１６）。

次に、判定部２３０の移動量推定部２３６は、組み合せ推定部２３５からの差分データ（まとまりデータ及び組み合せデータを含むことがある）に基づいて、基準時から所定又は任意の時間が経過した時までの間に生じた荷物４の移動量を推定する（ステップＡ１７）。

ここで、移動量の推定では、差分データにおいてまとまりデータ、組み合せデータを含む場合、組み合せデータに係る体積量減少ボクセルから体積量増加ボクセルまでの距離を算出し、まとまりデータに係る体積量の増減のないボクセルの長さを算出し、算出された前記距離から、算出された前記長さを差し引いた値を荷物４の移動量として推定する。また、移動量の推定では、差分データにおいて、まとまりデータを含まず、かつ、組み合せデータを含む場合、組み合せデータに係る体積量減少ボクセルから体積量増加ボクセルまでの距離を算出し、算出された前記距離の値を荷物４の移動量として推定する。また、移動量の推定では、差分データにおいて複数の組み合せデータを含む場合、組み合せデータごとに移動量を推定する、

次に、判定部２３０の移動量推定部２３６は、推定された移動量の中から最も長い移動量を選択し、選択された前記移動量を最長移動量と推定する（ステップＡ１８）。

次に、判定部２３０の荷崩れ判定部２３７は、移動量推定部２３６からの最長移動量推定データが、予め設定された最長移動量用の第２閾値よりも大きいか否かを判定する（ステップＡ１９）。最長移動量推定データが第２閾値より大きい場合（ステップＡ１９のＹＥＳ）、荷物４の荷崩れの可能性があると判定し、警告出力部２４３に警告出力指示情報を出力し、ステップＡ２０に進む。最長移動量推定データが第２閾値以下である場合（ステップＡ１９のＮＯ）、荷物４の荷崩れの可能性が無いと判定して、１つのサイクルを終了し、ユーザの終了の指示があるまでステップＡ７～Ａ２０を繰り返す。

変動体積量推定が第１閾値よりも大きい場合（ステップＡ１４のＹＥＳ）、又は、最長移動量推定データが第２閾値より大きい場合（ステップＡ１９のＹＥＳ）、ユーザインタフェイス部２４０の警告出力部２４３は、荷崩れ判定部２３７からの警告出力指示情報に基づいて、ユーザに対し警告を出力する（ステップＡ２０）。その後、１つのサイクルを終了し、ユーザの終了の指示があるまでステップＡ７～Ａ２０を繰り返す。

次に、実施形態１に係る積載空間認識システムにおける積載空間認識装置の差分抽出部及び変動体積量推定部並びに荷崩れ判定部の動作をいくつかの例及び図面を用いて説明する。図４は、基準ボクセルと対比ボクセルとの差分を抽出したときに変動体積量がある場合のいくつかの例を模式的に示したイメージ図である。

トラック（図１の２）の後方側から荷物（図１の４）の全体像を見たときの基準ボクセルデータが図４の基準ボクセルデータのような状態である場合、図４の基準ボクセルデータから移動例１－１に係る対比ボクセルデータのように変化すると、差分抽出部（図２の２３２）で抽出される差分抽出データは図４の移動例１－１に係る差分抽出データのようになる。移動例１－１に係る差分抽出データでは、左上の４個のボクセルのみの体積量がそれぞれ１段増加し、かつ、その他のボクセルには増減の変化がない。つまり、体積の増加が１段分４個しか存在しないので、基準ボクセルデータと対比ボクセルデータとは総体積が異なる。この場合、体積が増加したボクセルの奥側でオクルージョン部（隙間や空間）が増加したと考えられるため、基準ボクセルデータの表面位置から対比ボクセルデータの増加した表面位置までの距離が移動したとして変動体積量推定部（図２の２３３）で変動体積量を推定し、荷崩れ判定部（図２の２３７）での変動体積量の閾値判定が行える。

図４の基準ボクセルデータから移動例１－２に係る対比ボクセルデータのように変化すると、差分抽出部（図２の２３２）で抽出される差分抽出データは図４の移動例１－２に係る差分抽出データのようになる。移動例１－２に係る差分抽出データでは、４個のボクセルの体積量がそれぞれ１段減少し、別の８個のボクセルの体積量がそれぞれ１段増加し、かつ、その他のボクセルには増減の変化がない。つまり、体積の増加分と減少分とが存在するが、体積の増加分と減少分を相殺しても体積の増加が１段分４個多く存在するので、基準ボクセルデータと対比ボクセルデータとは総体積が異なる。この場合、全体的に荷物が動いてしまっているため、正確な移動量の算出は不可能である。また、この場合、体積の増加４個分と減少４個分との間で荷物４の移動があり、残りの体積の増加４個分で基準ボクセルデータの表面位置から対比ボクセルデータの増加した表面位置までの距離が移動したとして、変動体積量推定部（図２の２３３）で変動体積量を推定し、荷崩れ判定部（図２の２３７）で変動体積量の閾値判定を行う。

図４の基準ボクセルデータから移動例１－３に係る対比ボクセルデータのように変化すると、差分抽出部（図２の２３２）で抽出される差分抽出データは図４の移動例１－３に係る差分抽出データのようになる。移動例１－３に係る差分抽出データでは、８個のボクセルの体積量がそれぞれ１段減少し、別の１２個のボクセルの体積量がそれぞれ１段増加し、さらに別の４個のボクセルの体積量がそれぞれ２段増加し、かつ、その他のボクセルには増減の変化がない。つまり、体積の増加分と減少分とが存在するが、体積の増加分と減少分を相殺しても体積の増加が１段分４個多く存在し、かつ、体積の増加が２段分４個多く存在するので、基準ボクセルデータと対比ボクセルデータとは総体積が異なる。この場合、体積の増加１段８個分と減少１段８個分との間で荷物４の移動があり、残りの体積の増加１段４個分と体積の増加２段４個分で基準ボクセルデータの表面位置から対比ボクセルデータの増加した表面位置までの距離が移動したとして、変動体積量推定部（図２の２３３）で変動体積量を推定し、荷崩れ判定部（図２の２３７）で変動体積量の閾値判定を行う。

次に、実施形態１に係る積載空間認識システムにおける積載空間認識装置の差分抽出部、まとまり抽出部、組み合せ推定部、移動量推定部、及び荷崩れ判定部の動作をいくつかの例及び図面を用いて説明する。図５は、基準ボクセルと対比ボクセルとの差分を抽出したときに変動体積量がなく、かつ、移動量がある場合のいくつかの例を模式的に示したイメージ図である。図６は、図５の例２－１のまとまり推定から最長移動量推定までの推移を模式的に示したイメージ図である。図７は、図５の例２－２のまとまり推定から最長移動量推定までの推移を模式的に示したイメージ図である。図８は、図５の例２－３のまとまり推定から最長移動量推定までの推移を模式的に示したイメージ図である。図９は、図５の例２－４のまとまり推定から最長移動量推定までの推移を模式的に示したイメージ図である。

トラック（図１の２）の後方側から荷物（図１の４）の全体像を見たときの基準ボクセルデータが図５の基準ボクセルデータのような状態である場合、図５の基準ボクセルデータから移動例２－１に係る対比ボクセルデータのように変化すると、差分抽出部（図２の２３２）で抽出される差分抽出データは図５の移動例２－１に係る差分抽出データのようになる。移動例２－１に係る差分抽出データでは、６個のボクセルの体積量がそれぞれ１段増加し、別の６個のボクセルの体積量がそれぞれ１段減少し、その他のボクセルには増減の変化がない。つまり、体積の増加分と減少分とが存在し、体積の増加分と減少分とが同じ数及び段数で相殺されるので、基準ボクセルデータと対比ボクセルデータとの総体積が同じである。この場合、まとまり抽出部（図２の２３４）で図６（Ａ）のように同じ水平方向の位置にある、体積量増加ボクセルと体積量減少ボクセルとの間に存在する体積量の増減のないボクセルのまとまり２つを抽出し、組み合せ推定部（図２の２３５）で図６（Ｂ）のように紐付けされた体積量増加ボクセルのまとまりと体積量減少ボクセルのまとまりとの組み合せ２つを推定し、移動量推定部（図２の２３６）で図６（Ｃ）のように組み合せに係る体積量減少ボクセルから体積量増加ボクセルまでの距離（図６（Ｃ）の２つの矢印参照）を算出し、まとまりデータに係る体積量の増減のないボクセルの長さ（図示せず）を算出し、図６（Ｄ）のように算出された前記距離から、算出された前記長さを差し引いた値を荷物４の移動量（図６（Ｄ）の２つの矢印参照）として推定し、移動量推定部（図２の２３６）で移動量の中から最も長い移動量を最長移動量（図６（Ｄ）の丸で囲まれた矢印参照）と推定し、荷崩れ判定部（図２の２３７）で最長移動量の閾値判定を行う。

図５の基準ボクセルデータから移動例２－２に係る対比ボクセルデータのように変化すると、差分抽出部（図２の２３２）で抽出される差分抽出データは図５の移動例２－２に係る差分抽出データのようになる。移動例２－２に係る差分抽出データでは、８個のボクセルの体積量がそれぞれ１段増加し、別の８個のボクセルの体積量がそれぞれ１段減少し、その他のボクセルには増減の変化がない。つまり、体積の増加分と減少分とが存在し、体積の増加分と減少分とが同じ数及び段数で相殺されるので、基準ボクセルデータと対比ボクセルデータとの総体積が同じである。この場合、まとまり抽出部（図２の２３４）で図７（Ａ）のように同じ水平方向の位置にある、体積量増加ボクセルと体積量減少ボクセルとの間に存在する体積量の増減のないボクセルのまとまり１つを抽出し、組み合せ推定部（図２の２３５）で図７（Ｂ）のように紐付けされた体積量増加ボクセルのまとまりと体積量減少ボクセルのまとまりとの組み合せ２つを推定し、移動量推定部（図２の２３６）で図７（Ｃ）のように組み合せに係る体積量減少ボクセルから体積量増加ボクセルまでの距離（図７（Ｃ）の２つの矢印参照）を算出し、まとまりデータに係る体積量の増減のないボクセルの長さ（図示せず；１つ）を算出し、図７（Ｄ）のように算出された前記距離から、算出された前記長さを差し引いた値を荷物４の移動量（図７（Ｄ）の２つの矢印参照；一方は差し引き有り、他方は差し引き無し）として推定し、移動量推定部（図２の２３６）で移動量の中から最も長い移動量を最長移動量（図７（Ｄ）の丸で囲まれた矢印参照；当該事例の場合、２つあるがどちらでも可）と推定し、荷崩れ判定部（図２の２３７）で最長移動量の閾値判定を行う。

図５の基準ボクセルデータから移動例２－３に係る対比ボクセルデータのように変化すると、差分抽出部（図２の２３２）で抽出される差分抽出データは図５の移動例２－３に係る差分抽出データのようになる。移動例２－３に係る差分抽出データでは、８個のボクセルの体積量がそれぞれ１段増加し、別の８個のボクセルの体積量がそれぞれ１段減少し、その他のボクセルには増減の変化がない。つまり、体積の増加分と減少分とが存在し、体積の増加分と減少分とが同じ数及び段数で相殺されるので、基準ボクセルデータと対比ボクセルデータとの総体積が同じである。この場合、まとまり抽出部（図２の２３４）では図８（Ａ）のように同じ水平方向の位置にある、体積量増加ボクセルと体積量減少ボクセルとの間に存在する体積量の増減のないボクセルのまとまりを抽出することができないのでスキップし、組み合せ推定部（図２の２３５）で図８（Ｂ）のように紐付けされた体積量増加ボクセルのまとまりと体積量減少ボクセルのまとまりとの組み合せ２つを推定し、移動量推定部（図２の２３６）で図８（Ｃ）のように組み合せに係る体積量減少ボクセルから体積量増加ボクセルまでの距離（図８（Ｃ）の２つの矢印参照）を算出し、図８（Ｄ）のように算出された前記距離を荷物４の移動量（図８（Ｄ）の２つの矢印参照）として推定し、移動量推定部（図２の２３６）で移動量の中から最も長い移動量を最長移動量（図８（Ｄ）の丸で囲まれた矢印参照）と推定し、荷崩れ判定部（図２の２３７）で最長移動量の閾値判定を行う。

図５の基準ボクセルデータから移動例２－４に係る対比ボクセルデータのように変化すると、差分抽出部（図２の２３２）で抽出される差分抽出データは図５の移動例２－４に係る差分抽出データのようになる。移動例２－４に係る差分抽出データでは、１２個のボクセルの体積量がそれぞれ１段増加し、別の１２個のボクセルの体積量がそれぞれ１段減少し、その他のボクセルには増減の変化がない。つまり、体積の増加分と減少分とが存在し、体積の増加分と減少分とが同じ数及び段数で相殺されるので、基準ボクセルデータと対比ボクセルデータとの総体積が同じである。この場合、まとまり抽出部（図２の２３４）では図９（Ａ）のように同じ水平方向の位置にある、体積量増加ボクセルと体積量減少ボクセルとの間に存在する体積量の増減のないボクセルのまとまりを抽出することができないのでスキップし、組み合せ推定部（図２の２３５）で図９（Ｂ）のように紐付けされた体積量増加ボクセルのまとまりと体積量減少ボクセルのまとまりとの組み合せ３つを推定し、移動量推定部（図２の２３６）で図９（Ｃ）のように組み合せに係る体積量減少ボクセルから体積量増加ボクセルまでの距離（図９（Ｃ）の３つの矢印参照）を算出し、図９（Ｄ）のように算出された前記距離を荷物４の移動量（図９（Ｄ）の３つの矢印参照）として推定し、移動量推定部（図２の２３６）で移動量の中から最も長い移動量を最長移動量（図９（Ｄ）の丸で囲まれた矢印参照）と推定し、荷崩れ判定部（図２の２３７）で最長移動量の閾値判定を行う。

なお、上記の移動例１－１～１－３、２－１～２－４におけるまとまり抽出部２３４のまとまり抽出処理の基準、組み合せ推定部２３５の組み合せ推定処理の基準、及び、移動量推定部２３６の移動量推定処理の基準については、図２の詳細な説明を参照されたい。

実施形態１によれば、基準ボクセルデータと対比ボクセルデータとの対応する位置のボクセルの差分を抽出して荷物４の全体像の変動体積量又は最長移動量を推定して閾値判定を行っているので、荷物の移動による荷崩れの発生の可能性を判定することに貢献することができる。

また、実施形態１によれば、荷物４で隠れたオクルージョン部分が生じても、そのオクルージョン部分を推定して荷物４の荷姿を把握するので、オクルージョン部分における荷物４の変化を考慮することが可能である。

さらに、実施形態１によれば、トラック２の移動開始前など、特定時点の荷姿の基準ボクセルデータを保持し、基準時から所定又は任意の時間が経過した後の荷姿の対比ボクセルデータと比較することにより、荷崩れの可能性の有無を検出することができるので、荷物の積み降ろし作業などによって不安定な配置となり、落下の危険がある荷物があった場合でも、それを検出し、ドライバに通知することができる。これにより荷物４の荷崩れの可能性を早期に発見し、荷物４の破損を未然に防ぐことができ、輸送品質の低下を防ぐことに貢献することができる。

［実施形態２］
実施形態２に係る積載空間認識装置について図面を用いて説明する。図１１は、実施形態２に係る積載空間認識装置の構成を模式的に示したブロック図である。

積載空間認識装置２００は、撮影データに基づいて、荷物が積載される積載空間における荷物の変動（体積変動、距離変動）を認識する装置である。積載空間認識装置２００は、荷物全体像推定部２２２と、ボクセル化部２２３と、判定部２３０と、を備える。

荷物全体像推定部２２２は、荷物の積載空間を所定の方向から撮像した３次元データに基づいて、積載空間に積載された荷物の全体像を推定して推定結果データとして出力するように構成されている。

ボクセル化部２２３は、推定結果データをボクセル化してボクセルデータとして出力するように構成されている。

判定部２３０は、任意の基準時のボクセルデータと、基準時から所定又は任意の時間を経過した後のボクセルデータと、を比較することによって荷物の変動体積量又は移動量を推定し、推定された変動体積量又は移動量と閾値とを比較することによって荷崩れの可能性の有無を判定するように構成されている。

実施形態２によれば、基準時のボクセルデータと基準時以外のボクセルデータとの対応する位置のボクセルの差分を抽出して荷物の全体像の変動体積量又は最長移動量を推定して閾値判定を行っているので、荷物の移動による荷崩れの発生の可能性を判定することに貢献することができる。

なお、実施形態１、２に係る積載空間認識装置は、いわゆるハードウェア資源（情報処理装置、コンピュータ）により構成することができ、図１２に例示する構成を備えたものを用いることができる。例えば、ハードウェア資源１０００は、内部バス１００４により相互に接続される、プロセッサ１００１、メモリ１００２、ネットワークインタフェイス１００３等を備える。

なお、図１２に示す構成は、ハードウェア資源１０００のハードウェア構成を限定する趣旨ではない。ハードウェア資源１０００は、図示しないハードウェア（例えば、入出力インタフェイス）を含んでもよい。あるいは、装置に含まれるプロセッサ１００１等のユニットの数も図１２の例示に限定する趣旨ではなく、例えば、複数のプロセッサ１００１がハードウェア資源１０００に含まれていてもよい。プロセッサ１００１には、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＧＰＵ（Graphics Processing Unit）等を用いることができる。

メモリ１００２には、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等を用いることができる。

ネットワークインタフェイス１００３には、例えば、ＬＡＮ（Local Area Network）カード、ネットワークアダプタ、ネットワークインタフェイスカード等を用いることができる。

ハードウェア資源１０００の機能は、上述の処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ１００２に格納されたプログラムをプロセッサ１００１が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能は、何らかのハードウェアにおいてソフトウェアが実行されることによって実現できればよい。

上記実施形態の一部または全部は以下の付記のようにも記載され得るが、以下には限られない。

［付記１］
荷物の積載空間を所定の方向から撮像した３次元データに基づいて、前記積載空間に積載された荷物の全体像を推定して推定結果データとして出力するように構成されている荷物全体像推定部と、
前記推定結果データをボクセル化してボクセルデータとして出力するように構成されているボクセル化部と、
任意の基準時の前記ボクセルデータと、前記基準時から所定又は任意の時間を経過した後の前記ボクセルデータと、を比較することによって荷物の変動体積量又は移動量を推定し、推定された前記変動体積量又は移動量と閾値とを比較することによって荷崩れの可能性の有無を判定するように構成されている判定部と、
を備える、積載空間認識装置。
［付記２］
前記判定部は、
前記ボクセル化部からの前記基準時の前記ボクセルデータを変化基準点として確定するように構成された基準確定部と、
前記基準時の前記ボクセルデータと、前記基準時から所定又は任意の時間が経過した時点での前記ボクセルデータと、を比較することにより、所定の位置から荷物を見た面の対応する位置のボクセルの差分を抽出して差分データとして出力するように構成された差分抽出部と、
前記差分データに基づいて荷物の全体像の変動体積量を推定して変動体積量推定データとして出力するように構成された変動体積量推定部と、
前記変動体積量推定データと、前記閾値としての変動体積量用の閾値と、を比較することによって、荷崩れの可能性の有無を判定するように構成された荷崩れ判定部と、
を備える、付記１記載の積載空間認識装置。
［付記３］
前記判定部は、
前記差分データに基づいて、同じ水平方向の位置にある、体積量が増加した体積量増加ボクセルと体積量が減少した体積量減少ボクセルとの間に存在する体積量の増減のないボクセルのまとまりを抽出してまとまりデータとして出力するように構成されたまとまり抽出部と、
前記差分データに基づいて、前記体積量増加ボクセルと前記体積量減少ボクセルとの組み合せを推定して組み合せデータとして出力するように構成された組み合せ推定部と、
前記差分データ、前記まとまりデータ、及び前記組み合せデータに基づいて、前記基準時から所定又は任意の時間が経過した時までの間に生じた荷物の少なくとも１つの移動量を推定し、推定された前記移動量の中から最も長い移動量を選択し、選択された前記移動量を最長移動量と推定して最長移動量推定データとして出力するように構成された移動量推定部と、
をさらに備え、
前記荷崩れ判定部は、前記変動体積量推定データと、前記閾値としての変動体積量用の閾値と、を比較することによって、荷崩れの可能性の有無を判定し、荷崩れの可能性が有ると判定されたときに、前記最長移動量推定データと、前記閾値としての最長移動量用の閾値と、を比較することによって、荷崩れの可能性の有無を判定するように構成されている、付記２記載の積載空間認識装置。
［付記４］
前記判定部は、
前記ボクセル化部からの前記基準時の前記ボクセルデータを変化基準点として確定するように構成された基準確定部と、
前記基準時の前記ボクセルデータと、前記基準時から所定又は任意の時間が経過した時点での前記ボクセルデータと、を比較することにより、所定の位置から荷物を見た面の対応する位置のボクセルの差分を抽出して差分データとして出力するように構成された差分抽出部と、
前記差分データに基づいて、同じ水平方向の位置にある、体積量が増加した体積量増加ボクセルと体積量が減少した体積量減少ボクセルとの間に存在する体積量の増減のないボクセルのまとまりを抽出してまとまりデータとして出力するように構成されたまとまり抽出部と、
前記差分データに基づいて、前記体積量増加ボクセルと前記体積量減少ボクセルとの組み合せを推定して組み合せデータとして出力するように構成された組み合せ推定部と、
前記差分データ、前記まとまりデータ、及び前記組み合せデータに基づいて、前記基準時から所定又は任意の時間が経過した時までの間に生じた荷物の少なくとも１つの移動量を推定し、推定された前記移動量の中から最も長い移動量を選択し、選択された前記移動量を最長移動量と推定して最長移動量推定データとして出力するように構成された移動量推定部と、
前記最長移動量推定データと、前記閾値としての最長移動量用の閾値と、を比較することによって、荷崩れの可能性の有無を判定するように構成された荷崩れ判定部と、
を備える、付記１記載の積載空間認識装置。
［付記５］
ユーザの操作により、前記積載空間における荷物の積載領域を指定するように構成された領域指定部をさらに備え、
前記荷物全体像推定部は、前記積載領域に積載された荷物の全体像を推定するように構成されている、
付記１乃至４のいずれか一に記載の積載空間認識装置。
［付記６］
前記領域指定部は、ユーザの操作により、前記判定部での判定から除外する判定除外領域を指定するように構成され、
前記荷物全体像推定部は、前記判定除外領域に積載された荷物を除外して前記積載領域に積載された荷物の全体像を推定するように構成されている、
付記５記載の積載空間認識装置。
［付記７］
前記積載空間を有する構造体に取り付けられるとともに、揺れ又は音を検出する検出部をさらに備え、
前記判定部は、前記検出部で一定以上の揺れ又は音を検出したときに前記ボクセル化部から前記ボクセルデータを取得して、前記基準時の前記ボクセルデータと、取得した前記ボクセルデータと、を比較することによって荷物の変動体積量又は移動量を推定するように構成されている、
付記１乃至６のいずれか一に記載の積載空間認識装置。
［付記８］
前記移動量推定部は、荷物の移動方向が横方向のときに、推定された前記移動量よりも小さくなるように補正し、又は、荷物の移動方向が縦方向又は斜め方向のときに、推定された前記移動量よりも大きくなるように補正し、補正された前記移動量の中から最も長い移動量を選択するように構成されている、
付記３又は４記載の積載空間認識装置。
［付記９］
前記判定部は、さらに、前記基準時以外の前記ボクセルデータと、その１つ前の他の前記ボクセルデータとの間の変化量と、前記基準時の前記ボクセルデータと前記基準時以外の前記ボクセルデータとの間の変化量とを比較することにより、荷崩れの可能性の有無を判定するように構成されている、
付記１乃至８のいずれか一に記載の積載空間認識装置。
［付記１０］
前記判定部は、荷物の荷崩れの可能性があると判定したときに、警告出力指示情報を出力するように構成され、
前記積載空間認識装置は、前記警告出力指示情報に基づいて警告を出力するように構成された警告出力部をさらに備える、
付記１乃至９のいずれか一に記載の積載空間認識装置。
［付記１１］
積載空間内の荷物の表面をセンシングして撮像された３次元データを出力するセンサと、
付記１乃至１０のいずれか一に記載の積載空間認識装置と、
を備える、積載空間認識システム。
［付記１２］
ハードウェア資源を用いて荷物の積載空間を認識する積載空間認識方法であって、
前記積載空間を所定の方向から撮像した３次元データに基づいて、前記積載空間に積載された荷物の全体像を推定して推定結果データとして出力するステップと、
前記推定結果データをボクセル化してボクセルデータとして出力するステップと、
任意の基準時の前記ボクセルデータと、前記基準時から所定又は任意の時間を経過した後の前記ボクセルデータと、を比較することによって荷物の変動体積量又は移動量を推定し、推定された前記変動体積量又は移動量と閾値とを比較することによって荷崩れの可能性の有無を判定するステップと、
を含む、積載空間認識方法。
［付記１３］
荷物の積載空間を認識させる処理をハードウェア資源に実行させるプログラムであって、
前記積載空間を所定の方向から撮像した３次元データに基づいて、前記積載空間に積載された荷物の全体像を推定して推定結果データとして出力する処理と、
前記推定結果データをボクセル化してボクセルデータとして出力する処理と、
任意の基準時の前記ボクセルデータと、前記基準時から所定又は任意の時間を経過した後の前記ボクセルデータと、を比較することによって荷物の変動体積量又は移動量を推定し、推定された前記変動体積量又は移動量と閾値とを比較することによって荷崩れの可能性の有無を判定する処理と、
を前記ハードウェア資源に実行させる、プログラム。

なお、上記の特許文献の各開示は、本書に引用をもって繰り込み記載されているものとし、必要に応じて本発明の基礎ないし一部として用いることが出来るものとする。本発明の全開示（特許請求の範囲及び図面を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合せないし選択（必要により不選択）が可能である。すなわち、本発明は、請求の範囲及び図面を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、本願に記載の数値及び数値範囲については、明記がなくともその任意の中間値、下位数値、及び、小範囲が記載されているものとみなされる。さらに、上記引用した文献の各開示事項は、必要に応じ、本願発明の趣旨に則り、本願発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合せて用いることも、本願の開示事項に含まれる（属する）ものと、みなされる。

１ 積載空間認識システム
２ トラック
３ コンテナ
４ 荷物
５ 積載空間
１０ センサ
２０ 検出部
１００ 撮影データ
１０１ 前処理データ
１０２ ボクセルデータ
２００ 積載空間認識装置
２１０ 前処理部
２１１ フォーマット変換部
２１２ ノイズ除去部
２２０ 荷姿把握部
２２１ 領域指定部
２２２ 荷物全体像推定部
２２３ ボクセル化部
２３０ 判定部
２３１ 基準確定部
２３２ 差分抽出部
２３３ 変動体積量推定部
２３４ まとまり抽出部
２３５ 組み合せ推定部
２３６ 移動量推定部
２３７ 荷崩れ判定部
２４０ ユーザインタフェイス部
２４１ 表示部
２４２ 操作部
２４３ 警告出力部
１０００ ハードウェア資源
１００１ プロセッサ
１００２ メモリ
１００３ ネットワークインタフェイス
１００４ 内部バス

Claims (9)

1. 荷物の積載空間を所定の方向から撮像した３次元データに基づいて、前記積載空間に積載された荷物の全体像を推定して推定結果データとして出力するように構成されている荷物全体像推定部と、
   前記推定結果データをボクセル化してボクセルデータとして出力するように構成されているボクセル化部と、
   任意の基準時の前記ボクセルデータと、前記基準時から所定又は任意の時間を経過した後の前記ボクセルデータと、を比較することによって荷物の変動体積量又は移動量を推定し、推定された前記変動体積量又は移動量と閾値とを比較することによって荷崩れの可能性の有無を判定するように構成されている判定部と、
   ユーザの操作により、前記積載空間における荷物の積載領域を指定するように構成された領域指定部と、を備え、
   前記荷物全体像推定部は、前記積載領域に積載された荷物の全体像を推定するように構成されている、積載空間認識装置。
2. 前記判定部は、
   前記ボクセル化部からの前記基準時の前記ボクセルデータを変化基準点として確定するように構成された基準確定部と、
   前記基準時の前記ボクセルデータと、前記基準時から所定又は任意の時間が経過した時点での前記ボクセルデータと、を比較することにより、所定の位置から荷物を見た面の対応する位置のボクセルの差分を抽出して差分データとして出力するように構成された差分抽出部と、
   前記差分データに基づいて荷物の全体像の変動体積量を推定して変動体積量推定データとして出力するように構成された変動体積量推定部と、
   前記変動体積量推定データと、前記閾値としての変動体積量用の閾値と、を比較することによって、荷崩れの可能性の有無を判定するように構成された荷崩れ判定部と、
   を備える、請求項１記載の積載空間認識装置。
3. 前記判定部は、
   前記差分データに基づいて、同じ水平方向の位置にある、体積量が増加した体積量増加ボクセルと体積量が減少した体積量減少ボクセルとの間に存在する体積量の増減のないボクセルのまとまりを抽出してまとまりデータとして出力するように構成されたまとまり抽出部と、
   前記差分データに基づいて、前記体積量増加ボクセルと前記体積量減少ボクセルとの組み合せを推定して組み合せデータとして出力するように構成された組み合せ推定部と、
   前記差分データ、前記まとまりデータ、及び前記組み合せデータに基づいて、前記基準時から所定又は任意の時間が経過した時までの間に生じた荷物の少なくとも１つの移動量を推定し、推定された前記移動量の中から最も長い移動量を選択し、選択された前記移動量を最長移動量と推定して最長移動量推定データとして出力するように構成された移動量推定部と、
   をさらに備え、
   前記荷崩れ判定部は、前記変動体積量推定データと、前記閾値としての変動体積量用の閾値と、を比較することによって、荷崩れの可能性の有無を判定し、荷崩れの可能性が有ると判定されたときに、前記最長移動量推定データと、前記閾値としての最長移動量用の閾値と、を比較することによって、荷崩れの可能性の有無を判定するように構成されている、請求項２記載の積載空間認識装置。
4. 前記判定部は、
   前記ボクセル化部からの前記基準時の前記ボクセルデータを変化基準点として確定するように構成された基準確定部と、
   前記基準時の前記ボクセルデータと、前記基準時から所定又は任意の時間が経過した時点での前記ボクセルデータと、を比較することにより、所定の位置から荷物を見た面の対応する位置のボクセルの差分を抽出して差分データとして出力するように構成された差分抽出部と、
   前記差分データに基づいて、同じ水平方向の位置にある、体積量が増加した体積量増加ボクセルと体積量が減少した体積量減少ボクセルとの間に存在する体積量の増減のないボクセルのまとまりを抽出してまとまりデータとして出力するように構成されたまとまり抽出部と、
   前記差分データに基づいて、前記体積量増加ボクセルと前記体積量減少ボクセルとの組み合せを推定して組み合せデータとして出力するように構成された組み合せ推定部と、
   前記差分データ、前記まとまりデータ、及び前記組み合せデータに基づいて、前記基準時から所定又は任意の時間が経過した時までの間に生じた荷物の少なくとも１つの移動量を推定し、推定された前記移動量の中から最も長い移動量を選択し、選択された前記移動量を最長移動量と推定して最長移動量推定データとして出力するように構成された移動量推定部と、
   前記最長移動量推定データと、前記閾値としての最長移動量用の閾値と、を比較することによって、荷崩れの可能性の有無を判定するように構成された荷崩れ判定部と、
   を備える、請求項１記載の積載空間認識装置。
5. 前記移動量推定部は、荷物の移動方向が横方向のときに、推定された前記移動量よりも小さくなるように補正し、又は、荷物の移動方向が縦方向又は斜め方向のときに、推定された前記移動量よりも大きくなるように補正し、補正された前記移動量の中から最も長い移動量を選択するように構成されている、
   請求項３又は４記載の積載空間認識装置。
6. 前記判定部は、さらに、前記基準時以外の前記ボクセルデータと、その１つ前の他の前記ボクセルデータとの間の変化量と、前記基準時の前記ボクセルデータと前記基準時以外の前記ボクセルデータとの間の変化量とを比較することにより、荷崩れの可能性の有無を判定するように構成されている、
   請求項１乃至５のいずれか一に記載の積載空間認識装置。
7. 積載空間内の荷物の表面をセンシングして撮像された３次元データを出力するセンサと、
   請求項１乃至６のいずれか一に記載の積載空間認識装置と、
   を備える、積載空間認識システム。
8. ハードウェア資源を用いて荷物の積載空間を認識する積載空間認識方法であって、
   ユーザの操作により、前記積載空間における荷物の積載領域を指定するステップと、
   前記積載空間を所定の方向から撮像した３次元データに基づいて、前記積載空間における前記荷物の積載領域に積載された荷物の全体像を推定して推定結果データとして出力するステップと、
   前記推定結果データをボクセル化してボクセルデータとして出力するステップと、
   任意の基準時の前記ボクセルデータと、前記基準時から所定又は任意の時間を経過した後の前記ボクセルデータと、を比較することによって荷物の変動体積量又は移動量を推定し、推定された前記変動体積量又は移動量と閾値とを比較することによって荷崩れの可能性の有無を判定するステップと、を含む、積載空間認識方法。
9. 荷物の積載空間を認識させる処理をハードウェア資源に実行させるプログラムであって、
   ユーザの操作により、前記積載空間における荷物の積載領域を指定する処理と、
   前記積載空間を所定の方向から撮像した３次元データに基づいて、前記積載空間における前記荷物の積載領域に積載された荷物の全体像を推定して推定結果データとして出力する処理と、
   前記推定結果データをボクセル化してボクセルデータとして出力する処理と、
   任意の基準時の前記ボクセルデータと、前記基準時から所定又は任意の時間を経過した後の前記ボクセルデータと、を比較することによって荷物の変動体積量又は移動量を推定し、推定された前記変動体積量又は移動量と閾値とを比較することによって荷崩れの可能性の有無を判定する処理と、
   を前記ハードウェア資源に実行させる、プログラム。

Images