JP2023086501A - 表示システム及び表示方法 - Google Patents

表示システム及び表示方法 Download PDF

Info

Publication number
JP2023086501A
JP2023086501A JP2021201059A JP2021201059A JP2023086501A JP 2023086501 A JP2023086501 A JP 2023086501A JP 2021201059 A JP2021201059 A JP 2021201059A JP 2021201059 A JP2021201059 A JP 2021201059A JP 2023086501 A JP2023086501 A JP 2023086501A
Authority
JP
Japan
Prior art keywords
display
range
dimensional
detection data
updated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021201059A
Other languages
English (en)
Other versions
JP7762056B2 (ja
Inventor
駿 川本
Shun Kawamoto
翼 蓮實
Tsubasa Hasumi
鯉 董
Li Dong
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Priority to JP2021201059A priority Critical patent/JP7762056B2/ja
Priority to PCT/JP2022/045054 priority patent/WO2023106324A1/ja
Priority to DE112022004847.6T priority patent/DE112022004847T5/de
Priority to KR1020247017043A priority patent/KR20240093869A/ko
Priority to US18/715,769 priority patent/US20250046087A1/en
Priority to CN202280081490.5A priority patent/CN118369679A/zh
Publication of JP2023086501A publication Critical patent/JP2023086501A/ja
Application granted granted Critical
Publication of JP7762056B2 publication Critical patent/JP7762056B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional [3D] objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08Construction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00Two-dimensional [2D] image generation
    • G06T11/10Texturing; Colouring; Generation of textures or colours
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three-dimensional [3D] modelling for computer graphics
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)
  • Digital Computer Display Output (AREA)

Abstract

Figure 2023086501000001
【課題】施工現場の状況を確認すること。
【解決手段】表示システムは、作業機械が稼働する施工現場の第1範囲における3次元形状を示す3次元データを記憶する3次元データ記憶部と、第1範囲の一部の第2範囲における3次元形状を示す検出データを取得する検出データ取得部と、検出データに基づいて、3次元データの一部の範囲を更新する更新部と、3次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置に表示させる表示制御部と、を備える。
【選択図】図7

Description

本開示は、表示システム及び表示方法に関する。
施工管理に係る技術分野において、特許文献1に開示されているような施工管理システムが知られている。
国際公開第2019/012993号
施工現場の状況は変化する。例えば、施工の進捗により施工現場の地形の状況が変化する。また、作業機械の稼働により作業機械の状況が変化する。施工現場の状況を適正に確認できる技術が要望される。
本開示は、施工現場の状況を確認することを目的とする。
本開示に従えば、作業機械が稼働する施工現場の第1範囲における3次元形状を示す3次元データを記憶する3次元データ記憶部と、第1範囲の一部の第2範囲における3次元形状を示す検出データを取得する検出データ取得部と、検出データに基づいて、3次元データの一部の範囲を更新する更新部と、3次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置に表示させる表示制御部と、を備える、表示システムが提供される。
本開示によれば、施工現場の状況を確認することができる。
図1は、実施形態に係る施工管理システムを示す模式図である。 図2は、実施形態に係る飛行体を示す図である。 図3は、実施形態に係る表示システムを示す機能ブロック図である。 図4は、実施形態に係る表示方法を示すフローチャートである。 図5は、実施形態に係る第1範囲と第2範囲との関係を示す図である。 図6は、実施形態に係る物体の特定方法を示す図である。 図7は、実施形態に係る表示装置の一例を示す図である。 図8は、実施形態に係る表示装置の別例を示す図である。 図9は、実施形態に係る表示装置の別例を示す図である。 図10は、実施形態に係る表示装置の別例を示す図である。 図11は、実施形態に係るコンピュータシステムを示すブロック図である。
以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示は実施形態に限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
[施工管理システム]
図1は、実施形態に係る施工管理システム1を示す模式図である。施工管理システム1は、施工現場2の施工を管理する。施工現場2において複数の作業機械20が稼働する。実施形態において、作業機械20は、油圧ショベル21、ブルドーザ22、及びクローラダンプ23を含む。施工現場2に人WMが存在する。人WMとして、施工現場2で作業する作業者が例示される。なお、人WMは、施工を管理する監督者でもよい。人WMは、見学者でもよい。
図1に示すように、施工管理システム1は、管理装置3と、サーバ4と、情報端末5と、飛行体8とを備える。
管理装置3は、施工現場2に配置されるコンピュータシステムを含む。管理装置3は、走行装置6に支持される。管理装置3は、走行装置6により施工現場2を走行することができる。走行装置6として、高所作業車、トラック、及び走行ロボットが例示される。
サーバ4は、コンピュータシステムを含む。サーバ4は、施工現場2に配置されてもよいし、施工現場2の遠隔地に配置されてもよい。
情報端末5は、施工現場2の遠隔地9に配置されるコンピュータシステムである。情報端末5として、パーソナルコンピュータ及びスマートフォンが例示される。
管理装置3とサーバ4と情報端末5とは、通信システム10を介して通信する。通信システム10として、インターネット(internet)、ローカルエリアネットワーク(LAN:Local Area Network)、携帯電話通信網、及び衛星通信網が例示される。
飛行体8は、施工現場2を飛行する。飛行体8として、ドローンのような無人航空機(UAV:Unmanned Aerial Vehicle)が例示される。実施形態において、飛行体8と管理装置3とは、ケーブル7により接続される。管理装置3は、電源又は発電機を含む。管理装置3は、ケーブル7を介して飛行体8に電力を供給することができる。
[飛行体]
図2は、実施形態に係る飛行体8を示す図である。飛行体8には、3次元センサ11と、位置センサ14と、姿勢センサ15とが搭載される。
3次元センサ11は、施工現場2を検出する。3次元センサ11は、施工現場2の3次元形状を示す3次元データを取得する。3次元センサ11の検出データは、施工現場2の3次元データを含む。3次元センサ11は、飛行体8に配置される。3次元センサ11は、施工現場2の上空から施工現場2を検出する。3次元センサ11の検出対象として、施工現場2の地形及び施工現場2に存在する物体が例示される。物体は、可動体及び静止体の一方又は両方を含む。可動体として、作業機械20及び人WMが例示される。静止体として、工事用具、木材、又は資材が例示される。
3次元センサ11の検出データは、施工現場2の画像を示す画像データを含む。3次元センサ11により取得される画像データは、動画データでもよいし静止画データでもよい。3次元センサ11として、ステレオカメラが例示される。なお、3次元センサ11は、単眼カメラと3次元計測装置とを含んでもよい。3次元計測装置として、レーザ光を射出することにより検出対象を検出するレーザセンサ(LIDAR:Light Detection and Ranging)が例示される。なお、3次元計測装置は、赤外光を射出することにより物体を検出する赤外線センサ又は電波を射出することにより物体を検出するレーダセンサ(RADAR:Radio Detection and Ranging)でもよい。
位置センサ14は、飛行体8の位置を検出する。位置センサ14は、全地球航法衛星システム(GNSS)を利用して飛行体8の位置を検出する。位置センサ14は、GNSS受信機(GNSSセンサ)を含み、飛行体8のグローバル座標系の位置を検出する。3次元センサ11は、飛行体8に固定される。位置センサ14は、飛行体8の位置を検出することにより、3次元センサ11の位置を検出することができる。位置センサ14の検出データは、3次元センサ11の位置データを含む。
姿勢センサ15は、飛行体8の姿勢を検出する。姿勢は、例えばロール角、ピッチ角、及びヨー角を含む。姿勢センサ15として、慣性計測装置(IMU:Inertial Measurement Unit)が例示される。3次元センサ11は、飛行体8に固定される。姿勢センサ15は、飛行体8の姿勢を検出することにより、3次元センサ11の姿勢を検出することができる。姿勢センサ15の検出データは、3次元センサ11の姿勢データを含む。
3次元センサ11の検出データ、位置センサ14の検出データ、及び姿勢センサ15の検出データのそれぞれは、ケーブル7を介して管理装置3に送信される。管理装置3に受信された3次元センサ11の検出データ、位置センサ14の検出データ、及び姿勢センサ15の検出データのそれぞれは、通信システム10を介してサーバ4に送信される。
[表示システム]
図3は、実施形態に係る表示システム30を示す機能ブロック図である。図3に示すように、表示システム30は、飛行体8と、施工現場2に配置される管理装置3と、サーバ4と、施工現場2の遠隔地9に配置される情報端末5とを有する。
飛行体8は、3次元センサ11と、位置センサ14と、姿勢センサ15とを有する。
情報端末5は、表示制御部51と表示装置52とを有する。
表示装置52は、表示データを表示する。遠隔地9の管理者は、表示装置52に表示された表示データを確認することができる。表示装置52として、液晶ディスプレイ(LCD:Liquid Crystal Display)又は有機ELディスプレイ(OELD:Organic Electroluminescence Display)のようなフラットパネルディスプレイが例示される。
サーバ4は、検出データ取得部41と、3次元データ記憶部42と、更新部43と、物体特定部44と、出力部45とを有する。
検出データ取得部41は、3次元センサ11から施工現場2の3次元形状を示す検出データを取得する。すなわち、検出データ取得部41は、3次元センサ11から施工現場2の3次元データを取得する。検出データは、施工現場2の地形及び作業機械20の少なくとも一方を含む。
3次元データ記憶部42は、検出データ取得部41により取得された検出データを記憶する。3次元データ記憶部42は、施工現場2の第1範囲における3次元形状を示す3次元データを記憶する。
更新部43は、検出データ取得部41により取得された検出データに基づいて、3次元データ記憶部42に記憶されている3次元データの一部の範囲を更新する。実施形態において、施工現場2の第1範囲における3次元形状を示す3次元データが3次元データ記憶部42に記憶された後、第1範囲の一部の第2範囲における3次元形状を示す検出データが検出データ取得部41により取得される。
物体特定部44は、検出データ取得部41により取得された施工現場2の画像における物体を特定する。上述のように、3次元センサ11の検出データは、施工現場2の画像を示す画像データを含む。物体特定部44は、入力データをアルゴリズムにより解析して出力データを出力する人工知能(AI:Artificial Intelligence)を利用して物体を特定する。物体特定部44は、例えばニューラルネットワークを利用して物体を特定する。
出力部45は、更新部43により更新された3次元データを情報端末5に出力する。出力部45は、通信システム10を介して、更新部43により更新された3次元データを情報端末5に送信する。
出力部45は、更新部43により更新された3次元データを表示装置52に表示させる制御指令を表示制御部51に送信する。上述のように、3次元データの一部の範囲が更新される。出力部45は、3次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置52に表示させる制御指令を表示制御部51に送信する。表示制御部51は、出力部45から送信された制御指令に基づいて、更新部43により更新された3次元データにおいて更新された範囲と更新されない範囲とが異なる表示形態で表示装置52に表示されるように、表示装置52を制御する。
[施工管理方法]
図4は、実施形態に係る表示方法を示すフローチャートである。
飛行体8が施工現場2の上空において飛行を開始すると、3次元センサ11による施工現場2の検出処理が開始される。
検出データ取得部41は、3次元センサ11から施工現場2の3次元形状を示す検出データを取得する(ステップS1)。
3次元データ記憶部42は、ステップS1において検出された施工現場2の第1範囲における3次元形状を示す3次元データを記憶する(ステップS2)。
検出データ取得部41は、3次元センサ11から施工現場2の第2範囲における3次元形状を示す検出データを取得する(ステップS3)。
更新部43は、ステップS3において取得された検出データに基づいて、ステップS2において3次元データ記憶部42に記憶された3次元データの一部の範囲を更新する(ステップS4)。
図5は、実施形態に係る第1範囲と第2範囲との関係を示す図である。図5に示すように、ステップS3において取得される施工現場2の第2範囲は、ステップS1において取得される施工現場2の第1範囲よりも小さい。第2範囲は、第1範囲の一部である。第2範囲は、施工現場2の状況が変化している範囲を含む。第1範囲において第2範囲の外側の範囲は、施工現場2の状況が変化していない範囲を含む。
施工現場2において、状況が変化する動的範囲と状況が変化しない静的範囲とが存在する場合がある。動的範囲は、施工の進捗により施工現場2の地形の状況が変化する範囲及び油圧ショベル21の稼働により油圧ショベル21の状況が変化する範囲を含む。静的範囲は、施工が進捗せずに施工現場2の地形の状況が変化しない範囲及び油圧ショベル21が存在するものの油圧ショベル21が稼働しておらずに油圧ショベル21の状況が変化しない範囲を含む。ステップS3において、3次元センサ11は、動的範囲である第2範囲を検出する。
更新部43は、第1範囲の一部の範囲を第2範囲に置き換えることによって、3次元データの一部を更新する。
更新部43により3次元データの一部が更新された後、物体特定部44は、施工現場2の画像における物体を特定する。物体特定部44は、人工知能(AI:Artificial Intelligence)を利用して物体を特定する(ステップS5)。
図6は、実施形態に係る物体の特定方法を示す図である。物体特定部44は、物体の特徴量を学習することにより生成された学習モデルを保有する。物体特定部44は、学習モデルに基づいて、2次元画像から物体を特定する。物体は、人WM及び作業機械20の少なくとも一方を含む。物体特定部44は、例えば人の画像及び作業機械の画像を含む学習画像を教師データとして機械学習することにより、物体の特徴量を入力とし人又は作業機械を出力とする学習モデルを生成する。物体特定部44は、ステップS4において更新された施工現場2の画像を示す画像データから抽出された物体の特徴量を学習モデルに入力して、2次元画像における人WM又は作業機械20を特定する。
出力部45は、ステップS4において更新された3次元データ及びステップS5において特定された物体を、通信システム10を介して情報端末5に送信する。出力部45は、更新された3次元データを表示装置52に表示させる制御指令を表示制御部51に送信する。表示制御部51は、出力部45から送信された制御指令に基づいて、3次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置52に表示させる(ステップS6)。
出力部45は、3次元データの表示を終了するか否かを判定する(ステップS7)。ステップS7において3次元データの表示を継続すると判定された場合(ステップS7:No)、ステップS3の処理に戻る。これにより、施工現場2の3次元形状を示す3次元データが更新され続ける。表示装置52には、施工現場2の状況に即した表示データがリアルタイムで表示される。ステップS7において3次元データの表示を終了すると判定された場合(ステップS7:Yes)、3次元データの表示が終了する。
[表示装置]
図7は、実施形態に係る表示装置52の一例を示す図である。図7に示すように、表示制御部51は、3次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置52に表示させる。更新された範囲は、第2範囲に相当する。更新されない範囲は、第1範囲において第2範囲の外側の範囲に相当する。図7に示すように、表示制御部51は、更新された範囲と更新されない範囲とを異なる色で表示装置52に表示させてもよい。
また、表示制御部51は、物体特定部44により特定された物体が強調されるように表示装置52に表示させる。図7に示すように、表示制御部51は、物体を囲むフレームを表示させてもよい。物体は、人WM及び作業機械20の少なくとも一方を含む。図7に示す例において、表示制御部51は、第1範囲において第2範囲の外側に存在する油圧ショベル21を囲むフレーム31を表示装置52に表示される。表示制御部51は、第2範囲に存在する油圧ショベル21を囲むフレーム32を表示装置52に表示される。表示制御部51は、人WMを囲むフレーム33を表示装置52に表示される。また、物体の位置に物体を示す3次元モデルが表示されてもよい。3次元モデルは、物体のコンピュータグラフィックス(CG:Computer Graphics)を含む。例えば、油圧ショベル21の3次元モデルが第1範囲、又は第2範囲の油圧ショベル21の位置に表示されてもよい。
図8は、実施形態に係る表示装置52の別例を示す図である。図8に示すように、表示制御部51は、更新された範囲である第2範囲が強調されるように表示装置52に表示させてもよい。例えば、表示制御部51は、第2範囲が太線で囲まれるように、表示装置52に表示させてもよい。
図9は、実施形態に係る表示装置52の別例を示す図である。図4に示したように、ステップS3からステップS7の処理が複数回繰り返される場合がある。すなわち、検出データ取得部41は、複数の時点のそれぞれで検出データを取得する場合がある。更新部43は、複数の時点のそれぞれで3次元データを更新することができる。表示制御部51は、更新された範囲を複数の時点ごとに異なる表示形態で表示装置52に表示させてもよい。図9に示すように、表示制御部51は、第1時点で更新された範囲(第2範囲)と、第1時点よりも後の第2時点で更新された範囲(第2範囲)と、第2時点よりも後の第3点で更新された範囲(第2範囲)とを、相互に異なる色で表示装置52に表示させてもよい。
図10は、実施形態に係る表示装置52の別例を示す図である。施工現場2に複数の3次元センサ11が存在し、複数の3次元センサ11のそれぞれが施工現場2を検出する場合がある。例えば3次元センサ11が配置された複数の飛行体8が施工現場2の上空を飛行する場合がある。検出データ取得部41は、複数の3次元センサ11のそれぞれから検出データを取得することができる。更新部43は、複数の3次元センサ11のそれぞれの検出データに基づいて3次元データを更新することができる。表示制御部51は、更新された範囲を複数の3次元センサごとに異なる表示形態で表示装置52に表示させてもよい。図10に示すように、表示制御部51は、第1の3次元センサ11により取得された検出データに基づいて更新された範囲(第2範囲)と、第2の3次元センサ11により取得された検出データに基づいて更新された範囲(第2範囲)と、第3の3次元センサ11により取得された検出データに基づいて更新された範囲(第2範囲)とを、相互に異なる色で表示装置52に表示させてもよい。
[コンピュータシステム]
図11は、実施形態に係るコンピュータシステム1000を示すブロック図である。上述のサーバ4は、コンピュータシステム1000を含む。コンピュータシステム1000は、CPU(Central Processing Unit)のようなプロセッサ1001と、ROM(Read Only Memory)のような不揮発性メモリ及びRAM(Random Access Memory)のような揮発性メモリを含むメインメモリ1002と、ストレージ1003と、入出力回路を含むインターフェース1004とを有する。上述のサーバ4の機能は、コンピュータプログラムとしてストレージ1003に記憶されている。プロセッサ1001は、コンピュータプログラムをストレージ1003から読み出してメインメモリ1002に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム1000に配信されてもよい。
コンピュータプログラム又はコンピュータシステム1000は、上述の実施形態に従って、作業機械20が稼働する施工現場2の第1範囲における3次元形状を示す3次元データを記憶することと、第1範囲の一部の第2範囲における3次元形状を示す検出データを取得することと、検出データに基づいて、3次元データの一部の範囲を更新することと、3次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置に表示させることと、を実行することができる。
[効果]
以上説明したように、実施形態によれば、施工現場2の一部の状況が変化した場合、3次元データ記憶部42に記憶されている施工現場2の3次元データのうち、変化した部分だけが最新の検出データに置き換えられ、3次元データが更新される。更新された3次元データが表示装置52に表示されることにより、管理者は、施工現場2の状況をリアルタイムで確認することができる。管理者は、施工現場2の状況をリアルタイムで確認することで、施工が進捗した領域と施工を進めなければならない領域を把握することができる。また、施工現場2の第1範囲の全部が最新の検出データに置き換わるのではなく、変化した部分だけが最新の検出データである第2範囲に置き換わるので、適正な3次元データが表示装置52に表示される。第1範囲の全部を最新の検出データに置き換えようとすると、更新の負荷が多大になる。施工現場2の第1範囲のうち変化した部分だけを第2範囲として置き換えることにより、適正な3次元データが表示装置52に表示される。
[その他の実施形態]
上述の実施形態において、物体特定部44は、更新部43により3次元データの一部が更新された後、画像における物体を特定することとした。物体特定部44は、他の時点において画像における物体を特定してもよい。例えば、物体特定部44は、3次元データの一部の更新前に、第1範囲における3次元形状を示す3次元データと第2範囲における3次元形状を示す検出データとから、画像における物体を特定してもよい。
上述の実施形態において、飛行体8は、ケーブル7に接続される有線飛行体であることとした。飛行体8は、ケーブル7に接続されない無線飛行体でもよい。
上述の実施形態において、位置センサ14を利用して飛行体8の位置を検出し、姿勢センサ15を利用して飛行体8の姿勢を検出することとした。SLAM(Simultaneous Localization and Mapping)を利用して飛行体8の位置及び姿勢を検出してもよい。地磁気又は気圧計を用いて飛行体8の位置及び姿勢が検出されてもよい。
上述の実施形態において、物体特定部44は、人工知能を利用せずに、例えばパターンマッチング法に基づいて物体を特定してもよい。物体特定部44は、物体を示すテンプレートと施工現場2の画像データとを照合することにより、物体を特定することができる。
上述の実施形態において、管理装置3は、走行装置6に支持され、施工現場2を走行することができることとした。管理装置3は、作業機械20に搭載されてもよいし、施工現場2の所定の位置に設置されてもよい。
上述の実施形態において、情報端末5は、施工現場2の遠隔地9に配置されなくてもよい。情報端末5は、例えば作業機械20に搭載されてもよい。
上述の実施形態において、表示制御部51及び表示装置52のそれぞれは、情報端末5に備えられることとした。表示制御部51及び表示装置52のそれぞれは、作業機械20の制御装置に備えられてもよい。また、作業機械20が遠隔操作される場合においては、表示制御部51及び表示装置52のそれぞれは、作業機械20の遠隔操作を行う遠隔地に設置される制御装置に備えられてもよい。
上述の実施形態において、サーバ4の機能が管理装置3に設けられてもよいし、情報端末5に設けられてもよいし、飛行体8に搭載されたコンピュータシステムに設けられてもよい。例えば、検出データ取得部41、3次元データ記憶部42、更新部43、物体特定部44、及び出力部45の少なくとも一つの機能が、管理装置3に設けられてもよいし、情報端末5に設けられてもよいし、飛行体8に搭載されたコンピュータシステムに設けられてもよい。
上述の実施形態において、検出データ取得部41、3次元データ記憶部42、更新部43、物体特定部44、及び出力部45のそれぞれが、別々のハードウエアにより構成されてもよい。
上述の実施形態において、3次元センサ11は、飛行体8に配置されなくてもよい。3次元センサ11は、例えば作業機械20に配置されてもよいし、走行装置6に配置されてもよい。また、3次元センサ11は、飛行体8、作業機械20、及び走行装置6とは別の移動体に配置されてもよい。3次元センサ11は、施工現場2に存在する構造物に配置されてもよい。また、3次元センサ11が施工現場2に複数設置され、施工現場2が広範囲に亘って検出されてもよい。
上述の実施形態において、物体は、人WM及び作業機械20の少なくとも一方を含むこととした。物体は、工事用具、木材、又は資材の少なくとも一つを含んでもよい。
上述の実施形態において、表示制御部51は、更新された範囲と更新されない範囲とを色の明度、透明度、又は輝度によって異なる表示形態となるように表示装置52に表示してもよい。また、表示制御部51は、第1時点で更新された範囲(第2範囲)と、第1時点よりも後の第2時点で更新された範囲(第2範囲)と、第2時点よりも後の第3時点で更新された範囲(第2範囲)とを、色の明度、透明度、又は輝度によって相互に異なる表示形態となるように表示装置52に表示してもよい。また、表示制御部51は、第1の3次元センサ11により取得された検出データに基づいて更新された範囲(第2範囲)と、第2の3次元センサ11により取得された検出データに基づいて更新された範囲(第2範囲)と、第3の3次元センサ11により取得された検出データに基づいて更新された範囲(第2範囲)とを、色の明度、透明度、又は輝度によって相互に異なる表示形態となるように表示装置52に表示させてもよい。
上述の実施形態において、作業機械20は、油圧ショベル21、ブルドーザ22、及びクローラダンプ23とは別の作業機械でもよい。作業機械20は、例えばホイールローダを含んでもよい。
1…施工管理システム、2…施工現場、3…管理装置、4…サーバ(データ処理装置)、5…情報端末、6…走行装置、7…ケーブル、8…飛行体、9…遠隔地、10…通信システム、11…3次元センサ、14…位置センサ、15…姿勢センサ、20…作業機械、21…油圧ショベル、22…ブルドーザ、23…クローラダンプ、30…表示システム、31…フレーム、32…フレーム、33…フレーム、41…検出データ取得部、42…3次元データ記憶部、43…更新部、44…物体特定部、45…出力部、51…表示制御部、52…表示装置、1000…コンピュータシステム、1001…プロセッサ、1002…メインメモリ、1003…ストレージ、1004…インターフェース、WM…人。

Claims (20)

  1. 作業機械が稼働する施工現場の第1範囲における3次元形状を示す3次元データを記憶する3次元データ記憶部と、
    前記第1範囲の一部の第2範囲における3次元形状を示す検出データを取得する検出データ取得部と、
    前記検出データに基づいて、前記3次元データの一部の範囲を更新する更新部と、
    前記3次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置に表示させる表示制御部と、を備える、
    表示システム。
  2. 前記表示制御部は、更新された範囲と更新されない範囲とを異なる色で表示させる、
    請求項1に記載の表示システム。
  3. 前記表示制御部は、更新された範囲が強調されるように表示させる、
    請求項1に記載の表示システム。
  4. 前記検出データは、前記施工現場の画像を示す画像データを含み、
    前記画像における物体を特定する物体特定部を備え、
    前記表示制御部は、特定された物体が強調されるように表示させる、
    請求項1から請求項3のいずれか一項に記載の表示システム。
  5. 前記表示制御部は、前記物体を囲むフレームを表示させる、
    請求項4に記載の表示システム。
  6. 前記物体は、人及び作業機械の少なくとも一方を含む、
    請求項4又は請求項5に記載の表示システム。
  7. 前記検出データ取得部は、複数の時点のそれぞれで前記検出データを取得し、
    前記更新部は、複数の時点のそれぞれで前記3次元データを更新し、
    前記表示制御部は、更新された範囲を複数の時点ごとに異なる表示形態で表示させる、
    請求項1から請求項6のいずれか一項に記載の表示システム。
  8. 前記検出データ取得部は、前記施工現場を検出する3次元センサから前記検出データを取得し、
    前記3次元センサは、移動体に配置される、
    請求項1から請求項7のいずれか一項に記載の表示システム。
  9. 前記移動体は、飛行体及び作業機械の少なくとも一方を含む、
    請求項8に記載の表示システム。
  10. 前記検出データ取得部は、複数の3次元センサのそれぞれから前記検出データを取得し、
    前記更新部は、複数の3次元センサのそれぞれの検出データに基づいて前記3次元データを更新し、
    前記表示制御部は、更新された範囲を複数の3次元センサごとに異なる表示形態で表示させる、
    請求項8又は請求項9に記載の表示システム。
  11. 作業機械が稼働する施工現場の第1範囲における3次元形状を示す3次元データを記憶することと、
    前記第1範囲の一部の第2範囲における3次元形状を示す検出データを取得することと、
    前記検出データに基づいて、前記3次元データの一部の範囲を更新することと、
    前記3次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置に表示させることと、を含む、
    表示方法。
  12. 更新された範囲と更新されない範囲とを異なる色で表示させる、
    請求項11に記載の表示方法。
  13. 更新された範囲が強調されるように表示させる、
    請求項11に記載の表示方法。
  14. 前記検出データは、前記施工現場の画像を示す画像データを含み、
    前記画像における物体を特定することを含み、
    特定された物体が強調されるように表示させる、
    請求項11から請求項13のいずれか一項に記載の表示方法。
  15. 前記物体を囲むフレームを表示させる、
    請求項14に記載の表示方法。
  16. 前記物体は、人及び作業機械の少なくとも一方を含む、
    請求項14又は請求項15に記載の表示方法。
  17. 複数の時点のそれぞれで前記検出データを取得し、
    複数の時点のそれぞれで前記3次元データを更新し、
    更新された範囲を複数の時点ごとに異なる表示形態で表示させる、
    請求項11から請求項16のいずれか一項に記載の表示方法。
  18. 前記施工現場を検出する3次元センサから前記検出データを取得し、
    前記3次元センサは、移動体に配置される、
    請求項11から請求項17のいずれか一項に記載の表示方法。
  19. 前記移動体は、飛行体及び作業機械の少なくとも一方を含む、
    請求項18に記載の表示方法。
  20. 複数の3次元センサのそれぞれから前記検出データを取得し、
    複数の3次元センサのそれぞれの検出データに基づいて前記3次元データを更新し、
    更新された範囲を複数の3次元センサごとに異なる表示形態で表示させる、
    請求項18又は請求項19に記載の表示方法。
JP2021201059A 2021-12-10 2021-12-10 表示システム及び表示方法 Active JP7762056B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2021201059A JP7762056B2 (ja) 2021-12-10 2021-12-10 表示システム及び表示方法
PCT/JP2022/045054 WO2023106324A1 (ja) 2021-12-10 2022-12-07 表示システム及び表示方法
DE112022004847.6T DE112022004847T5 (de) 2021-12-10 2022-12-07 Anzeigesystem und anzeigeverfahren
KR1020247017043A KR20240093869A (ko) 2021-12-10 2022-12-07 표시 시스템 및 표시 방법
US18/715,769 US20250046087A1 (en) 2021-12-10 2022-12-07 Display system and display method
CN202280081490.5A CN118369679A (zh) 2021-12-10 2022-12-07 显示系统及显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021201059A JP7762056B2 (ja) 2021-12-10 2021-12-10 表示システム及び表示方法

Publications (2)

Publication Number Publication Date
JP2023086501A true JP2023086501A (ja) 2023-06-22
JP7762056B2 JP7762056B2 (ja) 2025-10-29

Family

ID=86730529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021201059A Active JP7762056B2 (ja) 2021-12-10 2021-12-10 表示システム及び表示方法

Country Status (6)

Country Link
US (1) US20250046087A1 (ja)
JP (1) JP7762056B2 (ja)
KR (1) KR20240093869A (ja)
CN (1) CN118369679A (ja)
DE (1) DE112022004847T5 (ja)
WO (1) WO2023106324A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017170651A1 (ja) * 2016-03-31 2017-10-05 住友重機械工業株式会社 建設機械用作業管理システム及び建設機械
WO2018179402A1 (ja) * 2017-03-31 2018-10-04 日本電気株式会社 情報処理装置、情報処理方法および情報処理プログラム
WO2019012988A1 (ja) * 2017-07-14 2019-01-17 株式会社小松製作所 地形情報送信装置、施工管理システム及び地形情報送信方法
US20190114847A1 (en) * 2017-10-13 2019-04-18 Deere & Company Unmanned aerial vehicle (uav)-assisted worksite data acquisition
JP2019218766A (ja) * 2018-06-20 2019-12-26 シナノケンシ株式会社 建設工事方法及び3dレーザースキャナ
WO2020204007A1 (ja) * 2019-03-30 2020-10-08 住友建機株式会社 ショベル及び施工システム
JP2021050542A (ja) * 2019-09-25 2021-04-01 日立建機株式会社 作業機械

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019012993A1 (ja) 2017-07-14 2019-11-07 株式会社小松製作所 稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017170651A1 (ja) * 2016-03-31 2017-10-05 住友重機械工業株式会社 建設機械用作業管理システム及び建設機械
WO2018179402A1 (ja) * 2017-03-31 2018-10-04 日本電気株式会社 情報処理装置、情報処理方法および情報処理プログラム
WO2019012988A1 (ja) * 2017-07-14 2019-01-17 株式会社小松製作所 地形情報送信装置、施工管理システム及び地形情報送信方法
US20190114847A1 (en) * 2017-10-13 2019-04-18 Deere & Company Unmanned aerial vehicle (uav)-assisted worksite data acquisition
JP2019218766A (ja) * 2018-06-20 2019-12-26 シナノケンシ株式会社 建設工事方法及び3dレーザースキャナ
WO2020204007A1 (ja) * 2019-03-30 2020-10-08 住友建機株式会社 ショベル及び施工システム
JP2021050542A (ja) * 2019-09-25 2021-04-01 日立建機株式会社 作業機械

Also Published As

Publication number Publication date
WO2023106324A1 (ja) 2023-06-15
US20250046087A1 (en) 2025-02-06
JP7762056B2 (ja) 2025-10-29
KR20240093869A (ko) 2024-06-24
CN118369679A (zh) 2024-07-19
DE112022004847T5 (de) 2024-08-29

Similar Documents

Publication Publication Date Title
CN109669401B (zh) 无人飞行器辅助的工地数据获取
JP6829513B1 (ja) 位置算出方法及び情報処理システム
AU2025203439A1 (en) Construction management system, data processing device, and construction management method
CN117488891B (zh) 挖掘机作业范围设定方法、终端设备及可读存储介质
US20250327277A1 (en) Display system and display method
JP2019218766A (ja) 建設工事方法及び3dレーザースキャナ
AU2025203138A1 (en) Construction management system, data processing device, and construction management method
Sugasawa et al. Visualization of dump truck and excavator in bird’s-eye view by fisheye cameras and 3D range sensor
JP7762056B2 (ja) 表示システム及び表示方法
JP2023167539A (ja) 環境データ生成装置、環境データ生成方法、プログラム
JP7228298B1 (ja) 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ
JP7739161B2 (ja) 施工管理システム及び施工管理方法
JP7577589B2 (ja) 物体認識システム
JP6604681B1 (ja) 寸法表示システムおよび寸法表示方法
KR100910203B1 (ko) 자율이동플랫폼 장치의 지형영상 출력장치, 이를 구비하는 자율이동플랫폼 장치 및 자율이동플랫폼 장치의 지형영상 출력방법
WO2026069667A1 (ja) 情報処理方法、情報処理装置及びプログラム
JP2021044793A (ja) 寸法表示システムおよび寸法表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20241106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251017

R150 Certificate of patent or registration of utility model

Ref document number: 7762056

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150