JP2023086501A - 表示システム及び表示方法 - Google Patents
表示システム及び表示方法 Download PDFInfo
- Publication number
- JP2023086501A JP2023086501A JP2021201059A JP2021201059A JP2023086501A JP 2023086501 A JP2023086501 A JP 2023086501A JP 2021201059 A JP2021201059 A JP 2021201059A JP 2021201059 A JP2021201059 A JP 2021201059A JP 2023086501 A JP2023086501 A JP 2023086501A
- Authority
- JP
- Japan
- Prior art keywords
- display
- range
- dimensional
- detection data
- updated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional [3D] objects
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—Two-dimensional [2D] image generation
- G06T11/10—Texturing; Colouring; Generation of textures or colours
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three-dimensional [3D] modelling for computer graphics
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Marketing (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Human Resources & Organizations (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Component Parts Of Construction Machinery (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Processing (AREA)
- Digital Computer Display Output (AREA)
Abstract
Description
図1は、実施形態に係る施工管理システム1を示す模式図である。施工管理システム1は、施工現場2の施工を管理する。施工現場2において複数の作業機械20が稼働する。実施形態において、作業機械20は、油圧ショベル21、ブルドーザ22、及びクローラダンプ23を含む。施工現場2に人WMが存在する。人WMとして、施工現場2で作業する作業者が例示される。なお、人WMは、施工を管理する監督者でもよい。人WMは、見学者でもよい。
図2は、実施形態に係る飛行体8を示す図である。飛行体8には、3次元センサ11と、位置センサ14と、姿勢センサ15とが搭載される。
図3は、実施形態に係る表示システム30を示す機能ブロック図である。図3に示すように、表示システム30は、飛行体8と、施工現場2に配置される管理装置3と、サーバ4と、施工現場2の遠隔地9に配置される情報端末5とを有する。
図4は、実施形態に係る表示方法を示すフローチャートである。
図7は、実施形態に係る表示装置52の一例を示す図である。図7に示すように、表示制御部51は、3次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置52に表示させる。更新された範囲は、第2範囲に相当する。更新されない範囲は、第1範囲において第2範囲の外側の範囲に相当する。図7に示すように、表示制御部51は、更新された範囲と更新されない範囲とを異なる色で表示装置52に表示させてもよい。
図11は、実施形態に係るコンピュータシステム1000を示すブロック図である。上述のサーバ4は、コンピュータシステム1000を含む。コンピュータシステム1000は、CPU(Central Processing Unit)のようなプロセッサ1001と、ROM(Read Only Memory)のような不揮発性メモリ及びRAM(Random Access Memory)のような揮発性メモリを含むメインメモリ1002と、ストレージ1003と、入出力回路を含むインターフェース1004とを有する。上述のサーバ4の機能は、コンピュータプログラムとしてストレージ1003に記憶されている。プロセッサ1001は、コンピュータプログラムをストレージ1003から読み出してメインメモリ1002に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム1000に配信されてもよい。
以上説明したように、実施形態によれば、施工現場2の一部の状況が変化した場合、3次元データ記憶部42に記憶されている施工現場2の3次元データのうち、変化した部分だけが最新の検出データに置き換えられ、3次元データが更新される。更新された3次元データが表示装置52に表示されることにより、管理者は、施工現場2の状況をリアルタイムで確認することができる。管理者は、施工現場2の状況をリアルタイムで確認することで、施工が進捗した領域と施工を進めなければならない領域を把握することができる。また、施工現場2の第1範囲の全部が最新の検出データに置き換わるのではなく、変化した部分だけが最新の検出データである第2範囲に置き換わるので、適正な3次元データが表示装置52に表示される。第1範囲の全部を最新の検出データに置き換えようとすると、更新の負荷が多大になる。施工現場2の第1範囲のうち変化した部分だけを第2範囲として置き換えることにより、適正な3次元データが表示装置52に表示される。
上述の実施形態において、物体特定部44は、更新部43により3次元データの一部が更新された後、画像における物体を特定することとした。物体特定部44は、他の時点において画像における物体を特定してもよい。例えば、物体特定部44は、3次元データの一部の更新前に、第1範囲における3次元形状を示す3次元データと第2範囲における3次元形状を示す検出データとから、画像における物体を特定してもよい。
Claims (20)
- 作業機械が稼働する施工現場の第1範囲における3次元形状を示す3次元データを記憶する3次元データ記憶部と、
前記第1範囲の一部の第2範囲における3次元形状を示す検出データを取得する検出データ取得部と、
前記検出データに基づいて、前記3次元データの一部の範囲を更新する更新部と、
前記3次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置に表示させる表示制御部と、を備える、
表示システム。 - 前記表示制御部は、更新された範囲と更新されない範囲とを異なる色で表示させる、
請求項1に記載の表示システム。 - 前記表示制御部は、更新された範囲が強調されるように表示させる、
請求項1に記載の表示システム。 - 前記検出データは、前記施工現場の画像を示す画像データを含み、
前記画像における物体を特定する物体特定部を備え、
前記表示制御部は、特定された物体が強調されるように表示させる、
請求項1から請求項3のいずれか一項に記載の表示システム。 - 前記表示制御部は、前記物体を囲むフレームを表示させる、
請求項4に記載の表示システム。 - 前記物体は、人及び作業機械の少なくとも一方を含む、
請求項4又は請求項5に記載の表示システム。 - 前記検出データ取得部は、複数の時点のそれぞれで前記検出データを取得し、
前記更新部は、複数の時点のそれぞれで前記3次元データを更新し、
前記表示制御部は、更新された範囲を複数の時点ごとに異なる表示形態で表示させる、
請求項1から請求項6のいずれか一項に記載の表示システム。 - 前記検出データ取得部は、前記施工現場を検出する3次元センサから前記検出データを取得し、
前記3次元センサは、移動体に配置される、
請求項1から請求項7のいずれか一項に記載の表示システム。 - 前記移動体は、飛行体及び作業機械の少なくとも一方を含む、
請求項8に記載の表示システム。 - 前記検出データ取得部は、複数の3次元センサのそれぞれから前記検出データを取得し、
前記更新部は、複数の3次元センサのそれぞれの検出データに基づいて前記3次元データを更新し、
前記表示制御部は、更新された範囲を複数の3次元センサごとに異なる表示形態で表示させる、
請求項8又は請求項9に記載の表示システム。 - 作業機械が稼働する施工現場の第1範囲における3次元形状を示す3次元データを記憶することと、
前記第1範囲の一部の第2範囲における3次元形状を示す検出データを取得することと、
前記検出データに基づいて、前記3次元データの一部の範囲を更新することと、
前記3次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置に表示させることと、を含む、
表示方法。 - 更新された範囲と更新されない範囲とを異なる色で表示させる、
請求項11に記載の表示方法。 - 更新された範囲が強調されるように表示させる、
請求項11に記載の表示方法。 - 前記検出データは、前記施工現場の画像を示す画像データを含み、
前記画像における物体を特定することを含み、
特定された物体が強調されるように表示させる、
請求項11から請求項13のいずれか一項に記載の表示方法。 - 前記物体を囲むフレームを表示させる、
請求項14に記載の表示方法。 - 前記物体は、人及び作業機械の少なくとも一方を含む、
請求項14又は請求項15に記載の表示方法。 - 複数の時点のそれぞれで前記検出データを取得し、
複数の時点のそれぞれで前記3次元データを更新し、
更新された範囲を複数の時点ごとに異なる表示形態で表示させる、
請求項11から請求項16のいずれか一項に記載の表示方法。 - 前記施工現場を検出する3次元センサから前記検出データを取得し、
前記3次元センサは、移動体に配置される、
請求項11から請求項17のいずれか一項に記載の表示方法。 - 前記移動体は、飛行体及び作業機械の少なくとも一方を含む、
請求項18に記載の表示方法。 - 複数の3次元センサのそれぞれから前記検出データを取得し、
複数の3次元センサのそれぞれの検出データに基づいて前記3次元データを更新し、
更新された範囲を複数の3次元センサごとに異なる表示形態で表示させる、
請求項18又は請求項19に記載の表示方法。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021201059A JP7762056B2 (ja) | 2021-12-10 | 2021-12-10 | 表示システム及び表示方法 |
| PCT/JP2022/045054 WO2023106324A1 (ja) | 2021-12-10 | 2022-12-07 | 表示システム及び表示方法 |
| DE112022004847.6T DE112022004847T5 (de) | 2021-12-10 | 2022-12-07 | Anzeigesystem und anzeigeverfahren |
| KR1020247017043A KR20240093869A (ko) | 2021-12-10 | 2022-12-07 | 표시 시스템 및 표시 방법 |
| US18/715,769 US20250046087A1 (en) | 2021-12-10 | 2022-12-07 | Display system and display method |
| CN202280081490.5A CN118369679A (zh) | 2021-12-10 | 2022-12-07 | 显示系统及显示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021201059A JP7762056B2 (ja) | 2021-12-10 | 2021-12-10 | 表示システム及び表示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023086501A true JP2023086501A (ja) | 2023-06-22 |
| JP7762056B2 JP7762056B2 (ja) | 2025-10-29 |
Family
ID=86730529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021201059A Active JP7762056B2 (ja) | 2021-12-10 | 2021-12-10 | 表示システム及び表示方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20250046087A1 (ja) |
| JP (1) | JP7762056B2 (ja) |
| KR (1) | KR20240093869A (ja) |
| CN (1) | CN118369679A (ja) |
| DE (1) | DE112022004847T5 (ja) |
| WO (1) | WO2023106324A1 (ja) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017170651A1 (ja) * | 2016-03-31 | 2017-10-05 | 住友重機械工業株式会社 | 建設機械用作業管理システム及び建設機械 |
| WO2018179402A1 (ja) * | 2017-03-31 | 2018-10-04 | 日本電気株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
| WO2019012988A1 (ja) * | 2017-07-14 | 2019-01-17 | 株式会社小松製作所 | 地形情報送信装置、施工管理システム及び地形情報送信方法 |
| US20190114847A1 (en) * | 2017-10-13 | 2019-04-18 | Deere & Company | Unmanned aerial vehicle (uav)-assisted worksite data acquisition |
| JP2019218766A (ja) * | 2018-06-20 | 2019-12-26 | シナノケンシ株式会社 | 建設工事方法及び3dレーザースキャナ |
| WO2020204007A1 (ja) * | 2019-03-30 | 2020-10-08 | 住友建機株式会社 | ショベル及び施工システム |
| JP2021050542A (ja) * | 2019-09-25 | 2021-04-01 | 日立建機株式会社 | 作業機械 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2019012993A1 (ja) | 2017-07-14 | 2019-11-07 | 株式会社小松製作所 | 稼働情報送信装置、施工管理システム、稼働情報送信方法及びプログラム |
-
2021
- 2021-12-10 JP JP2021201059A patent/JP7762056B2/ja active Active
-
2022
- 2022-12-07 DE DE112022004847.6T patent/DE112022004847T5/de active Pending
- 2022-12-07 CN CN202280081490.5A patent/CN118369679A/zh active Pending
- 2022-12-07 WO PCT/JP2022/045054 patent/WO2023106324A1/ja not_active Ceased
- 2022-12-07 US US18/715,769 patent/US20250046087A1/en active Pending
- 2022-12-07 KR KR1020247017043A patent/KR20240093869A/ko active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017170651A1 (ja) * | 2016-03-31 | 2017-10-05 | 住友重機械工業株式会社 | 建設機械用作業管理システム及び建設機械 |
| WO2018179402A1 (ja) * | 2017-03-31 | 2018-10-04 | 日本電気株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
| WO2019012988A1 (ja) * | 2017-07-14 | 2019-01-17 | 株式会社小松製作所 | 地形情報送信装置、施工管理システム及び地形情報送信方法 |
| US20190114847A1 (en) * | 2017-10-13 | 2019-04-18 | Deere & Company | Unmanned aerial vehicle (uav)-assisted worksite data acquisition |
| JP2019218766A (ja) * | 2018-06-20 | 2019-12-26 | シナノケンシ株式会社 | 建設工事方法及び3dレーザースキャナ |
| WO2020204007A1 (ja) * | 2019-03-30 | 2020-10-08 | 住友建機株式会社 | ショベル及び施工システム |
| JP2021050542A (ja) * | 2019-09-25 | 2021-04-01 | 日立建機株式会社 | 作業機械 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023106324A1 (ja) | 2023-06-15 |
| US20250046087A1 (en) | 2025-02-06 |
| JP7762056B2 (ja) | 2025-10-29 |
| KR20240093869A (ko) | 2024-06-24 |
| CN118369679A (zh) | 2024-07-19 |
| DE112022004847T5 (de) | 2024-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109669401B (zh) | 无人飞行器辅助的工地数据获取 | |
| JP6829513B1 (ja) | 位置算出方法及び情報処理システム | |
| AU2025203439A1 (en) | Construction management system, data processing device, and construction management method | |
| CN117488891B (zh) | 挖掘机作业范围设定方法、终端设备及可读存储介质 | |
| US20250327277A1 (en) | Display system and display method | |
| JP2019218766A (ja) | 建設工事方法及び3dレーザースキャナ | |
| AU2025203138A1 (en) | Construction management system, data processing device, and construction management method | |
| Sugasawa et al. | Visualization of dump truck and excavator in bird’s-eye view by fisheye cameras and 3D range sensor | |
| JP7762056B2 (ja) | 表示システム及び表示方法 | |
| JP2023167539A (ja) | 環境データ生成装置、環境データ生成方法、プログラム | |
| JP7228298B1 (ja) | 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ | |
| JP7739161B2 (ja) | 施工管理システム及び施工管理方法 | |
| JP7577589B2 (ja) | 物体認識システム | |
| JP6604681B1 (ja) | 寸法表示システムおよび寸法表示方法 | |
| KR100910203B1 (ko) | 자율이동플랫폼 장치의 지형영상 출력장치, 이를 구비하는 자율이동플랫폼 장치 및 자율이동플랫폼 장치의 지형영상 출력방법 | |
| WO2026069667A1 (ja) | 情報処理方法、情報処理装置及びプログラム | |
| JP2021044793A (ja) | 寸法表示システムおよび寸法表示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20241106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250617 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250808 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250924 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20251017 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7762056 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
