EP4136567A1 - Verfahren und anordnung zur digitalen erfassung von räumlichkeiten eines gebäudes - Google Patents

Verfahren und anordnung zur digitalen erfassung von räumlichkeiten eines gebäudes

Info

Publication number
EP4136567A1
EP4136567A1 EP21721851.0A EP21721851A EP4136567A1 EP 4136567 A1 EP4136567 A1 EP 4136567A1 EP 21721851 A EP21721851 A EP 21721851A EP 4136567 A1 EP4136567 A1 EP 4136567A1
Authority
EP
European Patent Office
Prior art keywords
scanning device
building
obi
digital
mgi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21721851.0A
Other languages
English (en)
French (fr)
Inventor
Christian Frey
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Schweiz AG
Original Assignee
Siemens Schweiz AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Schweiz AG filed Critical Siemens Schweiz AG
Publication of EP4136567A1 publication Critical patent/EP4136567A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition

Definitions

  • the invention relates to a method and an arrangement for digitally recording rooms in a building, a corresponding room in the building being scanned by a scanning device and recorded in a digital point cloud and / or an image.
  • a digital building model enables an overarching exchange of information between the roles (stakeholders) involved in the creation and operation (i.e. management) of a building.
  • the components and elements of a building are usually mapped in IFC (Industry Foundation Classes) notation in the digital building model.
  • Scanning devices or scanning devices are predominantly used for digital recording of the rooms / area of a building Create a point cloud and use it to create an orientation plan and even a floor plan.
  • the scanners mostly work on the basis of laser, infrared or acoustic sensors.
  • the scanning equipment can be used statically or mobile. The latter are then portable or mobile to move through the building.
  • a so-called indoor viewer increases the The importance of 3D laser scanning as it makes scan data visible and usable for everyone involved in the building.
  • An indoor viewer can be used as a collaborative platform for the display and exchange of building information or it can be integrated into existing software platforms to enable a new dimension of spatial understanding. Users can explore scanned rooms as if they were on site by moving around in a highly detailed, realistic digital twin and changing floors.
  • Point clouds are usually limited to professionals who work with floor plans and digital building models (BIM models; BIM stands for Building Information Model).
  • BIM models BIM stands for Building Information Model.
  • An indoor viewer combines point clouds with highly detailed, urgent 360 ° images to create a digital twin with which any interested building observer can explore and interact with the scanned rooms just as he would in real life.
  • An indoor viewer usually has an easy-to-use, scalable content management system for adding geotagged information (i.e. information is assigned location information) and media for 3D scans. Users can right-click anywhere on the screen to add and display this information as points of interest or points of interest (POI).
  • a corresponding search function in the indoor viewer makes it easier for a user to find the desired information in the 2D plan or in the 3D scan.
  • Finding and annotating objects that have been digitally captured by a scanning device has so far only been a laborious process with manual visual identification. It is therefore very time-consuming and error-prone, since digitally captured objects are in the Point cloud or can easily be overlooked in a 3D scan.
  • the object is achieved by a method for digital recording of rooms (e.g. rooms, corridors) of a building, whereby a corresponding room in the building is scanned (measured) and in a digital point cloud and by a scanning device (e.g. NavVis scanner) / or by means of an image recording (the image recording can take place, for example, by a digital camera), with object recognition (advantageously also an object identification) taking place with means of artificial intelligence based on the digital point cloud and / or the image recording Object recognition the digital point cloud and / or the image recording is mapped in a digital building model, whereby when recording defined objects (e.g. point of interest, POI, sights) in the building, the respective defined object (e.g.
  • the respective defined object e.g.
  • a fire alarm, an actuator, or a sensor is detected in a dedicated manner by the scanning device (for example by a camera and / or point cloud), and un d whereby attributes (eg location information, installation information, type information, product information) are assigned to the respective defined object by a voice input of an operator of the scanning device.
  • attributes eg location information, installation information, type information, product information
  • Objects are thus enriched with additional meta information (eg tags, attributes) through audio input by an operator during the building scan.
  • the image content is annotated by the scan person using suitable speech recognition.
  • the speech recognition is advantageously a trained speech recognition based on mechanisms of machine learning.
  • the dedicated detection of a defined or previously specified object e.g.
  • a fire alarm, an actuator, or a sensor by the scanning device can be done, for example, by a recording device set up for this purpose (e.g. by zooming the object through a camera attached to the scanning device).
  • the object recognition advantageously also includes object identification.
  • the image recording can take place, for example, in the form of a digital image recording, using appropriately suitable digital cameras. This can be done by individual recordings (or a sequence of individual recordings) and / or recording of one or more video sequences.
  • the image recording advantageously includes image recognition for the recognition or identification of objects on the image recording. Algorithms for pattern recognition and / or pattern classification and / or pattern analysis are advantageously used for image recognition. Artificial intelligence methods are also advantageously used for image recognition.
  • Verbal or linguistic annotation is particularly advantageous when capturing or recording round objects.
  • a defined object eg point of interest, POI
  • POI point of interest
  • the user has access to the inventory catalog and / or the inventory plan.
  • the inventory catalog and / or the inventory plan is advantageously displayed on a display of the scanning device.
  • a first advantageous embodiment of the invention is that the voice input takes place at the scan location of the respective defined object in the building.
  • the position of the scanning device can automatically be used as annotation for the defined object.
  • a further advantageous embodiment of the invention is that the voice input at the scan location of the respective defi ned object is made by a user, whereby a user receives the respective attributes for a defined object on an output device (e.g. display of a mobile communication terminal or display on the scanning device ) to be provided.
  • an output device e.g. display of a mobile communication terminal or display on the scanning device
  • a user can add the annotations to the corresponding object by reading (at a suitable volume) the information from the display.
  • the information on the display is advantageously provided by an alternative source (e.g. an existing building plan (e.g. as a PDF document).
  • a further advantageous embodiment of the invention is that the respective attributes for a defined object are provided on the output device (eg display) as a function of the location of the scanning device.
  • the operator of the scanning device must the Do not look for corresponding information on an object in an already existing building plan, because the information to be annotated is provided as a function of the position of the scanning device.
  • An object that has been annotated is advantageously acknowledged by the operator. This ensures that no object is overlooked.
  • a further advantageous embodiment of the invention is that for object recognition (and advantageously also for object identification) of defined objects, the attributes assigned to the respective defined object by the voice input are used. This enables an increase in the confidence of the object recognition also for the object identification.
  • the confidence can e.g. be determined by using precision recall diagrams (PR diagrams).
  • a further advantageous embodiment of the invention is that a speaker-independent speech recognition (Siri, etc .; optimization via deep learning) is used for the recognition of the speech input. Speaker-independent speech recognition does not require a previous training phase.
  • a further advantageous embodiment of the invention lies in the fact that the scanning device sends a message (optically and / or acoustically) to the user of the Scanning device outputs. This prevents objects from being forgotten or overlooked.
  • Another advantageous embodiment of the invention resides in a scanning device (scanning device) for carrying out the inventive method.
  • An already existing scanning device or scanning device can easily be upgraded in order to enable the method according to the invention.
  • an arrangement for the digital recording of rooms (rooms, corridors) in a building comprising: a scanning device (e.g. NavVis scanner) for scanning and / or recording a room (room, corridor) in the building, wherein the scanning device is set up to generate a digital point cloud and / or a digital image recording based on the data obtained by the scanning and / or recording; a processing device which is set up to undertake an object recognition (advantageously also an object identification) based on the digital point cloud and / or the image acquisition with means of artificial intelligence, wherein the processing device is further set up to map the digital point cloud and / or the image recording in a digital building model (BIM, Building Information Model, digital twin); wherein the scanning device comprises a speech recognition device (e.g.
  • a speech recognition device e.g.
  • the microphone for capturing speech input to defined objects in the room, whereby attributes (e.g. location information, installation information, manufacturer information, product information) are assigned to a respective defined object through a speech input the generation of the point cloud and / or the image acquisition can be used.
  • attributes e.g. location information, installation information, manufacturer information, product information
  • the point cloud and / or the digital image recording is stored in a suitable storage medium.
  • the storage medium can be present in the scanning device itself.
  • the storage medium can, however, also be implemented in a cloud infrastructure with a suitable data connection (eg radio connection, IP connection) to the scanning device.
  • a suitable data connection eg radio connection, IP connection
  • the scanning advantageously also includes a measurement of the spatiality.
  • the image recording can take place, for example, in the form of a digital image recording by means of correspondingly suitable digital cameras.
  • the image recording advantageously includes image recognition for the recognition or identification of objects on the image recording.
  • Algorithms for pattern recognition and / or pattern classification and / or pattern analysis are advantageously used for image recognition.
  • Artificial intelligence methods are also advantageously used for image recognition.
  • a further advantageous embodiment of the invention is that when defining objects in the building are detected, the respective defined object is detected in a dedicated manner by the scanning device (e.g. by a camera), and dedicated attributes can be assigned to the respective defined object through voice input.
  • the dedicated detection of a defined or previously determined object (e.g. a fire alarm, an actuator, or a sensor) by the scanning device can, for example, be done by a recording device set up for this purpose (e.g. by zooming the object by a camera attached to the scanning device).
  • a further advantageous embodiment of the invention is that the arrangement comprises a position determination system (e.g. IPS, indoor GPS) for recognizing the location of the scanning device in the building, with the respective attributes for a defined object on an output device (e.g. display of a mobile Communication terminal or display on the scanning device) depending on the location of the scanning device can be provided.
  • a position determination system e.g. IPS, indoor GPS
  • an output device e.g. display of a mobile Communication terminal or display on the scanning device
  • the operator of the Scanning device do not search for the corresponding information on an object in an existing building plan, because the information to be annotated is provided as a function of the position of the scanning device.
  • An object that has been annotated is advantageously acknowledged by the operator. This ensures that no object is overlooked.
  • a further advantageous embodiment of the invention is that the voice input takes place at the location of the respective defi ned object by a user, the user being given the respective attributes for a defined object on an output device (e.g. display of a mobile communication terminal or display on the scanning device ) are available.
  • an output device e.g. display of a mobile communication terminal or display on the scanning device
  • a user can add the annotations to the corresponding object by reading (at a suitable volume) the information from the display.
  • an alternative source for the information on the display e.g. an existing building plan (e.g. as a PDF document)
  • the voice input is advantageously carried out by the user at the scan location of the respective defined object
  • a further advantageous embodiment of the invention is that the scanning device outputs a message (optically and / or acoustically) for the user of the scanning device upon detection of a defined object in the vicinity. This prevents objects from being forgotten or overlooked.
  • the processing device is integrated in the scanning device.
  • the processing device is a processor or computer set up for this purpose with corresponding input / output means, memory, and communication means.
  • the processing device is integrated in a cloud infrastructure.
  • the scanning device is connected to the processing device (e.g. computer) by suitable means of communication (e.g. radio, WLAN).
  • suitable means of communication e.g. radio, WLAN.
  • the scanning device and the processing device advantageously comprise suitable storage means (e.g. database, flash memory).
  • FIG. 1 shows a first exemplary arrangement for the digital acquisition of rooms in a building
  • FIG. 3 shows an exemplary arrangement for a speech recognition device
  • FIG. 4 shows an exemplary flow chart for a method for digitally recording rooms in a building.
  • Points of interest are points defined in the 3D coordinate system of the indoor viewer instance with additional information and have a WGS 84 coordinate (GPS) for positioning. All POIs have one Type, a type group and a position. The content of a POI description can range from simple text to embedded iFrames. Adding custom data to POIs is useful for connecting to applications based on indoor viewers.
  • the POIs are mostly assigned to objects in the 3D scan and which can be subsequently identified by hand by a person in the indoor viewer and assigned using an editor.
  • Object recognition is a computer vision technique used to identify objects in images or videos. Object recognition is an important output of deep learning and machine learning algorithms. When people look at a photo or video, we can easily see people, objects, scenes and visual details. The aim is to teach a computer to do what is natural to humans: to understand what an image contains.
  • the methods for object identification include 3D models, component identification, edge detection and analysis of appearances from different angles.
  • Object recognition takes place at the convergence points of robotics, machine vision, neural networks and AI (artificial intelligence).
  • Deep learning techniques have become a popular method for object recognition.
  • Deep learning models like Conventional Neural Networks (CNNs) are used to automatically learn the inherent characteristics of an object in order to identify that object.
  • CNNs Conventional Neural Networks
  • a CNN can learn to tell differences between cats and dogs by analyzing thousands of training images and the characteristics learned that make cats and dogs different.
  • Training a model from scratch To train a deep network from scratch, collect a very large, labeled data set and design a network architecture that learns the functions and creates the model. The results can be impressive, but this approach requires a large amount of training data and you need to set up the shifts and weights on CNN.
  • Deep learning offers a high level of accuracy, but requires a large amount of data to make accurate predictions. Deep Learning for Image-Based Localization
  • Machine learning techniques are also popular for object recognition and offer different approaches than deep learning. Common examples of machine learning techniques are:
  • a feature extraction algorithm can extract edge or corner features that can be used to distinguish classes in your data.
  • MATLAB automates the provision of the models on company systems, clusters, clouds and embedded devices.
  • FIG. 1 shows a first exemplary arrangement for digitally recording rooms of a building or part of a building RI.
  • the exemplary arrangement according to FIG. 1 for the digital recording of rooms RI (e.g. room, corridor) of a building comprises: a mobile scanning device MGI (e.g. NavVis scanner) for scanning and / or recording (e.g.
  • MGI mobile scanning device
  • MGI e.g. NavVis scanner
  • the scanning device MGI is set up to generate a digital point cloud PW1 and / or a digital image based on the data obtained by the scanning and / or the recording; a processing device S, which is set up to carry out an object recognition with means of artificial intelligence based on the digital point cloud PW1 and / or the digi tal image, wherein the processing device S is further set up to map the digital point cloud PW1 and / or the digital image into a digital building model BIM (BIM, Building Information Model, digital twin); characterized in that the scanning device MGI comprises a speech recognition device SPEV1 (e.g.
  • the point cloud PW1 is, for example, a 3D point cloud.
  • OBI attributes e.g. location information, installation information, manufacturer information, Product information
  • the point cloud PW1 is, for example, a 3D point cloud.
  • the scanning device MGI comprises a suitable recording device AVI (e.g. camera, lidar (light detection and running), ladar (laser detection and ranging), laser scanning, etc.) for scanning the space RI.
  • AVI e.g. camera, lidar (light detection and running), ladar (laser detection and ranging), laser scanning, etc.
  • the scanning advantageously also includes a measurement of the spatiality RI.
  • an object identification takes place together with the object identification or in addition to the object identification.
  • a suitable file format or graphic format is used for the digital image, e.g. for raster (e.g. .ami, .apx,
  • Graphic formats can be, for example, JPG; Exif, IPTC, or XMP. The graphic formats are advantageously compressed accordingly.
  • the MGI scanning device e.g. NavVis scanner
  • scans (measures) a corresponding room in the building records it in a digital point cloud and / or a digital image and advantageously processes it further (e.g. mapping in the BIM).
  • a defined object is, for example, an object that is already known in the room.
  • an inventory object located in the room i.e. the defined object is an inventory object in the room.
  • the previously known object or the inventory object are advantageously listed in an inventory catalog or an inventory plan for the space.
  • the user has a look at the inventory catalog and / or the inventory plan.
  • the inventory catalog and / or the inventory plan is advantageously displayed on a display of the scanning device.
  • the point cloud is stored in a suitable storage medium DB (e.g. database, flash memory).
  • the storage medium can be present in a data processing unit (e.g. processor, computer) of the scanning device MGI itself.
  • the storage medium can, however, also be implemented in a cloud infrastructure C, with a suitable data connection KV1 (e.g. radio connection, IP connection) to the scanning device MGI.
  • KV1 e.g. radio connection, IP connection
  • the scanning device can also be a suitably set up mobile communication terminal MG2 (for example smartphone).
  • the mobile communication terminal MG2 is equipped with a suitable recording device AV2 (e.g. camera) fitted.
  • the point cloud PW2 generated by the recording device AV2 can be forwarded from the scanning device MG2 (e.g. smartphone, tablet computer) to the processing device S (appropriately configured server) via a suitable communication connection KV2 (e.g. radio connection, IP connection) , for mapping the digital point cloud PW2 in a digital building model BIM (BIM, Building Information Model, digital twin).
  • a suitable communication connection KV2 e.g. radio connection, IP connection
  • the server S and the BIM database DB are advantageously implemented in a cloud infrastructure C.
  • the scanning device MGI it is advantageous to have a mobile, drivable device operated by a user PI.
  • the scanning device MG2 is a correspondingly directed mobile, portable device (e.g. smartphone) which is operated by a user PI.
  • the voice annotations for an object OBI are carried out by the operator PI of the corresponding scanning devices MGI, MG2 or by another person.
  • the scanning device can also be a drone set up accordingly.
  • the respective defined object OBI is advantageously detected in a dedicated manner by the scanning device MGI, MG2.
  • a voice input SPEV1 by the operator PI assigns dedicated attributes (e.g. type properties, installation properties, relationships to the building infrastructure) to the respective defined object OBI.
  • the exemplary arrangement according to FIG. 1 comprises a position determination system IPS (e.g. indoor positioning system; I beacons) for recognizing the location of the scanning device MGI, MG2 in the building RI, where the respective attributes for a defined object OBI can be provided on an output device (eg display of the scanning device MGI, MG2) as a function of the location of the scanning device MGI, MG2.
  • IPS e.g. indoor positioning system
  • I beacons for recognizing the location of the scanning device MGI, MG2 in the building RI, where the respective attributes for a defined object OBI can be provided on an output device (eg display of the scanning device MGI, MG2) as a function of the location of the scanning device MGI, MG2.
  • the voice input is advantageously carried out at the location of the respective defined object OBI by a user PI, with the user PI being able to provide the respective attributes for a defined object OBI on an output device of the scanning device MGI, MG2. This ensures, among other things, that all known attributes are assigned to the OBI object.
  • the attributes are advantageously provided by an alternative or further source.
  • the scanning device MGI, MG2 advantageously outputs a message (optically and / or acoustically) for the user PI of the scanning device MGI, MG2 when it detects a defined object OBI in the vicinity. This ensures that no defined object (pole) OBI is forgotten when assigning attributes
  • the processing device is advantageously integrated in the scanning device.
  • the processing device S can, however, also be integrated in a cloud infrastructure C.
  • the processing device S can be integrated in a cloud infrastructure C, for example, as a BIM server with access to a BIM database DB.
  • the point cloud PW1, PW2 generated by the scanning device (scanning device) MGI, MG2 is transmitted from the scanning device MGI, MG2 to the BIM server S via suitable communication links KV1, KV2. With the communication connections KV1, KV2 it is, for example, radio connections, WLAN, IP network connection).
  • FIG. 2 shows a second exemplary arrangement for digita len detection of rooms of a building or building part R2.
  • the exemplary arrangement according to FIG. 2 for the digital detection of rooms R2 (eg room, corridor) of a building comprises: a mobile scanning device MG3 (eg NavVis scanner) for scanning a room R2 in the building, the scanning device MG3 being set up a digital point cloud PW3 is to be generated based on the data obtained by the scanning; a processing device S, which is set up, based on the digital point cloud PW3, to carry out an object recognition with means of artificial intelligence, where the processing device S is further set up to map the digital point cloud PW3 into a digital building model BIM (BIM, Building Information Model) , digital twin); characterized in that the scanning device MG3 comprises a speech recognition device SPEV2 (e.g.
  • SPEV2 e.g.
  • the point cloud PW3 is, for example, a 3D point cloud.
  • the point cloud PW3 is transmitted from the scanning device MG3 to the processing device S via a suitable communication link KV3 (for example radio). The transmission is advantageously carried out in real-time.
  • the point cloud PW3 can be accessed via the appropriate Communication link KV3 (for example radio) from the scanning device MG3 to the processing device S, but also transmitted by a batch run, for example triggered by the operator P2, or daily at a specific point in time.
  • the processing device S eg BIM server
  • the scanning device MG3 comprises a suitable recording device AV3 (e.g. camera, lidar (light detection and running), ladar (laser detection and ranging), laser scanning, etc.) for scanning the space R2.
  • AV3 e.g. camera, lidar (light detection and running), ladar (laser detection and ranging), laser scanning, etc.
  • the scanning advantageously also includes a measurement of the spatiality R2.
  • an object identification takes place together with the object identification or in addition to the object identification.
  • the defined object OB2 (e.g. point of interest, pole) is assigned the attributes A by operator P2 through a voice input SPRE.
  • the defined object OB2 is a fire detector.
  • the fire detector OB2 is recorded in a dedicated manner by the recording device AV3 of the scanning device MG3 (e.g. by a camera that is located directly or almost directly below the fire detector OB2).
  • the camera AV3 is advantageously located in a plumb line from the object OB2 to the floor or in a range of 2 meters, in particular 1 meter, around the plumb axis when the object OB2 is recorded (or fixed).
  • Operator P2 assigns the following exemplary attributes A to object OB2 (fire alarm) by means of a voice input SPRE when scanning room R2: Smoke alarm, Sinteso,
  • the fire detector is to be recorded by camera 0, for example.
  • these attributes are assigned to the fire detector OB2 and These attributes are also assigned to the object OB2 in the BIM digital building model.
  • the attribute A is assigned to the object OB2 as additional meta information when the building is scanned.
  • a further advantageous embodiment of the invention is that a speaker-independent speech recognition (Siri, etc .; advantageously with optimization via deep learning and / or machine learning algorithms) is used for the recognition of the voice input SPRE. Speaker-independent speech recognition does not require a previous training phase.
  • deep learning methods e.g. neural networks
  • speech recognition lie in the implicit learning of representations of the input data that lead to an optimal result (based on the number of available examples).
  • deep learning methods e.g. neural networks
  • deep learning has contributed greatly to a significant number of machine learning applications, but regardless of its innovative strength and obvious practical applications, this type of machine learning is still a considerable effort.
  • the object to be identified e.g. smoke detector
  • the object to be recognized is approached and the description is made via the voice input at the location: e.g. "Camera 0, Sinteso FDOOT241-9 smoke detector". "Camera 0" is the camera in the scanner pointing upwards.
  • a microphone release function push-to-talk or voice activation triggers the voice recording for the scan.
  • the object to be recognized is advantageously approached as close as possible, with the possibility at a distance at which the object can be recorded essentially selectively (advantageously alone in a recording). If the object to be recorded is on the ceiling (as is common with fire alarms, for example), the recording is advantageously carried out essentially in a plumb line from the object downwards.
  • the object recognition can thus “concentrate” on the object described by speech recognition and assigns the description from the speech recognition to the object recognized in camera 0.
  • a “speaker-independent” speech recognition is advantageously used.
  • a characteristic of the "speaker-independent" speech recognition is the property that the user can start speech recognition immediately without a previous training phase.
  • the vocabulary is limited to a few thousand words. But that is completely sufficient for the objects in the building.
  • a filtered assignment of the object selection can also be made.
  • fire alarms in office buildings are usually mounted on the ceiling, so they can best be seen in camera 0.
  • a light switch for example, the area on the wall, e.g. at a height of 1 m to 1.4 m next to a passage, is analyzed, which is best captured by the cameras 1 or 3 on the side.
  • the WGS 84 coordinate (GPS) for determining the position can also be determined, whereby the object can be annotated in the 2D / 3D plan. A corresponding symbol can also be placed in a 2D plan.
  • placement rules can reduce the error rate or report incorrect placements.
  • a Fire detectors have a minimum distance from the room delimitation (wall, window).
  • FIG. 3 shows an exemplary arrangement for a speech recognition device SPEV3.
  • Analog language AS of a user is recorded by a preprocessing unit W E and transformed into corresponding reference vectors RV.
  • the reference vectors RV are forwarded to a decoder D of the speech recognition unit SPEE.
  • Decoder D creates a "list of words", i.e. a word list WL, based on an acoustic model AM, a dictionary WB, and a language model SM.
  • Speech recognition is a method of speech analysis in which a computer-based system with automatic speech recognition analyzes, classifies and saves the entered speech information.
  • the time-consuming learning of interesting objects contained in the scan (training data) can be reduced since the automatic speech recognition contains the exact description.
  • the system can thus train and optimize itself by including software for recognizing and processing naturally spoken language.
  • FIG. 4 shows an exemplary flow chart for a method for digitally recording rooms (e.g. rooms, corridors) in a building
  • VS1 whereby a corresponding room in the building is scanned (and / or measured) by a scanning device (e.g. NavVis scanner) and recorded in a digital point cloud,
  • a scanning device e.g. NavVis scanner
  • VS3 where after the object has been recognized, the digital point cloud is mapped into a digital building model, (VS4) where, when recording defined objects (e.g. point of interest, POI, sights) in the building, the respective defined object (e.g. a fire alarm) Ak tor, or a sensor) is dedicated by the scanning device (e.g. by camera and / or point cloud), and attributes (e.g. location information, installation information, type information, product information) to the respective defined object through a voice input of an operator of the scanning device ) be assigned.
  • defined objects e.g. point of interest, POI, sights
  • the respective defined object e.g. a fire alarm
  • attributes e.g. location information, installation information, type information, product information
  • Objects are thus enriched with additional meta information (eg tags, attributes) through audio input by an operator during the building scan.
  • the image content is advantageously annotated by the scan person using suitable speech recognition.
  • the speech recognition is advantageously a trained speech recognition based on mechanisms of machine learning.
  • the dedicated detection of a defined or previously specified object (e.g. a fire alarm, an actuator, or a sensor) by the scanning device can for example be done by a recording device set up for this purpose (e.g. by zooming the object by a camera attached to the scanning device).
  • Object recognition also includes object identification.
  • a defined object is, for example, an object that is already known in the room.
  • an inventory object located in the room i.e. the defined object is an inventory object in the room.
  • the previously known object or the inventory object are advantageously listed in an inventory catalog or an inventory plan for the space.
  • the user has a look at the inventory catalog and / or the inventory plan.
  • the inventory catalog and / or the inventory plan is advantageously displayed on a display of the scanning device.
  • the scanning device eg NavVis scanner
  • scans measures (measures) a corresponding room in the building and records it in a digital point cloud and / or through image recognition (image recognition can be carried out, for example, by a digital camera) further processed with advantage (e.g. mapping in the BIM).
  • the voice input is advantageously carried out at the scan location of the respective defined object in the building.
  • the voice input at the scan location of the respective defined object is advantageously carried out by a user, the respective attributes for a defined object being made available to a user on an output device.
  • the respective attributes for a defined object are advantageously provided on the output device (eg display) as a function of the location of the scanning device.
  • the attributes assigned to the respective defined object by the voice input are advantageously used for object recognition of defined objects.
  • Speaker-independent speech recognition is advantageously used for recognizing the speech input.
  • the scanning device advantageously outputs a message (optically and / or acoustically) for the user of the scanning device.
  • the message is output by appropriate output means on the scanning device, e.g. loudspeaker, display).
  • the method according to the invention for digitally recording rooms (e.g. rooms, corridors) in a building can be implemented using a correspondingly set up scanning device.
  • a defined object If a defined object is recognized in the scan, it can automatically be annotated at the recognized position in the indoor viewer.
  • the position of the object can be referenced in the digital building model (BIM, digital twin).
  • BIM digital building model
  • the WGS84 position or the room position (distance from wall, ceiling, floor) can be used for this.
  • the scan provides very precise measurement results here.
  • the 360 ° images are not just digital images.
  • the pixels in these images are enriched by laser scans (cloud of points), which makes it possible to interact with the scanned areas as if you were there, including precise point-to-point measurements.
  • Point clouds have proven to be a very useful representation of an indoor scene for solving basic computer vision problems. It takes advantage of the color image that Provides information about the appearance of an object, but also the depth image, which is immune to fluctuations in color, lighting, angle of rotation and scaling.
  • the automatic object recognition is very advanced nowadays, which promises a reliable use.
  • Stored rules can increase the quality of the object recognition.
  • a message can be output if, according to a positioning rule, an object (e.g. fire alarm) should be present, but it is not recognized in the scan area.
  • an object e.g. fire alarm
  • the objects clearly identified by the automatic speech recognition are advantageously stored as training data in a database, which are advantageously used successively by the corresponding deep learning processes.
  • the method according to the invention offers efficient acquisition of data for the provision of so-called “digital twins” (digital building models). Training data for machine learning or deep learning are generated “on the scan job”. This means cost savings, quality improvement, and also a time / scan optimization.
  • Method and arrangement for the digital acquisition of rooms in a building with a scanning device corresponding space in the building is scanned and recorded in a digital point cloud, based on the digital point cloud an object recognition takes place with means of artificial intelligence, whereby after the object recognition, the digital point cloud is mapped in a digital building model, with the acquisition of defined objects in the building, the respective defined object is recorded in a dedicated manner by the scanning device, and attributes are assigned to the respective defined object by means of a voice input and / or a voice message.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Verfahren und Anordnung zur digitalen Erfassung von Räumlichkeiten eines Gebäudes, wobei durch eine Scan-Vorrichtung eine entsprechende Räumlichkeit im Gebäude abgetastet und in einer digitalen Punktewolke und/oder durch eine Bildaufnahme erfasst wird, wobei basierend auf der digitalen Punktewolke und/oder der Bildaufnahme eine Objekterkennung mit Mitteln der künstlichen Intelligenz erfolgt, wobei nach erfolgter Objekterkennung die digitale Punktewolke und/oder die Bildaufnahme in ein digitales Gebäudemodell abgebildet wird, wobei bei der Erfassung von definierten Objekten im Gebäude, das jeweilige definierte Objekt von der Scanvorrichtung dediziert erfasst wird, und wobei durch eine Spracheingabe dem jeweiligen definierten Objekt Attribute zugeordnet werden.

Description

Verfahren und Anordnung zur digitalen Erfassung von Räumlich keiten eines Gebäudes
Die Erfindung betrifft ein Verfahren und eine Anordnung zum digitalen Erfassen von Räumlichkeiten eines Gebäudes, wobei durch eine Scan-Vorrichtung eine entsprechende Räumlichkeit im Gebäude abgetastet und in einer digitalen Punktewolke und/oder einer Bildaufnahme erfasst wird.
Immer mehr Ingenieurbüros und Architekten nutzen ein digitales Gebäudemodell (BIM, Building Information Model, digitaler Zwilling). Ein digitales Gebäudemodell ermöglicht insbesondere einen übergreifenden Informationsaustausch zwischen den betei ligten Rollen (stakeholder) bei der Erstellung und beim Be trieb (d.h. der Bewirtschaftung) eines Gebäudes. Die Bauteile und Elemente eines Gebäudes werden dabei üblicherweise in IFC- Notation (Industry Foundation Classes) im digitalen Gebäudemo dell abgebildet.
Zur digitalen Erfassung der Räume/Fläche eines Gebäudes werden vorwiegend Scangerätschaften oder Scanvorrichtungen (z.B. Na- vVis-Scanner, bzw. Scan-Vorrichtungen von der Firma NavVis) eingesetzt welche an Hand der Reflektionen von z.B. Wänden, Türen, Fenster, Maschinen, Mobiliar etc. eine Punktewolke er zeugen und daraus einen Orientierungsplan und sogar einen Grundriss erstellen. Die Scanner arbeiten meist auf Basis La ser, Infrarot oder akustischer Sensorik. Die Scangerätschaften können statisch oder auch mobil verwendet werden. Letztere sind dann tragbar oder fahrbar durch das Gebäude zu bewegen.
Ein sog. Indoor-Viewer (Darstellungsgerät oder Software-Werk zeug zur Darstellung digital erfasster Räume) erhöht die Bedeutung des 3D-Laserscannings, indem es Scandaten für alle Beteiligten im Gebäude sichtbar und nutzbar macht. Ein Indoor- Viewer kann als kollaborative Plattform für die Anzeige und den Austausch von Gebäudeinformationen genutzt werden oder in bestehende Softwareplattformen integriert werden, um eine neue Dimension des räumlichen Verständnisses zu ermöglichen. Benut zer können gescannte Räume wie vor Ort erkunden, indem sie sich in einem hochdetaillierten, realistischen digitalen Zwil ling bewegen und die auch Stockwerke wechseln.
Punktwolken sind in der Regel auf Fachleute beschränkt, die mit Grundrissen und digitalen Gebäudemodellen (BIM-Modellen; BIM steht für Building Information Model) arbeiten. Ein In- door-Viewer kombiniert Punktwolken mit hochdetaillierten, ein dringlichen 360°-Bildern zu einem digitalen Zwilling, mit dem jeder interessierte Gebäudebetrachter die gescannten Räume ge nauso erkunden und mit ihnen interagieren kann, wie er es im wirklichen Leben tun würde.
Ein Indoor-Viewer verfügt üblicherweise über ein einfach zu bedienendes, skalierbares Content-Management-System zum Hinzu fügen von geogetaggten Informationen (d.h. einer Information sind Ortsinformationen zugeordnet) und Medien zu 3D-Scans. Be nutzer können mit der rechten Maustaste an einer beliebigen Stelle auf dem Bildschirm klicken, um diese Informationen als Sehenswürdigkeiten bzw. als Point of Interest (POI) hinzuzufü gen und anzuzeigen. Eine entsprechende Suchfunktion im Indoor- Viewer erleichtert es einem Benutzer, die gewünschten Informa tionen im 2D-Plan oder im 3D-Scan zu finden.
Das Auffinden und Annotieren von durch eine Scangerätschaft digital erfasster Objekte erfolgt bisher nur aufwändig mit ma nueller visueller Identifikation. Es ist daher sehr zeitauf wändig und fehleranfällig, da digital erfasste Objekte in der Punktewolke oder in einem 3D-Scan leicht übersehen werden kön nen.
Es ist daher die Aufgabe der vorliegenden Erfindung, ein Ver fahren und eine Anordnung für das effektive Auffinden und An notieren von durch eine Scangerätschaft digital erfasster Ob jekte bereitzustellen.
Die Aufgabe wird gelöst durch ein Verfahren zur digitalen Er fassung von Räumlichkeiten (z.B. Räume, Flure) eines Gebäudes, wobei durch eine Scan-Vorrichtung (z.B. NavVis-Scanner) eine entsprechende Räumlichkeit im Gebäude abgetastet (vermes sen) und in einer digitalen Punktewolke und/oder durch eine Bildaufnahme (die Bildaufnahme kann z.B. durch eine digitale Kamera erfolgen) erfasst wird, wobei basierend auf der digitalen Punktewolke und/oder der Bildaufnahme eine Objekterkennung (mit Vorteil erfolgt auch eine Objektidentifizierung) mit Mitteln der künstlichen Intelligenz erfolgt, wobei nach erfolgter Objekterkennung die digitale Punkte wolke und/oder die Bildaufnahme in ein digitales Gebäudemodell abgebildet wird, wobei bei der Erfassung von definierten Objekten (z.B. Point of interest, POI, Sehenswürdigkeiten) im Gebäude, das jeweilige definierte Objekt (z.B. ein Brandmelder, ein Aktor, oder ein Sensor) von der Scanvorrichtung dediziert erfasst wird (z.B. durch Kamera und/oder Punktewolke), und wobei durch eine Spracheingabe eines Bedieners der Scanvorrichtung dem je weiligen definierten Objekt Attribute (z.B. Ortsinformation, Verbauungsinformation, Typinformation, Produktinformation) zu geordnet werden. Es erfolgt somit eine Anreicherung von Objek ten mit zusätzlicher Metainformation (z.B. tags, Attribute) durch Audio-Eingabe eines Bedieners beim Gebäudescan. Mit Vorteil erfolgt die Annotation des Bildinhaltes durch die Scan-Person durch eine geeignete Spracherkennung. Mit Vorteil handelt es sich bei der Spracherkennung um eine trainierte Spracherkennung basierend auf Mechanismen des maschinellen Lernens. Das dedizierte Erfassen eines definierten oder vorher festgelegten Objektes (z.B. ein Brandmelder, ein Aktor, oder ein Sensor) durch die Scanvorrichtung kann z.B. durch eine da für eingerichtete Aufnahmeeinrichtung erfolgen (z.B. durch Zoomen des Objektes durch eine an der Scanvorrichtung ange brachte Kamera). Mit Vorteil umfasst die Objekterkennung auch eine Objektidentifizierung. Die Bildaufnahme kann z.B. in Form einer digitalen Bildaufnahme erfolgen, durch entsprechend ge eigneter digitaler Kameras. Dies kann durch Einzelaufnahme (o- der eine Folge von Einzelaufnahmen) und/oder Aufzeichnung ei ner oder mehrerer Videosequenzen erfolgen. Mit Vorteil umfasst die Bildaufnahme eine Bilderkennung für die Erkennung bzw. die Identifizierung von Objekten auf der Bildaufnahme. Mit Vorteil werden für die Bilderkennung Algorithmen der Mustererkennung und/oder der Musterklassifizierung und/oder der Musteranalyse eingesetzt. Mit Vorteil werden für die Bilderkennung auch Me thoden der künstlichen Intelligenz eingesetzt.
Die verbale oder sprachliche Annotation ist insbesondere bei der Erfassung bzw. Aufnahme von runden Objekten von Vorteil.
In einer digitalen Bildaufnahme oder in einer Punktewolke ist es nicht einfach z.B. einen Brandmelder von einem Bewegungs melder zu unterscheiden. Durch die verbale oder sprachliche Annotation zu dem Objekt wird das Objekt mit dem entsprechen den Attribut (Brandmelder bzw. Bewegungsmelder) versehen.
Diese Information wird im digitalen Gebäudemodell (BIM) zusam men mit dem Objekt abgelegt. Somit ist eine eindeutige Ob jekterkennung und mit Vorteil bei einer entsprechenden Annota tion auch eine Objektidentifizierung gewährleistet. Bei einem definierten Objekt (z.B. Point of interest, POI) handelt es sich z.B. um ein in der Räumlichkeit vorbekanntes Objekt. Z.B. um ein in der Räumlichkeit befindliches Inventa robjekt. Mit Vorteil sind das vorbekannte Objekt oder das In ventarobjekt in einem Inventarkatalog oder einem Inventarplan für die Räumlichkeit aufgeführt. Der Benutzer hat Einblick in den Inventarkatalog und/oder in den Inventarplan. Mit Vorteil wird der Inventarkatalog und/oder der Inventarplan auf einem Display der Scan-Vorrichtung angezeigt.
Eine erste vorteilhafte Ausgestaltung der Erfindung liegt da rin, dass die Spracheingabe am Scanort des jeweiligen defi nierten Objektes im Gebäude erfolgt. Dadurch kann automatisch die Ortsposition der Scanvorrichtung als Annotation für das definierte Objekt verwendet werden.
Eine weitere vorteilhafte Ausgestaltung der Erfindung liegt darin, dass die Spracheingabe am Scanort des jeweiligen defi nierten Objektes durch einen Benutzer erfolgt, wobei einem Be nutzer die jeweiligen Attribute für ein definiertes Objekt auf einer Ausgabevorrichtung (z.B. Display eines mobilen Kommuni kationsendgerätes oder Display an der Scanvorrichtung) bereit gestellt werden. Dadurch kann ein Benutzer durch Ablesen (in geeigneter Lautstärke) der Informationen vom Display die Anno tationen zum entsprechenden Objekt hinzufügen. Mit Vorteil werden die Informationen auf dem Display durch eine alterna tive Quelle (z.B. bereits existierender Gebäudeplan (z.B. als pdf-Dokument).
Eine weitere vorteilhafte Ausgestaltung der Erfindung liegt darin, dass die jeweiligen Attribute für ein definiertes Ob jekt auf der Ausgabevorrichtung (z.B. Display) in Abhängigkeit des Standortes der Scanvorrichtung bereitgestellt werden. Dadurch muss der Bediener der Scanvorrichtung die entsprechenden Informationen zu einem Objekt nicht in einem bereits existierender Gebäudeplan suchen, denn die zu annotie renden Informationen werden in Abhängigkeit der Position der Scanvorrichtung bereitgestellt. Mit Vorteil wird ein Objekt, welches mit Annotationen versehen wurde, vom Bediener quit tiert. Dadurch ist sichergestellt, dass kein Objekt übersehen wird.
Eine weitere vorteilhafte Ausgestaltung der Erfindung liegt darin, dass für die Objekterkennung (und mit Vorteil auch für eine Objektidentifizierung) von definierten Objekten, die dem jeweiligen definierten Objekt durch die Spracheingabe zugeord neten Attribute verwendet werden. Dies ermöglicht eine Erhö hung der Konfidenz der Objekterkennung auch für die Objekti dentifizierung. Die Konfidenz kann z.B. durch die Verwendung von Precision-Recall-Diagrammen (PR-Diagramme) bestimmt wer den.
Eine weitere vorteilhafte Ausgestaltung der Erfindung liegt darin, dass für die Erkennung der Spracheingabe eine sprecher unabhängige Spracherkennung (Siri, etc.; Optimierung über Deep Learning) verwendet wird. Eine sprecherunabhängige Spracher kennung erfordert keine vorhergehende Trainingsphase.
Eine weitere vorteilhafte Ausgestaltung der Erfindung liegt darin, dass die Scanvorrichtung bei der Erkennung eines sich in der Nähe befindlichen definierten Objektes (z.B. aus einem alten schon existierenden Plan oder einer alternativen Infor mationsquelle) eine Meldung (optisch und/oder akustisch) für den Benutzer der Scanvorrichtung ausgibt. Damit wird vermie den, dass Objekte vergessen oder übersehen werden.
Eine weitere vorteilhafte Ausgestaltung der Erfindung liegt in einer Scan-Vorrichtung (Scangerätschaft) zur Durchführung des erfindungsgemässen Verfahrens. Ein bereits existierende Scangerätschaft oder Scanvorrichtung kann leicht aufgerüstet werden, um das erfindungsgemässe Verfahren zu ermöglichen.
Die Aufgabe wird weiterhin gelöst durch eine Anordnung zur di gitalen Erfassung von Räumlichkeiten (Räume, Flure) eines Ge bäudes, die Anordnung umfassend: eine Scan-Vorrichtung (z.B. NavVis-Scanner) zum Abtasten und/oder Aufnehmen einer Räumlichkeit (Raum, Flur) im Gebäude, wobei die Scan-Vorrichtung eingerichtet ist, basierend auf den durch das Abtasten und/oder Aufnehmen erhaltenen Daten, eine digitale Punktewolke und/oder eine digitale Bildaufnahme zu generieren; eine Verarbeitungseinrichtung, die eingerichtet ist, ba sierend auf der digitalen Punktewolke und/oder der Bildauf nahme eine Objekterkennung (mit Vorteil auch eine Objektiden tifizierung) mit Mitteln der künstlichen Intelligenz vorzuneh men, wobei die Verarbeitungseinrichtung weiter eingerichtet ist, zum Abbilden der digitalen Punktewolke und/oder der Bild aufnahme in ein digitales Gebäudemodell (BIM, Building Infor mation Model, digitaler Zwilling); wobei die Scan-Vorrichtung eine Spracherkennungsvorrich tung (z.B. Mikrophon) umfasst, zum Erfassen von Spracheingabe zu definierten Objekten in der Räumlichkeit, wobei durch eine Spracheingabe einem jeweiligen definierten Objekt Attribute (z.B. Ortsinformation, Verbauungsinformation, Herstellerinfor mation, Produktinformation) zugeordnet werden, die bei der Ge nerierung der Punktewolke und/oder der Bildaufnahme verwendet werden. Die Punktewolke und/oder die digitale Bildaufnahme wird in einem geeigneten Speichermedium abgelegt. Das Spei chermedium kann in der Scan-Vorrichtung selbst vorhanden sein. Das Speichermedium kann aber auch in einen Cloud-Infrastruktur implementiert sein, mit geeigneter Datenverbindung (z.B. Funk verbindung, IP-Verbindung) zur Scan-Vorrichtung. Mit Vorteil wird eine sprecherunabhängige Spracherkennung verwendet. Mit Vorteil umfasst das Abtasten auch ein Vermessen der Räumlich keit. Die Bildaufnahme kann z.B. in Form einer digitalen Bild aufnahme erfolgen, durch entsprechend geeigneter digitaler Ka meras. Dies kann durch Einzelaufnahme (oder eine Folge von Einzelaufnahmen) und/oder Aufzeichnung einer oder mehrerer Vi deosequenzen erfolgen. Mit Vorteil umfasst die Bildaufnahme eine Bilderkennung für die Erkennung bzw. die Identifizierung von Objekten auf der Bildaufnahme. Mit Vorteil werden für die Bilderkennung Algorithmen der Mustererkennung und/oder der Musterklassifizierung und/oder der Musteranalyse eingesetzt. Mit Vorteil werden für die Bilderkennung auch Methoden der künstlichen Intelligenz eingesetzt.
Eine weitere vorteilhafte Ausgestaltung der Erfindung liegt darin, dass bei der Erfassung von definierten Objekten im Ge bäude, das jeweilige definierte Objekt von der Scanvorrichtung dediziert erfasst wird (z.B. durch Kamera), und wobei durch eine Spracheingabe dem jeweiligen definierten Objekt dediziert Attribute zuordenbar sind. Das dedizierte Erfassen eines defi nierten oder vorher festgelegten Objektes (z.B. ein Brandmel der, ein Aktuator, oder ein Sensor) durch die Scanvorrichtung kann z.B. durch eine dafür eingerichtete Aufnahmeeinrichtung erfolgen (z.B. durch Zoomen des Objektes durch eine an der Scanvorrichtung angebrachte Kamera).
Eine weitere vorteilhafte Ausgestaltung der Erfindung liegt darin, dass die Anordnung ein Positionsbestimmungssystem (z.B. IPS, Indoor-GPS) umfasst, zum Erkennen des Standortes der Scanvorrichtung im Gebäude, wobei die jeweiligen Attribute für ein definiertes Objekt auf einer Ausgabevorrichtung (z.B. Dis play eines mobilen Kommunikationsendgerätes oder Display an der Scanvorrichtung) in Abhängigkeit des Standortes der Scan vorrichtung bereitstellbar sind. Dadurch muss der Bediener der Scanvorrichtung die entsprechenden Informationen zu einem Ob jekt nicht in einem bereits existierender Gebäudeplan suchen, denn die zu annotierenden Informationen werden in Abhängigkeit der Position der Scanvorrichtung bereitgestellt. Mit Vorteil wird ein Objekt, welches mit Annotationen versehen wurde, vom Bediener quittiert. Dadurch ist sichergestellt, dass kein Ob jekt übersehen wird.
Eine weitere vorteilhafte Ausgestaltung der Erfindung liegt darin, dass die Spracheingabe am Standort des jeweiligen defi nierten Objektes durch einen Benutzer erfolgt, wobei dem Be nutzer die jeweiligen Attribute für ein definiertes Objekt auf einer Ausgabevorrichtung (z.B. Display eines mobilen Kommuni kationsendgerätes oder Display an der Scanvorrichtung) bereit stellbar sind. Dadurch kann ein Benutzer durch Ablesen (in ge eigneter Lautstärke) der Informationen vom Display die Annota tionen zum entsprechenden Objekt hinzufügen. Mit Vorteil wer den die Informationen auf dem Display durch eine alternative Quelle (z.B. bereits existierender Gebäudeplan (z.B. als pdf- Dokument)). Mit Vorteil erfolgt die Spracheingabe am Scanort des jeweiligen definierten Objektes durch den Benutzer
Eine weitere vorteilhafte Ausgestaltung der Erfindung liegt darin, dass die Scanvorrichtung bei der Erkennung eines sich in der Nähe befindlichen definierten Objektes eine Meldung (optisch und/oder akustisch) für den Benutzer der Scanvorrich tung ausgibt. Damit wird vermieden, dass Objekte vergessen o- der übersehen werden.
Eine weitere vorteilhafte Ausgestaltung der Erfindung liegt darin, dass die Verarbeitungseinrichtung in der Scanvorrich tung integriert ist. Bei der Verarbeitungseinrichtung handelt es sich um einen dazu eingerichteten Prozessor oder Computer mit entsprechenden Eingabe-/Ausgabemittel, Speicher, und Kom munikationsmittel .
Eine weitere vorteilhafte Ausgestaltung der Erfindung liegt darin, dass die Verarbeitungseinrichtung in einer Cloudinfra- struktur integriert ist. Die Scanvorrichtung ist dabei mit ge eigneten Kommunikationsmitteln (z.B. Funk, WLAN) mit der Ver arbeitungseinrichtung (z.B. Computer) verbunden. Mit Vorteil umfassen die Scanvorrichtung und die Verarbeitungseinrichtung geeignete Speichermittel (z.B. Datenbank, Flash-Speicher).
Die Erfindung sowie vorteilhafte Ausführungen der vorliegenden Erfindung werden am Beispiel der nachfolgenden Figur erläu tert. Dabei zeigt:
FIG 1 eine erste beispielhafte Anordnung zur digitalen Er fassung von Räumlichkeiten eines Gebäudes,
FIG 2 eine zweite beispielhafte Anordnung zur digitalen
Erfassung von Räumlichkeiten eines Gebäudes,
FIG 3 eine beispielhafte Anordnung für eine Spracherken- nungsVorrichtung,
FIG 4 ein beispielhaftes Flussdiagramm für ein Verfahren zur digitalen Erfassung von Räumlichkeiten eines Ge bäudes.
Mit einem Indoor-Viewer können sogenannte „Point of Interest" (POI) generiert werden. Points of Interest (POIs) sind im 3D- Koordinatensystem der Indoor-Viewer-Instanz definierte Punkte mit zusätzlichen Informationen und besitzen eine WGS 84 Koor dinate (GPS) zur Positionsbestimmung. Alle POIs haben einen Typ, eine Typgruppe und eine Position. Der Inhalt einer POI- Beschreibung kann vom einfachen Text bis hin zu eingebetteten iFrames reichen. Das Hinzufügen von benutzerdefinierten Daten zu POIs ist nützlich für die Anbindung an Anwendungen, die auf Indoor-Viewer basieren. Die POIs sind meist Objekte im 3D-Scan zugeordnet und welche nachträglich per Hand von einer Person im Indoor-Viewer identifiziert und mittels eines Editors zuge ordnet werden können.
Eine weitere Möglichkeit besteht in der Bilderkennung der Ob jekte. Die Objekterkennung ist eine Computer-Vision-Technik zur Identifizierung von Objekten in Bildern oder Videos. Die Objekterkennung ist ein wichtiger Output von Deep Learning und Machine Learning Algorithmen. Wenn Menschen sich ein Foto oder Video ansehen, können wir Menschen, Objekte, Szenen und visu elle Details leicht erkennen. Ziel ist es, einem Computer bei zubringen, das zu tun, was für den Menschen natürlich ist: ein Verständnis dafür zu erlangen, was ein Bild enthält.
Zu den Verfahren zur Objektidentifikation gehören 3D-Modelle, Komponentenidentifikation, Kantenerkennung und Analyse von Er scheinungen aus verschiedenen Blickwinkeln.
Die Objekterkennung erfolgt an den Konvergenzpunkten Robotik, Machine Vision, Neuronale Netze und KI (Künstliche Intelli genz).
Objekterkennung durch Deep Learning
Deep Learning Techniken sind zu einer beliebten Methode zur Objekterkennung geworden. Deep-Learning-Modelle wie Convoluti- onal Neural Networks (CNNs) werden verwendet, um automatisch die inhärenten Merkmale eines Objekts zu erlernen, um dieses Objekt zu identifizieren. Zum Beispiel kann ein CNN lernen, Unterschiede zwischen Katzen und Hunden zu erkennen, indem es Tausende von Trainingsbildern analysiert und die Merkmale erlernt, die Katzen und Hunde unterschiedlich machen. Es gibt zwei Ansätze, um die Objekterkennung mittels Deep Learning durchzuführen :
• Ein Modell von Grund auf neu trainieren: Um ein tiefes Netzwerk von Grund auf zu trainieren, sammeln Sie einen sehr großen, beschrifteten Datensatz und entwerfen eine Netzwerkarchitektur, die die Funktionen erlernt und das Modell erstellt. Die Ergebnisse können beeindruckend sein, aber dieser Ansatz erfordert eine große Menge an Trainingsdaten, und Sie müssen die Schichten und Gewichte im CNN einrichten.
• Verwendung eines vortrainierten Deep-Learning-Modells:
Die meisten Deep-Learning-Anwendungen verwenden den Transfer-Learning-Ansatz, ein Prozess, der die Feinab stimmung eines vortrainierten Modells beinhaltet. Sie be ginnen mit einem bestehenden Netzwerk, wie z.B. AlexNet oder GoogLeNet, und geben neue Daten mit bisher unbekann ten Klassen ein. Diese Methode ist weniger zeitaufwändig und kann zu einem schnelleren Ergebnis führen, da das Mo dell bereits auf Tausende oder Millionen von Bildern trainiert wurde.
Deep Learning bietet ein hohes Maß an Genauigkeit, erfordert aber eine große Datenmenge, um genaue Vorhersagen zu treffen. Deep Learning for Image-Based Localization
Objekterkennung durch maschinelles Lernen
Machine Learning Techniken sind auch für die Objekterkennung beliebt und bieten andere Ansätze als Deep Learning. Häufige Beispiele für maschinelle Lerntechniken sind:
• HOG-Feature-Extraktion mit einem SVM-Maschinenlernmodell. • Worttaschenmodelle mit Funktionen wie SURF und MSER.
• Der Viola-Jones-Algorithmus, mit dem eine Vielzahl von Objekten erkannt werden kann, darunter Flächen und Ober körper.
Workflow für maschinelles Lernen
Um die Objekterkennung mit einem Standardansatz des maschinel len Lernens durchzuführen, beginnt man mit einer Sammlung von Bildern (oder Videos) und wählen die relevanten Funktionen in jedem Bild aus. So kann beispielsweise ein Feature-Extrakti onsalgorithmus Kanten- oder Eckmerkmale extrahieren, die zur Unterscheidung von Klassen in Ihren Daten verwendet werden können.
Diese Funktionen werden einem maschinellen Lernmodell hinzuge fügt, das diese Funktionen in ihre verschiedenen Kategorien unterteilt und diese Informationen dann bei der Analyse und Klassifizierung neuer Objekte verwendet. Man kann eine Viel zahl von maschinellen Lernalgorithmen und Merkmalsextraktions methoden verwenden, die viele Kombinationen bieten, um ein ge naues Objekterkennungsmodell zu erstellen. Die Verwendung von maschinellem Lernen zur Objekterkennung bietet die Flexibili tät, die beste Kombination von Merkmalen und Klassifikatoren für das Lernen auszuwählen. Es kann genaue Ergebnisse mit mi nimalen Datenmengen erzielen. Die Wahl des besten Ansatzes für die Objekterkennung hängt von Ihrer Anwendung und dem Problem ab, das gelöst werden soll. In vielen Fällen kann maschinelles Lernen eine effektive Technik sein, besonders wenn man weiss, welche Merkmale oder Eigenschaften des Bildes am besten geeig net sind, um Klassen von Objekten zu unterscheiden.
Die wichtigste Überlegung, die man bei der Wahl zwischen ma schinellem Lernen und Deep Learning beachten sollten, ist, ob man über eine leistungsstarke GPU und viele beschriftete Trai ningsbilder verfügt. Wenn die Antwort auf eine dieser Fragen Nein lautet, ist ein maschinelles Lernen vielleicht die beste Wahl. Deep-Learning-Techniken funktionieren in der Regel bes ser mit mehr Bildern, und ein Grafikprozessor hilft, die Zeit, die zum Trainieren des Modells benötigt wird, zu verkürzen.
Objekterkennung mit MATLAB
Mit nur wenigen Zeilen MATLAB®-Code kann man maschinelles Ler nen und Deep-Learning-Modelle für die Objekterkennung erstel len, ohne ein Experte sein zu müssen. Die Verwendung von MATLAB für die Objekterkennung ermöglicht es, in kürzerer Zeit erfolgreich zu sein. MATLAB automatisiert die Bereitstellung der Modelle auf Unternehmenssystemen, Clustern, Clouds und Em- bedded Devices.
Figur 1 zeigt eine erste beispielhafte Anordnung zur digitalen Erfassung von Räumlichkeiten eines Gebäudes oder Gebäudeteils RI. Die beispielhafte Anordnung gemäss Figur 1 zur digitalen Erfassung von Räumlichkeiten RI (z.B. Raum, Flur) eines Gebäu des umfasst: eine mobile Scan-Vorrichtung MGI (z.B. NavVis-Scanner) zum Abtasten und/oder Aufnehmen (z.B. Foto und/oder Videoauf nahme) einer Räumlichkeit RI im Gebäude, wobei die Scan-Vor richtung MGI eingerichtet ist, basierend auf den durch das Ab tasten und/oder der Aufnahme erhaltenen Daten, eine digitale Punktewolke PW1 und/oder ein digitales Abbild zu generieren; eine Verarbeitungseinrichtung S, die eingerichtet ist, basierend auf der digitalen Punktewolke PW1 und/oder des digi talen Abbildes eine Objekterkennung mit Mitteln der künstli chen Intelligenz vorzunehmen, wobei die Verarbeitungseinrich tung S weiter eingerichtet ist, zum Abbilden der digitalen Punktewolke PW1 und/oder des digitalen Abbildes in ein digitales Gebäudemodell BIM (BIM, Building Information Model, digitaler Zwilling); dadurch gekennzeichnet, dass die Scan-Vorrichtung MGI eine Spracherkennungsvorrichtung SPEV1 (z.B. Mikrophon) umfasst, zum Erfassen von Spracheingabe en zu definierten Objekten OBI in der Räumlichkeit RI, wobei durch eine Spracheingabe einem jeweiligen definierten Objekt OBI Attribute (z.B. Ortsinformation, Verbauungsinformation, Herstellerinformation, Produktinformation) zugeordnet werden, die bei der Generierung der Punktewolke PW1 und/oder des digi talen Abbildes verwendet werden. Bei der Punktewolke PW1 han delt es sich z.B. um eine 3D-Punktewolke. (Definition von Punktwolke in Wikipedia „Eine Punktwolke oder ein Punkthaufen (englisch point cloud) ist eine Menge von Punkten eines Vek torraums, die eine unorganisierte räumliche Struktur („Wolke") aufweist. Eine Punktwolke ist durch die enthaltenen Punkte be schrieben, die jeweils durch ihre Raumkoordinaten erfasst sind. Punktwolken mit Georeferenzierung enthalten Punkte in einem erdbezogenen Koordinatensystem. Zu den Punkten können zusätzlich Attribute, wie z. B. geometrische Normalen, Farb werte oder Messgenauigkeit, erfasst sein").
Die Scan-Vorrichtung MGI umfasst eine geeignete Aufnahmevor richtung AVI (z.B. Kamera, Lidar (light detection and ran ging), Ladar (laser detection and ranging), Laser-Scanning, etc.) zum Abtasten der Räumlichkeit RI. Mit Vorteil umfasst das Abtasten auch ein Vermessen der Räumlichkeit RI. Mit Vor teil erfolgt zusammen mit der Objekterkennung oder zusätzlich zur Objekterkennung auch eine Objektidentifizierung.
Für das digitale Abbild wird ein geeignetes Dateiformat oder Grafikformat verwendet, z.B. für Raster- (z.B. .ami, .apx,
.bpg) und/oder Vektorgrafiken (z.B. .ai, .cgm, .dwg, .dwf). Grafikformate können z.B. sein JPG; Exif, IPTC, oder XMP. Mit Vorteil werden die Grafikformate entsprechend komprimiert.
Mit Vorteil wird durch die Scan-Vorrichtung MGI (z.B. NavVis- Scanner) eine entsprechende Räumlichkeit im Gebäude abgetastet (vermessen) und in einer digitalen Punktewolke und/oder durch ein digitales Abbild erfasst und mit Vorteil weiterverarbeitet (z.B. Abbildung in das BIM).
Bei einem definierten Objekt (z.B. Point of interest, POI) handelt es sich z.B. um ein in der Räumlichkeit vorbekanntes Objekt. Z.B. um ein in der Räumlichkeit befindliches Inventa robjekt (d.h. das definierte Objekt ist ein Inventarobjekt der Räumlichkeit) . Mit Vorteil sind das vorbekannte Objekt oder das Inventarobjekt in einem Inventarkatalog oder einem Inven tarplan für die Räumlichkeit aufgeführt. Der Benutzer hat Ein blick in den Inventarkatalog und/oder in den Inventarplan. Mit Vorteil wird der Inventarkatalog und/oder der Inventarplan auf einem Display der Scan-Vorrichtung angezeigt.
Die Punktewolke wird in einem geeigneten Speichermedium DB (z.B. Datenbank, Flash-Speicher) abgelegt. Das Speichermedium kann in einer Datenverarbeitungseinheit (z.B. Prozessor, Com puter) der Scan-Vorrichtung MGI selbst vorhanden sein. Das Speichermedium kann aber auch in einen Cloud-Infrastruktur C implementiert sein, mit geeigneter Datenverbindung KV1 (z.B. Funkverbindung, IP-Verbindung) zur Scan-Vorrichtung MGI. Mit Vorteil wird eine sprecherunabhängige Spracherkennung SPEV1 verwendet.
Bei der Scan-Vorrichtung kann es sich auch um ein entsprechend eingerichtetes mobiles Kommunikationsendgerät MG2 (z.B. Smart- phone) handeln. Das mobile Kommunikationsendgerät MG2 ist mit einer geeigneten Aufnahmevorrichtung AV2 (z.B. Kamera) ausgestattet. Über eine geeignete Kommunikationsverbindung KV2 (z.B. Funkverbindung, IP-Verbindung) kann die von der Aufnah mevorrichtung AV2 erzeugte Punktewolke PW2 von der Scan-Vor richtung MG2 (z.B. Smartphone, Tablet-Computer) zur Verarbei tungseinrichtung S (entsprechend eingerichteter Server) wei tergeleitet werden, zum Abbilden der digitalen Punktewolke PW2 in ein digitales Gebäudemodell BIM (BIM, Building Information Model, digitaler Zwilling).
Mit Vorteil sind der Server S und die BIM-Datenbank DB in ei ner Cloud-Infrastruktur C realisiert.
Bei der Scan-Vorrichtung MGI mit Vorteil um eine mobile fahr bare Vorrichtung, von einem Benutzer PI bedient wird. Bei der Scan-Vorrichtung MG2 handelt es sich um eine entsprechend ein gerichtete mobile, tragbare Vorrichtung (z.B. Smartphone), die von einem Benutzer PI bedient wird. Die Sprachannotationen für ein Objekt OBI erfolgen durch den Bediener PI der entsprechen den Scan-Vorrichtungen MGI, MG2 oder durch eine andere Person.
Bei der Scan-Vorrichtung kann es sich auch um eine entspre chend eingerichtete Drohne handeln.
Mit Vorteil wird bei der Erfassung von definierten Objekten OBI im Gebäude RI, das jeweilige definierte Objekt OBI von der Scanvorrichtung MGI, MG2 dediziert erfasst. Durch eine Sprach eingabe SPEV1 durch den Bediener PI werden dem jeweiligen de finierten Objekt OBI dediziert Attribute (z.B. Typ-Eigen schaften, Verbauungseigenschaften, Beziehungen zur Gebäudeinf rastruktur) zugeordnet.
Die beispielhafte Anordnung gemäss Figur 1 umfasst ein Positi onsbestimmungssystem IPS (z.B. Indoor-Positioning-System; I- Beacons) zum Erkennen des Standortes der Scanvorrichtung MGI, MG2 im Gebäude RI, wobei die jeweiligen Attribute für ein de finiertes Objekt OBI auf einer Ausgabevorrichtung (z.B. Dis play der Scanvorrichtung MGI, MG2) in Abhängigkeit des Stan dortes der Scanvorrichtung MGI, MG2 bereitstellbar sind.
Mit Vorteil erfolgt die Spracheingabe am Standort des jeweili gen definierten Objektes OBI durch einen Benutzer PI, wobei dem Benutzer PI die jeweiligen Attribute für ein definiertes Objekt OBI auf einer Ausgabevorrichtung der Scanvorrichtung MGI, MG2 bereitstellbar sind. Somit ist u.a. sichergestellt, dass alle bekannten Attribute dem Objekt OBI zugeordnet wer den. Mit Vorteil werden die Attribute durch eine alternative oder weitere Quelle bereitgestellt.
Mit Vorteil gibt die Scanvorrichtung MGI, MG2 bei der Erken nung eines sich in der Nähe befindlichen definierten Objektes OBI eine Meldung (optisch und/oder akustisch) für den Benutzer PI der Scanvorrichtung MGI, MG2 aus. Somit ist sichergestellt, dass kein definiertes Objekt (Pol) OBI bei der Zuordnung von Attributen vergessen wird
Mit Vorteil ist die Verarbeitungseinrichtung in der Scanvor richtung integriert. Z.B. als Prozessor in einem eingebetteten System (embedded System).
Die Verarbeitungseinrichtung S kann aber auch in einer Cloud- infrastruktur C integriert sein. Die Verarbeitungseinrichtung S kann z.B. als BIM-Server mit Zugriff auf eine BIM-Datenbank DB in einer Cloudinfrastruktur C integriert sein. Die von der Scanvorrichtung (Scangerätschaft) MGI, MG2 generierte Punkte wolke PW1, PW2 wird über geeignete Kommunikationsverbindungen KV1, KV2 von der Scanvorrichtung MGI, MG2 zum BIM-Server S übertragen. Bei den Kommunikationsverbindungen KV1, KV2 handelt es sich z.B. um Funkverbindungen, WLAN, IP-Netzwerk- verbindung) .
Figur 2 zeigt eine zweite beispielhafte Anordnung zur digita len Erfassung von Räumlichkeiten eines Gebäudes oder Gebäude teils R2. Die beispielhafte Anordnung gemäss Figur 2 zur digi talen Erfassung von Räumlichkeiten R2 (z.B. Raum, Flur) eines Gebäudes umfasst: eine mobile Scan-Vorrichtung MG3 (z.B. NavVis-Scanner) zum Abtasten einer Räumlichkeit R2 im Gebäude, wobei die Scan- Vorrichtung MG3 eingerichtet ist, basierend auf den durch das Abtasten erhaltenen Daten, eine digitale Punktewolke PW3 zu generieren; eine Verarbeitungseinrichtung S, die eingerichtet ist, basierend auf der digitalen Punktewolke PW3 eine Objekterken nung mit Mitteln der künstlichen Intelligenz vorzunehmen, wo bei die Verarbeitungseinrichtung S weiter eingerichtet ist, zum Abbilden der digitalen Punktewolke PW3 in ein digitales Gebäudemodell BIM (BIM, Building Information Model, digitaler Zwilling); dadurch gekennzeichnet, dass die Scan-Vorrichtung MG3 eine Spracherkennungsvorrichtung SPEV2 (z.B. Mikrophon) umfasst, zum Erfassen von Spracheinga ben zu definierten Objekten OB2 in der Räumlichkeit R2, wobei durch eine Spracheingabe SPRE einem jeweiligen definierten Ob jekt OB2 Attribute (z.B. Ortsinformation, Verbauungsinforma tion, Herstellerinformation, Produktinformation) zugeordnet werden, die bei der Generierung der Punktewolke PW3 verwendet werden. Bei der Punktewolke PW3 handelt es sich z.B. um eine 3D-Punktewolke . Die Punktewolke PW3 wird über eine geeignete Kommunikationsverbindung KV3 (z.B. Funk) von der Scan-Vorrich tung MG3 zur Verarbeitungseinrichtung S übertragen. Mit Vor teil erfolgt die Übertragung in Echtzeit (real-time). Die Punktewolke PW3 kann über die geeignete Kommunikationsverbindung KV3 (z.B. Funk) von der Scan-Vorrich tung MG3 zur Verarbeitungseinrichtung S aber auch durch einen Batch-Lauf übertragen, z.B. ausgelöst durch den Bediener P2, oder täglich zu einem bestimmten Zeitpunkt. Die Verarbeitungs einrichtung S (z.B. BIM-Server) kann sich in einer Cloud-Inf- rastruktur C befinden.
Die Scan-Vorrichtung MG3 umfasst eine geeignete Aufnahmevor richtung AV3 (z.B. Kamera, Lidar (light detection and ran ging), Ladar (laser detection and ranging), Laser-Scanning, etc.) zum Abtasten der Räumlichkeit R2. Mit Vorteil umfasst das Abtasten auch ein Vermessen der Räumlichkeit R2. Mit Vor teil erfolgt zusammen mit der Objekterkennung oder zusätzlich zur Objekterkennung auch eine Objektidentifizierung.
In der beispielhaften Darstellung gemäss Figur 2 werden dem definierten Objekt OB2 (z.B. Point of Interest, Pol) vom Bedie ner P2 durch eine Spracheingabe SPRE die Attribute A zugeordnet. In der beispielhaften Darstellung gemäss Figur 2 handelt es sich beim definierten Objekt OB2 um einen Brandmelder. Von der Aufnahmevorrichtung AV3 der Scanvorrichtung MG3 wird der Brand melder OB2 dediziert erfasst (z.B. durch eine Kamera, die sich direkt oder nahezu direkt unter dem Brandmelder OB2 befindet). Mit Vorteil befindet sich die Kamera AV3 in einer Lotachse vom Objekt OB2 zum Boden oder in einem Bereich von 2 Metern, ins besondere 1 Meter, um die Lotachse bei einer Aufnahme (bzw. Fixierung) des Objektes OB2.
Der Bediener P2 ordnet durch eine Spracheingabe SPRE die fol genden beispielhaften Attribute A beim Scannen des Raumes R2 dem Objekt OB2 (Brandmelder) zu: Rauchmelder, Sinteso,
FDOOT241-9. Die Aufnahme des Brandmelders soll durch die bei spielhafte Kamera 0 erfolgen. Bei der Generierung der Punkte wolke werden diese Attribute dem Brandmelder OB2 zugeordnet und auch im digitalen Gebäudemodell BIM werden diese Attribute dem Objekt OB2 zugeordnet. Durch die Audio- bzw. Spracheingabe wer den die Attribute A beim Gebäudescannen dem Objekt OB2 als zusätzliche Metainformationen zugeordnet.
Eine weitere vorteilhafte Ausgestaltung der Erfindung liegt darin, dass für die Erkennung der Spracheingabe SPRE eine sprecherunabhängige Spracherkennung (Siri, etc.; mit Vorteil mit Optimierung über Deep Learning und/oder Machine Learning Algorithmen) verwendet wird. Eine sprecherunabhängige Sprach erkennung erfordert keine vorhergehende Trainingsphase.
Die Vorteile bzw. Stärken von Deep Learning Methoden (z.B. neuronalen Netzwerken) z.B. für die Spracherkennung liegen im impliziten Lernen von Repräsentationen der Eingangsdaten die zu einem optimalen Ergebnis (basierend auf der Menge der ver fügbaren Beispiele) führen. Verglichen mit flachen Verfahren, haben Deep Learning Verfahren im Allgemeinen eine sehr hohe Anzahl an Parametern (Millionen bis Milliarden) die während des Trainingsprozesses optimiert werden müssen. Daher benöti gen Deep Learning Verfahren in der Regel eine deutlich größere Menge an Beispielen von denen gelernt werden kann und ist mit neuronalen Netzen ist sehr rechenintensiv. Deep Learning hat in der Tat viel zu einer beträchtlichen Anzahl von Anwendungs bereichen des maschinellen Lernens beigetragen, aber ungeach tet seiner Innovationskraft und offensichtlichen praktischen Anwendungsmöglichkeiten ist diese Art maschinellen Lernens im mer noch mit einem beträchtlichen Aufwand verbunden.
Um diesen Aufwand zu reduzieren und bereits bei der Bilderfas sung die Objekterkennung und Zuordnung zu vereinfachen und die Auswahl stark einzuschränken, wird erfindungsgemäss bereits während des Scans das zu identifizierenden Objekt (z.B. Rauch melder) verbal über Spracheingabe beschrieben.
So wird das zu erkennende Objekt angefahren und über die Spracheingabe erfolgt am Standort die Beschreibung: z.B. „Ka mera 0, Rauchmelder Sinteso FDOOT241-9". „Kamera 0" ist dabei die nach oben gerichtete Kamera im Scanner. Eine Mikrofonfrei gabefunktion (Push-to-Talk oder Sprachaktivierung) triggert die SprachaufZeichnung zum Scan. Mit Vorteil wird das zu er kennende Objekt möglichst nah angefahren, mit Möglichkeit in einem Abstand in dem das Objekt im wesentlichen selektiv (mit Vorteil alleine in einer Aufnahme) aufnehmbar ist. Wenn sich das aufzunehmende Objekt an der Decke befindet (wie es z.B. bei Brandmeldern üblich ist) erfolgt die Aufnahme mit Vorteil im Wesentlichen in einer Lotachse vom Objekt nach unten.
Die Objekterkennung kann sich damit auf das durch Spracherken nung beschriebene Objekt „konzentrieren" und weist dem in Ka mera 0 erkannten Objekt die Beschreibung aus dem der Spracher kennung zu.
Es kommt dabei mit Vorteil eine „sprecherunabhängige" Sprach erkennung zum Einsatz. Charakteristisch für die „sprecherunab hängige" Spracherkennung ist die Eigenschaft, dass der Benut zer ohne eine vorhergehende Trainingsphase sofort mit der Spracherkennung beginnen kann. Der Wortschatz ist jedoch auf einige tausend Wörter begrenzt. Das reicht aber für die Ob jekte im Gebäude völlig aus.
Zwischenzeitlich erreichen aktuelle Systeme beim Diktat von Fließtexten auf Personal Computern Erkennungsquoten von ca. 99 Prozent und erfüllen damit für viele Einsatzgebiete die Anfor derungen der Praxis, z. B. für wissenschaftliche Texte, Ge- schäftskorrespondenz oder juristische Schriftsätze. Neben der Größe und Flexibilität des Wörterbuches spielt auch die Qualität der akustischen Aufnahme eine entscheidende Rolle.
Bei Mikrofonen, die direkt vor dem Mund angebracht sind (zum Beispiel bei Headsets oder Telefonen) wird eine signifikant höhere Erkennungsgenauigkeit erreicht als bei weiter entfern ten Raummikrofonen. Er ist daher vorteilhaft, den Trolly (Scanner) mit einem Headset zu verbinden.
Die Entwicklung bei der Spracherkennung schreitet sehr schnell voran. Seit 2016 werden Spracherkennungssysteme u. a. in Smartphones eingesetzt.
Aktuelle Spracherkennungssysteme müssen nicht mehr trainiert werden. Entscheidend für eine hohe Treffsicherheit außerhalb der Alltagssprache ist dabei die Plastizität des Systems. Um hohen Ansprüchen gerecht werden zu können, bieten professio nelle Systeme dem Anwender die Möglichkeit, durch Vorschreiben oder Vorsprechen das persönliche Ergebnis zu beeinflussen.
Da Objekte in Gebäuden meist nach funktionalen Richtlinien und Regeln verbaut werden, kann auch eine gefilterte Zuweisung der Objektauswahl erfolgen. So sind beispielsweise Brandmelder in Bürogebäuden meist an der Decke montiert, also in Kamera 0 am besten zu erkennen. Bei einem Lichtschalter z.B. wird insbe sondere der Bereich an der Wand z.B. in einer Höhe von 1 m bis 1,4 m neben einen Durchgang analysiert, welche durch die seit lichen Kameras 1 oder 3 am besten erfasst werden.
Mit der Georeferenzierung des Scanners lassen sich zusätzlich die WGS 84 Koordinate (GPS) zur Positionsbestimmung ermitteln, wodurch das Objekt im 2D/3D Plan annotiert werden kann. In ei nem 2D Plan lässt sich zusätzlich ein entsprechendes Symbol platzieren .
Weiterhin können Platzierungsregeln die Fehlerrate reduzieren oder eine Fehlplatzierungen melden. So muss beispielsweise ein Brandmelder einen Mindestabstand von der Raumbegrenzung (Wand, Fenster) haben.
Figur 3 zeigt eine beispielhafte Anordnung für eine Spracher kennungsvorrichtung SPEV3. Analoge Sprache AS eines Benutzers wird von einer Vorverarbeitungseinheit W E erfasst und in ent sprechende Referenzvektoren RV transformiert. Die Referenzvek toren RV werden an einen Dekoder D der Spracherkennungseinheit SPEE weitergeleitet. Dekoder D erstellt, basierend auf einem akustisches Modell AM, einem Wörterbuch WB, und einem Sprach- modell SM eine „Liste der Wörter", d.h. eine Wortliste WL.
Spracherkennung, Voice Recognition, ist ein Verfahren der Sprachanalyse, bei dem ein computerbasiertes System mit auto matischer Spracherkennung die eingegebenen Sprachinformationen analysiert, klassifiziert und speichert. Das aufwändige Erler nen von interessanten im Scan enthaltener Objekte (Trainings daten) kann reduziert werden, da die automatische Spracherken nung die exakte Beschreibung enthält. So kann sich das System selbst trainieren und optimieren, indem es um eine Software zur Erkennung und Verarbeitung von natürlich gesprochener Sprache enthält.
Zu Anfang müssen sicherlich viele insbesondere neue Objekte in der Cloud trainiert werden. Dies nimmt aber mit der Anzahl der Scans und der Sprachzuordnung drastisch ab, da die zu erfassen den und charakterisierenden Objekte in einer Datenbank (z.B. in der Cloud) gespeichert werden und das System damit seinen Trai ningsdaten automatisch erweitert und so immer besser wird. Ins besondere ist von Vorteil, dass der Scan eine Vielzahl von Trainingsdaten zum gleichen Objekt erzeugt, welches dem glei chen Sprachmuster zugewiesen ist. Diese Funktion ist insbeson dere dann hilfreich, wenn das Objekt von aussen gleich aussieht (Gehäuse), sich jedoch in der Funktion unterscheidet. Figur 4 zeigt ein beispielhaftes Flussdiagramm für ein Verfah ren zur digitalen Erfassung von Räumlichkeiten (z.B. Räume, Flure) eines Gebäudes,
(VS1) wobei durch eine Scan-Vorrichtung (z.B. NavVis- Scanner) eine entsprechende Räumlichkeit im Gebäude abgetastet (und/oder vermessen) und in einer digitalen Punktewolke er fasst wird,
(VS2) wobei basierend auf der digitalen Punktewolke eine Objekterkennung (mit Vorteil erfolgt auch eine Objektidentifi zierung) mit Mitteln der künstlichen Intelligenz erfolgt,
(VS3) wobei nach erfolgter Objekterkennung die digitale Punktewolke in ein digitales Gebäudemodell abgebildet wird, (VS4) wobei bei der Erfassung von definierten Objekten (z.B. Point of interest, POI, Sehenswürdigkeiten) im Gebäude, das jeweilige definierte Objekt (z.B. ein Brandmelder, ein Ak tor, oder ein Sensor) von der Scanvorrichtung dediziert er fasst wird (z.B. durch Kamera und/oder Punktewolke), und wobei durch eine Spracheingabe eines Bedieners der Scanvorrichtung dem jeweiligen definierten Objekt Attribute (z.B. Ortsinforma tion, Verbauungsinformation, Typinformation, Produktinforma- tion) zugeordnet werden.
Es erfolgt somit eine Anreicherung von Objekten mit zusätzli cher Metainformation (z.B. tags, Attribute) durch Audio-Ein- gabe eines Bedieners beim Gebäudescan. Mit Vorteil erfolgt die Annotation des Bildinhaltes durch die Scan-Person durch eine geeignete Spracherkennung. Mit Vorteil handelt es sich bei der Spracherkennung um eine trainierte Spracherkennung basierend auf Mechanismen des maschinellen Lernens. Das dedizierte Er fassen eines definierten oder vorher festgelegten Objektes (z.B. ein Brandmelder, ein Aktor, oder ein Sensor) durch die Scanvorrichtung kann z.B. durch eine dafür eingerichtete Auf nahmeeinrichtung erfolgen (z.B. durch Zoomen des Objektes durch eine an der Scanvorrichtung angebrachte Kamera). Mit Vorteil umfasst die Objekterkennung auch eine Objektidentifi zierung.
Bei einem definierten Objekt (z.B. Point of interest, POI) handelt es sich z.B. um ein in der Räumlichkeit vorbekanntes Objekt. Z.B. um ein in der Räumlichkeit befindliches Inventa robjekt (d.h. das definierte Objekt ist ein Inventarobjekt der Räumlichkeit) . Mit Vorteil sind das vorbekannte Objekt oder das Inventarobjekt in einem Inventarkatalog oder einem Inven tarplan für die Räumlichkeit aufgeführt. Der Benutzer hat Ein blick in den Inventarkatalog und/oder in den Inventarplan. Mit Vorteil wird der Inventarkatalog und/oder der Inventarplan auf einem Display der Scan-Vorrichtung angezeigt.
Mit Vorteil wird durch die Scan-Vorrichtung (z.B. NavVis-Scan- ner) eine entsprechende Räumlichkeit im Gebäude abgetastet (vermessen) und in einer digitalen Punktewolke und/oder durch eine Bilderkennung (die Bilderkennung kann z.B. durch eine di gitale Kamera erfolgen) erfasst und mit Vorteil weiterverar beitet (z.B. Abbildung in das BIM).
Mit Vorteil erfolgt die Spracheingabe am Scanort des jeweili gen definierten Objektes im Gebäude.
Mit Vorteil erfolgt die Spracheingabe am Scanort des jeweili gen definierten Objektes durch einen Benutzer, wobei einem Be nutzer die jeweiligen Attribute für ein definiertes Objekt auf einer Ausgabevorrichtung bereitgestellt werden.
Mit Vorteil werden die jeweiligen Attribute für ein definier tes Objekt auf der Ausgabevorrichtung (z.B. Display) in Abhän gigkeit des Standortes der Scanvorrichtung bereitgestellt. Mit Vorteil werden für die Objekterkennung von definierten Ob jekten, die dem jeweiligen definierten Objekt durch die Spracheingabe zugeordneten Attribute verwendet.
Mit Vorteil werden für die Erkennung der Spracheingabe eine sprecherunabhängige Spracherkennung verwendet.
Mit Vorteil gibt die Scanvorrichtung bei der Erkennung eines sich in der Nähe befindlichen definierten Objektes eine Mel dung (optisch und/oder akustisch) für den Benutzer der Scan vorrichtung aus. Die Meldung wird durch entsprechende Ausgabe mittel an der Scanvorrichtung ausgegeben, z.B. Lautsprechen, Display).
Das erfindungsgemässe Verfahren zur digitalen Erfassung von Räumlichkeiten (z.B. Räume, Flure) eines Gebäudes lässt sich durch eine entsprechend eingerichtete Scan-Vorrichtung reali sieren.
Ist ein definiertes Objekt im Scan erkannt, kann es im Indoor- Viewer automatisch an der erkannten Position annotiert werden. Die Position des Objekts kann im digitalen Gebäudemodell (BIM, Digitalen Zwilling) referenziert werden. Hierzu kann die WGS84 Position oder die Raumposition (Abstand Wand, Decke, Boden) verwendet werden. Der Scan liefert hier sehr genaue Messergeb nisse. Die 360° Bilder sind nämlich nicht nur digitale Bilder. Die Pixel in diesen Bildern werden durch Laserscans (Punkte wolke) angereichert, was es ermöglicht, mit gescannten Berei chen so zu interagieren, als wäre man vor Ort, einschließlich genauer Punkt-zu-Punkt-Messungen.
Punktewolken haben sich als sehr nützliche Darstellung einer Indoor-Szene zur Lösung grundlegender Probleme des Computer- Sehens erwiesen. Es nutzt die Vorteile des Farbbildes, das Informationen über das Aussehen eines Objekts liefert, aber auch das Tiefenbild, das immun gegen die Schwankungen von Farbe, Beleuchtung, Drehwinkel und Skalierung ist.
Die automatische Objekterkennung ist heutzutage sehr weit fortgeschritten, was einen zuverlässigen Einsatz verspricht.
Da sie neben weiteren Informationen auch die Objektbeschrei bung enthält, ist eine eindeutige Identifizierung und Zuwei sung möglich. Bei einem Scan z.B. mit einem NavVis M6 Trolly können so zu jedem einzelnen Objekt im Scan entsprechende Sprach-Annotationen (z.B. Attribute oder Metadaten zum ent sprechenden Objekt) zugewiesen werden.
Hinterlegte Regeln können dabei die Qualität der Objekterken nung erhöhen. Insbesondere kann eine Meldung ausgegeben wer den, wenn gemäss einer Positionierungsregel ein Objekt (z.B. Brandmelder) vorhanden sein sollte, dieser aber im Scanbereich nicht erkannt wird.
Mit Vorteil werden die durch die automatische Spracherkennung eindeutig identifizierten Objekte als Trainingsdaten in einer Datenbank abgelegt, welche mit Vorteil sukzessive von den ent sprechenden Deep-Learning Verfahren genutzt werden.
Das erfindungsgemässe Verfahren bietet eine effiziente Erfas sung von Daten für die Bereitstellung von sog. „digital twins" (digitalen Gebäudemodellen). Trainingsdaten für maschinelles Lernen oder Deep Learning werden „on the scan job" erzeugt. Dies bedeutet Kostenersparnis, Qualitätsverbesserung, weiter hin eine Zeit-/Scan-Optimierung.
Verfahren und Anordnung zur digitalen Erfassung von Räumlich keiten eines Gebäudes, wobei durch eine Scan-Vorrichtung eine entsprechende Räumlichkeit im Gebäude abgetastet und in einer digitalen Punktewolke erfasst wird, wobei basierend auf der digitalen Punktewolke eine Objekterkennung mit Mitteln der künstlichen Intelligenz erfolgt, wobei nach erfolgter Ob- jekterkennung die digitale Punktewolke in ein digitales Gebäu demodell abgebildet wird, wobei bei der Erfassung von defi nierten Objekten im Gebäude, das jeweilige definierte Objekt von der Scanvorrichtung dediziert erfasst wird, und wobei durch eine Spracheingabe und/oder eine Sprachnachricht dem je- weiligen definierten Objekt Attribute zugeordnet werden.
BezugsZeichen
C Cloud
BIM Gebäudemodell
S Server
RI, R2 Raum KV1 - KV3 Kommunikations erbindung PI, P2 Benutzer AVI - AV3 AufnähmeVorrichtung PW1 - PW3 Punktewolke MGI - MG3 Scan-Vorrichtung OBI, OB2 Objekt IPS PositionsbestimmungsSystem SPRE Spracheingabe A Attribute
SPEV1 - SPEV3 SpracherkennungsVorrichtung
W E Vorverarbeitungseinheit
SPEE Spracherkennungseinheit
D Dekoder
AS Analoge Sprache
RV ReferenzVektoren
AM Akustisches Modell
WB Wörterbuch
SM Sprachmodell
WL Wortliste
VS1 - VS4 Verfahrensschritt

Claims

Patentansprüche
1. Verfahren zur digitalen Erfassung von Räumlichkeiten (RI,
R2) eines Gebäudes,
(VS1) wobei durch eine Scan-Vorrichtung (MGI - MG3) eine entsprechende Räumlichkeit (RI, R2) im Gebäude abgetastet und in einer digitalen Punktewolke (PW1 - PW3) und/oder durch eine Bildaufnahme erfasst wird,
(VS2) wobei basierend auf der digitalen Punktewolke (PW1 - PW3) und/oder der Bildaufnahme eine Objekterkennung mit Mit teln der künstlichen Intelligenz erfolgt,
(VS3) wobei nach erfolgter Objekterkennung die digitale Punktewolke (PW1 - PW3) und/oder die Bildaufnahme in ein digi tales Gebäudemodell (BIM) abgebildet wird, dadurch gekennzeichnet, dass
(VS4) bei der Erfassung von definierten Objekten (OBI, OB2) im Gebäude, das jeweilige definierte Objekt (OBI, OB2) von der Scanvorrichtung (MGI - MG3) dediziert erfasst wird, und wobei durch eine Spracheingabe (SPRE) dem jeweiligen defi nierten Objekt (OBI, OB2) Attribute (A) zugeordnet werden.
2. Verfahren nach Anspruch 1, wobei die Spracheingabe (SPRE) am Scanort des jeweiligen definierten Objektes (OBI, OB2) im Gebäude erfolgt.
3. Verfahren nach einem der vorstehenden Ansprüche, wobei die Spracheingabe (SPRE) am Scanort des jeweiligen definierten Ob jektes (OBI, OB2) durch einen Benutzer erfolgt, wobei einem Benutzer (PI, P2) die jeweiligen Attribute für ein definiertes Objekt (OBI, OB2) auf einer Ausgabevorrichtung bereitgestellt werden.
4. Verfahren nach Anspruch 3, wobei die jeweiligen Attribute (A) für ein definiertes Objekt (OBI, OB2) auf der Ausgabevor richtung in Abhängigkeit des Standortes der Scanvorrichtung (MGI - MG3) bereitgestellt werden.
5. Verfahren nach einem der vorstehenden Ansprüche, wobei für die Objekterkennung von definierten Objekten (OBI, OB2) die dem jeweiligen definierten Objekt (OBI, OB2) durch die Sprach eingabe (SPRE) zugeordneten Attribute (A) verwendet werden.
6. Verfahren nach einem der vorstehenden Ansprüche, wobei für die Erkennung der Spracheingabe (SPRE) eine sprecherunabhän gige Spracherkennung verwendet wird.
7. Verfahren nach einem der vorstehenden Ansprüche, wobei die Scanvorrichtung (MGI - MG3) bei der Erkennung eines sich in der Nähe befindlichen definierten Objektes (OBI, OB2) eine Meldung für den Benutzer (PI, P2) der Scanvorrichtung (MGI - MG3) ausgibt.
8. Eine Scan-Vorrichtung (MGI - MG3) zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 7.
9. Anordnung zur digitalen Erfassung von Räumlichkeiten (RI,
R2) eines Gebäudes, die Anordnung umfassend: eine Scan-Vorrichtung (MGI - MG3) zum Abtasten und/oder Aufnehmen einer Räumlichkeit (RI, R2) im Gebäude, wobei die Scan-Vorrichtung (MGI - MG3) eingerichtet ist, basierend auf den durch das Abtasten und/oder durch das Aufnehmen erhaltenen Daten, eine digitale Punktewolke (PW1 - PW3) und/oder eine di gitale Bildaufnahme zu generieren; eine Verarbeitungseinrichtung (S), die eingerichtet ist, basierend auf der digitalen Punktewolke (PW1 - PW3) und/oder der digitalen Bildaufnahme, eine Objekterkennung mit Mitteln der künstlichen Intelligenz vorzunehmen, wobei die Verarbei tungseinrichtung (S) weiter eingerichtet ist, zum Abbilden der digitalen Punktewolke (PW1 - PW3) und/oder der Bildaufnahme in ein digitales Gebäudemodell (BIM); dadurch gekennzeichnet, dass die Scan-Vorrichtung (MGI - MG3) eine Spracherkennungsvorrich tung (SPEV1 - SPEV3) umfasst, zum Erfassen von Spracheingaben zu definierten Objekten (OBI, OB2) in der Räumlichkeit (RI,
R2), wobei durch eine Spracheingabe (SPRE) einem jeweiligen definierten Objekt (OBI, OB2) Attribute (A) zugeordnet werden, die bei der Generierung der Punktewolke (PW1 - PW3) und/oder der Bildaufnahme verwendet werden.
10. Anordnung nach Anspruch 9, wobei bei der Erfassung von de finierten Objekten im Gebäude, das jeweilige definierte Objekt (OBI, OB2) von der Scanvorrichtung (MGI - MG3) dediziert er fasst wird, und wobei durch eine Spracheingabe (SPRE) dem je weiligen definierten Objekt (OBI, OB2) dediziert Attribute (A) zuordbar sind.
11. Anordnung nach Anspruch 9 oder 10, weiter umfassend ein Positionsbestimmungssystem (IPS) zum Erkennen des Standortes der Scanvorrichtung (MGI - MG3) im Gebäude, wobei die jeweili gen Attribute für ein definiertes Objekt (OBI, OB2) auf der Ausgabevorrichtung in Abhängigkeit des Standortes der Scanvor richtung (MGI - MG3) bereitstellbar sind.
12. Anordnung nach einem der Ansprüche 9 bis 11, wobei die Spracheingabe am Standort des jeweiligen definierten Objektes (OBI, OB2) durch einen Benutzer (PI, P2) erfolgt, wobei dem Benutzer (PI, P2) die jeweiligen Attribute (A) für ein defi niertes Objekt (OBI, OB2) auf einer Ausgabevorrichtung bereit stellbar sind.
13. Anordnung nach einem der Ansprüche 9 bis 12, wobei die Scanvorrichtung (MGI - MG3) bei der Erkennung eines sich in der Nähe befindlichen definierten Objektes (OBI, OB2) eine Meldung für den Benutzer (PI, P2) der Scanvorrichtung (MGI - MG3) ausgibt.
14. Anordnung nach einem der Ansprüche 9 bis 13, wobei die Verarbeitungseinrichtung (S) in der Scanvorrichtung (MGI - MG3) integriert ist.
15. Anordnung nach einem der Ansprüche 9 bis 14, wobei die Verarbeitungseinrichtung (S) in einer Cloudinfrastruktur (C) integriert ist.
EP21721851.0A 2020-04-17 2021-04-09 Verfahren und anordnung zur digitalen erfassung von räumlichkeiten eines gebäudes Pending EP4136567A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020204921.1A DE102020204921A1 (de) 2020-04-17 2020-04-17 Verfahren und Anordnung zur digitalen Erfassung von Räumlichkeiten eines Gebäudes
PCT/EP2021/059318 WO2021209341A1 (de) 2020-04-17 2021-04-09 Verfahren und anordnung zur digitalen erfassung von räumlichkeiten eines gebäudes

Publications (1)

Publication Number Publication Date
EP4136567A1 true EP4136567A1 (de) 2023-02-22

Family

ID=75690248

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21721851.0A Pending EP4136567A1 (de) 2020-04-17 2021-04-09 Verfahren und anordnung zur digitalen erfassung von räumlichkeiten eines gebäudes

Country Status (5)

Country Link
US (1) US12361730B2 (de)
EP (1) EP4136567A1 (de)
CN (1) CN115362480A (de)
DE (1) DE102020204921A1 (de)
WO (1) WO2021209341A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12602901B2 (en) * 2023-11-08 2026-04-14 International Business Machines Corporation Multimodal artificial intelligence-based communication systems
CN118551434B (zh) * 2024-04-29 2025-04-25 安徽水利开发有限公司 一种基于数字孪生的钢箱提篮拱桥施工模拟方法及系统
CN118840427B (zh) * 2024-09-24 2024-12-10 上海建工四建集团有限公司 基于bim的模型标注和实景点三维定位方法及设备
US20260093856A1 (en) * 2024-09-27 2026-04-02 Intel Corporation Factory floor modeling

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3586553B1 (de) * 2017-02-22 2021-06-09 Middle Chart, LLC Verbessertes gebäudemodell mit virtueller erfassung von baubestandseigenschaften objektiver leistungsverfolgung

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152505A (zh) * 2012-10-23 2013-06-12 艾塔斯科技（镇江）有限公司 智慧型扫描仪及操作方法
CN202798910U (zh) * 2012-09-20 2013-03-13 艾塔斯科技（镇江）有限公司 可语音控制的扫描仪
US10282722B2 (en) * 2015-05-04 2019-05-07 Yi Sun Huang Machine learning system, method, and program product for point of sale systems
US10762251B2 (en) * 2017-02-22 2020-09-01 Middle Chart, LLC System for conducting a service call with orienteering
CN106709481A (zh) * 2017-03-03 2017-05-24 深圳市唯特视科技有限公司 一种基于二维‑三维语义数据集的室内场景理解方法
DE102017208174A1 (de) 2017-05-15 2018-11-15 Siemens Schweiz Ag Verfahren und Anordnung zur Berechnung von Navigationspfaden für Objekte in Gebäuden oder auf einem Campus
EP3534240A1 (de) 2018-03-01 2019-09-04 CMORE Automotive GmbH Verfahren und vorrichtung zur daten-annotation
CN108629849A (zh) * 2018-05-16 2018-10-09 浙江大学 一种基于bim和点云技术的构件质检系统
US11301683B2 (en) * 2018-10-10 2022-04-12 Autodesk, Inc. Architecture, engineering and construction (AEC) construction safety risk analysis system and method for interactive visualization and capture

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3586553B1 (de) * 2017-02-22 2021-06-09 Middle Chart, LLC Verbessertes gebäudemodell mit virtueller erfassung von baubestandseigenschaften objektiver leistungsverfolgung

Also Published As

Publication number Publication date
WO2021209341A1 (de) 2021-10-21
DE102020204921A1 (de) 2021-10-21
US20230154214A1 (en) 2023-05-18
US12361730B2 (en) 2025-07-15
CN115362480A (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
WO2021209341A1 (de) Verfahren und anordnung zur digitalen erfassung von räumlichkeiten eines gebäudes
CN110488975B (zh) 一种基于人工智能的数据处理方法及相关装置
CN113781519A (zh) 目标跟踪方法和目标跟踪装置
CN110490959B (zh) 三维图像处理方法及装置、虚拟形象生成方法以及电子设备
CN114677644A (zh) 一种基于教室监控视频的学生入座分布识别方法及系统
CN113705510A (zh) 目标识别跟踪的方法、装置、设备及存储介质
CN119809925B (zh) 一种多模态模型视觉感知能力增强方法、设备及介质
CN118741037A (zh) 一种适用于施工现场的多功能会议管理系统
CN117177005A (zh) 基于多模态与动态视角调整的花絮视频生成方法
CN112242002A (zh) 基于深度学习的物体识别和全景漫游方法
DE102018217032A1 (de) Verfahren und Vorrichtung zur Bereitstellung von Anmerkungen in der erweiterten Realität
CN113673478A (zh) 基于深度全景拼接的港口大型设备检测与识别方法
US10991085B2 (en) Classifying panoramic images
CN112925470B (zh) 交互式电子白板的触摸控制方法、系统和可读介质
DE102025123445A1 (de) Steuern von dialog unter verwendung kontextueller informationen für streaming-systeme und -anwendungen
CN114419451A (zh) 电梯内外识别方法、装置、电子设备及存储介质
CN116996707B (zh) 一种虚拟角色的渲染方法、电子设备及存储介质
DE102004001595A1 (de) Verfahren zur informativen Beschreibung von Bildobjekten
DE202018100752U1 (de) Bayesische Methodik für georäumliche Objekt-/Merkmalserkennung
US20260038262A1 (en) Method, system and software for analysing moving images
Srilatha et al. 3D Smartlearning Using Machine Learning Technique
Pavlovskis et al. Application of multi-criteria decision making for the selection of sensing tools for historical gravestones
Govindraj et al. Proposal of an ARVR-Enabled Digital Archive: Preserving Archaeological Data Through Emerging Technologies
Kleef Exploring the Possibilities of (Near) Real-Time Semantic Segmentation with 3D Point Cloud Data and Effective User-Centric Visualizations for First Responders
Palomino et al. Multi-feature bottom-up processing and top-down selection for an object-based visual attention model

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220826

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250109