WO2018092382A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2018092382A1
WO2018092382A1 PCT/JP2017/030868 JP2017030868W WO2018092382A1 WO 2018092382 A1 WO2018092382 A1 WO 2018092382A1 JP 2017030868 W JP2017030868 W JP 2017030868W WO 2018092382 A1 WO2018092382 A1 WO 2018092382A1
Authority
WO
WIPO (PCT)
Prior art keywords
floor plan
information
room
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/030868
Other languages
English (en)
French (fr)
Inventor
陽太 石田
哲史 上野
剛 秋山
陽司 清田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lifull Co Ltd
Original Assignee
Lifull Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lifull Co Ltd filed Critical Lifull Co Ltd
Priority to US16/461,267 priority Critical patent/US11586785B2/en
Priority to AU2017362937A priority patent/AU2017362937B2/en
Priority to EP17871632.0A priority patent/EP3543960B1/en
Priority to ES17871632T priority patent/ES2906990T3/es
Publication of WO2018092382A1 publication Critical patent/WO2018092382A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/23—Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/16—Real estate
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design

Definitions

  • the present invention relates to an information processing apparatus, an information processing method, and a program.
  • Some aspects of the present invention have been made in view of the above-described problems, and provide an information processing apparatus, an information processing method, and a program that can suitably provide three-dimensional property information.
  • One of the purposes is to provide it.
  • a line segment detection unit that detects a line segment corresponding to the wall on the floor plan and an morphological operation combination that combines expansion processing and contraction processing on the floor plan image.
  • a segmentation processing unit that identifies a room area corresponding to a room on the floor plan by performing a segmentation process after performing a pun process, a character recognition unit that recognizes a character string included in the floor plan image, and the floor plan.
  • the room detection unit for detecting the installation symbol included in the figure image, the identified room area, the recognition result of the character string, and the detection result of the installation symbol, and the type of the room in the room area
  • an integration unit that complements the room structure based on the room region and the detection result by the line segment detection unit, wherein the model generation unit includes the floor plan specified by the floor plan information, and the property Based on the area information included in the information, the estimation unit that estimates the scale of the floor plan, the floor plan specified by the floor plan information, the scale, and the estimated That based on the ceiling height, and
  • An information processing method includes a first step of receiving an input of a floor plan image of a real estate property, a second step of receiving an input of property information including area information of the real estate property, and the floor plan. A third step of generating floor plan information based on the image; a fourth step of generating a three-dimensional model of the real estate property using the floor plan information; and a fifth step of outputting the generated three-dimensional model.
  • a third step performs a line segment detection process after performing a contraction process on an image obtained by performing a binarization process on the floor plan image, and performs detection Clustering the processed line segments to detect a line segment corresponding to the wall on the floor plan, and a morph that combines expansion processing and contraction processing on the floor plan image.
  • a program includes a first process for receiving an input of a floor plan image of a real estate property, a second process for receiving an input of property information including area information of the real estate property, and the floor plan image.
  • a third process for generating floor plan information based on the information a fourth process for generating a three-dimensional model of the real estate property using the floor plan information, and a fifth process for outputting the generated three-dimensional model.
  • “part”, “means”, “apparatus”, and “system” do not simply mean physical means, but “part”, “means”, “apparatus”, “system”. This includes the case where the functions possessed by "are realized by software. Further, even if the functions of one “unit”, “means”, “apparatus”, and “system” are realized by two or more physical means or devices, two or more “parts” or “means”, The functions of “device” and “system” may be realized by a single physical means or device.
  • FIG. 1 It is a figure which shows the function structure of the information processing apparatus which concerns on embodiment. It is a figure which shows the function structure of the floor-plan identification part of the information processing apparatus shown in FIG. It is a figure for demonstrating embodiment of the one part process of the floor plan identification part shown in FIG. It is a figure for demonstrating embodiment of the one part process of the floor plan identification part shown in FIG. It is a figure which shows the specific example of a floor plan image. It is a figure for demonstrating embodiment of the one part process of the floor plan identification part shown in FIG. It is a figure which shows embodiment of the function structure of the information processing apparatus which produces
  • FIG. It is a figure for demonstrating embodiment of the one part process of the floor plan identification part shown in FIG. It is a figure for demonstrating embodiment of the one part process of the floor plan identification part shown in FIG. It is a figure for demonstrating embodiment of the one part process of the floor plan identification part shown in FIG. It is a figure which shows the function structure of the model production
  • the information processing apparatus automatically generates a 3D model of a real estate property from property information including a floor plan image and an indoor photograph.
  • the information processing device can view the interior in virtual reality (VR) based on the generated 3D model, simulate the interior, and move to the actual interior without moving to the site.
  • VR virtual reality
  • online business negotiations to confirm the surrounding environment.
  • by receiving an interior proposal in the virtual space by the interior coordinator it is possible to unify the sales from property sales to furniture sales.
  • the information processing apparatus allows the user to have a residence image for each of a large number of real estate properties, and as a result, can promote relocation.
  • the input unit 100A reads, for example, a floor plan image stored in advance in a storage medium such as an HDD (Hard Disk Drive) or a floor plan image received from another information processing apparatus via a network. Specific examples of floor plan images are shown in FIG. 3A, FIG. 4A, FIG.
  • the input unit 100B reads various information (property information) related to the property relating to the floor plan image read by the input unit 100A.
  • the property information read by the input unit 100B can include, for example, information such as a photograph taken in a room of the property, location information (address, latitude / longitude, etc.), direction, number of floors, building age, exclusive area, and the like.
  • the floor plan identifying unit 200 analyzes the floor plan image input from the input unit 100A.
  • the floor plan analysis result obtained as a result of the analysis may include detection of the position of the wall, the area of the room, the use of the room (dining, bath, etc.), and the installation (bath, toilet, door, etc.). .
  • the function and configuration of the floor plan identifying unit 200 will be described later with reference to FIG.
  • the model generation unit 300 generates a 3D model of the target property using the analysis result of the floor plan image by the floor plan identification unit 200 and the property information input from the input unit 100B.
  • the function and configuration of the model generation unit 300 will be described later with reference to FIG.
  • the output unit 400 outputs the 3D model generated by the model generation unit 300 to the outside.
  • Various output methods by the output unit 400 are conceivable.
  • the output unit 400 can display the 3D model as web content so that the user can browse the 3D model expressed as a virtual space from a client terminal on the Internet while arbitrarily changing the viewpoint (moving in the virtual space).
  • the output unit 400 may output the generated 3D model to various storage media such as an HDD and a flash memory.
  • the output method by the output unit 400 is not limited to these.
  • the floor plan identifying unit 200 includes an input unit 210, a line segment detection unit 220, an area segmentation unit 230, a character recognition unit 240, an installation object detection unit 250, an integration unit 260, and an output unit. 270.
  • the input unit 210 is an interface that receives an input of a two-dimensional floor plan image of a property input from the input unit 100A shown in FIG.
  • the input unit 210 outputs the input floor plan image to the line segment detection unit 220, the region segmentation unit 230, the character recognition unit 240, and the installation object detection unit 250, respectively.
  • the line segment detection unit 220 detects a line segment estimated to correspond to a wall by analyzing the floor plan image. Details of the processing of the line segment detection unit 220 will be described later with reference to FIG.
  • the area segmentation unit 230 detects an area segmentation estimated to correspond to each room by analyzing the floor plan image. Details of the processing of the region segmentation unit 230 will be described later with reference to FIG.
  • the character recognition unit 240 detects a character string included in the floor plan image by analyzing the floor plan image. For example, in the example of the floor plan image shown in FIG. 3A or 5, “Japanese-style room 6”, “Western-style room 6.5”, “DK7”, “Western-style room 4.5”, “entrance”, “ The character recognition unit 240 can detect character strings such as “intrusion”, “storage”, and “balcony”. As shown in FIG. 10 to be described later, the character recognizing unit 240 refers to the room type dictionary 1001 using the detected character string as a key, and specifies what kind of room the character string indicates. Can do.
  • FIG. 3A is a specific example of a floor plan image input to the line segment detection unit 220.
  • the line segment detection unit 220 performs a contraction process on the generated monochrome binary image.
  • the contraction process will be briefly described.
  • the contraction process the smallest pixel value of each pixel in the vicinity region of the processing target pixel is set as the pixel value of the processing target pixel. For example, if 3 pixels ⁇ 3 pixels centered on the processing target pixel are used as the vicinity region, and there is at least one pixel having a value of 0 (black) in the 3 pixels ⁇ 3 pixels, the pixel value of the processing target pixel is 0. On the other hand, if the pixel values of all the pixels in the vicinity region are 1 (white), the pixel value of the processing target pixel is 1.
  • the method of line segment detection is not limited to the method using the probabilistic Hough transform, and for example, a method using a line segment detector (LSD: Line Segment Detector) is also conceivable.
  • LSD Line Segment Detector
  • the region segmentation unit 230 performs a binarization process on the image that has been subjected to the character erasure process, thereby generating a binarized image illustrated in a specific example in FIG.
  • the method for generating a binarized image has been described above with reference to FIG.
  • region segmentation processing is not limited to the method described above with reference to FIG.
  • segmentation may be performed using color features without generating a binarized image.
  • a region having a similar feature can be determined as a region showing the same segmentation by using a color feature, a texture feature, or the like.
  • a segmentation method for example, graph cut, region growth, edge detection, deep learning (convolutional neural network), governance division method, or the like may be used.
  • the installation object detection unit 250 detects an installation object depicted as a symbol (hereinafter also referred to as an installation object symbol) in the floor plan image.
  • an installation object to be detected for example, a toilet (toilet), a bathtub (bath), a door, a system kitchen (kitchen), and the like are conceivable.
  • a door symbol 51 corresponding to a front door and a door symbol 52 indicating a toilet door are included in the floor plan image.
  • the installation object detection unit 250 detects the door symbols 51 and 52.
  • the installation object detection unit 250 performs various image processing such as binarization on the floor plan image of which a specific example is illustrated in FIG. FIG. 6B shows an image example after image processing.
  • the installation object detection unit 250 extracts a symbol candidate region (FIG. 6D) by sequentially scanning the image after the image processing (FIG. 6C).
  • the symbol candidate regions can be extracted in various sizes by scanning a plurality of times while changing the size of the symbol candidate regions.
  • the method for extracting the symbol candidate region is not limited to scanning on the target image.
  • the installation object detection unit 250 calculates a feature amount for each of the symbol candidate areas generated in this way.
  • Various feature amounts calculated by the installation object detection unit 250 for the symbol candidate region are conceivable.
  • a HOG (Histograms of Oriented Gradients) feature amount is conceivable.
  • the installation object detection unit 250 first divides the input image (here, the symbol candidate region) into blocks of 8 pixels ⁇ 8 pixels, for example.
  • the installation object detection unit 250 calculates the luminance gradient (edge direction) in the local region from the bright part to the dark part of the image for each pixel included in the block. By summing up the luminance gradients in the blocks, histograms of the luminance gradients are generated for the number of blocks.
  • FIG. 7 is a diagram illustrating a functional configuration of the information processing apparatus 70 for generating a detector that detects an installed object symbol.
  • the information processing apparatus 70 includes an input unit 71, an image feature amount calculation unit 73, a machine learning model generation unit 75, and an output unit 77.
  • the input unit 71 receives input of correct answer data and incorrect answer data (hereinafter also collectively referred to as teacher data) necessary for generating a machine learning model serving as a detector.
  • FIG. 8 shows a specific example of correct answer data and incorrect answer data input to the input unit 71.
  • the input data includes a combination of information (for example, a flag) indicating whether the data is correct data or incorrect data and an image.
  • the machine learning model generation unit 75 performs machine learning using the calculated image feature amount and information about correct data or incorrect data.
  • Various machine learning methods are conceivable. For example, deep learning using a convolutional neural network is conceivable. In this learning method, each time teacher data is input, parameters of nodes constituting a neural network, which is a machine learning model, change. By inputting a large number of teacher data, the machine learning model can determine whether the answer is preferably correct or incorrect (whether it is a door image).
  • the output unit 77 outputs the machine learning model generated in this way as a detector for detecting the installation symbol.
  • the integration unit 260 generates the floor plan analysis result by integrating the detection results of the line segment detection unit 220, the area segmentation unit 230, the character recognition unit 240, and the installation object detection unit 250.
  • each room is surrounded by walls, windows, doors, sliding doors, etc. Therefore, it is considered that each area detected as a room as a result of area segmentation (hereinafter referred to as a room area) should be surrounded by a window or a door in addition to the line segment detected as a wall as a result of line segment detection. Therefore, the integration unit 260 collates the detection result by the line segment detection unit 220 with the detection result by the region segmentation unit 230 by matching the positions (FIG. 9D). As a result, if there is an open part of the line segment around the room area (dotted line part in FIG. 9D), the integration unit 260 sets the part as a part corresponding to a window, a door, or a sliding door.
  • the open part to the outside can be set to a window or a door
  • the boundary part between room areas can be set to a sliding door or a door.
  • the integration unit 260 can obtain a room structure.
  • the detection result of the door symbol by the installation object detection unit 250 can also be used. In this case, what is necessary is just to set a part other than detected as a door as a sliding door or a window.
  • the character recognition unit 240 detects a character string included in the floor plan image (FIG. 10A).
  • a character string such as “DK7”, “Western-style room 4.5”, “Japanese-style room 6”, “intrusion”, and “entrance” surrounded by a dotted line in FIG. 10C are detected.
  • the character recognizing unit 240 can specify “dining kitchen”, “western room”, “Japanese room”, “closet”, and the like as room types.
  • the integration unit 260 collates the position of the character string (“DK7” in this example) with which the type of the room such as “dining kitchen” is specified with the region detected by the region segmentation unit 230. , It is possible to specify which region corresponds to “dining kitchen”.
  • the information on the size (number of tatami mats) of each room may be specified by the character recognition unit 240 from the character string of the floor plan image and associated with each room.
  • the model generation unit 300 includes input units 310A and 310B, a scale estimation unit 320, a room information extraction unit 330, a surrounding landscape generation unit 340, a furniture arrangement generation unit 350, and a 3D model generation unit. 360.
  • the room information extraction unit 330 performs curve correction on the image.
  • the room information extraction unit 330 identifies structures that are captured by segmentation, and identifies their positional relationship (relative angle) (FIG. 15B).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Civil Engineering (AREA)
  • Pure & Applied Mathematics (AREA)
  • Architecture (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Character Discrimination (AREA)
  • Image Generation (AREA)
  • Computer And Data Communications (AREA)

Abstract

３次元の物件情報を好適に提供することを可能とする情報処理装置、情報処理方法、及びプログラムを提供する。　間取り図画像に基づいて間取り情報を生成する間取り識別部と、間取り情報を用いて３次元モデルを生成するモデル生成部とを備える。間取り識別部は、間取り上の壁に相当する線分を検出する線分検出部と、間取り上の部屋に相当する部屋領域を特定するセグメンテーション処理部と、間取り図画像に含まれる文字列を認識する文字認識部と、間取り図画像に含まれる設置物記号を検出する設置物検出部と、部屋領域の部屋の種類を特定すると共に、部屋構造を補完する統合部とを備える。モデル生成部は、間取りの縮尺を推定する推定部と、間取り情報により特定される間取りと、縮尺と、推定される天井高とに基づいて、不動産物件の３次元モデルを生成する生成部とを備える。

Description

情報処理装置、情報処理方法、及びプログラム
　本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
　近年、インターネットのホームページ等で、マンション等の物件情報を提供するサービスが普及している。このようなサービスでは、例えば、間取り図、物件内や周辺環境の写真、物件の住所や広さ等の情報等が物件情報として提供される。
　物件情報の提供の際、２次元の間取り図のみならず、３次元の情報を提供するサービスも考えられている（例えば特許文献１、特許文献２参照）。例えば特許文献２は、間取り閲覧側からの指示に応じて、ＷＥＢサーバから取得した間取りデータが３次元立体形状に変換され、その結果、３次元立体間取り図が画面上に表示されることを開示している。
特開２００１－１９５４９９号公報 特開２００３－００６６７４号公報
　しかしながら、特許文献１や特許文献２には、具体的な３次元立体間取り図の生成に係る具体的な手法は十分に開示されていない。
　本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、３次元の物件情報を好適に提供することを可能とする情報処理装置、情報処理方法、及びプログラムを提供することを提供することを目的の１つとする。
　本発明の一態様に係る情報処理装置は、不動産物件の間取り図画像の入力を受ける第１入力部と、前記不動産物件の広さ情報を含む物件情報の入力を受ける第２入力部と、前記間取り図画像に基づいて間取り情報を生成する間取り識別部と、前記間取り情報を用いて、前記不動産物件の３次元モデルを生成するモデル生成部と、生成した前記３次元モデルを出力する出力部とを備える情報処理装置であって、前記間取り識別部は、前記間取り図画像に対して２値化処理を行った画像に対して収縮処理を施した上で線分検出処理を行い、検出された線分に対してクラスタリングを行うことにより、間取り上の壁に相当する線分を検出する線分検出部と、前記間取り図画像に対して膨張処理及び収縮処理を組み合わせたモルフォロジー演算のオープン処理を施した上でセグメンテーション処理を行うことにより、間取り上の部屋に相当する部屋領域を特定するセグメンテーション処理部と、前記間取り図画像に含まれる文字列を認識する文字認識部と、前記間取り図画像に含まれる設置物記号を検出する設置物検出部と、特定された前記部屋領域と、前記文字列の認識結果及び前記設置物記号の検出結果とに基づいて前記部屋領域の部屋の種類を特定すると共に、前記部屋領域と前記線分検出部による検出結果とに基づいて部屋構造を補完する統合部とを備え、前記モデル生成部は、前記間取り情報により特定される間取りと、前記物件情報に含まれる前記広さ情報とに基づき、前記間取りの縮尺を推定する推定部と、前記間取り情報により特定される間取りと、前記縮尺と、推定される天井高とに基づいて、前記不動産物件の３次元モデルを生成する生成部とを備える。
　本発明の一態様に係る情報処理方法は、不動産物件の間取り図画像の入力を受ける第１ステップと、前記不動産物件の広さ情報を含む物件情報の入力を受ける第２ステップと、前記間取り図画像に基づいて間取り情報を生成する第３ステップと、前記間取り情報を用いて、前記不動産物件の３次元モデルを生成する第４ステップと、生成した前記３次元モデルを出力する第５ステップとを情報処理装置が行う情報処理方法であって、第３ステップは、前記間取り図画像に対して２値化処理を行った画像に対して収縮処理を施した上で線分検出処理を行い、検出された線分に対してクラスタリングを行うことにより、間取り上の壁に相当する線分を検出するステップと、前記間取り図画像に対して膨張処理及び収縮処理を組み合わせたモルフォロジー演算のオープン処理を施した上でセグメンテーション処理を行うことにより、間取り上の部屋に相当する部屋領域を特定するステップと、前記間取り図画像に含まれる文字列を認識するステップと、前記間取り図画像に含まれる設置物記号を検出するステップと、特定された前記部屋領域と、前記文字列の認識結果及び前記設置物記号の検出結果とに基づいて前記部屋領域の部屋の種類を特定すると共に、前記部屋領域と前記線分検出部による検出結果とに基づいて部屋構造を補完するステップとを含み、前記第４ステップは、前記間取り情報により特定される間取りと、前記物件情報に含まれる前記広さ情報とに基づき、前記間取りの縮尺を推定するステップと、前記間取り情報により特定される間取りと、前記縮尺と、推定される天井高とに基づいて、前記不動産物件の３次元モデルを生成するステップとを含む。
　本発明の一態様に係るプログラムは、不動産物件の間取り図画像の入力を受ける第１処理と、前記不動産物件の広さ情報を含む物件情報の入力を受ける第２処理と、前記間取り図画像に基づいて間取り情報を生成する第３処理と、前記間取り情報を用いて、前記不動産物件の３次元モデルを生成する第４処理と、生成した前記３次元モデルを出力する第５処理とを情報処理装置に実行させるプログラムであって、第３処理は、前記間取り図画像に対して２値化処理を行った画像に対して収縮処理を施した上で線分検出処理を行い、検出された線分に対してクラスタリングを行うことにより、間取り上の壁に相当する線分を検出する処理と、前記間取り図画像に対して膨張処理及び収縮処理を組み合わせたモルフォロジー演算のオープン処理を施した上でセグメンテーション処理を行うことにより、間取り上の部屋に相当する部屋領域を特定する処理と、前記間取り図画像に含まれる文字列を認識する処理と、前記間取り図画像に含まれる設置物記号を検出する処理と、特定された前記部屋領域と、前記文字列の認識結果及び前記設置物記号の検出結果とに基づいて前記部屋領域の部屋の種類を特定すると共に、前記部屋領域と前記線分検出部による検出結果とに基づいて部屋構造を補完する処理とを含み、前記第４処理は、前記間取り情報により特定される間取りと、前記物件情報に含まれる前記広さ情報とに基づき、前記間取りの縮尺を推定する処理と、前記間取り情報により特定される間取りと、前記縮尺と、推定される天井高とに基づいて、前記不動産物件の３次元モデルを生成する処理とを含む。
　なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。
実施形態に係る情報処理装置の機能構成を示す図である。 図１に示した情報処理装置の間取り識別部の機能構成を示す図である。 図２に示した間取り識別部の一部の処理の実施形態を説明するための図である。 図２に示した間取り識別部の一部の処理の実施形態を説明するための図である。 間取り図画像の具体例を示す図である。 図２に示した間取り識別部の一部の処理の実施形態を説明するための図である。 識別器を生成する情報処理装置の機能構成の実施形態を示す図である。 図７に示した識別器に入力される教師データの実施形態を示す図である。 図２に示した間取り識別部の一部の処理の実施形態を説明するための図である。 図２に示した間取り識別部の一部の処理の実施形態を説明するための図である。 図２に示した間取り識別部の一部の処理の実施形態を説明するための図である。 図１に示した情報処理装置のモデル生成部の機能構成を示す図である。 図１２に示したモデル生成部の一部の処理の実施形態を説明するための図である。 図１２に示したモデル生成部の一部の処理の実施形態を説明するための図である。 図１２に示したモデル生成部の一部の処理の実施形態を説明するための図である。 実施形態に係る情報処理装置のハードウェア構成の具体例を示す図である。
　以下、図面を参照して本発明の実施形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
［第１実施形態］
［１　概要］
　近年、不動産情報提供サービスが広く普及している。このような不動産情報提供サービスにおいては、ユーザは、携帯電話（いわゆるフィーチャーフォンであるかスマートフォンであるかを問わない。）やパーソナルコンピュータ上で動作するブラウザや専用のアプリケーションなどを利用して、賃貸や購入が可能なマンション、一戸建て等の物件情報を確認することができる。物件情報には、例えば、間取り図、物件内や周辺環境の写真、物件の住所や広さ等の情報等が含まれる。
　しかしながら、このような数字や文字、２次元の情報のみでは、ユーザは居住イメージを掴みづらい。３次元の仮想空間画像、即ち３Ｄモデルを逐次手動で作成することも考えられるが、大量の不動産物件の全てに対して３Ｄモデル作成するのは困難である。
　そこで本実施形態に係る情報処理装置は、間取り図画像や室内撮影写真等を含む物件情報から自動的に不動産物件の３Ｄモデルを生成する。これにより当該情報処理装置は、生成した３Ｄモデルを元に、バーチャルリアリティ（ＶＲ：Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）での室内の閲覧や、インテリアのシミュレーション、更には現地に移動することなく居ながらにして実際の内装や周辺環境を確かめられるオンライン商談などを可能とする。また、当該３Ｄモデルのバーチャル空間内での不動産会社の営業担当と通話により、内覧案内等も可能となる。加えて、インテリアコーディネータにより当該バーチャル空間内でインテリアの提案を受けることにより、物件の販売から家具の販売までを一本化することも可能となる。
　このように、本実施形態に係る情報処理装置は、ユーザに大量に存在する不動産物件の各々に対して居住イメージを持たせ、結果として住替えを促進させることができる。
［２　機能構成］
［２．１　全体機能構成］
　図１に、第１実施形態に係る情報処理装置１の機能構成を示す。図１に示すとおり、情報処理装置１は、入力部１００Ａ及び１００Ｂと、間取り識別部２００と、モデル生成部３００と、出力部４００とを含む。
　入力部１００Ａは、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の記憶媒体に予め記憶された間取り図画像や、ネットワークを介して他の情報処理装置から受信した間取り図画像などを読み込む。間取り図画像の具体例は、後述の図３（ａ）や図４（ａ）、図５等に示す。
　入力部１００Ｂは、入力部１００Ａが読み込む間取り図画像に係る物件に関する各種情報（物件情報）を読み込む。入力部１００Ｂが読み込む物件情報には、例えば、物件の室内で撮影された写真、位置情報（住所や緯度経度等）、方位、階数、築年数、専有面積等の情報を含むことができる。
　間取り識別部２００は、入力部１００Ａから入力された間取り図画像に対する解析を行う。当該解析の結果得られる間取り図解析結果には、壁の位置、部屋の領域、部屋の用途（ダイニング、風呂等等）、設置物（風呂、便器、ドア等）の検出などを含むことができる。間取り識別部２００の機能や構成については、図２等を参照しながら後述する。
　モデル生成部３００は、間取り識別部２００による間取り図画像の解析結果、及び、入力部１００Ｂから入力された物件情報を用いて、対象物件の３Ｄモデルを生成する。モデル生成部３００の機能や構成については、図１２等を参照しながら後述する。
　出力部４００は、モデル生成部３００が生成した３Ｄモデルを外部へ出力する。出力部４００による出力方法は種々考えられる。例えば出力部４００は、インターネット上のクライアント端末から仮想空間として表現される３Ｄモデル内をユーザが任意に視点を変えながら（仮想空間内で移動しながら）閲覧可能なように、３Ｄモデルをウェブコンテンツの一部として出力することが考えられる。又は、出力部４００は、生成した３Ｄモデルを、ＨＤＤやフラッシュメモリ等の各種記憶媒体に出力することも考えられる。しかしながら出力部４００による出力方法は、これらに限られるものではない。
［２．２　間取り識別部２００の機能構成］
　次に、間取り識別部２００の機能構成を、図２を参照しながら説明する。図２に示すとおり、間取り識別部２００は、入力部２１０と、線分検出部２２０と、領域セグメンテーション部２３０と、文字認識部２４０と、設置物検出部２５０と、統合部２６０と、出力部２７０とを含む。
　入力部２１０は、図１に示した入力部１００Ａから入力された、物件の二次元間取り図画像の入力を受けるインタフェースである。入力部２１０は、入力された間取り図画像を、線分検出部２２０、領域セグメンテーション部２３０、文字認識部２４０、及び設置物検出部２５０にそれぞれ出力する。
　線分検出部２２０は、間取り図画像を解析することにより、壁に相当すると推定される線分を検出する。線分検出部２２０の処理の詳細は図３を参照しながら後述する。
　領域セグメンテーション部２３０は、間取り図画像を解析することにより、各々の部屋に相当すると推定される領域セグメンテーションを検出する。領域セグメンテーション部２３０の処理の詳細は図４を参照しながら後述する。
　文字認識部２４０は、間取り図画像を解析することにより、間取り図画像に含まれる文字列を検出する。例えば、図３（ａ）や図５に示した間取り図画像の例であれば、「和室６」、「洋室６．５」、「ＤＫ７」、「洋室４．５」、「玄関」、「押入」、「物置」、「バルコニー」等の文字列を文字認識部２４０は検出することができる。文字認識部２４０は、後述の図１０に示すように、検出された文字列をキーとして部屋種類辞書１００１を参照することで、どのような部屋の種類を示す文字列であるかを特定することができる。例えば、「ＤＫ」という文字列が「ダイニングキッチン」を示すことを部屋種類辞書に登録されていれば、文字認識部２４０は、「ＤＫ７」という文字列が配置されている座標に対応付けて、「ダイニングキッチン」という情報を統合部２６０に出力することができる。また、「７」「６．５」等の数字が検出されれば、当該数字は例えば部屋の畳数等に相当する情報と考えられるため、文字認識部２４０は数字を、文字列が配置されている位置座標に対応付けて統合部２６０に出力しても良い。
　設置物検出部２５０は、間取り画像を解析することにより、間取り図画像に含まれる記号等から設置物を検出する。例えば、便器記号（トイレ）、浴槽記号（風呂）、ドア記号、システムキッチン記号（台所）等を設置物検出部２５０は検出する。設置物検出部２５０による検出処理は、図６を参照しながら後述する。
　統合部２６０は、線分検出部２２０、領域セグメンテーション部２３０、文字認識部２４０、及び設置物検出部２５０による解析結果を統合して間取り図解析結果を生成する。当該統合方法については、図９乃至図１１を参照しながら後述する。
　出力部２７０は、統合部２６０により生成された間取り図解析結果を、３Ｄモデル生成のためにモデル生成部３００へと出力するインタフェースである。
［２．２．１　線分検出部２２０の処理］
　以下、線分検出部２２０による処理の実施形態を図３で画像の具体例を参照しながら説明する。図３（ａ）は、線分検出部２２０に入力される間取り図画像の具体例である。
　線分検出部２２０は、入力された間取り図画像（図３（ａ））に対し、まず、各画素が０～２５５のいずれかの画素値を持つグレースケールに変換する。その上で、線分検出部２２０は、画素値が閾値（例えば１００）以上の場合に白、閾値未満の場合に黒となるように、画素値を２値化したモノクロ２値化画像を生成する。図３（ｂ）に、図３（ａ）の間取り図画像を２値化したモノクロ画像の具体例を示す。なお、図３（ｂ）の例では、白と黒が反転されている。
　次に、線分検出部２２０は、生成されたモノクロ２値化画像に対して収縮処理を行う。以下、収縮処理について簡単に説明する。収縮処理では、処理対象画素の近傍領域内の各画素の画素値のうち、最小のものを当該処理対象画素の画素値とする。例えば、処理対象画素を中心とする３画素×３画素を近傍領域とすると、その３画素×３画素内に値が０（黒）の画素が１つでもあれば、処理対象画素の画素値は０となる。一方、近傍領域内の全ての画素の画素値が１（白）であれば、処理対象画素の画素値は１となる。なお、収縮処理の反対となる膨張処理では、処理対象画素の近傍領域内の各画素の画素値のうち、最大のものを当該処理対象画素の画素値とする。例えば、処理対象画素を中心とする３画素×３画素を近傍領域とすると、その３画素×３画素内に値が１（白）の画素が１つでもあれば、処理対象画素の画素値は１となる。反対に、近傍領域内の全ての画素の画素値が０（黒）であれば、処理対象画素の画素値は０となる。なお、収縮処理や膨張処理において、近傍領域のサイズは任意であり、例えば４画素×４画素等、任意の領域を近傍領域として設定することができる。
　図３（ｂ）に示した２値化画像に対して収縮処理を行った結果を図３（ｃ）に示す。図３（ｃ）に示すとおり、収縮後の画像では、図３（ｂ）において太く描かれていた壁部分が少し細い線で表現されるとともに、壁よりも細い線で描かれていた窓や台所等の設置物を表現していた線や、文字列等がほぼ消えている。
　なお、太い文字が間取り図に含まれている場合には、収縮処理を行っても消えずに残り、壁として検出されてしまう可能性がある。そこで、間取り図画像に対して予め文字検出処理を施し、文字列として判定された箇所を、文字列の周辺領域の色で予め塗りつぶす前処理を行うことも考えられる。
　続いて線分検出部２２０は、収縮処理後の画像に対して線分検出を行う。線分検出処理の手法は種々考えられるが、例えば確率的ハフ変換を用いることが考えられる。確率的ハフ変換では、図３（ｃ）に具体例を示した収縮処理後の画像に対し、まず、より多くの特徴点（本実施形態では、画素値が白となる画素）を通る直線をハフ変換により検出する。次に線分検出部２２０は、検出された直線の内、特に高い確率で線が存在する部分（線分）を検出する。
　なお、線分検出の方法は確率的ハフ変換を用いる手法に限られるものではなく、例えば、線分検出器（ＬＳＤ：Ｌｉｎｅ　Ｓｅｇｍｅｎｔ　Ｄｅｔｅｃｔｏｒ）を用いる手法等も考えられる。
　図３（ｄ）に、図３（ｃ）に示した画像に対して、線分検出部２２０による線分検出処理がなされた画像の具体例を示す。図３（ｄ）に示すとおり、図３（ａ）に示した間取り図画像において壁として表現されていた箇所が、各々線分として表現されている。
　更に線分検出部２２０は、線分検出処理により検出された各々の線分に対して、１つの線から派生して生成されたと考えられる線分をまとめるクラスタリング処理を行う。線分検出の元となる線が太い場合や画像の状態によっては、線分検出処理の結果、１つの壁に対して２本の線分が検出される場合がある。よって、一方の線の始点及び終点座標が他方の線の線上に近いか否かを判定し、一方の線の始点及び終点のいずれもが、他方の線に近ければ、当該一方の線を他方の線と纏めるクラスタリング処理を線分検出部２２０は行う。図３（ｅ）に、図３（ｄ）の線分検出結果に対してクラスタリング処理を行った後の画像例を示す。この結果得られている線分は、間取り図画像において壁に相当する部分であると捉えることができる。
［２．２．２　領域セグメンテーション部２３０の処理］
　続いて領域セグメンテーション部２３０による処理の実施形態を図４で画像の具体例を参照しながら説明する。図４（ａ）は、領域セグメンテーション部２３０に入力される間取り図画像の具体例である。
　領域セグメンテーション部２３０は、まず、入力された間取り図画像に対して文字列検出を施す。その結果、文字列として判定された箇所を、領域セグメンテーション部２３０は文字列の周辺領域の色で塗りつぶす文字消し処理を前処理として行う。図４（ｂ）に文字消し処理を行った後の画像例を示す。
　領域セグメンテーション部２３０は、文字消し処理を行った画像に対して２値化処理を施すことにより、図４（ｃ）に具体例を示す２値化画像を生成する。２値化画像の生成方法については図３を参照しながら上述したため、ここでは省略する。
　領域セグメンテーション部２３０は、生成した２値化画像に対してモルフォロジー演算のオープン（Ｏｐｅｎ）処理を行う。オープン処理は、処理対象の画像に対して、膨張処理を施してから収縮処理を行うことを言う。なお、膨張処理及び収縮処理の組み合わせは複数回行っても良い。膨張処理及び収縮処理については、図３を参照しながら上述したため、ここでは説明を省略する。図４（ｄ）にオープン処理後の画像の具体例を示す。図４（ｄ）の例を見ると、図４（ａ）の間取り図画像において窓や引き戸等を表現していた部分の多くが太く黒い線となり、壁と同様に表現されていることがわかる。
　領域セグメンテーション部２３０は、オープン処理により生成された画像に対して、セグメンテーション処理を施す。当該セグメンテーション処理において領域セグメンテーション部２３０は、２値化された画像において、同じ画素値が連続している領域を抽出することにより、画像を複数の領域を分割する。このようにして生成された領域は、間取り図画像上、部屋に相当する部分であると推測される。
　なお、領域セグメンテーション処理は図４を参照しながら上述した手法に限られるものではない。例えば、セグメンテーション処理前に、上記以外の各種処理を加えることにより精度を向上させることも考えられる。或いは、２値化画像を生成せずに、色特徴を利用してセグメンテーションを行っても良い。この場合には、色特徴やテクスチャ特徴等を用いて、類似する特徴の領域を、同一のセグメンテーションを示す領域として判定することができる。この他、セグメンテーション手法としては、例えば、グラフカットや領域成長、エッジ検出、深層学習（畳み込みニューラルネットワーク）、統治分割法等を用いることも考えられる。
［２．２．３　設置物検出部２５０の処理］
　設置物検出部２５０の処理の実施形態を、図５乃至図８を参照しながら説明する。設置物検出部２５０は、先述の通り、間取り図画像に、記号（以下、設置物記号ともいう。）として描写される設置物を検出する。検出対象の設置物としては、例えば、便器（トイレ）、浴槽（風呂）、ドア、システムキッチン（台所）等が考えられる。ここでは、ドアを検出する場合を中心に説明する。図５に示した間取り図画像の例であれば、玄関のドアに相当するドア記号５１、及びトイレのドアを示すドア記号５２が間取り図画像に含まれている。設置物検出部２５０は当該ドア記号５１及び５２を検出する。
　以下、図６を参照しながら、設置物検出部２５０による処理の流れを説明する。まず、設置物検出部２５０は、図６（ａ）に具体例を示す間取り図画像に対し、２値化等の各種画像処理を行う。図６（ｂ）は、画像処理後の画像例を示している。次に設置物検出部２５０は、当該画像処理後の画像を順次走査することにより（図６（ｃ））、記号候補領域を抽出する（図６（ｄ））。この際、記号候補領域のサイズを変えながら複数回走査することで、様々な大きさで記号候補領域を抽出することができる。
　なお、記号候補領域の抽出方法は、対象画像上の走査に限られるものではない。例えば、セレクティブ・サーチ（Ｓｅｌｅｃｔｉｖｅ　Ｓｅａｒｃｈ）により、ピクセルレベルで類似する領域をグルーピングしていくことで、記号候補領域を選出することも考えられる。
　このようにして生成された記号候補領域の各々に対して、設置物検出部２５０は特徴量を算出する。設置物検出部２５０が記号候補領域に対して算出する特徴量は種々考えられるが、例えば、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ　ｏｆ　Ｏｒｉｅｎｔｅｄ　Ｇｒａｄｉｅｎｔｓ）特徴量が考えられる。ＨＯＧ特徴量を用いる場合には、まず設置物検出部２５０は、入力画像（ここでは記号候補領域）を例えば８画素×８画素等のブロックに分割する。次に設置物検出部２５０は、当該ブロック内に含まれる各々のピクセルに対して、画像の明るい部分から暗い部分へ向けた、局所領域での輝度勾配（エッジ方向）を算出する。この輝度勾配をブロック内で集計することで、輝度勾配のヒストグラムがブロックの数だけ生成される。このヒストグラムの集合が、ＨＯＧ特徴量となる。なお、設置物検出部２５０が算出する特徴量はＨＯＧ特徴量に限られるものではなく、例えば、ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄｅｄ　Ｕｐ　Ｒｏｂｕｓｔ　Ｆｅａｔｕｒｅｓ）、ＬＢＰ（Ｌｏｃａｌ　Ｂｉｎａｒｙ　Ｐａｔｔｅｒｎ）等、他の特徴量であっても良い。
　このようにして算出された、各々の記憶候補領域の特徴量を、検出対象となる設置物記号（ここではドア記号）を検出するための検出器に入力することで、記憶候補領域が検出対象の設置物記号であるか否かを判定することができる。
　以下、設置物記号（ここではドア記号）を検出するための検出器の生成方法の実施形態を、図７乃至図８Ｂを参照しながら説明する。図７は、設置物記号を検出する検出器の生成を情報処理装置７０の機能構成を示す図である。図７に示すとおり、情報処理装置７０は、入力部７１と、画像特徴量算出部７３と、機械学習モデル生成部７５と、出力部７７とを含む。
　入力部７１は、検出器となる機械学習モデルを生成するために必要となる正解データ及び不正解データ（以下、総称して教師データともいう。）の入力を受ける。図８に、入力部７１に入力される正解データ及び不正解データの具体例を示す。入力データは、正解データであるか不正解データであるかを示す情報（例えばフラグ）と、画像との組み合わせで構成される。
　画像特徴量算出部７３は、入力された教師データの画像から、画像特徴量を算出する。この際算出する特徴量は、上述の設置物検出部２５０で算出する特徴量と同一であれば、ＨＯＧ、ＳＩＦＴ、ＳＵＲＦ、ＬＢＰ等、いずれを用いても良い。
　機械学習モデル生成部７５は、算出した画像特徴量と、正解データであるか不正解データであるかの情報とを用いて、機械学習を行う。機械学習の手法は種々考えられるが、例えば、畳み込みニューラルネットワークによる深層学習等が考えられる。当該学習方法においては、教師データの入力毎に、機械学習モデルであるニューラルネットワークを構成するノードのパラメータが変化する。多数の教師データ入力により、機械学習モデルは、好適に正解であるか不正解であるか（ドア画像であるか否か）を判別できるようになる。
　出力部７７は、このようにして生成された機械学習モデルを、設置物記号を検出するための検出器として出力する。
　なお、上述の設置物検出部２５０の実施形態では、入力された間取り図画像に対して、記号候補領域を選択した上で、機械学習モデルである検出器に記号候補領域を入力することにより、検出対象となる設置物を検出していたが、これに限られるものではない。例えば、記号候補領域の選定から検出対象となる設置物記号の判別までを行う深層学習手法、例えばＦａｓｔｅｒ　Ｒ－ＣＮＮを用いて設置物検出部２５０が設置物を検出することも考えられる。
［２．２．４　統合部２６０の処理］
　統合部２６０の処理の実施形態を、図９乃至図１１を参照しながら説明する。先述の通り、統合部２６０は、線分検出部２２０、領域セグメンテーション部２３０、文字認識部２４０、及び設置物検出部２５０による検出結果を統合することにより、間取り図解析結果を生成する。
　まず、線分検出部２２０による検出結果と、領域セグメンテーション部２３０による検出結果との統合方法を、図９を参照しながら説明する。先述の通り、入力部２１０に入力された間取り図画像（図９（ａ））に対し、線分検出部２２０は、物件の壁に相当する線分を検出する（図９（ｂ））。領域セグメンテーション部２３０は、間取り図画像（図９（ａ））に対して部屋に相当する領域を検出する（図９（ｃ））。
　ここで一般的に、各々の部屋は、壁、窓、ドア、引き戸等により周囲を囲われる。よって、領域セグメンテーションの結果部屋として検出された各領域（以下、部屋領域）は、線分検出の結果壁として検出された線分に加え、窓やドア等で囲われるべきだと考えられる。そこで統合部２６０は、線分検出部２２０による検出結果と、領域セグメンテーション部２３０による検出結果とを、位置を合わせて照合する（図９（ｄ））。その結果、部屋領域の周囲に線分の開放部分があれば（図９（ｄ）の点線部分）、当該部分を窓やドア、引き戸に相当する部分に統合部２６０は設定する。具体的には、例えば、外部との開放部分は窓やドアに、部屋領域間の境界部分は引き戸やドアに設定することができる。このような処理により統合部２６０は部屋構造を得ることができる。なお、ドア部分については、設置物検出部２５０によるドア記号の検出結果を用いることもできる。この場合、ドアとして検出された以外の部分を、引き戸や窓として設定すれば良い。
　次に、領域セグメンテーション部２３０による検出結果と、文字認識部２４０や設置物検出部２５０による検出結果との統合方法を、図１０を参照しながら説明する。
　先述の通り、領域セグメンテーション部２３０は、間取り図画像（図１０（ａ））から部屋に相当する領域を検出する。しかしながら、部屋領域への分割だけでは、各部屋がどのような機能をもった部屋なのか（例えば、台所なのか、リビングなのか、洋室なのか、トイレなのか、等）はわからない。そこで統合部２６０は、文字認識部２４０や設置物検出部２５０による検出結果により部屋の種類等を特定する。
　先述の通り、文字認識部２４０は、間取り図画像（図１０（ａ））中に含まれる文字列を検出する。図１０の例であれば、図１０（ｃ）中点線で囲われた、「ＤＫ７」「洋室４．５」「和室６」「押入」「玄関」等の文字列が検出される。文字認識部２４０は、当該検出した文字列をキーとして部屋種類辞書１００１を参照することで、部屋の種類である「ダイニングキッチン」「洋室」「和室」「押入れ」等を特定することができる。統合部２６０は、「ダイニングキッチン」等の部屋の種類を特定することになった文字列（この例では「ＤＫ７」）の位置と、領域セグメンテーション部２３０により検出された領域とを照合することで、どの領域が「ダイニングキッチン」に相当するかを特定することができる。なお、各部屋の広さ（畳数）の情報も、間取り図画像の文字列から文字認識部２４０が特定し、各部屋と対応付けても良い。
　設置物検出部２５０は、先述の通り間取り図画像（図１０（ａ））中に含まれる設置物記号を検出する。図１０の例であれば、図１０（ｃ）中破線で囲われた、便器（トイレ）、浴槽（風呂）、システムキッチン（台所）等の設置物記号が検出される。よって統合部２６０は、それらの設置物記号の位置と、領域セグメンテーション部２３０により検出された領域とを照合することで、どの領域が「トイレ」や「風呂」に相当するかを特定することができる。
　続いて、図９を参照しながら説明した処理により得られた補完後の部屋構造（図１１（ａ））と、図１０を参照しながら説明した処理により得られた部屋の種類情報（図１１（ｂ））との統合処理について、図１１を参照しながら説明する。なお、図１１（ａ）に示す補完後の部屋構造では、壁と推定される部分、ドアと推定される部分、引き戸と推定される部分、窓と推定される部分は、それぞれ区別して管理される。先述の通り、例えば、ドア記号により特定された部分をドア、部屋間の補完部分を引き戸、外部と部屋との間の補完部分を窓として管理することができる。
　統合部２６０は、図１１（ａ）に示した補完後の部屋構造と、図１１（ｂ）に示した部屋種類特定後の部屋とを照合する（図１１（ｃ））。その上で統合部２６０は、当該間取りにおける部屋構造をグラフ化して表現する（図１１（ｄ））。当該グラフ構造では、部屋がノードとして表現されている。図１１（ｄ）の例では、「ダイニングキッチン」は「ＤＫ」、「玄関」は「玄」として簡略化して表示されている。部屋間の接続関係（窓やドア、引き戸等）はリンクとして表現されている。例えば、ダイニングキッチンと洋室が引き戸でつながっていると推定される場合には、ダイニングキッチンのノードと洋室のノードとの間にリンクが設定される。
　このようにして生成された部屋構造のグラフにおいて、どの部屋とも繋がっていない部屋があれば、推定した部屋構造に誤りがあると考えられる。よってこの場合には、間取り識別部２００は再度、線分検出処理や部屋構造の補完処理等を、パラメータ等を変えてやり直す。
　もし生成された部屋構造グラフに大きな問題がなければ、図１１（ｃ）に具体例を示したものが間取り解析結果として出力部２７０に渡される。
［２．３　モデル生成部３００の機能構成］
　続いて、モデル生成部３００の機能構成を、図１２を参照しながら説明する。図１２に示すとおり、モデル生成部３００は、入力部３１０Ａ及び３１０Ｂと、スケール推定部３２０と、室内情報抽出部３３０と、周辺風景生成部３４０と、家具配置生成部３５０と、３Ｄモデル生成部３６０とを含む。
　入力部３１０Ａは、図１に示した間取り識別部２００から出力された間取り図解析結果の入力を受ける。また入力部３１０Ｂは、図１に示した入力部１００Ｂから入力された各種物件情報の入力を受ける。入力部１００Ｂから入力される物件情報には、例えば、物件の室内で撮影された写真、位置情報（住所や緯度経度等）、方位、階数、築年数、専有面積等の情報が含まれる。
　スケール推定部３２０は、間取り解析結果に係る間取りのスケールを推定する。物件情報には専有面積の情報が含まれるが、間取り解析結果に係る間取りの外縁内の面積が当該物件の専有面積に相当すると考えられるため、両者の比率に応じて、スケール推定部３２０はスケールを算出する。
　室内情報抽出部３３０は、入力部３１０Ｂから入力された物件の室内画像を解析する。具体的には、テクスチャの抽出処理や部屋の構造解析（例えば部屋の高さの推定）等を室内情報抽出部３３０は行う。室内情報抽出部３３０の処理の詳細は、図１３及び図１４を参照しながら後述する。
　周辺風景生成部３４０は、物件の窓等から見える昼夜の風景情報や日差し情報を生成する。具体的には、入力部３１０Ｂから、物件の位置情報（例えば、緯度経度情報や住所情報）や物件の向きの情報、階数情報（高さ情報）が入力されれば、周辺風景生成部３４０は、風景情報をインターネット上の風景生成サービス（例えば、Ｇｏｏｇｌｅ（登録商標）　Ｅａｒｔｈ）、天体情報及び日照時間データ等から取得する。
　家具配置生成部３５０は、物件の３Ｄモデルにどのような家具が配置できるかをユーザがイメージできるように、３Ｄ家具情報を生成する。この時、生成する３Ｄ家具情報は、例えば、家具を配置する部屋の種類毎に予め用意することができる。リビングであればソファとテーブル、ダイニングであればダイニングテーブルとダイニングチェアの組み合わせ等を、事前準備の３Ｄ家具モデルとして用意すれば良い。物件の３Ｄモデルに配置する家具のスケールは、スケール推定部３２０が推定したスケールに合わせて調整可能である。なお、物件の３Ｄモデルに３Ｄ家具モデルを配置しないのであれば、家具配置生成部３５０は不要である。
　３Ｄモデル生成部３６０は、入力された間取り図解析結果と、スケール推定部３２０、室内情報抽出部３３０、周辺風景生成部３４０、及び家具配置生成部３５０が生成した情報とを統合して、物件の３Ｄモデルを生成する。具体的には、例えば、間取り図解析結果により得られる２次元の間取りに対して、室内情報抽出部３３０が検出した高さを持たせることで、物件の３次元化ができる。更に、当該３次元化された物件に対して、室内情報抽出部３３０が抽出した床や壁等のテクスチャ情報を適用することで、テクスチャを含む３次元モデルが生成される。これに、周辺風景生成部３４０が生成した風景情報や、家具配置生成部３５０が生成した３Ｄ家具モデルを組み合わせれば、窓から見える眺望や室内に配置される家具等も３Ｄモデル上で再現される。３Ｄモデル生成部３６０の処理の一部は、図１５を参照しながら後述する。
［２．３．１　テクスチャ抽出処理］
　以下、図１３を参照しながら、室内情報抽出部３３０による室内画像からのテクスチャ抽出処理を説明する。先述の通り、室内情報抽出部３３０は、物件情報の一部として入力された室内画像から、物件内部の壁や床、天井のテクスチャを抽出する処理を行う。当該抽出されたテクスチャは、３Ｄモデル生成部３６０により３Ｄモデルが生成される際に、壁や床に適用される。そのためには、処理対象の室内画像が、どの部屋（キッチンであるか、リビングであるか等）の画像であるかを特定する必要がある。また、床や壁等に適用すべきテクスチャを画像中のどの部分から抽出すべきかを特定しなければならない。
　室内画像がどの種類の部屋に対応するかは、例えば、深層学習により生成した識別器により判定することができる。部屋を判別するための識別器は、例えば、図７及び図８を参照しながら説明した設置物記号を検出するための検出器と同様の方法で生成できる。具体的には、例えば、正解データであるキッチンの多数の画像と、不正解データであるキッチン以外の画像、例えば風呂やリビングの多数の画像とを教師データとして入力し、深層学習により生成可能である。このような識別器を部屋の種類の数だけ用意し、例えば最も可能性の高い種類の部屋を、入力された室内画像が対応する部屋とすることができる。
　次に、テクスチャの抽出について説明する。テクスチャ、即ち対象物の色・模様・想定される素材等の抽出に際しては、まず、室内写真のどの部分に何が写っているかを特定し、その上で、例えば壁が写っている部分や床が写っている部分の特徴を解析する。よって、まずは写真内のどの位置に何が写っているかを特定するためにセグメンテーションする必要がある。
　セグメンテーション処理は、例えば、深層学習モデルにより行うことができる。まず、室内写真に対し、どの領域が、壁、ソファ、ベッド、テーブル等の何に対応するかを人手でタグ付けした、教師データを用意する。当該教師データを、セグメンテーション用に設計された深層学習モデルで学習させる。このようにして生成された学習後の深層学習モデルに対し、処理対象の室内写真を入力することで、図１３（ｃ）に例示する、セグメンテーション後の画像が生成される。この結果、壁や床、台所等として検出された領域（例えば、その部屋の特徴的な部分について図１３（ｃ）中、点線領域）を、テクスチャとして抽出すれば良い。
［２．３．２　部屋画像の構造解析］
　以下、図１４を参照しながら部屋画像の構造解析を説明する。部屋画像の構造解析を、間取り解析結果などと組み合わせれば、部屋の天井の高さ等を推定することが可能である。
　図１４（ａ）に記載した室内画像が入力され、当該室内画像に対して線分検出処理を行うと、図１４（ｂ）に示すような画像が生成される。図１４（ｂ）において、検出された線分は太線で示されている。図１４（ｂ）を見ると、壁の境界や床と壁の境界、ドアと壁の境界等に加え、床の突板の境界の一部等も、線分として検出されている。
　線分検出結果を、エネルギー関数に適用する。当該エネルギー関数は、線分の長さや交差、角の構成等を考慮して定義されるものである。例えば、長く、画像の端で交差し、３点で角を構成する線分ほど、部屋を構成する境界線分である可能性が高いものとしてエネルギー関数を定義できる。よって、図１４（ｂ）に示す線分検出に、このようなエネルギー関数を適用すると、図１４（ｂ）に示すように、壁間の境界や、床と壁の境界、壁と天井の境界等が線分として検出されている。
　このようにして、部屋の構造を構成する、壁間の境界や床と壁の境界や、壁と天井の境界の線分が特定されれば、間取りの幅と、天井の高さとの比が特定できる。よって、３Ｄモデル生成部３６０において、間取り図解析結果と物件の広さとから推定される物件の縮尺と、室内情報抽出部３３０での構造解析結果とを組みわせることにより、天井高を推定することができる。
　なお、３Ｄモデル生成部３６０における天井高の推定方法はこれに限られるものではない。例えば、建築年に応じて建築基準が異なることを利用する手法も考えられる。この場合には、建築年毎に平均的な天井高のテーブルを予め用意しておき、物件情報から取得される建築年に応じた天井高を適用することも考えられる。また、施主の種別、例えば公社などの物件等で仕様の規格化が見られるような場合は、この規格のテーブルを用意する。
［２．３．３　テクスチャ適用処理］
　以下、３Ｄモデル生成部３６０に係る一部の処理の実施形態を説明する。先述の通り、室内情報抽出部３３０において、どの種類の部屋において、床や壁、天井等に、どの種類のテクスチャを適用すべきかが特定される。そこで、３Ｄモデル生成部３６０は、間取り図解析結果中で、種類が合致する部屋の床や壁、天井等に、室内情報抽出部３３０において抽出されたテクスチャを適用すれば良い。
　或いは、部屋を周状に撮影したパノラマ画像が取得できる場合には、位置合わせをした上で、当該パノラマ画像をそのままテクスチャとして貼り付けることも考えられる。パノラマ画像の具体例を図１５（ａ）に示す。室内情報抽出部３３０は、当該画像に対して曲線補正する。また室内情報抽出部３３０は、セグメンテーションにより写っている構造物を特定するとともに、それらの位置関係（相対角度）を特定する（図１５（ｂ））。
　その情報を受け取った３Ｄモデル生成部３６０は、間取り図解析結果に含まれる各部屋の構造物の内、構造物の相対的な位置関係が合致する部屋を探す。例えば、扉と窓、収納扉の相対的な角度が、パノラマ画像から特定された相対的な角度と略合致する部屋があれば、当該部屋とパノラマ画像が対応することがわかる。よって３Ｄモデル生成部３６０は、当該部屋のテクスチャとして、構造物の位置合わせをした上でパノラマ画像を適用すれば良い。
［３　ハードウェア構成］
　図１６を参照しながら、情報処理装置１のハードウェア構成について説明する。図１６に示すように、情報処理装置１は、制御部１６０１と、通信インタフェース（Ｉ／Ｆ）部１６０５と、記憶部１６０７と、表示部１６１１と、入力部１６１３とを含み、各部はバスライン１６１５を介して接続される。
　制御部１６０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ。図示せず）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ。図示せず）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１６０３等を含む。制御部１６０１は、記憶部１６０７に記憶される制御プログラム１６０９を実行することにより、一般的なコンピュータとしての機能に加え、上述した間取り図画像や物件情報からの３Ｄモデル生成処理を実行可能に構成される。例えば、図１を参照しながら説明した入力部１００Ａ及び１００Ｂ、間取り識別部２００、モデル生成部３００及び出力部４００は、ＲＡＭ１６０３に一時記憶された上で、ＣＰＵ上で動作する制御プログラム１６０９として実現可能である。
　また、ＲＡＭ１６０３は、制御プログラム１６０９に含まれるコードの他、入力される間取り図画像やその他物件情報等の一部又は全部を一時的に保持する。更にＲＡＭ１６０３は、ＣＰＵが各種処理を実行する際のワークエリアとしても使用される。
　通信Ｉ／Ｆ部１６０５は、必要に応じて外部装置との間で、有線又は無線によるデータ通信を行うためのデバイスである。例えば、間取り図画像やその他の物件情報は、通信Ｉ／Ｆ部１６０５から受信したものであり得る。また、作成した３Ｄモデルは、通信Ｉ／Ｆ部１６０５を介して、例えばネットワークを介してクライアント端末に送信可能である。
　記憶部１６０７は、例えばＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）やフラッシュメモリ等の不揮発性の記憶媒体である。記憶部１６０７は、一般的なコンピュータとしての機能を実現するためのオペレーティングシステム（ＯＳ）やアプリケーション及びデータ（図示せず）を記憶する。また記憶部１６０７は、制御プログラム１６０９を記憶する。前述のとおり、図１に示した入力部１００Ａ及び１００Ｂ、間取り識別部２００、モデル生成部３００、及び出力部４００は、制御プログラム１６０９に含むことができる。
　表示部１６１１は、ユーザに各種情報を提示するためのディスプレイ装置である。表示部１６１１の具体例としては、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が挙げられる。出力部４００により出力された３Ｄモデルは、表示部１６１１が表示可能である。
　入力部１６１３は、管理者から入力を受け付けるためのデバイスである。入力部１６１３の具体例としては、キーボードやマウス、タッチパネル等を挙げることができる。
　なお、情報処理装置１は、表示部１６１１及び入力部１６１３を必ずしも備える必要はない。また表示部１６１１及び入力部１６１３は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）やディスプレイポート等の各種インタフェースを介して外部から情報処理装置１に接続されても良い。
［４　本実施形態の効果］
　以上説明したように、本実施形態に係る情報処理装置１は、間取り図画像や室内撮影写真等を含む物件情報から自動的に不動産物件の３Ｄモデルを生成する。これにより当該情報処理装置は、生成した３Ｄモデルを元に、バーチャルリアリティでの室内の閲覧や、インテリアのシミュレーションを可能とする。また、当該３Ｄモデルのバーチャル空間内での不動産会社の営業担当と通話により、内覧案内等も可能となる。加えて、インテリアコーディネータにより当該バーチャル空間内でインテリアの提案を受けることにより、物件の販売から家具の販売までを一本化することも可能となる。
［５　付記］
　以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
１…情報処理装置、７０…情報処理装置、７１…入力部、７３…画像特徴量算出部、７５…機械学習モデル生成部、７７…出力部、１００Ａ、１００Ｂ…入力部、２００…間取り識別部、２１０…入力部、２２０…線分検出部、２３０…領域セグメンテーション部、２４０…文字認識部、２５０…設置物検出部、２６０…統合部、２７０…出力部、３００…モデル生成部、３１０Ａ、３１０Ｂ…入力部、３２０…スケール推定部、３３０…室内情報抽出部、３４０…周辺風景生成部、３５０…家具配置生成部、３６０…３Ｄモデル生成部、４００…出力部、１６０１…制御部、１６０３…ＲＡＭ、１６０５…通信Ｉ／Ｆ（インタフェース）部、１６０７…記憶部、１６０９…制御プログラム、１６１１…表示部、１６１３…入力部、１６１５…バスライン

Claims (7)

  1. 　不動産物件の間取り図画像の入力を受ける第１入力部と、
    　前記不動産物件の広さ情報を含む物件情報の入力を受ける第２入力部と、
    　前記間取り図画像に基づいて間取り情報を生成する間取り識別部と、
    　前記間取り情報を用いて、前記不動産物件の３次元モデルを生成するモデル生成部と、
    　生成した前記３次元モデルを出力する出力部と
    を備える情報処理装置であって、
    　前記間取り識別部は、
    　前記間取り図画像に対して２値化処理を行った画像に対して収縮処理を施した上で線分検出処理を行い、検出された線分に対してクラスタリングを行うことにより、間取り上の壁に相当する線分を検出する線分検出部と、
    　前記間取り図画像に対して膨張処理及び収縮処理を組み合わせたモルフォロジー演算のオープン処理を施した上でセグメンテーション処理を行うことにより、間取り上の部屋に相当する部屋領域を特定するセグメンテーション処理部と、
    　前記間取り図画像に含まれる文字列を認識する文字認識部と、
    　前記間取り図画像に含まれる設置物記号を検出する設置物検出部と、
    　特定された前記部屋領域と、前記文字列の認識結果及び前記設置物記号の検出結果とに基づいて前記部屋領域の部屋の種類を特定すると共に、前記部屋領域と前記線分検出部による検出結果とに基づいて部屋構造を補完する統合部と
    を備え、
    　前記モデル生成部は、
    　前記間取り情報により特定される間取りと、前記物件情報に含まれる前記広さ情報とに基づき、前記間取りの縮尺を推定する推定部と、
    　前記間取り情報により特定される間取りと、前記縮尺と、推定される天井高とに基づいて、前記不動産物件の３次元モデルを生成する生成部と
    を備える、情報処理装置。
  2. 　前記第２入力部から入力される前記物件情報には、前記不動産物件内で撮影した室内写真が含まれ、
    　前記モデル生成部は、前記室内写真に対するセグメンテーション処理により、前記室内写真に写る１以上の被写体を特定すると共に、前記被写体の内、少なくとも壁及び床に相当する部分をテクスチャとして抽出する室内情報抽出部を更に備え、
    　前記生成部は、前記３次元モデルに含まれる各部屋の内、前記室内写真が対応すると推定される部屋に対して、前記テクスチャを適用する、
    請求項１記載の情報処理装置。
  3. 　前記室内情報抽出部は、前記室内写真に対する線分検出及びエネルギー関数に基づく境界線分の推定により、四方平面上の線と高さ方向の線の比を特定し、
    　前記モデル生成部は、
    　前記間取りと、前記縮尺と、前記比とに応じて、前記天井高を推定する、
    請求項２記載の情報処理装置。
  4. 　前記生成部は、前記不動産物件の建築年に応じて、前記天井高を推定する、
    請求項１又は請求項２記載の情報処理装置。
  5. 　前記第２入力部から入力される前記物件情報には、前記不動産物件の位置情報が含まれ、
    　前記モデル生成部は、前記位置情報から、前記不動産物件の風景情報を取得する風景情報生成部を更に備え
    　前記生成部は、前記３次元モデルに対して前記風景情報を適用する、
    請求項１から４のいずれか１項記載の情報処理装置。
  6. 　不動産物件の間取り図画像の入力を受ける第１ステップと、
    　前記不動産物件の広さ情報を含む物件情報の入力を受ける第２ステップと、
    　前記間取り図画像に基づいて間取り情報を生成する第３ステップと、
    　前記間取り情報を用いて、前記不動産物件の３次元モデルを生成する第４ステップと、
    　生成した前記３次元モデルを出力する第５ステップと
    を情報処理装置が行う情報処理方法であって、
    　第３ステップは、
    　前記間取り図画像に対して２値化処理を行った画像に対して収縮処理を施した上で線分検出処理を行い、検出された線分に対してクラスタリングを行うことにより、間取り上の壁に相当する線分を検出するステップと、
    　前記間取り図画像に対して膨張処理及び収縮処理を組み合わせたモルフォロジー演算のオープン処理を施した上でセグメンテーション処理を行うことにより、間取り上の部屋に相当する部屋領域を特定するステップと、
    　前記間取り図画像に含まれる文字列を認識するステップと、
    　前記間取り図画像に含まれる設置物記号を検出するステップと、
    　特定された前記部屋領域と、前記文字列の認識結果及び前記設置物記号の検出結果とに基づいて前記部屋領域の部屋の種類を特定すると共に、前記部屋領域と前記線分検出部による検出結果とに基づいて部屋構造を補完するステップと
    を含み、
    　前記第４ステップは、
    　前記間取り情報により特定される間取りと、前記物件情報に含まれる前記広さ情報とに基づき、前記間取りの縮尺を推定するステップと、
    　前記間取り情報により特定される間取りと、前記縮尺と、推定される天井高とに基づいて、前記不動産物件の３次元モデルを生成するステップと
    を含む、情報処理方法。
  7. 　不動産物件の間取り図画像の入力を受ける第１処理と、
    　前記不動産物件の広さ情報を含む物件情報の入力を受ける第２処理と、
    　前記間取り図画像に基づいて間取り情報を生成する第３処理と、
    　前記間取り情報を用いて、前記不動産物件の３次元モデルを生成する第４処理と、
    　生成した前記３次元モデルを出力する第５処理と
    を情報処理装置に実行させるプログラムであって、
    　第３処理は、
    　前記間取り図画像に対して２値化処理を行った画像に対して収縮処理を施した上で線分検出処理を行い、検出された線分に対してクラスタリングを行うことにより、間取り上の壁に相当する線分を検出する処理と、
    　前記間取り図画像に対して膨張処理及び収縮処理を組み合わせたモルフォロジー演算のオープン処理を施した上でセグメンテーション処理を行うことにより、間取り上の部屋に相当する部屋領域を特定する処理と、
    　前記間取り図画像に含まれる文字列を認識する処理と、
    　前記間取り図画像に含まれる設置物記号を検出する処理と、
    　特定された前記部屋領域と、前記文字列の認識結果及び前記設置物記号の検出結果とに基づいて前記部屋領域の部屋の種類を特定すると共に、前記部屋領域と前記線分検出部による検出結果とに基づいて部屋構造を補完する処理と
    を含み、
    　前記第４処理は、
    　前記間取り情報により特定される間取りと、前記物件情報に含まれる前記広さ情報とに基づき、前記間取りの縮尺を推定する処理と、
    　前記間取り情報により特定される間取りと、前記縮尺と、推定される天井高とに基づいて、前記不動産物件の３次元モデルを生成する処理と
    を含む、プログラム。
PCT/JP2017/030868 2016-11-17 2017-08-29 情報処理装置、情報処理方法、及びプログラム Ceased WO2018092382A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/461,267 US11586785B2 (en) 2016-11-17 2017-08-29 Information processing apparatus, information processing method, and program
AU2017362937A AU2017362937B2 (en) 2016-11-17 2017-08-29 Information processing device, information processing method, and program
EP17871632.0A EP3543960B1 (en) 2016-11-17 2017-08-29 Information processing device, information processing method, and program
ES17871632T ES2906990T3 (es) 2016-11-17 2017-08-29 Dispositivo de procesamiento de información, método de procesamiento de información y programa

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-224076 2016-11-17
JP2016224076A JP6116746B1 (ja) 2016-11-17 2016-11-17 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2018092382A1 true WO2018092382A1 (ja) 2018-05-24

Family

ID=58666832

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/030868 Ceased WO2018092382A1 (ja) 2016-11-17 2017-08-29 情報処理装置、情報処理方法、及びプログラム

Country Status (7)

Country Link
US (1) US11586785B2 (ja)
EP (1) EP3543960B1 (ja)
JP (1) JP6116746B1 (ja)
AU (1) AU2017362937B2 (ja)
ES (1) ES2906990T3 (ja)
TW (1) TWI784973B (ja)
WO (1) WO2018092382A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113892125A (zh) * 2019-05-28 2022-01-04 大金工业株式会社 空调机的设置辅助系统
JP2024038915A (ja) * 2022-09-08 2024-03-21 アットホームラボ株式会社 間取り図画像を処理する情報処理装置、情報処理方法及び情報処理プログラム
JP7456262B2 (ja) 2020-04-22 2024-03-27 株式会社大林組 三次元モデル作成支援装置及びプログラム
US12347217B2 (en) 2020-06-30 2025-07-01 Yokogawa Electric Corporation Information processing apparatus, information processing method, and computer program

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3059798B1 (fr) * 2016-12-05 2019-08-02 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede de construction d'une maquette numerique 3d a partir d'un plan 2d
AU2018236433B2 (en) * 2017-03-17 2022-03-03 Magic Leap, Inc. Room layout estimation methods and techniques
KR101887810B1 (ko) * 2017-05-12 2018-09-10 정규영 가상현실과 증강현실을 이용한 이삿짐 시뮬레이션 제공과 이를 통한 부동산 중개 시스템
JP6698240B2 (ja) * 2017-06-08 2020-05-27 ナーブ株式会社 情報管理システム、情報管理サーバ、情報管理方法、及びプログラム
US10395147B2 (en) * 2017-10-30 2019-08-27 Rakuten, Inc. Method and apparatus for improved segmentation and recognition of images
JP6577557B2 (ja) * 2017-12-08 2019-09-18 株式会社Ｌｉｆｕｌｌ 情報処理装置、情報処理方法、及び情報処理用プログラム
EP3506211B1 (en) * 2017-12-28 2021-02-24 Dassault Systèmes Generating 3d models representing buildings
EP3506160B1 (en) * 2017-12-28 2022-06-01 Dassault Systèmes Semantic segmentation of 2d floor plans with a pixel-wise classifier
US11354855B2 (en) * 2018-01-18 2022-06-07 Snaptrude Technologies Private Limited Three-dimensional building information model generation systems and methods
CN108229073B (zh) * 2018-02-09 2021-05-14 广州大学 基于建筑图纸的阳台自动识别方法
CN110225236B (zh) * 2018-03-02 2022-06-28 富士通株式会社 为视频监控系统配置参数的方法、装置和视频监控系统
US10657691B2 (en) * 2018-03-27 2020-05-19 Faro Technologies, Inc. System and method of automatic room segmentation for two-dimensional floorplan annotation
WO2019241771A1 (en) * 2018-06-15 2019-12-19 Riegle Christopher Methods and systems for recognizing geometric units in a computer image
KR102126561B1 (ko) * 2018-07-23 2020-06-24 주식회사 쓰리아이 적응적 삼차원 공간 생성방법 및 그 시스템
JP7149132B2 (ja) * 2018-08-22 2022-10-06 株式会社Lifull 表示制御装置、表示制御方法及び表示制御プログラム
US10832437B2 (en) 2018-09-05 2020-11-10 Rakuten, Inc. Method and apparatus for assigning image location and direction to a floorplan diagram based on artificial intelligence
JP6675743B1 (ja) * 2019-03-18 2020-04-01 ファミリアホームサービス株式会社 間取り図生成装置及び間取り図生成方法
JP7332135B2 (ja) * 2019-04-04 2023-08-23 株式会社美貴本 住宅設計図提供システム
AU2019447524B2 (en) 2019-05-28 2021-12-23 Ke.Com (Beijing) Technology Co., Ltd. Method, apparatus and storage medium for displaying three-dimensional space view
JP6780740B1 (ja) * 2019-05-28 2020-11-04 ダイキン工業株式会社 空気調和機の配置提示システム
JP6780739B1 (ja) * 2019-05-28 2020-11-04 ダイキン工業株式会社 空気調和機の要否判断システム
JP6801047B2 (ja) * 2019-06-06 2020-12-16 東芝エレベータ株式会社 モデル化支援方法およびモデル化支援装置
US10956626B2 (en) * 2019-07-15 2021-03-23 Ke.Com (Beijing) Technology Co., Ltd. Artificial intelligence systems and methods for interior design
CN114450754A (zh) * 2019-08-28 2022-05-06 皇家飞利浦有限公司 用于执行去识别的位置分析的方法和系统
JP6773347B1 (ja) * 2019-09-02 2020-10-21 株式会社Ａｉプランナー 建築物の採点システム及びプログラム
WO2021059612A1 (ja) * 2019-09-26 2021-04-01 パナソニックＩｐマネジメント株式会社 処理装置および処理方法
CN110750825B (zh) * 2019-09-27 2023-04-07 贝壳技术有限公司 一种室内家居布置方法、装置、电子设备和存储介质
CN114641753B (zh) * 2019-11-18 2025-01-14 欧特克公司 使用机器学习从楼层平面图图纸进行合成数据生成和建筑信息模型(bim)要素提取
CN113570506B (zh) * 2020-04-28 2025-02-18 阿里巴巴集团控股有限公司 数据处理、界面交互方法及设备
US11501478B2 (en) 2020-08-17 2022-11-15 Faro Technologies, Inc. System and method of automatic room segmentation for two-dimensional laser floorplans
WO2022049777A1 (ja) * 2020-09-07 2022-03-10 Ｂｕｌｂ株式会社 家具レイアウトｖｒシステム、家具レイアウトｖｒ方法及びプログラム
US20220092227A1 (en) * 2020-09-22 2022-03-24 Zillow, Inc. Automated Identification And Use Of Building Floor Plan Information
JP2021039760A (ja) * 2020-09-24 2021-03-11 株式会社Ａｉプランナー 建築物の採点システム及びプログラム
JP7594727B2 (ja) * 2020-09-30 2024-12-05 エイリーズ ホールディングス プライベート リミテッド 人工知能（ａｉ）を用いた間取り図自動作成（トレース）システム
WO2022081717A1 (en) * 2020-10-13 2022-04-21 Flyreel, Inc. Generating measurements of physical structures and environments through automated analysis of sensor data
JP7703838B2 (ja) * 2020-11-11 2025-07-08 株式会社リコー 画像処理方法、プログラムおよび画像処理システム
US12282713B2 (en) 2020-12-18 2025-04-22 Autodesk, Inc. Techniques for automatically designing structural systems for residential buildings
US12197822B2 (en) 2020-12-18 2025-01-14 Autodesk, Inc. Techniques for automatically designing structural systems for buildings
US20220198082A1 (en) * 2020-12-18 2022-06-23 Autodesk, Inc. Techniques for automatically generating frame grids for structural systems of buildings
US12430477B2 (en) 2020-12-18 2025-09-30 Autodesk, Inc. Techniques for automatically designing structural systems for arbitrarily shaped buildings
US11790648B2 (en) 2021-02-25 2023-10-17 MFTB Holdco, Inc. Automated usability assessment of buildings using visual data of captured in-room images
US11836973B2 (en) * 2021-02-25 2023-12-05 MFTB Holdco, Inc. Automated direction of capturing in-room information for use in usability assessment of buildings
GB202103656D0 (en) * 2021-03-16 2021-04-28 British Telecomm Generating three-dimensional data models of two-dimensional floor plans
EP4075316A1 (en) * 2021-04-14 2022-10-19 Dassault Systèmes Method for automatically furnishing a virtual 3d room
US11625553B2 (en) 2021-06-01 2023-04-11 Buildingestimates.Com Limited Rapid and accurate modeling of a building construction structure including estimates, detailing, and take-offs using artificial intelligence
JPWO2023282230A1 (ja) * 2021-07-09 2023-01-12
KR20230039097A (ko) * 2021-09-13 2023-03-21 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN113949829B (zh) 2021-10-15 2022-09-20 腾讯科技（深圳）有限公司 媒体文件封装及解封装方法、装置、设备及存储介质
CN116523811A (zh) * 2022-01-19 2023-08-01 北京字跳网络技术有限公司 户型图处理方法、装置、电子设备和计算机可读介质
US12505618B2 (en) * 2022-02-02 2025-12-23 Tencent America LLC Manhattan layout estimation using geometric and semantic information
US11514633B1 (en) 2022-03-10 2022-11-29 Pointr Limited Systems and methods for automating conversion of drawings to indoor maps and plans
JP7727246B2 (ja) * 2022-05-19 2025-08-21 Ｎｔｔ株式会社 三次元再構成装置、三次元再構成方法及びプログラム
JP7835378B2 (ja) * 2022-06-12 2026-03-25 健一 眞木 木造住宅設計支援システム、木造住宅設計支援装置及び木造住宅設計支援方法
JP2024017224A (ja) * 2022-07-27 2024-02-08 株式会社リコー 情報処理装置、入出力装置、情報処理システム、情報処理方法、入出力方法、およびプログラム
JP2024103045A (ja) * 2023-01-20 2024-08-01 マックス株式会社 鉄筋結束ロボット
CN118628687A (zh) * 2023-03-09 2024-09-10 株式会社理光 图像处理方法、装置和计算机可读存储介质
US11928395B1 (en) * 2023-04-14 2024-03-12 Hubstar International Limited Floorplan drawing conversion and analysis for space management
CN116824132B (zh) * 2023-05-15 2024-03-12 中国科学院大学 平面图分割方法、装置及电子设备
US11960798B1 (en) * 2023-05-26 2024-04-16 OUTLINE AI Sp. z o.o. Artificial intelligence systems and methods for processing parametric land plot data
EP4508612A1 (en) * 2023-06-30 2025-02-19 Pointr Limited Systems and methods for automating conversion of drawings to indoor maps and plans
JP2025048831A (ja) * 2023-09-20 2025-04-03 ソフトバンクグループ株式会社 システム
JP7685297B1 (ja) * 2025-01-28 2025-05-29 株式会社annview プログラム、情報処理装置、方法、及びシステム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124547A (ja) * 1996-10-17 1998-05-15 Nippon Telegr & Teleph Corp <Ntt> 建築図面認識方法
JP2001195499A (ja) 2000-01-11 2001-07-19 Tis Inc 間取り図面・敷地図面配布／掲示システム
JP2003006674A (ja) 2001-06-22 2003-01-10 Tis Inc 高品質な３次元立体間取り図配布／表示システム
JP2007250328A (ja) * 2006-03-15 2007-09-27 Toshiba Corp Ｘ線管及びｘ線管装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8207964B1 (en) * 2008-02-22 2012-06-26 Meadow William D Methods and apparatus for generating three-dimensional image data models
JP5013793B2 (ja) * 2005-09-20 2012-08-29 福井コンピュータ株式会社 ２次元ｃａｄデータ処理装置、２次元ｃａｄデータ処理方法、２次元ｃａｄデータ処理プログラム
CN101763656B (zh) * 2010-01-28 2012-03-28 北京航空航天大学 三维城市建筑分层分户模型的构建与显示控制方法
TWI503781B (zh) 2012-08-28 2015-10-11 Webim Services Co Ltd 立體建築模型管理系統及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124547A (ja) * 1996-10-17 1998-05-15 Nippon Telegr & Teleph Corp <Ntt> 建築図面認識方法
JP2001195499A (ja) 2000-01-11 2001-07-19 Tis Inc 間取り図面・敷地図面配布／掲示システム
JP2003006674A (ja) 2001-06-22 2003-01-10 Tis Inc 高品質な３次元立体間取り図配布／表示システム
JP2007250328A (ja) * 2006-03-15 2007-09-27 Toshiba Corp Ｘ線管及びｘ線管装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3543960A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113892125A (zh) * 2019-05-28 2022-01-04 大金工业株式会社 空调机的设置辅助系统
CN113892125B (zh) * 2019-05-28 2025-07-08 大金工业株式会社 空调机的设置辅助系统
JP7456262B2 (ja) 2020-04-22 2024-03-27 株式会社大林組 三次元モデル作成支援装置及びプログラム
US12347217B2 (en) 2020-06-30 2025-07-01 Yokogawa Electric Corporation Information processing apparatus, information processing method, and computer program
JP2024038915A (ja) * 2022-09-08 2024-03-21 アットホームラボ株式会社 間取り図画像を処理する情報処理装置、情報処理方法及び情報処理プログラム
JP7466940B2 (ja) 2022-09-08 2024-04-15 アットホームラボ株式会社 間取り図画像を処理する情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
EP3543960B1 (en) 2021-12-15
AU2017362937A1 (en) 2019-05-16
JP6116746B1 (ja) 2017-04-19
ES2906990T3 (es) 2022-04-21
US20190266293A1 (en) 2019-08-29
JP2018081548A (ja) 2018-05-24
TW201819726A (zh) 2018-06-01
AU2017362937B2 (en) 2021-02-04
TWI784973B (zh) 2022-12-01
EP3543960A1 (en) 2019-09-25
US11586785B2 (en) 2023-02-21
EP3543960A4 (en) 2020-07-01

Similar Documents

Publication Publication Date Title
JP6116746B1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN110276366B (zh) 使用弱监督模型来检测对象
CN110310175B (zh) 用于移动增强现实的系统和方法
JP6765487B2 (ja) 人工知能を用いるコンピュータ実施方法、ａｉシステム、及びプログラム
Chang et al. Matterport3d: Learning from rgb-d data in indoor environments
US11392998B1 (en) System and method for collecting and managing property information
CN108734185B (zh) 图像校验方法和装置
CN111488826A (zh) 一种文本识别方法、装置、电子设备和存储介质
CN108875722A (zh) 字符识别与识别模型训练方法、装置和系统及存储介质
Peng et al. Model and context‐driven building extraction in dense urban aerial images
Koch et al. Real estate image analysis: A literature review
Tian et al. Building damage assessment after the earthquake in Haiti using two post-event satellite stereo imagery and DSMs
CN107918767B (zh) 目标检测方法、装置、电子设备及计算机可读介质
CN115239590B (zh) 样本图像的生成方法、装置、设备、介质及程序产品
CN114936395A (zh) 一种户型图识别方法、装置、计算机设备及存储介质
CN108875501B (zh) 人体属性识别方法、装置、系统及存储介质
Ruwanthika et al. Dynamic 3D model construction using architectural house plans
Miao et al. Use of colour transformation and the geodesic method for road centreline extraction from VHR satellite images
Gan et al. How Many Bedrooms Do You Need? A Real‐Estate Recommender System from Architectural Floor Plan Images
Zhang et al. Automatic floor plan analysis for adaptive indoor Wi-Fi positioning system
CN119229132B (zh) 对户型图子空间进行分割和结构数据提取的方法及设备
Xu et al. Unsupervised person re-identification via graph-structured image matching
Cao et al. Man‐made object detection in aerial images using multi‐stage level set evolution
Yang et al. Image copy–move forgery detection based on sped-up robust features descriptor and adaptive minimal–maximal suppression
Koch et al. Real Estate Image Analysis-A Literature Review (preprint)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17871632

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017362937

Country of ref document: AU

Date of ref document: 20170829

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017871632

Country of ref document: EP

Effective date: 20190617