WO2023248917A1 - 類似図面検索装置、類似図面検索方法、および類似図面検索プログラム - Google Patents

類似図面検索装置、類似図面検索方法、および類似図面検索プログラム Download PDF

Info

Publication number
WO2023248917A1
WO2023248917A1 PCT/JP2023/022222 JP2023022222W WO2023248917A1 WO 2023248917 A1 WO2023248917 A1 WO 2023248917A1 JP 2023022222 W JP2023022222 W JP 2023022222W WO 2023248917 A1 WO2023248917 A1 WO 2023248917A1
Authority
WO
WIPO (PCT)
Prior art keywords
similar
drawings
target
characteristic
target drawing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/022222
Other languages
English (en)
French (fr)
Inventor
武晃 今井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Caddi Inc
Original Assignee
Caddi Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Caddi Inc filed Critical Caddi Inc
Priority to EP23827103.5A priority Critical patent/EP4546196A4/en
Publication of WO2023248917A1 publication Critical patent/WO2023248917A1/ja
Priority to US18/785,515 priority patent/US12217481B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/20—Drawing from basic elements
    • G06T11/23—Drawing from basic elements using straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Definitions

  • Embodiments of the present invention relate to a similar drawing search device, a similar drawing search method, and a similar drawing search program.
  • a similar drawing search device searches drawings similar to a target drawing from a drawing database in which characteristic information about the shape of parts in each drawing and drawing information about parts in each drawing are stored in association with each other for a plurality of drawings.
  • the similar drawing search device includes a feature information acquisition section, a drawing information acquisition section, a similar drawing search section, a drawing narrowing section, and a display section.
  • the feature information acquisition unit obtains feature information regarding the shape of a component in the target drawing from the target drawing.
  • the drawing information acquisition unit acquires drawing information regarding parts in the target drawing from the target drawing.
  • the similar drawing search unit searches the drawing database for a plurality of first similar drawings based on the feature information of the target drawing.
  • the drawing narrowing down unit narrows down the plurality of first similar drawings to the plurality of second similar drawings based on the drawing information of the target drawing.
  • the display unit displays the plurality of second similar drawings.
  • the feature information acquisition unit inputs the target drawing to a trained model that receives the target drawing as input and outputs an estimation result estimated based on the characteristics of the target drawing. and at least one of an intermediate output output from at least one intermediate layer in the trained model, and a characteristic of the shape of a part in the part of the target drawing using image processing for the part in the target drawing. is acquired as characteristic information of the target drawing.
  • the trained model inputs each of the plurality of drawings stored in the drawing database into a pre-learning model, and calculates each of the plurality of estimation results corresponding to the plurality of drawings. It is generated by learning the pre-learning model using as training data, and each of the plurality of estimation results includes the product category, dimensions before and after processing, processing process category, processing method, presence or absence of bending processing, and welding processing. At least one of multiple items related to products and processing, including the presence or absence of
  • the similar drawing search unit searches the intermediate output and a plurality of intermediate outputs stored in the drawing database.
  • the plurality of first similar drawings are searched based on the intermediate output similarity between the respective intermediate outputs and the characteristic similarity between the characteristic and each of the plurality of characteristics corresponding to the plurality of intermediate outputs.
  • the similar drawing search unit calculates a first weight value obtained by multiplying the intermediate output similarity by a first weight, and a second weight value obtained by multiplying the characteristic similarity by a second weight.
  • a score is calculated by adding the above, and the plurality of first similar drawings are searched using the score.
  • the drawing information of the target drawing includes text attached to the part, estimated information estimated based on the text, and symbols attached to the part. information.
  • the intermediate output similarity is an intermediate output distance between the intermediate output of the target drawing and each of a plurality of intermediate outputs stored in the drawing database
  • the characteristic similarity is a characteristic distance between the characteristic of the target drawing and each of the plurality of characteristics corresponding to the plurality of intermediate outputs stored in the drawing database
  • the similar drawing search device an input section for inputting a plurality of designations of one first drawing and two designations of dissimilar second drawings;
  • the apparatus further includes a learning unit that performs distance learning on a metric in at least one of the intermediate output distance and the characteristic distance so that a second score regarding similarity between the two second drawings becomes large.
  • the intermediate output similarity is an intermediate output distance between the intermediate output of the target drawing and each of a plurality of intermediate outputs stored in the drawing database
  • the characteristic similarity is a characteristic distance between the characteristic of the target drawing and each of a plurality of characteristics corresponding to the plurality of intermediate outputs stored in the drawing database
  • Clustering is performed using the feature information acquired by the acquisition unit, so that the score regarding similarity between drawings included in the same cluster is small, and the score regarding similarity between drawings included in another cluster is reduced.
  • the method further includes a learning unit that performs distance learning on a metric in at least one of the intermediate output distance and the characteristic distance so that the metric becomes larger.
  • the metric is a metric used to calculate the intermediate output distance.
  • the feature information acquisition unit extracts regions of parts of the target drawing from the target drawing, and acquires features of the target drawing from the parts of the target drawing.
  • the similar drawing search method searches drawings similar to a target drawing from a drawing database in which characteristic information about the shape of parts in each drawing and drawing information about the parts in each drawing are stored in association with each other for a plurality of drawings.
  • a similar drawing search method for searching for a similar drawing comprising: acquiring feature information regarding the shape of a part in the target drawing from the target drawing; acquiring drawing information regarding the part in the target drawing from the target drawing; A plurality of first similar drawings are searched from the drawing database based on the feature information of the target drawing, and the plurality of first similar drawings are narrowed down to a plurality of second similar drawings based on the drawing information of the target drawing. displaying the second similar drawing on the display.
  • the similar drawing search program allows a computer to search a target drawing from a drawing database in which characteristic information regarding the shape of parts in each drawing and drawing information regarding the parts in each drawing are stored in association with each other for a plurality of drawings.
  • a similar drawing search program that realizes searching for similar drawings, the computer acquires feature information regarding the shape of parts in the target drawing from the target drawing, and searches for similar drawings in the target drawing.
  • FIG. 1 is a diagram showing an example of the hardware configuration of a similar drawing search device 1 according to an embodiment.
  • FIG. 2 is a diagram showing an example of drawing data according to the embodiment.
  • FIG. 3 is a diagram showing an example of the base material shape BMS according to the embodiment.
  • FIG. 4 is a diagram showing an example of the position of the intermediate output of the target drawing and the position of the intermediate output of the database drawing in the feature space of the intermediate output, according to the embodiment.
  • FIG. 5 is a diagram illustrating an example of a process in which scores are calculated according to the embodiment.
  • FIG. 6 is a diagram showing an example of a data flow in similar drawing search processing according to the embodiment.
  • FIG. 7 is a diagram illustrating an example of a procedure in similar drawing search processing according to the embodiment.
  • FIG. 1 is a diagram showing an example of the hardware configuration of a similar drawing search device 1 according to an embodiment.
  • FIG. 2 is a diagram showing an example of drawing data according to the embodiment.
  • FIG. 3
  • FIG. 8 is a diagram illustrating an example of display of a target drawing and a plurality of first similar drawings according to the embodiment.
  • FIG. 9 is a diagram illustrating an example of a procedure in weight setting processing according to the embodiment.
  • FIG. 10 is a diagram showing an example of a data flow in distance learning processing according to an application example of the embodiment.
  • FIG. 11 is a flowchart illustrating an example of a procedure in distance learning processing according to an application example of the embodiment.
  • FIG. 1 is a diagram showing an example of the hardware configuration of a similar drawing search device 1 according to the present embodiment.
  • the similar drawing search device 1 searches for drawings similar to the target drawing from a drawing database in which characteristic information regarding the shape of parts in each drawing and drawing information regarding the parts in each drawing are stored in association with each other for a plurality of drawings. It is a device.
  • a component in a drawing corresponds to, for example, component information corresponding to a component diagram that refers to a drawing limited to one perspective of a metal workpiece, an assembly diagram that combines the component diagrams, a circuit diagram, and the like.
  • the above-mentioned parts will be explained as part diagrams.
  • the similar drawing search device 1 includes a processing circuit 11, a memory 13, an input interface 15, a display 17, and a communication interface 19. As shown in FIG. 1, the processing circuit 11, memory 13, input interface 15, display 17, and communication interface 19 are electrically connected via a bus. Therefore, data is transmitted and received between the processing circuit 11, the memory 13, the input interface 15, the display 17, and the communication interface 19 as appropriate under the control of the system control unit 111.
  • the memory 13 may be realized as a storage device corresponding to storage.
  • the memory 13 corresponds to a storage section.
  • the input interface 15 corresponds to an input section.
  • the display 17 corresponds to a display section.
  • the communication interface 19 corresponds to a communication section.
  • the processing circuit 11 includes, for example, a processor and an internal memory as hardware resources.
  • the processing circuit 11 may be realized by a computer or the like.
  • the processor is, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an MPU (Micro Processing Unit), or an FPGA (Field Programmer). mmable Gate Array), ASIC (Application Specific Integrated Circuit), CPLD (Complex Programmable Logic Device) ), SPLD (Simple Programmable Logic Device), etc.
  • the internal memory is realized by, for example, ROM (Read Only Memory) and/or RAM (Random Access Memory).
  • the hardware that implements the processor and internal memory is not limited to the above, and any known hardware can be used as appropriate.
  • the system control unit 111 feature information acquisition unit 113, drawing information acquisition unit 115, similar drawing search unit 117, drawing narrowing down unit 119, and learning unit 121 that implement various functions by the processing circuit 11 will be described later.
  • the memory 13 is a storage device such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), or an integrated circuit storage device that stores various information.
  • the memory 13 stores various programs according to this embodiment.
  • the memory 13 is related to the execution of processes in the system control section 111, feature information acquisition section 113, drawing information acquisition section 115, similar drawing search section 117, drawing narrowing section 119, and learning section 121, which are executed by the processing circuit 11. Memorize the program.
  • the memory 13 stores each of a plurality of drawings as drawing data. Further, the memory 13 stores each of the plurality of drawings, characteristic information regarding the shape of a part diagram in each of the plurality of drawings, and drawing information regarding the part diagram in association with the drawing ID of each of the plurality of drawings.
  • the drawing ID, feature information, and drawing information may be referred to as index data.
  • each of the plurality of drawings is stored in the memory 13 as drawing data.
  • the index data and drawing data are stored in the memory 13 as a database regarding a plurality of drawings (hereinafter referred to as a drawing database).
  • a drawing database a database regarding a plurality of drawings
  • the drawing information includes, for example, at least one of the following: text attached to the parts diagram in the drawing, estimated information estimated based on the text, and symbol information attached to the parts diagram. .
  • the text is, for example, character information and numerical information attached to the drawing. Specifically, the text includes the drawing number, drawing number, product name, material, processing information (e.g. surface treatment) written in the title column of the drawing, and the dimension values and number of holes written in the part drawing. , and other information that the user has given to each drawing.
  • the symbol information attached to the parts diagram is, for example, information regarding symbols that abbreviate the above-mentioned text and/or symbols given by the user.
  • FIG. 2 is a diagram showing an example of drawing data.
  • the text in the drawing information includes text attached to the parts diagram (S4, etc.) and text written in the title block T (T1, T2, T3, etc.).
  • the symbol information attached to the parts diagram is, for example, symbols in S1, S2, S3, etc., as shown in FIG.
  • the process of acquiring drawing information from a drawing will be explained in the drawing information acquisition unit 115.
  • Estimated information in the drawing information includes, for example, estimated values estimated from dimension values (maximum dimensions of parts drawings, etc.), base material shape, processing method, price, etc.
  • the base material shape indicates the shape of the material before processing by sheet metal processing or machining (milling/lathe) in manufacturing the parts diagram shown in the drawing. In manufacturing a part corresponding to a part diagram, materials of these base material shapes are selected during processing, and processing is performed.
  • FIG. 3 is a diagram showing an example of the base material shape BMS.
  • the base material shape BMS is, for example, a round bar RB, hexagonal bar HB, square bar SB, round pipe RP, flat steel plate FSP, angle AG, channel CN, square pipe SP, etc.
  • the base material shape BMS is not limited to the example shown in FIG. 3, and may have other shapes. Estimation of the base material shape will be explained in the drawing information acquisition unit 115.
  • the processing method is, for example, sheet metal processing or machining. Machining is, for example, milling, lathe, etc. Note that the processing method is not limited to these, and may be any known processing method.
  • the price is a price related to manufacturing the part corresponding to the parts diagram, and is, for example, the sum of material cost (base material cost) and processing cost. Note that the price is not limited to this, and may be other costs. Estimating the price will be explained in the drawing information acquisition unit 115.
  • the memory 13 stores a trained model that inputs a drawing to be searched for similar drawings (hereinafter referred to as a target drawing) and outputs an estimation result estimated based on feature information.
  • the estimation result is, for example, regarding the target drawing, at least one of multiple items related to the product and processing, including product category, dimensions before and after processing, processing process category, processing method, presence or absence of bending processing, and presence or absence of welding processing.
  • the feature information stored in the memory 13 includes at least the intermediate output of the target drawing output from at least one intermediate layer in the learned model, and the characteristics of the shape of the parts in the parts diagram obtained by image processing of the parts diagram. There is one.
  • the trained model is a model that can output intermediate features between input and output, and is, for example, a model configured by a multilayer neural network. Intermediate outputs and characteristics are each expressed as vectors.
  • the characteristic of the shape of a part is, for example, the characteristic of the shape that characterizes the entire part corresponding to the part drawing, and is, for example, the statistical aggregation of the components in the edge direction (4 directions or 8 directions). It is. Acquisition of the characteristics of the shape of a component will be explained in the feature information acquisition unit 113.
  • the memory 13 calculates the similarity between each of the plurality of database drawings and the target drawing by using a calculation formula that calculates the similarity between features expressed as vectors as a score, and a first weight used in the calculation formula. and the second weight. The determination of the first weight and the second weight will be explained later.
  • the first weight is, for example, multiplied by the similarity (hereinafter referred to as intermediate output similarity) calculated by the intermediate output regarding each of the plurality of database drawings and the intermediate output regarding the target drawing.
  • the second weight is multiplied by, for example, the similarity (hereinafter referred to as characteristic similarity) calculated from the characteristics regarding each of the plurality of database drawings and the characteristics regarding the target drawing.
  • the first weight and the second weight are the intermediate output similarity based on features and the characteristic similarity (i.e., the similarity based on the intermediate output).
  • the sum of the first weight and the second weight may be set in advance to be 1.
  • the acquisition of the characteristics (intermediate output and shape characteristics) of each of the plurality of database drawings stored in the memory 13, the setting of the first weight and the second weight, etc. will be described later.
  • the memory 13 can be connected to portable storage media such as CDs (Compact Discs), DVDs (Digital Versatile Discs), flash memories, and semiconductor memory devices such as RAMs (Random Access Memory). It may also be a drive device that reads and writes various information. Note that the storage area of the memory 13 may be provided within the similar drawing search device 1 or may be provided within an external storage device connected via the network 31.
  • portable storage media such as CDs (Compact Discs), DVDs (Digital Versatile Discs), flash memories, and semiconductor memory devices such as RAMs (Random Access Memory). It may also be a drive device that reads and writes various information.
  • RAMs Random Access Memory
  • the input interface 15 receives input operations related to various instructions from the user, converts the received input operations into electrical signals, and outputs the electrical signals to the processing circuit 11.
  • a mouse, keyboard, trackball, switch, button, joystick, touch pad, touch panel display, etc. can be used as appropriate.
  • the input interface 15 is not limited to one that includes physical operation components such as a mouse, keyboard, trackball, switch, button, joystick, touch pad, and touch panel display.
  • an electrical signal processing circuit that receives an electrical signal corresponding to an input operation from an external input device provided separately from the similar drawing search device 1 and outputs this electrical signal to the processing circuit 11 is also included in the input interface 15 . Included in the example.
  • the display 17 displays various information.
  • the display 17 outputs search results for similar drawings by the processing circuit 11, a GUI (Graphical User Interface) for accepting various operations from the user, and the like.
  • Examples of the display 17 include a liquid crystal display (LCD), a cathode ray tube (CRT) display, and an organic electroluminescence display (OELD). ay), plasma display or any other display, as appropriate. It is possible. Further, the display 17 may be of a desktop type, or may be configured of a tablet terminal or the like that can communicate wirelessly with the similar drawing search device 1.
  • the communication interface 19 performs data communication with other input/output devices via the network 191, for example.
  • the standard for communication by the communication interface 19 may be any standard.
  • the communication interface 19 outputs drawing data acquired through data communication with other input/output devices to the memory 13.
  • the communication interface 19 receives electrical signals of input operations input to other input interfaces in other input/output devices.
  • Communication interface 19 outputs the received electrical signal to processing circuit 11 .
  • the system control unit 111 controls the processing of each unit in the processing circuit 11 based on electrical signals corresponding to input operations received from the user via the input interface 15. Specifically, the system control unit 111 reads out a control program stored in the memory 13, expands it onto the internal memory in the processing circuit 11, and controls each part of the similar drawing search device 1 according to the expanded control program. do.
  • the characteristic information acquisition unit 113 acquires, from the target drawing input by the user via the input interface 15, characteristic information regarding the shape of the part diagram in the target drawing.
  • the feature information acquisition unit 113 stores the obtained feature information in the memory 13 in association with the ID of the target drawing.
  • the feature information acquisition unit 113 inputs the target drawing into the trained model and obtains intermediate output output from at least one intermediate layer in the trained model as feature information regarding the shape of the parts diagram.
  • the trained model is realized by a trained CNN (Convolutional Neural Networks).
  • a trained CNN for example, Efficie described in [1905.11946] EfficientNet: Rethinking Model Scaling for Collaborative Neural Networks ntNet etc. are used.
  • the image format input to the learned model is, for example, any two-dimensional drawing such as PNG (Portable Network Graphics) format or TIFF (Tagged Image File Format) format. Note that the image format is not limited to the above.
  • the target drawing input to the trained model may be a drawing handwritten by the user. Note that if the target drawing is a three-dimensional CAD (computer-aided design) drawing, the drawing input to the trained model is an image obtained by rendering the three-dimensional CAD drawing (hereinafter referred to as a rendered image). Good too.
  • the rendering process may be executed by the feature information acquisition unit 113, or may be executed by another unit or an external device via the communication interface 19 and the network 191.
  • the rendered image includes, for example, a three-sided view such as a plan view, a front view, and a side view (right side view).
  • the target drawing input to the learned model may be one in which a region of a parts diagram is extracted from the target drawing.
  • the feature information acquisition unit 113 extracts the region of the parts drawing by performing a predetermined extraction process on the drawing before executing the learned model.
  • Various types of image processing such as existing segmentation processing can be used for the extraction processing, so a description thereof will be omitted.
  • the feature information acquisition unit 113 acquires intermediate output regarding the target drawing by inputting data of the parts diagram into the learned model.
  • the intermediate output may be a vector output from any of the plurality of intermediate layers in the trained model, but it is preferably a vector output from the output layer of the trained model (estimation results such as base material shape).
  • the intermediate output may be an output from an intermediate layer other than the last intermediate layer, or may be an output from a plurality of intermediate layers.
  • the trained model inputs each of the plurality of database drawings stored in the drawing database into the pre-learning model, and uses each of the plurality of estimation results corresponding to the plurality of database drawings as training data to transform the pre-learning model. Generated by learning.
  • each of the plurality of estimation results is related to the product/processing including, for example, product category, dimensions before and after processing, processing process category, processing method, presence or absence of bending processing, and presence or absence of welding processing, for each of the plurality of database drawings.
  • At least one of multiple items That is, the trained model is trained, for example, by using a database drawing and at least one of a plurality of items related to products/processing related to the database drawing as learning data for a multilayer neural network that can be output from the intermediate layer.
  • the product category is training data
  • to generate a trained model input the drawing as an image to a CNN (Convolutional Neural Network), classify the product category class into 8 classes, and train the CNN. It is generated by Since a known method can be applied to generate a trained model, a description thereof will be omitted.
  • CNN Convolutional Neural Network
  • the feature information acquisition unit 113 acquires the characteristics of the shapes of parts in the part diagram of the target drawing by performing image processing on the target drawing.
  • the target of image processing is not limited to the target drawing, but may be a drawing area (parts diagram) in which the outer frame and title block T are extracted from the target drawing.
  • the feature information acquisition unit 113 acquires, as a characteristic, a vector that is a statistical summation of components in edge directions (4 directions or 8 directions) by image processing on a part diagram of the target drawing.
  • the shape characteristics are not limited to those related to the edge direction, for example, Distinctive Image Features from Scale-Invariant Keypoints David G. Lowe January 5, 2004 the International Journal of Computer Vision, 2004. https://www. robots. ox. ac. uk/ ⁇ vgg/research/affine/det_eval_files/lowe_ijcv2004. It is also possible to acquire local features and aggregate them over the entire image, as described in PDF.
  • codebook vectors are set in advance and the frequency of each codebook is calculated. It is also possible to use a histogram feature that aggregates the values within an image.
  • the drawing information acquisition unit 115 acquires drawing information regarding a parts diagram from the target drawing input by the user via the input interface 15.
  • the drawing information acquisition unit 115 stores the obtained drawing information in the memory 13 in association with the ID of the target drawing.
  • the drawing information acquisition unit 115 acquires the text attached to the parts diagram from the target drawing.
  • the drawing information acquisition unit 115 acquires, for example, character information written in the title block T (for example, T1, T2, T3, etc. shown in FIG. 2) and numerical information attached to a parts diagram (for example, S4 shown in FIG. 2). etc.) as text.
  • the drawing information acquisition unit 115 acquires symbol information attached to a part diagram of the target drawing from the target drawing.
  • the drawing information acquisition unit 115 acquires, for example, symbols attached to the parts diagram (for example, S1, S2, S3, etc. shown in FIG. 2) as symbol information.
  • a known technique such as OCR (Optical Character Recognition/Reader) can be applied, so a description thereof will be omitted.
  • the drawing information acquisition unit 115 acquires estimated information estimated based on the acquired text as drawing information. For example, the drawing information acquisition unit 115 acquires estimated values such as maximum dimensions as estimated information by performing predetermined calculations on numerical information such as dimension values. Further, the drawing information acquisition unit 115 estimates the base material shape, processing method, price, etc. based on the text written in the title block T and/or numerical information such as dimension values attached to the parts diagram. The drawing information acquisition unit 115 acquires estimated information such as the estimated base material shape, processing method, or price as drawing information. Note that the drawing information acquisition unit 115 may estimate the base material shape, processing method, price, etc. by inputting the part drawing into the trained model. Known methods can be applied to estimate the shape of the base material, processing method, price, etc., and therefore the description thereof will be omitted.
  • the similar drawing search unit 117 stores a drawing database in which a plurality of drawings (database drawings) and features related to each of the plurality of database drawings are stored in correspondence based on the characteristics of the target drawing acquired by the characteristic information acquisition unit 113. , a plurality of first similar drawings that are similar to the parts diagram in the target drawing are searched.
  • the similar drawing search unit 117 may calculate a score for the similarity between each of the plurality of database drawings and the target drawing using similarity between features expressed in vectors.
  • the similarity between features is calculated, for example, by cosine similarity expressed by the following equation (1).
  • a i in Equation (1) indicates the i component of a vector indicating the characteristics of the target drawing.
  • B i in equation (1) indicates the i component of a vector indicating the characteristics of the database drawing.
  • n indicates the number of components (dimensions) of the vector representing the characteristics of the target drawing and the vector representing the characteristics of the database drawing. Further, the similarity shown in equation (1) may be calculated for each of the intermediate output and shape characteristics.
  • the similar drawing search unit 117 may calculate, for example, the Euclidean distance expressed by the following equation (2) as the similarity between features.
  • a distance related to two intermediate outputs will be referred to as an intermediate output distance
  • a distance related to two characteristics will be referred to as a characteristic distance. That is, the intermediate output similarity is expressed, for example, by an intermediate output distance or a cosine similarity between two intermediate outputs.
  • the characteristic similarity is expressed, for example, by a characteristic distance or a cosine similarity between two characteristics.
  • the left side d(x, y) in equation (2) indicates the Euclidean distance. Furthermore, x in Equation (2) indicates a vector indicating the characteristics of the target drawing. Furthermore, y in Equation (2) indicates a vector indicating the characteristics of the database drawing. n indicates the number of components (dimensions) of the vector representing the characteristics of the target drawing and the vector representing the characteristics of the database drawing. Further, the Euclidean distance d(x,y) shown in equation (2) may be calculated for each of the intermediate output and shape characteristics.
  • FIG. 4 is a diagram showing an example of the position of the intermediate output of the target drawing and the position of the intermediate output of the database drawing in the feature space of the intermediate output. As shown in FIG. 4, within a circle of a predetermined radius centered on the position of the intermediate output of the target drawing, the plurality of database drawings corresponding to the plurality of intermediate outputs have features similar to those of the target drawing. It shows.
  • the similar drawing search unit 117 uses the calculation formula stored in the memory 13 to calculate a score used to identify a first similar drawing similar to the target drawing. Specifically, the similar drawing search unit 117 calculates the product value of the first weight and the intermediate output similarity (hereinafter referred to as the first weight value) and the product value of the second weight and the characteristic similarity (hereinafter referred to as the first weight value). (referred to as the second weighting value) is calculated as the score.
  • the smaller the score the more similar the database drawing and the target drawing are. That is, the database drawings are similar to the target drawings in descending order of similarity (eg, descending score). Note that when an intermediate output or a property of the shape of a part is used as a feature regarding the shape of a part diagram in the target drawing, the score becomes the intermediate output similarity or property similarity itself.
  • FIG. 5 is a diagram showing an example of a process in which scores are calculated.
  • the similar drawing search unit 117 uses the intermediate output and shape characteristics of the target drawing and the intermediate output and shape characteristics of the database drawing to obtain a score indicating the similarity between the target drawing and the database drawing. Calculate.
  • the similar drawing search unit 117 searches the database drawings for a plurality of first similar drawings that are similar to the target drawing.
  • the drawing narrowing down unit 119 narrows down the plurality of first similar drawings to the plurality of second similar drawings based on the drawing information of the target drawing.
  • the plurality of second similar drawings are drawings that are more similar to the parts diagram than the plurality of first similar drawings.
  • the drawing narrowing unit 119 uses a partial match between the drawing number, drawing number, product name, part name, symbol information, etc. related to the target drawing and the drawing information related to the plurality of first similar drawings as the narrowing down condition using keywords. is used to narrow down the first similar drawings to the second similar drawings.
  • the drawing narrowing unit 119 uses, for example, the material, surface treatment, etc. related to the part diagram in the target drawing as a multi-picklist for the drawing information regarding the plurality of first similar drawings, and selects the first similar drawing. You may narrow it down to the second similar drawing. Further, the drawing narrowing down unit 119 may narrow down the first similar drawings to the second similar drawings by using, for example, the dimension size related to the part drawing in the target drawing as a range specification in the drawing information regarding the plurality of first similar drawings. . The drawing narrowing down section 119 outputs the second similar drawings narrowed down from the first similar drawings to the display 17.
  • the learning unit 121 is used, for example, to generate a trained model.
  • the learning unit 121 generates a learned model by applying learning data to a model configured by a multilayer neural network before learning.
  • the learning data includes input data and teacher data (correct data).
  • the input data is, for example, a parts diagram.
  • the training data includes at least one of multiple items related to the product/processing, including the product category, dimensions before and after processing, processing process category, processing method, presence or absence of bending processing, and presence or absence of welding processing corresponding to the part drawing. It is one.
  • a known learning method can be used, so a description thereof will be omitted.
  • the learning unit 121 also sets a first weight and a second weight. Setting of the first weight and second weight will be explained later.
  • similar drawing search processing a first similar drawing similar to the target drawing is searched from the database drawing in the memory 13 based on the feature of the shape of the part diagram in the target drawing, and based on the drawing information in the target drawing, a first similar drawing similar to the target drawing is searched for.
  • the objective is to narrow down at least one second similar drawing from the first similar drawings.
  • the similar drawing search process involves searching for a plurality of first similar drawings based on the shape characteristics of the part diagram of the target drawing, and searching for a plurality of second similar drawings from the plurality of first similar drawings based on the drawing information of the target drawing.
  • the purpose is to specify similar drawings corresponding to the target drawing by two processes: narrowing down to similar drawings.
  • the features of the target drawing acquired by the feature information acquisition unit 113 are the intermediate output and the characteristics of the shape of the part corresponding to the parts diagram. do.
  • FIG. 6 is a diagram showing an example of the flow of data in similar drawing search processing.
  • FIG. 7 is a diagram illustrating an example of a procedure in similar drawing search processing.
  • Step S701 The input interface 15 inputs a target drawing according to a user's instruction. Note that inputting the target drawing to the similar drawing search device 1 is not limited to processing via the input interface 15.
  • the target drawing may be input from an external input device via the communication interface 19 and the network 191, for example.
  • Step S702 The feature information acquisition unit 113 inputs the target drawing to the learned model and acquires intermediate output.
  • the input to the trained model is not limited to the target drawing, but may be a part diagram extracted from the target drawing.
  • processing related to extracting a parts diagram from the target drawing is executed, for example, by the feature information acquisition unit 113 between step S701 and step S702.
  • Step S703 The similar drawing search unit 117 queries the index data in the memory 13 and reads intermediate output regarding the database drawings from the memory 13.
  • the similar drawing search unit 117 calculates the intermediate output similarity between each of the plurality of intermediate outputs corresponding to the plurality of database drawings read from the memory 13 and the obtained intermediate output.
  • the intermediate output similarity may be cosine similarity or Euclidean distance as described above. Note that if the feature related to the shape of the parts diagram in the target drawing is only the intermediate output, the following steps S704 and S706 will be omitted.
  • the feature information acquisition unit 113 acquires the characteristics of a component corresponding to a component diagram in the target drawing.
  • the characteristics of the component are characteristics related to the edges of the component that are determined by the component diagram. Note that the characteristics of the component are not limited to those related to edges, but may also be characteristics of other components, such as characteristics that define the shape of the component, such as the curvature of bending.
  • Step S705 The similar drawing search unit 117 queries the index data in the memory 13 and reads out characteristics related to database drawings from the memory 13.
  • the similar drawing search unit 117 calculates the characteristic similarity between each of the plurality of characteristics corresponding to the plurality of database drawings read from the memory 13 and the acquired characteristic.
  • the characteristic similarity is cosine similarity or Euclidean distance as described above. Note that if the feature related to the shape of the parts diagram in the target drawing is only the intermediate output, the processing in steps S702 and S703 will be omitted.
  • Step S706 The similar drawing search unit 117 multiplies the intermediate output distance by a first weight to calculate a first weighting value, and multiplies the characteristic distance by a second weight to calculate a second weighting value.
  • the similar drawing search unit 117 calculates a plurality of scores corresponding to the plurality of database drawings by adding the first weighting value and the second weighting value. Note that when the feature acquired by the feature information acquisition unit 113 is either an intermediate output or a shape characteristic, the similar drawing search unit 117 calculates the intermediate output distance or the characteristic distance as a score.
  • Step S707 The similar drawing search unit 117 queries the memory 13 in descending order of similarity (for example, descending order of score, descending order of cosine similarity, etc.) using the drawing ID, and searches the memory 13 for a plurality of first similar drawings. get. Thereby, the similar drawing search unit 117 completes the search for the plurality of first similar drawings from the drawing database. Note that the similar drawing search unit 117 may acquire (extract) a plurality of first similar drawings corresponding to a plurality of scores less than (or less than) a predetermined value from the drawing database in the memory 13.
  • descending order of similarity for example, descending order of score, descending order of cosine similarity, etc.
  • the drawing information acquisition unit 115 acquires drawing information regarding the parts diagram of the target drawing from the target drawing. At this time, the drawing information acquisition unit 115 uses the acquired drawing information (for example, text attached to the parts diagram, estimated information estimated based on the text, symbol information, etc.) using the ID of the target drawing. It is stored in the memory 13 in association with. Note that the drawing information can be selected, modified, etc., as appropriate, based on instructions from the user via the input interface 15.
  • FIG. 8 is a diagram illustrating an example of display of a target drawing and a plurality of first similar drawings.
  • the display 17 displays, in addition to the target drawing and a plurality of first similar drawings, drawing information of the target drawing and buttons (narrowing items) for selecting items to be narrowed down by the drawing narrowing section 119. ) is further displayed.
  • a narrowing down item is selected by the user's instruction via the input interface 15
  • a narrowing search is performed in the subsequent step S709 using drawing information such as material and surface treatment regarding the target drawing.
  • Step S709 The drawing narrowing down unit 119 narrows down the plurality of second similar drawings from the plurality of first similar drawings based on the drawing information of the target drawing. That is, the drawing narrowing down unit 119 narrows down the first similar drawings to a plurality of second similar drawings that have low scores and match the narrowing down conditions based on the drawing information of the target drawing.
  • Step S710 The system control unit 111 displays the narrowed down second similar drawings on the display 17, for example, in descending order of scores. Thereby, the user can select a drawing similar to the target drawing from the list of the plurality of second similar drawings. Based on the user's selection instruction via the input interface 15, a similar drawing desired by the user is selected from among the plurality of second similar drawings. Through the above steps, the similar drawing search process ends.
  • FIG. 9 is a diagram illustrating an example of a procedure in weight setting processing.
  • the input interface 15 inputs the selection of a plurality of drawings (hereinafter referred to as reference drawings) regarding the settings of the first weight and the second weight according to the user's instructions. Note that inputting the selection of a plurality of reference drawings to the similar drawing search device 1 is not limited to processing via the input interface 15.
  • the selection of a plurality of reference drawings may be input from an external input device via the communication interface 19 and the network 191, for example.
  • Step S802 The feature information acquisition unit 113 inputs each of the plurality of reference drawings into the learned model and obtains a plurality of intermediate outputs corresponding to the plurality of reference drawings.
  • the input to the trained model is not limited to the reference drawing, but may be a parts diagram extracted from the reference drawing.
  • processing related to extracting a part diagram from a reference drawing is executed by, for example, the feature information acquisition unit 113 between step S801 and step S802. Further, if the intermediate output is stored in the memory 13 in advance, the feature information acquisition unit 113 acquires the intermediate output corresponding to the selected reference drawing from the memory 13.
  • Step S803 The similar drawing search unit 117 calculates intermediate output similarity between two intermediate outputs.
  • the calculation of the intermediate output similarity is similar to step S703, so the explanation will be omitted.
  • Step S804 The characteristic information acquisition unit 113 acquires characteristics of a component corresponding to a component diagram in a reference drawing. Acquisition of the characteristics is similar to step S704, so the description will be omitted.
  • Step S805 The similar drawing search unit 117 calculates the characteristic similarity between two characteristics.
  • the calculation of characteristic similarity is similar to step S705, so the explanation will be omitted.
  • the learning unit 121 uses a nearest neighbor search algorithm or an approximate nearest neighbor for a plurality of intermediate output similarities (for example, intermediate output distances) and a plurality of characteristic similarities (for example, characteristic distances) corresponding to a pair of reference drawings. Apply the search algorithm. Thereby, the learning unit 121 determines the first weight and the second weight.
  • the nearest neighbor search algorithm or approximate nearest neighbor search algorithm is well known, and therefore a description thereof will be omitted. Note that the learning unit 121 may determine the first weight and the second weight so that the intermediate output distance and the characteristic class distance are close to a predetermined distance value. Further, the first weight and the second weight may be determined and/or adjusted by a user's instruction via the input interface 15.
  • Step S807 The learning unit 121 stores the first weight and the second weight in the memory 13. Further, the learning unit 121 associates a plurality of reference drawings, intermediate outputs, and characteristics with drawing IDs, and stores them in the memory 13 as index data. With the above steps, the weight setting process is completed.
  • the similar drawing search device 1 acquires drawing information regarding the parts diagram in the target drawing from the target drawing, and selects a plurality of first similar drawings from the drawing database based on the feature information of the target drawing. is searched, the plurality of first similar drawings are narrowed down to the plurality of second similar drawings based on the drawing information of the target drawing, and the plurality of second similar drawings are displayed on the display 17. Further, the similar drawing search device 1 according to the embodiment inputs a target drawing into a trained model, and performs image processing on an intermediate output output from at least one intermediate layer in the trained model and a part diagram of the target drawing.
  • the similar drawing search device 1 acquires at least one of the shape characteristics of the parts in the parts diagram of the target drawing used as the characteristic information of the target drawing.
  • the region of the parts diagram of the target drawing is extracted, and the characteristics of the target drawing are acquired from the parts diagram of the target drawing.
  • the drawing information of the target drawing includes text attached to the parts diagram, estimated information estimated based on the text, and information about the parts diagram of the target drawing. and attached symbolic information.
  • the similar drawing search device 1 can connect the intermediate output of the target drawing and each of the plurality of intermediate outputs stored in the drawing database. Search for a plurality of first similar drawings based on the intermediate output similarity of the target drawing and the characteristic similarity between the characteristics of the target drawing and each of the plurality of characteristics corresponding to the plurality of intermediate outputs stored in the drawing database. do.
  • the similar drawing search device 1 according to the embodiment adds the first weighting value obtained by multiplying the intermediate output similarity by the first weight and the second weighting value obtained by multiplying the characteristic similarity by the second weight. A score is calculated, and the plurality of first similar drawings are searched using the score.
  • the learned model used in the similar drawing search device 1 is created by inputting each of a plurality of drawings (database drawings) stored in a drawing database into a pre-learning model, and It is generated by learning the pre-learning model using each of the estimation results as training data.
  • each of the plurality of estimation results according to the embodiment includes a plurality of items related to the product/processing, including, for example, product category, dimensions before and after processing, processing process category, processing method, presence or absence of bending processing, and presence or absence of welding processing. At least one of the following.
  • the similar drawing search device 1 searches the database drawings in the memory 13 for a first similar drawing that is similar to the target drawing based on the shape characteristics of the parts diagram in the target drawing.
  • at least one second similar drawing can be narrowed down from the plurality of first similar drawings based on the drawing information in the target drawing. Therefore, according to the similar drawing search device 1 according to the embodiment, it is possible to search for a plurality of first similar drawings based on the feature of the shape of a part drawing, and to search for a plurality of first similar drawings based on drawing information from a plurality of first similar drawings. Through the two search processes of narrowing down to the second similar drawing, it is possible to more efficiently search for similar drawings with higher similarity from the target drawings.
  • the similar drawing search device 1 it is possible to easily search for similar drawings even if the requirements regarding the similarity between past drawings and a desired drawing are complex. Thereby, according to the similar drawing search device 1 according to the embodiment, it is possible to improve the efficiency of the drawing ordering process, for example.
  • This application example is an intermediate output distance between an intermediate output for which intermediate output similarity has been acquired and each of a plurality of intermediate outputs stored in a drawing database, and a characteristic for which characteristic similarity has been acquired and a plurality of intermediate outputs. If the characteristic distance is between each of a plurality of characteristics corresponding to the output, the metric in at least one of the intermediate output distance and the characteristic distance is determined by the metric of the two drawings specified by the user.
  • the objective is to perform distance learning based on features obtained from multiple pairs.
  • FIG. 10 is a diagram illustrating an example of data flow in distance learning processing.
  • FIG. 11 is a flowchart illustrating an example of a procedure in distance learning processing.
  • Step S101 The input interface 15 inputs a plurality of designations of two similar first drawings and two dissimilar second drawings according to the user's instructions.
  • the input interface 15 outputs two drawing IDs corresponding to two plurally designated drawings to the learning unit 121.
  • the learning unit 121 matches the two drawing IDs corresponding to the two first drawings with the plurality of drawing IDs stored in the index data.
  • the learning unit 121 reads out the first features corresponding to the two matched drawing IDs from the memory 13. Further, the learning unit 121 compares two drawing IDs corresponding to the two second drawings with a plurality of drawing IDs stored in the index data.
  • the learning unit 121 reads out the second features corresponding to the two matched drawing IDs from the memory 13. That is, the learning unit 121 reads out the plurality of first features corresponding to the plurality of first drawings, the plurality of second features corresponding to the plurality of second drawings, and the drawing ID from the memory 13.
  • the learning unit 121 divides a set of first drawings (similar drawings) and a set of second drawings (dissimilar drawings) into S, D as shown in the following equation (3). far.
  • (x i and x j each indicate a designated drawing.
  • the learning unit 121 calculates the relationship between the intermediate output distance and the characteristic distance so that the first score regarding the similarity between the first drawings becomes small and the second score regarding the similarity between the second drawings becomes large. Execute distance learning for at least one of the metrics. Specifically, the learning unit 121 uses the vectors included in the sets S and D to perform, for example, Mahalanobis Distance Metric Learning. In Mahalanobis distance learning, the learning unit 121 learns the covariance matrix M using the following equation (4). That is, the learned metric corresponds to the covariance matrix M. The left side of equation (4) indicates the Mahalanobis distance between images x and y. Images x and y belong to set S or D. x and y on the right side indicate vectors related to feature information of images x and y (for example, vectors representing intermediate outputs).
  • the learning unit 121 solves the optimization problem shown in equation (5) below in Mahalanobis distance learning.
  • the learning unit 121 uses the Mahalanobis distance to reduce the distance between samples of the same class (intra-class), that is, the same set, and to increase the distance between samples of different classes (inter-class), that is, different sets. Perform learning.
  • Mahalanobis distance learning a known technique can be applied, so a description thereof will be omitted.
  • Algorithms related to distance learning are stored in the memory 13 in advance.
  • Step S104 The learning unit 121 updates the metric learned by distance learning.
  • the metric before performing distance learning in the application example is a unit matrix corresponding to the dimension (number of elements) of the vector, as shown in equation (2).
  • the learning unit 121 updates the unit matrix to the learned metric.
  • the learning unit 121 updates the metric according to the execution of distance learning.
  • Step S105 The learning unit 121 transmits the updated metric to the memory 13 and is stored in the memory 13 together with the index data.
  • the metrics stored in the memory 13 are used in similar drawing search processing.
  • the distance learning process is a process that suppresses overfitting in distance learning, that is, a process that balances overfitting and improving the accuracy of similar drawing searches (hereinafter referred to as balance process). It may further include (call). Since a known balance process can be applied, a description thereof will be omitted.
  • the intermediate output similarity is the intermediate output distance between the intermediate output of the target drawing and each of the plurality of intermediate outputs stored in the drawing database. If the characteristic similarity is the characteristic distance between the characteristic of the target drawing and each of the plurality of characteristics corresponding to the plurality of intermediate outputs stored in the drawing database, the similar drawing search device 1 searches for two similar drawings. A plurality of designations of one first drawing and two dissimilar second drawings are input, and the first score regarding the similarity between the two first drawings is small, and the designation of the two second drawings is Distance learning is performed for the metric in at least one of the intermediate output distance and the characteristic distance so that the second score regarding the similarity between them becomes large.
  • the similar drawing search device 1 according to this application example can perform distance learning according to the purpose of the user's search for similar drawings. Therefore, according to the similar drawing search device 1 according to this application example, it is possible to improve the search accuracy regarding similar drawings.
  • Other effects are substantially the same as those in the embodiment, so descriptions thereof will be omitted.
  • a modification of this application example is to perform distance learning in the case where two similar and dissimilar drawings are not specified in the distance learning procedure described above.
  • the learning unit 121 performs clustering using the feature information acquired by the feature information acquisition unit 113, and performs clustering so that the score regarding similarity between drawings included in the same cluster becomes small and Distance learning is performed on the metric in at least one of the intermediate output distance and the characteristic distance so that the score regarding the similarity between the included drawings becomes large.
  • the following process is executed instead of the processes in steps S101 and S102 in the distance learning process.
  • the learning unit 121 performs clustering using the feature information acquired by the feature information acquisition unit 113.
  • the learning unit 121 identifies the elements of the sets S and D through the clustering.
  • the subsequent processing is based on the processing after step S103 in the application example, so the explanation will be omitted.
  • the intermediate output similarity is the intermediate output between the intermediate output of the target drawing and each of the plurality of intermediate outputs stored in the drawing database. If the characteristic similarity is the characteristic distance between the characteristic of the target drawing and each of the plurality of characteristics corresponding to the plurality of intermediate outputs stored in the drawing database, the similar drawing search device 1 Clustering is performed using the feature information acquired by the feature information acquisition unit 113 so that the score regarding the similarity between drawings included in the same cluster is small, and the similarity between drawings included in another cluster is reduced. Distance learning is performed for the metric in at least one of the intermediate output distance and the characteristic distance so that the score for the metric increases.
  • the similar drawing search method corresponds feature information about the shape of a part in each drawing and drawing information about the part in each drawing for a plurality of drawings.
  • This is a similar drawing search method that searches for drawings similar to a target drawing from a drawing database that has been attached and stored. Based on the characteristic information of the target drawing, a plurality of first similar drawings are retrieved from the drawing database, and a plurality of second similar drawings are searched from the plurality of first similar drawings based on the drawing information of the target drawing. The drawings are narrowed down and a plurality of second similar drawings are displayed on the display 17.
  • the processing contents and effects in each step of the similar drawing search process realized by the similar drawing search method are the same as those in the embodiment, and therefore the description thereof will be omitted.
  • the similar drawing search program provides a computer with feature information about the shape of parts in each drawing and drawing information about parts in each drawing for a plurality of drawings.
  • This is a similar drawing search program that allows a computer to search for drawings similar to a target drawing from a drawing database stored in association with the target drawing, and allows a computer to acquire feature information regarding the shape of parts in the target drawing from the target drawing. Then, from the target drawing, obtain drawing information regarding the parts in the target drawing, search the drawing database for a plurality of first similar drawings based on the feature information of the target drawing, and search the plurality of first similar drawings based on the drawing information of the target drawing.
  • the first similar drawings are narrowed down to a plurality of second similar drawings, and the plurality of second similar drawings are displayed on the display 17.
  • a program that can cause a computer to execute the method can be stored and distributed in a storage medium such as a magnetic disk (hard disk, etc.), optical disk (CD-ROM, DVD, etc.), semiconductor memory, etc. .
  • the processing contents and effects in each step of the similar drawing search process realized by the similar drawing search program are the same as those in the embodiment, and therefore the description thereof will be omitted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

実施形態に係る類似図面検索装置は、複数の図面に対して各図面における部品の形状に関する特徴情報と各図面における部品に関する図面情報とを対応付けて記憶した図面データベースから、対象図面に類似する図面を検索し、特徴情報取得部と、図面情報取得部と、類似図面検索部と、図面絞り込み部と、表示部と、を備える。特徴情報取得部は、対象図面から、対象図面における部品の形状に関する特徴情報を取得する。図面情報取得部は、対象図面から、対象図面における部品に関する図面情報を取得する。類似図面検索部は、対象図面の特徴情報に基づいて、図面データベースから複数の第１類似図面を検索する。図面絞り込み部は、対象図面の図面情報に基づいて、複数の第１類似図面から複数の第２類似図面に絞り込む。表示部は、前記複数の第２類似図面を表示する。

Description

類似図面検索装置、類似図面検索方法、および類似図面検索プログラム
　本発明の実施形態は、類似図面検索装置、類似図面検索方法、および類似図面検索プログラムに関する。
　従来、設計や調達において、大口の製品の発注量を有するユーザの場合、当該製品に関する図面の発注業務は、頻繁に行われることがある。このため、図面のデータは、大量に作成されることになる。製品の受発注業務に際して作成された大量の図面データを活用し、当該受発注業務の効率化を図ることを目的として、例えば、過去に類似する図面情報を参照したいことがある。
特開２０２０－９１７６９号公報
　過去の図面と所望の図面との類似に関する要件が複雑であるため、ユーザは、容易に類似図面を検索することができないことある。
　実施形態にかかる類似図面検索装置は、複数の図面に対して各図面における部品の形状に関する特徴情報と各図面における部品に関する図面情報とを対応付けて記憶した図面データベースから、対象図面に類似する図面を検索する。類似図面検索装置は、特徴情報取得部と、図面情報取得部と、類似図面検索部と、図面絞り込み部と、表示部と、を備える。特徴情報取得部は、対象図面から、対象図面における部品の形状に関する特徴情報を取得する。図面情報取得部は、対象図面から、対象図面における部品に関する図面情報を取得する。類似図面検索部は、対象図面の特徴情報に基づいて、図面データベースから複数の第１類似図面を検索する。図面絞り込み部は、対象図面の図面情報に基づいて、複数の第１類似図面から複数の第２類似図面に絞り込む。表示部は、前記複数の第２類似図面を表示する。
　実施形態に係る類似図面検索装置において、前記特徴情報取得部は、前記対象図面を入力として前記対象図面の特徴に基づいて推定される推定結果を出力する学習済みモデルに前記対象記図面を入力して、前記学習済みモデルにおける少なくとも一つの中間層から出力される中間出力と、前記対象図面の部品に対する画像処理を用いた、前記対象図面の部品における部品の形状の特性と、のうち少なくとも一つを、前記対象図面の特徴情報として取得する。
　実施形態に係る類似図面検索装置において、前記学習済みモデルは、前記図面データベースに記憶される前記複数の図面各々を学習前のモデルに入力し、前記複数の図面に対応する複数の推定結果各々を教師データとして用いて、前記学習前のモデルを学習することにより生成され、前記複数の推定結果各々は、製品カテゴリ、加工前後の寸法、加工工程カテゴリ、加工方法、曲げ加工の有無、および溶接加工の有無を含む製品・加工に関する複数の項目のうち少なくとも一つである。
　実施形態に係る類似図面検索装置において、前記対象図面の特徴情報が前記中間出力と前記特性とを有する場合、前記類似図面検索部は、前記中間出力と前記図面データベースに記憶された複数の中間出力各々との間の中間出力類似性と、前記特性と前記複数の中間出力に対応する複数の特性各々との間の特性類似性と、に基づいて、前記複数の第１類似図面を検索する。
　実施形態に係る類似図面検索装置において、前記類似図面検索部は、前記中間出力類似性に第１重みを乗算した第１重み付け値と、前記特性類似性に第２重みを乗算した第２重み付け値とを加算することによりスコアを計算し、前記スコアを用いて前記複数の第１類似図面を検索する。
　実施形態に係る類似図面検索装置において、前記対象図面の図面情報は、前記部品に対して付帯されたテキストと、前記テキストに基づいて推定された推定情報と、前記部品に対して付帯された記号情報とのうち少なくとも一つを有する。
　実施形態に係る類似図面検索装置において、前記中間出力類似性は、前記対象図面の中間出力と前記図面データベースに記憶された複数の中間出力各々との間の中間出力距離であり、前記特性類似性は、前記対象図面の特性と前記図面データベースに記憶された前記複数の中間出力に対応する複数の特性各々との間の特性距離であって、実施形態に係る類似図面検索装置は、類似の２つの第１図面の指定と非類似の２つの第２図面の指定とを複数入力する入力部と、前記２つの第１図面の間の類似性に関する第１スコアが小さくなるように、かつ前記２つの第２図面の間の類似性に関する第２スコアが大きくなるように、前記中間出力距離と前記特性距離とのうち少なくとも一つにおけるメトリックに対する距離学習を実行する学習部と、をさらに備える。
　実施形態に係る類似図面検索装置において、前記中間出力類似性は、前記対象図面の中間出力と前記図面データベースに記憶された複数の中間出力各々との間の中間出力距離であり、前記特性類似性は、前記対象図面の特性と前記図面データベースに記憶された前記複数の中間出力に対応する複数の特性各々との間の特性距離であって、実施形態に係る類似図面検索装置は、前記特徴情報取得部において取得された特徴情報を用いて、クラスタリングを実施し、同クラスタに含まれる図面間の類似性に関するスコアが小さくなるように、かつ別のクラスタに含まれる図面間の類似性に関するスコアが大きくなるように、前記中間出力距離と前記特性距離とのうち少なくとも一つにおけるメトリックに対する距離学習を実行する学習部をさらに備える。
　実施形態に係る類似図面検索装置において、前記メトリックは、前記中間出力距離の算出に用いられるメトリックである。
　実施形態に係る類似図面検索装置において、前記特徴情報取得部は、前記対象図面の図面から前記対象図面の部品の領域を抽出し、前記対象図面の部品から前記対象図面の特徴を取得する。
　実施形態にかかる類似図面検索方法は、複数の図面に対して各図面における部品の形状に関する特徴情報と各図面における部品に関する図面情報とを対応付けて記憶した図面データベースから、対象図面に類似する図面を検索する類似図面検索方法であって、前記対象図面から、前記対象図面における部品の形状に関する特徴情報を取得し、前記対象図面から、前記対象図面における部品に関する図面情報を取得し、前記対象図面の特徴情報に基づいて、前記図面データベースから複数の第１類似図面を検索し、前記対象図面の図面情報に基づいて、前記複数の第１類似図面から複数の第２類似図面に絞り込み、前記複数の第２類似図面をディスプレイに表示すること、を備える。
　実施形態にかかる類似図面検索プログラムは、コンピュータに、複数の図面に対して各図面における部品の形状に関する特徴情報と各図面における部品に関する図面情報とを対応付けて記憶した図面データベースから、対象図面に類似する図面を検索することを実現させる類似図面検索プログラムであって、前記コンピュータに、前記対象図面から、前記対象図面における部品の形状に関する特徴情報を取得し、前記対象図面から、前記対象図面における部品に関する図面情報を取得し、前記対象図面の特徴情報に基づいて、前記図面データベースから複数の第１類似図面を検索し、前記対象図面の図面情報に基づいて、前記複数の第１類似図面から複数の第２類似図面に絞り込み、前記複数の第２類似図面をディスプレイに表示すること、を実現させる。
　本発明の一態様によれば、容易に類似図面を検索することができる。
図１は、実施形態に係る類似図面検索装置１のハードウェア構成の一例を示す図である。 図２は、実施形態に係る図面データの一例を示す図である。 図３は、実施形態に係る母材形状ＢＭＳの一例を示す図である。 図４は、実施形態に係り、中間出力の特徴空間において、対象図面の中間出力の位置と、データベース図面の中間出力との位置との一例を示す図である。 図５は、実施形態に係り、スコアが計算される過程の一例を示す図である。 図６は、実施形態に係り、類似図面検索処理におけるデータの流れの一例を示す図である。 図７は、実施形態に係り、類似図面検索処理における手順の一例を示す図である。 図８は、実施形態に係り、対象図面と、複数の第１類似図面との表示の一例を示す図である。 図９は、実施形態に係り、重み設定処理における手順の一例を示す図である。 図１０は、実施形態の応用例に係り、距離学習処理におけるデータの流れの一例を示す図である。 図１１は、実施形態の応用例に係り、距離学習処理における手順の一例を示すフローチャートである。
　以下、図面を参照しながら実施形態について詳細に説明する。
　図１は、本実施形態に係る類似図面検索装置１のハードウェア構成の一例を示す図である。類似図面検索装置１は、複数の図面に対して各図面における部品の形状に関する特徴情報と各図面における部品に関する図面情報とを対応付けて記憶した図面データベースから、対象図面に類似する図面を検索する装置である。図面のおける部品は、例えば、金属加工品のようなものの一パースなどに限定された図面を指す部品図、当該部品図を組み合わせた組図、回路図などに対応する部品情報に相当する。以下、説明を簡便にするために、上記部品は、部品図として説明する。
　図１に示すように、類似図面検索装置１は、処理回路１１と、メモリ１３と、入力インターフェース１５と、ディスプレイ１７と、通信インターフェース１９と、を備えている。図１に示すように、処理回路１１と、メモリ１３と、入力インターフェース１５と、ディスプレイ１７と、通信インターフェース１９とは、バスを介して電気的に接続されている。このため、処理回路１１と、メモリ１３と、入力インターフェース１５と、ディスプレイ１７と、通信インターフェース１９とは、システム制御部１１１による制御の元で、適宜データが送受信される。
　なお、メモリ１３は、ストレージに対応する記憶装置として実現されてもよい。メモリ１３は、記憶部に対応する。また、入力インターフェース１５は、入力部に対応する。ディスプレイ１７は、表示部に対応する。通信インターフェース１９は、通信部に対応する。
　処理回路１１は、例えば、ハードウェア資源として、プロセッサと内部メモリとを有する。なお、処理回路１１は、コンピュータなどにより実現されてもよい。また、プロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、ＳＰＬＤ（Ｓｉｍｐｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）などにより実現される。また、内部メモリは、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）および／またはＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などにより実現される。プロセッサおよび内部メモリを実現するハードウェアは、上記に限定されず、適宜既知のものが利用可能である。
　処理回路１１により各種機能を実現するシステム制御部１１１、特徴情報取得部１１３、図面情報取得部１１５、類似図面検索部１１７、図面絞り込み部１１９、および学習部１２１については、後ほど説明する。
　メモリ１３は、種々の情報を記憶するＨＤＤ（Ｈａｒｄ　ｄｉｓｋ　Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、集積回路記憶装置等の記憶装置である。メモリ１３は、本実施形態に係る各種プログラムを記憶する。例えば、メモリ１３は、処理回路１１により実行されるシステム制御部１１１、特徴情報取得部１１３、図面情報取得部１１５、類似図面検索部１１７、図面絞り込み部１１９、学習部１２１各々における処理の実行に関するプログラムを記憶する。
　メモリ１３は、例えば、複数の図面各々を図面データとして記憶する。また、メモリ１３は、複数の図面各々、複数の図面各々における部品図の形状に関する特徴情報、および当該部品図に関する図面情報を、複数の図面各々の図面ＩＤと関連付けて記憶する。図面ＩＤと特徴情報と図面情報とは、インデックス（Ｉｎｄｅｘ）データと称されてもよい。また、複数の図面各々は、図面データとして、メモリ１３に記憶される。インデックスデータおよび図面データは、複数の図面に関するデータベース（以下、図面データベースと呼ぶ）として、メモリ１３に記憶される。以下、図面データベースに記憶された複数の図面各々を、データベース図面と呼ぶ。
　図面情報は、例えば、図面における部品図に対して付帯されたテキストと、当該テキストに基づいて推定された推定情報と、部品図に対して付帯された記号情報と、のうち少なくとも一つを有する。テキストは、例えば、図面に付帯されている文字情報および数値情報である。具体的には、テキストは、図面の表題欄に記載されている図面番号、図番、品名、材質、加工に関する情報（例えば、表面処理）、部品図に記載されている寸法値や穴の数、その他ユーザが各図面に対して付与している情報などである。また、部品図に対して付帯された記号情報は、例えば、上記テキストなどを略記した記号、および／またはユーザにより付与された記号などに関する情報である。
　図２は、図面データの一例を示す図である。図２に示すように、図面情報におけるテキストは、部品図に付帯されたテキスト（Ｓ４など）と、表題欄Ｔに記載されたテキスト（Ｔ１，Ｔ２、Ｔ３など）とを有する。部品図に付帯された記号情報は、例えば、図２に示すように、Ｓ１、Ｓ２、Ｓ３などにおける記号である。図面から図面情報を取得する処理については、図面情報取得部１１５において説明する。
　図面情報における推定情報は、例えば、寸法値から推定された推定値（部品図の最大寸法など）、母材形状、加工方法、価格などである。ここで、母材形状は、図面に示された部品図の製造において、板金加工や機械加工（フライス・旋盤）による加工前の材料の形状を示している。部品図に対応する部品の製造において、加工時にはこれらの母材形状の材料が選択され、加工が実施される。
　図３は、母材形状ＢＭＳの一例を示す図である。図３に示すように、母材形状ＢＭＳは、例えば、丸棒ＲＢ、六角棒ＨＢ、四角棒ＳＢ、丸パイプＲＰ、平鋼板ＦＳＰ、アングルＡＧ、チャンネルＣＮ、角パイプＳＰなどである。なお、母材形状ＢＭＳは、図３に示す例に限定されず、他の形状であってもよい。母材形状の推定については、図面情報取得部１１５において説明する。
　加工方法は、例えば、板金加工や機械加工などである。機械加工は、例えば、フライス、旋盤などである。なお、加工方法は、これらに限定されず、既知の加工方法であってもよい。また、価格は、部品図に対応する部品の製造に関する価格であって、例えば、材料費（母材の費用）と加工費との和である。なお、価格は、これに限定されず、他の費用であってもよい。価格の推定については、図面情報取得部１１５において説明する。
　また、メモリ１３は、類似図面の検索対象となる図面（以下、対象図面と呼ぶ）を入力として、特徴情報に基づいて推定される推定結果を出力する学習済みモデルを記憶する。ここで、推定結果は、例えば、対象図面に関して、製品カテゴリ、加工前後の寸法、加工工程カテゴリ、加工方法、曲げ加工の有無、および溶接加工の有無を含む製品・加工に関する複数の項目のうち少なくとも１つである。メモリ１３に記憶される上記特徴情報は、上記学習済みモデルにおける少なくとも一つの中間層から出力される対象図面の中間出力と、部品図に対する画像処理により部品図における部品の形状の特性とのうち少なくとも一つである。学習済みモデルは、入出力の間で中間特徴を出力可能なモデルであって、例えば、多層のニューラルネットワークにより構成されるモデルである。中間出力及び特性は、それぞれベクトルで表現される。ここで、部品の形状の特性とは、例えば、部品図に対応する部品全体を特徴づける形状の特性であって、例えば、エッジ方向（４方向または８方向）の成分を統計的に集計したものである。部品の形状の特性の取得に関しては、特徴情報取得部１１３において説明する。
　メモリ１３は、複数のデータベース図面各々と対象図面との類似性を、ベクトルで表現された特徴間の類似性を用いてスコアとして算出される計算式と、当該計算式で用いられる第１重みと第２重みとを記憶する。第１重みと第２重みとの決定については、後ほど説明する。
　第１重みは、例えば、複数のデータベース図面各々に関する中間出力と対象図面に関する中間出力とにより算出される類似性（以下、中間出力類似性と呼ぶ）に乗算される。また、第２重みは、例えば、複数のデータベース図面各々に関する特性と対象図面に関する特性とにより算出される類似性（以下、特性類似性と呼ぶ）に乗算される。スコアを計算する計算式は、例えば、スコア＝第１重み×中間出力類似性＋第２重み×特性類似性で表される。類似性を示すスコアを計算する計算式に示すように、第１重みと第２重みとは、特徴に基づく中間出力類似性と特性類似性とのうち、いずれの類似性（すなわち中間出力による類似性と形状の特性の類似性とのうちいずれか）に対して信頼性として重きを置くのか、ということを数値的に示しているものである。なお、第１重みと第２重みとの和は１となるように、予め設定されてもよい。メモリ１３に記憶された複数のデータベース図面各々に関する特徴（中間出力および形状の特性）の取得、第１重みおよび第２重みの設定等については、後程説明する。
　メモリ１３は、ＨＤＤやＳＳＤ等以外にも、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、フラッシュメモリ等の可搬性記憶媒体や、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。なお、メモリ１３の保存領域は、類似図面検索装置１内にあってもよいし、ネットワーク３１で接続された外部記憶装置内に設けられてもよい。
　入力インターフェース１５は、ユーザからの各種の指示に関する入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路１１に出力する。入力インターフェース１５としては、例えば、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等が適宜、使用可能となっている。なお、本実施形態において、入力インターフェース１５は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の物理的な操作部品を備えるものに限られない。例えば、類似図面検索装置１とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路１１へ出力する電気信号の処理回路も入力インターフェース１５の例に含まれる。
　ディスプレイ１７は、各種情報を表示する。例えば、ディスプレイ１７は、処理回路１１による類似図面の検索結果や、ユーザからの各種操作を受け付けるためのＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）等を出力する。ディスプレイ１７としては、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）ディスプレイ、有機ＥＬディスプレイ（ＯＥＬＤ：Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）、プラズマディスプレイ又は他の任意のディスプレイが、適宜、使用可能となっている。また、ディスプレイ１７は、デスクトップ型でもよいし、類似図面検索装置１と無線通信可能なタブレット端末等で構成されることにしても構わない。
　通信インターフェース１９は、例えば、ネットワーク１９１を介して他の入出力装置との間でデータ通信を行う。通信インターフェース１９による通信の規格は、如何なる規格であっても良い。通信インターフェース１９は、他の入出力装置とのデータ通信により取得された図面データをメモリ１３に出力する。通信インターフェース１９は、他の入出力装置における他の入力インターフェースに入力された入力操作の電気信号を受信する。通信インターフェース１９は、受信した電気信号を、処理回路１１に出力する。
　システム制御部１１１は、入力インターフェース１５を介してユーザから受け付けた入力操作に対応する電気信号に基づいて、処理回路１１における各部の処理を制御する。具体的には、システム制御部１１１は、メモリ１３に記憶されている制御プログラムを読み出して処理回路１１内の内部メモリ上に展開し、展開された制御プログラムに従って類似図面検索装置１の各部を制御する。
　特徴情報取得部１１３は、入力インターフェース１５を介してユーザにより入力された対象図面から、当該対象図面における部品図の形状に関する特徴情報を取得する。特徴情報取得部１１３は、取得した特徴情報を、対象図面のＩＤと関連付けて、メモリ１３に記憶させる。
　例えば、特徴情報取得部１１３は、対象図面を学習済みモデルに入力して、学習済みモデルにおける少なくとも一つの中間層から出力される中間出力を、部品図の形状に関する特徴情報として取得する。学習済みモデルは、学習済みのＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ）により実現される。学習済みのＣＮＮとしては、例えば、［１９０５．１１９４６］　ＥｆｆｉｃｉｅｎｔＮｅｔ：　Ｒｅｔｈｉｎｋｉｎｇ　Ｍｏｄｅｌ　Ｓｃａｌｉｎｇ　ｆｏｒ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓに記載されているＥｆｆｉｃｉｅｎｔＮｅｔなどが用いられる。
　学習済みモデルに入力される画像形式は、例えば、ＰＮＧ（Ｐｏｒｔａｂｌｅ　Ｎｅｔｗｏｒｋ　Ｇｒａｐｈｉｃｓ）形式またはＴＩＦＦ（Ｔａｇｇｅｄ　Ｉｍａｇｅ　Ｆｉｌｅ　Ｆｏｒｍａｔ）形式などの任意の２次元図面である。なお、画像形式は、上記に限定されない。また、学習済みモデルに入力される対象図面は、ユーザによる手書きの図面であってもよい。なお、対象図面が３次元のＣＡＤ（ｃｏｍｐｕｔｅｒ－ａｉｄｅｄ　ｄｅｓｉｇｎ）図面である場合、学習済みモデルに入力される図面は、３次元のＣＡＤ図面をレンダリングした画像（以下、レンダリング画像と呼ぶ）であってもよい。レンダリング処理は、特徴情報取得部１１３により実行されてもよいし、他のユニットもしくは通信インターフェース１９とネットワーク１９１とを介した外部の装置により実行されてもよい。レンダリング画像は、例えば、３面図は、例えば、平面図、正面図、側面図(右側面図)などである。
　なお、学習済みモデルに入力される対象図面は、当該対象図面から部品図の領域を抽出したものであってもよい。このとき、特徴情報取得部１１３は、学習済みモデルの実行に先立って、図面に対する所定の抽出処理により、部品図の領域を抽出する。当該抽出処理は、既存のセグメンテーション処理などの各種画像処理が利用可能であるため、説明は省略する。次いで、特徴情報取得部１１３は、学習済みモデルに部品図のデータを入力することで、当該対象図面に関する中間出力を取得する。なお、中間出力は、学習済みモデルにおける複数の中間層のうちいずれの中間層から出力されるベクトルであってもよいが、好適には、学習済みモデルにおける出力層（母材形状などの推定結果を出力するレイヤー）に入力される中間出力、すなわち出力層の直前の中間層（以下、最後段中間層と呼ぶ）からの中間出力が望ましい。なお、中間出力は、最後段中間層以外の中間層からの出力であってもよいし、複数の中間層からの出力であってもよい。
　学習済みモデルは、図面データベースに記憶される複数のデータベース図面各々を学習前のモデルに入力し、当該複数のデータベース図面に対応する複数の推定結果各々を教師データとして用いて、学習前のモデルを学習することにより生成される。ここで、複数の推定結果各々は、複数のデータベース図面各々に関して、例えば、製品カテゴリ、加工前後の寸法、加工工程カテゴリ、加工方法、曲げ加工の有無、および溶接加工の有無を含む製品・加工に関する複数の項目のうち少なくとも一つである。すなわち、学習済みモデルは、例えば、中間層から出力可能な多層のニューラルネットワークに対して、データベース図面と当該データベース図面に関する製品・加工に関する複数の項目のうち少なくとも一つとを学習データとして用いて学習することで生成される。例えば、製品カテゴリが教師データである場合、学習済みモデルの生成は、図面を画像としてＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｕｅｒａｌ　Ｎｅｔｗｏｒｋ）に入力し、製品カテゴリのクラスを８クラスに分類するようにして、ＣＮＮを学習することで生成される。学習済みモデルの生成は、既知の方法が適用可能であるため、説明は省略する。
　特徴情報取得部１１３は、対象図面に対する画像処理により、当該対象図面の当該部品図における部品の形状の特性を取得する。このとき、画像処理の対象は、対象図面に限定されず、対象図面から外枠と表題欄Ｔとを抽出した図面領域（部品図）であってもよい。例えば、特徴情報取得部１１３は、対象図面の部品図に対する画像処理により、エッジ方向（４方向または８方向）の成分を統計的に集計したベクトルを、特性として取得する。なお、形状の特性は、上記エッジ方向に関したものに限定されず、例えば、Ｄｉｓｔｉｎｃｔｉｖｅ　Ｉｍａｇｅ　Ｆｅａｔｕｒｅｓ　ｆｒｏｍ　Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ　Ｋｅｙｐｏｉｎｔｓ　Ｄａｖｉｄ　Ｇ．　Ｌｏｗｅ　Ｊａｎｕａｒｙ　５，　２００４　ｔｈｅ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，　２００４．　　ｈｔｔｐｓ：／／ｗｗｗ．ｒｏｂｏｔｓ．ｏｘ．ａｃ．ｕｋ／～ｖｇｇ／ｒｅｓｅａｒｃｈ／ａｆｆｉｎｅ／ｄｅｔ＿ｅｖａｌ＿ｆｉｌｅｓ／ｌｏｗｅ＿ｉｊｃｖ２００４．ｐｄｆに記載されているような、局所特徴を取得して画像全体で集計したものであってもよい。
　また、取得された局所特徴を画像全体で集計する際には、例えば、Ｔ．　Ｊｏａｃｈｉｍｓ：　“Ｔｅｘｔ　ｃａｔｅｇｏｒｉｚａｔｉｏｎ　ｗｉｔｈ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ：　ｌｅａｎｉｎｇ　ｗｉｔｈ　ｍａｎｙ　ｒｅｌｅｖａｎｔ　ｆｅａｔｕｒｅｓ”，　Ｐｒｏｃ．　１０ｔｈ　Ｅｕｒｏｐｅａｎ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｍａｃｈｉｎｅ　Ｌｅａｎｉｎｇ　（ＥＣＭＬ－９８），　ｐｐ１３７－１４２　（１９９８）に記載されているようなＢａｇ－ｏｆ－ｆｅａｔｕｒｅｓのように、予めコードブックベクトルを設定して、その各コードブックの頻度を画像内で集計するヒストグラム特徴を用いてもよい。
　図面情報取得部１１５は、入力インターフェース１５を介してユーザにより入力された対象図面から、部品図に関する図面情報を取得する。図面情報取得部１１５は、取得された図面情報を、対象図面のＩＤと関連付けて、メモリ１３に記憶させる。
　具体的には、図面情報取得部１１５は、対象図面から部品図に対して付帯されたテキストを取得する。図面情報取得部１１５は、例えば、表題欄Ｔに記載された文字情報（例えば、図２に示すＴ１、Ｔ２、Ｔ３など）と、部品図に付帯された数値情報（例えば、図２に示すＳ４など）とを、テキストとして取得する。また、図面情報取得部１１５は、対象図面から、当該対象図面の部品図に対して付帯された記号情報を取得する。図面情報取得部１１５は、例えば、部品図に付帯された記号（例えば、図２に示すＳ１、Ｓ２、Ｓ３など）を、記号情報として取得する。対象図面からテキストおよび／または記号情報を取得する処理としては、例えば、ＯＣＲ（Ｏｐｔｉｃａｌ　Ｃｈａｒａｃｔｅｒ　Ｒｅｃｏｇｎｉｔｉｏｎ／Ｒｅａｄｅｒ：光学的文字認識）などの既知の技術が適用可能であるため、説明は省略する。
　また、図面情報取得部１１５は、取得されたテキストに基づいて推定された推定情報を、図面情報として取得する。例えば、図面情報取得部１１５は、寸法値などの数値情報に対する所定の演算などにより、最大寸法などの推定値を、推定情報として取得する。また、図面情報取得部１１５は、表題欄Ｔに記載のテキストおよび／または部品図に付帯された寸法値などの数値情報に基づいて、母材形状、加工方法、または価格などを推定する。図面情報取得部１１５は、推定された母材形状、加工方法、または価格などの推定情報を、図面情報として取得する。なお、図面情報取得部１１５は、部品図を学習済みモデルに入力することにより、母材形状、加工方法、または価格などを推定してもよい。母材形状、加工方法、または価格などの推定は、既知の手法が適用可能であるため、説明は省略する。
　類似図面検索部１１７は、特徴情報取得部１１３により取得された対象図面の特徴に基づいて、複数の図面（データベース図面）と複数のデータベース図面各々に関する特徴とが対応付けられて記憶された図面データベースから、対象図面における部品図に類似する複数の第１類似図面を検索する。
　例えば、類似図面検索部１１７は、複数のデータベース図面各々と対象図面との類似性を、ベクトルで表現された特徴間の類似度（Ｓｉｍｉｌａｒｉｔｙ）を用いてスコアを計算してもよい。特徴間の類似度は、例えば、以下の式（１）で示されるコサイン類似度により算出される。
Figure JPOXMLDOC01-appb-M000001
 　式（１）におけるＡｉは、対象図面の特徴を示すベクトルのｉ成分を示している。また、式（１）におけるＢｉは、データベース図面の特徴を示すベクトルのｉ成分を示している。ｎは、対象図面の特徴を示すベクトルとデータベース図面の特徴を示すベクトルとの成分の数（次元）を示している。また、式（１）に示す類似度は、中間出力および形状の特性各々について計算されてもよい。
　また、類似図面検索部１１７は、特徴間の類似性として、例えば、以下の式（２）で示されるユークリッド距離を算出してもよい。以下、２つの中間出力に関する距離を中間出力距離と呼び、２つの特性に関する距離を特性距離と呼ぶ。すなわち、中間出力類似性は、例えば、中間出力距離または２つの中間出力によるコサイン類似度により、表現される。また、特性類似性は、例えば、特性距離または２つの特性によるコサイン類似度により、表現される。
Figure JPOXMLDOC01-appb-M000002
　式（２）における左辺ｄ（ｘ、ｙ）は、ユークリッド距離を示している。また、式（２）におけるｘは、対象図面の特徴を示すベクトルを示している。また、式（２）におけるｙは、データベース図面の特徴を示すベクトルを示している。ｎは、対象図面の特徴を示すベクトルとデータベース図面の特徴を示すベクトルとの成分の数（次元）を示している。また、式（２）に示すユークリッド距離ｄ（ｘ、ｙ）は、中間出力および形状の特性各々について計算されてもよい。
　図４は、中間出力の特徴空間において、対象図面の中間出力の位置と、データベース図面の中間出力との位置との一例を示す図である。図４に示すように、対象図面の中間出力の位置を中心とする所定の半径の円内において、複数の中間出力に対応する複数のデータベース図面は、対象図面の特徴と類似する特徴を有することを示している。
　類似図面検索部１１７は、メモリ１３に記憶された計算式を用いて、対象図面に類似する第１類似図面の特定に用いられるスコアを計算する。具体的には、類似図面検索部１１７は、第１重みと中間出力類似性との乗算値（以下、第１重み付け値と呼ぶ）と、第２重みと特性類似性との乗算値（以下、第２重み付け値と呼ぶ）との和を、スコアとして計算する。スコアは小さいほど、データベース図面と対象図面とが類似することとなる。すなわち、類似度が高い順（例えば、スコアが小さい順）に、データベース図面は、対象図面と類似する。なお、当該対象図面における部品図の形状に関する特徴として中間出力または部品の形状の特性が用いられる場合、スコアは、中間出力類似性または特性類似性そのものとなる。
　図５は、スコアが計算される過程の一例を示す図である。図５に示すように、類似図面検索部１１７は、対象図面の中間出力および形状の特性と、データベース図面の中間出力および形状の特性を用いて、対象図面とデータベース図面との類似性を示すスコアを計算する。以上により、類似図面検索部１１７は、データベース図面から対象図面に類似する複数の第１類似図面を検索する。
　図面絞り込み部１１９は、対象図面の図面情報に基づいて、複数の第１類似図面から複数の第２類似図面に絞り込む。複数の第２類似図面は、例えば、複数の第１類似図面に比べて、部品図にさらに類似する図面である。具体的には、図面絞り込み部１１９は、対象図面に関する図面番号、図番、品名、部品名、記号情報などと、複数の第１類似図面に関する図面情報との部分一致を、キーワードによる絞り込みの条件として用いて、第１類似図面を第２類似図面に絞り込む。
　また、図面絞り込み部１１９は、例えば、対象図面における部品図に関する材質、表面処理などを、複数の第１類似図面に関する図面情報に対する多数の選択リスト（ｍｕｌｔｉ　ｐｉｃｋｌｉｓｔ）として用いて、第１類似図面を第２類似図面に絞り込んでもよい。また、図面絞り込み部１１９は、例えば、対象図面における部品図に関する寸法サイズを、複数の第１類似図面に関する図面情報における範囲の指定として用いて、第１類似図面を第２類似図面に絞り込んでもよい。図面絞り込み部１１９は、第１類似図面から絞り込んだ第２類似図面を、ディスプレイ１７に出力する。
　学習部１２１は、例えば、学習済みモデルの生成などに用いられる。学習部１２１は、学習前の多層のニューラルネットワークにより構成されるモデルに対して学習データを適用して、学習済みモデルを生成する。学習データは、入力データと教師データ（正解データ）とを有する。入力データは、例えば、部品図である。また、教師データは、当該部品図に対応する製品カテゴリ、加工前後の寸法、加工工程カテゴリ、加工方法、曲げ加工の有無、および溶接加工の有無を含む製品・加工に関する複数の項目のうち少なくとも１つである。学習済みモデルの生成については、既知の学習方法が利用可能であるため説明は省略する。また、学習部１２１は、第１重みと第２重みとを設定する。第１重みと第２重みとの設定に関しては、後ほど説明する。
　以上、類似図面検索装置１における構成について説明した。以下、類似図面検索装置１による類似図面の検索に関する（以下、類似図面検索処理と呼ぶ）について説明する。類似図面検索処理は、対象図面における部品図の形状の特徴に基づいて、対象図面と類似する第１類似図面を、メモリ１３におけるデータベース図面から検索し、対象図面における図面情報に基づいて、複数の第１類似図面から少なくとも１つの第２類似図面を絞り込むことにある。
　すなわち、類似図面検索処理は、対象図面の部品図の形状の特徴に基づく複数の第１の類似図面の検索と、対象図面の図面情報に基づいて複数の第１の類似図面から複数の第２類似図面に絞り込むという、２つの処理により、対象図面に対応する類似図面を特定することにある。以下、類似図面検索処理の説明を具体的にするために、特徴情報取得部１１３により取得される対象図面の特徴は、中間出力と、部品図に対応する部品の形状の特性とであるものとする。
　図６は、類似図面検索処理におけるデータの流れの一例を示す図である。図７は、類似図面検索処理における手順の一例を示す図である。
　　（類似図面検索処理）
　（ステップＳ７０１）
　入力インターフェース１５は、ユーザの指示により、対象図面を入力する。なお、類似図面検索装置１への対象図面の入力は、入力インターフェース１５を介した処理に限定されない。対象図面は、例えば、通信インターフェース１９とネットワーク１９１とを介して、外部の入力装置から入力されてもよい。
　（ステップＳ７０２）
　特徴情報取得部１１３は、対象図面を学習済みモデルに入力し、中間出力を取得する。なお、学習済みモデルへの入力は、対象図面に限定されず、対象図面から抽出された部品図であってもよい。このとき、対象図面から部品図の抽出に関する処理は、ステップＳ７０１とステップＳ７０２との間において、例えば、特徴情報取得部１１３により実行される。
　（ステップＳ７０３）
　類似図面検索部１１７は、メモリ１３におけるインデックスデータに問い合わせを行い、メモリ１３からデータベース図面に関する中間出力を読み出す。類似図面検索部１１７は、メモリ１３から読みだされた複数のデータベース図面に対応する複数の中間出力各々と、取得された中間出力との間の中間出力類似性を算出する。中間出力類似性は、上述のようにコサイン類似度またはユークリッド距離などである。なお、当該対象図面における部品図の形状に関する特徴が中間出力のみである場合、以下のステップＳ７０４とＳ７０６との処理は省略されることとなる。
　（ステップＳ７０４）
　特徴情報取得部１１３は、対象図面における部品図に対応する部品の特性を取得する。部品の特性は、上述のように、部品図により来てされる部品のエッジに関する特性である。なお、部品の特性は、エッジに関する特性に限定されず、他の部品の特性、例えば、部品における曲げの曲率などの形状を規定する特性であってもよい。
　（ステップＳ７０５）
　類似図面検索部１１７は、メモリ１３におけるインデックスデータに問い合わせを行い、メモリ１３からデータベース図面に関する特性を読み出す。類似図面検索部１１７は、メモリ１３から読みだされた複数のデータベース図面に対応する複数の特性各々と、取得された特性との間の特性類似性を算出する。特性類似性は、上述のようにコサイン類似度またはユークリッド距離などである。なお、当該対象図面における部品図の形状に関する特徴が中間出力のみである場合、上記ステップＳ７０２とＳ７０３との処理は省略されることとなる。
　（ステップＳ７０６）
　類似図面検索部１１７は、中間出力距離に第１重みを乗算して第１重み付け値を算出し、特性距離に第２重みを乗算して第２重み付け値を算出する。次いで、類似図面検索部１１７は、第１重み付け値と第２重み付け値とを加算することにより、複数のデータベース図面に対応する複数のスコアを計算する。なお、特徴情報取得部１１３により取得される特徴が中間出力と形状の特性とのうちいずれか一方である場合、類似図面検索部１１７は、中間出力距離または特性距離を、スコアとして算出する。
　（ステップＳ７０７）
　類似図面検索部１１７は、図面ＩＤを用いてメモリ１３に類似度が高い順（例えば、スコアの小さい順、コサイン類似度が大きい順など）に問い合わせを行い、メモリ１３から複数の第１類似図面を取得する。これにより、類似図面検索部１１７は、図面データベースからの複数の第１類似図面の検索を完了する。なお、類似図面検索部１１７は、所定の値未満（または以下）の複数のスコアに対応する複数の第１類似図面を、メモリ１３における図面データベースから取得（抽出）してもよい。
　（ステップＳ７０８）
　図面情報取得部１１５は、対象図面から、対象図面の部品図に関する図面情報を取得する。このとき、図面情報取得部１１５は、取得された図面情報（例えば、部品図に対して付帯されたテキスト、および当該テキストに基づいて推定された推定情報、記号情報など）を、対象図面のＩＤと関連付けて、メモリ１３に記憶する。なお、図面情報は、入力インターフェース１５を介したユーザの指示により、適宜、選択、修正などが可能である。
　本ステップにおいて、ディスプレイ１７は、システム制御部１１１による制御のもとで、対象図面と、複数の第１類似図面とを、類似度が高い順（例えば、スコアの小さい順、コサイン類似度が大きい順など）に表示してもよい。図８は、対象図面と、複数の第１類似図面との表示の一例を示す図である。図８に示すように、ディスプレイ１７には、対象図面と複数の第１類似図面とに加えて、対象図面の図面情報と、図面絞り込み部１１９による絞り込みの項目を選択するためのボタン（絞り込み項目）とがさらに表示される。このとき、入力インターフェース１５を介したユーザの指示により絞り込み項目が選択されると、対象図面に関する材質・表面処理といった図面情報で、後段のステップＳ７０９における絞り込み検索が実施される。
　（ステップＳ７０９）
　図面絞り込み部１１９は、対象図面の図面情報に基づいて、複数の第１類似図面から、複数の第２類似図面を絞り込む。すなわち、図面絞り込み部１１９は、スコアが低くかつ対象図面の図面情報に基づく絞り込み条件に合致する複数の第２類似図面を、第１類似図面から絞り込む。
　（ステップＳ７１０）
　システム制御部１１１は、絞り込まれた第２類似図面を、例えば、スコアの低い順にディスプレイ１７に表示させる。これにより、ユーザは、対象図面に類似図面を、複数の第２類似図面のリストから選択することができる。入力インターフェース１５を介したユーザの選択指示より、複数の第２類似図面のうち、ユーザが所望する類似図面が選択される。以上の手順により、類似図面検索処理は終了する。
　以下、第１重みと第２重みとの設定に関する処理（以下、重み設定処理と呼ぶ）について説明する。重み設定処理は、類似図面検索処理の実施に先立って実行される。図９は、重み設定処理における手順の一例を示す図である。
　　（重み設定処理）
　（ステップＳ８０１）
　入力インターフェース１５は、ユーザの指示により、第１重み及び第２重みの設定に関する複数の図面（以下、参照図面と呼ぶ）の選択を入力する。なお、類似図面検索装置１への複数の参照図面の選択の入力は、入力インターフェース１５を介した処理に限定されない。複数の参照図面の選択は、例えば、通信インターフェース１９とネットワーク１９１とを介して、外部の入力装置から入力されてもよい。
　（ステップＳ８０２）
　特徴情報取得部１１３は、複数の参照図面各々を学習済みモデルに入力し、複数の参照図面に対応する複数の中間出力を取得する。なお、学習済みモデルへの入力は、参照図面に限定されず、参照図面から抽出された部品図であってもよい。このとき、参照図面から部品図の抽出に関する処理は、ステップＳ８０１とステップＳ８０２との間において、例えば、特徴情報取得部１１３により実行される。また、予め中間出力がメモリ１３に記憶されている場合、特徴情報取得部１１３は、選択された参照図面に対応する中間出力を、メモリ１３から取得する。
　（ステップＳ８０３）
　類似図面検索部１１７は、２つの中間出力の間の中間出力類似性を算出する。中間出力類似性の算出は、ステップＳ７０３と同様なため、説明は省略する。
　（ステップＳ８０４）
　特徴情報取得部１１３は、参照図面における部品図に対応する部品の特性を取得する。特性の取得は、ステップＳ７０４と同様なため、説明は省略する。
　（ステップＳ８０５）
　類似図面検索部１１７は、２つの特性の間の特性類似性を算出する。特性類似性の算出は、ステップＳ７０５と同様なため、説明は省略する。
　（ステップＳ８０６）
　学習部１２１は、参照図面のペアに応じた複数の中間出力類似性（例えば、中間出力距離）と複数の特性類似性（例えば、特性距離）とに対して最近傍探索のアルゴリズムまたは近似最近傍探索のアルゴリズムを適用する。これにより、学習部１２１は、第１重みと第２重みとを決定する。最近傍探索のアルゴリズムまたは近似最近傍探索のアルゴリズムは、既知であるため、説明は省略する。なお、学習部１２１は、中間出力距離と特性類距離とが所定の距離値の近傍になるように、第１重みおよび第２重みを決定してもよい。また、第１重みおよび第２重みは、入力インターフェース１５を介したユーザの指示により、決定および／または調整されてもよい。
　（ステップＳ８０７）
　学習部１２１は、第１重みおよび第２重みをメモリ１３に記憶させる。また、学習部１２１は、複数の参照図面と中間出力と特性とを、図面ＩＤにより対応付けて、インデックスデータとして、メモリ１３に記憶する。以上により、重み設定処理は完了する。
　以上のことから、実施形態に係る類似図面検索装置１は、対象図面から、対象図面における部品図に関する図面情報を取得し、対象図面の特徴情報に基づいて、図面データベースから複数の第１類似図面を検索し、対象図面の図面情報に基づいて、複数の第１類似図面から複数の第２類似図面に絞り込み、複数の第２類似図面をディスプレイ１７に表示する。また、実施形態に係る類似図面検索装置１は、学習済みモデルに対象図面を入力して、学習済みモデルにおける少なくとも一つの中間層から出力される中間出力と、対象図面の部品図に対する画像処理を用いた、対象図面の部品図における部品の形状の特性と、のうち少なくとも一つを、対象図面の特徴情報として取得するこのとき、実施形態に係る類似図面検索装置１は、対象図面の図面から対象図面の部品図の領域を抽出し、対象図面の部品図から前記対象図面の特徴を取得する。また、実施形態に係る類似図面検索装置１において、対象図面の図面情報は、部品図に対して付帯されたテキストと、テキストに基づいて推定された推定情報と、対象図面の部品図に対して付帯された記号情報と、のうち少なくとも一つを有する。
　例えば、上記対象図面の特徴情報が中間出力と上記特性とを有する場合、実施形態に係る類似図面検索装置１は、対象図面の中間出力と図面データベースに記憶された複数の中間出力各々との間の中間出力類似性と、対象図面の特性と図面データベースに記憶された複数の中間出力に対応する複数の特性各々との間の特性類似性と、に基づいて、複数の第１類似図面を検索する。このとき、実施形態に係る類似図面検索装置１は、中間出力類似性に第１重みを乗算した第１重み付け値と、特性類似性に第２重みを乗算した第２重み付け値とを加算することによりスコアを計算し、当該スコアを用いて複数の第１類似図面を検索する。
　また、実施形態に係る類似図面検索装置１において用いられる学習済みモデルは、図面データベースに記憶される複数の図面（データベース図面）各々を学習前のモデルに入力し、複数のデータベース図面に対応する複数の推定結果各々を教師データとして用いて、学習前のモデルを学習することにより生成される。このとき、実施形態に係る複数の推定結果各々は、例えば、製品カテゴリ、加工前後の寸法、加工工程カテゴリ、加工方法、曲げ加工の有無、および溶接加工の有無を含む製品・加工に関する複数の項目のうち少なくとも一つである。
　これらのことから、実施形態に係る類似図面検索装置１によれば、対象図面における部品図の形状の特徴に基づいて、対象図面と類似する第１類似図面を、メモリ１３におけるデータベース図面から検索し、対象図面における図面情報に基づいて、複数の第１類似図面から少なくとも１つの第２類似図面を絞り込むことができる。このため、実施形態に係る類似図面検索装置１によれば、部品図の形状の特徴に基づく複数の第１の類似図面の検索と、複数の第１の類似図面から図面情報に基づいて複数の第２類似図面に絞り込むという、２つの検索の処理により、より効率的に、かつより類似性の高い類似図面を、対象図面から検索することがきる。
　以上のことから、実施形態に係る類似図面検索装置１によれば、過去の図面と所望の図面との類似に関する要件が複雑であったとしても、容易に類似図面を検索することができる。これにより、実施形態に係る類似図面検索装置１によれば、例えば、図面の当該受発注業務の効率化を向上させることができる。
　（応用例）
　本応用例は、中間出力類似性が取得された中間出力と図面データベースに記憶された複数の中間出力各々との間の中間出力距離であって、特性類似性が取得された特性と複数の中間出力に対応する複数の特性各々との間の特性距離である場合、中間出力距離と特性距離とのうち少なくとも一つにおけるメトリック（ｍｅｔｒｉｃ：計量）に対して、ユーザにより指定された２つの図面の複数ペアから取得された特徴に基づいた距離学習を実行することにある。
　以下、距離学習を実行する処理（以下、距離学習処理と呼ぶ）について説明する。図１０は、距離学習処理におけるデータの流れの一例を示す図である。図１１は、距離学習処理における手順の一例を示すフローチャートである。
　　（距離学習処理）
　（ステップＳ１０１）
　入力インターフェース１５は、ユーザの指示により、類似の２つの第１図面の指定と、非類似の２つの第２図面の指定とを複数入力する。入力インターフェース１５は、複数指定された２つの図面に対応する２つの図面ＩＤを学習部１２１へ出力する。
　（ステップＳ１０２）
　学習部１２１は、２つの第１図面に対応する２つの図面ＩＤとインデックスデータに記憶された複数の図面ＩＤとを照合する。学習部１２１は、照合された２つの図面ＩＤに対応する第１特徴を、メモリ１３から読みだす。また、学習部１２１は、２つの第２図面に対応する２つの図面ＩＤとインデックスデータに記憶された複数の図面ＩＤとを照合する。学習部１２１は、照合された２つの図面ＩＤに対応する第２特徴を、メモリ１３から読みだす。すなわち、学習部１２１は、複数の第１図面に対応する複数の第１特徴と、複数の第２図面に対応する複数の第２特徴と、図面ＩＤを用いてメモリ１３から読みだす。
　具体的には、学習部１２１は、第１図面（似ている図面）の集合と第２図面（似ていない図面）の集合とを、以下の式（３）に示すように、Ｓ、Ｄとおく。以下の式（３）において、（ｘｉ，ｘｊは、それぞれ指定された図面を示している。
Figure JPOXMLDOC01-appb-M000003
　（ステップＳ１０３）
　学習部１２１は、第１図面の間の類似性に関する第１スコアが小さくなるように、かつ第２図面の間の類似性に関する第２スコアが大きくなるように、中間出力距離と特性距離とのうち少なくとも一つにおけるメトリックに対する距離学習を実行する。具体的には、学習部１２１は、集合Ｓ、Ｄに含まれるベクトルを用いて、例えば、マハラノビス距離学習（Ｍａｈａｌａｎｏｂｉｓ　Ｄｉｓｔａｎｃｅ　Ｍｅｔｒｉｃ　Ｌｅａｒｎｉｎｇ）を実行する。マハラノビス距離学習では、学習部１２１は、以下の式（４）を用いて、共分散行列Ｍを学習する。すなわち、学習されるメトリックは、共分散行列Ｍに相当する。式（４）における左辺は、画像ｘとｙとに関するマハラノビス距離を示している。画像ｘおよびｙは、集合ＳまたはＤに属している。右辺のｘおよびｙは、画像ｘ、ｙの特徴情報に関するベクトル（例えば、中間出力を表すベクトル）を示している。
Figure JPOXMLDOC01-appb-M000004
　学習部１２１は、マハラノビス距離学習において、以下の式（５）に示す最適化問題を解く。
Figure JPOXMLDOC01-appb-M000005
　学習部１２１は、同じクラス（ｉｎｔｒａ－ｃｌａｓｓ）すなわち同じ集合のサンプル間の距離を小さくするように、かつ異なるクラス（ｉｎｔｅｒ－ｃｌａｓｓ）すなわち異なる集合のサンプル間の距離を大きくするように、マハラノビス距離学習を実行する。マハラノビス距離学習の実際の処理手順については、既知の技術が適用可能であるため、説明は省略する。なお、上記距離学習は、マハラノビス距離学習を例にとり説明したが、これに限定されず、他の既知の距離学習が用いられてもよい。距離学習に関するアルゴリズムは、予めメモリ１３に記憶される。
　（ステップＳ１０４）
　学習部１２１は、距離学習により学習されたメトリックを更新する。応用例における距離学習の実行前のメトリックは、式（２）に示すように、ベクトルの次元（要素の数）に対応する単位行列である。初段の距離学習において、学習部１２１は、単位行列を、学習されたメトリックに更新する。その後、学習部１２１は、距離学習の実行に応じて、メトリックを更新する。
　（ステップＳ１０５）
　学習部１２１は、更新されたメトリックを、メモリ１３に送信し、インデックスデータとともにメモリ１３に記憶される。メモリ１３に記憶されたメトリックは、類似図面検索処理において用いられる。
　なお、距離学習処理の多用は、メトリックの過学習につながる恐れがある。このため、本応用例の変形例として、距離学習処理は、距離学習の過学習を抑制する処理、すなわち、類似図面の検索の精度の向上と過学習とをバランスさせる処理（以下、バランス処理と呼ぶ）をさらに有していてもよい。バランス処理としては既知のものが適用可能であるため、説明は省略する。
　以上のことから、実施形態の応用例に係る類似図面検索装置１において、中間出力類似性が、対象図面の中間出力と図面データベースに記憶された複数の中間出力各々との間の中間出力距離であって、特性類似性が、対象図面の特性と図面データベースに記憶された複数の中間出力に対応する複数の特性各々との間の特性距離である場合、類似図面検索装置１は、類似の２つの第１図面の指定と非類似の２つの第２図面の指定とを複数入力し、２つの第１図面の間の類似性に関する第１スコアが小さくなるように、かつ２つの第２図面の間の類似性に関する第２スコアが大きくなるように、中間出力距離と特性距離とのうち少なくとも一つにおけるメトリックに対する距離学習を実行する。
　これにより、本応用例に係る類似図面検索装置１によれば、ユーザによる類似図面の検索の目的に応じた距離学習を実行することができる。このため、本応用例に係る類似図面検索装置１によれば、類似図面に関する検索精度を向上させることができる。他の効果は、実施形態と略同様なため、説明は省略する。
　本応用例の変形例は、上記距離学習の手順において、類似および非類似の２つの図面を指定しない場合において、距離学習を実施することにある。例えば、学習部１２１は、特徴情報取得部１１３において取得された特徴情報を用いて、クラスタリングを実施し、同クラスタに含まれる図面間の類似性に関するスコアが小さくなるように、かつ別のクラスタに含まれる図面間の類似性に関するスコアが大きくなるように、中間出力距離と特性距離とのうち少なくとも一つにおけるメトリックに対する距離学習を実行する。本応用例の変形例によれば、距離学習処理におけるステップＳ１０１およびＳ１０２の処理の代わりに、以下の処理が実行されることとなる。学習部１２１は、特徴情報取得部１１３において取得された特徴情報を用いて、クラスタリングを実施する。学習部１２１は、当該クラスタリングにより、集合ＳおよびＤの要素を特定する。その後の処理は、応用例におけるステップＳ１０３以降の処理に準拠するため、説明は省略する。
　以上のことから、実施形態の応用例の変形例に係る類似図面検索装置１において、中間出力類似性が、対象図面の中間出力と図面データベースに記憶された複数の中間出力各々との間の中間出力距離であり、特性類似性が、対象図面の特性と図面データベースに記憶された前記複数の中間出力に対応する複数の特性各々との間の特性距離である場合、類似図面検索装置１は、特徴情報取得部１１３において取得された特徴情報を用いて、クラスタリングを実施し、同クラスタに含まれる図面間の類似性に関するスコアが小さくなるように、かつ別のクラスタに含まれる図面間の類似性に関するスコアが大きくなるように、中間出力距離と特性距離とのうち少なくとも一つにおけるメトリックに対する距離学習を実行する。
　本応用例の変形例によれば、ユーザによる図面の指定が不要となるため、ユーザに対する操作の負担が軽減される。これにより、本応用例の変形例に係る類似図面検索装置１によれば、距離学習に対する操作性が向上し、より簡便に距離学習を実行することができる。他の効果は、応用例と同様なため、説明は省略する。
　実施形態にかかる技術的思想を類似図面検索方法で実現する場合、当該類似図面検索方法は、複数の図面に対して各図面における部品の形状に関する特徴情報と各図面における部品に関する図面情報とを対応付けて記憶した図面データベースから、対象図面に類似する図面を検索する類似図面検索方法であって、対象図面から、対象図面における部品の形状に関する特徴情報を取得し、対象図面から、対象図面における部品に関する図面情報を取得し、対象図面の特徴情報に基づいて、図面データベースから複数の第１類似図面を検索し、対象図面の図面情報に基づいて、複数の第１類似図面から複数の第２類似図面に絞り込み、複数の第２類似図面をディスプレイ１７に表示する。類似図面検索方法により実現される類似図面検索処理の各工程での処理内容および効果等は、実施形態と同様なため、説明は省略する。
　実施形態にかかる技術的思想を類似図面検索プログラムで実現する場合、当該類似図面検索プログラムは、コンピュータに、複数の図面に対して各図面における部品の形状に関する特徴情報と各図面における部品に関する図面情報とを対応付けて記憶した図面データベースから、対象図面に類似する図面を検索することを実現させる類似図面検索プログラムであって、コンピュータに、対象図面から、対象図面における部品の形状に関する特徴情報を取得し、対象図面から、対象図面における部品に関する図面情報を取得し、対象図面の特徴情報に基づいて、図面データベースから複数の第１類似図面を検索し、対象図面の図面情報に基づいて、複数の第１類似図面から複数の第２類似図面に絞り込み、複数の第２類似図面をディスプレイ１７に表示すること、を実現させる。このとき、コンピュータに当該手法を実行させることのできるプログラムは、磁気ディスク（ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記憶媒体に格納して頒布することも可能である。類似図面検索プログラムにより実現される類似図面検索処理の各工程での処理内容および効果等は、実施形態と同様なため、説明は省略する。
　以上説明した少なくとも一つの実施形態などによれば、容易に類似図面を検索することができる。
　以上、いくつかの実施形態について詳述したが、実施形態による開示は上記した個々の実施形態に限定されるものではない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の部分的な省略、追加、置き換え、変更などを行うことができる。また、これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。また、実施形態における各処理の順序は、一例として示したものであり、これらに限られるものではない。
１　　類似図面検索装置
１１　　処理回路
１３　　メモリ
１５　　入力インターフェース
１７　　ディスプレイ
１９　　通信インターフェース
１１１　　システム制御部
１１３　　特徴情報取得部
１１５　　図面情報取得部
１１７　　類似図面検索部
１１９　　図面絞り込み部
１２１　　学習部
１９１　　ネットワーク

Claims (12)

  1. 　複数の図面に対して各図面における部品の形状に関する特徴情報と各図面における部品に関する図面情報とを対応付けて記憶した図面データベースから、対象図面に類似する図面を検索する類似図面検索装置であって、
    　前記対象図面から、前記対象図面における部品の形状に関する特徴情報を取得する特徴情報取得部と、
    　前記対象図面から、前記対象図面における部品に関する図面情報を取得する図面情報取得部と、
    　前記対象図面の特徴情報に基づいて、前記図面データベースから複数の第１類似図面を検索する類似図面検索部と、
    　前記対象図面の図面情報に基づいて、前記複数の第１類似図面から複数の第２類似図面に絞り込む図面絞り込み部と、
    　前記複数の第２類似図面を表示する表示部と、
    　を備える類似図面検索装置。
  2. 　前記特徴情報取得部は、
    　　前記対象図面を入力として前記対象図面の特徴情報に基づいて推定される推定結果を出力する学習済みモデルに前記対象図面を入力して、前記学習済みモデルにおける少なくとも一つの中間層から出力される中間出力と、
    　　前記対象図面の部品に対する画像処理を用いた、前記対象図面の部品における部品の形状の特性と、
    　のうち少なくとも一つを、前記対象図面の特徴情報として取得する、
    　請求項１に記載の類似図面検索装置。
  3. 　前記学習済みモデルは、前記図面データベースに記憶される前記複数の図面各々を学習前のモデルに入力し、前記複数の図面に対応する複数の推定結果各々を教師データとして用いて、前記学習前のモデルを学習することにより生成され、
    　前記複数の推定結果各々は、製品カテゴリ、加工前後の寸法、加工工程カテゴリ、加工方法、曲げ加工の有無、および溶接加工の有無を含む製品・加工に関する複数の項目のうち少なくとも１つである、
    　請求項２に記載の類似図面検索装置。
  4. 　前記対象図面の特徴情報が前記中間出力と前記特性とを有する場合、前記類似図面検索部は、前記対象図面の中間出力と前記図面データベースに記憶された複数の中間出力各々との間の中間出力類似性と、前記対象図面の特性と前記図面データベースに記憶された複数の中間出力に対応する複数の特性各々との間の特性類似性と、に基づいて、前記複数の第１類似図面を検索する、
    　請求項２に記載の類似図面検索装置。
  5. 　前記類似図面検索部は、
    　　前記中間出力類似性に第１重みを乗算した第１重み付け値と、前記特性類似性に第２重みを乗算した第２重み付け値とを加算することによりスコアを計算し、
    　　前記スコアを用いて前記複数の第１類似図面を検索する、
    　請求項４に記載の類似図面検索装置。
  6. 　前記対象図面の図面情報は、前記部品に対して付帯されたテキストと、前記テキストに基づいて推定された推定情報と、前記部品に対して付帯された記号情報と、のうち少なくとも一つを有する、
    　請求項１に記載の類似図面検索装置。
  7. 　前記中間出力類似性は、前記対象図面の中間出力と前記図面データベースに記憶された複数の中間出力各々との間の中間出力距離であり、
    　前記特性類似性は、前記対象図面の特性と前記図面データベースに記憶された前記複数の中間出力に対応する複数の特性各々との間の特性距離であって、
    　類似の２つの第１図面の指定と非類似の２つの第２図面の指定とを複数入力する入力部と、
    　前記２つの第１図面の間の類似性に関する第１スコアが小さくなるように、かつ前記２つの第２図面の間の類似性に関する第２スコアが大きくなるように、前記中間出力距離と前記特性距離とのうち少なくとも一つにおけるメトリックに対する距離学習を実行する学習部と、
    　をさらに備える請求項４に記載の類似図面検索装置。
  8. 　前記中間出力類似性は、前記対象図面の中間出力と前記図面データベースに記憶された複数の中間出力各々との間の中間出力距離であり、
    　前記特性類似性は、前記対象図面の特性と前記図面データベースに記憶された前記複数の中間出力に対応する複数の特性各々との間の特性距離であって、
    　前記特徴情報取得部において取得された特徴情報を用いて、クラスタリングを実施し、同クラスタに含まれる図面間の類似性に関するスコアが小さくなるように、かつ別のクラスタに含まれる図面間の類似性に関するスコアが大きくなるように、前記中間出力距離と前記特性距離とのうち少なくとも一つにおけるメトリックに対する距離学習を実行する学習部をさらに備える、
    　請求項４に記載の類似図面検索装置。
  9. 　前記メトリックは、前記中間出力距離の算出に用いられるメトリックである、
    　請求項７または８に記載の類似図面検索装置。
  10. 　前記特徴情報取得部は、前記対象図面の図面から前記対象図面の部品の領域を抽出し、前記対象図面の部品から前記対象図面の特徴を取得する、
    　請求項１乃至７のいずれか一項に記載の類似図面検索装置。
  11. 　複数の図面に対して各図面における部品の形状に関する特徴情報と各図面における部品に関する図面情報とを対応付けて記憶した図面データベースから、対象図面に類似する図面を検索する類似図面検索方法であって、
    　前記対象図面から、前記対象図面における部品の形状に関する特徴情報を取得し、
    　前記対象図面から、前記対象図面における部品に関する図面情報を取得し、
    　前記対象図面の特徴情報に基づいて、前記図面データベースから複数の第１類似図面を検索し、
    　前記対象図面の図面情報に基づいて、前記複数の第１類似図面から複数の第２類似図面に絞り込み、
    　前記複数の第２類似図面をディスプレイに表示すること、
    　を備える類似図面検索方法。
  12. 　コンピュータに、複数の図面に対して各図面における部品の形状に関する特徴情報と各図面における部品に関する図面情報とを対応付けて記憶した図面データベースから、対象図面に類似する図面を検索することを実現させる類似図面検索プログラムであって、
    　前記コンピュータに、
    　前記対象図面から、前記対象図面における部品の形状に関する特徴情報を取得し、
    　前記対象図面から、前記対象図面における部品に関する図面情報を取得し、
    　前記対象図面の特徴情報に基づいて、前記図面データベースから複数の第１類似図面を検索し、
    　前記対象図面の図面情報に基づいて、前記複数の第１類似図面から複数の第２類似図面に絞り込み、
    　前記複数の第２類似図面をディスプレイに表示すること、
    　を実現させる類似図面検索プログラム。
PCT/JP2023/022222 2022-06-21 2023-06-15 類似図面検索装置、類似図面検索方法、および類似図面検索プログラム Ceased WO2023248917A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP23827103.5A EP4546196A4 (en) 2022-06-21 2023-06-15 SIMILAR DRAWING RECOVERY DEVICE, SIMILAR DRAWING RECOVERY METHOD AND SIMILAR DRAWING RECOVERY PROGRAM
US18/785,515 US12217481B2 (en) 2022-06-21 2024-07-26 Similar drawing search device, similar drawing search method, and computer-readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-099557 2022-06-21
JP2022099557A JP7372697B1 (ja) 2022-06-21 2022-06-21 類似図面検索装置、類似図面検索方法、および類似図面検索プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/785,515 Continuation US12217481B2 (en) 2022-06-21 2024-07-26 Similar drawing search device, similar drawing search method, and computer-readable medium

Publications (1)

Publication Number Publication Date
WO2023248917A1 true WO2023248917A1 (ja) 2023-12-28

Family

ID=88509976

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/022222 Ceased WO2023248917A1 (ja) 2022-06-21 2023-06-15 類似図面検索装置、類似図面検索方法、および類似図面検索プログラム

Country Status (4)

Country Link
US (1) US12217481B2 (ja)
EP (1) EP4546196A4 (ja)
JP (1) JP7372697B1 (ja)
WO (1) WO2023248917A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2026004458A1 (ja) * 2024-06-23 2026-01-02 キャディ株式会社 類似図面検索装置、類似図面検索方法、類似図面検索プログラム、マルチモーダル検索表示装置、マルチモーダル検索表示方法、およびマルチモーダル検索表示プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018081452A (ja) * 2016-11-15 2018-05-24 キヤノン株式会社 画像処理装置、画像処理方法
JP2018165926A (ja) * 2017-03-28 2018-10-25 株式会社Ｎｔｔドコモ 類似画像検索装置
JP2020074111A (ja) * 2019-12-24 2020-05-14 楽天株式会社 検索システム、検索方法、及びプログラム
WO2020099985A1 (ja) * 2018-11-13 2020-05-22 株式会社半導体エネルギー研究所 画像検索システム、及び画像検索方法
JP2020091769A (ja) 2018-12-07 2020-06-11 Thk株式会社 図面管理システム、図面管理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3841597B2 (ja) * 1999-09-13 2006-11-01 株式会社日立製作所 検索関連用語抽出装置および検索関連用語抽出処理プログラムを格納した記録媒体
US8230319B2 (en) * 2008-01-31 2012-07-24 Microsoft Corporation Web-based visualization, refresh, and consumption of data-linked diagrams
JP7048534B2 (ja) * 2018-03-29 2022-04-05 株式会社東芝 画像検索装置、画像検索方法、およびプログラム
JP7274434B2 (ja) * 2020-02-25 2023-05-16 株式会社日立パワーソリューションズ 流用設計支援システム及び流用設計支援方法
JP7479891B2 (ja) * 2020-03-27 2024-05-09 エヌ・ティ・ティ・コミュニケーションズ株式会社 設計支援装置、方法およびプログラム
JP7377159B2 (ja) * 2020-04-30 2023-11-09 株式会社デンソー 個体識別システム、個体識別プログラム、及び記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018081452A (ja) * 2016-11-15 2018-05-24 キヤノン株式会社 画像処理装置、画像処理方法
JP2018165926A (ja) * 2017-03-28 2018-10-25 株式会社Ｎｔｔドコモ 類似画像検索装置
WO2020099985A1 (ja) * 2018-11-13 2020-05-22 株式会社半導体エネルギー研究所 画像検索システム、及び画像検索方法
JP2020091769A (ja) 2018-12-07 2020-06-11 Thk株式会社 図面管理システム、図面管理方法
JP2020074111A (ja) * 2019-12-24 2020-05-14 楽天株式会社 検索システム、検索方法、及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAVID G. LOWE: "Distinctive Image Features from Scale-Invariant Keypoints", INTERNATIONAL JOURNAL OF COMPUTER VISION, 5 January 2004 (2004-01-05), Retrieved from the Internet <URL:https://www.robots.ox.ac.uk/~vgg/research/affine/det_eval_files/lowe_ijcv2004.pdf>
See also references of EP4546196A4
T. JOACHIMS: "Text categorization with support vector machines: learning with many relevant features", PROC. 10TH EUROPEAN CONFERENCE ON MACHINE LEANING (ECML - 98, 1998, pages 137 - 142, XP002119808

Also Published As

Publication number Publication date
US20240386698A1 (en) 2024-11-21
JP7372697B1 (ja) 2023-11-01
US12217481B2 (en) 2025-02-04
EP4546196A1 (en) 2025-04-30
EP4546196A4 (en) 2026-04-08
JP2024000702A (ja) 2024-01-09

Similar Documents

Publication Publication Date Title
Paiva et al. An approach to supporting incremental visual data classification
EP3912091B1 (en) Finding complementary digital images using a conditional generative adversarial network
US6804420B2 (en) Information retrieving system and method
CN113255713B (zh) 用于跨对象变化的数字图像选择的机器学习
KR102444141B1 (ko) 멀티 레이블 분류 기반 상표 이미지 검색 방법과 이 방법을 적용한 상표 이미지 검색 시스템
WO2009104324A1 (ja) 能動計量学習装置、能動計量学習方法およびプログラム
CN108171712B (zh) 确定图像相似度的方法和装置
US20080205795A1 (en) System and methods of image retrieval
JP2016531350A (ja) オンライン製品を推薦するための方法及びシステム
US20050169536A1 (en) System and method for applying active appearance models to image analysis
JP7851965B2 (ja) 医用画像データの自動追跡読影方法及びシステム
CN112330383A (zh) 用于基于可视元素的物品推荐的设备及方法
CN115619705A (zh) 用于识别医学图像数据集中的切片的方法和系统
JP7372697B1 (ja) 類似図面検索装置、類似図面検索方法、および類似図面検索プログラム
Xi et al. Robust texture analysis of multi-modal images using local structure preserving ranklet and multi-task learning for breast tumor diagnosis
JP7024197B2 (ja) 画像処理装置、画像処理方法及びプログラム
Kaur et al. Content based image retrieval: integration of neural networks using speed-up robust feature and svm
Mahalakshmi et al. Critical analysis of feature selection methods for data preprocessing with heart disease dataset
Parvin et al. Feature fusion based effective brain tumor detection approach using mri
JP7697545B2 (ja) 画像処理装置、画像処理方法、およびプログラム
Ahmadova et al. Improving pneumonia diagnosis with RadImageNet: A deep transfer learning approach
JP7252591B2 (ja) 幾何学形状のマッチングによる画像処理方法及び画像処理装置
Balázs et al. AQ-convexity vector descriptor for image analysis
JP2017188063A (ja) 画像検索システム、画像検索方法、及び画像検索用プログラム
Wu et al. Comparisons of data-driven models for detecting slip occurrence and direction based on simulations of tactile sensing

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23827103

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023827103

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023827103

Country of ref document: EP

Effective date: 20250121

WWP Wipo information: published in national office

Ref document number: 2023827103

Country of ref document: EP