JP6232522B2 - 計算機及びグラフデータ生成方法 - Google Patents
計算機及びグラフデータ生成方法 Download PDFInfo
- Publication number
- JP6232522B2 JP6232522B2 JP2017508811A JP2017508811A JP6232522B2 JP 6232522 B2 JP6232522 B2 JP 6232522B2 JP 2017508811 A JP2017508811 A JP 2017508811A JP 2017508811 A JP2017508811 A JP 2017508811A JP 6232522 B2 JP6232522 B2 JP 6232522B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- graph
- graph data
- edge
- correlation matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/196—Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
- G06V30/1983—Syntactic or structural pattern recognition, e.g. symbolic string recognition
- G06V30/1988—Graph matching
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
- H03M7/3064—Segmenting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Discrete Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
信及びデータの蓄積のコストを削減することができることが記載されている。
前述した課題を解決するために、本発明のグラフ処理装置100(図1参照)は、相関行列データをグラフデータに変換する。ここで、グラフデータは、指標を表す頂点、相関のある二つの頂点を接続するエッジ、及び要素の値を表すエッジの重みから構成されるデータ構造のデータであり、頂点間の接続関係をグラフとして把握することができる。エッジの重みが当該エッジで接続される二つの指標の間の相関関係の強さを表す。
相関行列データをそのままグラフデータに変換しても、十分にデータ量を削減することができない可能性がある。そのため、本発明のグラフ処理装置100(図1参照)は、解析処理の処理完了時間である目標処理時間に応じて、グラフデータに含まれるエッジ数を調整する。
本発明のグラフ処理装置100は、メモリ容量に応じて、エッジの重みの表現ビット数を丸める。これによって、グラフデータを、メモリに格納可能なデータサイズに更に圧縮する。
閾値によるエッジ数の削減だけでは、目標処理時間の制約が厳しいと、グラフ処理の精度を維持できくなる可能性がある。すなわち、閾値によって「0」に設定された要素が多い場合、変換されるグラフデータの構造は疎(スパース)なものとなり、グラフが分裂することで連結グラフが維持できなくなる可能性がある。連結グラフは、グラフ上の任意の2ノード間にエッジが存在するグラフのである。また、連結な部分グラフを連結成分と言う。隣接ノードの間でトラーバス処理を行うグラフ処理において、連結成分が複数に分裂すると、連結成分間で情報の遷移が不能となり、結果を正しく求めることができない。そのため、本発明のグラフ処理装置100は、全ての有用なノードが少なくとも一辺は別のノードへの接続を保持するように、グラフの全域木構造を保持したグラフデータを作成する。全域木(スパニングツリー)は、グラフの全てのノードとエッジの一部からなる木構造であり、グラフデータの連結性を保障する。
(変形例)
実施例1では、相関値の絶対値が相関値の閾値より小さい要素の値を「0」とすることによってエッジとして保持するデータ量を削減したが、本発明はこれに限定されない。例えば、グラフデータ生成部113は、相関値の絶対値が相関値の閾値より大きい要素のみを抽出し、抽出された要素からグラフデータを生成してもよい。
Claims (10)
- プロセッサ、及び前記プロセッサに接続されるメモリを備え、複数の指標間の相関値を要素とする相関行列データを用いた処理を実行する計算機であって、
前記計算機は、記憶装置から取得される前記相関行列データから、一つの指標に対応する頂点、相関関係のある二つの前記頂点を接続するエッジ、及び前記要素の値であるエッジの重みから構成されるリスト構造の第1のグラフデータを生成するグラフ処理部を備え、
前記グラフ処理部は、
前記相関行列データを用いた処理を所定時間内に完了するために、前記第1のグラフデータに含めることが可能な最大エッジ数を算出する制御因子算出部と、
前記相関行列データをリスト構造の第2のグラフデータに変換し、前記第2のグラフデータの全ての頂点及び一部のエッジで構成される全域木である第3のグラフデータを生成する全域木生成部と、
前記最大エッジ数を用いて、前記第2及び前記第3のグラフデータに基づき、前記第1のグラフデータを生成するグラフデータ生成部と
を備えることを特徴とする計算機。 - 請求項1に記載の計算機であって、
前記全域木は、エッジの重みの和が最大となる最大全域木であることを特徴とする計算機。 - 請求項2に記載の計算機であって、
前記第1のグラフデータは前記第3のグラフデータを含むことを特徴とする計算機。 - 請求項3に記載の計算機であって、
前記グラフデータ生成部は、エッジの合計数が前記最大エッジ数になるまで、前記第3のグラフデータに前記第2のグラフデータのみに含まれるエッジを重み順に追加することで、前記第1のグラフデータを生成することを特徴とする計算機。 - 請求項1乃至4のいずれかに記載の計算機であって、
前記全域木生成部は、前記相関行列データに含まれる指標のうち、他の全ての指標との相関値が所定値以下である指標の要素を、前記相関行列データから削除し、前記指標の要素が削除された相関行列データをリスト構造の前記第2のグラフデータに変換することを特徴とする計算機。 - プロセッサ、及び前記プロセッサに接続されるメモリを備え、複数の指標間の相関値を要素とする相関行列データを用いた処理を実行する計算機におけるグラフデータ生成方法であって、
前記計算機は、記憶装置から取得される前記相関行列データから、一つの指標に対応する頂点、相関関係のある二つの前記頂点を接続するエッジ、及び前記要素の値であるエッジの重みから構成されるリスト構造の第1のグラフデータを生成するグラフ処理部を備え、
前記グラフ処理部は、
前記相関行列データを用いた処理を所定時間内に完了するために、前記第1のグラフデータに含めることが可能な最大エッジ数を算出し、
前記相関行列データをリスト構造の第2のグラフデータに変換し、前記第2のグラフデータの全ての頂点及び一部のエッジで構成される全域木である第3のグラフデータを生成し、
前記最大エッジ数を用いて、前記第2及び前記第3のグラフデータに基づき、前記第1のグラフデータを生成することを特徴とするグラフデータ生成方法。 - 請求項6に記載のグラフデータ生成方法であって、
前記全域木は、エッジの重みの和が最大となる最大全域木であることを特徴とするグラフデータ生成方法。 - 請求項7に記載のグラフデータ生成方法であって、
前記第1のグラフデータは前記第3のグラフデータを含むことを特徴とするグラフデータ生成方法。 - 請求項8に記載のグラフデータ生成方法であって、
エッジの合計数が前記最大エッジ数になるまで、前記第3のグラフデータに前記第2のグラフデータのみに含まれるエッジを重み順に追加することで、前記第1のグラフデータを生成することを特徴とするグラフデータ生成方法。 - 請求項6乃至9のいずれかに記載のグラフデータ生成方法であって、
前記相関行列データに含まれる指標のうち、他の全ての指標との相関値が所定値以下である指標の要素を、前記相関行列データから削除し、前記指標の要素が削除された相関行列データをリスト構造の前記第2のグラフデータに変換することを特徴とするグラフデータ生成方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2015/059537 WO2016157275A1 (ja) | 2015-03-27 | 2015-03-27 | 計算機及びグラフデータ生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2016157275A1 JPWO2016157275A1 (ja) | 2017-05-25 |
| JP6232522B2 true JP6232522B2 (ja) | 2017-11-15 |
Family
ID=57004837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017508811A Expired - Fee Related JP6232522B2 (ja) | 2015-03-27 | 2015-03-27 | 計算機及びグラフデータ生成方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20180060448A1 (ja) |
| JP (1) | JP6232522B2 (ja) |
| WO (1) | WO2016157275A1 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10572537B2 (en) * | 2016-04-13 | 2020-02-25 | International Business Machines Corporation | Efficient graph optimization |
| US10423663B2 (en) * | 2017-01-18 | 2019-09-24 | Oracle International Corporation | Fast graph query engine optimized for typical real-world graph instances whose small portion of vertices have extremely large degree |
| US10909079B1 (en) * | 2018-03-29 | 2021-02-02 | EMC IP Holding Company LLC | Data-driven reduction of log message data |
| CN112740238A (zh) * | 2018-09-28 | 2021-04-30 | 三菱电机株式会社 | 推理装置、推理方法和推理程序 |
| JP7239433B2 (ja) * | 2019-10-02 | 2023-03-14 | ヤフー株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
| EP4116841A4 (en) * | 2020-03-03 | 2023-03-22 | Fujitsu Limited | MACHINE LEARNING PROGRAM, MACHINE LEARNING METHOD AND MACHINE LEARNING DEVICE |
| CN111522308B (zh) * | 2020-04-17 | 2021-10-29 | 深圳市英维克信息技术有限公司 | 故障诊断方法、装置、存储介质及计算机设备 |
| JP7524109B2 (ja) * | 2021-03-09 | 2024-07-29 | 株式会社東芝 | データ分析装置、方法及びプログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007207101A (ja) * | 2006-02-03 | 2007-08-16 | Infocom Corp | グラフ生成方法、グラフ生成プログラム並びにデータマイニングシステム |
| JP4706608B2 (ja) * | 2006-09-28 | 2011-06-22 | 株式会社日立製作所 | 製造工程分析方法 |
| WO2010116409A1 (ja) * | 2009-04-07 | 2010-10-14 | 株式会社島津製作所 | 質量分析データ処理方法及び装置 |
| JP2014522283A (ja) * | 2011-06-09 | 2014-09-04 | ウェイク・フォレスト・ユニヴァーシティ・ヘルス・サイエンシズ | エージェントベース脳モデル及び関連方法 |
-
2015
- 2015-03-27 JP JP2017508811A patent/JP6232522B2/ja not_active Expired - Fee Related
- 2015-03-27 US US15/556,626 patent/US20180060448A1/en not_active Abandoned
- 2015-03-27 WO PCT/JP2015/059537 patent/WO2016157275A1/ja not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2016157275A1 (ja) | 2017-05-25 |
| WO2016157275A1 (ja) | 2016-10-06 |
| US20180060448A1 (en) | 2018-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6232522B2 (ja) | 計算機及びグラフデータ生成方法 | |
| US11636341B2 (en) | Processing sequential interaction data | |
| CN108615073B (zh) | 图像处理方法及装置、计算机可读存储介质、电子设备 | |
| JP5995409B2 (ja) | コンピュータ解析のためにテキスト文書を表現するためのグラフィカル・モデル | |
| Gueniche et al. | Compact prediction tree: A lossless model for accurate sequence prediction | |
| CN112417028B (zh) | 一种风速时序特征挖掘方法及短期风电功率预测方法 | |
| KR102028708B1 (ko) | 대용량 이벤트 파일에서 시간 관계를 병렬 탐사하기 위한 방법 | |
| CN106301385A (zh) | 用于对数进行有理压缩和解压缩的方法和装置 | |
| US20160203105A1 (en) | Information processing device, information processing method, and information processing program | |
| US8515882B2 (en) | Efficient storage of individuals for optimization simulation | |
| JP2013025805A (ja) | 類似サブ時系列の抽出方法及び装置 | |
| CN110705279A (zh) | 一种词汇表的选择方法、装置及计算机可读存储介质 | |
| WO2007066445A1 (ja) | 特異値分解装置、及び特異値分解方法 | |
| CN110472659B (zh) | 数据处理方法、装置、计算机可读存储介质和计算机设备 | |
| US20170034111A1 (en) | Method and Apparatus for Determining Key Social Information | |
| JP6154491B2 (ja) | 計算機及びグラフデータ生成方法 | |
| KR101842420B1 (ko) | 정보 처리 장치 및 데이터 관리 방법 | |
| CN117708348A (zh) | 基于知识图谱的运维场景推荐案例获取方法、装置及设备 | |
| CN115186738B (zh) | 模型训练方法、装置和存储介质 | |
| CN108170799A (zh) | 一种海量数据的频繁序列挖掘方法 | |
| CN119646196B (zh) | 一种检索增强生成优化方法、系统、设备、产品及介质 | |
| CN117217459A (zh) | 事件分配方法、装置、电子设备和计算机可读介质 | |
| CN110807092B (zh) | 数据处理方法及装置 | |
| JP5695586B2 (ja) | Xml文書検索装置及びプログラム | |
| US9406151B2 (en) | Non-transitory computer-readable medium storing data storage program, non-transitory computer-readable medium storing data display program, data storage method, and data display method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170905 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170928 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171010 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171023 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6232522 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |
