JP6232522B2 - 計算機及びグラフデータ生成方法 - Google Patents

計算機及びグラフデータ生成方法 Download PDF

Info

Publication number
JP6232522B2
JP6232522B2 JP2017508811A JP2017508811A JP6232522B2 JP 6232522 B2 JP6232522 B2 JP 6232522B2 JP 2017508811 A JP2017508811 A JP 2017508811A JP 2017508811 A JP2017508811 A JP 2017508811A JP 6232522 B2 JP6232522 B2 JP 6232522B2
Authority
JP
Japan
Prior art keywords
data
graph
graph data
edge
correlation matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017508811A
Other languages
English (en)
Other versions
JPWO2016157275A1 (ja
Inventor
篤志 宮本
篤志 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JPWO2016157275A1 publication Critical patent/JPWO2016157275A1/ja
Application granted granted Critical
Publication of JP6232522B2 publication Critical patent/JP6232522B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9024Graphs; Linked lists
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465Query processing support for facilitating data mining operations in structured databases
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/231Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2323Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/196Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G06V30/1983Syntactic or structural pattern recognition, e.g. symbolic string recognition
    • G06V30/1988Graph matching
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H03M7/3064Segmenting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Discrete Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、グラフデータを用いたビックデータ解析における計算機及びグラフデータ生成方法に関する。
Webやセンサ等から得られた大量のデータ(ビックデータ)を使用して、有用な知見(情報)を抽出するビックデータ解析が注目されている。ビックデータ解析では、統計学、パターン認識、及び人工知能等のデータ解析の技法を大量のデータに網羅的に適用することによって、データの中に潜む項目間の相関関係及びパターンを、知識として抽出する。データの中に隠れた潜在的な情報を「採掘(mining)」することから、ビックデータ解析はデータマイニングとも呼ばれる。ビックデータ解析の技法としては、例えば、統計学における相関分析、回帰分析、及び主成分分析、並びに、パターン認識、人工知能における機械学習、及びクラスタリング等がある。
ビックデータ解析において有用な知識を得るためには、膨大なデータの解析する必要がある。しかし、データ量の増加及びデータ解析方法の高度化に伴って、処理時間及びメモリ使用量の増加等がハードウェアリソースに対して過度な負担がかかることが課題となっている。特に、社会インフラ分野では、限られたハードウェアリソースを用いて、限られた時間内に必要精度を保ちながら効率的に結果を出力することが求められる。
例えば、統計的なデータ解析手法として基本的な相関分析及び主成分分析では、ビックデータから指標(特徴量、項目)を生成し、指標間の相関関係を導出する。このとき、指標の数がmである相関関係はm列m行の相関行列として与えられ、相関分析及び主成分分析は、相関行列の演算によって実行される。しかし、行列演算は全ての要素について演算処理を実行するために、全ての要素のデータを蓄積しなければならない。そのため、ビックデータを扱うシステムでは、計算量、及びメモリ使用量の観点から非常に効率が悪くなる。その結果、大量の指標から構成されるビックデータ(相関行列)の蓄積及び演算処理は、ハードウェアリソースに対して大きな負担となる。
ビックデータを圧縮して処理を効率化する方法としては、米国特許出願公開第2001/0011958号明細書(特許文献1)に記載の技術がある。特許文献1には、データの蓄積と通信コストの低減を目的に、ビックデータを多変量のデータ解析手法を用いて変換し、圧縮・再構成する技術が開示されている。特許文献1に開示されている方法は、サンプル数n、指標数mとして、n列m項目のオリジナルデータからm列m行の相関行列を得るステップと、相関行列の固有値と固有ベクトルを求めるステップと、固有値と固有ベクトルから因子負荷量の行列を求めるステップと、l列p行のランダム行列を生成するステップと、ランダム行列と因子負荷量の行列の乗算によってl列m行の中間データ行列を得るステップと、中間データ行列をスケールすることでl列m行の再構成されたデータ行列を得るステップと、を有する。データの再構成を可能とすることによって、通
信及びデータの蓄積のコストを削減することができることが記載されている。
米国特許出願公開第2001/0011958号明細書
特許文献1に記載の方法は、データの蓄積及び通信のコストを低減するために、オリジナルデータのサンプル数nを圧縮することを主な課題としており、分析処理時におけるハードウェアリソースの制約までは十分に考慮されていない。また、特許文献1記載の方法では、相関分析又は主成分分析を行う場合、圧縮されたデータ列を再構築し、元のフォーマットに変換してから相関行列の演算を行い、その後に分析処理を実行する必要がある。そのため、特許文献1の方法では、指標数mはサンプル数nに対して十分に小さいことが前提とされている。
指標数mの増大に伴って、m列m行の相関行列がメモリに格納できないほど大きい場合、相関分析又は主成分分析などのデータ解析を行えなくなるという課題がある。社会インフラシステムの分析などにおいては、説明指標が100万規模になることも想定されるため、分析処理の必要精度を保った上で、データや処理を簡略化して、指標数の増加に伴う分析処理を効率化する方法が必要になる。
本発明は、上述のような課題を解決するためになされたもので、大量の指標から構成される相関行列の分析処理において、データ量を圧縮することによって処理量を削減し、分析処理の必要精度を保った上で、処理を効率化することを目的とする。
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、プロセッサ、前記プロセッサに接続されるメモリ及び記憶装置を備え、複数の指標間の相関値を要素とする相関行列データから、一つの指標に対応する頂点、相関関係のある二つの前記頂点を接続するエッジ、及び前記要素の値であるエッジの重みから構成されるグラフデータを生成する計算機であって、前記記憶装置より前記相関行列データを取得し、取得した前記相関行列データに含まれる指標に対応する頂点を連結する全域木を構成する要素と所定の閾値以上の値の要素とを抽出し、抽出した前記要素に基づき、前記グラフデータを生成するグラフ処理部を備えることを特徴とする。
また、他の一例を示せば以下の通りである。すなわち、プロセッサ、及び前記プロセッサに接続されるメモリを備え、複数の指標間の相関値を要素とする相関行列データを用いた処理を実行する計算機であって、前記計算機は、記憶装置から取得される前記相関行列データから、一つの指標に対応する頂点、相関関係のある二つの前記頂点を接続するエッジ、及び前記要素の値であるエッジの重みから構成されるリスト構造の第1のグラフデータを生成するグラフ処理部を備え、前記グラフ処理部は、前記相関行列データを用いた処理を所定時間内に完了するために、前記第1のグラフデータに含めることが可能な最大エッジ数を算出する制御因子算出部と、前記相関行列データをリスト構造の第2のグラフデータに変換し、前記第2のグラフデータの全ての頂点及び一部のエッジで構成される全域木である第3のグラフデータを生成する全域木生成部と、前記最大エッジ数を用いて、前記第2及び前記第3のグラフデータに基づき、前記第1のグラフデータを生成するグラフデータ生成部とを備えることを特徴とする。
本発明によれば、制約条件に従って、大量の指標から構成される相関行列データから精度破綻の生じない圧縮されたグラフデータに変換することができる。これによって、データ量を削減し、必要精度を保った相関分析又は主成分分析等の高速なグラフ処理が可能となる。
上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
本発明の実施例1のグラフ処理装置の構成例を示すブロック図である。 本発明の実施例1のグラフ処理装置が適用されるシステム構成の一例を示すブロック図である。 本発明の実施例1における業務データの一例を示す説明図である。 本発明の実施例1における相関行列データの一例を示す説明図である。 本発明の実施例1のグラフ処理装置が実行する処理の概要を説明するフローチャートである。 本発明の実施例1のエッジ情報量算出処理の一例を説明するフローチャートである。 本発明の実施例1の相関値の頻度分布表の一例を示す説明図である。 本発明の実施例1のエッジ情報量の一例を示す説明図である。 本発明の実施例1の制御因子算出処理の一例を説明するフローチャートである。 本発明の実施例1の推定処理時間関数f(E)の一例を示す説明図である。 本発明の実施例1の制御因子の決定時に用いられる推定用エッジ情報量の一例を示す説明図である。 本発明の実施例1のグラフデータ生成処理の一例を説明するフローチャートである。 本発明の実施例1のグラフデータ生成処理に用いられる頂点リストの一例を示す説明図である。 本発明の実施例1のグラフデータ生成処理に用いられるエッジリストの一例を示す説明図である。 本発明の実施例1のグラフデータ生成処理における制御因子を用いた相関値の切り捨ての概念を示す説明図である。 本発明の実施例1のグラフデータ生成処理の実行後の頂点リスト及びエッジリストを示す説明図である。 本発明の実施例1のグラフデータ生成処理の実行後の頂点リスト及びエッジリストを示す説明図である。 本発明の実施例1のグラフデータに基づいて表示されるグラフの一例を示す説明図である。 本発明の実施例2のグラフ処理装置の構成例を示すブロック図である。 本発明の実施例2の制御因子算出処理の一例を説明するフローチャートである。 本発明の実施例2の推定メモリ使用量関数g(E,B)の一例を示す説明図である。 本発明の実施例2の推定メモリ使用量関数g(E,B)の一例を示す説明図である。 図19は、本発明の実施例2の相関値の表現ビット数の丸めの一例 本発明の実施例3のグラフ処理装置の構成例を示すブロック図である。 本発明の実施例3における相関行列データの一例を示す説明図である。 本発明の実施例3のグラフ処理装置が実行する処理の概要を説明するフローチャートである。 本発明の実施例3の全域木生成処理の一例を説明するフローチャートである。 本発明の実施例3の全域木生成処理の概念を示す説明図である。 本発明の実施例3の全域木生成処理の実行後の頂点リスト及びエッジリストを示す説明図である。 本発明の実施例3の全域木生成処理の実行後の頂点リスト及びエッジリストを示す説明図である。 本発明の実施例3の処理装置の全域木生成処理のエッジ候補リストを示す説明図である。 本発明の実施例3の全域木生成処理の全域木生成ステップの一例を説明するフローチャートである。 本発明の実施例3のグラフデータ生成処理の概念を示す説明図である。 本発明の実施例3のグラフデータ生成処理の実行後の頂点リスト及びエッジリストを示す説明図である。 本発明の実施例3のグラフデータ生成処理の実行後の頂点リスト及びエッジリストを示す説明図である。 本発明の実施例3のグラフデータに基づいて表示されるグラフの一例を示す説明図である。 本発明の実施例3のグラフデータ生成処理の一例を説明する説明図である。
以下、添付図面を参照して本発明の実施例について説明する。添付図面では、機能的に同じ要素は同じ番号で表示されている。なお、添付図面は本発明の原理に則った具体的な実施例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。
まず、本発明の概要について説明する。
業務データに対する相関分析等の分析処理の実行時には、業務データから指標(特徴量、項目等)間の相関関係を示す相関行列データが生成される。指標の数がm個の場合、相関行列データはm行m列の行列データとなる。相関行列データは行列の要素を識別する指標の組合せ、及び要素の値から構成されるデータである。
ビックデータ解析では指標の数が大きいため、相関行列データのサイズも大きい。そのため、メモリに相関行列データを格納することができない。そのため、業務データの解析処理の実行時には、相関行列データを取得するためにストレージ装置等に頻繁にアクセスする必要がある。したがって、ストレージ装置へのアクセスに伴う処理遅延が発生する。
また、m行m列の相関行列データは(m×m)個の要素を持ち、解析処理では、全ての要素のデータを処理する必要がある。指標間の相関がないことを示す値「0」の場合であっても、「0」という値を保持する必要がある。そのため、指標の数が増大すると、処理コスト及びデータ量が増大する。
(1)グラフデータへの変換
前述した課題を解決するために、本発明のグラフ処理装置100(図1参照)は、相関行列データをグラフデータに変換する。ここで、グラフデータは、指標を表す頂点、相関のある二つの頂点を接続するエッジ、及び要素の値を表すエッジの重みから構成されるデータ構造のデータであり、頂点間の接続関係をグラフとして把握することができる。エッジの重みが当該エッジで接続される二つの指標の間の相関関係の強さを表す。
相関関係が存在しない頂点との間にはエッジが存在しないため、グラフデータでは、相関関係がないことを示すデータを保持する必要がない。また、いずれの頂点とも接続されないものはデータとして保持する必要がない。一方、相関行列データでは、二つの指標の間に相関関係がない場合であっても「0」を値とする要素としてデータを保持する必要がある。そのため、グラフデータは、相関行列データよりデータ量が少ない。
したがって、相関行列データをグラフデータに変換することによって、データ量を削減することができる。本発明では、グラフ処理装置100は、単に、相関行列データをグラフデータに変換するのではなく、制約条件に基づいて、可能な限り精度破綻の生じない圧縮されたグラフデータに変換する点に特徴がある。
具体的には、以下の3つの処理を含むことに特徴がある。
(2)グラフデータに含めるエッジ数の調整
相関行列データをそのままグラフデータに変換しても、十分にデータ量を削減することができない可能性がある。そのため、本発明のグラフ処理装置100(図1参照)は、解析処理の処理完了時間である目標処理時間に応じて、グラフデータに含まれるエッジ数を調整する。
具体的には、グラフ処理装置100は、目標処理時間に基づいて、相関値を切り捨てるための閾値を決定する。さらに、グラフ処理装置100は、各要素の値の大きさ(絶対値)が閾値以下の要素の値を「0」に設定し、その上で、グラフデータに変換する。前述したように、「0」は二つの指標間に相関関係がないことを示し、また、相関関係がない場合にはエッジも存在しない。そのため、グラフデータに含まれるエッジ数を削減することができる。
(3)エッジの重みの表現ビット数の丸め
本発明のグラフ処理装置100は、メモリ容量に応じて、エッジの重みの表現ビット数を丸める。これによって、グラフデータを、メモリに格納可能なデータサイズに更に圧縮する。
(4)全域木(スパニングツリー)構造を保持したグラフデータの生成
閾値によるエッジ数の削減だけでは、目標処理時間の制約が厳しいと、グラフ処理の精度を維持できくなる可能性がある。すなわち、閾値によって「0」に設定された要素が多い場合、変換されるグラフデータの構造は疎(スパース)なものとなり、グラフが分裂することで連結グラフが維持できなくなる可能性がある。連結グラフは、グラフ上の任意の2ノード間にエッジが存在するグラフのである。また、連結な部分グラフを連結成分と言う。隣接ノードの間でトラーバス処理を行うグラフ処理において、連結成分が複数に分裂すると、連結成分間で情報の遷移が不能となり、結果を正しく求めることができない。そのため、本発明のグラフ処理装置100は、全ての有用なノードが少なくとも一辺は別のノードへの接続を保持するように、グラフの全域木構造を保持したグラフデータを作成する。全域木(スパニングツリー)は、グラフの全てのノードとエッジの一部からなる木構造であり、グラフデータの連結性を保障する。
具体的には、グラフ処理装置100は、相関行列データを元に全域木を作成する。さらに、グラフ処理装置100は、閾値以下の要素の値を除去しつつ、作成した全域木構造の要素データを保持するようにグラフデータを生成する。全域木構造の要素データを保持することで、精度破綻を引き起こす可能性のあるグラフの分裂を防ぐことができる。
以上のような処理を実行することによって、処理に必要なデータ量を削減することができる。すなわち、全てのグラフデータをメモリに格納することができるため、処理の高速化が可能となり、また、データ量の削減によって処理コストを抑制することができる。さらに、グラフ分裂を防ぐように、生成するグラフデータに全域木構造を保持することで、必要精度を保った上で、グラフ処理の効率化が実現できる。
図1は、本発明の実施例1のグラフ処理装置100の構成例を示すブロック図である。図2は、本発明の実施例1のグラフ処理装置100が適用されるシステム構成の一例を示すブロック図である。
図2に示すシステムは、グラフ処理装置100、基地局200、ユーザ端末210、及びセンサ群220から構成される。
グラフ処理装置100、基地局200及びセンサ群220に含まれる複数のセンサ221は、ネットワーク240を介して互いに接続される。ネットワーク240は、例えば、WAN、LAN等が考えられるが、本発明はネットワーク240の種別に限定されない。
ユーザ端末210は、基地局200を介して無線通信を介して、グラフ処理装置100等と接続される。なお、ユーザ端末210と基地局200との間は有線通信を介して接続されてよいし、ユーザ端末210が直接ネットワーク240と接続されてもよい。
グラフ処理装置100は、センサ群220に含まれる各センサ221から業務データ130を取得し、取得された業務データ130をストレージ装置104に格納する。また、グラフ処理装置100は、ユーザ端末210の指示に従って、グラフ処理を実行する。
ユーザ端末210は、例えばパーソナルコンピュータ又はタブレット端末等の装置である。ユーザ端末210は、プロセッサ(図示省略)、メモリ(図示省略)、ネットワークインタフェース(図示省略)、及び入出力装置(図示省略)を備える。入出力装置には、ディスプレイ、キーボード、マウス、及びタッチパネル等が含まれる。
ユーザ端末210は、グラフ処理装置100を操作するためのユーザインタフェース211を提供する。ユーザインタフェース211は、グラフ処理装置100に目標処理時間を入力し、また、グラフ処理装置100から出力されたグラフデータ及びグラフ処理の結果等を受け付ける。
グラフ処理装置100は、ハードウェア構成としてプロセッサ101、メモリ102、ネットワークインタフェース103、及びストレージ装置104を備える。
プロセッサ101は、メモリ102に格納されるプログラムを実行する。プロセッサ101がプログラムを実行することによって、グラフ処理装置100が有する各種機能部を実現できる。以下の説明では、機能部を主体に処理の説明をするときには、当該機能部を実現するプログラムがプロセッサ101によって実行されていることを示す。
メモリ102は、プロセッサ101によって実行されるプログラム及び当該プログラムの実行時に用いられる情報を格納する。メモリ102は、DRAM等が考えられる。メモリ102に格納されるプログラム及び情報については後述する。ネットワークインタフェース103は、WAN、LAN等のネットワークを介して外部の装置と接続するためのインタフェースである。
ストレージ装置104は、各種情報を格納する。ストレージ装置104は、HDD又はSSD等が考えられる。本実施例では、ストレージ装置104に業務データ130が格納される。なお、業務データ130における各種データの相関関係を示す相関行列データが格納されてもよい。
ここで、図3及び図4を用いて業務データ130及び相関行列データ400の一例について説明する。図3は、本発明の実施例1における業務データ130の一例を示す説明図である。図4は、本発明の実施例1における相関行列データ400の一例を示す説明図である。
図3には、店舗における業務データ130を示す。業務データ130には、顧客毎の購入金額、購入点数、滞在時間、立ち止り時間などの情報が格納される。「購入金額」、「購入点数」、「滞在時間」、及び「立ち止り時間」を指標と呼ぶ。
相関行列データ400は、指標間の相関関係を要素とする行列データである。例えば、本実施例の行列データには、指標1「購入金額」と指標2「購入点数」との間の相関関係を示す情報が要素として含まれる。ここで、指標1と指標2との間の相関関係は、相関値として与えられる。例えば、下式(1)を用いて相関値が算出される。
Figure 0006232522
ここで、S1は指標1の標準偏差、S2は指標2の標準偏差、S12は指標1と指標2との間の共分散を表す。相関値は、「−1」以上「1」以下であり、相関値が「1」に近いほど「正の相関」が強いことを表し、相関値が「−1」に近いほど「負の相関」が強いことを表す。また、「0」に近いほど指標間に相関がないことを表す。
すなわち、相関行列データ400は、全ての指標の組合せに対する相関値を要素とする行列形式のデータ構造であり、指標間の関係性を示すデータである。以下の説明では、業務データ130から算出された相関行列データ400が、予め、ストレージ装置104に格納されるものとする。
図1の説明に戻る。次に、メモリ102に格納されるプログラム及び情報について説明する。
メモリ102には、グラフ処理部110を実現するプログラムを格納する。グラフ処理部110は、相関行列データ400をグラフデータに変換し、すなわち、相関行列データ400からグラフデータを生成する。また、グラフ処理部110は、グラフデータを用いて任意のグラフ処理を実行する。グラフ処理部110は、複数のプログラムモジュールから構成される。具体的には、グラフ処理部110は、エッジ情報量算出部111、制御因子算出部112、グラフデータ生成部113、グラフ処理部114、グラフデータ格納部115を含む。
エッジ情報量算出部111は、ストレージ装置104から相関行列データ400の要素を読み出し、相関値とエッジ数との間の関係を示すエッジ情報量を算出する。また、エッジ情報量算出部111は、算出されたエッジ情報量を制御因子算出部112に出力する。ここで、エッジ情報量は、相関行列データ400をグラフデータに変換する場合に含めることが可能なエッジの数を推定するための情報である。エッジ情報量算出部111が実行する処理の詳細は、図6を用いて後述する。
制御因子算出部112は、相関行列データ400をグラフデータに変換する場合に、データの圧縮に用いられる制御因子を算出する。本実施例では、制御因子算出部112は、エッジ情報量及び目標処理時間に基づいてグラフデータに含めるエッジ数を調整するための閾値を制御因子として算出する。また、制御因子算出部112は、算出された制御因子をグラフデータ生成部113に出力する。制御因子算出部112が実行する処理の詳細は、図8を用いて後述する。
グラフデータ生成部113は、算出された制御因子を用いて相関行列データ400からグラフデータを生成する。グラフデータ生成部113は、グラフデータ格納部115に生成されたグラフデータを格納し、また、ユーザ端末210に生成されたグラフデータを送信する。グラフデータ生成部113が実行する処理の詳細は、図11を用いて後述する。
グラフ処理部114は、グラフデータを用いて任意のグラフ処理を実行する。グラフ処理としては、例えば、行列演算の固有値計算に利用可能なPageRank処理、中心性計算処理等が考えられる。本発明は、グラフ処理の処理内容に限定されず、汎用的に用いられる様々なグラフアルゴリズムを適用することができる。グラフ処理部114は、ユーザ端末210にグラフ処理の結果を送信する。
次に、本実施例のグラフ処理装置100が実行する処理について説明する。図5は、本発明の実施例1のグラフ処理装置100が実行する処理の概要を説明するフローチャートである。
グラフ処理装置100は、ユーザ端末210から処理の開始時を受信した場合、又は周期的に、以下で説明する処理を実行する。
グラフ処理装置100は、ストレージ装置104に格納される業務データ130から相関行列データ400を生成する(ステップS501)。具体的には、グラフ処理部110が相関行列データ400を生成する。なお、ストレージ装置104に相関行列データ400が格納されている場合には、ステップS501の処理は省略することができる。
グラフ処理装置100は、エッジ情報量算出処理を実行する(ステップS502)。具体的には、エッジ情報量算出部111が、相関行列データ400を解析し、解析結果に基づいてエッジ情報量を算出する。エッジ情報量算出部111が実行するエッジ情報量算出処理の詳細は、図6を用いて後述する。
グラフ処理装置100は、ユーザ端末210から目標処理時間を取得する(ステップS503)。具体的には、グラフ処理部110が、ユーザ端末210に対して目標処理時間の入力を要求する。このとき、ユーザインタフェース211は、当該要求を受け付けると、ディスプレイ等に目標処理時間を入力するための操作画面を表示し、当該操作画面を用いて入力された目標処理時間をグラフ処理装置100に送信する。グラフ処理装置100は、ユーザ端末210から受信した目標処理時間を制御因子算出部112に入力する。
グラフ処理装置100は、エッジ情報量及び目標処理時間を用いて制御因子算出処理を実行する(ステップS504)。具体的には、制御因子算出部112が、エッジ情報量及び目標処理時間を用いて、圧縮されたグラフデータの生成に用いる制御因子を算出する。制御因子算出部112が実行する制御因子算出処理の詳細は、図8を用いて後述する。
グラフ処理装置100は、制御因子を用いてグラフデータ生成処理を実行する(ステップS505)。具体的には、グラフデータ生成部113が、算出された制御因子を用いて、相関行列データ400からグラフデータを生成する。グラフデータ生成部113が実行するグラフデータ生成処理の詳細は、図11を用いて後述する。
グラフ処理装置100は、生成されたグラフデータを用いてグラフ処理を実行する(ステップS506)。具体的には、グラフ処理部114が、生成されたグラフデータを用いて所定のグラフ処理を実行し、グラフ処理の結果をユーザ端末210に送信する。
図6は、本発明の実施例1のエッジ情報量算出処理の一例を説明するフローチャートである。図7Aは、本発明の実施例1の相関値の頻度分布表700の一例を示す説明図である。図7Bは、本発明の実施例1のエッジ情報量の一例を示す説明図である。
エッジ情報量算出部111は、相関行列データ400における相関値の頻度分布表(ヒストグラム)700を生成する(ステップS601)。
ここで、相関値の頻度分布表700は、相関値を所定の値の範囲毎にカウントした度数分布を表す柱状グラフであり、図7Aに示すようなグラフとなる。図7Aでは、値の範囲は「0.01」である。なお、相関値の頻度分布表700における値の範囲は予め設定されているものとする。ただし、外部からの入力に基づいて、値の範囲を変更することができる。
エッジ情報量算出部111は、相関行列データ400の要素のループ処理を開始する(ステップS602)。まず、エッジ情報量算出部111は、相関行列データ400から要素を一つ選択し、選択された要素の値(相関値)を読み出す。
エッジ情報量算出部111は、読み出された要素の値の絶対値、すなわち、相関値の絶対値を算出する(ステップS603)。エッジ情報量算出部111は、算出された相関値の絶対値に基づいて、相関値の頻度分布表700を更新する(ステップS604)。具体的には、エッジ情報量算出部111は、相関値の絶対値が含まれる値の範囲の度数を1加算する。なお、エッジ情報量算出部111は、相関値の頻度分布表700の更新後、読み出された要素の値を削除する。
エッジ情報量算出部111は、相関行列データ400の全ての要素について処理が完了したか否かを判定する(ステップS605)。相関行列データ400の全ての要素について処理が完了していないと判定された場合、エッジ情報量算出部111は、ステップS602に戻り、同様の処理を実行する。一方、相関行列データ400の全ての要素について処理が完了したと判定された場合、エッジ情報量算出部111は、ステップS606に進む。
相関行列データ400の要素のループ処理が完了すると、相関値の頻度分布表700は図7Aに示すような状態になる。
エッジ情報量算出部111は、相関値の頻度分布表700に基づいてエッジ情報量を算出し(ステップS606)、制御因子算出部112に算出されたエッジ情報量を出力する(ステップS607)。その後、エッジ情報量算出部111は処理を終了する。具体的には、以下のような処理が実行される。
エッジ情報量算出部111は、相関値の絶対値「k」までの度数の合計値、すなわち、度数の累積頻度を算出する。横軸を相関値の絶対値、横軸を度数の累積頻度として、算出された度数の累積頻度をプロットする。エッジ情報量算出部111は、プロット結果から相関値の絶対値と累積頻度との間の関係を示す関数E(k)をエッジ情報量として算出する。本実施例では、エッジ情報量E(k)は、図7Bに示すようなグラフ701として与えられる。
累積頻度は、相関値の頻度分布表700における相関値の絶対値が「k」までの度数の合計値を表す。例えば、E(0.3)は相関値の絶対値が「0」から「0.3」までの度数の合計値である。したがって、E(1)は相関行列データ400の全要素の数と一致する。
図8は、本発明の実施例1の制御因子算出処理の一例を説明するフローチャートである。図9は、本発明の実施例1の推定処理時間関数f(E)の一例を示す説明図である。図10は、本発明の実施例1の制御因子の決定時に用いられる推定用エッジ情報量の一例を示す説明図である。
制御因子算出部112は、エッジ情報量が入力されると処理を開始する。制御因子算出部112は、エッジ情報量E(k)を変数とする推定処理時間関数f(E)を求める(ステップS801)。
制御因子算出部112は、グラフ解析処理のアルゴリズムに基づいて推定処理時間関数f(E)を算出することができる。例えば、グラフ分析処理において、主成分分析に用いる固有値問題を解く場合、アルゴリズムの収束計算の繰り返し回数をa、単位エッジ当たりの処理時間をb、変数Eとして場合、下式(2)で与えられる。
Figure 0006232522
図9には、式(2)によって求められた推定処理時間関数f(E)を示す。なお、エッジ情報量E(k)は推定処理時間関数f(E)の定義域として与えられる。
次に、制御因子算出部112は、ユーザ端末210から目標処理時間を取得する(ステップS802)。例えば、制御因子算出部112は、ユーザ端末210に対して、目標処理時間の入力を要求する。ユーザ端末210は、ユーザインタフェース211を介して当該要求を受け付けると、ディスプレイに目標処理時間を入力するための操作画面等を表示する。以下の説明では取得された目標処理時間がTであるものとする。
制御因子算出部112は、目標処理時間及び推定処理時間関数f(E)を用いて、目標処理時間内にグラフ処理が完了可能な最大エッジ数EMAXを算出する(ステップS803)。
本実施例では、制御因子算出部112は式(2)から最大エッジ数Eを算出できる。具体的には下式(3)のように最大エッジ数EMAXが算出される。図9の点線は、式(3)を用いて算出される最大エッジ数EMAXを示す。
Figure 0006232522
制御因子算出部112は、エッジ情報量E(k)及び最大エッジ数EMAXを用いて相関値の閾値を算出する(ステップS804)。具体的には、以下のような処理が実行される。
制御因子算出部112は、まず、エッジ情報量E(k)を用いて推定用エッジ情報量E’(k)を求める。本実施例では、下式(4)に示すように推定用エッジ情報量E’(k)が求められる。推定用エッジ情報量E’(k)は、図10に示すようなグラフ1000として与えられる。
Figure 0006232522
制御因子算出部112は、推定用エッジ情報量E’(k)及び最大エッジ数EMAXを用いて相関値の閾値を算出する。具体的には、制御因子算出部112は、式(4)の左辺をEMAXとし、下式(5)のように変更することによって相関値の絶対値kを算出する。算出された相関値の絶対値kが相関値の閾値となる。図10の点線は、式(5)を用いて算出された相関値の閾値を示す。相関値の閾値は、後述するように、グラフデータ生成処理において相関値の切り捨ての閾値(制御因子)として用いられる。
Figure 0006232522
制御因子算出部112は、グラフデータ生成部113に、算出された相関値の閾値を制御因子として出力し(ステップS805)、処理を終了する。
図11は、本発明の実施例1のグラフデータ生成処理の一例を説明するフローチャートである。図12Aは、本発明の実施例1のグラフデータ生成処理に用いられる頂点リスト1200の一例を示す説明図である。図12Bは、本発明の実施例1のグラフデータ生成処理に用いられるエッジリスト1210の一例を示す説明図である。図13は、本発明の実施例1のグラフデータ生成処理における制御因子を用いた相関値の切り捨ての概念を示す説明図である。図14A及び図14Bは、本発明の実施例1のグラフデータ生成処理の実行後の頂点リスト1200及びエッジリスト1210を示す説明図である。図15は、本発明の実施例1のグラフデータに基づいて表示されるグラフの一例を示す説明図である。
まず、頂点リスト1200及びエッジリスト1210について説明する。
頂点リスト1200は、グラフデータにおける頂点(指標)、及び頂点を接続するエッジの情報を管理するための情報である。図12Aに示す頂点リスト1200は、頂点ID1201、指標ID1202、及び接続エッジ情報1203を含む。
頂点ID1201は、頂点を一意に識別するための識別情報を格納する。一つの頂点に対して一つの頂点IDが付与される。指標ID1202は、頂点に対応する指標の識別情報である。グラフデータでは、一つの指標が一つの頂点として管理される。接続エッジ情報1203は、頂点ID1201に対応する頂点に接続されるエッジの情報である。
エッジリスト1210は、グラフデータにおけるエッジ(辺)を管理するための情報である。図12Bに示すエッジリスト1210はエッジID1211、接続頂点A1212、接続頂点B1213、及び重み1214を含む。
エッジID1211は、エッジを一意に識別するための識別情報を格納する。一つのエッジに対して一つのエッジIDが付与される。接続頂点A1212及び接続頂点B1213は、エッジによって接続される二つの頂点の識別情報を格納する。重み1214は、エッジの重み、すなわち、相関値を格納する。
グラフデータ生成部113は、制御因子が入力されると処理を開始する。グラフデータ生成部113は、まず、頂点リスト1200及びエッジリスト1210を初期化する(ステップS1101)。
具体的には、グラフデータ生成部113は、相関行列データ400の全ての指標の数だけ頂点リスト1200にエントリを生成し、生成されたエントリの指標ID1202に指標の識別情報を設定する。グラフデータ生成部113は、各指標に頂点IDを付与し、各エントリの頂点ID1201に付与された頂点IDを設定する。この時点では、接続エッジ情報1203は空の状態である。また、グラフデータ生成部113は、空のエッジリスト1210を生成する。
グラフデータ生成部113は、相関行列データ400の要素のループ処理を開始する(ステップS1102)。まず、グラフデータ生成部113は、相関行列データ400から要素を一つ読み出す。なお、グラフデータ生成部113が要素を一つずつ読み出すと、頻繁にI/Oが発生するため、例えば、相関行列データ400の行単位に要素を読み出し、読み出された要素をメモリ102に一時的に保持してもよい。
グラフデータ生成部113は、読み出された要素の相関値の絶対値が相関値の閾値(制御因子)より小さいか否かを判定する(ステップS1103)。読み出された要素の相関値の絶対値が相関値の閾値(制御因子)より小さいと判定された場合、グラフデータ生成部113は、ステップS1105に進む。
読み出された要素の相関値の絶対値が相関値の閾値(制御因子)以上であると判定された場合、グラフデータ生成部113は、頂点リスト1200及びエッジリスト1210を更新する(ステップS1104)。具体的には、以下のような処理が実行される。
グラフデータ生成部113は、エッジリスト1210にエントリを追加し、追加されたエントリのエッジID1211にエッジの識別情報を設定する。また、グラフデータ生成部113は、追加されたエントリの接続頂点A1212及び接続頂点B1213に、読み出された要素に対応する二つの指標を設定する。さらに、グラフデータ生成部113は、追加されたエントリの重み1214に読み出された要素の相関値を設定する。
グラフデータ生成部113は、頂点リスト1200を参照し、指標ID1202が接続頂点A1212に設定された指標の識別情報と一致するエントリを検索する。グラフデータ生成部113は、検索されたエントリの接続エッジ情報1203に、エッジID1211に設定されたエッジの識別情報を設定する。グラフデータ生成部113は、同様に、指標ID1202が接続頂点B1213に設定された指標の識別情報と一致するエントリを検索し、当該エントリの接続エッジ情報1203にエッジの識別情報を設定する。
なお、接続エッジ情報1203に、追加予定のエッジの識別情報と同一のエッジの識別情報が格納されている場合、グラフデータ生成部113は、追加予定のエッジの識別情報を設定しない。これは追加する必要がないためである。
以上がステップS1104の処理の説明である。
グラフデータ生成部113は、相関行列データ400の全ての要素について処理が完了したか否かを判定する(ステップS1105)。相関行列データ400の全ての要素について処理が完了していないと判定された場合、グラフデータ生成部113は、ステップS1102に戻り、同様の処理を実行する。一方、相関行列データ400の全ての要素について処理が完了したと判定された場合、グラフデータ生成部113は、ステップS1106に進む。
相関行列データ400の要素のループ処理は、図13に示すように、相関値の絶対値が相関値の閾値(制御因子)より小さい要素の値を「0」に設定して、その後グラフデータを生成する処理に対応する。
グラフデータ生成部113は、頂点リスト1200を参照し、いずれのエッジにも接続されていない頂点のエントリを当該頂点リスト1200から削除する(ステップS1106)。具体的には、グラフデータ生成部113は、接続エッジ情報1203にエッジの識別情報が一つも格納されていないエントリを検索し、当該エントリを頂点リスト1200から削除する。
以上の処理が終了すると、頂点リスト1200及びエッジリスト1210は、図124A及び図14Bに示すような状態になる。
グラフデータ生成部113は、頂点リスト1200及びエッジリスト1210をグラフデータとして出力し(ステップS1107)、処理を終了する。本実施例では、グラフデータ生成部113は、頂点リスト1200及びエッジリスト1210をグラフデータ格納部115に出力し、また、ユーザ端末210に送信する。ユーザ端末210は、受信したグラフデータに基づいて図15に示すようなグラフを表示することができる。
本実施例では、グラフデータは、頂点リスト1200及びエッジリスト1210から構成されるものとするが、本発明はリスト表現に限定されず、そのほかのグラフ表現方法を用いてもよい。
ここで、図4、図14A、図14B、及び図15を用いて相関行列データ400とグラフデータとのデータ量について説明する。
図4に示すように、5行5列の相関行列データ400では、25個の指標の組合せのそれぞれについて相関値を保持する必要がある。一方、グラフデータでは、5個の頂点の情報と、エッジの重みを含む10個のエッジの情報とを保持すればよい。したがって、グラフ処理装置100は、相関行列データ400をグラフデータに変換することによって、データ量を圧縮することができる。
実施例1によれば、グラフ処理装置100は、単に相関行列データ400をグラフデータに変換するだけではなく、目標処理時間内に処理が完了できるように制御因子を用いてグラフデータに含まれるエッジの数を調整し、その後、グラフデータを生成する。これによって、生成されたグラフデータは更に圧縮されたデータとなるため、メモリ102にデータを配置することができ、当該メモリ102上のグラフデータを用いて高速なグラフ解析処理が可能となる。すなわち、相関行列データをグラフデータとして圧縮し、大量の指標の相関分析又は主成分分析等のビックデータ解析において、データ量を削減し、かつ、高速な処理を実現できる。
(変形例)
実施例1では、相関値の絶対値が相関値の閾値より小さい要素の値を「0」とすることによってエッジとして保持するデータ量を削減したが、本発明はこれに限定されない。例えば、グラフデータ生成部113は、相関値の絶対値が相関値の閾値より大きい要素のみを抽出し、抽出された要素からグラフデータを生成してもよい。
次に実施例2について説明する。実施例2では、目標処理時間だけではなく、ユーザによって指定されたメモリ制限量をも考慮して、さらに、圧縮されたグラフデータを生成する。具体的には、制御因子算出部112が、グラフデータに含めるエッジ数を調整するため閾値、及びエッジの重みの表現ビット数を制御因子として算出する。これによって、グラフ処理装置100は、エッジ数の削減し、さらに、エッジの重みの表現ビット数を丸めることによって、さらに、データ量を圧縮する。以下実施例1との差異を中心に実施例2について説明する。なお、実施例1と同一の構成には同一の符号を付し、詳細な説明は省略する。
図16は、本発明の実施例2のグラフ処理装置100の構成例を示すブロック図である。なお、グラフ処理装置100が適用されるシステム構成例は実施例1と同一であるため説明を省略する。
図16に示すように、ユーザ端末210は、目標処理時間に加え、メモリ制限量を入力する点が実施例1と異なる。制御因子算出部112は、目標処理時間及びメモリ制限量に基づいて、相関値の閾値及びエッジの重みに対する丸めビット数を算出する。その他の構成は実施例1と同一である。
相関行列データ400のデータ形式は、実施例と同一であるため説明を省略する。グラフ処理装置100が実行する処理の概要も実施例1と同一であるため説明を省略する。また、エッジ情報量算出処理も実施例1と同一であるため説明を省略する。実施例2では、制御因子算出処理及びグラフデータ生成処理の一部の内容が異なる。
図17は、本発明の実施例2の制御因子算出処理の一例を説明するフローチャートである。図18A及び図18Bは、本発明の実施例2の推定メモリ使用量関数g(E,B)の一例を示す説明図である。図19は、本発明の実施例2の相関値の表現ビット数の丸めの一例を示す説明図である。
実施例2の制御因子算出処理では、制御因子算出部112は、推定処理時間関数f(E)を求めた後、相関値の表現ビット数毎に、エッジ情報量に対する推定メモリ使用量関数g(E,B)を求める(ステップS1701)。ここで、Eはエッジ数、Bは表現ビット数を表す。
推定メモリ使用量関数g(E,B)はエッジの重みを何ビットで表現するかによって複数存在する。例えば、1ビットで重みを表現した場合の一つのエッジ当たりのメモリ使用量をx、エッジ数をE、エッジのビット数yとして場合、推定メモリ使用量関数g(E,B)は、下式(6)ように求められる。
Figure 0006232522
図18A及び図18Bには、式(6)によって求められた推定メモリ使用量関数g(E,B)を示す。なお、エッジ情報量E(k)は推定メモリ使用量関数g(E,B)の定義域として与えられる。
ステップS1701の後、制御因子算出部112は、ユーザ端末210から目標処理時間及びメモリ制限量を取得する(ステップS1702)。メモリ制限量の取得方法は、目標処理時間と同様の方法を用いればよい。以下の説明では取得された目標処理時間がT、メモリ制限量がGであるものとする。
制御因子算出部112は、最大エッジ数EMAXを算出した後(ステップS803)、最大エッジ数、メモリ制限量、及び推定メモリ使用量関数g(E,B)に基づいて、エッジの重みの表現ビット数を決定する(ステップS1703)。具体的には、以下のような処理が実行される。
制御因子算出部112は、各推定メモリ使用量関数g(E,B)に最大エッジ数EMAXを代入し、推定メモリ使用量を算出する。制御因子算出部112は、算出された推定メモリ使用量が下式(7)を満たすものを抽出する。
Figure 0006232522
制御因子算出部112は、式(7)を満たす推定メモリ使用量の中から最も大きいビット数を特定し、特定されたビット数をエッジの重みの表現ビット数に決定する。
例えば、図18Aに示す例ではエッジの重みの表現ビット数は3ビットと決定され、図18Bに示す例ではエッジの重みの表現ビット数は2ビットと決定される。
制御因子算出部112は、相関値の閾値を算出した後(ステップS804)、グラフデータ生成部113に、当該相関値の閾値及び表現ビット数を制御因子として出力し(ステップS1704)、処理を終了する。
実施例2のグラフ生成処理の流れは、実施例1のグラフ生成処理(図11参照)と同一である。ただし、ステップS1104の処理が一部異なる。
具体的には、グラフデータ生成部113は、エッジリスト1210に追加されたエントリの重み1214に相関値を設定する場合、制御因子として入力された表現ビット数に基づいて相関値を丸めて、丸められた相関値を重み1214に設定する。
例えば、丸める前の相関値の表現ビット数が4ビットであり、これを3ビットに丸める場合、最上位ビットは符号ビットとする。例えば、「0」の場合「正」の相関値に対応し、「1」の場合「負」の相関値に対応するようにすればよい。また、相関値の絶対値の大きさに応じて図19に示すような符号化を与えればよい。なお、符号は図19に示す以外の符号化であってもよい。
その他の処理は実施例1と同一である。
実施例2によれば、メモリ制限量に従って、エッジの重みの表現ビット数を丸めることによって、グラフデータを更に圧縮することができる。すなわち、システムにおいて使用可能なメモリ容量の制約のもと、目標処理時間内に処理可能なデータ量のグラフデータを生成することができる。これによって、相関行列データ400から生成されたグラフデータを全てメモリ102上に配置し、メモリ102上に配置されたデータを用いて高速なグラフ処理が可能となる。
次に実施例3について説明する。実施例3では、目標処理時間に基づく閾値(制御因子)によるエッジの削減だけではなく、グラフの分裂による精度破綻を防ぐために、全てのノードがエッジで閉路なく接続された全域木構造の要素データを保持したグラフデータを生成する。具体的には、予め相関行列データを元に全域木を作成し、さらにその上で、作成した全域木構造の要素データを保持するように、閾値以下の要素の値を除去する。すなわち、木構造に含まれる要素は例え閾値以下であっても除去せずに、この要素を用いてグラフデータを生成する。これによって、グラス処理装置100は、精度破綻を引き起こす可能性のあるグラフの分裂を防ぐことができる。以下実施例1との差異を中心に実施例3について説明する。なお、実施例1と同一の構成には同一の符号を付し、詳細な説明は省略する。
図20は、本発明の実施例3のグラフ処理装置100の構成例を示すブロック図である。なお、グラフ処理装置100が適用されるシステム構成例は実施例1と同一であるため説明を省略する。
図20に示すように、グラフ処理部110は、エッジ情報量算出部111、制御因子算出部112、グラフデータ生成部113、グラフ処理部114に加え、全域木生成部116を含む点が実施例1と異なる。全域木生成部116は、相関行列データ400を入力として全域木データを生成する。全域木生成部116が実行する処理の詳細は、図23を用いて後述する。
相関行列データ400のデータ形式は、実施例と同一であるため説明を省略する。また、図21は、実施例3を説明するための相関行列データ400の一例である。
本実施例のグラフ処理装置100が実行する処理について説明する。図22は、グラフ処理装置100が実行する処理の概要を説明するフローチャートである。実施例3の処理では、相関行列データの生成(ステップS501)とグラフデータ生成処理(ステップS2202)の間に、全域木生成処理(ステップS2201)を実行する。図22では、グラフデータ生成処理(ステップS2202)の直前に、全域木生成処理(ステップ2201)を挿入したが、相関行列データを生成(ステップS501)とグラフデータ生成処理(ステップS2202)の間であれば、いずれの場所に挿入してもよい。
全域木生成処理(ステップ2201)は、具体的には、全域木生成処理部116が、相関行列データ400を入力として全域木データを生成する。実施例3の全域木生成部116が実行する処理の詳細は、図23を用いて後述する。
エッジ情報量算出処理は実施例1と同一であるため説明を省略する。制御因子算出処理も実施例1および実施例2と同様であるため説明を省略する。実施例3では、グラフデータ生成処理の一部の内容が異なる。実施例3のグラフデータ生成処理の詳細は、図31を用いて後述する。
図23は、本発明の実施例3の全域木生成処理の一例を説明するフローチャートである。図24は、本発明の実施例3の全域木生成処理の概念を示す説明図である。相関行列データのなかから、他の全ての指標との相関が低い指標(ノイズ)を除去し、ノイズを除去した残りの指標をノードとして構成する全域木を生成するまでの一連の処理の流れを概念的に示している。
図25A及び図25Bは、本発明の実施例3の全域木生成処理の実行後の頂点リスト1200及びエッジリスト1210の一例を示す説明図である。図26は、本発明の実施例3の全域木作成処理に用いられるエッジ候補リスト2601の一例を示す説明図である。
頂点リスト1200及びエッジリスト1210は、実施例1と同様であるため説明を省略する。エッジ候補リスト2601は、エッジリストに追加するためのエッジの候補を管理するための情報であり、エッジリスト1210と同様に、エッジID1211、接続頂点A1212、接続頂点B1213、及び重み1214を含む。
全域木生成部116は、頂点リスト1200及びエッジリスト1210及びエッジ候補リスト2601を初期化する(ステップS2301)。具体的には、全域木生成部116は、相関行列データ400の全ての指標の数だけ頂点リスト1200にエントリを生成し、生成されたエントリの指標ID1202に指標の識別情報を設定する。全域木生成部116は、各指標に頂点IDを付与し、各エントリの頂点ID1201に付与された頂点IDを設定する。この時点では、接続エッジ情報1203は空の状態である。また、全域木生成部116は、空のエッジリスト1210及びエッジ候補リスト2601を生成する。
全域木生成部116は、有用頂点の抽出処理(ステップS2301〜S2307)を開始する。有用頂点の抽出処理(ステップS2301〜S2307)は、相関行列データの中から、該指標以外の全ての指標に対して相関の低い不要な指標を除外する。具体的には、相関行列データ400の行(指標)毎に、その行の全て要素が相関値の閾値以上か否かの判定を行う(ステップS2304)。ここでの相関値の閾値は、図8のS804で算出された閾値(制御因子)とは異なる値である。制御因子よりも更に小さい値を事前に設定しておくことで、不要と判断し得る十分に小さな値を除去する。図21の例では「0.01」である。
該指標以外で一つでも読み出された要素の相関値の絶対値が相関値の閾値以上の場合であると判定された場合、ステップS2305、ステップS2306を飛ばし、ステップS2307に進む。
その行の全ての要素が閾値以下と判定された場合、全域木生成部116は、不要な指標を除外するように、頂点リスト1200を更新する(ステップS2306)。具体的には、全域木生成部116は、頂点リスト1200から該指標IDに対応する頂点IDのエントリを削除する。図21の例では、閾値が「0.01」に設定されているので、「指標4」のエントリが削除される。
全域木生成部116は、相関行列データ400の行の要素について処理が完了したか否かを判定する(ステップS2307)。相関行列データ400の全ての要素について処理が完了していないと判定された場合、全域木生成部116は、ステップS2302に戻り、同様の処理を実行する。一方、相関行列データ400の全ての要素について処理が完了したと判定された場合、全域木生成部116は、ステップS2308に進む。
以上が有用頂点の抽出処理(ステップS2301〜S2307)である。なお、本処理を省略することも可能である。
次に、全域木生成部116は、エッジ候補リストの作成処理(ステップS2308〜S2311)を実行する。エッジ候補リスト2601は、エッジリスト1210に追加するためのエッジの候補を管理するための情報であり、中間データとして機能する。
全域木生成部116は、相関行列データ400の要素のループ処理を開始する(ステップS2308)。まず、グラフデータ生成部113は、相関行列データ400から要素を一つ読み出す。全域木生成部116は、接続頂点が頂点リスト1200に含まれるか否かの判定を行う(ステップS2309)。
頂点リスト1200に接続頂点が含まれると判定された場合、全域木生成部116は、エッジ候補リスト2601を更新する(ステップ2310)。具体的には、全域木生成部116は、エッジ候補リストにエントリを追加し、追加されたエントリのエッジID1211にエッジの識別情報を設定する。また、全域木生成部116は、追加されたエントリの接続頂点A1212及び接続頂点B1213に、読み出された要素に対応する二つの指標を設定する。さらに、全域木生成部116は、追加されたエントリの重み1214に読み出された要素の相関値を設定する。
頂点リスト1200に接続頂点が含まれないと判定された場合、全域木生成部116は、ステップS2311に進む。全域木生成部116は、相関行列データ400の全ての要素について処理が完了したか否かを判定する(ステップS2311)。相関行列データ400の全ての要素について処理が完了していないと判定された場合、全域木生成部116は、ステップS2308に戻り、同様の処理を実行する。一方、相関行列データ400の全ての要素について処理が完了したと判定された場合、全域木生成部116は、ステップS2312に進む。
以上がエッジ候補リストの作成処理(ステップS2308〜S2311)である。以上の処理が終了するとエッジ候補リストは図26に示すような状態となる。
全域木生成部116は、全域木生成ステップを実行する(S2312)。具体的には、全域木生成部116は、頂点リスト1200とエッジ候補リスト2601を元に、全域木生成ステップ(S2312)を実行し全域木を構築する頂点リスト1200とエッジリスト1210を更新する。
ここで、全域木生成ステップは、全域木を作成することが可能な任意の方法を利用することができる。例えば、計算量をかけることなく、単純に隣接番号と接続するようにしてもよい。例えば、クラスカル法やプリム法などの全域木生成アルゴリズムを利用してもよい。分析精度を高めるために最も期待される構造は、最大全域木を求めることである。クラスカル法を用いた最大全域木を求めるステップの一例は、図27を用いて後述する。
なお、上記、全域木生成ステップは、複数の手法を用意し、ユーザ端末210からの入力を受け付けて、選択できるようにしてもよい。以上の処理が終了すると、頂点リスト1200及びエッジリスト1210は、図25A及び図25Bに示すような状態になる。
全域木生成部116は、頂点リスト1200及びエッジリスト1210を全域木データとして出力し(ステップS2313)、処理を終了する。本実施例では、全域木生成部116は、頂点リスト1200及びエッジリスト1210をグラフデータ生成部113へ入力する。
図27は、本発明の実施例3の全域木生成ステップの処理の一例を説明するフローチャートである。図27は、クラスカル法を用いた最大全域木を求める方法の例である。
全域木生成部116は、頂点リスト1200及びエッジ候補リスト2601を取得する(ステップS2701)。
全域木生成部116は、エッジ候補リスト2601を降順にソートする(ステップS2703)。具体的には、エッジ候補リスト2601の重み1214の全体値の値を用いて、エッジ候補リスト1214を値の大きな順番に並び替える。
全域木生成部116は、エッジ候補リスト2601の要素のループを開始する(ステップS2703)。そして、エッジ候補リスト2601の上位のエントリから順にエッジを1つ選択して読み出す(ステップS2704)。
全域木生成部116は、読み出されたエッジがエッジリスト1210を構成するグラフの2つの木(連結で閉路を持たない無向グラフ)を連結するか否かを判定する。すなわち、同じ木を連結するエッジでないか否かを判定する。読み出されたエッジが2つの木を連携するエッジでないと判定された場合、全域木生成部116は、ステップS2707に進む。
読み出されたエッジが2つの木を連結するエッジと判断された場合、エッジリスト1210を更新する(ステップS2706)。具体的には、読み出されたエッジを新たなエントリとして、エッジリスト1210に追加する。また、頂点リスト1200に接続エッジ情報を設定する。
エッジリスト1210にエッジを追加した場合、全域木生成部116は、カウンタをインクリメントすることにより、エッジリストに含まれるエッジ数をカウントする(S2707)。また、追加したエッジをエッジ候補リストから削除する(S2708)。ステップS2708の処理が完了すると、全域木生成部116は、ステップS2704に戻り、エッジ候補リストから次のエントリのエッジを選択する。
全域木生成部116は、エッジ候補リスト2601全ての要素について処理完了したか否かを判定する(ステップS2709)。エッジ候補リストの全ての要素の処理が完了していないと判断された場合、全域木生成部116は、ステップS2703に戻り、同様の処理を実行する。一方、エッジ候補リストの全ての要素の処理が完了したと判断された場合、全域木生成ステップを終了し、ステップS2313(図23参照)に進む。以上の処理により、エッジリスト1210には、頂点リスト1200に含まれる全ての頂点から構成される全域木のエッジの一覧が格納される。
図28は、本発明の実施例3のグラフデータ生成処理の概念を示す説明図である。相関行列データの網掛範囲は全域木データを、太線枠で囲まれた範囲は図8のS804で算出された閾値(制御因子)以下の値のデータを示す。例えば実施例1では、太線枠の範囲の値は0に設定されていたが、実施例3では、網掛範囲と重複する範囲の値を0に設定せずに元の値を残す。これにより全域木のエッジは保持されるので、精度破綻を引き起こす可能性のあるグラフの分裂を防ぐことができる。
図29A及び図29Bは、本発明の実施例3のグラフデータ生成処理の実行後の頂点リスト1200及びエッジリスト1210を示す説明図である。図30は、本発明の実施例3のグラフデータに基づいて表示されるグラフの一例を示す説明図である。
図31は、実施例3のグラフデータ生成処理(ステップS2202)の一例を説明するフローチャートである。
グラフデータ生成部113は、全域木生成部116が出力した頂点リスト1200及びエッジリスト1210、及び中間データとして保持しているエッジ候補リスト2601を取得する(ステップS2801)。全域木生成処理後のエッジ候補リスト2601には、全域木生成処理前のエッジ候補リスト2601から全域木のエッジが削除されたエッジの一覧が格納されている。
グラフデータ生成部113は、制御因子算出部112で算出された最大エッジ数よりエッジ候補リストに含まれる全域木のエッジ数を引いた数を、追加可能エッジ数として算出する(S2802)。そして、追加可能エッジ数の範囲内で、エッジ候補リスト2601のエッジを選択し読み出す(S2803)。
例えば、追加可能エッジ数に届くまで、エッジ候補リスト2601のエッジの重みの大きいものから順にエッジを選択する。また、単に重みの大きいものから順に追加可能エッジ数まで選択するのではなく、例えば、エッジ候補リストの中からランダムに追加可能エッジ数までサンプリングしてもよい。このとき、重みの大きいもの(エッジ候補リストの上位要素)を優先的に選択するように重みつきのサンプリングでもよい。重みの低い要素を取得しないように、閾値(サンプリングされたエッジが閾値以下であれば追加しない)を設定してもよい。
グラフデータ生成部113は、選択したエッジをエッジリスト1210に追加し、頂点リスト1200を更新し(S2805)、グラフデータとして出力する(S2805)。
ここでは、全域木生成処理のために作成したエッジ候補リストを利用してグラフデータを生成する処理について説明したため、最大エッジ数を制御因子として利用しているが、実施例1や実施例2のように、最大エッジ数に基づき算出された要素の閾値を制御因子として利用してもよい。この場合、図28に示したように、相関行列データから、全域木を構成する要素と制御因子となる閾値に基づき決定される要素とを特定し、そのグラフデータを生成する構成となる。
グラフデータ生成処理が終了すると、頂点リスト1200及びエッジリスト1210は、図14A及び図14Bに示すような状態になる。グラフデータ生成部113は、頂点リスト1200及びエッジリスト1210をグラフデータ格納部115に出力し、また、ユーザ端末210に送信する。ユーザ端末210は、受信したグラフデータに基づいて図30に示すようなグラフを表示することができる。
実施例3によれば、全ての有用なノードが少なくとも一辺は別のノードへの接続を保持するような全域木構造を保持したグラフデータを作成することができる。すなわち、実施例3によれば、精度破綻を引き起こす可能性のあるグラフが複数の連結成分に分かれるグラフ分裂は生じない。よって、作成するグラフデータに全域木構造を保持し、必要精度を保ったグラフ処理が可能となる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD−ROM、DVD−ROM、ハードディスク、SSD(Solid State Drive)、光ディスク、光磁気ディスク、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。
また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、C/C++、perl、Shell、PHP、Java(登録商標)等の広範囲のプログラム又はスクリプト言語で実装できる。
さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はCD−RW、CD−R等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。
上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

Claims (10)

  1. プロセッサ、及び前記プロセッサに接続されるメモリを備え、複数の指標間の相関値を要素とする相関行列データを用いた処理を実行する計算機であって、
    前記計算機は、記憶装置から取得される前記相関行列データから、一つの指標に対応する頂点、相関関係のある二つの前記頂点を接続するエッジ、及び前記要素の値であるエッジの重みから構成されるリスト構造の第1のグラフデータを生成するグラフ処理部を備え、
    前記グラフ処理部は、
    前記相関行列データを用いた処理を所定時間内に完了するために、前記第1のグラフデータに含めることが可能な最大エッジ数を算出する制御因子算出部と、
    前記相関行列データをリスト構造の第2のグラフデータに変換し、前記第2のグラフデータの全ての頂点及び一部のエッジで構成される全域木である第3のグラフデータを生成する全域木生成部と、
    前記最大エッジ数を用いて、前記第2及び前記第3のグラフデータに基づき、前記第1のグラフデータを生成するグラフデータ生成部と
    を備えることを特徴とする計算機。
  2. 請求項1に記載の計算機であって、
    前記全域木は、エッジの重みの和が最大となる最大全域木であることを特徴とする計算機。
  3. 請求項2に記載の計算機であって、
    前記第1のグラフデータは前記第3のグラフデータを含むことを特徴とする計算機。
  4. 請求項3に記載の計算機であって、
    前記グラフデータ生成部は、エッジの合計数が前記最大エッジ数になるまで、前記第3のグラフデータに前記第2グラフデータのみに含まれるエッジを重み順に追加することで、前記第1のグラフデータを生成することを特徴とする計算機。
  5. 請求項1乃至4のいずれかに記載の計算機であって、
    前記全域木生成部は、前記相関行列データに含まれる指標のうち、他の全ての指標との相関値が所定値以下である指標の要素を、前記相関行列データから削除し、前記指標の要素が削除された相関行列データをリスト構造の前記第2のグラフデータに変換することを特徴とする計算機。
  6. プロセッサ、及び前記プロセッサに接続されるメモリを備え、複数の指標間の相関値を要素とする相関行列データを用いた処理を実行する計算機におけるグラフデータ生成方法であって、
    前記計算機は、記憶装置から取得される前記相関行列データから、一つの指標に対応する頂点、相関関係のある二つの前記頂点を接続するエッジ、及び前記要素の値であるエッジの重みから構成されるリスト構造の第1のグラフデータを生成するグラフ処理部を備え、
    前記グラフ処理部は、
    前記相関行列データを用いた処理を所定時間内に完了するために、前記第1のグラフデータに含めることが可能な最大エッジ数を算出し、
    前記相関行列データをリスト構造の第2のグラフデータに変換し、前記第2のグラフデータの全ての頂点及び一部のエッジで構成される全域木である第3のグラフデータを生成し、
    前記最大エッジ数を用いて、前記第2及び前記第3のグラフデータに基づき、前記第1のグラフデータを生成することを特徴とするグラフデータ生成方法。
  7. 請求項6に記載のグラフデータ生成方法であって、
    前記全域木は、エッジの重みの和が最大となる最大全域木であることを特徴とするグラフデータ生成方法。
  8. 請求項7に記載のグラフデータ生成方法であって、
    前記第1のグラフデータは前記第3のグラフデータを含むことを特徴とするグラフデータ生成方法。
  9. 請求項8に記載のグラフデータ生成方法であって、
    エッジの合計数が前記最大エッジ数になるまで、前記第3のグラフデータに前記第2のグラフデータのみに含まれるエッジを重み順に追加することで、前記第1のグラフデータを生成することを特徴とするグラフデータ生成方法。
  10. 請求項6乃至9のいずれかに記載のグラフデータ生成方法であって、
    前記相関行列データに含まれる指標のうち、他の全ての指標との相関値が所定値以下である指標の要素を、前記相関行列データから削除し、前記指標の要素が削除された相関行列データをリスト構造の前記第2のグラフデータに変換することを特徴とするグラフデータ生成方法。
JP2017508811A 2015-03-27 2015-03-27 計算機及びグラフデータ生成方法 Expired - Fee Related JP6232522B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/059537 WO2016157275A1 (ja) 2015-03-27 2015-03-27 計算機及びグラフデータ生成方法

Publications (2)

Publication Number Publication Date
JPWO2016157275A1 JPWO2016157275A1 (ja) 2017-05-25
JP6232522B2 true JP6232522B2 (ja) 2017-11-15

Family

ID=57004837

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017508811A Expired - Fee Related JP6232522B2 (ja) 2015-03-27 2015-03-27 計算機及びグラフデータ生成方法

Country Status (3)

Country Link
US (1) US20180060448A1 (ja)
JP (1) JP6232522B2 (ja)
WO (1) WO2016157275A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10572537B2 (en) * 2016-04-13 2020-02-25 International Business Machines Corporation Efficient graph optimization
US10423663B2 (en) * 2017-01-18 2019-09-24 Oracle International Corporation Fast graph query engine optimized for typical real-world graph instances whose small portion of vertices have extremely large degree
US10909079B1 (en) * 2018-03-29 2021-02-02 EMC IP Holding Company LLC Data-driven reduction of log message data
CN112740238A (zh) * 2018-09-28 2021-04-30 三菱电机株式会社 推理装置、推理方法和推理程序
JP7239433B2 (ja) * 2019-10-02 2023-03-14 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
EP4116841A4 (en) * 2020-03-03 2023-03-22 Fujitsu Limited MACHINE LEARNING PROGRAM, MACHINE LEARNING METHOD AND MACHINE LEARNING DEVICE
CN111522308B (zh) * 2020-04-17 2021-10-29 深圳市英维克信息技术有限公司 故障诊断方法、装置、存储介质及计算机设备
JP7524109B2 (ja) * 2021-03-09 2024-07-29 株式会社東芝 データ分析装置、方法及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007207101A (ja) * 2006-02-03 2007-08-16 Infocom Corp グラフ生成方法、グラフ生成プログラム並びにデータマイニングシステム
JP4706608B2 (ja) * 2006-09-28 2011-06-22 株式会社日立製作所 製造工程分析方法
WO2010116409A1 (ja) * 2009-04-07 2010-10-14 株式会社島津製作所 質量分析データ処理方法及び装置
JP2014522283A (ja) * 2011-06-09 2014-09-04 ウェイク・フォレスト・ユニヴァーシティ・ヘルス・サイエンシズ エージェントベース脳モデル及び関連方法

Also Published As

Publication number Publication date
JPWO2016157275A1 (ja) 2017-05-25
WO2016157275A1 (ja) 2016-10-06
US20180060448A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
JP6232522B2 (ja) 計算機及びグラフデータ生成方法
US11636341B2 (en) Processing sequential interaction data
CN108615073B (zh) 图像处理方法及装置、计算机可读存储介质、电子设备
JP5995409B2 (ja) コンピュータ解析のためにテキスト文書を表現するためのグラフィカル・モデル
Gueniche et al. Compact prediction tree: A lossless model for accurate sequence prediction
CN112417028B (zh) 一种风速时序特征挖掘方法及短期风电功率预测方法
KR102028708B1 (ko) 대용량 이벤트 파일에서 시간 관계를 병렬 탐사하기 위한 방법
CN106301385A (zh) 用于对数进行有理压缩和解压缩的方法和装置
US20160203105A1 (en) Information processing device, information processing method, and information processing program
US8515882B2 (en) Efficient storage of individuals for optimization simulation
JP2013025805A (ja) 類似サブ時系列の抽出方法及び装置
CN110705279A (zh) 一种词汇表的选择方法、装置及计算机可读存储介质
WO2007066445A1 (ja) 特異値分解装置、及び特異値分解方法
CN110472659B (zh) 数据处理方法、装置、计算机可读存储介质和计算机设备
US20170034111A1 (en) Method and Apparatus for Determining Key Social Information
JP6154491B2 (ja) 計算機及びグラフデータ生成方法
KR101842420B1 (ko) 정보 처리 장치 및 데이터 관리 방법
CN117708348A (zh) 基于知识图谱的运维场景推荐案例获取方法、装置及设备
CN115186738B (zh) 模型训练方法、装置和存储介质
CN108170799A (zh) 一种海量数据的频繁序列挖掘方法
CN119646196B (zh) 一种检索增强生成优化方法、系统、设备、产品及介质
CN117217459A (zh) 事件分配方法、装置、电子设备和计算机可读介质
CN110807092B (zh) 数据处理方法及装置
JP5695586B2 (ja) Xml文書検索装置及びプログラム
US9406151B2 (en) Non-transitory computer-readable medium storing data storage program, non-transitory computer-readable medium storing data display program, data storage method, and data display method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171023

R150 Certificate of patent or registration of utility model

Ref document number: 6232522

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees