JP5199948B2 - データベース管理方法、データベース装置、およびプログラム - Google Patents
データベース管理方法、データベース装置、およびプログラム Download PDFInfo
- Publication number
- JP5199948B2 JP5199948B2 JP2009124203A JP2009124203A JP5199948B2 JP 5199948 B2 JP5199948 B2 JP 5199948B2 JP 2009124203 A JP2009124203 A JP 2009124203A JP 2009124203 A JP2009124203 A JP 2009124203A JP 5199948 B2 JP5199948 B2 JP 5199948B2
- Authority
- JP
- Japan
- Prior art keywords
- column
- database
- database device
- processing load
- equal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本実施形態の概要について、図1を用いて説明する。図1に示す分散データベースシステムでは、データベース装置10A,10Bとクライアント装置20とがネットワーク60を介して相互に通信可能に接続されている。仮に、データベース装置10Aの処理負荷が相対的に大きく、データベース装置10Bの処理負荷が相対的に小さいものとする。そして、クライアント装置20から、データベース装置10AのテーブルA1のカラムJと、データベース装置10BのテーブルB1のカラムLとを結合対象カラムとして、等結合処理を実行する要求(等結合依頼)を、データベース装置10Aが受ける場合を例として説明する。
次に、クライアント装置20の構成および機能について、図2を用いて説明する。クライアント装置20は、ネットワーク60を介して、複数のデータベース装置10と通信可能に接続されている。なお、図2には、クライアント装置20は、1つしか記載されていないが、2以上であっても構わない。クライアント装置20は、処理部21と記憶部22とを備える。処理部21は、コンピュータのCPUとメインメモリとで構成され、記憶部22に格納されているアプリケーションプログラムをメインメモリに展開して、各機能を具現化する。記憶部22は、各種プログラムや処理部21の演算結果を記憶する。処理部21の機能は、図2に示すように、等結合処理要求受付部211、等結合処理要求送信部212、等結合処理結果受信部213、および等結合処理結果出力部214を備える。
次に、データベース装置10の構成および機能について、図2を用いて説明する。データベース装置10A,10B(10)は、ネットワーク60を介して、クライアント装置20と通信可能に接続されている。各データベース装置10A,10Bは、同じ構成であるので、データベース装置10A(10)を代表させて、詳細な説明を行う。なお、図2には、データベース装置10は、2つしか記載されていないが、3以上であっても構わない。
次に、クライアント装置20の処理の流れについて、図3を用いて説明する(適宜図2参照)。ステップS301では、クライアント装置20の等結合処理要求受付部211が等結合依頼情報を受け付ける。なお、等結合依頼情報には、少なくとも、等結合処理の対象として指定する、データベース装置名、テーブル名、および結合対象カラム名を示す結合対象データベース装置情報と、結合対象カラム値の送信個数のデフォルト値nとが含まれている。
次に、データベース装置10の処理の流れについて、図4〜6を用いて説明する(適宜図2参照)。図4は、ステップS401〜S408の処理を示し、図5は、その続きのステップS409〜S416の処理を示している。図4に示すように、ステップS401では、等結合処理の対象となるデータベース装置10A,10Bの等結合依頼受信部111が、クライアント装置20から、等結合依頼情報を受信する。ステップS402では、データベース装置10Aの等結合依頼受信部111が、クライアント装置20から、等結合処理開始指示を受信する。ステップS403では、カラム値ブロック作成部112が、カラム値ブロックを作成する。このカラム値ブロックは、少なくとも、q個の結合対象カラム値、p個の結合可能カラム値、およびデータベース装置10A自身のCPU使用率xを含んでいる。なお、このステップS403の処理の詳細については、後記する。
q=2n(100−y)/{(100−x)+(100−y)} ・・式(1)
ただし、式(1)では、qが小数点以下の値を持つ場合は、すべて切上げて自然数の値とする。また、等結合処理完了の判断が、等結合相手から受信した結合対象カラム値の個数q’によって行われることから(ステップS409参照)、y=100の場合は、q=1と設定する。
前記した実施形態のステップS604では、結合対象カラム値の個数qを、自身のCPU使用率xおよび等結合相手のCPU使用率yを用いて算出する場合を示した。変形例においては、この結合対象カラム値の個数qを、CPU使用率以外に、メモリ使用率や、CPUの動作周波数やメモリ容量といったCPU性能を用いて算出する場合について説明する。例えば、メモリ使用率が大きい場合、または、メモリ空き容量が少ない場合、未使用のメモリ領域を超える個数の結合対象カラム値を受信しても、HDD(Hard Disc Drive)とのスワップが発生し、演算処理速度が格段に遅くなる。また、CPUの動作周波数が遅いと、多くの演算時間が必要となる。そのため、処理負荷を効率的に分散するためには、CPU使用率、CPUの動作周波数、メモリ使用率およびメモリ空き容量の逆数のいずれか一つまたはそれらの組み合わせに基づいて、結合対象カラム値の個数qが算出されても良い。具体的には、等結合相手のCPUの動作周波数が遅い場合には、結合対象カラム値の個数qが少なくなるようにする。また、等結合相手のメモリ使用率が大きい場合には、結合対象カラム値の個数qが少なくなるようにする。さらに、等結合相手のメモリ空き容量の逆数が大きい場合には、結合対象カラム値の個数qが少なくなるようにする。なお、CPUの動作周波数、メモリ使用率およびメモリ空き容量の逆数は、ステップS413(図5参照)で作成されるカラム値ブロックに格納されて、等結合相手のデータベース装置10に送信される。そして、前記した実施形態において、CPU使用率の代わりに、CPU使用率、CPUの動作周波数、メモリ使用率およびメモリ空き容量の逆数のいずれか一つまたはそれらの組み合わせを用いるようにしても良い。
11 処理部
12 記憶部
20 クライアント装置
21 処理部
22 記憶部
111 等結合依頼受信部
112 カラム値ブロック作成部
113 カラム値ブロック送信部
114 カラム値ブロック受信部
115 カラム値ブロック解析部
116 結合可能レコード検索部
117 結合可能レコード送信部
118 結合対象カラム値個数判定部
119 ソートマージ結合処理部
120 結合完了通知送信部
121 CPU使用率取得部
122 テーブル管理部
211 等結合処理要求受付部
212 等結合処理要求送信部
213 等結合処理結果受信部
214 等結合処理結果出力部
60 ネットワーク
Claims (5)
- 少なくとも2つのデータベース装置がネットワークを介して通信可能に接続され、2つの前記データベース装置が記憶するテーブルを等結合するために、双方の前記テーブルの指定されたカラムのカラム値が等しいレコードを抽出する前記データベース装置において用いられるデータベース管理方法であって、
前記データベース装置は、
処理部と、前記テーブルと自身の処理負荷の状態と他方のデータベース装置の処理負荷の状態とを記憶する記憶部とを備え、
(1)一方の前記データベース装置の処理部が、
前記一方のデータベース装置の記憶部から前記自身の処理負荷の状態と前記他方のデータベース装置の処理負荷の状態とを読み出して、該自身の処理負荷と該他方のデータベース装置の処理負荷とを比較し、該他方のデータベース装置の処理負荷が該自身の処理負荷より大きくなるにしたがい、前記他方のデータベース装置に送信するカラム値の個数を少なくなるように設定し、その少なく設定された個数のカラム値を自身のテーブルから読み出して、その自身のテーブルから読み出したカラム値および前記自身の処理負荷の状態を前記他方のデータベース装置に送信し、
(2)前記他方のデータベース装置の処理部が、受信した処理負荷の状態を自身の記憶部に記憶し、受信したカラム値を用いて、自身のテーブルを参照して、該受信したカラム値に等しいカラム値を含むレコードを抽出し、
(3)前記一方のデータベース装置および前記他方のデータベース装置の間で、どちらかの前記送信するカラム値の個数が0になるまで、(1)および(2)を交代で繰り返す
ことを特徴とするデータベース管理方法。 - 前記記憶部は、前記送信するカラム値の個数のデフォルト値を記憶し、
前記処理部は、前記処理負荷を、CPU使用率、CPUの動作周波数、メモリ使用率、メモリ空き容量の逆数のいずれか一つまたはそれらの組み合わせを変数として算出した値とし、その算出した値と前記デフォルト値とを用いて、前記送信するカラム値の個数を算出する
ことを特徴とする請求項1に記載のデータベース管理方法。 - 前記処理部は、前記他方のデータベース装置の処理負荷の状態を前記記憶部から読み出せない場合、前記送信するカラム値の個数を、前記デフォルト値に設定する
ことを特徴とする請求項2に記載のデータベース管理方法。 - 他のデータベース装置とネットワークを介して通信可能に接続され、前記他のデータベース装置が記憶するテーブルの指定されたカラムのカラム値と、自身の記憶するテーブルの指定されたカラムのカラム値とを等結合するために、双方のカラム値が等しいレコードを抽出するデータベース装置であって、
前記データベース装置は、
自身のテーブルと自身の処理負荷の状態と前記他のデータベース装置の処理負荷の状態とを記憶する記憶部と処理部とを備え、
前記処理部が、
前記記憶部から自身の処理負荷の状態と前記他のデータベース装置の処理負荷の状態とを読み出して、該自身の処理負荷と該他のデータベース装置の処理負荷とを比較し、該他のデータベース装置の処理負荷が該自身の処理負荷より大きくなるにしたがい、前記他のデータベース装置に送信するカラム値の個数を少なくなるように設定し、その少なく設定された個数のカラム値を前記自身のテーブルから読み出して、前記自身のテーブルから読み出したカラム値および自身の処理負荷の状態を前記他のデータベース装置に送信し、
前記他のデータベース装置から受信したカラム値を用いて、前記自身のテーブルを参照して、該受信したカラム値に等しいカラム値を含むレコードを抽出する
ことを特徴とするデータベース装置。 - 請求項1ないし請求項3のいずれか一項に記載のデータベース管理方法を、コンピュータとしての前記データベース装置に実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009124203A JP5199948B2 (ja) | 2009-05-22 | 2009-05-22 | データベース管理方法、データベース装置、およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009124203A JP5199948B2 (ja) | 2009-05-22 | 2009-05-22 | データベース管理方法、データベース装置、およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010271998A JP2010271998A (ja) | 2010-12-02 |
| JP5199948B2 true JP5199948B2 (ja) | 2013-05-15 |
Family
ID=43419958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009124203A Expired - Fee Related JP5199948B2 (ja) | 2009-05-22 | 2009-05-22 | データベース管理方法、データベース装置、およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5199948B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6096576B2 (ja) * | 2013-04-17 | 2017-03-15 | 株式会社東芝 | データベースシステム |
| ITMI20130940A1 (it) | 2013-06-07 | 2014-12-08 | Ibm | Metodo e sistema per ordinamento efficace in una banca dati relazionale |
| US9971793B2 (en) * | 2013-08-22 | 2018-05-15 | Hitachi, Ltd. | Database management system and database management method |
| JP6253725B1 (ja) * | 2016-07-12 | 2017-12-27 | 株式会社東芝 | データベースシステム、データ結合方法、統合サーバ、データ結合プログラム、データベースシステム連携方法、および、データベースシステム連携プログラム |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6257020A (ja) * | 1985-09-05 | 1987-03-12 | Nec Corp | リレ−シヨナルデ−タベ−スの結合処理方式 |
| JPH0193843A (ja) * | 1987-10-05 | 1989-04-12 | Hitachi Ltd | テーブル結合方式 |
| JPH05225250A (ja) * | 1992-02-17 | 1993-09-03 | Fujitsu Ltd | 関係データベースのテーブル結合方式 |
| JP3712791B2 (ja) * | 1996-06-14 | 2005-11-02 | 株式会社日立製作所 | データベース管理方法及びその情報処理装置 |
| JP4428488B2 (ja) * | 1999-05-31 | 2010-03-10 | 株式会社ターボデータラボラトリー | 表形式データの結合方法、上記方法を実現するプログラムを記憶した記憶媒体、および、表形式データを結合する装置 |
| JP4552242B2 (ja) * | 1999-10-06 | 2010-09-29 | 株式会社日立製作所 | 仮想表インタフェースと該インタフェースを用いた問合せ処理システム及び方法 |
| JP3660667B2 (ja) * | 2003-07-29 | 2005-06-15 | 株式会社東芝 | データ処理装置、データ処理方法およびプログラム |
| JP3668243B2 (ja) * | 2004-02-02 | 2005-07-06 | 株式会社日立製作所 | データベース管理システム |
| JP2006172067A (ja) * | 2004-12-15 | 2006-06-29 | Hitachi Ltd | データベース管理方法、システム及びプログラム |
| JP5048417B2 (ja) * | 2007-08-07 | 2012-10-17 | 株式会社富士通ビー・エス・シー | データベース管理プログラム及びデータベース管理装置 |
-
2009
- 2009-05-22 JP JP2009124203A patent/JP5199948B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010271998A (ja) | 2010-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10176208B2 (en) | Processing time series data from multiple sensors | |
| US20200117569A1 (en) | Graphical user interface for visual correlation of virtual machine information and storage volume information | |
| TWI603211B (zh) | Construction of inverted index system based on Lucene, data processing method and device | |
| EP2380090B1 (en) | Data integrity in a database environment through background synchronization | |
| US10108669B1 (en) | Partitioning data stores using tenant specific partitioning strategies | |
| CN103678491A (zh) | 一种基于Hadoop中小文件优化和倒排索引的方法 | |
| CN108628885B (zh) | 一种数据同步方法、装置及存储设备 | |
| US9734177B2 (en) | Index merge ordering | |
| JP5276639B2 (ja) | 分散データベース管理装置および分散データベース管理プログラム | |
| WO2017096892A1 (zh) | 索引构建方法、查询方法及对应装置、设备、计算机存储介质 | |
| JP5199948B2 (ja) | データベース管理方法、データベース装置、およびプログラム | |
| JP6262505B2 (ja) | 分散型データ仮想化システム、クエリ処理方法及びクエリ処理プログラム | |
| WO2021183520A1 (en) | Extensible streams on data sources | |
| Qiao et al. | Gobblin: Unifying data ingestion for Hadoop | |
| CN109558270A (zh) | 数据备份的方法和装置、数据还原的方法和装置 | |
| JP5199949B2 (ja) | データベース管理方法、分散データベースシステム、およびプログラム | |
| JP6158430B2 (ja) | データベースのハッシュ結合処理をストレージ装置が実行するシステム | |
| EP3709173B1 (en) | Distributed information memory system, method, and program | |
| JP2018180688A (ja) | 更新処理プログラム、装置、及び方法 | |
| Gupta et al. | Leveraging metadata in no SQL storage systems | |
| CN114416871A (zh) | 基于区块链的数据处理方法、装置、设备、系统及介质 | |
| US20120259847A1 (en) | Collaborative Data Appliance | |
| CN113177036A (zh) | 一种监测数据的存储方法、查询方法、显示方法 | |
| CN110569310A (zh) | 一种云计算环境下的关系大数据的管理方法 | |
| Kuznetsov et al. | Life in extra dimensions of database world or penetration of NoSQL in HEP community |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110801 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110819 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130208 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5199948 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130201 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |