JPH04364549A - ファイル格納方式とアクセス方式 - Google Patents

ファイル格納方式とアクセス方式

Info

Publication number
JPH04364549A
JPH04364549A JP3140006A JP14000691A JPH04364549A JP H04364549 A JPH04364549 A JP H04364549A JP 3140006 A JP3140006 A JP 3140006A JP 14000691 A JP14000691 A JP 14000691A JP H04364549 A JPH04364549 A JP H04364549A
Authority
JP
Japan
Prior art keywords
file
cpu
access
data
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP3140006A
Other languages
English (en)
Inventor
Hidenori Ito
英則 伊藤
Hitoshi Suzuki
仁 鈴木
Shoji Iwamoto
岩本 鉦二
Masayuki Orimo
織茂 昌之
Kinji Mori
森 欣司
Shigeki Hirasawa
茂樹 平澤
Hiroshi Fujise
藤瀬 洋
Masuyuki Takeuchi
竹内 増幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP3140006A priority Critical patent/JPH04364549A/ja
Priority to EP19920109810 priority patent/EP0518311A3/en
Publication of JPH04364549A publication Critical patent/JPH04364549A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Multi Processors (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明はファイル格納方式とアク
セス方式に関し、特に複数のデータ処理装置から成る分
散処理システムないしはマルチコンピュータシステムに
おいて、効率の良い並行処理が可能で、かつ、拡張性を
有するファイル格納方式と格納されたファイルのアクセ
ス方式に関する。
【0002】
【従来の技術】コンピュータシステムにおいては、処理
すべきデータ量が増加した場合に、データ処理装置(以
下、「CPU」という)を増設して、システムを分散処
理システム化またはマルチコンピュータ化することによ
り、データ処理を並行動作させるようにして、システム
性能を向上させ、対応することが考えられる。この場合
に問題となるのが、拡張のし易さであり、CPU増設時
に煩雑な作業を要することなく、容易にシステムの拡張
ができることが不可欠である。従来の、ファイルを複数
のCPUのファイル装置にまたがって配置する方法とし
ては、 ■ファイルの多重化 別々のファイル装置にそれぞれ同じファイル内容を格納
する方式である。 ■分散リレーショナル型データベース 別々のCPUのファイル装置に分散配置された種々のフ
ァイルを、あたかも一つの別のファイル(これを「仮想
ファイル」と呼ぶ)に見えるようにする方式で、これに
より、アプリケーションプログラムの開発を容易にする
ようにしたものである。がある。
【0003】
【発明が解決しようとする課題】上記従来技術のうち前
者のファイルの多重化は、基本的には、ファイルの故障
に備えるための技術であり、従って、データ処理の並行
動作によるシステム性能の向上や、システム拡張の容易
性については配慮されていなかった。一方、後者の分散
リレーショナル型データベースでは、基になる別々のフ
ァイルに対するデータ処理を、それぞれのCPUで行う
ようにすることによって、データ処理を並行動作させ、
処理能力を向上できる可能性はある。しかし、この方式
でも、システムの拡張性については考慮されていない。 何故ならば、この方式の下で、CPUを増設して処理を
分担させようとする場合には、既存のCPUが持つファ
イルを移動して、増設CPUに割り振るといった煩雑な
作業を伴うことになり、しかも、この仮想ファイルを構
成している基のファイルの数以上に分割できないので、
それ以上の数のCPUにこの方式を適用することは不可
能であるからである。本発明は上記事情に鑑みてなされ
たもので、その目的とするところは、従来の技術におけ
る上述の如き問題を解消し、分散処理システムあるいは
マルチコンピュータシステムにおいて、効率良く処理が
できて、かつ、拡張性のあるファイル格納方式およびア
クセス方式を提供することにある。
【0004】
【課題を解決するための手段】本発明の上記目的は、れ
ぞれが記憶装置を有する複数のCPUが伝送媒体により
接続されて成る分散処理システムにおいて、前記記憶装
置内に、情報の集合体であるファイルを、該ファイルの
分割の物理的な最小単位であるブロックを単位として自
由に分割,格納することを特徴とするファイル格納方式
、および、前記分散処理システムにおいて、前記各CP
Uが、前記記憶装置に格納されたブロック配置に関する
情報を格納したファイル管理テーブルを基に、ファイル
アクセスを行うことを特徴とするファイルのアクセス方
式によって達成される。
【0005】
【作用】本発明に係るファイル格納方式においては、分
散処理システムまたはマルチコンピュータシステム中の
各CPUのファイル記憶装置に、一つのファイルを複数
のエクステントに分割して格納するとともに、CPUに
は、各記憶装置の格納しているエクステントを、各記憶
装置対応に記憶しているファイル管理テーブルを持たせ
ている。これにより、ファイルの論理的なブロック番号
と、物理的なブロック番号との対応付けを可能としてい
る。また、本発明に係るファイルアクセス方式において
は、ファイルアクセスの要求に対し、ファイルを持つ各
CPUは、それぞれ、接続された記憶装置上に要求され
たファイルが存在するか否かを、ファイル管理テーブル
により判断し、存在する場合はアクセス処理し、存在し
ない場合はその要求をを無視するかあるいは存在しない
旨の応答を行い、次のアクセス要求を受け付ける。この
ように、複数のファイルアクセス要求に対して、システ
ム上の各CPUが並行して別々の処理を行うことが可能
となるので、CPUを増設することにより、システム性
能の向上を図ることができる。
【0006】
【実施例】以下、本発明の実施例を図面に基づいて詳細
に説明する。図2は、本発明の一実施例を示す分散処理
システムにおけるファイル格納方式を示す構成図である
。図中、10,20はCPU、11,12はCPU10
に接続される固定ディスク(以下、単に「ディスク」と
いう)、21,22はCPU20に接続されるディスク
を示している。また、1,2,・・・,Nは、LAN(
LocalArea Network)により 上述の
CPU10,20に接続されているワークステーション
(WS)を示している。 本実施例においては、ファイルAが、エクステントA1
,A2,A3およびA4に分割されており、前述のディ
スク11にはエクステントA1,ディスク12にはエク
ステントA2,ディスク21にはエクステントA3,デ
ィスク22にはエクステントA4が、それぞれ、格納さ
れている。上述の各CPU中には、図3に示す如きファ
イル管理テーブルが備えられている。このファイル管理
テーブル上には、ファイルAの全データに関して、アプ
リケーションプログラムが、データが格納されていると
意識している論理ブロック番号(LBN)と、データが
実際にどのCPUの、どのディスクの、どのブロックに
格納されているかを示すCPU番号,ディスク番号,物
理ブロック番号(PBN)との対応が格納されている。
【0007】図2および図3に示す如く構成された本実
施例の分散処理システムにおけるファイルアクセス方法
を、以下、説明する。ワークステーション上のアプリケ
ーションプログラムが、ファイルAのあるレコードに対
してアクセス要求する場合、ワークステーションからネ
ットワークにファイルアクセス要求メッセージが流され
る。上述のファイルアクセス要求メッセージには、この
メッセージが、ファイルAへのアクセス要求メッセージ
であること、アクセスの種類(検索,書き換え,追加の
いずれであるか)、アクセスに付随する情報(書き換え
または追加の内容等)およびアクセス要求元のワークス
テーション番号が記載されている。上述のファイルアク
セス要求メッセージを受信したCPU10,20のオペ
レーティングシステムの動きを、図1に示すフローチャ
ートに従って説明する。ファイルアクセス要求メッセー
ジを受信(ステップ 301)した各CPUは、最初に
、該メッセージに記載されたアクセスの種類から、当該
アクセス要求が追加か否かを判断(ステップ 302)
する。追加要求の場合には、予め決められているアルゴ
リズムに従って、自CPUに接続されたディスクに格納
すべきか、他のCPU側のディスクに格納すべきかを判
断(ステップ 303)して、後者の場合にはメッセー
ジを破棄(ステップ 304)し、前者の場合にはエリ
ア確保(ステップ 305),データ書き出し(ステッ
プ 306)と、データ追加作業を行う。なお、どのデ
ィスクに格納すべきかを決定するアルゴリズムについて
は、後に詳述する。
【0008】データを追加した場合には、アクセス要求
元のワークステーションにデータ追加完了の応答メッセ
ージを送信(ステップ 307)し、また、データ追加
によりファイル管理テーブルの更新が必要か否かを判断
(ステップ 308)する。更新が必要な場合には、フ
ァイル管理テーブル更新データを、全CPUに対して送
信(ステップ 309)する。ファイル管理テーブルの
更新の必要の有無については、格納のアルゴリズムと併
せて後述する。 ステップ 302における判断の結果で、アクセスの種
類が追加でない場合には、ファイル管理テーブルから、
アクセス要求しているレコードを含む論理ブロックが自
CPUに接続されているディスクに存在するか否かを判
断(ステップ 310)して、存在しない場合にはメッ
セージを破棄(ステップ 311)し、存在する場合に
は以下の処理を行う。アクセス要求レコードが自CPU
に接続されているディスクに存在する場合、アクセスの
種類がデータの検索であるか書き換えであるかを判断(
ステップ 312)し、検索の場合にはディスクから要
求レコードを読み込み(ステップ 313)、その内容
を要求元のワークステーションに送信(ステップ 31
4)する。書き換えの場合には、書き換え要求内容をデ
ィスク上の要求レコードに書き出し(ステップ 315
)て、データ書き換え完了報告の応答メッセージを、要
求元のワークステーションに送信(ステップ 316)
する。以上で、データ検索,書き換え要求に対するCP
U側の処理が終了する。本実施例によれば、上述の如き
流れでアクセス要求に対する処理が行われるので、格納
アルゴリズムやファイル管理テーブルからの判断でメッ
セージを破棄したCPUは、次の、別のファイルアクセ
ス要求メッセージを受信,処理することが可能となり、
ここで、CPU10とCPU20が同時に別のファイル
アクセスを行うこと、並行処理が実現できる。
【0009】以下、前述の、データを追加する際の格納
アルゴリズムおよびファイル管理テーブル更新について
説明する。データの追加要求に対しては、どのCPUの
どのディスクに格納するかという問題がある。これに対
するアルゴリズムは多種考えられるが、如何に効率良く
並行処理を実現するかという観点から、数種類について
説明する。 (1)ファイルAに対するデータ追加要求があるとき、
ファイルAが格納されているエクステントのブロックで
、一部ファイルAのレコードが格納されていて、かつ、
レコード追加可能なエリアが残っているものが存在する
場合には、そのブロックの中の、既に書き込まれたレコ
ードの次の位置に、要求レコードのエリアを確保する。 また、このようなブロックが存在しない場合には、ファ
イル管理テーブルの情報から、空きブロック数が一番多
いディスクのブロック上にエリアを確保する。なお、空
きブロック数が等しい場合のために、すべてのCPU間
で便宜的に優先順位を付けておき、データを追加すべき
ディスクが一つに決まるようにしておく。このアルゴリ
ズムに従って、逐次、データ追加を行っていけば、一部
分にデータが記載されていて、かつ、別のレコードを記
載するエリアが残っているブロックは、存在しても高々
一つである。データ追加によって、そのブロックのエリ
アが埋まり、他のレコードを追加するエリアが無くなっ
た場合には、その追加を行ったCPUは、他のCPUに
対し、そのブロックについてのLSB,自CPU番号,
格納したディスク番号,PBNの書かれたファイル管理
テーブル更新データを送信する。新たなデータ追加の要
求に対して各CPUは、更新されたファイル管理テーブ
ルの下、アルゴリズムに従って、どのディスクに格納す
べきか各自が判断することが可能となり、そのディスク
は一意に決まる。
【0010】(2)上述の(1)で空きブロックが一番
多いディスクとしたところを、アクセス頻度の一番少な
いディテクとしても良い。アクセス頻度は、ディスクコ
ントローラの使用率から判断できる。この場合、他の条
件は(1)と同様にしておけば、データ追加すべきディ
スクは一意に決まる。(1)と同様に、必要に応じてフ
ァイル管理テーブル更新データを送り、テーブルを更新
していく。 (3)予想される追加データの数が少なく、これを特定
のディスクのみに格納しても性能的に差がでない場合に
は、一つのディスクのみに追加格納するようにしても良
い。 以上、(1),(2),(3)の如きアルゴリズムに従
い、データを追加するディスクの決定,ファイル管理テ
ーブルの更新を行う。上述の如きシステムおよびファイ
ルアクセス方式で、ファイルアクセス要求に対応してい
るとき、更に、CPUおよびディスクを増設する場合に
は、新設CPUに他のCPUが持っているファイル管理
テーブルのコピーを持たせ、他のCPUにCPUが新設
されたという情報を与える等の手続きにより、ワークス
テーション側のアプリケーションプログラムに変更する
ことなく、また、既存のファイルに手を加えることなく
、新システムへの移行が可能になる。なお、ここで、増
設するCPUの数は任意であり、また、ディスクの数も
任意である。ワークステーションも自由に増設できる。 格納されているファイルの数も、複数でよい。
【0011】次に、本発明の他の実施例について説明す
る。先に述べた実施例においては、各CPUが、図3に
示す如き、ファイルAの全データに関する論理ブロック
番号(LBN)と、CPU番号,ディスク番号,物理ブ
ロック番号(PBN)との対応を示すファイル管理テー
ブルを有する場合を示したが、以下に説明する如く、各
CPUが、自CPUに接続されているディスクに格納さ
れたデータについてのみ書かれたファイル管理テーブル
を持つように構成することも可能である。この場合のフ
ァイルアクセス方式は、前述の方式とは、次の点で異な
る。すなわち、本実施例においては、データ追加のアク
セス要求があり、追加処理を行うべきか否かの判断を行
う際に、他のCPUに接続されたディスク内のブロック
の置配状況がわからないため、それらを考慮した判断が
直接的にはできない。従って、この場合には、各CPU
間のデータの分担状況等に応じて、追加処理を行うCP
Uを決定しようとすると、予め、各CPU間でそれらの
情報のやり取りを行う等の処理をして、追加処理を行う
CPUが一意に決まるようにコンセンサスをとる必要が
ある。このような手順を用意することにより、前述の如
き、複数のCPUによるファイルアクセスの並行処理お
よびシステムの拡張性が実現できる。また、更に別の方
式として、ファイル管理テーブルを特定のCPUのみに
持たせ、ファイルアクセス要求に対して、上述の特定C
PUに、各CPUに処理を割り振る役割を持たせるとい
う方式も実現可能である。
【0012】上述の各実施例においては、ワークステー
ションが、アプリケーションプログラムを持つものとし
たが、CPU自身がアプリケーションプログラムを持っ
ており、ファイルアクセス要求を行うことも可能である
。この場合には、まず、自CPUに接続されているディ
スクにアクセスするのか否かを判断し、前者ならばアク
セス処理を行い、後者ならば他のCPUに向けてファイ
ルアクセス要求メッセージを流すことにより、他のCP
Uがこれに対応した処理を行う。なお、更に別の場合と
して、CPUに直接ワークステーションが接続されてい
て、そのワークステーションがアプリケーションプログ
ラムを持っている場合も、上と同様に考えられる。上述
の各実施例においては、ワークステーションからのファ
イルアクセス要求メッセージがLAN上にブロードキャ
ストで送信されているという状況を仮定しているが、ブ
ロードキャストでなくても本発明は適用可能である。 また、各装置間の接続も、LANでなくバス接続であっ
ても同様である。なお、言うまでもなく、ファイル記憶
媒体としては、実施例に示したディスク(固定ディスク
)に限らず、フレキシブルディスク,磁気テープ,CP
U内のメモリ等を利用することが可能である。実施例中
では、ファイルのアクセス要求はレコード番号で行って
いるが、これも、キー,ブロック,アドレス等、任意の
アクセス単位で行うことが可能である。上述の如く、本
発明においては、自由度の高いシステム拡張を容易に行
うことが可能であり、一つのファイルに対するアクセス
を複数のCPUで処理して、システム性能を向上させる
ことが可能となる。
【0013】
【発明の効果】以上、詳細に説明した如く、本発明によ
れば、分散処理システムあるいはマルチコンピュータシ
ステムにおいて、効率良く処理ができて、かつ、拡張性
のあるファイル格納方式およびアクセス方式を提供する
こという顕著な効果を奏するものである。
【0014】
【図面の簡単な説明】
【図1】本発明の一実施例であるシステムにおけるファ
イルアクセスの動作を説明するフローチャートである。
【図2】実施例のシステムの構成を示すブロック図であ
る。
【図3】CPU中に備えられているファイル管理テーブ
ルの構成を示す図である。
【符号の説明】
1,2,・・・,N:ワークステーション、10,20
:CPU、11,12,21,22:CPUに接続され
るディスク、A:ファイル、A1,A2,A3およびA
4:エクステント。

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】  それぞれが記憶装置を有する複数のデ
    ータ処理装置が伝送媒体により接続されて成る分散処理
    システムにおいて、前記記憶装置内に、情報の集合体で
    あるファイルを、該ファイルの分割の物理的な最小単位
    であるブロックを単位として自由に分割,格納すること
    を特徴とするファイル格納方式。
  2. 【請求項2】  前記各データ処理装置が有する記憶装
    置が複数台であることを特徴とする請求項1記載のファ
    イル格納方式。
  3. 【請求項3】  前記各データ処理装置が、前記分散処
    理システム内の各記憶装置のブロック配置に関する情報
    を格納したテーブルを有することを特徴とする請求項1
    または2記載のファイル格納方式。
  4. 【請求項4】  前記テーブルが、自データ処理装置に
    接続された記憶装置のブロック配置に関する情報のみを
    格納しているものであることを特徴とする請求項3記載
    のファイル格納方式。
  5. 【請求項5】  前記データ処理装置のうちの特定のデ
    ータ処理装置のみが、前記分散処理システム内の各記憶
    装置のブロック配置に関する情報を格納したテーブルを
    有することを特徴とする請求項1または2記載のファイ
    ル格納方式。
  6. 【請求項6】  それぞれが記憶装置を有する複数のデ
    ータ処理装置が伝送媒体により接続されて成る分散処理
    システムにおいて、前記各データ処理装置が、請求項3
    〜5に記載されたテーブルを基に、ファイルアクセスを
    行うことを特徴とするファイルのアクセス方式。
JP3140006A 1991-06-12 1991-06-12 ファイル格納方式とアクセス方式 Pending JPH04364549A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP3140006A JPH04364549A (ja) 1991-06-12 1991-06-12 ファイル格納方式とアクセス方式
EP19920109810 EP0518311A3 (en) 1991-06-12 1992-06-11 File store method, file access method, and distributed processing system using such methods

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3140006A JPH04364549A (ja) 1991-06-12 1991-06-12 ファイル格納方式とアクセス方式

Publications (1)

Publication Number Publication Date
JPH04364549A true JPH04364549A (ja) 1992-12-16

Family

ID=15258742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3140006A Pending JPH04364549A (ja) 1991-06-12 1991-06-12 ファイル格納方式とアクセス方式

Country Status (2)

Country Link
EP (1) EP0518311A3 (ja)
JP (1) JPH04364549A (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5333315A (en) * 1991-06-27 1994-07-26 Digital Equipment Corporation System of device independent file directories using a tag between the directories and file descriptors that migrate with the files
DE69431979T2 (de) * 1993-06-14 2003-10-30 Sony Corp., Tokio/Tokyo Verwaltungsverfahren für ein aufzeichnungsmedium
US5666524A (en) * 1994-08-31 1997-09-09 Price Waterhouse Llp Parallel processing system for traversing a transactional database
JPH103421A (ja) * 1995-11-20 1998-01-06 Matsushita Electric Ind Co Ltd 仮想ファイル管理システム
GB2315889A (en) * 1996-07-31 1998-02-11 Ibm Locating and sampling of data in parallel processing systems
WO2001098952A2 (en) * 2000-06-20 2001-12-27 Orbidex System and method of storing data to a recording medium
JP5997110B2 (ja) * 2013-08-02 2016-09-28 株式会社日立製作所 計算機システム、デバイスドライバインストール方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3855250T2 (de) * 1987-11-30 1996-11-21 Ibm Verfahren zur Speicherung von Dateien von vorstrukturierten Gruppen verbundener Informationen in einem Datenverarbeitungssystem

Also Published As

Publication number Publication date
EP0518311A3 (en) 1993-12-15
EP0518311A2 (en) 1992-12-16

Similar Documents

Publication Publication Date Title
US9930118B2 (en) Systems and methods for granular resource management in a storage network
US5619690A (en) Computer system including a computer which requests an access to a logical address in a secondary storage system with specification of a local address in the secondary storage system
US7107323B2 (en) System and method of file distribution for a computer system in which partial files are arranged according to various allocation rules
US5511177A (en) File data multiplexing method and data processing system
US5802345A (en) Computer system with a reduced number of command end interrupts from auxiliary memory unit and method of reducing the number of command end interrupts
US6079000A (en) XPC backup for in-process audit
CN109947363B (zh) 一种分布式存储系统的数据缓存方法
JP4229626B2 (ja) ファイル管理システム
JP5104855B2 (ja) 負荷分散プログラム、負荷分散方法、及びストレージ管理装置
WO2003050707A1 (en) Managing storage resources attached to a data network
JP4464378B2 (ja) 同一データを纏める事で格納領域を節約する計算機システム、ストレージシステム及びそれらの制御方法
JP3609841B2 (ja) ファイル管理装置
JPH07152498A (ja) 情報処理システム
EP0518311A2 (en) File store method, file access method, and distributed processing system using such methods
JPH07244642A (ja) 並列処理計算機
JP2008135055A (ja) 計算機システムおよび二次記憶装置
JPH0863394A (ja) 記憶装置システムおよび記憶装置の制御方法
US7509461B1 (en) Method and apparatus for intelligent buffer cache pre-emption
US5802557A (en) System and method for caching information in a digital data storage subsystem
JP3747937B2 (ja) 計算機システムおよび二次記憶装置
JP4128206B2 (ja) 計算機システムおよび二次記憶装置
JP3754393B2 (ja) 分散ファイル装置及びそのプロセスマイグレーション方法並びにコンピュータ装置
JP3832485B2 (ja) 計算機システムおよび二次記憶装置
JP2001273176A (ja) 計算機システムおよび二次記憶装置
JP2994917B2 (ja) 記憶システム