JPH11265359A - 分散処理システム及び分散処理プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

分散処理システム及び分散処理プログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number
JPH11265359A
JPH11265359A JP10066549A JP6654998A JPH11265359A JP H11265359 A JPH11265359 A JP H11265359A JP 10066549 A JP10066549 A JP 10066549A JP 6654998 A JP6654998 A JP 6654998A JP H11265359 A JPH11265359 A JP H11265359A
Authority
JP
Japan
Prior art keywords
data
analysis
processing
information
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10066549A
Other languages
English (en)
Other versions
JP3857409B2 (ja
Inventor
Yasuhide Ishihara
康秀 石原
Yoji Yanaka
洋司 谷中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP06654998A priority Critical patent/JP3857409B2/ja
Priority to US09/266,866 priority patent/US6560631B1/en
Publication of JPH11265359A publication Critical patent/JPH11265359A/ja
Application granted granted Critical
Publication of JP3857409B2 publication Critical patent/JP3857409B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5055Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering software capabilities, i.e. software resources associated or available to the machine
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • G06F16/134Distributed indices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multi Processors (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】 複数の計算機に格納された情報を統一して管
理できるようにする。 【解決手段】 管理簿保持手段2は、管理簿2aを保持
している。管理簿2aには、解析処理に必要となる情報
をシステム内で一意に識別するための情報名と、各情報
の実際の格納先との対応関係が登録されている。解析処
理実行手段3は、情報名によって必要な情報を特定した
解析処理要求を受け取ると、まず作業領域4を生成す
る。そして、管理簿保持手段2内の管理簿2aにより必
要な情報の実際の格納先を認識し、実際の情報へのアク
セスを可能とするリンク情報4a,4bを作業領域4内
に登録する。そして、作業領域4内のリンク情報を介し
て実際の情報にアクセスすることで、解析処理を実行す
る。この際、解析処理の途中で生成される中間データ4
cは、作業領域4内に保存する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は分散処理システム及
び分散処理プログラムを記録したコンピュータ読み取り
可能な記録媒体に関し、特にデータを複数の計算機で分
散して解析する分散処理システム及び分散処理プログラ
ムを記録したコンピュータ読み取り可能な記録媒体に関
する。
【0002】
【従来の技術】科学技術分野などでは、大量のデータに
対し、様々な構成処理及び解析処理を行い、研究を推進
している。多くの研究機関では、計算機センター内に多
くの計算機を有し、高速なネットワークで接続された分
散システム環境を構築している。
【0003】このような研究機関の研究者は、解析処理
を実行する場合、解析処理の手順を決め、入力するデー
タ名、出力データ名、処理エンジン(処理プログラム)
名を指示する。従来、このデータ名、処理エンジン名、
解析処理手順名は、ファイルシステム上のフルパス等に
より指定し、処理を実行していた。
【0004】
【発明が解決しようとする課題】しかし、この場合、各
計算機のシステム構成が同じであるとは限らないため、
計算機毎にデータ名等の指定を変更する必要があった。
そのため、分散システム環境内の可搬性が保証されてい
なかった。すなわち、ある計算機で行った解析処理手順
データを用いて、他の計算機で解析処理を実行しように
も、入力すべきデータの指定等を変更しなければ解析処
理を実行できなかった。
【0005】分散システム環境内の可搬性が保証されて
いないと、処理エンジンが存在しない場合や磁気ディス
ク装置のデータ領域が不足した場合に、利用可能な計算
機にデータ及び解析処理の手順を転送し、継続して実行
することが困難となる。
【0006】また、各研究者が個別にデータ管理を行っ
ていため、分散システム環境内で同じデータを一意に認
識することができず、不要なデータ転送が発生してい
た。その結果、1台の計算機内に同一のデータ複製が複
数存在し、計算機リソースを無駄にしていた。
【0007】更に、研究者は入力する画像データ、処理
途中の中間データ、解析結果データ及び解析処理の手順
などを個人の環境若しくは計算機の一時領域に配置し
て、利用及び管理を行っている。そのため、研究者の各
種情報は、システム内に分散してしまい、管理が困難と
なる場合がある。また、同じような情報が存在すること
により、混乱が発生し、不要な中間データなどを消すこ
とができず、計算機リソースを無駄に消費する場合が多
かった。
【0008】本発明はこのような点に鑑みてなされたも
のであり、複数の計算機に格納された情報を、システム
内で統一して管理できる分散処理システムを提供するこ
とを目的とする。
【0009】また、本発明の他の目的は、複数の計算機
に格納された情報を、コンピュータシステム内で統一し
て管理させるための分散処理プログラムを記録したコン
ピュータ読み取り可能な記録媒体を提供することであ
る。
【0010】
【課題を解決するための手段】図1は、本発明の原理構
成図である。本発明では上記課題を解決するために、デ
ータを複数の計算機1で分散して解析する分散処理シス
テムにおいて、解析処理に必要となる情報をシステム内
で一意に識別するための情報名と、各情報の実際の格納
先との対応関係が登録された管理簿2aを保持する管理
簿保持手段2と、前記情報名によって必要な情報を特定
した解析処理要求を受け取ると、前記管理簿保持手段2
内の前記管理簿2aにより必要な情報の実際の格納先を
認識し、解析処理要求に応じた処理を実行する解析処理
実行手段3と、を有することを特徴とする分散処理シス
テムが提供される。
【0011】このような分散処理システムによれば、解
析処理実行手段3に対して、解析処理に必要となる情報
をシステム内で一意に識別するための情報名により必要
な情報を特定した解析処理要求を入力すれば、実際の情
報がどの計算機に格納されているかを考えずに、解析処
理を行うことができる。
【0012】また、本発明は上記課題を解決するため
に、データを複数の計算機で分散して解析する分散処理
プログラムを記録したコンピュータ読み取り可能な記録
媒体において、解析処理に必要となる情報をシステム内
で一意に識別するための情報名と、各情報の実際の格納
先との対応関係が登録された管理簿を保持する管理簿保
持手段、前記情報名によって必要な情報を特定した解析
処理要求を受け取ると、前記管理簿保持手段内の前記管
理簿により必要な情報の実際の格納先を認識し、解析処
理要求に応じた処理を実行する解析処理実行手段、とし
てコンピュータを機能させることを特徴とする分散処理
プログラムを記録したコンピュータ読み取り可能な記録
媒体が提供される。
【0013】この記録媒体に格納された分散処理プログ
ラムをコンピュータに実行させれば、上記本発明の分散
処理システムの機能がコンピュータ上に構築される。
【0014】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図1は、本発明の原理構成図であ
る。データを解析処理するための複数の計算機1が設け
られている。各計算機1には、複数の処理プログラム1
aと複数のデータ1bとが格納されている。
【0015】管理簿保持手段2は、管理簿2aを保持し
ている。管理簿2aには、解析処理に必要となる情報
(データ、解析処理手順データ、及び処理プログラム)
をシステム内で一意に識別するための情報名と、各情報
の実際の格納先(格納計算機名)との対応関係が登録さ
れている。
【0016】解析処理実行手段3は、情報名によって必
要な情報を特定した解析処理要求を受け取ると、まず作
業領域4を生成する。そして、管理簿保持手段2内の管
理簿2aにより必要な情報の実際の格納先を認識し、実
際の情報へのアクセスを可能とするリンク情報4a,4
bを作業領域4内に登録する。このリンク情報4a,4
bは、虚像であり実際の情報の内容は作業領域内には存
在していない。そして、作業領域4内のリンク情報を介
して実際の情報にアクセスすることで、解析処理を実行
する。この際、解析処理の途中で生成される中間データ
4cは、作業領域4内に保存する。
【0017】このような分散処理システムによれば、各
情報に対して、システム内で一意に識別可能な情報名が
付与されているため、その情報名を指定した解析処理要
求を入力すれば、解析処理実行手段3が目的の解析処理
を実行する。そのため、利用者は、実際の情報がどの計
算機に格納されているのかを意識する必要がない。従っ
て、どの計算機で解析処理を実行する場合にも、解析処
理要求の内容は同じでである。
【0018】しかも、解析処理実行手段3は、解析処理
を実行するための作業領域4を生成し、解析処理に関係
する情報の管理を作業領域4内だけで行うため、実行し
た解析処理に関する情報と他の情報とが混じり合うこと
がない。そのため、実行した解析処理の情報が不要にな
れば、作業領域ごと削除すればよい。
【0019】以下に、本発明を天体観測システムに適用
した場合を例にとり、本発明の実施の形態を説明する。
図2は、天体観測システムを示す図である。この例で
は、天体望遠鏡11が山頂に設置されている。この天体
望遠鏡11は、CCD(Charge Coupled Device)により
星などの天体の画像データを取得する。天体望遠鏡11
は、ふもとのコンピュータシステム100に接続されて
いる。そして、天体望遠鏡が観測した天体の画像データ
は、コンピュータシステム100に送られる。
【0020】天体望遠鏡11から送られた画像データ1
10は、コンピュータシステム100内に格納される。
画像データ110は、処理の対象となる観測データとな
ったり、標準較正データ作成のための生較正データであ
ったりする。
【0021】解析処理手順エディタ120は、端末装置
からの指令に基づいて解析処理指令を実行コントローラ
174に出力するとともに、解析処理手順データ140
を生成する。解析処理手順データ140には、解析処理
を実行した順番やその解析処理に用いた処理エンジン
(処理プログラム)130、解析に用いた画像データ1
10、中間データ150、及び解析結果データ160に
関する情報が登録されている。
【0022】処理エンジン130は、処理内容毎に設け
られた処理プログラムである。実行コントローラ174
は、解析処理手順エディタ120からの指示により、必
要な入力データと解析処理手順が指定されると、指定さ
れた処理エンジン130と画像データ110を取得し、
指定された内容の解析処理を実行する。処理の結果、中
間データ150や解析結果データ160が生成される。
【0023】図3は、コンピュータシステムの構成を示
す図である。コンピュータシステム100は、複数の計
算機101で構成されている。計算機101には、ベク
タープロセッサやスカラープロセッサなどがある。この
計算機101には、高速のネットワーク103を介して
複数の端末装置102が接続されている。端末装置10
2は、ワークステーションやパーソナルコンピュータで
ある。ユーザは、端末装置102を操作することによ
り、天体望遠鏡11の動作を指令したり、観測データの
解析処理の指示を出すことができる。
【0024】天体観測システムのような超高速処理を必
要とするシステムでは、数十台のコンピュータで構成さ
れることがほとんどである。そのため、画像データ11
0、中間データ150、処理エンジン130などが個別
の計算機に分散される。
【0025】以下に、解析処理の手順、及びその手順の
内容をデータ化した解析処理手順データの内容について
説明する。なお、以下の説明中の観測データと生較正デ
ータが、前述の画像データ110に相当し、何らかの処
理(較正処理や、標準較正データ作成処理)を行った後
の処理済データが前述の中間データ150に相当する。
【0026】図4は、解析処理手順の概念図である。こ
こでは、観測データ111に「較正処理A」、「較正処
理B」、「較正処理C」の計3回の較正処理を施すこと
により、解析結果データ161が得られるものとする。
【0027】観測データ111に較正処理Aを施すに
は、較正処理A用標準較正データ151が用いられる。
較正処理Aの結果、較正処理A済データ152が得られ
る。更に、較正処理B用標準較正データ153を用い
て、較正処理A済データ152に較正処理Bを施す。そ
の結果、較正処理AB済データ154が得られる。同様
に、較正処理C用標準較正データ155を用いて、較正
処理AB済データ154に較正処理Cを施す。その結
果、解析結果データ161が得られる。
【0028】一方、各較正処理用の標準較正データを得
るためにも、所定の解析処理が必要である。較正処理A
用標準較正データ151を得るには、複数の生較正デー
タ112に対して較正処理A用標準較正データ作成処理
を施す。較正処理B用標準較正データ153を得るに
は、複数のA済較正データ156に対して較正処理B用
標準較正データ作成処理を施す。較正処理C用標準較正
データ155を得るには、複数のAB済較正データ15
7に対して較正処理C用標準較正データ作成処理を施
す。
【0029】なお、A済較正データ156とAB済較正
データ157との作成にも、同様の解析処理が必要であ
る。そのため、一連の解析処理は、3次元空間を用いて
表現する事ができる。
【0030】図5は、3次元構造テーブルで表現された
解析処理手順を示す図である。この例では、x−y−z
の3次元構造テーブルになっており、x軸に同一種別内
のデータ順を、y軸にデータ種別を、z軸に処理レベル
(段)を取っている。ここで処理レベルとは、較正処理
や、標準較正データ作成処理などの解析処置が行われた
回数である。データ種別では、観測データが1つの種別
であり、また、各較正処理(較正処理Aや較正処理Bな
ど)を行うために用いられるデータ群(生較正データや
標準較正データなど)が1つの種別である。同一種別内
のデータ順は、各処理レベルにおける各データ種別ごと
のデータを一列に並べた場合の各データの順番である。
【0031】このような多次元構造テーブル上に全ての
データを配置させることにより、解析処理手順データ内
で、各種データの関係が把握される。ところが、解析処
理に必要なデータや処理エンジンが、複数の計算機に分
散して格納されていると、従来技術で説明したような問
題が生じる。
【0032】ここで、情報が分散されることによる従来
技術の問題点を考察する。従来は、各計算機に格納され
たデータは、それぞれの計算機のノード名、ファイルパ
ス、及びファイル名により特定されていた。そのため、
同じファイルパス、及びファイル名のデータが複数の計
算機に個別に存在することが許されていた。また、デー
タを保存する際に、ファイルパスやファイル名などを研
究者が個別に考えていたため、統一されたデータ管理が
難しくなっていた。
【0033】従って、データを格納している計算機の情
報を含まない情報でアクセスできるようにすることで、
従来技術の問題点を解決をできる。ただし、分散システ
ム環境で一意に認識できるデータ名称と、その名称と実
体との対応付けを行う枠組みが必要となる。
【0034】そこで、分散システム環境で一意に認識で
いるデータ名称として、処理に関連する情報の命名定義
を定める。本実施の形態では、各データ及び処理エンジ
ンが分散システム内でユニークとなるように、以下のよ
うな命名規則を定義する。
【0035】解析処理結果データ(解析処理手順の頂
点)は、「******.usr.grp」で表す。ここで、「*****
*」は、利用者が自由に設定可能な名称である。これ
は、利用者毎にユニークであればよい(以下同様)。
「usr 」は、そのデータを作成した利用者のユーザ名を
表し、「grp 」は、そのデータを作成した利用者の属す
るグループ名を表す(以下、同様)。
【0036】解析処理手順名は、「******.usr.grp.cub
e 」で表す。中間データ(解析処理手順内の中間デー
タ)は、「******.usr.grp.x-y-z」で表す。ここで、
「x-y-z」は、解析処理手順を3次元空間で表現した際
の中間データの座標である。
【0037】処理エンジン名は、「******.usr.grp.eng
ine.version 」。ここで、「engine」は、エンジン名を
示し、「version 」は、そのプログラムの版数を示す。
画像データ名は、「フレームID.grp.grp」で表す。
「フレームID」は、天体望遠鏡11で観測された各画
像に付けられた識別子である。
【0038】「キャッシュデータ名」は、キャッシュ元
のデータ名と同じ名前を使用する。なお、キャッシュデ
ータは、作業領域を作成した計算機上でデータが存在し
ない場合に、処理を実行する計算機へ転送されたデータ
である。このキャッシュデータは、一定の期間保持さ
れ、その後削除される。このキャッシュデータは、実行
制御部で管理され、各利用者が利用できる。このよう
に、キャッシュデータを共用可能とすることにより、ネ
ットワーク上のデータ転送が少なくなる。
【0039】以上のような命名規則を設けることで、複
数の計算機にデータが分散していても、それらのデータ
を一意に識別することができる。なお、解析処理手順エ
ディタ120(図2に示す)により作成される解析処理
手順データの内容も、上記命名規則に従った名前で各種
データが特定される。
【0040】以下に、解析処理手順データの内容につい
て説明する。図6、図7は、解析処理手順データの例を
示す図である。解析処理手順データには、まず解析処理
手順データ自身の情報が登録されている。
【0041】「name」は、解析処理手順データの名称を
指名している。この名称は、分散システムで一意に識別
可能な名称である。「status」は、解析処理手順の状態
を示している。「DSave 」は保存されていることを示
し、「DEdit 」は更新若しくは新規作成の状態を示し、
「DExec 」は解析処理を実行中であることを示してい
る。
【0042】「owner 」は、解析処理手順データの所有
者名を示している。「group 」は、解析処理手順データ
の所有者が属するグループ名を示している。
【0043】「create_date」は、作成日時を示してい
る。「permission」は、所有者、グループのメンバ、全
ユーザのそれぞれに対する操作の権限を示している。権
限は「−」、「r」、「w」、「x」の4文字のいずれ
かの文字を9文字並べることで指定している。9つの文
字は、左から順番に以下のような意味を有している。
【0044】1番目の文字は、所有者に対する参照権限
の有無を示しており、ここが「r」であれば参照権限が
有り、「−」であれば参照権限がない。2番目の文字
は、所有者に対する書き込み権限の有無を示しており、
ここが「w」であれば書き込み権限が有り、「−」であ
れば書き込み権限がない。
【0045】3番目の文字は、所有者に対する実行権限
の有無を示しており、ここが「x」であれば実行権限が
有り、「−」であれば実行権限がない。4番目の文字
は、グループのメンバに対する参照権限の有無を示して
おり、ここが「r」であれば参照権限が有り、「−」で
あれば参照権限がない。
【0046】5番目の文字は、グループのメンバに対す
る書き込み権限の有無を示しており、ここが「w」であ
れば書き込み権限が有り、「−」であれば書き込み権限
がない。
【0047】6番目の文字は、グループのメンバに対す
る実行権限の有無を示しており、ここが「x」であれば
実行権限が有り、「−」であれば実行権限がない。7番
目の文字は、全ユーザに対する参照権限の有無を示して
おり、ここが「r」であれば参照権限が有り、「−」で
あれば参照権限がない。
【0048】8番目の文字は、全ユーザに対する書き込
み権限の有無を示しており、ここが「w」であれば書き
込み権限が有り、「−」であれば書き込み権限がない。
9番目の文字は、全ユーザに対する実行権限の有無を示
しており、ここが「x」であれば実行権限が有り、
「−」であれば実行権限がない。
【0049】図の例では、解析処理手順データの所有者
である「dash1」に対しては、参照、書き込み、及
び実行の権限が与えられているが、その以外の者に対し
ては如何なる権限も与えられていない。
【0050】「abstract」は、解析処理の概要を示して
いる。「obe 」は、観測装置名を示している。「filte
r」は、観測にあたって使用したフィルタ名を示してい
る。
【0051】「flame 」は、解析処理後に作成されるデ
ータの種別を示している。「current _step」は、現在
の解析処理の段を示している。解析処理の段は、解析処
理に必要なデータを管理する3次元テーブルの高さ方向
の単位である。なにも処理していないデータの段を
「0」として、1つめの処理エンジンで処理された結果
として得られるデータの段を1と数える。また、現在の
段数は、その解析処理手順の処理が済んだ段が示されて
いる。
【0052】「row _num 」は、解析処理で使用するデ
ータの種別数を示している。「irow_ind 」は、データ
の種別のインデックス番号を示している。「step_num
」 は、解析処理手順の段数を示している。
【0053】「engine_num 」は、解析処理の処理プロ
グラム数を示してる。「imagedata _name」は、解析処
理の結果作成されるデータ名を示している。「engine_
name0 」は、1つめの処理エンジン名とその引数を示し
ている。
【0054】「engine_attr0 」は、1つめの処理エン
ジンの種別とその入力ファイル数、出力ファイル数を示
している。プログラムの種別には、「Create」と「Appl
y 」とがある。「Create」は、複数(1以上の自然数)
の入力データから複数(1以上の自然数)のデータを作
成するものである。「Apply 」は、1つのデータに対し
複数(1以上の自然数)のデータを作用させ、1つのデ
ータを作成するものである。
【0055】入出力データ数は次の定義に従う。入力デ
ータ数は1以上の自然数であるが、Nとした場合には、
入力データ数は不定となる。同様に、出力データ数は1
以上の自然数であるが、Nとした場合には、入力データ
数は不定となる。
【0056】「engine_name1 」は、2つめの処理エン
ジン名とその引数を示している。「engine_attr1 」
は、2つめの処理エンジンの種別とその入力ファイル
数、出力ファイル数を示している。
【0057】「engine_name2 」は、3つめの処理エン
ジン名とその引数を示している。「engine_attr2 」
は、3つめの処理エンジンの種別とその入力ファイル
数、出力ファイル数を示している。
【0058】「engine_name3 」は、4つめの処理エン
ジン名とその引数を示している。「engine_attr3 」
は、4つめの処理エンジンの種別とその入力ファイル
数、出力ファイル数を示している。
【0059】以下同様に、処理エンジンに関する情報が
登録されている。「data flag 」以降は、処理エンジン
の入出力を指示するためのフラグである。このフラグ
は、各々のデータの該当する処理プログラムの入力を制
御するフラグであり、「0」、「1」、「2」の数字が
設定される。各数字の意味は次の通りである。「0」
は、入力でないことを意味する。「1」は、入力データ
であることを示す。「2」は、「 Apply 」の場合に、同
時に入力される他の「1」のフラグのついたデータに対
して作用させるデータである。
【0060】「data name 」以降は、本処理で使用され
るデータの名前を示している。これらのファイル名で指
定されるファイルとフラグにより処理プログラムの実行
の際の入出力ファイルが決定する。なお、ここで指定し
ているデータの名前は、分散システムにおいて一意に識
別可能な名前である。
【0061】「cube log」以降は、処理エンジンのロギ
ング情報を示している。このような解析処理手順データ
を用いて解析処理を実行するための分散処理システムに
ついて、以下に具体的に説明する。
【0062】図8は、分散処理システムの機能を示すブ
ロック図である。GUI(graphicalUser Interface)コ
ントローラ171は、各端末装置102(図3に示す)
に設けられており、利用者に対する各種操作画面の表示
と、利用者からの入力の受付とを行うための機能を有し
ている。利用者は、この機能を用いて解析処理手順エデ
ィタ120を起動し、解析処理手順データを作成すると
ともに、その実行依頼を実行コントローラ174へ送
る。
【0063】管理簿サーバ172は、解析処理に必要な
データがどの倉庫サーバ181〜183に格納されてい
るのかを管理簿テーブル172aにより管理している。
管理簿テーブル172aは、解析処理手順データを管理
する解析処理手順管理テーブル、処理エンジンを管理す
る処理エンジンテーブル、及び入力データ(画像デー
タ、中間データ)を管理する入力データテーブルからな
る。
【0064】図9は、解析処理手順管理テーブルの例を
示す図である。解析処理手順管理テーブル172aaに
は、以下の項目が設けられ、倉庫サーバ181〜183
に登録されている全ての解析処理手順データに関する情
報が登録されている。
【0065】「name」、「abstract」、「owner 」、
「group 」、「create_date」、「imagedata _nam
e」、「obe 」、「frame 」、及び「permission」は、
解析処理手順データの説明に示した通りである。
【0066】「warehousename 」は、その解析処理手順
データが実際に格納されている倉庫サーバ名を示してい
る。「datatype」は、そのデータの種別を示しており、
このテーブル内では、全て解析処理手順データであるこ
とを示す名称「PROCEDURE 」が登録されている。
【0067】図10は、処理エンジン管理テーブルの例
を示す図である。処理エンジン管理テーブル172ab
には、以下の項目が設けられ、倉庫サーバ181〜18
3に格納されている全ての処理エンジンに関する情報が
登録されている。
【0068】「name」「abstract」、「owner 」、「gr
oup 」、「create_date」、「permission」、「wareho
usename 」、及び「datatype」については、解析処理手
順管理テーブル172aaと同じ内容である。ただし、
「datatype」には、処理エンジンであることを示す名称
「ENGINE」が登録されている。
【0069】「arg 」は、処理エンジンを実行する際に
指定する引数を示している。 図11は、入力データ管
理テーブルの例を示す図である。入力データ管理テーブ
ル172acには、以下の項目が設けられ、倉庫サーバ
181〜183に格納されている全ての入力データに関
する情報が登録されている。
【0070】「name」、「abstract」、「frame 」、
「owner 」、「group 」、「create_date」、「permis
sion」、「warehousename 」、及び「datatype」につい
ては、解析処理手順管理テーブル172aaと同じ内容
である。ただし、「datatype」には、入力データである
ことを示す名称「IMAGEDATA」が登録されてい
る。「procube _name」は、そのデータの解析に用いら
れた解析処理手順データ名を示している。
【0071】以上のような管理簿テーブル172aを用
いることで、「name」と「warehousename 」との対応付
けにより、管理簿サーバ172は、実行コントローラ1
74から解析処理手順データの所在確認要求を受けた際
に、該当するデータを格納している倉庫サーバ名を応答
することができる。
【0072】図8に戻り、キャッシュ管理簿サーバ17
3は、キャッシュデータがどの倉庫サーバ181〜18
3に格納されているのかをキャッシュ管理簿テーブル1
73aで管理している。
【0073】図12は、キャッシュ管理簿テーブルの例
を示す図である。キャッシュ管理簿テーブル173aに
は、「name」、「Create_date」、及び「Warehousenam
e 」の項目が設けられており、各倉庫サーバ181〜1
83がキャッシュデータとして保持しているデータの情
報が登録されている。
【0074】「name」は、キャッシュされたデータの名
前である。この名前は、元のデータの名前(分散システ
ムで一意に識別する名前)と同じである。「Create_da
te」は、キャッシュデータが生成された日付である。
【0075】「Warehousename 」は、キャッシュデータ
を保持している倉庫サーバの名称である。図8に戻り、
実行コントローラ174は、解析処理の実行要求ととも
に解析処理手順データ名が入力されると、その解析処理
の実行環境を構築する。実行コントローラ174が行う
処理としては、実行を行うべき倉庫サーバの選択と、選
択した倉庫サーバへの処理の依頼等がある。
【0076】倉庫サーバ181〜183は、解析処理に
必要な各種データを格納している。倉庫サーバ181〜
183が格納するデータとしては、登録済データ181
a,182a,183aとキャッシュデータ181b,
182b,183bとがある。登録済データ181a,
182a,183aは、解析処理手順データ、画像デー
タ、中間データ、解析結果データ、及び処理エンジンな
どである。キャッシュデータ181b,182b,18
3bは、他の倉庫サーバ181〜183から取得したデ
ータである。
【0077】また、倉庫サーバ181〜183には、倉
庫内データ管理テーブル181c,182c,183c
と倉庫状態テーブル181d,182d,183dとが
設けられている。
【0078】図13は、倉庫内データ管理テーブルの例
を示す図である。倉庫内データ管理テーブル181cに
は、「status」、「name」、「abstract」、「owner
」、「group 」、「permission」、「create_dat
e」、「last_access_time」、「cashing _time」、
「Path」、「arg 」、「obe 」、及び「frame 」の項目
が設けられており、登録済データ181aとキャッシュ
データ181bとに関する情報が登録されている。
【0079】「name」、「abstract」、「owner 」、
「group 」、「permission」、「create_date」、「ar
g 」、「obe 」、及び「frame 」については前述の通り
である。
【0080】「status」は、そのデータの種別を示して
いる。処理エンジンであれば「engine」と設定され、画
像データであれば「image 」と設定され、解析処理手順
データであれば「procedure 」と設定される。
【0081】「last_access_time」は、そのデータに
最後にアクセスがあった時刻である。 「cashing _ti
me」は、キャッシュデータに関して設定され、そのデー
タがキャッシングされた時刻を示している。
【0082】「Path」は、そのデータの計算機内での位
置がフルパス(ルートディレクトリからのパス)で示さ
れている。図14は、倉庫状態テーブルの例を示す図で
ある。倉庫状態テーブル181dは、「時刻」、「作業
領域容量」、「使用状況」、「CPU 負荷」、及び「ネッ
トワーク負荷」の項目が設けられており、その倉庫サー
バ181の稼働状態に関する情報が登録されている。
「時刻」は、その情報を取得した時刻である。「作業領
域容量」は、作業領域として使用可能なハードディスク
装置の空き容量である。「使用状況」は、作業領域内の
使用中の容量を、全体の容量に対する割合で示してい
る。「CPU負荷」は、その倉庫サーバ181が設けら
れている計算機の負荷を示している。「ネットワーク負
荷」は、その倉庫サーバ181が設けられている計算機
が他の計算機とデータ通信を行うときの伝送性能に対す
る負荷を示している。
【0083】図8に示した各要素は、CORBA(Commo
n Object Request Broker Architecture) のような分散
システム環境における共通仕様で互いに情報交換を行っ
ている。また、実行コントローラ174から作業領域作
成要求を受け取った倉庫サーバは、自己の管理する領域
内に作業領域を構築し、作業領域サーバ183eを起動
する。
【0084】以下、分散処理システムにおける解析処理
の手順を説明する。なお、フローチャートを用いた説明
においては、ステップ番号に沿って説明する。図15
は、解析処理に必要な機能の構築処理を示すフローチャ
ートである。これは、利用者が、GUIコントローラ1
71を用いて実行コントローラ174に対して命令を出
すことで、実行コントローラ174が実行する処理であ
る。 [S1]各計算機に設けられている倉庫サーバ181〜
183を起動し、各種データを登録する。以後、倉庫サ
ーバ181〜183は、登録されたデータを管理する。 [S2]管理簿サーバ172を起動し、全ての倉庫サー
バ181〜183に格納されている情報を登録する。 [S3]キャッシュ管理簿サーバ173を起動する。起
動時には、キャッシュデータを0件とする。そして、キ
ャッシュ管理簿サーバ173は、全倉庫サーバ181〜
183にキャッシュデータとして格納されているデータ
の情報を登録し、管理する。
【0085】このようにして、解析処理の準備ができた
ら、利用者は解析処理を実行する。図16は、解析処理
の動作イメージを示す図である。この図を参照しなが
ら、以下のフローチャートを説明する。
【0086】図17は、解析処理の手順を示すフローチ
ャートである。 [S11]利用者は、解析処理手順エディタを起動し、
解析処理手順を作成する。作成した解析処理手順は、解
析処理手順データとしていずれかの倉庫サーバに格納す
る。 [S12]GUIコントローラ171から実行コントロ
ーラ174に、解析処理手順名を指定して、実行を指示
する(図16のS101)。 [S13]実行コントローラ174は、まず、管理簿サ
ーバ172に対して指定された解析処理手順がどの倉庫
サーバに格納されているのかを問い合わせる。そして、
該当する倉庫サーバから解析処理手順を取得する。次
に、取得した解析処理手順の内容を解析し、その解析処
理に必要な入力データと処理エンジンとの所在を管理簿
サーバ172に問い合わせる(図16のS102)。
【0087】管理簿サーバ172は、入力データと処理
エンジンとが格納されている倉庫サーバを特定するとと
もに、キャッシュ管理簿サーバ173へ、入力データと
処理エンジンとの所在を問い合わせる(図16のS10
3)。キャッシュ管理簿サーバ173は、該当するデー
タがいずれかの倉庫サーバにキャッシュされていれば、
データがどの倉庫サーバにキャッシングされているのか
の情報を応答する。このとき、複数の倉庫サーバにキャ
ッシュされていれば、複数の倉庫サーバの情報を応答す
ることになる。
【0088】管理簿サーバ172は、キャッシュ管理簿
サーバ173からの応答を、自身が特定した倉庫サーバ
の情報に追加し、実行コントローラ174に返す。 [S14]実行コントローラ174は、実行先倉庫を決
定する。この処理の詳細は後述する。ここでは、処理に
必要な解析手順データ141、処理エンジン131,及
び画像データ111が格納されている倉庫サーバ183
に決定したものとする。 [S15]実行コントローラ174は、ステップS14
において決定した倉庫サーバ183に、解析処理手順を
実行するための作業領域の作成を依頼する(図16のS
104)。このとき、各入力データの所在情報も同時に
送付する。 [S16]作業領域作成依頼を受け取った倉庫サーバ
は、作業領域を作成可能か否かを判断する。作業領域を
作成可能であればステップS17に進み、作業領域を作
成できなければステップS14に進む。 [S17]倉庫サーバ183は、解析処理手順に対応す
る作業領域として、ディレクトリを作成する。以後、倉
庫サーバ183が、そのディレクトリの名称とパス名管
理する。また、作成したディレクトリを利用して処理を
実行する作業領域サーバ183eを、倉庫サーバ183
と同じ計算機内で起動し、初期化する(図16のS10
5)。 [S18]倉庫サーバ183は、作業領域を準備する。
具体的には、まず、倉庫サーバ183自身が管理してい
ない入力データ、処理エンジンを、他の倉庫サーバ18
1,182へ要求する(図16のS106)。必要であ
れば解析処理手順データも取り寄せる。倉庫サーバ18
1,182は、要求に応じてデータを返す(図16のS
107)。
【0089】次に、取り寄せた入力データを、倉庫サー
バ183内でキャッシュデータ112として保存・管理
する(図16のS108)。また、キャッシュしたデー
タの情報をキャッシュ管理簿サーバ173に渡す(図1
6のS109)。キャッシュ管理簿サーバ173は、倉
庫サーバ183でキャッシュされたデータ名と倉庫名と
を、キャッシュ管理簿に登録する。
【0090】更に、倉庫サーバ183は、解析処理に必
要な入力データや処理エンジンを、UNIXのリンクコ
マンドにより作業領域にリンクする(図16のS11
0)。リンクするときの名称は、分散システム内で一意
に識別可能な名称である。リンクされたことにより、作
業領域には、処理に必要なデータを指し示すリンク情報
111a,112a,113a,114aが存在するこ
とになる。
【0091】作業領域が準備できたら、実行コントロー
ラ174からの作業領域作成依頼の回答として、作業領
域サーバの情報を返す(図16のS111)。 [S19]実行コントローラ174は、倉庫サーバ18
3から応答された作業領域サーバ183cに対して解析
処理を依頼する(図16のS112)。 [S20]作業領域サーバは、作業領域ディレクトリ内
の解析処理手順データ141aを読み込み、そのディレ
クトリ配下の画像データ111a,112aを使用し、
処理エンジン131aにより解析処理を行い中間データ
151を作成する。更に中間データ151を読み込み、
処理エンジンにより解析処理を継続する。すべての中間
データは、作業領域ディレクトリに解析処理手順で指定
された名前で作成され、その名称で利用・参照できる。
【0092】図18は、実行先倉庫決定処理のフローチ
ャートである。この処理は、全て実行コントローラ17
4が行う。 [S31]解析処理手順データ141を読み込む。 [S32]管理簿サーバ172の管理簿テーブル172
aと、キャッシュ管理簿サーバ173のキャッシュ管理
簿テーブル173aとを参照し、入力データ及び処理エ
ンジンが存在する倉庫サーバを検索する。 [S33]実行可能な倉庫サーバ181〜183での入
力データ保存数を求める。 [S34]実行可能な倉庫サーバ181〜183での処
理エンジンの保持数を求める。 [S35]以下の条件で実行先倉庫サーバの候補の優先
順位を決定する。 ・入力データ数が最も多い。 ・開始段(処理レベルが0のデータに対して処理を行
う)の処理エンジンがある。 ・処理エンジンの連続実行の長さが長い。 これらの条件を満たした倉庫サーバを優先的に選択す
る。 [S36]各倉庫サーバの倉庫状態テーブル181d、
182d、183dを参照し、実行先倉庫の優先順位の
高い順に以下の内容を評価し、適合した倉庫サーバを実
行先として特定する。 ・作業ディスク領域の空き容量が十分にあること。 ・CPU(Central Processing Unit) の負荷状態を評価
し、処理能力に余裕があること。 ・ネットワークの負荷状態を評価し、伝送能力に余裕が
あること。
【0093】次に、実行結果の管理処理について説明す
る。図19は、実行結果の管理処理のフローチャートで
ある。 [S41]処理を実行した後の解析結果データ若しく
は、中間データを参照する。それには、解析処理手順エ
ディタ120に解析処理手順データ141を取り込み、
解析処理手順エディタ120から中間データ151を指
定し、作業領域ディレクトリにある中間データ151を
参照する。 [S42]必要な中間データを登録する。具体的には、
中間データをポイントし、処理済みデータとして倉庫サ
ーバ内の別領域に移動し、登録する。 [S43]作業領域を削除する。具体的には、倉庫サー
バ183に作業領域の削除を指示して、作業領域ディレ
クトリを削除することで、処理の失敗及び登録して不要
となった中間データを全て削除する。
【0094】以上のように、実体名を意識しない「作業
領域」を1台の計算機上に作成し、作業領域のなかに、
入力データ、処理エンジン、及び解析処理手順データを
UNlXコマンド「link」により、作業領域内の名
称でシンボリックリンクした。そのため、作業領域内に
おいて、解析処理手順データ内の名前によりすべての処
理が実行可能となる。
【0095】また、作成された中間データは、「作業領
域」内のみに存在し、解析処理手順データで指定した名
称で作成されるため、その解析処理内容全体が不要にな
った場合には、その「作業領域」を削除することで、す
べてのテンポラリなデータを削除することができる。こ
のとき、入力データ、処理エンジン、及び解析処理手順
データは、リンクのみの削除であり実体は削除されな
い。
【0096】更に、作業領域は、基本的に解析処理手順
データと1対1に対応して作成される。そのため、ある
解析処理手順内で不要になったデータは、対応する作業
領域を削除することで、全て削除できる。
【0097】なお、分散システム内で一意に識別可能な
名称を用いて、各データを検索することもできる。この
データ検索機能は、解析処理手順エディタの機能に含ま
れている。
【0098】以下に、解析処理手順エディタの操作手順
について説明する。図20は、解析処理手順エディタの
検索画面を示す図である。検索画面200の上部にはツ
ールバー210が設けられており、各種命令を入力する
ことができる。ツールバー210の下には、複数のボタ
ン221〜225が設けられている。「New」と表記
されたボタン221が押されると、検索画面200が初
期化される。「Quit」と表記されたボタン222が
押されると、検索画面200が閉じる。「Start」
と表記されたボタン223が押されると、検索処理が開
始される。「Reload」と表記されたボタン224
が押されると、検索結果表示画面240で指定されてい
るデータが読み込まれ、その内容が表示される。「He
lp」と表記されたボタン225が押されると、検索機
能の操作方法の説明書きが表示される。
【0099】検索キー入力部230には、情報の種類別
にキーワードを入力することができる。例えば、「nam
e」、「abstract」などに対して、個別にキーワードを
指定することができる。複数の種類の情報に対してキー
ワードが入力された場合には、それらの全ての条件を満
たしたデータ(論理積)が検索される。
【0100】検索結果表示部240には、検索条件に適
合したデータに関する情報がリストアップされる。この
検索結果表示部240に表示されたデータから必要なデ
ータを選択することで、そのデータの情報を検索処理手
順エディタの編集画面へ取り込むことができる。
【0101】図21は、検索処理手順エディタの編集画
面を示す図である。編集画面300の上部にはツールバ
ー310が設けられており、各種命令を入力することが
できる。このツールバー310内の「Execute 」のコマ
ンドを指定すると、編集画面300で編集されている処
理手順に従った処理の実行要求が、実行コントローラ1
74に出力される。
【0102】ツールバー310の下には、複数のボタン
321〜328が設けられている。「New」と表記さ
れたボタン321が押されると、編集画面300が初期
化される。「Quit」と表記されたボタン322が押
されると、編集画面300が閉じる。「Load」と表
記されたボタン323が押されると、解析処理手順デー
タ解析処理手順データの内容が、解析処理手順エディタ
がアクセス可能なメモリ内にロードされ、所定のデータ
が編集画面300内の各種表示部に表示される。「Sa
ve」と表記されたボタン324が押されると、解析処
理手順エディタで編集中のデータがハードディスク装置
などの媒体に保存される。「(,)」と表記されたボタ
ン325が押されると、その時選択されているデータ
が、処理プログラムに入力されないデータとして設定さ
れる。「(−)」と表記されたボタン326が押される
と、その時選択されているデータは処理プログラムに入
力すべきデータとして設定される。「(*)」と表記さ
れているボタン327が押されると、その時選択されて
いるデータが、他の入力データに作用させるデータ(例
えば、標準較正データ)として設定される。「Hel
p」と表記されたボタン328が押されると、編集画面
における操作方法の説明書きが表示される。
【0103】「Level」と表記されている段指定部
331は、データ表示部334に表示すべき段(図5に
示す処理レベル)を指定するための領域である。「En
gine」と表記された処理プログラム入力部332
は、現在表示されている段のデータから次の段のデータ
を生成するための処理プログラム名を入力するための領
域である。
【0104】データ種別表示部333には、データ表示
部334の各列のデータの種別が表示されている。例え
ば、バイアス補正を行うためのデータであれば「Bia
s」と表示される。
【0105】データ表示部334には、入力データが、
解析処理手順を図5に示したような3次元構造テーブル
上の座標値で表示されている。データ名表示部335
は、データ表示部334で指定されたデータの名称が表
示される。
【0106】利用者は、このような編集画面300で解
析処理手順を作成し、ツールバー310の「Execute 」
を指定することで実行内容指定画面が表示される。図2
2は、実行内容指定画面を示す図である。実行内容指定
画面400には、開始ステップ指定部410と終了ステ
ップ指定部420とがあり、任意のステップの処理のみ
を実行させることができる。また、モード指定部430
で実行モードを指定することで、解析処理の精度などを
変更することができる。
【0107】実行内容指定画面400の下部には、2つ
のボタン440,450が設けられている。「Execute
」と表記されたボタン440を押すと、解析処理が開
始され、「Cancel」と表記されたボタン450を押す
と、実行中の解析処理が中止される。
【0108】これにより、分散システムの利用者は、デ
ータが複数の計算機に分散して格納されていることを意
識せずに解析処理手順の作成、及び作成した解析処理手
順による解析処理の実行を容易に行うことができる。
【0109】また、解析処理に必要な情報が分散処理シ
ステム内で一意に識別可能であるため、中断した処理を
他の計算機に引き継がせることもできる。この場合、中
断した処理の作業領域内の情報を他の計算機に移動し、
移動先の計算機で解析処理を再開させればよい。このよ
うな制御を実行コントローラが自動的に行う。これによ
り、解析処理を中断している間に、その計算機の負荷が
増大してしまった場合には、他の計算機に処理を引き継
がせることができる。しかも、利用者は、中断前に解析
を実行していた計算機と、その解析処理を引き継いだ計
算機とが異なることを意識する必要はない。
【0110】なお、上記の処理機能は、コンピュータに
よって実現することができる。その場合、上記分散シス
テムの各機能の処理内容は、コンピュータで読み取り可
能な記録媒体に記録されたプログラムに記述されてお
り、このプログラムをコンピュータで実行することによ
り、上記処理がコンピュータで実現される。コンピュー
タで読み取り可能な記録媒体としては、磁気記録装置や
半導体メモリ等がある。市場を流通させる場合には、C
D−ROM(Compact Disk Read Only Memory) やフロッ
ピーディスク等の可搬型記録媒体にプログラムを格納し
て流通させたり、ネットワークを介して接続されたコン
ピュータの記憶装置に格納しておき、ネットワークを通
じて他のコンピュータに転送することもできる。コンピ
ュータで実行する際には、コンピュータ内のハードディ
スク装置等にプログラムを格納しておき、メインメモリ
にロードして実行する。
【0111】
【発明の効果】以上説明したように本発明の分散処理シ
ステムでは、管理簿により、データをシステム内で一意
に識別するためのデータ名と実際の格納先との対応関係
を管理し、解析処理実行手段が管理簿を参照しながら必
要なデータを取得するため、必要なデータのデータ名を
特定した解析処理要求を入力すれば、実際のデータがど
の計算機に格納されているかを考えずに、解析処理を行
うことができる。
【0112】また、本発明の分散処理プログラムを記録
したコンピュータ読み取り可能な記録媒体では、各デー
タをシステム内で一意に識別するためのデータ名と実際
の格納先との対応関係を管理簿で管理し、その管理簿を
参照しながら必要なデータを取得するような処理内容が
記述された分散処理プログラムが格納されているため、
このプログラムをコンピュータに実行させれば、上記本
発明の分散処理システムの処理を、コンピュータで実行
することが可能となる。
【図面の簡単な説明】
【図1】本発明の原理構成図である。
【図2】天体観測システムを示す図である。
【図3】コンピュータシステムの構成を示す図である。
【図4】解析処理手順の概念図である。
【図5】3次元構造テーブルで表現された解析処理手順
を示す図である。
【図6】解析処理手順データの例を示す図である。
【図7】解析処理手順データの例を示す図である。
【図8】分散処理システムの機能を示すブロック図であ
る。
【図9】解析処理手順管理テーブルの例を示す図である
【図10】処理エンジン管理テーブルの例を示す図であ
る。
【図11】入力データ管理テーブルの例を示す図であ
る。
【図12】キャッシュ管理簿テーブルの例を示す図であ
る。
【図13】倉庫内データ管理テーブルの例を示す図であ
る。
【図14】倉庫状態テーブルの例を示す図である。
【図15】解析処理に必要な機能の構築処理を示すフロ
ーチャートである。
【図16】解析処理の動作イメージを示す図である。
【図17】解析処理の手順を示すフローチャートであ
る。
【図18】実行先倉庫決定処理のフローチャートであ
る。
【図19】実行結果の管理処理のフローチャートであ
る。
【図20】解析処理手順エディタの検索画面を示す図で
ある。
【図21】検索処理手順エディタの編集画面を示す図で
ある。
【図22】実行内容指定画面を示す図である。
【符号の説明】
1 計算機 1a 処理プログラム 1b 観測データ 2 管理簿保持手段 2a 管理簿 3 解析処理実行手段 4 作業領域 4a 処理プログラム 4b 観測データ 4c 中間データ
【手続補正書】
【提出日】平成11年4月1日
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0002
【補正方法】変更
【補正内容】
【0002】
【従来の技術】科学技術分野などでは、大量のデータに
対し、様々な較正処理及び解析処理を行い、研究を推進
している。多くの研究機関では、計算機センター内に多
くの計算機を有し、高速なネットワークで接続された分
散システム環境を構築している。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0021
【補正方法】変更
【補正内容】
【0021】解析処理手順エディタ120は、端末装置
(図示せず)からの指令に基づいて解析処理指令を実行
コントローラ174に出力するとともに、解析処理手順
データ140を生成する。解析処理手順データ140に
は、解析処理を実行した順番やその解析処理に用いた処
理エンジン(処理プログラム)130、解析に用いた画
像データ110、中間データ150、及び解析結果デー
タ160に関する情報が登録されている。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0034
【補正方法】変更
【補正内容】
【0034】そこで、分散システム環境で一意に認識で
るデータ名称として、処理に関連する情報の命名定義
を定める。本実施の形態では、各データ及び処理エンジ
ンが分散システム内でユニークとなるように、以下のよ
うな命名規則を定義する。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0037
【補正方法】変更
【補正内容】
【0037】処理エンジン名は、「******.usr.grp.eng
ine.version 」。ここで、「engine」は、エンジン名を
示し、「version 」は、そのプログラムの版数を示す。
画像データ名は、「フレームID.usr.grp」で表す。
「フレームID」は、天体望遠鏡11で観測された各画
像に付けられた識別子である。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0051
【補正方法】変更
【補正内容】
【0051】「frame 」は、解析処理後に作成されるデ
ータの種別を示している。「current _step」は、現在
の解析処理の段を示している。解析処理の段は、解析処
理に必要なデータを管理する3次元テーブルの高さ方向
の単位である。なにも処理していないデータの段を
「0」として、1つめの処理エンジンで処理された結果
として得られるデータの段を1と数える。また、現在の
段数は、その解析処理手順の処理が済んだ段が示されて
いる。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0078
【補正方法】変更
【補正内容】
【0078】図13は、倉庫内データ管理テーブルの例
を示す図である。倉庫内データ管理テーブル181cに
は、「status」、「name」、「abstract」、「owner
」、「group 」、「permission」、「create_dat
e」、「last_access_time」、「caching_time」、
path」、「arg 」、「obe 」、及び「frame 」の項目
が設けられており、登録済データ181aとキャッシュ
データ181bとに関する情報が登録されている。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0081
【補正方法】変更
【補正内容】
【0081】「last_access_time」は、そのデータに
最後にアクセスがあった時刻である。 「caching_tim
e」は、キャッシュデータに関して設定され、そのデー
タがキャッシングされた時刻を示している。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】0082
【補正方法】変更
【補正内容】
【0082】「path」は、そのデータの計算機内での位
置がフルパス(ルートディレクトリからのパス)で示さ
れている。図14は、倉庫状態テーブルの例を示す図で
ある。倉庫状態テーブル181dは、「時刻」、「作業
領域容量」、「使用状況」、「CPU 負荷」、及び「ネッ
トワーク負荷」の項目が設けられており、その倉庫サー
バ181の稼働状態に関する情報が登録されている。
「時刻」は、その情報を取得した時刻である。「作業領
域容量」は、作業領域として使用可能なハードディスク
装置の空き容量である。「使用状況」は、作業領域内の
使用中の容量を、全体の容量に対する割合で示してい
る。「CPU負荷」は、その倉庫サーバ181が設けら
れている計算機の負荷を示している。「ネットワーク負
荷」は、その倉庫サーバ181が設けられている計算機
が他の計算機とデータ通信を行うときの伝送性能に対す
る負荷を示している。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】0088
【補正方法】変更
【補正内容】
【0088】管理簿サーバ172は、キャッシュ管理簿
サーバ173からの応答を、自身が特定した倉庫サーバ
の情報に追加し、実行コントローラ174に返す。 [S14]実行コントローラ174は、実行先倉庫を決
定する。この処理の詳細は後述する。ここでは、処理に
必要な解析手順データ141、処理エンジン131,及
び画像データ111が格納されている倉庫サーバ183
に決定したものとする。 [S15]実行コントローラ174は、ステップS14
において決定した倉庫サーバ183に、解析処理手順を
実行するための作業領域の作成を依頼する(図16のS
104)。このとき、各入力データの所在情報も同時に
送付する。 [S16]作業領域作成依頼を受け取った倉庫サーバ
は、作業領域を作成可能か否かを判断する。作業領域を
作成可能であればステップS17に進み、作業領域を作
成できなければステップS14に進む。 [S17]倉庫サーバ183は、解析処理手順に対応す
る作業領域として、ディレクトリを作成する。以後、倉
庫サーバ183が、そのディレクトリの名称とパス名
管理する。また、作成したディレクトリを利用して処理
を実行する作業領域サーバ183eを、倉庫サーバ18
3と同じ計算機内で起動し、初期化する(図16のS1
05)。 [S18]倉庫サーバ183は、作業領域を準備する。
具体的には、まず、倉庫サーバ183自身が管理してい
ない入力データ、処理エンジンを、他の倉庫サーバ18
1,182へ要求する(図16のS106)。必要であ
れば解析処理手順データも取り寄せる。倉庫サーバ18
1,182は、要求に応じてデータを返す(図16のS
107)。
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】0094
【補正方法】変更
【補正内容】
【0094】以上のように、実体名を意識しない「作業
領域」を1台の計算機上に作成し、作業領域のなかに、
入力データ、処理エンジン、及び解析処理手順データを
UNXコマンド「link」により、作業領域内の名
称でシンボリックリンクした。そのため、作業領域内に
おいて、解析処理手順データ内の名前によりすべての処
理が実行可能となる。
【手続補正11】
【補正対象書類名】明細書
【補正対象項目名】0098
【補正方法】変更
【補正内容】
【0098】以下に、解析処理手順エディタの操作手順
について説明する。図20は、解析処理手順エディタの
検索画面を示す図である。検索画面200の上部にはツ
ールバー210が設けられており、各種命令を入力する
ことができる。ツールバー210の下には、複数のボタ
ン221〜225が設けられている。「New」と表記
されたボタン221が押されると、検索画面200が初
期化される。「Quit」と表記されたボタン222が
押されると、検索画面200が閉じる。「Start」
と表記されたボタン223が押されると、検索処理が開
始される。「Reload」と表記されたボタン224
が押されると、検索結果表示240で指定されている
データが読み込まれ、その内容が表示される。「Hel
p」と表記されたボタン225が押されると、検索機能
の操作方法の説明書きが表示される。
【手続補正12】
【補正対象書類名】明細書
【補正対象項目名】0101
【補正方法】変更
【補正内容】
【0101】図21は、解析処理手順エディタの編集画
面を示す図である。編集画面300の上部にはツールバ
ー310が設けられており、各種命令を入力することが
できる。このツールバー310内の「Execute 」のコマ
ンドを指定すると、編集画面300で編集されている処
理手順に従った処理の実行要求が、実行コントローラ1
74に出力される。
【手続補正13】
【補正対象書類名】明細書
【補正対象項目名】図21
【補正方法】変更
【補正内容】
【図21】解析処理手順エディタの編集画面を示す図で
ある。
【手続補正14】
【補正対象書類名】図面
【補正対象項目名】図5
【補正方法】変更
【補正内容】
【図5】
【手続補正15】
【補正対象書類名】図面
【補正対象項目名】図13
【補正方法】変更
【補正内容】
【図13】

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 データを複数の計算機で分散して解析す
    る分散処理システムにおいて、 解析処理に必要となる情報をシステム内で一意に識別す
    るための情報名と、各情報の実際の格納先との対応関係
    が登録された管理簿を保持する管理簿保持手段と、 前記情報名によって必要な情報を特定した解析処理要求
    を受け取ると、前記管理簿保持手段内の前記管理簿によ
    り必要な情報の実際の格納先を認識し、解析処理要求に
    応じた処理を実行する解析処理実行手段と、 を有することを特徴とする分散処理システム。
  2. 【請求項2】 前記解析処理実行手段は、必要な情報が
    他の計算機に格納されている場合には、必要な情報を自
    己の計算機内に複写した後、解析処理を実行することを
    特徴とする請求項1記載の分散処理システム。
  3. 【請求項3】 前記解析処理実行手段は、要求された解
    析処理を実行するための作業領域を生成し、実際の情報
    へのアクセスを可能とするリンク情報を前記作業領域内
    に登録し、解析処理の途中で生成される中間データを前
    記作業領域内に保存することを特徴とする請求項1記載
    の分散処理システム。
  4. 【請求項4】 前記解析処理実行手段は、複数の計算機
    の中から適当な計算機を選択し、選択した計算機上で解
    析処理を実行することを特徴とする請求項1記載の分散
    処理システム。
  5. 【請求項5】 前記解析処理実行手段は、必要な情報が
    多く格納されている計算機を、解析処理を実行する計算
    機として選択することを特徴とする請求項4記載の分散
    処理システム。
  6. 【請求項6】 解析処理実行のために転送され一時的に
    保持されている情報に関する事項が登録されたキャッシ
    ュ管理簿を保持するキャッシュ管理簿保持手段を更に有
    し、 前記解析処理実行手段は、必要な情報が多く格納されて
    いる計算機を判断する際には、前記管理簿と前記キャッ
    シュ管理簿との内容から判断することを特徴とすること
    を特徴とする請求項5記載の分散処理システム。
  7. 【請求項7】 前記解析処理実行手段は、処理の負荷の
    少ない計算機を、解析処理を実行する計算機として選択
    することを特徴とする請求項4記載の分散処理システ
    ム。
  8. 【請求項8】 前記解析処理実行手段は、解析途中で、
    解析処理を実行する計算機の変更の必要が生じた場合に
    は、他の計算機を新たに選択し、前記作業領域を新たに
    選択した計算機内に移動することで、以後の処理を新た
    に選択した計算機に実行させることを特徴とする請求項
    4記載の分散処理システム。
  9. 【請求項9】 システム内で一意に識別するための情報
    名を用いて解析の処理手順を構築し、構築した解析処理
    手順に従った解析処理要求を前記解析処理実行手段に対
    して出力する解析処理手順作成手段を更に有することを
    特徴とする請求項1記載の分散処理システム。
  10. 【請求項10】 データを複数の計算機で分散して解析
    する分散処理プログラムを記録したコンピュータ読み取
    り可能な記録媒体において、 解析処理に必要となる情報をシステム内で一意に識別す
    るための情報名と、各情報の実際の格納先との対応関係
    が登録された管理簿を保持する管理簿保持手段、 前記情報名によって必要な情報を特定した解析処理要求
    を受け取ると、前記管理簿保持手段内の前記管理簿によ
    り必要な情報の実際の格納先を認識し、解析処理要求に
    応じた処理を実行する解析処理実行手段、 としてコンピュータを機能させることを特徴とする分散
    処理プログラムを記録したコンピュータ読み取り可能な
    記録媒体。
JP06654998A 1998-03-17 1998-03-17 分散処理システム、分散処理方法及び分散処理プログラムを記録したコンピュータ読み取り可能な記録媒体 Expired - Fee Related JP3857409B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP06654998A JP3857409B2 (ja) 1998-03-17 1998-03-17 分散処理システム、分散処理方法及び分散処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US09/266,866 US6560631B1 (en) 1998-03-17 1999-03-12 Data analysis in distributed data processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP06654998A JP3857409B2 (ja) 1998-03-17 1998-03-17 分散処理システム、分散処理方法及び分散処理プログラムを記録したコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JPH11265359A true JPH11265359A (ja) 1999-09-28
JP3857409B2 JP3857409B2 (ja) 2006-12-13

Family

ID=13319112

Family Applications (1)

Application Number Title Priority Date Filing Date
JP06654998A Expired - Fee Related JP3857409B2 (ja) 1998-03-17 1998-03-17 分散処理システム、分散処理方法及び分散処理プログラムを記録したコンピュータ読み取り可能な記録媒体

Country Status (2)

Country Link
US (1) US6560631B1 (ja)
JP (1) JP3857409B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019053610A (ja) * 2017-09-15 2019-04-04 株式会社日立製作所 中間データ管理システムおよび中間データ管理方法
JPWO2018230444A1 (ja) * 2017-06-13 2020-04-02 日本電気株式会社 アクセラレータ制御装置、アクセラレータ制御方法、及び、アクセラレータ制御プログラム
CN114064467A (zh) * 2021-11-05 2022-02-18 腾讯科技(深圳)有限公司 资源分析方法、装置、电子设备及存储介质

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020032768A1 (en) * 2000-04-10 2002-03-14 Voskuil Erik K. Method and system for configuring remotely located applications
JP3899795B2 (ja) * 2000-09-21 2007-03-28 日本電気株式会社 ファイル管理システムおよび方法
US7574509B2 (en) * 2002-11-25 2009-08-11 Fisher-Rosemount Systems, Inc. Interactive two-way collaboration in process control plants
JP4232499B2 (ja) * 2003-03-24 2009-03-04 富士ゼロックス株式会社 指示データ生成装置、指示データ生成方法及び指示データ生成プログラム
US20050060315A1 (en) * 2003-09-16 2005-03-17 Aleksey Sanin Metadata database lookup system
US20050177630A1 (en) * 2003-12-19 2005-08-11 Jolfaei Masoud A. Service analysis
US7602981B2 (en) * 2004-03-09 2009-10-13 Kabushiki Kaisha Toshiba Image storage and display system, maintenance system therefor, and image storage and display method
US7984512B2 (en) * 2007-06-14 2011-07-19 Microsoft Corporation Integrating security by obscurity with access control lists
US20100138833A1 (en) * 2008-12-01 2010-06-03 Microsoft Corporation Resource coverage and analysis
US8799409B2 (en) * 2009-01-15 2014-08-05 Ebay Inc. Server side data cache system
CN101763418A (zh) * 2009-12-16 2010-06-30 中兴通讯股份有限公司 一种访问文件资源方法及装置
US8505021B2 (en) 2011-08-29 2013-08-06 Kaspersky Lab Zao Efficient management of computer resources
US9122535B2 (en) 2011-11-22 2015-09-01 Netapp, Inc. Optimizing distributed data analytics for shared storage
WO2014018049A1 (en) * 2012-07-27 2014-01-30 Tillges Technologies Llc Wireless communication for pressure sensor readings
GB2515736A (en) * 2013-07-01 2015-01-07 Ibm Controlling access to one or more datasets of an operating system in use
US10931776B2 (en) * 2013-12-31 2021-02-23 International Business Machines Corporation Adaptive data fetching from network storage
US9898315B1 (en) * 2014-11-24 2018-02-20 Amazon Technologies, Inc. Management of demand for virtual computing resources
US9973647B2 (en) * 2016-06-17 2018-05-15 Microsoft Technology Licensing, Llc. Suggesting image files for deletion based on image file parameters
US10613905B2 (en) * 2017-07-26 2020-04-07 Bank Of America Corporation Systems for analyzing historical events to determine multi-system events and the reallocation of resources impacted by the multi system event

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01166159A (ja) * 1987-12-22 1989-06-30 Matsushita Electric Ind Co Ltd 分散資源のアクセス方法
JPH06301579A (ja) * 1993-04-12 1994-10-28 Nec Corp 分散ファイルの管理方式
JPH07175762A (ja) * 1993-12-17 1995-07-14 Hitachi Ltd 分散処理システムにおけるジョブスケジューリング方法
JPH07311703A (ja) * 1994-05-18 1995-11-28 Matsushita Electric Ind Co Ltd ネットワークファイルシステム管理方法およびその装置
JPH086838A (ja) * 1994-06-15 1996-01-12 Toshiba Corp 分散システム
JPH09160890A (ja) * 1995-10-06 1997-06-20 Matsushita Electric Ind Co Ltd マルチプロセッサシステム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4920483A (en) * 1985-11-15 1990-04-24 Data General Corporation A computer memory for accessing any word-sized group of contiguous bits
US4805134A (en) * 1986-01-09 1989-02-14 International Business Machines Corporation Electronic system for accessing graphical and textual information
CA2011807C (en) * 1989-03-20 1999-02-23 Katsumi Hayashi Data base processing system using multiprocessor system
WO1993020511A1 (en) * 1992-03-31 1993-10-14 Aggregate Computing, Inc. An integrated remote execution system for a heterogenous computer network environment
FR2692055B1 (fr) * 1992-06-09 1996-10-25 Bull Sa Dispositif de conception de reseaux de commande d'informations pour la modelisation de tous processus.
AU5087893A (en) * 1992-08-31 1994-03-29 Dow Chemical Company, The Script-based system for testing a multi-user computer system
JP2809962B2 (ja) * 1993-03-02 1998-10-15 株式会社東芝 資源管理方式
US5479477A (en) * 1994-03-03 1995-12-26 Motorola, Inc. Method and apparatus for assigning a control module to a communication resource in a dispatch radio communication system
US5884077A (en) * 1994-08-31 1999-03-16 Canon Kabushiki Kaisha Information processing system and method in which computer with high load borrows processor of computer with low load to execute process
US5706501A (en) * 1995-02-23 1998-01-06 Fuji Xerox Co., Ltd. Apparatus and method for managing resources in a network combining operations with name resolution functions
JPH09244940A (ja) * 1996-03-12 1997-09-19 Hitachi Ltd 分散計算機資源の管理方法
US6195678B1 (en) * 1996-09-03 2001-02-27 Fujitsu Limited Remote resource management system for automatically downloading required files from application server depending on contents of selected files on requesting computer
US6223205B1 (en) * 1997-10-20 2001-04-24 Mor Harchol-Balter Method and apparatus for assigning tasks in a distributed server system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01166159A (ja) * 1987-12-22 1989-06-30 Matsushita Electric Ind Co Ltd 分散資源のアクセス方法
JPH06301579A (ja) * 1993-04-12 1994-10-28 Nec Corp 分散ファイルの管理方式
JPH07175762A (ja) * 1993-12-17 1995-07-14 Hitachi Ltd 分散処理システムにおけるジョブスケジューリング方法
JPH07311703A (ja) * 1994-05-18 1995-11-28 Matsushita Electric Ind Co Ltd ネットワークファイルシステム管理方法およびその装置
JPH086838A (ja) * 1994-06-15 1996-01-12 Toshiba Corp 分散システム
JPH09160890A (ja) * 1995-10-06 1997-06-20 Matsushita Electric Ind Co Ltd マルチプロセッサシステム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018230444A1 (ja) * 2017-06-13 2020-04-02 日本電気株式会社 アクセラレータ制御装置、アクセラレータ制御方法、及び、アクセラレータ制御プログラム
US11194618B2 (en) 2017-06-13 2021-12-07 Nec Corporation Accelerator control device, accelerator control method, and recording medium with accelerator control program stored therein
JP2019053610A (ja) * 2017-09-15 2019-04-04 株式会社日立製作所 中間データ管理システムおよび中間データ管理方法
CN114064467A (zh) * 2021-11-05 2022-02-18 腾讯科技(深圳)有限公司 资源分析方法、装置、电子设备及存储介质
CN114064467B (zh) * 2021-11-05 2025-01-14 腾讯科技(深圳)有限公司 资源分析方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP3857409B2 (ja) 2006-12-13
US6560631B1 (en) 2003-05-06

Similar Documents

Publication Publication Date Title
JPH11265359A (ja) 分散処理システム及び分散処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP3460597B2 (ja) 複合文書管理システム及び複合文書の構造管理方法ならびに複合文書構造管理プログラムを格納した記録媒体
JP4035872B2 (ja) ファイルフォーマット変換方法とこれを用いたファイルシステム及び情報システム及び電子商取引システム
US7725447B2 (en) Method, apparatus, and system for searching based on search visibility rules
US6728702B1 (en) System and method to implement an integrated search center supporting a full-text search and query on a database
KR20020062727A (ko) 프로젝트 관리 시스템 및 방법
KR940002343B1 (ko) 인터페이스 및 아이템 표시 방법
EP1686490A2 (en) Document processing apparatus and method and document processing system
JP5201592B2 (ja) 情報処理システム、情報処理方法、プログラム及びコンピュータ読み取り可能な記録媒体
JP2004046657A (ja) 計算支援方法とその装置、及び計算支援ソフト
US6799183B2 (en) Operation assistance method and system and recording medium for storing operation assistance method
JPH07271569A (ja) プログラム仕様書作成システム
JP3907463B2 (ja) Cadデータを管理するためのプログラムを記録したコンピュータ読み取り可能な記録媒体およびプログラム
JP2005078119A (ja) ソフトウェア開発支援装置およびソフトウェア開発支援方法およびプログラムおよび記録媒体
JP3429609B2 (ja) 設計情報管理装置
JP2004280416A (ja) ソフトウェア部品管理システム、ソフトウェア部品管理方法およびソフトウェア部品管理プログラム
JP3444620B2 (ja) ファイリングシステム装置
JP2013228958A (ja) ワークフローシステム、ワークフローシステムの制御方法、プログラムおよび記録媒体
JPH04362746A (ja) 仮想ディレクトリ装置
JP2025164456A (ja) 計算機システム及び情報処理方法
JP2025115724A (ja) 情報処理装置、制御方法、プログラム
Freeman Creating Data Relationships
JP3887840B2 (ja) データ格納方法及び装置
JP2004288129A (ja) 仮想ファイル管理方式
JP2002366568A (ja) オンラインシステム及び装置並びにプログラム

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20030304

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20040423

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060914

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090922

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130922

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees