JPH04257924A - ストリームデータ処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は大量のデータの処理を行
なうデータベースシステム等に利用されるストリームデ
ータ処理装置に関するものである。

【０００２】

【従来の技術】以下、従来のストリームデータ処理装置
について説明する。

【０００３】図８は従来のストリームデータ処理装置の
機能ブロック構成を示したものである。図８において、
８１はストリーム入力装置で、外部からストリームデー
タを入力し、後述する記憶装置８４、８５、８６に読み
込んだ１レコードを書き込む。８２は処理装置で、検索
等の処理を行なう。８３は出力装置で、記憶装置８４、
８５、８６にあるレコードをストリームとして出力する
。この記憶装置８４、８５、８６は、１レコードを格納
する。８７はクロスバースイッチで、入力装置８１と処
理装置８２と出力装置８３を記憶装置８４、８５、８６
と一対一対応させる。

【０００４】以上のように構成されたストリームデータ
処理装置について、以下その動作について説明する。こ
こでは定常状態に達したものとして説明する。ある時間
に、クロスバースイッチ８７により、入力装置８１が記
憶装置８４に、処理装置８２が記憶装置８５に、出力装
置８３が記憶装置８６に接続されているものとする。こ
のとき、入力装置８１はストリーム入力より１レコード
分読み込んで記憶装置８４に書き込み、処理装置８２は
記憶装置８５にあるすでに入力装置８１により格納して
あるレコードの処理を行ない、出力装置８３は記憶装置
８６にあるすでに処理装置８２により処理されたレコー
ドを出力するという処理を各装置が並列に処理する。各
装置８１、８２、８３がすべて処理を終了したならばク
ロスバースイッチ８７は入力装置８１を記憶装置８４に
、処理装置８２を記憶装置８５に、出力装置８３を記憶
装置８６に接続し直す。従って、処理装置８２は先に入
力装置８１により格納されたレコードの処理を行ない、
出力装置８３は先に処理装置８２により処理されたレコ
ードの出力を行ない、入力装置８１はすでに出力してし
まって以降処理の必要のないレコードに上書きをする。 以後同様の動作を繰り返すことによりパイプライン的に
処理が進み、入力装置８１と処理装置８２と出力装置８
３が並列的に動作し、高速に処理が行なわれる。

【０００５】

【発明が解決しようとする課題】しかしながら上記の従
来の構成では、クロスバースイッチ８７のハードウェア
量が多く、しかも、入力装置８１と処理装置８２と出力
装置８３とクロスバースイッチ８７を一つの集積回路に
すると、記憶装置８４、８５、８６にアクセスするため
のピンの数が多くなるという課題を有していた。

【０００６】本発明は上記従来技術の課題を解決するも
ので、クロスバースイッチを使用せず、集積回路にして
も記憶装置にアクセスするためのピンが多量にならない
ストリームデータ処理装置を提供することを目的とする
。

【０００７】

【課題を解決するための手段】この目的を達成するため
に本発明は記憶装置を単独にしてその中をいくつかの領
域に区切り、時分割で各装置がそれらの領域をアクセス
するようにしたものである。

【０００８】

【作用】本発明は上記構成によって、クロスバースイッ
チを使用しなくなることによりハードウェア量が少なく
なり、しかも、集積回路にした場合、記憶装置がひとつ
になることにより記憶装置にアクセスするためのピンが
大幅に減少させることができる。

【０００９】

【実施例】（実施例１）以下、本発明の実施例について
、図面を参照しながら説明する。

【００１０】なお、以下説明する本実施例のストリーム
データ処理装置はレコード単位に検索を行ないその検索
の結果に従いレコードの内容を変えたり、レコードを削
除したりするものである。

【００１１】図２は本発明の一実施例におけるストリー
ムデータ処理装置が扱うストリームデータのデータ構造
を示した図である。ストリームデータは図２のように１
文字ずつストリームデータ処理装置に入力される。その
際、あらかじめ定めておいた特定のレコード区切れ記号
をストリーム中に挿入することにより、ストリームをレ
コードの集合とみなすことができる。さらにストリーム
の最後にあらかじめ定めておいた特定のレコード区切れ
記号をおくことによりストリームの終了を示す。

【００１２】図１は本発明の一実施例におけるストリー
ムデータ処理装置の機能ブロック図である。図１におい
て、１はストリームデータ処理装置全体の同期をとる制
御装置、２は外部よりストリームを読み込む入力装置、
３は入力されたレコードの内容を検索する検索装置、４
は検索の結果によりレコードの内容の変更等を行なう演
算装置、５は演算の演算装置４により処理されたレコー
ドを外部に出力する出力装置、６は各装置から出力され
るアドレスを選択し記憶装置のアドレスに変換するアド
レス選択装置、７は入力装置２からのデータを記憶装置
８に出力したり記憶装置８からのデータを検索装置３と
演算装置４と出力装置５に分配するデータ選択器、８は
ランダムアクセスによる読み書きが可能な記憶装置、９
は入力線、１０は出力線である。

【００１３】図３は図１における記憶装置８のアドレス
空間を示したものである。図１における入力装置２、検
索装置３、演算装置４、出力装置５の各装置は、ある期
間、図３に示す２Ｋｂｙｔｅの部分空間のいずれかに割
り当てられる。また、入力装置２、検索装置３、演算装
置４、出力装置５の各装置のうち２つ以上がその期間の
間に同じ部分空間を割り当てられることはない。

【００１４】図４は図１の入力装置２、検索装置３、演
算装置４、出力装置５の各装置が記憶装置８をアクセス
するタイミングを示した図である。入力装置２、検索装
置３、演算装置４、出力装置５の各装置は４クロック周
期で１クロック分の時間だけ記憶装置８にアクセスする
ことができる。

【００１５】図１におけるアドレス選択器６の詳細な構
成を図５を用いて説明する。図５において、上位ビット
発生装置６１は図１における記憶装置８の上位２ビット
を発生させるもので、図１における入力装置２、検索装
置３、演算装置４、出力装置５の各装置のためにそれぞ
れ２ビットずつ出力し入力装置２、検索装置３、演算装
置４、出力装置５の各装置が出力する１１ビットのアド
レスの上位に付加し、記憶装置８にアドレスを出力する
。また、上位ビット発生装置６１は（表１）で示す状態
を保持しておりそれらの状態に対応する上位ビットを出
力する。

【００１６】

【表１】

【００１７】これらの状態は図１における制御装置１か
らの状態切り替え信号により遷移する。その際の遷移は
図６に示すように行なわれる。６２はマルチプレクサで
、図１における制御装置１から送られてくるアドレス選
択信号にしたがって、入力装置２、検索装置３、演算装
置４、出力装置５の各装置からのアドレス１１ビットと
上位ビット発生装置６１からの２ビットを付加した組の
いずれかを選択する。この選択は図４のタイミングで行
なわれる。

【００１８】以上のように構成されたストリームデータ
処理装置について、図７、（表２）、（表３）を用いて
その動作を説明する。まず、ストリームデータは図１の
ように第１レコードが図１の入力線９より入力されてく
るが、この状態では、入力装置２のみが処理するレコー
ドを有しており、検索装置３、演算装置４、出力装置５
は処理するレコードを有していない。従って、入力装置
２のみを動作させる。このようにどの装置を動作させる
かを示したものが図７および（表２）である。図７およ
び（表２）においてフェーズとは制御装置が保持する状
態を示し、このフェーズにしたがってどの装置を動作さ
せるかを決め、動作させた装置のすべての処理が終るご
とにフェーズが変わる。フェーズの状態遷移を示したも
のが図７で、各フェーズでどの装置を動作させるかを示
したものが（表２）である。

【００１９】

【表２】

【００２０】初期状態においてはフェーズはフェーズ１
より始まり、記憶装置８の領域を決める（表１）に示し
た状態は状態０より始まる。従って、制御装置１は入力
装置２のみに動作を開始させる。また、入力装置２は（
表１）より、記憶装置８のアドレス空間の図３における
領域０をアクセスする。（表２）から各状態においてど
の領域がどの装置に割り当てられるかを（表３）にまと
める。動作開始を指示された入力装置２は入力線９より
１バイトずつ読み込むと同時に、記憶装置８に読み込ん
だデータを書き込む。入力装置２が出力するアドレス１
１ビットは、０から書き込む毎に１ずつ増加する。従っ
て記憶装置８にはアドレス０から読み込まれた順にデー
タが書き込まれる。この際、入力装置２が記憶装置８に
データを書き込むタイミングは図４のように４クロック
に１回である。この書き込み作業を行ないながら入力装
置２は読み込んだデータがレコード区切れ記号かどうか
チェックし、もしそうならば、記憶装置８にレコード区
切れ記号を書き込んだ時点で１レコードの入力処理を終
了し、その旨を制御装置１に伝える。なお入力装置２は
レコード区切れ記号と同様にストリーム終了記号もチェ
ックしていて、もし読み込んだデータがストリーム終了
記号であれば入力装置２は処理を終了しその旨を伝える
とともに、ストリーム終了記号を読み込んだことも制御
装置１に伝える。ストリーム終了記号を入力した場合は
、制御部のフェーズが図７のように遷移の仕方が変わる
。ここでは、レコードが４個以上あるものとして説明を
行なう。

【００２１】

【表３】

【００２２】制御装置１は入力装置２から１レコードの
処理の終了信号を受けたならば、フェーズを図７のよう
に遷移させるとともに、アドレス選択器６に状態切り替
え信号を送る。アドレス選択器６は状態切り替え信号を
受けたならば図５の上位ビット発生装置６１の状態を図
６のように遷移させる。従って、フェーズはフェーズ２
に図６の状態は状態１になる。ここで制御装置１は動作
開始の信号を出すが、フェーズがフェーズ２なので表２
より入力装置２と検索装置３の動作を開始させる。上位
ビット発生装置６１の状態が状態１なので表３より、入
力装置２は図３の領域０を、検索装置３は領域１を、図
４のタイミングで時分割でアクセスする。この時、領域
０にはすでに第１レコードが格納されているので、検索
装置３は第１レコードに関して検索を行なう。入力装置
２は領域１に第２レコードを格納する。入力装置２と検
索装置３がともに１レコードに対する処理の終了したな
らば、制御装置１は図７のフェーズの変化を行ない、ア
ドレス選択器６に状態切り替え信号を送る。これにより
フェーズはフェーズ３になり図５の上位ビット発生装置
６１の状態が状態２になる。従って、次は（表２）によ
り入力装置２と検索装置３と演算装置４を起動し、入力
装置２は図３の領域２を検索装置３は領域１を演算装置
４は領域０をアクセスすることになる。これは検索装置
３が第２レコードを演算装置４が第１レコードを処理す
るということである。ただし、検索装置２は制御装置１
に処理終了時に検索結果を伝えるので、演算装置４の起
動は検索結果の制御装置による判断に従う。各装置に起
動をかけた後にそれらすべてが１レコードの処理を終了
したならば、フェーズの遷移と上位ビット発生装置６１
の状態遷移を行ない、フェーズがフェーズ４に状態が状
態３になり、入力装置２、検索装置３、演算装置４、出
力装置５すべてに起動をかけ、入力装置２は図３の領域
３に、検索装置３は領域２に、演算装置４は領域１に出
力装置５は領域０を図４のタイミングでアクセスする。

【００２３】以下、入力装置２がストリーム終了記号を
入力するまでフェーズ４で上位ビット発生装置６１の状
態を図６のように遷移させながら処理を続けていく。こ
の時、出力装置５は直前に演算装置４が処理したレコー
ドを出力し、演算装置４は直前に検索装置３が処理した
レコードの処理を行ない、検索装置３は直前に入力装置
２が入力したレコードに対して検索を行なうことになる
。各装置がレコードをアクセスする時に出力するアドレ
スは、現在の状態を考慮することなくレコードの先頭か
らのバイトオフセットである。

【００２４】フェーズ４において入力装置２がストリー
ム終了記号を入力したならばフェーズ５に移り、さらに
フェーズ６、フェーズ７に遷移するが、ストリーム終了
記号は検索と演算をする必要がないので起動する装置は
表２のようになる。ストリーム終了記号を出力装置５が
出力し終えたならば、全体の処理を終了する。

【００２５】なお、フェーズ１でストリーム終了記号を
入力装置２が入力した場合は、図７よりフェーズ７に遷
移するが、この場合は例外的に上位ビット発生装置６１
の状態を図６に従わずに遷移させ直ちに状態３になる。 また、フェーズ２でストリーム終了記号を入力した場合
、フェーズ３でストリーム終了記号を入力した場合はフ
ェーズは図７のように遷移し、このときは図６のように
状態が遷移する。

【００２６】以上のように本実施例によれは、アドレス
選択器６が記憶装置８に対するアドレスの上位２ビット
を入力装置２、検索装置３、演算装置４、出力装置５の
各装置が出力するレコードの先頭からのオフセットに付
加することにより、各装置それぞれが記憶装置８のアド
レスそのものを意識する必要がなくなる。また、付加す
る２ビットを循環的に変えることにより、記憶装置８内
のデータの移動を行なうことなく各装置がアクセスする
ことができる。また、記憶装置８を時分割で各装置がア
クセスするので、各装置が記憶装置８に書き込むあるい
は記憶装置８から読み込んだデータを処理する時間に、
他の装置が記憶装置８にアクセスするので、有効なパイ
プライン処理が可能である。さらに、記憶装置８を除く
部分を集積回路にした場合、各装置の各々のレコードの
オフセットを出力する必要がないので、すべてのオフセ
ットを出力する場合と比較して、アドレスに関するピン
が４４本から１３本に減る。

【００２７】

【発明の効果】以上のように本発明はアドレス発生器を
設け、記憶装置の部分空間を時分割でアクセスすること
により、パイプライン処理による高速処理を行ないなが
らも集積回路にした時にピン数が小量であるストリーム
データ処理装置を実現できるものである。

【図面の簡単な説明】

【図１】本発明の一実施例におけるストリームデータ処
理装置の機能ブロック図

【図２】同実施例におけるストリームデータ処理装置が
扱うデータを示した図

【図３】同実施例におけるストリームデータ処理装置の
要部である記憶装置のアドレス空間図

【図４】同実施例におけるストリームデータ処理装置の
要部である記憶装置へのアクセスのタイミング図

【図５
】同実施例におけるストリームデータ処理装置の要部で
あるアドレス選択器の詳細ブロック結線図

【図６】同実
施例におけるストリームデータ処理装置の要部であるア
ドレス選択器ないの上位ビット発生装置の状態遷移図

【図７】同実施例におけるストリームデータ処理装置の
要部である制御装置のフェーズの遷移図

【図８】従来の
ストリームデータ処理装置の機能ブロック図

【符号の説明】

１　　制御装置 ２　　入力装置 ３　　検索装置 ４　　演算装置 ５　　出力装置 ６　　アドレス選択器 ７　　データ選択器 ８　　記憶装置 ９　　入力線 １０　　出力線 ６１　　上位ビット発生装置 ６２　　マルチプレクサ

Claims (2)

【特許請求の範囲】
1. 【請求項１】　　レコードの集合からなるストリームデ
   ータをレコード単位で入力する入力装置と、入力された
   レコードをレコード単位で処理する１つ以上の処理装置
   と、入力されたデータを格納する記憶装置と、上記記憶
   装置の記憶空間がいくつかの領域に分けられていて特定
   の期間では上記入力装置および上記処理装置がアクセス
   する領域が固定されており、上記入力装置および上記処
   理装置がレコード内のある語にアクセスする場合は特定
   の位置からの相対位置でアクセスし、その相対位置と上
   記入力装置および上記処理装置が上記記憶装置内のどの
   領域をアクセスするのかに従い、上記記憶装置へのアド
   レスを作成し、周期的に上記入力装置および上記処理装
   置が上記記憶装置にアクセスできるようにアドレスを変
   更するアドレス発生器とを備えたストリームデータ処理
   装置。
2. 【請求項２】　　入力装置および処理装置と、上記入力
   装置および上記処理装置がアクセスする領域を上記入力
   装置および上記処理装置のすべてが１レコードの処理を
   終了する毎に巡回的に変更する請求項１記載のストリー
   ムデータ処理装置。