JPH1165916A - ネットワーク用キャッシュ管理方法 - Google Patents
ネットワーク用キャッシュ管理方法Info
- Publication number
- JPH1165916A JPH1165916A JP9222134A JP22213497A JPH1165916A JP H1165916 A JPH1165916 A JP H1165916A JP 9222134 A JP9222134 A JP 9222134A JP 22213497 A JP22213497 A JP 22213497A JP H1165916 A JPH1165916 A JP H1165916A
- Authority
- JP
- Japan
- Prior art keywords
- data
- storage device
- speed storage
- low
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/12—Replacement control
- G06F12/121—Replacement control using replacement algorithms
- G06F12/123—Replacement control using replacement algorithms with age lists, e.g. queue, most recently used [MRU] list or least recently used [LRU] list
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
- H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
- H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
- H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
- H04L69/329—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
の各所のキャッシュにデータを記憶しておき、2度目以
降の検索処理を、キャッシュを使って処理することで、
転送量を減らすことが行われている。ディスク装置の速
度がシステムのボトルネックになる問題を解消するこ
と。 【解決手段】ネットワーク上でのデータ転送の統計情報
を取り、ディスクなどの低速な記憶装置に転送データを
記憶する時に、アクセス頻度の高いデータだけを記憶
し、アクセス頻度の低いものは廃棄する。
Description
に係わり、特に従来はLeast Recently Used(LRU)方
式で行われていたキャッシュの内容管理を行う仕組みに
関する。
増加に対して、転送されるデータのコピー(以下キャッ
シュという)をネットワークの各所に記憶しておき、2
度目以降の検索処理を、キャッシュを使って処理するこ
とで、データ転送量を減らすことが行われていた。ま
た、このキャッシュの内容管理は通常LRU方式を用い
ていた。
場合、通常メモリなどの高速・小容量の記憶装置に収ま
らないデータは、ディスクなどの低速・大容量の記憶装
置に記憶し、さらに収まらない場合は、最長未使用デー
タを廃棄する。すなわち、もっとも最近アクセスされた
データが高速の記憶装置に記憶され、次に新しいデータ
が低速の記憶装置に記憶され、もっとも未使用期間の長
いデータが廃棄される。
式によるキャッシュの内容管理は、2回目以降のデータ
アクセスが比較的良く記憶装置内に保存されている事が
知られている。しかし、World Wide Web (WWW) などネ
ットワーク・データのキャッシュ制御に使った場合、大
容量のディスク装置が必要になるとともに、ディスク装
置の速度がシステムのボトルネックになるという問題が
あった。すなわち、LRU方式だけでは、高速な記憶装
置であるメモリから低速の記憶装置であるディスクにデ
ータを移す操作が多くなり、ディスク装置の速度がシス
テム性能のボトルネックとなる。
装置の速度というボトルネックを無くし、大容量のネッ
トワーク・データを高速に転送可能なキャッシュ技術を
提供する事にある。
ク上でのデータ転送の統計情報を取り、ディスクなどの
低速な記憶装置に転送データを記憶する時に、アクセス
頻度の高いデータだけを記憶し、アクセス頻度の低いも
のは廃棄することで達成される。すなわち、ネットワー
ク上のデータは高頻度でアクセスされるデータと、低頻
度でアクセスされるデータに2分されるので、LRU方
式により高速の記憶装置にデータが記憶されている時
に、アクセス回数を計測しておき、LRU方式によれ
ば、低速の記憶装置にデータが移される時に、アクセス
回数が低頻度なデータは、低速記憶装置に移さず廃棄す
る。
施例を詳細に説明する。
成とデータ転送の例を示した図である。図でデータベー
ス装置1はユーザーの検索した情報を記憶しているデー
タベースであり、通常の計算機で良い。接続装置21、
22はネットワークの上でデータを転送する装置であ
り、近年データ量の増えているWWWの場合キャッシン
グプロキシイ(caching proxy)と呼ばれている計算機
である。接続装置メモリ2a,接続装置ディスク2bは、そ
れぞれキャッシングプロキシイ用計算機のメモリとディ
スク装置である。WWWの場合、検索用端末31、32、33
は表示用ソフト(通常ブラウザと呼ばれる)を備えたパ
ソコンである。検索用端末メモリ3a, 検索端末用ディス
ク3bは、それぞれ検索用パソコンのメモリとディスクで
ある。
らデータを検索表示させる場合、検索内容として指定さ
れたWWWサーバーはデータベース1に相当し、データ
ベース1に記憶されたデータが接続装置21を経由して
検索用端末31に転送され(図1で転送パターン1
1)、検索用端末31の画面に表示される。この時デー
タ通信量を削減するため、転送内容のコピー(通常キャ
ッシュと呼ぶ)が作成され、接続装置21および検索用
端末31の記憶装置内に保持される。同一利用者が再度
同じデータを検索要求した場合、検索用端末31のキャ
ッシュから要求されたデータが取り出され表示される
(転送パターン12)。この場合、ネットワーク上での
データ転送は不要である。また、同じ接続装置21を利
用する、違う利用者が検索用端末32を使用して、同じ
データを要求した場合は、接続装置21のキャッシュか
らデータが取り出される(転送パターン13)。この場
合、データベース1と接続装置21との間ではデータを
転送する必要がない。接続装置22を使用する利用者が
検索用端末33を使用して行う検索要求や、違うデータ
に対する検索要求はデータベース1で処理され、検索用
端末33に転送され(図1で転送パターン14)、検索
用端末33の画面に表示される。この場合、データ転送
は削減されない。
検索を要求した場合は、まず、検索用端末自体がデータ
を持っていないかをチェックし、持っていれば転送パタ
ーン12によるデータの利用が行われ、持っていなけれ
ば、接続装置のキャッシュからデータを取り出す事が出
来るかチェックされる。接続装置のキャッシュからデー
タを取り出すことが出来れば、転送パターン13により
データが得られる。これが出来ないときは、データベー
スまでさかのぼった検索が行われて接続装置を介してデ
ータ転送が行われる(転送パターン11、12)。
れのメモリ内のキャッシュ領域とディスク上のキャッシ
ュ領域をそれぞれLRU方式により管理するアルゴリズ
ムの実施例である。図2は、本実施例に採用されるデー
タ構造の具体例を示す。データはポインタ情報4a、頻度
情報4bおよびデータ本体4cとよりなる。これらのう
ち、ポインタ情報4aは、通常のLRU方式を行うための
情報を簡約して示したものであり、データ本体4cは転送
されるデータそのものである。頻度情報4bは本発明の
実施例に必要なデータである。ポインタ情報4aは、後述
するように、データのアクセスに対応して、当該データ
をメモリー管理用LRUの先頭に移動したとき、この事
が記録され、先に先頭にあったデータは次位に繰り下が
る。
モリ内あるいはディスク内それぞれにデータがあるうち
は従来のLRU方式と同じ処理が行われる。すなわち、
まず、アクセスされたデータがメモリー管理用LRUに
登録済みであるか、ディスク管理用LRUに登録済みで
あるか、あるいは、メモリー管理用LRUに未登録であ
るかチェックされ、その結果に応じて、処理5a,6
a,7aのいずれかが行われるが、ここで行われる処理
はデータのアクセスがあったことに対応するので、当該
データをメモリー管理用LRUの先頭に移動する(5
a,6a)か、登録する(7a)かである。ついで、当
該データの頻度情報4bに1を加える。ディスク管理用
LRUに登録済みであったか、あるいは、メモリー管理
用LRUに未登録であったデータがメモリー管理用LR
Uに登録された結果、メモリ内のキャッシュからデータ
があふれることになる。このデータは、従来のLRU方
式であれば、ディスク上のキャッシュ領域に無条件に移
されるが、本発明によれば、メモリ内のキャッシュ領域
にあった期間のアクセス回数に応じてディスク上のキャ
ッシュ領域に移すか廃棄されるかが決定される。すなわ
ち、メモリー管理用LRUの末尾のデータの頻度情報を
チェックして、これが規定回数以上(例えば2回)アク
セスのあったデータのみディスク領域にコピー(処理 9
a)され、規定回数に満たないデータは廃棄(処理8a)
される。
ータは、高頻度でアクセスされるデータと、低頻度でア
クセスされるデータに2分されるので、上記のようにL
RU方式により高速の記憶装置にデータが記憶されてい
る時に、アクセス回数を計測しておき、LRU方式によ
れば、低速の記憶装置にデータが移される時に、アクセ
ス回数が低頻度なデータは、低速記憶装置に移さず廃棄
することによりディスクアクセスの回数を低減できる。
ィスクに記憶するか否か判断していた。しかし、近年モ
ーバイル環境が重要視されており、検索用端末3をネッ
トワークから切り離し、オフライン検索する場合も増え
ている。この場合、検索用端末3のキャッシュ管理は、
図3の頻度によるディスクへの記憶基準の他に、外出先
でオフライン検索する可能性の高いデータを別途指定
し、指定されたデータは低頻度であってもディスクに記
憶するようにして良い。すなわち、オンラインでアクセ
スするデータとオフラインでアクセスするデータの性格
種類が異なるような場合、検索用端末3をオンラインで
使用した結果、オフラインでアクセスする性格のデータ
へのアクセスが減るから、頻度が低いものとして廃棄さ
れることになってしまう可能性がある。この様な事態を
防止するためには、このやり方が有用である。
求される種類のデータもある。このようなデータも別途
指定し、指定されたデータは低頻度であってもキャッシ
ュに記憶するようにして良い。
め、メモリ管理用のLRUのデータ構造も、ディスク管
理用のLRUのデータ構造も同じく図2に例示されたも
のとして説明を行ったが、ディスク管理用のLRU構造
には頻度情報4bは不要であり、省略しても良い。
いうボトルネックを無くし、大容量のネットワーク・デ
ータを高速に転送可能なキャッシュ技術を提供する事が
できる。
転送の例を示した図。
す図。
内のキャッシュ領域とディスク上のキャッシュ領域をそ
れぞれLRU方式により管理するアルゴリズムの実施例
を示す図。
モリ、2b:接続装置ディスク、3:検索用端末、3a:検
索用端末メモリ、3b:検索用端末ディスク、4a:ポイン
タ情報、4b:頻度情報、4c:データ本体。
Claims (9)
- 【請求項1】データベース装置と、検索用端末と、それ
らの間を接続する低速の記憶装置と高速の記憶装置を持
つ接続装置より構成されたネットワーク・システムに適
用されるキャッシュ管理方法であって、前記接続装置が
ネットワーク上でデータ転送を中継する際に、高速の記
憶装置の記憶容量を越えるデータについて所定の基準を
満たすデータのみを低速記憶装置に記憶することを特徴
とするネットワーク用キャッシュ管理方法。 - 【請求項2】前記データを低速記憶装置に記憶する基準
が転送回数が一定以上である請求項1記載のネットワー
ク用キャッシュ管理方法。 - 【請求項3】前記前記データを低速記憶装置に記憶する
基準が事前に準備したデータベースの登録情報のひとつ
である請求項1記載のネットワーク用キャッシュ管理方
法。 - 【請求項4】データベース装置と、検索用端末と、それ
らの間を接続する低速の記憶装置と高速の記憶装置を持
つ接続装置より構成されたネットワーク・システムに適
用される接続装置であって、該接続装置がネットワーク
上でデータ転送を中継する際に、高速の記憶装置の記憶
容量を越えるデータについて所定の基準を満たすデータ
のみを低速記憶装置に記憶することを特徴とする接続装
置。 - 【請求項5】データベース装置と、低速の記憶装置と高
速の記憶装置を持つ検索用端末と、それらの間を接続す
る接続装置より構成されたネットワーク・システムに適
用されるキャッシュ管理方法であって、前記検索用端末
がネットワークからデータを取得した際に、高速の記憶
装置の記憶容量を越えるデータについて別途定めた基準
を満たすデータのみを低速記憶装置に記憶することを特
徴とするネットワーク用キャッシュ管理方法。 - 【請求項6】前記データを低速記憶装置に記憶する基準
が転送回数が一定以上である請求項5記載のネットワー
ク用キャッシュ管理方法。 - 【請求項7】前記データを低速記憶装置に記憶する基準
が事前に準備したデータベースの登録情報のひとつであ
る請求項5記載のネットワーク用キャッシュ管理方法。 - 【請求項8】前記データベースの登録情報がオフライン
検索のための情報であることを示すものであり且所定の
基準に達しなくても当該データを低速記憶装置に記憶す
べきことを指示するものである請求項5記載のネットワ
ーク用キャッシュ管理方法。 - 【請求項9】データベース装置と、低速の記憶装置と高
速の記憶装置を持つ検索用端末と、それらの間を接続す
る接続装置より構成されたネットワーク・システムに適
用される検索用端末であって、該検索用端末がネットワ
ークからデータを取得した際に、高速の記憶装置の記憶
容量を越えるデータについて別途定めた基準を満たすデ
ータのみを低速記憶装置に記憶することを特徴とする検
索用端末。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9222134A JPH1165916A (ja) | 1997-08-19 | 1997-08-19 | ネットワーク用キャッシュ管理方法 |
| US09/136,069 US6282616B1 (en) | 1997-08-19 | 1998-08-19 | Caching managing method for network and terminal for data retrieving |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9222134A JPH1165916A (ja) | 1997-08-19 | 1997-08-19 | ネットワーク用キャッシュ管理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1165916A true JPH1165916A (ja) | 1999-03-09 |
Family
ID=16777712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9222134A Pending JPH1165916A (ja) | 1997-08-19 | 1997-08-19 | ネットワーク用キャッシュ管理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6282616B1 (ja) |
| JP (1) | JPH1165916A (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3460617B2 (ja) * | 1999-03-30 | 2003-10-27 | 富士通株式会社 | ファイル制御装置 |
| US6658470B1 (en) * | 1999-12-17 | 2003-12-02 | International Business Machines Corporation | Centralized logging of global reliability, availability, and serviceability (GRAS) services data for a distributed environment and backup logging system and method in event of failure |
| JP2002207620A (ja) * | 2001-01-10 | 2002-07-26 | Toshiba Corp | ファイルシステム及び該システムにおけるデータキャッシング方法 |
| US7260684B2 (en) * | 2001-01-16 | 2007-08-21 | Intel Corporation | Trace cache filtering |
| US7127528B2 (en) * | 2002-07-22 | 2006-10-24 | Honeywell International Inc. | Caching process data of a slow network in a fast network environment |
| US8839027B2 (en) | 2010-04-06 | 2014-09-16 | Dell Products L.P. | System and method for redundant object storage |
| US8453154B2 (en) * | 2010-10-04 | 2013-05-28 | Qualcomm Incorporated | System and method for managing memory resource(s) of a wireless handheld computing device |
| US8868804B2 (en) * | 2010-10-20 | 2014-10-21 | Marvell World Trade Ltd. | Unified I/O adapter |
| CN113705979A (zh) * | 2021-08-03 | 2021-11-26 | 海尔数字科技(上海)有限公司 | 一种基于物流运输货物批次信息追溯系统及追溯方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0410141A (ja) * | 1990-04-27 | 1992-01-14 | Nec Commun Syst Ltd | データベースアクセス方式 |
| JPH06139147A (ja) * | 1992-10-23 | 1994-05-20 | Fujitsu Ltd | キャッシュメモリシステム |
| JPH0793205A (ja) * | 1993-09-28 | 1995-04-07 | Hitachi Ltd | 分散ファイルシステム |
| JPH08147206A (ja) * | 1994-11-21 | 1996-06-07 | Matsushita Electric Ind Co Ltd | データ蓄積システム |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5325505A (en) | 1991-09-04 | 1994-06-28 | Storage Technology Corporation | Intelligent storage manager for data storage apparatus having simulation capability |
| JPH0877073A (ja) * | 1994-08-31 | 1996-03-22 | Toshiba Corp | 集合光ディスク装置 |
| US6085234A (en) * | 1994-11-28 | 2000-07-04 | Inca Technology, Inc. | Remote file services network-infrastructure cache |
| US5829023A (en) * | 1995-07-17 | 1998-10-27 | Cirrus Logic, Inc. | Method and apparatus for encoding history of file access to support automatic file caching on portable and desktop computers |
| JPH0944381A (ja) * | 1995-07-31 | 1997-02-14 | Toshiba Corp | データ格納方法およびデータ格納装置 |
| US5884298A (en) * | 1996-03-29 | 1999-03-16 | Cygnet Storage Solutions, Inc. | Method for accessing and updating a library of optical discs |
| US5974509A (en) * | 1996-05-01 | 1999-10-26 | Sun Microsystems, Inc. | Method for purging unused data from a cache memory |
| US6012126A (en) * | 1996-10-29 | 2000-01-04 | International Business Machines Corporation | System and method for caching objects of non-uniform size using multiple LRU stacks partitions into a range of sizes |
| US5961602A (en) * | 1997-02-10 | 1999-10-05 | International Business Machines Corporation | Method for optimizing off-peak caching of web data |
-
1997
- 1997-08-19 JP JP9222134A patent/JPH1165916A/ja active Pending
-
1998
- 1998-08-19 US US09/136,069 patent/US6282616B1/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0410141A (ja) * | 1990-04-27 | 1992-01-14 | Nec Commun Syst Ltd | データベースアクセス方式 |
| JPH06139147A (ja) * | 1992-10-23 | 1994-05-20 | Fujitsu Ltd | キャッシュメモリシステム |
| JPH0793205A (ja) * | 1993-09-28 | 1995-04-07 | Hitachi Ltd | 分散ファイルシステム |
| JPH08147206A (ja) * | 1994-11-21 | 1996-06-07 | Matsushita Electric Ind Co Ltd | データ蓄積システム |
Also Published As
| Publication number | Publication date |
|---|---|
| US6282616B1 (en) | 2001-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7827364B2 (en) | Multistage virtual memory paging system | |
| US6389510B1 (en) | Method and apparatus for caching web-based information | |
| US5434993A (en) | Methods and apparatus for creating a pending write-back controller for a cache controller on a packet switched memory bus employing dual directories | |
| US6542967B1 (en) | Cache object store | |
| US6338117B1 (en) | System and method for coordinated hierarchical caching and cache replacement | |
| US20060004984A1 (en) | Virtual memory management system | |
| JP2002536715A (ja) | 仮想メモリシステムにおけるメモリアクセスの改善技術 | |
| JPH0793205A (ja) | 分散ファイルシステム | |
| KR19980079433A (ko) | 비포함 캐쉬 메모리 계층 구조에서 사용하기 위한 캐쉬 일관성 메카니즘 구현 방법 및 시스템 | |
| US5761716A (en) | Rate based memory replacement mechanism for replacing cache entries when the cache is full | |
| JP4095152B2 (ja) | 画像管理装置およびその方法、画像管理システム、記憶媒体 | |
| US6282616B1 (en) | Caching managing method for network and terminal for data retrieving | |
| US20130086325A1 (en) | Dynamic cache system and method of formation | |
| JP2001195197A (ja) | 記憶されたレコードについてのフォーマット情報を効率的に提供するためのディレクトリを含むデジタル・データ・サブシステム | |
| JPH07239808A (ja) | 分散データ管理方式 | |
| US20250094353A1 (en) | Memory Migration and Page Fault Avoidance | |
| JPH05143435A (ja) | データベースシステム | |
| WO2025185749A1 (zh) | 数据处理方法、系统、装置、电子设备及可读存储介质 | |
| CN101241501A (zh) | 适用于高速缓存代理服务器体系结构的文件系统构建方法 | |
| US6965922B1 (en) | Computer system and method with internal use of networking switching | |
| US7051181B2 (en) | Caching for context switching applications | |
| JP2001256098A (ja) | プロキシサーバにおけるキャッシの制御方法 | |
| US7805572B2 (en) | Cache pollution avoidance | |
| JPH0981455A (ja) | クライアント装置、サーバ装置及び記憶装置制御方法 | |
| US20030103526A1 (en) | Cache line cut through of limited life data in a data processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040406 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050412 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050613 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050613 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060117 |