JP2017228302A - アーカイブデータ識別 - Google Patents

Abstract

【課題】アーカイブデータ記憶システムにおいて対費用効果が高く信頼性があるデータ識別を容易にする方法およびシステムを提供する。【解決手段】一実施形態では、アーカイブデータ記憶システムに記憶されたデータオブジェクトは、グローバルインデックスを記憶する費用を削減するアーカイブデータ記憶システムに記憶されたデータオブジェクトの場所を特定するように使用され得る、記憶場所情報を符号化するデータオブジェクト識別子によって識別される。データオブジェクト識別子は、データオブジェクトへの後続のアクセスを検証するために使用可能なアクセス制御情報のようなポリシー情報、ペイロードデータの整合性を確証するために使用可能なサイズおよびダイジェストのようなペイロード検証情報、データオブジェクト識別子の整合性を検証するために使用可能なエラー検出コードのようなメタデータ検証情報、および他の情報も符号化し得る。【選択図】図２

Description

本願は、アーカイブデータ識別に関する。本願は、２０１２年８月８日に出願された発明の名称「ＡＲＣＨＩＶＡＬ ＤＡＴＡ ＩＤＥＮＴＩＦＩＣＡＴＩＯＮ」の米国特許出願第１３／５６９，９９４号（代理人整理番号９０２０４−８４１８０７））からの優先権およびその利益を主張するものである。本願は、本明細書と同時に出願され、発明の名称が「ＬＯＧ−ＢＡＳＥＤ ＤＡＴＡ ＳＴＯＲＡＧＥ ＯＮ ＳＥＱＵＥＮＴＩＡＬＬＹ ＷＲＩＴＴＥＮ ＭＥＤＩＡ」である同時係属中の米国特許出願第１３／５６９，９８４号（代理人整理番号９０２０４−８４１８０４（０５４８００ＵＳ））、本明細書と同時に出願され、発明の名称が「ＤＡＴＡ ＳＴＯＲＡＧＥ ＭＡＮＡＧＥＭＥＮＴ ＦＯＲ ＳＥＱＵＥＮＴＩＡＬＬＹ ＷＲＩＴＴＥＮ ＭＥＤＩＡ」である同時係属中の米国特許出願第１３／５７０，０５７号（代理人整理番号９０２０４−８４１８１７（０５５３００ＵＳ））、本明細書と同時に出願され、発明の名称が「ＤＡＴＡ ＷＲＩＴＥ ＣＡＣＨＩＮＧ ＦＯＲ ＳＥＱＵＥＮＴＩＡＬＬＹ ＷＲＩＴＴＥＮ ＭＥＤＩＡ」である同時係属中の米国特許出願第１３／５７０，００５号（代理人整理番号９０２０４−８４１８１２（０５５０００ＵＳ））、本明細書と同時に出願され、発明の名称が「ＰＲＯＧＲＡＭＭＡＢＬＥ ＣＨＥＣＫＳＵＭ ＣＡＬＣＵＬＡＴＩＯＮＳ ＯＮ ＤＡＴＡ ＳＴＯＲＡＧＥ ＤＥＶＩＣＥＳ」である同時係属中の米国特許出願第１３／５７０，０３０号（代理人整理番号９０２０４−８４１８１３（０５５２００ＵＳ））、本明細書と同時に出願され、発明の名称が「ＤＡＴＡ ＳＴＯＲＡＧＥ ＩＮＶＥＮＴＯＲＹ ＩＮＤＥＸＩＮＧ」である同時係属中の特許出願第１３／５６９，６６５号（代理人整理番号９０２０４−８４１８１１（０５４７００ＵＳ））、本明細書と同時に出願され、発明の名称が「ＡＲＣＨＩＶＡＬ ＤＡＴＡ ＯＲＧＡＮＩＺＡＴＩＯＮ ＡＮＤ ＭＡＮＡＧＥＭＥＮＴ」である同時係属中の米国特許出願第１３／５７０，０２９号（代理人整理番号９０２０４−８４１８０８（０５４４００ＵＳ））、本明細書と同時に出願され、発明の名称が「ＡＲＣＨＩＶＡＬ ＤＡＴＡ ＦＬＯＷ ＭＡＮＡＧＥＭＥＮＴ」である同時係属中の米国特許出願第１３／５７０，０９２号（代理人整理番号９０２０４−８４１８０９（０５４５００ＵＳ））、本明細書と同時に出願され、発明の名称が「ＡＲＣＨＩＶＡＬ ＤＡＴＡ ＳＴＯＲＡＧＥ ＳＹＳＴＥＭ」である同時係属中の米国特許出願第１３／５７０，０８８号（代理人整理番号９０２０４−８４１８０６（０５４０００ＵＳ））、本明細書と同時に出願され、発明の名称が「ＤＡＴＡ ＳＴＯＲＡＧＥ ＰＯＷＥＲ ＭＡＮＡＧＥＭＥＮＴ」である同時係属中の特許出願第１３／５６９，５９１号（代理人整理番号９０２０４−８４１８１６（０５４９００ＵＳ））、本明細書と同時に出願され、発明の名称が「ＤＡＴＡ ＳＴＯＲＡＧＥ ＳＰＡＣＥ ＭＡＮＡＧＥＭＥＮＴ」である同時係属中の特許出願第１３／５６９，７１４号（代理人整理番号９０２０４−８４６２０２（０５６１００ＵＳ））、本明細書と同時に出願され、発明の名称が「ＤＡＴＡ ＳＴＯＲＡＧＥ ＡＰＰＬＩＣＡＴＩＯＮ ＰＲＯＧＲＡＭＭＩＮＧ ＩＮＴＥＲＦＡＣＥ」である同時係属中の特許出願第１３／５７０，０７４号（代理人整理番号９０２０４−８４６３７８（０５６２００ＵＳ））、本明細書と同時に出願され、発明の名称が「ＤＡＴＡ ＳＴＯＲＡＧＥ ＩＮＴＥＧＲＩＴＹ ＶＡＬＩＤＡＴＩＯＮ」である同時係属中の特許出願第１３／５７０，１５１号（代理人整理番号９０２０４−８４１８１０（０５４６００ＵＳ））の完全な開示をその全ての目的のために参照により組み込む。

情報のデジタル化の増加に伴い、耐久性があり信頼性があるアーカイブデータ記憶サービスに対する需要もまた増加している。アーカイブデータは、政府、事業所、図書館等により維持されるアーカイブ記録、バックアップファイル、メディアファイル等を含み得る。データのアーカイブ記憶は、いくつかの課題を提示している。例えば、記憶されるデータの潜在的に膨大な量は、多くの従来技術を用いたときの費用を非常に高くする原因であり得る。また、アーカイブデータのための記憶の耐久性および信頼性が比較的高いことが多くの場合所望され、それがデータを記憶するために必要とされるリソースの量を更に増加させ、それによって費用が増加する。したがって、対費用効果が高く信頼性がある方式でアーカイブデータを識別するための必要性が存在する。

以下、本開示に従う種々の実施態様を、図面を参照して説明する。

少なくとも１つの実施形態に従う、アーカイブデータ識別のための例示的な環境１００を例示する図である。 少なくとも１つの実施形態に従って、アーカイブデータ記憶サービスが実装され得る例示的な環境を例示する図である。 少なくとも１つの実施形態に従って、アーカイブデータ記憶システムの構成要素が接続され得る、相互接続ネットワークを例示する図である。 少なくとも１つの実施形態に従って、アーカイブデータ記憶システムの構成要素が接続され得る、相互接続ネットワークを例示する図である。 少なくとも１つの実施形態に従って、データを記憶するための例示的な過程を例示する図である。 少なくとも１つの実施形態に従って、データを検索するための例示的な過程を例示する図である。 少なくとも１つの実施形態に従って、データを削除するための例示的な過程を例示する図である。 少なくとも１つの実施形態に従う、データオブジェクト識別子８００の例示的な表示を例示する図である。 少なくとも１つの実施形態に従って、データを記憶して検索するための過程を例示する図である。 少なくとも１つの実施形態に従って、データを削除するための過程１０００を例示する図である。 種々の実施形態を実装することができる環境を例示する図である。

以下の説明では、種々の実施形態が説明される。説明の目的で、実施形態の十分な理解を提供するように具体的な構成および詳細が説明される。しかしながら、実施形態が具体的な詳細なしに実施され得ることは当業者にも明白である。更には、既知の特徴は、記載される実施形態を不明瞭にしないように省略または簡略化され得る。

本明細書に記載され提案される技術は、対費用効果が高く信頼性がある方式でアーカイブデータ記憶システムに記憶されたアーカイブデータを識別するための方法およびシステムを含む。一実施形態では、顧客がアーカイブデータ記憶システムにアーカイブデータオブジェクトを記憶することを要求すると、顧客には、アーカイブデータオブジェクトを検索、削除、または別様に識別するアーカイブデータ記憶システムとの後続の通信によって使用され得るデータオブジェクト識別子が提供される。データオブジェクト識別子は、アーカイブデータオブジェクトが記憶システムによって永続的に記憶される前に顧客に提供され得、そのことによって、非同期方式でデータ記憶要求を処理しつつ顧客に同期経験を提供する。

いくつかの実施形態では、データオブジェクト識別子は、アーカイブデータ記憶システムに記憶されたデータオブジェクトの場所を特定するように使用され得る記憶場所情報を符号化し得る。例えば、記憶場所情報は、データオブジェクトが記憶された階層型データ構造への参照を符号化し得る。そのような実施形態は、データオブジェクト識別子を対応するデータオブジェクトの記憶場所にマップする名前空間マップまたは類似のデータ構造を記憶する費用を削減し得るかまたは削除し得る。

一実施形態では、データオブジェクト識別子は、アーカイブデータ記憶システムに記憶されたデータに関連付けられる１つ以上のポリシーを執行するように使用され得るポリシー情報も符号化する。種々の実施形態では、そのようなポリシーは、安全性、プライバシー、アクセス、規制、費用、および他の考慮事項に対処するポリシーを含み得る。例えば、ポリシー情報は、データオブジェクト識別子に関連付けられたデータへの要求されたアクセスを検証するように使用され得るアクセス制御情報を符号化し得る。

一実施形態では、データオブジェクト識別子は、アーカイブデータ記憶システムに記憶されたデータの整合性を確実にするようにペイロード検証情報も符号化する。種々の実施形態では、ペイロード検証情報は、データサイズ、タイムスタンプ（例えば、データ作成タイムスタンプ）、ペイロードの１つ以上のダイジェスト等を含み得る。データオブジェクト識別子は、データオブジェクト識別子に関連付けられた情報の整合性を確実にするようにメタデータ検証情報も符号化し得る。種々の実施形態では、メタデータ検証情報は、データオブジェクト識別子に符号化されたいくつかのまたは全ての情報のパリティ検査、巡回冗長検査（ＣＲＣ）、エラー訂正検査等のエラー検出検査を含み得る。データオブジェクト識別子は、上述された情報をカプセル化するように全体または部分的に符号化（例えば、暗号化）され得る。そのような符号化は、実装詳細にデータ安全性および透過性を提供し得る。いくつかの実施形態では、データオブジェクト識別子は、暗号化または別様に情報を不明瞭にすることなく上述された情報を含み得る。

アーカイブデータ記憶システムに記憶されたデータオブジェクトの検索または削除のため、データオブジェクトに関連付けられたデータオブジェクト識別子は、少なくともメタデータ検証情報を用いて検証され得る。続いて、要求されたアクセス（検索／削除）は、データオブジェクト識別子に符号化されたポリシー情報に少なくとも部分的に基づいて検証され得る。データオブジェクト識別子に符号化された記憶場所情報は、記憶されたデータオブジェクトの場所を特定するように使用され得る。最終的に、ペイロード整合性検証情報は、検索されたかまたはこれから削除されるデータオブジェクトの整合性を検証するように使用され得る。

図１は、少なくとも１つの実施形態に従う、アーカイブデータ識別のための例示的な環境１００を例示する。例示されるように、一実施形態では、顧客１０２は、アーカイブデータ記憶システム１０６にアーカイブデータオブジェクト１０４が記憶されることを要求する。いくつかの実施形態では、顧客１０２およびアーカイブデータ記憶システム１０６は、図２に関連して以下に説明されるように、それぞれ、顧客２０２およびアーカイブデータ記憶システム２０６に類似し得る。

一実施形態では、要求に応答して、アーカイブデータ記憶システム１０６は、記憶のためにアーカイブデータ１０４を受け入れ、アーカイブデータ１０４に関連付けられたデータオブジェクト識別子１０８を提供する。そのようなデータオブジェクト識別子１０８は、アーカイブデータ１０４を検索、削除、または別様に識別するアーカイブデータ記憶システム１０６との後続の通信によって使用され得る。いくつかの実施形態では、各データオブジェクト識別子は、アーカイブデータ記憶システム１０６に記憶されたアーカイブデータオブジェクトを一意的に識別する。他の実施形態では、データオブジェクト識別子は、例えば、特定の顧客に属するデータの中で、ある状況下で一意であり得る。

一実施形態では、データオブジェクト識別子１０８は、改善された信頼性、拡張性、およびアーカイブデータ記憶システム１０６に関連付けられた他の特徴を提供するように種々の情報を符号化する（１１８）。例えば、例示され図８に詳細に論じられるように、データオブジェクト識別子は、記憶されたデータ、種々の検証情報等の場所を特定するように使用され得る記憶場所情報１１０を符号化し得る。種々の実施形態では、検証情報は、要求されたアクセスを検証するように使用され得るポリシー情報１１２、アーカイブデータ１０４に関連付けられたペイロードデータの整合性を検証するように使用され得るペイロード検証情報１１４、メタデータの整合性を検証するように使用され得るメタデータ検証情報１１６等を含み得る。一実施形態では、データオブジェクト識別子１０８は、データオブジェクト識別子に含まれる情報の未承認の開示または変更を防止するように符号化（暗号化等）され得る（１１８）。

図２は、少なくとも１つの実施形態に従って、アーカイブデータ記憶システムが実装され得る例示的な環境２００を例示する。１つ以上の顧客２０２は、ネットワーク２０４を介して、アーカイブデータ記憶システム２０６に接続する。上に含意されたように、文脈から明らかでない限り、用語「顧客」とは、本明細書に記載されるデータ記憶サービスを活用する顧客エンティティ（個人、会社、または他の団体等）のシステム（複数可）を指す。そのようなシステムは、データセンター、大型汎用機、個別コンピューティングデバイス、分散型コンピューティング環境およびその顧客アクセス可能インスタンス、またはアーカイブデータ記憶システムと通信できる任意の他のシステムを含んでもよい。いくつかの実施形態では、顧客は、アーカイブデータ記憶システムもまた提供するコンピューティングリソースプロバイダにより提供される分散型コンピューティングシステムのマシーンインスタンス（例えば、直接ハードウェアアクセスで）または仮想化インスタンスを指し得る。いくつかの実施形態では、アーカイブデータ記憶システムは、分散型コンピューティングシステムに不可欠であり、分散型コンピューティングシステムのインスタンス、仮想化またはマシンを含み得るか、または分散型コンピューティングシステムのインスタンス、仮想化またはマシンで実装され得る。種々の実施形態では、ネットワーク２０４は、インターネット、ローカルエリアネットワーク（「ＬＡＮ」）、広域ネットワーク（「ＷＡＮ」）、セルラーデータネットワーク、および／または他のデータネットワークを含み得る。

一実施形態では、アーカイブデータ記憶システム２０６は、各テナントまたは顧客が、顧客に割り当てられたデータ記憶空間のデータを記憶するか、検索するか、削除するか、または別様に管理するマルチテナントまたは複数顧客の環境を提供する。いくつかの実施形態では、アーカイブデータ記憶システム２０６は、複数のサブシステム、または各々がサービスまたは機能性の特定のセットを提供する「プレーン」を備える。例えば、図２に例示されるように、アーカイブデータ記憶システム２０６は、フロントエンド２０８、直接Ｉ／Ｏのための制御プレーン２１０、共有制御プレーン２１２、データプレーン２１４、およびメタデータプレーン２１６を含む。各サブシステムまたはプレーンは、機能性の特定のセットを集合的に提供する１つ以上の構成要素を含み得る。各構成要素は、コンピュータ、データ記憶デバイス等の１つ以上の物理的および／または論理的コンピューティングデバイスで実装され得る。各サブシステム内の構成要素は、同一サブシステム内の構成要素、他のサブシステム内の構成要素、または顧客等の外部エンティティと通信し得る。そのような対話処理のうちの少なくともいくつかは、図２に矢印によって示される。具体的には、アーカイブデータ記憶システム２０６の内外の主要バルクデータ転送経路は、太い矢印によって表される。種々の実施形態が図２に例示されるものよりも少ないかまたはより多くの数のシステム、サブシステム、および／またはサブ構成要素を有し得ることは、当業者により理解される。よって、図２の環境２００の描写は、本質的に例示説明となるものであり、本開示の範囲を限定するものとみなすべきではない。

例示説明となる実施形態では、フロントエンド２０８は、アーカイブデータ記憶システム２０６と本明細書に記載される１つ以上の顧客２０２等の外部エンティティとの間のインターフェースを提供するサービスの一群を実装する。種々の実施形態では、フロントエンド２０８は、ユーザがアーカイブデータ記憶システムの種々の機能、構成要素、および性能とプログラムでインターフェース接続することを可能にするようにアプリケーションプログラミングインターフェース（「ＡＰＩ」）を提供する。そのようなＡＰＩは、グラフィカルユーザインターフェース（ＧＵＩ）、ウェブベースのインターフェース、アプリケーションプログラミングインターフェース（ＡＰＩ）および／またはインターフェース要素に対応するリモートプロシージャコール（ＲＰＣ）のセット等のプログラマチックインタフェース、インターフェース要素が通信プロトコルのメッセージに対応するメッセージングインターフェース、および／またはそれらの好適な組み合わせを含み得るユーザインターフェースに加わり得る。

アーカイブデータ記憶システム２０６により提供される性能は、データ記憶、データ検索、データ削除、メタデータ操作、種々の操作パラメータの構成等を含み得る。メタデータ操作は、特定の顧客のために記憶されたデータのカタログを検索する要求、データ回復要求、ジョブ照会等を含み得る。構成ＡＰＩは、顧客にアカウント情報、監査ログ、ポリシー、通知設定等を構成させ得る。顧客は、ＡＰＩ要求をアーカイブデータ記憶システムに送信することで上の操作のうちのいずれかの実施を要求し得る。同様に、アーカイブデータ記憶システムは、顧客要求への応答を提供し得る。そのような要求および応答は、ハイパーテキスト転送プロトコル（「ＨＴＴＰ」）、ファイル転送プロトコル（「ＦＴＰ」）等の任意の好適な通信プロトコル上で、ＲＥｐｒｅｓｅｎｔａｔｉｏｎａｌ Ｓｔａｔｅ Ｔｒａｎｓｆｅｒ（「ＲＥＳＴ」）、シンプルオブジェクトアクセスプロトコル（「ＳＯＡＰ」）等の任意の好適なフォーマットで提出され得る。要求および応答は、例えば、暗号キー等で暗号化されたＢａｓｅ６４符号化を用いて符号化され得る。

いくつかの実施形態では、アーカイブデータ記憶システム２０６は、顧客に１つ以上のアーカイブデータオブジェクトを記憶する論理データコンテナのような１つ以上の論理構造を作成させる。本明細書に使用されるように、データオブジェクトは、広く使用され、任意の特定の構造または他のデータへの関係を必ずしも暗示するものではない。データオブジェクトは、例えば、単にビットの配列であり得る。典型的に、そのような論理データ構造は、顧客のあるビジネス要件に見合うように作成され得、独立して、アーカイブデータ記憶システムに記憶されたデータの物理組織である。本明細書に使用されるように、用語「論理データコンテナ」とは、データオブジェクトの群化を指す。例えば、特定の目的のためまたは特定の期間中に作成されたデータオブジェクトは、同一の論理データコンテナに記憶され得る。各論理データコンテナは、ネスト化されたデータコンテナまたはデータオブジェクトを含み得、コンテナのサイズ制限のような一式のポリシー、コンテナに記憶され得るデータオブジェクトの最大数、有効期限、アクセス制御リスト等と関連付けられ得る。種々の実施形態では、論理データコンテナは、例えば構成可能な情報に基づいて、ＡＰＩ要求を介して顧客によって、システム管理者によって、またはデータ記憶システムによって、作成されるか、削除されるか、または別様に修正され得る。例えば、次のＨＴＴＰ ＰＵＴ要求は、一実施形態では、アカウント識別子「ａｃｃｏｕｎｔＩｄ」により識別される顧客に関連付けられる名称「ｌｏｇｉｃａｌ−ｃｏｎｔａｉｎｅｒ−ｎａｍｅ」を有する論理データコンテナを作成するように使用され得る。

ＰＵＴ／｛ａｃｃｏｕｎｔＩｄ｝／ｌｏｇｉｃａｌ−ｃｏｎｔａｉｎｅｒ−ｎａｍｅ ＨＴＴＰ／１．１

一実施形態では、アーカイブデータ記憶システム２０６は、データオブジェクトを論理データコンテナ内に記憶するように顧客のためにＡＰＩを提供する。例えば、次のＨＴＴＰ ＰＯＳＴ要求は、例示説明となる実施形態では、所与の論理コンテナ内にデータオブジェクトを記憶するように使用され得る。一実施形態では、要求は、記憶場所の論理経路、データ長、データペイロードへの参照、データペイロードのデジタルダイジェスト、および他の情報を指定し得る。一実施形態では、ＡＰＩは、顧客に、１つの要求で複数のデータオブジェクトを１つ以上の論理データコンテナにアップロードさせ得る。データオブジェクトが巨大な別の実施形態では、ＡＰＩは、顧客に、各々がデータオブジェクトの一部分を有する複数のパートにおいてデータオブジェクトをアップロードさせ得る。

ＰＯＳＴ／｛ａｃｃｏｕｎｔＩｄ｝／ｌｏｇｉｃａｌ−ｃｏｎｔａｉｎｅｒ−ｎａｍｅ／ｄａｔａ ＨＴＴＰ／１．１
Ｃｏｎｔｅｎｔ−Ｌｅｎｇｔｈ：１１２８１９２
ｘ−ＡＢＣ−ｄａｔａ−ｄｅｓｃｒｉｐｔｉｏｎ：“ａｎｎｕａｌ−ｒｅｓｕｌｔ−２０１２．ｘｌｓ”
ｘ−ＡＢＣ−ｍｄ５−ｔｒｅｅ−ｈａｓｈ： ６３４ｄ９ａ０６８８ａｆｆ９５ｃ

データ記憶要求に応答して、一実施形態では、アーカイブデータ記憶システム２０６は、データオブジェクトが成功裡に記憶された場合、データオブジェクト識別子を提供する。そのようなデータオブジェクト識別子は、後続の要求において記憶されたデータオブジェクトを検索するか、削除するか、または別様に参照するように使用され得る。いくつかの実施形態では、そのようなデータオブジェクト識別子は、グローバル名前空間キーマップ（ｇｌｏｂａｌ ｎａｍｅｓｐａｃｅ ｋｅｙ ｍａｐ）等の付加的なデータ構造を必要とせず、データオブジェクトの場所を特定するようにアーカイブデータ記憶システムにより使用され得る（例えば、暗号化の有無にかかわらず）記憶場所情報をそこに含む「自己記述型」であり得る。更に、いくつかの実施形態では、データオブジェクト識別子は、ペイロードダイジェスト、エラー検出コード、アクセス制御データ、および後続の要求およびデータ整合性を検証するように使用され得る他の情報等の他の情報もまた符号化し得る。いくつかの実施形態では、アーカイブデータ記憶システムは、受信データをアーカイブデータ記憶に移動させる前にそれを一時耐久性データストアに記憶する。よって、顧客は、アップロードされた要求が完了されるとその瞬間データが耐久的に持続されたと見なし得るが、実際の長期持続されたデータストアへの記憶は、ある程度後（例えば、１２時間後）まで開始されない可能性がある。いくつかの実施形態では、実際の記憶のタイミングは、データオブジェクトのサイズ、概日周期中のシステムロード、顧客と記憶サービスプロバイダとの間のサービスレベル契約等の構成可能な情報、および他の要因によって様々であり得る。

いくつかの実施形態では、アーカイブデータ記憶システム２０６は、顧客がアーカイブデータ記憶システムに記憶されたデータを検索するためのＡＰＩを提供する。そのような実施形態では、顧客は、データ検索を遂行するようにジョブを開始し得、ジョブのステータスのために通知によってまたはシステムをポーリングすることによってジョブの完了を知り得る。本明細書に使用されるように、「ジョブ」とは、要求が受け取られた時間から一時的に独立して遂行され得る顧客要求に対応するデータ関連アクティビティを指す。例えば、ジョブは、データを検索すること、記憶および削除すること、メタデータを検索すること等を含み得る。ジョブは、例えば、特定の顧客のための全てのジョブの中で一意であり得るジョブ識別子によって識別され得る。例えば、次のＨＴＴＰ ＰＯＳＴ要求は、例示説明となる実施形態では、データオブジェクト識別子「ｄａｔａＯｂｊｅｃｔＩｄ」によって識別されたデータオブジェクトを検索するジョブを開始するように使用され得る。他の実施形態では、データ検索要求は、複数のデータオブジェクト、論理データコンテナと関連付けられるデータオブジェクト等の検索を要求し得る。

ＰＯＳＴ／｛ａｃｃｏｕｎｔＩｄ｝／ｌｏｇｉｃａｌ−ｄａｔａ−ｃｏｎｔａｉｎｅｒ−ｎａｍｅ／ｄａｔａ／｛ｄａｔａＯｂｊｅｃｔＩｄ｝ＨＴＴＰ／１．１

要求に応答して、一実施形態では、アーカイブデータ記憶システム２０６は、次の応答においてジョブに割り当てられたジョブ識別子 ｊｏｂ−ｉｄ」を提供する。この実施例では、応答は、検索されたデータが記憶される記憶場所までの経路を提供する。

ＨＴＴＰ／１．１ ２０２ ＡＣＣＥＰＴＥＤ
Ｌｏｃａｔｉｏｎ：／｛ａｃｃｏｕｎｔＩｄ｝／ｌｏｇｉｃａｌ−ｄａｔａ−ｃｏｎｔａｉｎｅｒ−ｎａｍｅ／ｊｏｂｓ／｛ｊｏｂ−ｉｄ｝

任意の時点で、アーカイブデータ記憶システムは、種々のデータ操作のために多くの保留中のジョブを有し得る。いくつかの実施形態では、アーカイブデータ記憶システムは、費用、性能、拡張性等のシステム規準を最適化するように、バッチ処理、ロード分散、ジョブ結合等のジョブ計画および最適化技術を用い得る。いくつかの実施形態では、実際のデータ検索のタイミングは、検索されたデータのサイズ、システムロードおよび容量、記憶デバイスの有効なステータス等の要因によって様々である。例えば、いくつかの実施形態では、アーカイブデータ記憶システムにおける少なくともいくつかのデータ記憶デバイスは、例えば、動作費用を削減するために電力管理スケジュールに従って有効にされ得るかまたは無効化され得る。よって、（回転ハードドライブ等の）現在有効な記憶デバイスに記憶されたデータの検索は、（回転を抑えた（ｓｐｉｎｎｅｄ−ｄｏｗｎ）ハードドライブ等の）現在無効の記憶デバイスに記憶されたデータの検索よりも速い可能性がある。

一実施形態では、データ検索ジョブが完了されると、検索されたデータは、ステージングデータストアに記憶されて顧客ダウンロードのために利用可能になる。いくつかの実施形態では、顧客は、構成可能な通知サービスによりジョブのステータスにおける変更を通知される。他の実施形態では、顧客は、ジョブ識別子を用いてシステムをポーリングすることによってジョブのステータスを知り得る。次のＨＴＴＰ ＧＥＴ要求は、一実施形態では、前に提供されたダウンロード経路を用いて、「ｊｏｂ−ｉｄ」によって識別されるジョブにより検索されるデータをダウンロードするように使用され得る。

ＧＥＴ／｛ａｃｃｏｕｎｔＩｄ｝／ｌｏｇｉｃａｌ−ｄａｔａ−ｃｏｎｔａｉｎｅｒ−ｎａｍｅ／ｊｏｂｓ／｛ｊｏｂ−ｉｄ｝／ｏｕｔｐｕｔ ＨＴＴＰ／１．１

ＧＥＴ要求に応答して、例示説明となる実施形態では、アーカイブデータ記憶システム２０６は、次のＨＴＴＰ応答において確証目的のためのデータのツリーハッシュと共に、検索されたデータを提供し得る。

ＨＴＴＰ／１．１ ２００ ＯＫ
Ｃｏｎｔｅｎｔ−Ｌｅｎｇｔｈ：１１２８１９２
ｘ−ＡＢＣ−ａｒｃｈｉｖｅ−ｄｅｓｃｒｉｐｔｉｏｎ：“ｒｅｔｒｉｅｖｅｄ ｓｔｕｆｆ”
ｘ−ＡＢＣ−ｍｄ５−ｔｒｅｅ−ｈａｓｈ：６９３ｄ９ａ７８３８ａｆｆ９５ｃ
［１１１２１９２バイトのユーザデータが続く］

一実施形態では、顧客は、データオブジェクトに関連付けられたデータオブジェクト識別子を指定することによりアーカイブデータ記憶システムに記憶されるデータオブジェクトの削除を要求し得る。例えば、例示説明となる実施形態では、データオブジェクト識別子「ｄａｔａＯｂｊｅｃｔＩｄ」を有するデータオブジェクトは、次のＨＴＴＰ要求を用いて削除され得る。別の実施形態では、顧客は、特定の論理データコンテナに関連付けられたもののような複数のデータオブジェクトの削除を要求し得る。

ＤＥＬＥＴＥ／｛ａｃｃｏｕｎｔＩｄ｝／ｌｏｇｉｃａｌ−ｄａｔａ−ｃｏｎｔａｉｎｅｒ−ｎａｍｅ／ｄａｔａ／｛ｄａｔａＯｂｊｅｃｔＩｄ｝ＨＴＴＰ／１．１

種々の実施形態では、データオブジェクトは、顧客要求に応答して削除され得るか、またはユーザ指定の有効期限または初期設定の有効期限に従って自動的に削除され得る。いくつかの実施形態では、データオブジェクトは、有効期間に応じて顧客がアクセスできないようにレンダリングされ得るが、有効期間を超える猶予期間中には回復可能状態で残る。種々の実施形態では、猶予期間は、顧客構成、サービスレベル契約条件等の構成可能な情報に基づき得る。いくつかの実施形態では、顧客は、保留データ削除のための通知を問い合わせるかまたは受け取る、および／または保留データ削除のうちの１つ以上をキャンセルする能力を提供され得る。例えば、一実施形態では、顧客は、顧客が論理データコンテナに関連付けられたある事象の通知を受け取るように論理データコンテナに関連付けられた通知構成を設定し得る。そのような事象は、データ検索ジョブ要求の完了、メタデータ要求の完了、データオブジェクトまたは論理データコンテナの削除等を含み得る。

一実施形態では、アーカイブデータ記憶システム２０６は、論理データコンテナに関連付けられたメタデータのようなメタデータを検索して管理するためにメタデータＡＰＩもまた提供する。種々の実施形態では、そのような要求は、（結果が後に戻される）非同期にかまたは（結果が直ぐに戻される）同期に処理され得る。

なおも図２を参照して、一実施形態では、上で論じたＡＰＩ要求のうちの少なくともいくつかは、フロントエンド２０８の一部としてＡＰＩ要求ハンドラ２１８によって処理される。例えば、ＡＰＩ要求ハンドラ２１８は、ｕｎｉｆｏｒｍ ｒｅｓｏｕｒｃｅ ｉｄｅｎｔｉｆｉｅｒ（「ＵＲＩ」）、要求された作用および関連付けられたパラメータ、識別情報、データオブジェクト識別子等の情報を抽出するように受信ＡＰＩ要求を復号し得るおよび／または解析し得る。更に、ＡＰＩ要求ハンドラ２１８は、必要な場合、ＡＰＩ要求を更に処理するように（以下に記載の）他のサービスを呼び出す。

一実施形態では、フロントエンド２０８は、ＡＰＩ要求を認証するように、例えば、ＡＰＩハンドラ２１８によって呼び出され得る認証サービス２２０を含む。例えば、いくつかの実施形態では、認証サービス２２０は、ユーザ名およびパスワードインターネットプロトコル（「ＩＰ）アドレス、クッキー、デジタル証明書、デジタル署名等のＡＰＩ要求と共に提出された識別情報を確証し得る。他の実施形態では、認証サービス２２０は、付加的な情報を提供するか、またはチャレンジレスポンス認証プロトコル等下で多元的認証スキームで要求されたような要求を認証するように更なるステップを遂行するように顧客に要求し得る。

一実施形態では、フロントエンド２０８は、要求に関連付けられたように決定された１つ以上のポリシーに従って要求されたアクセスが許可されるかどうかを判定するように、例えば、ＡＰＩハンドラ２１８によって呼び出され得る承認サービス２２２を含む。例えば、一実施形態では、承認サービス２２２は、要求されたアクセスが、要求元のそれ自体の論理データコンテナに含まれるデータオブジェクトに関するか、またはリクエスタが別様にアクセスするように承認されるかを確証する。いくつかの実施形態では、承認サービス２２２またはフロントエンド２０８の他のサービスは、データオブジェクト識別子によって符号化された検証情報のような要求に符号化された情報に少なくとも部分的に基づいてデータ要求の検証性および整合性を検査し得る。

一実施形態では、フロントエンド２０８は、使用されたデータ記憶空間、記憶されたデータオブジェクトの数、処理されたデータ要求等の各顧客のためのサービス使用情報を監視する計測サービス２２４を含む。一実施形態では、フロントエンド２０８は、例えば、計測サービス２２４によって収集される計測情報、顧客アカウント情報等に基づいて課金および請求に関連した機能性を遂行する課金サービス２２６もまた含む。例えば、顧客は、顧客により使用された記憶空間、データオブジェクトのサイズおよび数、提出された要求の種類および数、顧客アカウントの種類、サービスレベル契約等に基づいて料金を請求され得る。

一実施形態では、フロントエンド２０８は、いくつかのまたは全ての受信要求をバッチ処理する。例えば、フロントエンド２０８は、（例えば、認証、承認、課金等の）要求を処理する前に一定の数の要求が受け取られるまで待機し得る。そのような受信要求のバッチ処理は、効率性を増加させるように使用され得る。

いくつかの実施形態では、フロントエンド２０８は、ＡＰＩ要求を更に処理するようにアーカイブデータ記憶システムの他のサブシステムによって提供されるサービスを呼び出し得る。例えば、フロントエンド２０８は、メタデータ要求を満たすようにメタデータプレーン２１６においてサービスを呼び出し得る。別の実施例には、フロントエンド２０８は、直接Ｉ／Ｏのための制御プレーン２１０の内外でそれぞれ、データ記憶および検索要求のためにデータを配信し得る。

ここで図２に例示される直接Ｉ／Ｏのための制御プレーン２１０を参照すると、種々の実施形態では、直接Ｉ／Ｏのための制御プレーン２１０は、顧客要求の結果として作成されたジョブを作成、トラック、および管理するサービスを提供する。上で論じられたように、ジョブは、データ検索、記憶、メタデータクエリー等の開始する要求に非同期に遂行され得る顧客開始型アクティビティを指す。一実施形態では、直接Ｉ／Ｏのための制御プレーン２１０は、ＡＰＩ要求ハンドラ２１８から受け取られたもののような顧客要求に対応するジョブ記録またはエントリーを作成しジョブの実行を監視するように構成される、ジョブトラッカー２３０を含む。種々の実施形態では、ジョブ記録は、顧客アカウント識別子、ジョブ識別子、データオブジェクト識別子、（以下に記載の）ペイロードデータキャッシュ２２８への参照、ジョブステータス、データ検証情報等のジョブの実行に関連する情報を含み得る。いくつかの実施形態では、ジョブトラッカー２３０は、複数の要求からジョブ記録を構成するのに必要な情報を収集し得る。例えば、大量のデータが記憶されるように要求されると、データアップロードは、複数の要求に細分化され得、各々がデータの一部分をアップロードする。そのような場合には、ジョブトラッカー２３０は、ジョブ記録が作成される前に全てのデータパートが受け取られることを確実にするように、アップロードステータスのトラックを保管するように情報を維持し得る。いくつかの実施形態では、ジョブトラッカー２３０は、記憶されるデータに関連付けられたデータオブジェクト識別子もまた取得し、例えば、顧客に戻されるようにフロントエンドサービスにデータオブジェクト識別子を提供する。一実施形態では、そのようなデータオブジェクト識別子は、以下に記載される、記憶ノードマネージャ２４４、記憶ノードレジストラ２４８等のデータプレーン２１４サービスから取得され得る。

いくつかの実施形態では、直接Ｉ／Ｏのための制御プレーン２１０は、ジョブエントリーまたは記録を記憶するためにジョブトラッカーストア２３２を含む。種々の実施形態では、ジョブトラッカーストア２３２は、キーバリューデータストアのようなＮｏＳＱＬデータ管理システム、リレーショナルデータベース管理システム（「ＲＤＢＭＳ」）、または任意の他のデータ記憶システムにより実装され得る。いくつかの実施形態では、ジョブトラッカーストア２３２に記憶されたデータは、特定の顧客に属するジョブの高速列挙を可能にし、効率的なバルク記録削除、サービスの別々のインスタンスによる並列処理等を容易にするように分割され得る。例えば、ジョブトラッカーストア２３２は、顧客アカウント識別子に従って分割され範囲キー（ｒａｎｇｅ ｋｅｙｓ）としてジョブ識別子を使用する、テーブルを実装し得る。一実施形態では、ジョブトラッカーストア２３２は、ジョブの終了およびクリーンアップ動作を容易にするように、（ジョブ有効期間等の）時間に基づいて更に副次的に分割（ｓｕｂ−ｐａｒｔｉｔｉｏｎｅｄ）される。一実施形態では、ジョブトラッカーストア２３２に対するトランザクションは、トランザクションの合計数を削減するように集約され得る。例えば、いくつかの実施形態では、ジョブトラッカー２３０は、１つの単一の集約されたジョブをジョブトラッカーストア２３２内に挿入する前に、複数の要求に対応する集合的な複数のジョブを１つの単一の集約されたジョブ内に実施し得る。

一実施形態では、ジョブトラッカー２３０は、例えば、共有制御プレーン２１２におけるサービスによって、更なるジョブスケジューリングおよび計画のためのジョブを提出するように構成される。加えて、ジョブトラッカー２３０は、ジョブの実行を監視し、ジョブが完了されるとジョブトラッカーストア２３２の対応するジョブ記録を更新するように構成され得る。いくつかの実施形態では、ジョブトラッカー２３０は、ジョブステータスクエリーのような顧客クエリーを処理するように更に構成され得る。いくつかの実施形態では、ジョブトラッカー２３０は、顧客またはアーカイブデータ記憶システムの他のサービスにジョブステータス変更の通知も提供する。例えば、データ検索ジョブが完了すると、ジョブトラッカー２３０は、（例えば、通知サービスを用いて）データがダウンロード可能であると顧客に通知し得る。別の実施例として、データ記憶ジョブが完了すると、ジョブトラッカー２３０は、以下に記載の一時ペイロードデータキャッシュ２２８からデータ記憶ジョブに関連付けられるペイロードデータを消去するようにクリーンアップエージェント（ｃｌｅａｎｕｐ ａｇｅｎｔ）２３４に通知し得る。

一実施形態では、直接Ｉ／Ｏのための制御プレーン２１０は、データプレーン２１４とフロントエンド２０８との間を通過するペイロードデータのための一時データ記憶サービスを提供するためにペイロードデータキャッシュ２２８を含む。そのようなデータは、記憶保留中の受信データおよび顧客のダウンロード待ちの送信データを含む。本明細書に使用されるように、一時データストアは、データオブジェクトをそれらが本明細書に記載のアーカイブデータ記憶に記憶される前に記憶するかまたはアーカイブデータ記憶から検索されるデータオブジェクトを記憶するために使用されるデータストアを指す一時的データストアまたはステージングデータストアと同義に使用される。一時データストアは、揮発性または不揮発性（耐久性）の記憶を提供し得る。ほとんどの実施形態では、一時データストアは、永続的にデータを記憶するために潜在的に使用可能である一方で、アーカイブデータ記憶システムよりも短期間だけデータを記憶するように意図され、本明細書に記載のデータアーカイブ記憶システムよりも対費用効果が少ない場合がある。一実施形態では、受信および送信データに提供された一時データ記憶サービスは、分化され得る。例えば、アーカイブデータ記憶にまだ持続されていない受信データのためのデータ記憶は、アーカイブデータ記憶にすでに持続されている送信（検索された）データのためのデータ記憶より高度な信頼性および耐久性を提供し得る。別の実施形態では、一時記憶は、受信データにとって任意であり得、それは、例えば、十分な帯域幅および／または記憶する容量を有するシステムが存在する場合受信データは、ペイロードデータキャッシュ２２８等の一時データ記憶に記憶されることなくアーカイブデータ記憶に直接記憶され得るためである。

一実施形態では、直接Ｉ／Ｏのための制御プレーン２１０は、ジョブトラッカーストア２３２および／またはペイロードデータキャッシュ２２８を監視し、これ以上必要ないデータを消去するクリーンアップエージェント２３４もまた含む。例えば、データ記憶要求に関連付けられたペイロードデータは、データが永久記憶装置（例えば、データプレーン２１４）に持続された後で、ペイロードデータキャッシュ２２８から安全に消去され得る。リバース経路上で、顧客ダウンロードのためにステージされたデータは、利用可能な期間後（例えば、データがステージされてから３０日間）かまたは顧客がステージされたデータがこれ以上必要ないと示した後に、ペイロードデータキャッシュ２２８から消去され得る。

いくつかの実施形態では、クリーンアップエージェント２３４は、ジョブステータスが、ジョブが完了したかまたは強制終了したかを示すと、ジョブトラッカーストア２３２からジョブ記録を消去する。上で論じられたように、いくつかの実施形態では、ジョブトラッカーストア２３２は、より速いクリーンアップを可能にするように分割され得る。データが顧客アカウント識別子によって分割される一実施形態では、クリーンアップエージェント２３４は、個別のジョブを１つずつ削除することの代わりに、ジョブが完了したとき特定の顧客アカウントのためのジョブを記憶するテーブル全体を消去し得る。データがジョブ有効期間に基づいて更に副次的に分割される別の実施形態では、クリーンアップエージェント２３４は、分割された領域の全てのジョブの有効期限が切れた後でジョブの全部の分割された領域またはテーブルをバルク削除し得る。他の実施形態では、クリーンアップエージェント２３４は、クリーンアップエージェント２３４にジョブトラッカーストア２３２および／またはペイロードデータキャッシュ２２８からジョブ記録を消去させるジョブトラッカー２３０のような他のサービスから命令または（ジョブが完了した指標等の）制御メッセージを受け取り得る。

ここから図２に例示される共有制御プレーン２１２を参照する。種々の実施形態では、共有制御プレーン２１２は、Ｉ／Ｏのための制御プレーン２１０から入ってくる平均ロードレベル（ジョブ）までピークを弱め、データプレーン２１４に管理可能な作業負荷を送達するように待ち行列ベースのロードのレベリングサービスを提供する。一実施形態では、共有制御プレーン２１２は、上述のように、直接Ｉ／Ｏのための制御プレーン２１０のジョブトラッカー２３０によって作成されたジョブを受け取るためのジョブ要求待ち行列２３６、データプレーン２１４（例えば、記憶ノードマネージャ２４４）からのサービスが実行する作業を受け取る記憶ノードマネージャジョブストア２４０、およびジョブ要求待ち行列２３６から記憶ノードマネージャジョブストア２４０に知的な方式でジョブアイテムを転送するための要求分散装置２３８を含む。

一実施形態では、ジョブ要求待ち行列２３６は、待ち行列（例えば、先入先出法（ＦＩＦＯ）または先入後出法（ＦＩＬＯ））、セット、または任意の他の好適なデータ構造にアイテムを挿入する、およびそこからアイテムを消去するためのサービスを提供する。ジョブ要求待ち行列２３６のジョブエントリーは、上述のように、ジョブトラッカーストア２３２に記憶されたジョブ記録に類似してもよく、またはジョブ記録から異なってもよい。

一実施形態では、共有制御プレーン２１２は、データプレーン２１４（例えば、記憶ノードマネージャ２４４、反エントロピーウォッチャー２５２）からのサービスが、ジョブ計画の最適化、検査ポインティング、および回復を遂行することを可能にする耐久性がある高効率性ジョブストア、記憶ノードマネージャジョブストア２４０も提供する。例えば、一実施形態では、記憶ノードマネージャジョブストア２４０は、走査すること、問い合わせること、分類すること、または記憶ノードマネージャジョブストア２４０に記憶されたジョブアイテムを別様に操作することおよび管理することを支持することによって、バッチ処理、動作を結合すること等のジョブ最適化を可能にする。一実施形態では、記憶ノードマネージャ２４４は、受信ジョブを走査し、データ操作（例えば、読み出し、書き込み、または削除）の種類、記憶場所（例えば、ボリューム、ディスク）、顧客アカウント識別子等によってジョブを分類する。記憶ノードマネージャ２４４は、次いで、再順序付けするか、結合させるか、バッチにおいて群化させるか、または処理のためにジョブを別様に操作しスケジュールし得る。例えば、一実施形態では、記憶ノードマネージャ２４４は、全ての読み出しおよび削除操作の前に全ての書き込み操作をバッチ処理し得る。別の実施形態では、記憶ノードマネージャ２４４は、動作結合を遂行し得る。別の実施例では、記憶ノードマネージャ２４４は、同じオブジェクトのための複数の検索ジョブを１つのジョブに結合し得るか、または削除ジョブが記憶ジョブの後にくる同一のデータオブジェクトのための記憶ジョブおよび削除ジョブをキャンセルし得る。

一実施形態では、記憶ノードマネージャジョブストア２４０は、複数の記憶ノードマネージャ２４４の独立処理を可能にし、全ての関与する記憶ノードマネージャ２４４に受信作業負荷の均等分散を提供するように、例えば、ジョブ識別子に基づいて、分割される。種々の実施形態では、記憶ノードマネージャジョブストア２４０は、キーバリューデータストアのようなＮｏ ＳＱＬデータ管理システム、ＲＤＢＭＳ、または任意の他のデータ記憶システムにより実装され得る。

一実施形態では、要求分散装置２３８は、作業負荷の変形例をならしシステム可用性を増加させるように、ジョブ要求待ち行列２３６から記憶ノードマネージャジョブストア２４０にジョブアイテムを転送するためのサービスを提供する。例えば、要求分散装置２３８は、記憶ノードマネージャストア２４０の作業負荷の比較的に持続可能なレベルを維持するように、ジョブ要求待ち行列２３６に入ってくるジョブ要求にサージが存在する場合、より低い速度で、またはより小さい粒度でジョブ要求待ち行列２３６からジョブアイテムを転送し得、入ってくるジョブ要求に小康状態が存在する場合である逆の場合も同様である。いくつかの実施形態では、作業負荷のそのような持続可能なレベルは、システムの平均作業負荷とほぼ同じかまたは下回る。

一実施形態では、完了したジョブアイテムは、記憶ノードマネージャジョブストア２４０から消去され、ジョブ結果待ち行列２４２に追加される。一実施形態では、データプレーン２１４サービス（例えば、記憶ノードマネージャ２４４）は、記憶ノードマネージャジョブストア２４０からジョブアイテムを消去して、それらをジョブ結果待ち行列２４２に追加することを担う。いくつかの実施形態では、上に論じられる、ジョブ要求待ち行列２４２は、ジョブ要求待ち行列２３６として類似の方式で実装され得る。

ここから図２に例示されるデータプレーン２１４を参照する。種々の実施形態では、データプレーン２１４は、長期アーカイブデータ記憶、検索および削除、データ管理および配置、反エントロピー動作等に関連するサービスを提供する。種々の実施形態では、データプレーン２１４は、データ記憶デバイス（テープドライブ、ハードディスクドライブ、ソリッドステートデバイス等）、記憶ノードまたはサーバ、データセンター等の任意の数および種類の記憶エンティティを含み得る。そのような記憶エンティティは、物理的か、仮想化か、またはそれらの任意の抽象化（例えば、分散型記憶および／またはコンピューティングシステムのインスタンス）であり得、階層型または段層式トポロジーを含む任意のトポロジー中に体系化される。同様に、データプレーンの構成要素は、分散されるか、ローカルか、またはそれらの任意の組み合わせであり得る。例えば、種々のコンピューティングまたは記憶構成要素は、任意の数のデータセンター、サーバ、またはデータ記憶デバイスに対してローカルかまたはリモートであり得、これらの任意の数のデータセンター、サーバ、またはデータ記憶デバイスは、互いに対してローカルかまたはリモートであり得る。種々の実施形態では、物理的な記憶エンティティは、有効である物理的なハードウェア（例えば、活発に回転しているハードドライブの数）の部分を制御することによって電力および冷却費用を最小化するために設計され得る。一実施形態では、物理的な記憶エンティティは、記憶容量を向上させるように瓦記録方式（ＳＭＲ）のような技術を実装する。

図２により例示される環境では、１つ以上の記憶ノードマネージャ２４４それぞれは、データおよび制御メッセージを送信することおよび受け取ることによって１つ以上の記憶ノード２４６を制御する。その結果、各記憶ノード２４６は、ハードディスクドライブのようなデータ記憶デバイスの（潜在的に大きい）集合体を制御する。種々の実施形態では、記憶ノードマネージャ２４４は、１つ以上の記憶ノード２４６と通信し得、記憶ノード２４６は、１つ以上の記憶ノードマネージャ２４４と通信し得る。一実施形態では、記憶ノードマネージャ２４４は、ダイジェスト計算、データ符号化および復号、ジョブ計画および最適化等の比較的複雑な計算を遂行できる１つ以上のコンピューティングデバイスによって実装される。いくつかの実施形態では、記憶ノード２４６は、記憶ノードマネージャ２４４より劣る計算性能を有する１つ以上のコンピューティングデバイスによって実装される。更に、いくつかの実施形態では、記憶ノードマネージャ２４４は、データ経路に含まれていない可能性がある。例えば、データは、ペイロードデータキャッシュ２２８から直接記憶ノード２４６に伝送され得るか、または１つ以上の記憶ノード２４６からペイロードデータキャッシュ２２８に伝送され得る。この方法で、記憶ノードマネージャ２４４は、ペイロードデータキャッシュ２２８および／または記憶ノード２４６から直接ペイロードを受け取ることなく、ペイロードデータキャッシュ２２８および／または記憶ノード２４６に命令を伝送し得る。種々の実施形態では、記憶ノードマネージャ２４４は、データの流れを導くように本明細書に記載のアーカイブデータ記憶システム２０６の任意の他の構成要素に命令または制御メッセージを送信し得る。

一実施形態では、記憶ノードマネージャ２４４は、共有制御プレーン２１２（例えば、記憶ノードマネージャジョブストア２４０）からジョブアイテムを選ぶこと、ペイロードデータキャッシュ２２８からステージされたデータを検索してデータ記憶ジョブのために必要なデータ符号化を遂行すること、およびデータを記憶、検索、または削除するように適切な記憶ノード２４６に要求することによって、データプレーン２１４に入ってきてデータプレーン２１４から出ていくジョブのためのエントリーポイントとして機能する。記憶ノード２４６が要求されたデータ操作を遂行することを終了すると、記憶ノードマネージャ２４４は、データ復号することおよびデータ検索ジョブのためにペイロードデータキャッシュ２２８に検索されたデータを記憶することのような付加的な処理を遂行し得、共有制御プレーン２１２においてジョブ記録を更新し得る（例えば、記憶ノードマネージャジョブストア２４０から終了したジョブを消去して、それらをジョブ結果待ち行列２４２に追加すること）。

一実施形態では、記憶ノードマネージャ２４４は、データ冗長性、安全性等を提供するデータ記憶の前に１つ以上のデータ符号化スキームに従ってデータ符号化を遂行する。そのようなデータ符号化スキームは、暗号化スキーム、消失訂正符号化のような冗長性符号化スキーム、ｒｅｄｕｎｄａｎｔ ａｒｒａｙ ｏｆ ｉｎｄｅｐｅｎｄｅｎｔ ｄｉｓｋｓ（ＲＡＩＤ）符号化スキーム、複製等を含み得る。同様に、一実施形態では、記憶ノードマネージャ２４４は、元のデータを復元するデータ検索の後で、解読、消失訂正復号化等の対応するデータ復号スキームを遂行する。

記憶ノードマネージャジョブストア２４０に関連して上で論じられたように、記憶ノードマネージャ２４４は、効率性を高めるように、バッチ処理、動作結合等のジョブ計画および最適化を実装し得る。いくつかの実施形態では、ジョブは、分割された領域間にわずかの重複しか存在しないようにかまたは重複が存在しないように記憶ノードマネージャの間で分割される。そのような実施形態は、複数の記憶ノードマネージャによって、例えば、競合またはロッキングの確率を削減することによって、並列処理を容易にする。

種々の実施形態では、データプレーン２１４は、データ整合性を容易にするように実装される。例えば、記憶ノードマネージャ２４４および／または記憶ノード２４６のようなバルクデータの流れを処理する記憶エンティティは、記憶されたかまたは検索されたデータのダイジェストを検証し得、メタデータの整合性等を確実にするエラー検出コードを検査し得る。

種々の実施形態では、データプレーン２１４は、アーカイブデータ記憶システムの拡張性および信頼性を容易にするように実装される。例えば、一実施形態では、記憶ノードマネージャ２４４は、内部状態が追加されるか、消去されるか、または少しの不利な影響で変換されることができるように、内部状態を維持しないかまたは少しの内部状態を維持する。一実施形態では、各記憶デバイスは、ユニット上に記憶されたデータについての情報を提供することができる自己完結型および自己記述型記憶ユニットである。そのような情報は、データの損失の場合データ回復を容易にするように使用され得る。更には、一実施形態では、各記憶ノード２４６は、記憶ノードのネットワークの場所および１つ以上の記憶ノードレジストラ２４８および／または記憶ノードレジストラストア２５０に接続された記憶デバイスの記憶情報を含む記憶ノードについて、情報を収集することおよび報告することができる。いくつかの実施形態では、記憶ノード２４６は、システム開始時にそのような自己報告を遂行し、定期的に更新された情報を提供する。種々の実施形態では、そのような自己報告アプローチは、大量のデータオブジェクトがアーカイブデータシステムに記憶される場合に、実質的に増大できるグローバル名前空間キーマップまたはインデックスを維持する必要なく、動的および最新になったディレクトリ情報を提供する。

一実施形態では、データプレーン２１４は、記憶エンティティのためのディレクトリ情報およびそこに記憶されたデータ、データ配置サービス等を提供する１つ以上の記憶ノードレジストラ２４８も含み得る。記憶ノードレジストラ２４８は、記憶ノードレジストラ２４８のための記憶を提供する１つ以上の記憶ノードレジストラストア２５０へのフロントエンドサービスと通信し、フロントエンドサービスとして機能し得る。種々の実施形態では、記憶ノードレジストラストア２５０は、キーバリューデータストアのようなＮｏＳＱＬデータ管理システム、ＲＤＢＭＳ、または任意の他のデータ記憶システムにより実装され得る。いくつかの実施形態では、記憶ノードレジストラストア２５０は、サービスの複数のインスタンスによる並列処理を可能にするように分割され得る。上で論じられたように、一実施形態では、記憶ノードレジストラストア２５０で記憶された情報は、記憶ノード２４６それ自体によって報告された情報に少なくとも部分的に基づく。

いくつかの実施形態では、記憶ノードレジストラ２４８は、例えば、データ記憶、検索、および削除操作のためにどの記憶ノード２４６に接触するかを決定したい記憶ノードマネージャ２４４にディレクトリサービスを提供する。例えば、記憶ノードマネージャ２４４によって提供されたボリューム識別子を所与として、記憶ノードレジストラ２４８は、記憶ノードレジストラストア２５０に維持されるマッピングに基づいて、ボリューム識別子に対応するボリューム構成要素をホストする記憶ノードのリストを提供し得る。具体的には、一実施形態では、記憶ノードレジストラストア２５０は、ボリュームまたはボリューム構成要素の識別子のリストと、ドメインネームシステム（ＤＮＳ）名称のような、ボリュームまたはボリューム構成要素をホストする記憶ノードのエンドポイントとの間にマッピングをストアする。

本明細書に使用されるように、「ボリューム」とは、データオブジェクトがそこに記憶され得るデータ記憶システム内の論理記憶空間を指す。ボリュームは、ボリューム識別子によって識別され得る。ボリュームは、１つの物理的な記憶デバイス（例えば、ハードディスク）に存在し得るかまたは複数の記憶デバイスにわたって広がり得る。後者の場合には、ボリュームは、各々が異なる記憶デバイス上に存在する複数のボリューム構成要素を含む。本明細書に使用されるように、「ボリューム構成要素」とは、記憶デバイスのような記憶エンティティに物理的に記憶されるボリュームの一部分を指す。同一のボリュームのためのボリューム構成要素は、異なる記憶エンティティ上に記憶され得る。一実施形態では、データが冗長性符号化スキーム（例えば、消失訂正符号化スキーム、ＲＡＩＤ、複製）によって符号化されるとき、各符号化されたデータ構成要素または「分割データベース」は、耐障害性および独立性を提供するように異なるボリューム構成要素に記憶され得る。いくつかの実施形態では、ボリューム構成要素は、ボリューム識別子および分割データベーススロット識別子を含むボリューム構成要素識別子によって識別される。本明細書に使用されるように、分割データベーススロットは、冗長性符号化スキームにおいて特定の分割データベース、行、またはデータのストライプを識別する。例えば、一実施形態では、分割データベーススロットは、消失訂正符号化マトリクス行に対応する。いくつかの実施形態では、記憶ノードレジストラストア２５０は、合計、使用された空間および空き空間、記憶されたデータオブジェクトの数等のボリュームまたはボリューム構成要素についての情報も記憶する。

いくつかの実施形態では、データプレーン２１４は、データの独立性および耐障害性制約を満たすように、記憶ノードレジストラストア２５０によって維持される情報に少なくとも部分的に基づいて、記憶空間（例えば、ボリューム）を新たなデータオブジェクトを記憶する記憶ノード上に割り当てるための記憶アロケータ２５６も含む。いくつかの実施形態では、記憶アロケータ２５６は、人手の介入を必要とする。

いくつかの実施形態では、データプレーン２１４は、エントロピー効果を検出して反エントロピー訂正ルーチンを開始するための反エントロピーウォッチャー２５２も含む。例えば、反エントロピーウォッチャー２５２は、記憶ノード、ライブを調製すること、または維持されたデータを有する実際のデータ等の全ての記憶エンティティのアクティビティおよびステータスを監視することを担い得る。種々の実施形態では、エントロピー効果は、繰り返された書き込みまたは再書き込みサイクルからもたらされるデータ断片化が原因の性能低下、（例えば、磁気媒体の）ハードウェアウェア、ハードウェア／ソフトウェア異常が原因のデータ非可用性および／またはデータの損失、環境要因、ハードウェアの物理的な破壊、偶然または他の原因を含むが、これらに限定されない。反エントロピーウォッチャー２５２は、そのような効果を検出し得、いくつかの実施形態では、先制しておよび／または反応的に反エントロピー訂正ルーチンおよび／またはポリシーを導入する。

一実施形態では、反エントロピーウォッチャー２５２は、記憶ノード２４６に、記憶ノードに接続される記憶デバイス上で定期的な反エントロピー走査を実施させる。反エントロピーウォッチャー２５２は、情報を集め、データ等を回復するようにジョブ要求待ち行列２３６（および続いてジョブ結果待ち行列２４２）に要求も入れ得る。いくつかの実施形態では、反エントロピーウォッチャー２５２は、参照整合性を確実にするように、以下に記載の、例えば、コールドインデックスストア２６２および記憶ノード２４６上で走査を遂行し得る。

一実施形態では、記憶ノードレジストラストア２５０で記憶された情報は、記憶ノードレジストラ２４８、記憶アロケータ２５６、反エントロピーウォッチャー２５２等の様々なサービスによって使用される。例えば、記憶ノードレジストラ２４８は、データ記憶、検索、および削除中に、（例えば、記憶ノードマネージャ２４４に）データ場所および配置サービスを提供し得る。例えば、記憶されるデータオブジェクトのサイズおよび記憶ノードレジストラストア２５０によって維持される情報を所与として、記憶ノードレジストラ２４８は、データオブジェクトをどこに記憶するか（例えば、ボリューム）を決定し得、データオブジェクトに関連付けられたデータオブジェクト識別子を生成するように使用され得るデータオブジェクトの記憶場所の指標を提供する。別の実施例として、一実施形態では、記憶アロケータ２５６は、独立性および耐障害性制約を満たすように特定の記憶ノードに新たなボリュームのためのボリューム構成要素を作成して配置する記憶ノードレジストラストア２５０に記憶された情報を使用する。なおも別の実施例として、一実施形態では、反エントロピーウォッチャー２５２は、データの損失、ハードウェアの破損等のエントロピー効果を検出するように、記憶ノードレジストラストア２５０に記憶された情報を使用する。

いくつかの実施形態では、データプレーン２１４は、記憶システムのオーファンをトラック記録するように使用される、オーファンクリーンアップデータストア２５４も含む。本明細書に使用されるように、オーファンは、任意の外部エンティティによって参照されない記憶されたデータオブジェクトである。種々の実施形態では、オーファンクリーンアップデータストア２５４は、キーバリューデータストアのようなＮｏＳＱＬデータ管理システム、ＲＤＢＭＳ、または任意の他のデータ記憶システムにより実装され得る。いくつかの実施形態では、記憶ノードレジストラ２４８は、オーファンクリーンアップデータストア２５４にオブジェクト配置情報を記憶する。続いて、オーファンクリーンアップデータストア２５４に記憶された情報は、例えば、反エントロピーウォッチャー２５２によってメタデータプレーン２１６に維持された情報と比較され得る。オーファンが検出された場合、いくつかの実施形態では、オーファンを削除する要求が、共有制御プレーン２１２に挿入される。

ここから図２に例示されるメタデータプレーン２１６を参照する。種々の実施形態では、メタデータプレーン２１６は、インベントリおよび課金目的のための、顧客メタデータ照会等を満たすシステムに記憶されるデータオブジェクトについての情報を提供する。例示された実施形態では、メタデータプレーン２１６は、共有制御プレーン２１２のジョブ結果待ち行列２４２からのエントリーに基づいて実行されたトランザクションについての情報を記憶するメタデータマネジャジョブストア２５８を含む。種々の実施形態では、メタデータマネジャジョブストア２５８は、キーバリューデータストアのようなＮｏＳＱＬデータ管理システム、ＲＤＢＭＳ、または任意の他のデータ記憶システムにより実装され得る。いくつかの実施形態では、メタデータマネジャジョブストア２５８は、例えば、論理データコンテナに基づいて、メタデータマネジャ２６０のようなサービスの複数のインスタンスによって並列処理を容易にするように、分割されて副次的に分割される。

例示説明となる実施形態では、メタデータプレーン２１６は、メタデータマネジャジョブストア２５８の記録に基づいて、（例えば、コールドインデックスストア２６２に記憶された）データオブジェクトのコールドインデックスを生成するために１つ以上のメタデータマネジャ２６０も含む。本明細書に使用されるように、「コールド」インデックスとは、稀に更新されるインデックスを指す。種々の実施形態では、コールドインデックスは、諸費用を削減するために維持される。いくつかの実施形態では、複数のメタデータマネジャ２６０は、並列してメタデータマネジャジョブストア２５８の異なる分割された領域から定期的に記録を読み出し処理し得、コールドインデックスストア２６２に結果を記憶し得る。

いくつかの実施形態では、コールドインデックスストア２６２は、信頼でき耐久性のあるデータ記憶サービスによって実装され得る。いくつかの実施形態では、コールドインデックスストア２６２は、顧客によって開始されたメタデータ要求を処理するように構成される。例えば、顧客は、所与の論理データコンテナに含まれる全てのデータオブジェクトを列記する要求を発行し得る。そのような要求に応答して、コールドインデックスストア２６２は、コールドインデックス２６２によって維持された情報に基づいて、論理データコンテナに含まれる全てのデータオブジェクトの識別子のリストを提供し得る。いくつかの実施形態では、操作は、比較的長時間かかり得、顧客は、ジョブが終了したとき結果を検索するジョブ識別子を提供され得る。他の実施形態では、コールドインデックスストア２６２は、インベントリ、課金および請求目的のために、他のサービスからの、例えば、フロントエンド２０８からの照会を処理するように構成される。

いくつかの実施形態では、メタデータプレーン２１６は、コンテナ所有、ポリシー、使用量等の論理データコンテナについての情報を記憶するコンテナメタデータストア２６４も含み得る。そのような情報は、承認、計測、課金等を遂行するように、例えば、フロントエンド２０８サービスによって、使用され得る。種々の実施形態では、コンテナメタデータストア２６４は、キーバリューデータストアのようなＮｏＳＱＬデータ管理システム、ＲＤＢＭＳ、または任意の他のデータ記憶システムにより実装され得る。

本明細書に記載されるように、種々の実施形態では、本明細書に記載されるアーカイブデータ記憶システム２０６は、効率的で拡張性があるように実装される。例えば、一実施形態では、バッチ処理および要求の結合は、効率性を改善するように様々な段階（例えば、フロントエンド要求処理、制御プレーンジョブ要求処理、データプレーンデータ要求処理）で使用される。別の実施例には、一実施形態では、ジョブ、要求等のメタデータを処理することは、サービスの複数のインスタンスによって分割された領域の並列処理を容易にするように分割される。

一実施形態では、（以下に記載のデータ構成要素、ボリューム等の）アーカイブデータ記憶システムに記憶されたデータ要素は、グローバルインデックスデータ構造の必要性を避けるように自己記述型である。例えば、一実施形態では、システムに記憶されたデータオブジェクトは、記憶場所情報を符号化するデータオブジェクト識別子によってアドレス可能であり得る。別の実施例には、一実施形態では、ボリュームは、どのデータオブジェクトがボリュームに記憶されたかについての情報を記憶し得、記憶ノードおよびそのようなボリュームを記憶するデバイスは、集合的に、システムに記憶されたデータのグローバルな視聴を提供するように、そのインベントリおよびハードウェア情報を記録し得る（記憶ノードレジストラストア２５０に記憶される情報からも明らかなように）。そのような実施形態では、グローバルな視聴は、効率性のためのみに提供され、システムに記憶されたデータの場所を特定する必要はない。

種々の実施形態では、本明細書に記載のアーカイブデータ記憶システムは、データ信頼性および耐久性を改善するように実装され得る。例えば、一実施形態では、データオブジェクトは、冗長的に複数のデータ構成要素に符号化され、耐障害性を提供するように異なるデータ記憶エンティティにわたって記憶される。別の実施例には、一実施形態では、データ要素は、整合性検査の複数のレベルを有する。一実施形態では、親子関係は、常に、完全な参照整合性を確実にするように付加的な情報を有する。例えば、一実施形態では、バルクデータ伝送および記憶経路は、イニシエータに、伝送前にデータについてのダイジェストを事前計算させ、続いてデータと共にダイジェストを受信器に供給させることよって、バルクデータ伝送および記憶経路が保護される。データ伝送の受信器は、再計算、比較、および次いで再計算されたダイジェストを含む送信元へ確認応答することを担う。そのようなデータ整合性検査は、例えば、上に記載されるフロントエンドサービス、一時データ記憶サービス、データプレーン記憶エンティティ等によって実装され得る。

図３は、少なくとも１つの実施形態に従う、アーカイブデータ記憶システムの構成要素が接続され得る相互接続ネットワーク３００を例示する。具体的には、例示された実施例は、データプレーン構成要素が、どのように相互接続ネットワーク３００に接続されるかを示す。いくつかの実施形態では、相互接続ネットワーク３００は、リンク帯域幅が、より高くまたは「より太く」ツリーのルートに向かって増大する太いツリー相互接続ネットワークを含み得る。例示された実施例では、データプレーンは、１つ以上のデータセンター３０１を含む。各データセンター３０１は、各サーバラックが図２に関連して説明されるような記憶ノードマネージャの機能性を集合的に提供する１つ以上のサーバをホストする、１つ以上の記憶ノードマネージャサーバラック３０２を含み得る。他の実施形態では、各記憶ノードマネージャサーバラックは、２つ以上の記憶ノードマネージャをホストし得る。ラック当たりの記憶ノードマネージャの数、記憶ノードマネージャラックの数等の構成パラメータは、費用、拡張性、冗長性および性能要件、ハードウェアおよびソフトウェアリソース等の要因に基づいて決定され得る。

各記憶ノードマネージャサーバラック３０２は、相互接続ネットワーク３００に接続するように使用される相互接続３０８への記憶ノードマネージャラック接続３１４を有し得る。いくつかの実施形態では、接続３１４は、ラックの最上位のイーサネットスイッチまたは任意の他の種類のネットワークスイッチを含み得るネットワークスイッチ３０３を用いて実装される。種々の実施形態では、相互接続３０８は、広帯域幅および待ち時間の少ないバルクデータ転送を可能にするように使用される。例えば、相互接続は、Ｃｌｏｓネットワーク、太いツリー相互接続、非同期転送モード（ＡＴＭ）ネットワーク、ファストまたはギガビットイーサネット等を含み得る。

種々の実施形態では、記憶ノードマネージャラック接続３１４の帯域幅は、同一かまたは異なるデータセンター内に位置する記憶ノードマネージャと記憶ノードとの間で広帯域幅および待ち時間の少ない通信を可能にするように構成され得る。例えば、一実施形態では、記憶ノードマネージャラック接続３１４は、１秒当たり１０ギガビット（Ｇｂｐｓ）の帯域幅を有する。

いくつかの実施形態では、各データセンター３０１は、各サーバラックが図２に関連して説明されるような多数の記憶ノードの機能性を集合的に提供する１つ以上のサーバをホストする、１つ以上の記憶ノードサーバラック３０４も含み得る。ラック当たりの記憶ノードの数、記憶ノードラックの数、記憶ノードマネージャと記憶ノードとの間の配分等の構成パラメータは、費用、拡張性、冗長性および性能要件、ハードウェアおよびソフトウェアリソース等の要因に基づいて決定され得る。例えば、一実施形態では、記憶ノードサーバラック当たり３つの記憶ノード、データセンター当たり３０〜８０のラックが存在し、記憶ノードと記憶ノードマネージャとの比率は１０：１である。

各記憶ノードサーバラック３０４は、相互接続ネットワーク３００に接続するように使用される相互接続ネットワークスイッチ３０８への記憶ノードラック接続３１６を有し得る。いくつかの実施形態では、接続３１６は、ラックの最上位のイーサネットスイッチまたは任意の他の種類のネットワークスイッチを含み得るネットワークスイッチ３０５を用いて実装される。種々の実施形態では、記憶ノードラック接続３１６の帯域幅は、同一かまたは異なるデータセンター内に位置する記憶ノードマネージャと記憶ノードとの間で広帯域幅および待ち時間の少ない通信を可能にするように構成され得る。いくつかの実施形態では、記憶ノードラック接続３１６は、記憶ノードマネージャラック接続３１４よりも高い帯域幅を有する。例えば、一実施形態では、記憶ノードマネージャラック接続３１４が１０Ｇｂｐｓの帯域幅を有する一方で、記憶ノードラック接続３１６は、２０Ｇｂｐｓの帯域幅を有する。

いくつかの実施形態では、（記憶ノードマネージャおよび記憶ノードを含む）データセンター３０１は、図２に関連して説明されるように、接続３１０を介して、ペイロードデータキャッシュ２２８、記憶ノードマネージャジョブストア２４０、記憶ノードレジストラ２４８、記憶ノードレジストラストア３５０、オーファンクリーンアップデータストア２５４、メタデータマネジャジョブストア２５８等の他のコンピューティングリソースサービス３０６と通信する。

いくつかの実施形態では、１つ以上のデータセンター３０１は、データセンター間接続３１２を介して接続され得る。いくつかの実施形態では、接続３１０および３１２は、ハードウェアリソースの効率的な動作および使用を達成するように構成され得る。例えば、一実施形態では、接続３１０は、データセンター当たり３０〜１００Ｇｂｐｓの帯域幅を有し、データセンター間接続３１２は、１００〜２５０Ｇｂｐｓの帯域幅を有する。

図４は、少なくとも１つの実施形態に従う、アーカイブデータ記憶システムの構成要素が接続され得る相互接続ネットワーク４００を例示する。具体的には、例示された実施例は、非データプレーン構成要素が、相互接続ネットワーク３００にどのように接続されるかを示す。例示されるように、図２に関連して説明されるようなフロントエンドサービスは、１つ以上のフロントエンドサーバラック４０２によってホストされ得る。例えば、各フロントエンドサーバラック４０２は、１つ以上のウェブサーバをホストし得る。フロントエンドサーバラック４０２は、ネットワークスイッチ４０８を介して相互接続ネットワーク４００に接続し得る。一実施形態では、フロントエンドサービスの数、ラック当たりのサービスの数、フロントエンドサーバラック接続３１４のための帯域幅等の構成パラメータは、図３に関連して説明されるように、記憶ノードマネージャのためのものにおおよそ対応し得る。

いくつかの実施形態では、図２に関連して説明されるように制御プレーンサービスおよびメタデータプレーンサービスは、１つ以上のサーバラック４０４によってホストされ得る。そのようなサービスは、ジョブトラッカー２３０、メタデータマネジャ２６０、クリーンアップエージェント２３２、ジョブ要求分散装置２３８、および他のサービスを含み得る。いくつかの実施形態では、そのようなサービスは、頻繁なバルクデータ転送を処理しないサービスを含む。最終的に、本明細書に記載される構成要素は、図２に関連して説明されるように接続４１０を介して、ペイロードデータキャッシュ２２８、ジョブトラッカーストア２３２、メタデータマネジャジョブストア２５８等の他のコンピューティングリソースサービス４０６と通信し得る。

図５は、少なくとも１つの実施形態に従って、データを記憶するための例示的な過程５００を例示する。いくつかのまたは全ての過程５００（または本明細書に記載の任意の他の過程または変形例および／またはそれらの組み合わせ）は、実行可能な命令で構成される１つ以上のコンピュータシステムの制御下で遂行され得、ハードウェアまたはそれらの組み合わせによって、１つ以上のプロセッサ上で集合的に実行されるコード（例えば、実行可能な命令、１つ以上のコンピュータプログラム、または１つ以上のアプリケーション）として実装され得る。コードは、例えば、１つ以上のプロセッサによって実行可能な複数の命令を含むコンピュータプログラムの形式で、コンピュータが読み出し可能な記憶媒体上に記憶され得る。コンピュータが読み出し可能な記憶媒体は、非一時的であり得る。一実施形態では、アーカイブデータ記憶システム２０６の１つ以上の構成要素は、図２に関連して説明されるように、過程５００を遂行し得る。

一実施形態では、過程５００は、文書、ビデオ、または音声ファイル等のアーカイブデータを記憶するデータ記憶要求を受け取ること５０２を含む。そのようなデータ記憶要求は、ペイロードデータのサイズおよびダイジェスト、ユーザ識別情報（例えば、ユーザ名、アカウント識別子等）、論理データコンテナ識別子等のペイロードデータおよびメタデータを含み得る。いくつかの実施形態では、過程５００は、各々がより大きいペイロードデータの一部分を含む複数の記憶要求を受け取ること５０２を含み得る。他の実施形態では、記憶要求は、アップロードされる複数のデータオブジェクトを含み得る。一実施形態では、過程５００のステップ５０２は、図２に関連して説明されるように、フロントエンド２０８のＡＰＩ要求ハンドラ２１８のようなサービスによって実装される。

一実施形態では、過程５００は、要求を受け取ること５０２に応じて、記憶要求を処理すること５０４を含む。そのような処理することは、例えば、受け取られたデータの整合性を確証すること、顧客を認証すること、アクセス制御ポリシーに対して要求されたアクセスを承認すること、計測および課金関連のアクティビティを遂行すること等を含み得る。一実施形態では、そのような処理することは、図２に関連して説明されるようなフロントエンド２０８のサービスによって遂行され得る。一実施形態では、そのような要求は、例えば、バッチモードにおいて他の要求に関連して処理され得る。

一実施形態では、過程５００は、記憶要求に関連付けられたデータをステージングデータストアに記憶すること５０６を含む。そのようなステージングデータストアは、図２に関連して説明されるように、ペイロードデータキャッシュ２２８によって提供されるような一時データストアを含み得る。いくつかの実施形態では、ペイロードデータのみがステージングストアに記憶される。他の実施形態では、ペイロードデータに関連するメタデータも、ステージングストアに記憶され得る。一実施形態では、データ整合性は、ステージングデータストアに記憶される前に（例えば、ダイジェストに基づいて）検証される。

一実施形態では、過程５００は、例えば、記憶要求に応答して、記憶されるデータに関連付けられたデータオブジェクト識別子を提供すること５０８を含む。上述されるように、データオブジェクト識別子は、記憶されたデータを検索する、削除する、または別様に参照する後続の要求によって使用され得る。一実施形態では、データオブジェクト識別子は、記憶されたデータオブジェクト、ペイロードデータの整合性を検証するように使用され得るサイズ、ダイジェスト、タイムスタンプ等のペイロード検証情報、データオブジェクト識別子それ自体およびデータオブジェクト識別子に符号化された情報のようなメタデータの整合性を検証するように使用され得るエラー検出コードのようなメタデータ検証情報等、の場所を特定するように使用され得る記憶場所情報を符号化し得る。一実施形態では、データオブジェクト識別子は、後続の顧客要求を検証するかまたは承認するように使用される情報も符号化し得る。例えば、データオブジェクト識別子は、データオブジェクトが記憶される論理データコンテナの識別子を符号化し得る。このデータオブジェクトを検索する後続の要求では、論理データコンテナ識別子は、要求するエンティティが論理データコンテナおよびそれ故に論理データコンテナに含まれるデータオブジェクトへのアクセスを有するかどうかを判定するように使用され得る。いくつかの実施形態では、データオブジェクト識別子は、顧客（例えば、データオブジェクト等のためのグローバル一意識別子、ＧＵＩＤ）によって供給された情報および／または過程５００を実施しているシステムによって収集または計算された情報（例えば、記憶場所情報）に基づいて情報を符号化し得る。いくつかの実施形態では、データオブジェクト識別子を生成することは、暗号秘密キーを用いて上述の情報のいくつかまたは全てを暗号化することを含み得る。いくつかの実施形態では、暗号秘密キーは、定期的に回転され得る。いくつかの実施形態では、データオブジェクト識別子は、上述のものとは異なる時期に生成され得るおよび／または提供され得る。例えば、データオブジェクト識別子は、（以下に記載の）記憶ジョブが生成されたおよび／または完了した後に生成され得るおよび／または提供され得る。

一実施形態では、データオブジェクト識別子を提供すること５０８は、記憶場所を、データが実際にそこに記憶される前に、決定することを含み得る。例えば、そのような決定は、動作ステータス（例えば、有効かまたは無効か）、利用可能な記憶空間、データ独立性要件等の存在するデータ記憶エンティティについてのインベントリ情報に少なくとも部分的に基づき得る。図２によって例示される環境２００のような環境では、そのような決定は、図２に関連して上述されるように、記憶ノードレジストラ２４８のようなサービスによって実装され得る。いくつかの実施形態では、そのような決定は、図２に関連して説明されるように、記憶アロケータ２５６のようなサービスによって１つ以上の物理的な記憶デバイス上に新たな記憶空間（例えば、ボリューム）を割り当てることを含み得る。

一実施形態では、記憶場所識別子は、上で決定された記憶場所を表すように生成され得る。そのような記憶場所識別子は、例えば、ボリューム識別子構成要素およびデータオブジェクト識別子構成要素を含むボリューム参照オブジェクトを含み得る。ボリューム参照構成要素は、データが上に記憶されるボリュームを識別し得、データオブジェクト識別子構成要素は、ボリュームのどこにデータが記憶されるかを識別し得る。一般に、記憶場所識別子は、データが体系化される（階層のような）論理または物理的なデータ記憶トポロジー内の種々のレベルを識別する構成要素を含み得る。いくつかの実施形態では、記憶場所識別子は、実際のペイロードデータが記憶されるところかまたはデータが記憶されるところへの参照のチェーンを指し得る。

一実施形態では、データオブジェクト識別子は、ペイロードデータのような記憶されるデータの少なくとも一部分のダイジェスト（例えば、ハッシュ）を符号化する。いくつかの実施形態では、ダイジェストは、顧客によって提供されたダイジェストに少なくとも部分的に基づき得る。他の実施形態では、ダイジェストは、ペイロードデータに基づいて、最初から計算され得る。

一実施形態では、過程５００は、長期データストアへデータを持続するための記憶ジョブを作成すること５１０および実行のための記憶ジョブをスケジュールすること５１２を含む。図２に関連して説明されるように環境２００では、上述のように、ステップ５０８、５１０、および５１２は、直接Ｉ／Ｏのための制御プレーン２１０および共有制御プレーン２１２の構成要素によって少なくとも部分的に実装され得る。具体的には、一実施形態では、ジョブトラッカー２３０は、ジョブ記録を作成し、ジョブトラッカーストア２３２にジョブ記録を記憶する。上述されるように、ジョブトラッカー２３０は、ジョブトラッカーストア２３２に対するトランザクションの合計数を削減するようにバッチ処理を遂行し得る。加えて、ジョブトラッカーストア２３２は、並列処理、クリーンアップ動作等を容易にするように、分割され得るかまたは別様に最適化され得る。ジョブ記録は、上述のように、顧客アカウント識別子、ジョブ識別子、記憶場所識別子、ペイロードデータキャッシュ２２８に記憶されたデータへの参照、ジョブステータス、ジョブ作成および／または有効期間等のジョブ関連情報を含み得る。いくつかの実施形態では、記憶ジョブは、データオブジェクト識別子が生成されるおよび／または提供される前に作成され得る。例えば、記憶ジョブ識別子は、データオブジェクト識別子の代わりにかまたはデータオブジェクト識別子に加えて、上のステップ５０８で記憶要求に応答して提供され得る。

一実施形態では、実行のために記憶ジョブをスケジュールすること５１２は、図２の共有制御プレーン２１２に関連して説明されるように、待ち行列に基づくロードのレベリングまたは分散、ジョブ分割等のジョブ計画および最適化を遂行することを含む。例えば、一実施形態では、ジョブ要求分散装置２３８は、Ｉ／Ｏのための制御プレーン２１０から入ってくる平均ロードレベル（ジョブ）までピークを弱め、データプレーン２１４に管理可能な作業負荷を送達するために、スケジュールするアルゴリズムに従ってジョブ要求待ち行列２３６から記憶ノードマネージャジョブストア２４０にジョブアイテムを転送する。別の実施例として、記憶ノードマネージャジョブストア２４０は、記憶ノードマネージャ２４４のような複数のワーカーによってジョブの並列処理を容易にするように分割され得る。なおも別の実施例として、記憶ノードマネージャジョブストア２４０は、バッチ処理および他のジョブ最適化を容易にするように問い合わせること、分類すること、および他の機能性を提供し得る。

一実施形態では、過程５００は、図２に関連して説明されるように、記憶された記憶ノードマネージャジョブ２４０から例えば、記憶ノードマネージャ２４４によって実行するための記憶ジョブを選択すること５１４を含む。記憶ジョブは、バッチ処理のために他のジョブと共に選択され得るか（５１４）、または別様に上述のジョブ計画および最適化の結果として別様に選択され得る。

一実施形態では、過程５００は、図２に関連して上述のペイロードデータキャッシュ２２８のようなステージングストアからデータを取得すること５１６を含む。いくつかの実施形態では、データの整合性は、例えば、サイズ、ダイジェスト、エラー検出コード等を確証することによって、検査され得る。

一実施形態では、過程５００は、暗号化スキーム、消失訂正符号化のような冗長性符号化スキーム、ｒｅｄｕｎｄａｎｔ ａｒｒａｙ ｏｆ ｉｎｄｅｐｅｎｄｅｎｔ ｄｉｓｋｓ（ＲＡＩＤ）符号化スキーム、複製等の１つ以上のデータ符号化スキームを取得すること５１８を含む。いくつかの実施形態では、そのような符号化スキームは、異なる要件に適合するように展開する。例えば、暗号キーは、定期的に回転され得、消失訂正符号化スキームの拡大要因は、長い期間をかけて異なるハードウェア構成、冗長性要件等に調整され得る。

一実施形態では、過程５００は、取得された符号化スキームを使用して符号化すること５２０を含む。例えば、一実施形態では、データは暗号化され、暗号化されたデータは消失訂正符号化される。一実施形態では、図２に関連して説明される記憶ノードマネージャ２４４は、本明細書に記載のデータ符号化を遂行するように構成され得る。一実施形態では、そのような符号化スキームのアプリケーションは、耐障害性を提供するように、記憶デバイス、記憶ノード、データセンター等の異なる記憶エンティティにわたって記憶され得る複数の符号化されたデータ構成要素または分割データベースを生成する。データが複数のパート（複数パートアップロードの場合等）を含み得る一実施形態では、各パートは、本明細書に記載されるように、符号化されて記憶され得る。そのような実施形態では、データの各パートは、データに関連付けられたものとして同一のデータオブジェクト識別子によって識別可能およびアドレス可能であり得る。

一実施形態では、過程５００は、そのような符号化されたデータ構成要素のための記憶エンティティを決定すること５２２を含む。例えば、図２によって例示される環境２００では、記憶ノードマネージャ２４４は、ボリューム識別子を用いて記憶ノードレジストラ２４８に問い合わせることによって符号化されたデータ構成要素を記憶する複数の記憶ノード２４６を決定し得る。そのようなボリューム識別子は、記憶されるデータに関連付けられた記憶場所識別子に加わり得る。所与のボリューム識別子を有するクエリーに応答して、一実施形態では、記憶ノードレジストラ２４８は、符号化されたデータ構成要素を記憶する記憶ノード２４６のネットワークの場所（エンドポイント、ＤＮＳ名、ＩＰアドレス等を含む）のリストを戻す。図２に関連して説明されるように、記憶ノードレジストラ２４８は、自己報告され動的に提供されたおよび／または更新された記憶ノード２４６それら自体からのインベントリ情報に基づいてそのようなリストを決定し得る。いくつかの実施形態では、そのような決定は、データ独立性、耐障害性、ロード分散、電力節約、データ局所性、および他の検討事項に基づく。いくつかの実施形態では、記憶レジストラ２４８は、図２に関連して説明されるように、例えば、記憶アロケータ２５６を呼び出すことによって、新たな記憶空間を割り当てさせ得る。

一実施形態では、過程５００は、所定の記憶エンティティで符号化されたデータ構成要素（複数可）を記憶すること５２４を行わせることを含む。例えば、図２によって例示される環境２００では、記憶ノードマネージャ２４４は、は、所定の記憶場所でデータ構成要素を記憶するように上で決定された各記憶ノード２４６を要求し得る。データ構成要素を記憶する記憶ノードマネージャ２４４から記憶要求を受け取ることに応じて、各記憶ノード２４６は、接続された記憶デバイスにデータ構成要素を記憶させ得る。いくつかの実施形態では、データオブジェクト識別子の少なくとも一部分は、符号化された形態かまたは非符号化された形態かのいずれかでデータ構成要素のうちの全てまたはいくつかと共に記憶され得る。例えば、データオブジェクト識別子は、各データ構成要素のヘッダおよび／またはボリューム構成要素に記憶されたボリューム構成要素インデックスに記憶され得る。いくつかの実施形態では、記憶ノード２４６は、記憶ノードマネージャ２４４からの要求を処理するようにバッチ処理または他の最適化を遂行し得る。

一実施形態では、記憶ノード２４６は、要求する記憶ノードマネージャ２４４にデータが成功裡に記憶されたかどうかを示す確認応答を送信する。いくつかの実施形態では、記憶ノード２４６は、何らかの理由のため、要求が満たされることができなかったとき、エラーメッセージを戻す。例えば、記憶ノードが同一の記憶場所に記憶する２つの要求受け取った場合、１つまたは両方の要求が失敗する可能性がある。一実施形態では、記憶ノード２４６は、データを記憶することに先駆けて検証検査を遂行し、検証検査が失敗に終わった場合はエラーを戻す。例えば、データ整合性は、エラー検出コードまたはダイジェストを検査することによって確証され得る。別の実施例として、記憶ノード２４６は、例えば、ボリュームインデックスに基づいて、記憶要求によって識別されたボリュームが記憶ノードによって記憶されること、および／またはボリュームがデータ構成要素を記憶するのに十分な空間を有すること、を確証し得る。

いくつかの実施形態では、記憶ノードマネージャ２４４が要求された記憶ノード２４６の少なくともサブセット（記憶クォーラム）から肯定確認応答を受け取ると、データ記憶は、成功であるとみなされる。いくつかの実施形態では、記憶ノードマネージャ２４４は、ジョブを再試行するのに必要な状態を消去する前に、確認応答のクォーラムが受け取られるまで待機し得る。そのような状態情報は、確認応答が受け取られていない符号化されたデータ構成要素を含み得る。他の実施形態では、処理能力を改善するように、記憶ノードマネージャ２４４は、確認応答のクォーラムを受け取る前にジョブを再試行するのに必要な状態を消去し得る。

一実施形態では、過程５００は、例えば、データプレーン２１４によって維持されたメタデータ（記憶デバイスのためのインデックスおよび記憶空間情報、記憶ノードレジストラストア２５０で記憶されたマッピング情報等）、制御プレーン２１０および２１２によって維持されたメタデータ（ジョブ関連情報等）、メタデータプレーン２１６によって維持されたメタデータ等（コールドインデックス等）を含むメタデータ情報５２６を更新することを含む。種々の実施形態では、そのようなメタデータ情報のいくつかは、性能および費用への影響を減少させるようにバッチ処理を介しておよび／または定期的に更新され得る。例えば、データプレーン２１４では、記憶ノードレジストラストア２５０によって維持される情報は、新たに記憶されたデータのボリューム識別子の付加的なマッピングを提供するように、そしてそのようなマッピングがまだそこに存在しない場合はデータ構成要素がその上に記憶される記憶ノード２４６を提供するように、更新され得る。別の実施例には、記憶デバイス上のボリュームインデックスは、新たに追加されたデータ構成要素を反映するように更新され得る。

共有制御プレーン２１２では、完了したジョブのためのジョブエントリーは、図２に関連して説明されるように、記憶ノードマネージャジョブストア２４０から消去され得、ジョブ結果待ち行列２４２に追加され得る。直接Ｉ／Ｏのための制御プレーン２１０では、ジョブトラッカーストア２３２におけるジョブ記録のステータスは、例えば、ジョブ結果待ち行列２４２を監視するジョブトラッカー２３０によって更新され得る。種々の実施形態では、完了できないジョブは、何度も再試行されてもよい。例えば、一実施形態では、新たなジョブは、異なる場所でデータを記憶するように作成され得る。別の実施例として、（例えば、記憶ノードマネージャジョブストア２４０、ジョブトラッカーストア２３２等に）存在するジョブ記録は、同一ジョブの再試行を容易にするように更新され得る。

メタデータプレーン２１６では、メタデータは、新たに記憶されたデータを反映するように更新され得る。例えば、完了したジョブは、ジョブ結果待ち行列２４２から呼び戻してメタデータマネジャジョブストア２５８に引き戻され得、コールドインデックスストア２６２に記憶されたような更新されたインデックスを生成するようにメタデータマネジャ２６０によってバッチ処理され得る。別の実施例には、顧客情報は、計測および課金目的のために変更を反映するように更新され得る。

最終的に、いくつかの実施形態では、記憶ジョブが成功裡に完了されると、記憶ジョブに関連付けられたジョブ記録、ペイロードデータ、および他のデータは、図２に関連して説明されるように、例えば、クリーンアップエージェント２３４によって消去され得る。いくつかの実施形態では、そのような消去は、バッチ処理、並列処理等によって処理され得る。

図６は、少なくとも１つの実施形態に従って、データを検索するための例示的な過程５００を例示する。一実施形態では、アーカイブデータ記憶システム２０６の１つ以上の構成要素は、図２に関連して説明されるように、集合的に過程６００を遂行し得る。

一実施形態では、過程６００は、上述のように、過程５００によって記憶されたようなデータを検索するデータ検索要求を受け取ること６０２を含む。そのようなデータ検索要求は、上述のように、過程５００のステップ５０８によって提供されるようなデータオブジェクト識別子か、または検索されるデータを識別するように使用され得る任意の他の情報を含み得る。

一実施形態では、過程６００は、要求を受け取ること６０２に応じて、データ検索要求を処理すること６０４を含む。そのような処理することは、例えば、顧客を認証すること、アクセス制御ポリシーに対して要求されたアクセスを承認すること、計測および課金関連のアクティビティを遂行すること等を含み得る。一実施形態では、そのような処理することは、図２に関連して説明されるようなフロントエンド２０８のサービスによって遂行され得る。一実施形態では、そのような要求は、例えば、バッチモードにおいて他の要求に関連して処理され得る。

一実施形態では、検索要求を処理すること６０４は、検索要求に含まれるデータオブジェクト識別子に少なくとも部分的に基づき得る。上述されるように、データオブジェクト識別子は、記憶場所情報、サイズ、作成タイムスタンプ、ペイロードダイジェスト等のペイロード検証情報、メタデータ検証情報、ポリシー情報等を符号化し得る。一実施形態では、検索要求を処理すること６０４は、例えば、プライベート暗号キーを用いておよび検索要求を検証する復号された情報のうちの少なくともいくつかを用いて、データオブジェクト識別子に符号化された情報を復号することを含む。例えば、ポリシー情報は、要求する検索要求のエンティティが、要求されたアクセスを遂行する要求された許可を有することを検証するように使用され得るアクセス制御情報を含み得る。別の実施例として、メタデータ検証情報は、データオブジェクト識別子の整合性またはその構成要素を確証するように使用され得る巡回冗長検査（「ＣＲＣ」）のようなエラー検出コードを含み得る。

一実施形態では、過程６００は、データ検索要求に対応するデータ検索ジョブを作成すること６０６、および例えば、データ検索要求に応答して、データ検索ジョブに関連付けられたジョブ識別子を提供すること６０８を含む。いくつかの実施形態では、データ検索ジョブを作成すること６０６は、図５に例示される過程５００のステップ５１０に関連して説明されるようなデータ記憶ジョブを作成することに類似している。例えば、一実施形態では、ジョブトラッカー２３０は、データオブジェクト識別子に符号化された少なくともいくつかの情報および／またはジョブ有効期間等の付加的な情報を含むジョブ記録を作成し得、ジョブトラッカーストア２３２にジョブ記録を記憶し得る。上述されるように、ジョブトラッカー２３０は、ジョブトラッカーストア２３２に対するトランザクションの合計数を削減するようにバッチ処理を遂行し得る。加えて、ジョブトラッカーストア２３２は、並列処理、クリーンアップ動作等を容易にするように、分割され得るかまたは別様に最適化され得る。

一実施形態では、過程６００は、上で作成されたデータ検索ジョブをスケジュールすること６１０を含む。いくつかの実施形態では、実行のためにデータ検索ジョブをスケジュールすること６１０は、図５の過程５００のステップ５１２に関連して説明されるようなジョブ計画および最適化を遂行することを含む。例えば、データ検索ジョブは、ジョブ待ち行列の中に提出され得、費用、電力管理スケジュール等に少なくとも部分的に基づいて他のジョブと共にバッチ処理のためにスケジュールされ得る。別の実施例には、データ検索ジョブは、データ局所性等に基づいて他の検索ジョブと結合され得る。

一実施形態では、過程６００は、図２に関連して説明されるように、記憶された記憶ノードマネージャジョブ２４０から例えば、記憶ノードマネージャ２４４によって実行するためのデータ検索ジョブを選択すること６１２を含む。検索ジョブは、バッチ処理のために他のジョブと共に選択され得るか（６１２）、または別様に上述のジョブ計画および最適化の結果として別様に選択され得る。

一実施形態では、過程６００は、上述の過程５００のような記憶過程によって生成される符号化されたデータ構成要素を記憶する記憶エンティティを決定すること６１４を含む。一実施形態では、記憶ノードマネージャ２４４は、上の、過程５００のステップ５２２に関連して論じられるものに類似の方式で、符号化されたデータ構成要素を検索する複数の記憶ノード２４６を決定し得る。例えば、そのような決定は、ロード分散、電力節約、効率性、および他の検討事項に基づき得る。

一実施形態では、過程６００は、検索されたデータを復号するように使用され得る１つ以上のデータ復号スキームを決定すること６１６を含む。典型的に、そのような復号スキームは、元のデータが前に記憶された際に元のデータに適用された符号化スキームに対応する。例えば、そのような復号スキームは、暗号キー、消失訂正復号化等による解読を含み得る。

一実施形態では、過程６００は、過程６００のステップ６１４で決定された記憶エンティティから符号化されたデータ構成要素のうちの少なくともいくつかを検索することを行わせること６１８を含む。例えば、図２によって例示される環境２００では、データ検索ジョブを担う記憶ノードマネージャ２４４は、上で決定された記憶ノード２４６のサブセットにそれらの対応するデータ構成要素を検索するように要求し得る。いくつかの実施形態では、符号化されたデータ構成要素の最小数は、その数がデータを符号化するように使用されたデータ冗長性スキームに少なくとも部分的に基づいて決定され得る（例えば、消失訂正符号化の拡大要因）、元のデータを再構築するのに必要とされる。そのような実施形態では、記憶ノードのサブセットは、最小数以上の符号化されたデータ構成要素が検索されるように選択され得る。

記憶ノード２４６の各サブセットは、記憶ノードマネージャ２４４からデータ構成要素を検索する要求を受け取ることに応じて、例えば、（データオブジェクト識別子のパートである）記憶場所識別子の整合性を検査すること、記憶ノードが要求されたデータ構成要素を確かに保持することを確証すること等によって要求を検証し得る。検証が成功すると、記憶ノードは、記憶場所識別子に少なくとも部分的に基づいてデータ構成要素の場所を特定し得る。例えば、上述のように、記憶場所識別子は、ボリューム識別子構成要素と、データが記憶されるボリュームを識別するボリューム参照構成要素であるデータオブジェクト識別子構成要素と、を含むボリューム参照オブジェクトを含み得、データオブジェクト識別子構成要素は、ボリュームのどこにデータが記憶されているかを識別し得る。一実施形態では、記憶ノードは、例えば、接続されたデータ記憶デバイスからデータ構成要素を読み出し、検索を要求した記憶ノードマネージャに検索されたデータ構成要素を送信する。いくつかの実施形態では、データ整合性は、例えば、データ構成要素識別子を確証することによって、検査されるか、または検索ジョブに関連付けられたデータ構成要素識別子によって示されたものと同じであるそれらの一部分である。いくつかの実施形態では、記憶ノードは、データ構成要素の検索に関連してバッチングまたは他のジョブ最適化を遂行し得る。

一実施形態では、過程６００は、過程６００のステップ６１６で決定された１つ以上のデータ復号スキームを使用して、検索された符号化されたデータ構成要素の少なくとも最小数を復号すること６２０を含む。例えば、一実施形態では、検索されたデータ構成要素は、消失訂正復号化され得、次いで解読され得る。いくつかの実施形態では、データ整合性検査は、例えば、データオブジェクト識別子に符号化されたペイロード整合性検証情報（例えば、サイズ、タイムスタンプ、ダイジェスト）を用いて、再構築されたデータ上で遂行される。いくつかの場合では、検索ジョブは、検索されたデータ構成要素の最小数未満の数、データ整合性検査の失敗等が原因で失敗する可能性がある。そのような場合には、検索ジョブは、図５に関連して説明されるものに類似の様式で再試行され得る。いくつかの実施形態では、元のデータは、データの複数のパートを含み、各パートは、符号化されて記憶される。そのような実施形態では、検索中、データの各パートのために符号化されたデータ構成要素は、元のパートを形成するように検索されて復号され得（例えば、消失訂正復号化されて解読される）、復号されたパートは、元のデータを形成するように組み合され得る。

一実施形態では、過程６００は、図２に関連して説明されるペイロードデータキャッシュ２２８のようなステージングストアに再構築されたデータを記憶することを含む。いくつかの実施形態では、ステージングストアに記憶されたデータ６２２は、一時期または無期限に、顧客によるダウンロードに使用可能であり得る。一実施形態では、データ整合性は、データがステージングストアに記憶される前に、（例えば、ダイジェストを用いて）検査され得る。

一実施形態では、過程６００は、検索ジョブの完了の通知を、検索要求の要求元に、または、そのような通知を受け取るように別様に構成された別の１つもしくは複数のエンティティに提供すること６２４を含む。そのような通知は、個別にまたは数回に分けて提供され得る。他の実施形態では、検索ジョブのステータスは、例えば、顧客からのポーリング要求に応じて提供され得る。

図７は、少なくとも１つの実施形態に従って、データを削除するための例示的な過程７００を例示する。一実施形態では、アーカイブデータ記憶システム２０６の１つ以上の構成要素は、図２に関連して説明されるように集合的に過程７００を遂行し得る。

一実施形態では、過程７００は、上述のように、過程５００によって記憶されたようなデータを削除するデータ削除要求を受け取ること７０２を含む。そのようなデータ検索要求は、上述のように、過程５００のステップ５０８によって提供されるようなデータオブジェクト識別子か、または削除されるデータを識別するように使用され得る任意の他の情報を含み得る。

一実施形態では、過程７００は、要求を受け取ること７０２に応じて、データ削除要求を処理すること７０４を含む。いくつかの実施形態では、処理すること７０４は、上述のように、過程５００のステップ５０４および過程６００のステップ６０４のためのものに類似している。例えば、一実施形態では、処理すること７０４は、データ削除要求に含まれるデータオブジェクト識別子に少なくとも部分的に基づく。

一実施形態では、過程７００は、データ削除要求に対応するデータ検索ジョブを作成すること７０６を含む。そのような検索ジョブは、過程５００のステップ５１０に関連して説明される記憶ジョブの作成および過程６００のステップ６０６に関連して説明される検索ジョブの作成に類似して作成され得る。

一実施形態では、過程７００は、データが削除された確認応答を提供すること７０８を含む。いくつかの実施形態では、そのような確認応答は、データ削除要求が同期に処理されるという認識を提供するようにデータ削除要求に応答して提供され得る。他の実施形態では、データ削除ジョブに関連付けられたジョブ識別子は、データ検索要求のためのジョブ識別子の提供に類似して提供され得る。

一実施形態では、過程７００は、実行のためのデータ削除ジョブをスケジュールすること７０８を含む。いくつかの実施形態では、データ削除ジョブをスケジュールすること７０８は、上述のように、過程５００のステップ５１２および過程６００のステップ６１０に関連して説明されるようなものに類似して実装され得る。例えば、近接して位置するデータのためのデータ削除ジョブは、結合され得る、および／またはバッチ処理され得る。別の実施例のために、データ削除ジョブには、データ検索ジョブより低い優先権が割り当てられ得る。

いくつかの実施形態では、記憶されたデータは、顧客によって指定されるかまたは初期設定によって設定される関連付けられる有効期間を有し得る。そのような実施形態では、削除ジョブは、作成され得（７０６）、データの有効期間にまたはデータの有効期間近くに自動的にスケジュールする（７１０）。いくつかの実施形態では、有効期間は、データがまだ利用可能かまたは回復可能な間である猶予期間に更に関連付けられ得る。いくつかの実施形態では、保留中の削除の通知は、有効期間前に、有効期間に、または有効期間後に提供され得る。

いくつかの実施形態では、過程７００は、図２に関連して説明されるように、記憶された記憶ノードマネージャジョブ２４０から実行するためのデータ削除ジョブを例えば、記憶ノードマネージャ２４４によって選択すること７１２を含む。削除ジョブは、バッチ処理のために他のジョブと共に選択され得るか（７１２）、または別様に上述のジョブ計画および最適化の結果として別様に選択され得る。

いくつかの実施形態では、過程７００は、上述の過程５００のような記憶過程によって生成されるデータ構成要素を記憶するデータ構成要素のための記憶エンティティを決定すること７１４を含む。一実施形態では、記憶ノードマネージャ２４４は、上述の過程６００のステップ６１４に関連して論じられるものに類似の方式で、符号化されたデータ構成要素を検索する複数の記憶ノード２４６を決定し得る。

いくつかの実施形態では、過程７００は、データ構成要素のうちの少なくともいくつかを削除することを行わせること７１６を含む。例えば、図２によって例示される環境２００では、データ削除ジョブを担う記憶ノードマネージャ２４４は、削除されるデータのためのデータ構成要素を記憶する記憶ノードの１組を識別し得、少なくともそれらの記憶ノードのサブセットに、それらの記憶ノードの個別のデータ構成要素を削除することを要求する。記憶ノード２４６の各サブセットは、記憶ノードマネージャ２４４からデータ構成要素を削除する要求を受け取ることに応じて、例えば、（データオブジェクト識別子のパートである）記憶場所識別子の整合性を検査すること、記憶ノードが要求されたデータ構成要素を確かに保持することを確証すること等によって要求を検証し得る。検証が成功すると、記憶ノードは、接続された記憶デバイスからデータ構成要素を削除し得、記憶ノードマネージャ２４４に動作が成功だったかどうかを示す確認応答を送信する。一実施形態では、複数のデータ削除ジョブは、近接して一緒に位置するデータオブジェクトがまとめて削除され得るようにバッチにおいて実行され得る。いくつかの実施形態では、記憶ノードマネージャ２４４が少なくとも記憶ノード２４６のサブセットから肯定確認応答を受け取ると、データ削除は成功であるとみなされる。サブセットのサイズは、データが、未削除のデータ構成要素からは後に再構築されることができないことを確実にするように構成され得る。失敗したかまたは未完了のデータ削除ジョブは、それぞれ、過程５００および過程６００に関連して説明される、データ記憶ジョブおよびデータ検索ジョブを再試行することに類似の方式で再試行され得る。

一実施形態では、過程７００は、過程５００のステップ５２６に関連して説明されるもののようなメタデータ情報を更新すること７１８を含む。例えば、削除動作を実行する記憶ノードは、インデックス、空き空間情報等を含む記憶情報を更新し得る。一実施形態では、記憶ノードは、記憶ノードレジストラまたは記憶ノードレジストラストアに更新を提供し得る。種々の実施形態では、そのようなメタデータ情報のいくつかは、性能および費用への影響を減少させるようにバッチ処理を介しておよび／または定期的に更新され得る。

図８は、少なくとも１つの実施形態に従う、データオブジェクト識別子８００の例示的な表示を例示する。一実施形態では、データオブジェクト識別子８００は、データオブジェクト識別子１０８に類似しているが更に詳細である。種々の実施形態では、データオブジェクト識別子は、図２に関連して説明されるようなアーカイブデータ記憶システムに記憶されたデータオブジェクトを識別する、単語、数、文字、記号、またはそれらの任意の組み合わせであり得る。データオブジェクト識別子は、図２の環境２００に関連して説明されるようなアーカイブデータ記憶システムの１つ以上の構成要素によって生成されて使用され得る。一実施形態では、データオブジェクト識別子８００は、効果的かつ信頼できるデータ検索、削除、および他の操作を容易にするように、本明細書に記載される、様々な情報を符号化する。他の実施形態では、データオブジェクト識別子８００は、上述の情報の代わりにおよび／または上述の情報に加えて、他の情報を符号化し得る。

一実施形態では、データオブジェクト識別子８００は、アーカイブデータ記憶システムに記憶されたデータオブジェクトの場所を特定するように使用され得る記憶場所情報８０２を符号化する。データオブジェクトが非一時的なアーカイブデータ記憶に移動される前に一時的なデータストアにまず記憶される実施形態では、記憶場所情報は、図２に関連して説明されるような、非一時的なアーカイブデータ記憶中の記憶場所を符号化し得る。そのような実施形態は、そのような実施形態は、データオブジェクト識別子を対応するデータオブジェクトの記憶場所にマップする名前空間マップまたは類似のデータ構造を記憶する必要性を削減し得るかまたは削除し得る。

図８に例示されるように、記憶場所情報８０２は、データオブジェクトが記憶される階層型データ構造への参照を符号化する。そのような階層型データ構造は、図２に関連して説明されるように、ボリューム、ボリューム構成要素、およびページを含み得る。例えば、一実施形態では、記憶場所情報８０２は、ボリューム識別子構成要素およびオブジェクト識別子構成要素を含むボリューム参照オブジェクトを符号化する。図２を参照すると、一実施形態では、アーカイブデータ記憶システムは、各ボリュームが１つ以上のオブジェクトを含有し得る論理ボリュームにデータを記憶する。そのような実施形態では、ボリューム識別子は、データオブジェクトを含有するボリュームを一意的に識別するように使用され得、オブジェクト識別子は、そのボリューム内のデータオブジェクトを一意的に識別するように使用され得る。例えば、ボリューム参照オブジェクトは、少なくとも１つの実施形態に従って、以下のようにプログラムで実装され得る。

ＶｏｌｕｍｅＲｅｆＯｂｊｅｃｔ
｛
ｐｒｉｖａｔｅ ｓｈｏｒｔ ｖｏｌＲｅｆＣｒｃ；
ｐｒｉｖａｔｅ ＶｏｌｕｍｅＩｄＣｏｍｐｏｎｅｎｔ ｖｏｌｕｍｅ；
ｐｒｉｖａｔｅ ＯｂｊｅｃｔＩｄＣｏｍｐｏｎｅｎｔ ｉｄ；
｝

上に例示されるように、一実施形態では、ボリュームおよびｉｄは、以下に説明される、ボリューム識別子構成要素およびオブジェクト識別子構成要素を、それぞれ、表す。一実施形態では、ボリューム参照オブジェクトは、ボリューム参照オブジェクトの整合性を確実にするように、巡回冗長検査（ＣＲＣ）、ハッシュ等のようなエラー検出コードも含み得る。例えば、上の実施例では、ｖｏｌＲｅｆＣｒｃは、ボリュームのＣＲＣおよびボリューム参照オブジェクトの整合性を確証するように使用されるｉｄを表し得る。

一実施形態では、ボリューム識別子構成要素は、ボリューム識別子および付加的な情報を含み得る。例えば、ボリューム識別子構成要素は、少なくとも１つの実施形態に従って、以下のようにプログラムで実装され得る。

ＶｏｌｕｍｅＩｄＣｏｍｐｏｎｅｎｔ
｛
ｐｒｉｖａｔｅ ｂｙｔｅ ｗｏｒｌｄＩｄ；
ｐｒｉｖａｔｅ ｌｏｎｇ ｖｏｌｕｍｅＩｄ；
…
｝

上に例示されるように、一実施形態では、ｖｏｌｕｍｅＩｄは、ボリュームを一意的に識別する変数であり、ｗｏｒｌｄＩｄは、本明細書に記載されるｖｏｌｕｍｅＩｄまたは他の識別子の不明瞭さを排除するおよび／または検証するように使用され得る変数である。

一実施形態では、オブジェクト識別子構成要素は、上述された、オブジェクト識別子および付加的な情報を含み得る。例えば、オブジェクト識別子構成要素は、以下のようにプログラムで実装され得る。

ＯｂｊｅｃｔＩｄＣｏｍｐｏｎｅｎｔ
｛
ｐｒｉｖａｔｅ ｂｙｔｅ ｏｂｊＩｄＲｅｖ；
ｐｒｉｖａｔｅ ｉｎｔ ｏｂｊＩｄＳｅｑ；
ｐｒｉｖａｔｅ ｉｎｔ ｏｂｊＩｄＲｎｄ；
｝

上に記述されるように、オブジェクト識別子構成要素は、図２に関連して説明されるように、データ配置目的のため、例えば、記憶ノードレジストラ２４８によって発行された単調増加シーケンス番号である変数ｏｂｊＩｄＳｅｑを含み得る。オブジェクト識別子構成要素は、データ配置問題を解決するように付加的な情報も含み得る。例えば、変数ｏｂｊＩｄＲｅｖは、オブジェクト識別子が改訂されたとき、例えば、別のデータオブジェクトによって使用されたものと衝突を避けるように更新されるリビジョン番号を提供し得る。変数ｏｂｊＩｄＲｎｄは、同一のｏｂｊＩｄＳｅｑを有する２つのデータオブジェクトの間で均衡を破るように使用される無作為に生成された番号を表し得る。

データオブジェクト識別子８００は、アーカイブデータ記憶システムに記憶されたデータに関連付けられた１つ以上のポリシーを執行する際の使用のためのポリシー情報８０４を符号化し得る。種々の実施形態では、そのようなポリシーは、安全性、プライバシー、アクセス、規制、費用、および他の考慮事項に対処するポリシーを含み得る。ポリシーは、アーカイブデータ記憶システムに記憶されたデータへのアクセスを制御するように、顧客に適用され得る。例えば、顧客は、他者がデータを読み出すことのみ可能であり他者がデータへのアクセスを全く有しないのに対し、あるデータのセット（例えば、顧客の論理データコンテナに記憶されたデータ）を読み出すこと、書き込むこと、および削除することが可能であり得る。

一実施形態では、ポリシー情報８０４は、データオブジェクト識別子に関連付けられたデータへの要求されたアクセスを検証するように使用され得るアクセス制御情報を符号化する。例えば、一実施形態では、アクセス制御情報は、図２に関連して説明されるような、論理データコンテナ識別子を含む。そのような論理データコンテナ識別子は、データオブジェクト識別子によって識別されたデータオブジェクトが含有される論理データコンテナを識別し得る。一実施形態では、各顧客は、顧客が読み出し、書き込み、および／または削除操作を遂行することが可能である１つ以上の論理データコンテナに関連付けられる。データ操作のための要求がデータオブジェクト識別子と共に着信すると、データオブジェクト識別子に符号化された論理データコンテナ識別子は、要求する顧客のための要求されたデータ操作に関連付けられた１つ以上の論理データコンテナと比較され得る。論理データコンテナ識別子によって識別された論理データコンテナがリスト中に見つからなかった場合、顧客は、要求されたデータ操作を拒否され得る。ポリシー情報８０４の他の実施例は、データオブジェクトへのアクセスが許可されるかまたは拒否されるべきエンティティの識別子、データのために可能なデータ操作の種類、そのようなポリシーの有効期限および／または期間等を含み得る。

一実施形態では、データオブジェクト識別子８００は、アーカイブデータ記憶システムに記憶されたデータの整合性を確実にするようにペイロード検証情報８０６を符号化する。種々の実施形態では、ペイロード検証情報は、データサイズ、タイムスタンプ（例えば、データ作成タイムスタンプ）、ダイジェスト等を含み得る。ダイジェストは、ＳＨＡ−１、ＳＨＡ−２、ＭＤ５、ＭＤ６等に関連付けられたもの等の暗号ハッシュ関数、巡回冗長検査等のチェックサムまたはエラー検出コードを、記憶要求のペイロードデータの少なくとも一部分または本明細書に記載のダイジェストに適用することによって計算され得る。例えば、一実施形態では、ダイジェストは、ペイロードデータの上位レベルツリーハッシュを含む。いくつかの実施形態では、ペイロード検証情報８０６は、顧客によって提供されるデータ（例えば、ペイロード、ダイジェスト）に少なくとも部分的に基づいて誘導され得る。

一実施形態では、データオブジェクト識別子８００は、データオブジェクト識別子に関連付けられた情報の整合性を確実にするようにメタデータ検証情報８０８を符号化する。種々の実施形態では、メタデータ検証情報は、パリティ検査、ＣＲＣ、エラー訂正検査、および本明細書に記載の、記憶場所情報、ポリシー情報、ペイロード検証情報等のようなデータオブジェクト識別子に符号化されたいくつかのまたは全ての情報のようなもの等のエラー検出検査を含み得る。

全てをまとめると、一実施形態では、データオブジェクト識別子は、少なくとも１つの実施形態に従って、以下のようにプログラムで実装され得る。

ＤａｔａＯｂｊｅｃｔＩｄｅｎｔｉｆｅｒ
｛
ｐｒｉｖａｔｅ ｓｈｏｒｔ ｄａｔａＯｂｊＩｄＣｒｃ；
ｐｒｉｖａｔｅ ｌｏｎｇ ｃｒｅａｔｉｏｎＤａｔｅ；
ｐｒｉｖａｔｅ ＶｏｌｕｍｅＲｅｆＯｂｊｅｃｔ ｖｏｌＲｅｆＯｂｊ；
ｐｒｉｖａｔｅ ｌｏｎｇ ｄａｔａＳｉｚｅ；
ｐｒｉｖａｔｅ Ｉｄ ｌｏｇｉｃａｌＣｏｎｔａｉｎｅｒＩｄ；
ｐｒｉｖａｔｅ Ｄｉｇｅｓｔ ｄｉｇｅｓｔ；
｝

上に例示されるように、一実施形態では、データオブジェクト識別子は、上述される、記憶場所情報８０２を記憶することの部分としてのボリューム参照オブジェクトのための変数ｖｏｌＲｅｆＯｂｊ、ポリシー情報８０４の一部としての論理データコンテナ識別子のための変数ｌｏｇｉｃａｌＣｏｎｔａｉｎｅｒＩｄ、ペイロード検証情報８０６の一部としての変数ｄａｔａＳｉｚｅ、ｃｒｅａｔｉｏｎＤａｔｅおよびダイジェスト、およびメタデータ検証情報８０８の一部としての上の情報の全てのＣＲＣである、変数ｄａｔａＯｂｊＩｄＣｒｃを含む。他の実施形態では、データオブジェクト識別子は、例えば、顧客の側上のデータオブジェクト識別子を識別するように顧客によって使用され得るデータオブジェクトのためのグローバル一意識別子（ＧＵＩＤ）も符号化し得る。

一実施形態では、データオブジェクト識別子に含有される情報は、例えば、顧客に提供される前に、暗号化される（８１０）。例えば、そのような暗号化は、データオブジェクト識別子の悪質な変更および内部データ構造およびそのような内部データ構造から誘導される情報の開示を含むデータオブジェクト識別子の不正流用を防止するように必要であり得る。加えて、データオブジェクト識別子のコンテンツを暗号化することまたは別様に難読化することは、第三者がアーカイブデータ記憶システムの実装詳細に依存することを防止するように、および明白な方式で今後の変更実装を可能にするように機能し得る。

いくつかの実施形態では、データオブジェクト識別子またはその一部分は、データ暗号化標準（ＤＥＳ）、高度暗号化標準（ＡＥＳ）等のような対称キーアルゴリズム、またはＲＳＡ等のような公開キーアルゴリズムを用いて生成され得るキーである暗号キーを用いて符号化され得る。一実施形態では、データオブジェクト識別子を暗号化するように使用された暗号キーは、回転スケジュールまたは更なる安全性を提供するアルゴリズムに従って回転され得る。いくつかの他の実施形態では、データオブジェクト識別子は、暗号化され得ないかまたは別様に不明瞭にされ得ない。

符号化されたデータオブジェクト識別子が顧客に提供されるとき、付加的な情報が含まれ得る。一実施形態では、エンベロープ情報は、解読、メタデータ整合性検査等を容易にするように暗号化されたデータオブジェクト識別子を有して一緒に提供される。例えば、以下の情報は、顧客に提供される前に暗号化されたデータオブジェクト識別子に追加され得る。

ｐｒｉｖａｔｅ ｓｈｏｒｔ ｐｕｂｌｉｃＣｒｃ；
ｐｒｉｖａｔｅ ｉｎｔ ｃｒｙｐｔｏＫｅｙＩｄ；
ｐｒｉｖａｔｅ ｂｙｔｅ ｖｅｒｓｉｏｎ；

上に例示されるように、エンベロープ情報は、整合性検査を可能にする暗号化されたデータオブジェクト識別子の少なくとも一部のＣＲＣ、ｐｕｂｌｉｃＣｒｃを含み得る。更に、エンベロープ情報は、上述される、データオブジェクト識別子を暗号化するように使用される暗号キーの識別子を含み得る。この識別子は、データオブジェクト識別子を解読するシステムによって使用され得る。最終的に、エンベロープ情報は、付加的な検証検査を処理するように使用され得るバージョン番号バージョンのような付加的な情報を含み得る。加えて、本明細書に記載される情報は、種々の媒体にわたるデータの伝送を容易にするように（例えば、Ｂａｓｅ６４符号化、Ｂａｓｅ３２符号化等を用いて）更に符号化され得る。

図９は、少なくとも１つの実施形態に従って、データを記憶して検索するための過程９００を例示する。過程９００のうちのいくつかまたは全ては、図２に関連して説明される構成要素によって遂行され得る。更に、過程９００のうちのいくつかまたは全て（または本明細書に記載の任意の他の過程または変形例および／またはそれらの組み合わせ）は、実行可能な命令で構成される１つ以上のコンピュータシステムの制御下で遂行され得、ハードウェアまたはそれらの組み合わせによって、１つ以上のプロセッサ上で集合的に実行されるコード（例えば、実行可能な命令、１つ以上のコンピュータプログラム、または１つ以上のアプリケーション）として実装され得る。コードは、例えば、１つ以上のプロセッサによって実行可能な複数の命令を含むコンピュータプログラムの形式で、コンピュータが読み出し可能な記憶媒体上に記憶され得る。コンピュータが読み出し可能な記憶媒体は、非一時的であり得る。一実施形態では、過程９００は、過程６００のステップ６０２に関連して説明されるようなデータ記憶要求を受け取ること９０２を含む。

一実施形態では、過程９００は、図８に関連して上述されるように自己記述型データオブジェクト識別子を生成すること９０４を含む。一実施形態では、データオブジェクト識別子を生成すること９０４は、データのサイズおよび記憶ノードによって報告されるような記憶情報に少なくとも部分的に基づいて、データ割り当て操作を遂行することを含むデータのための記憶場所情報を獲得することを含む。図２によって例示される環境２００では、例えば、そのようなデータ割り当て操作は、記憶ノードレジストラ２４８および／または記憶ノードレジストラストア２５０によって遂行され得る。例えば、記憶ノードレジストラストアは、各ボリューム構成要素のための、空間の使用、オブジェクト識別子目的のために割り当てられた最も高いシーケンス番号、その上に記憶されたデータ構成要素の数等を含む情報を含み得る。一実施形態では、そのような情報は、ボリューム構成要素をホストする記憶ノードによって報告され得る。この情報に基づいて、記憶ノードレジストラは、図８に関連して上述されるようにボリューム参照オブジェクトを提供し得る。

一実施形態では、データオブジェクト識別子を生成すること９０４は、図８に関連して上述されるようなペイロード検証情報を獲得することを含む。例えば、一実施形態では、上述されるようなダイジェスト計算が遂行される。いくつかの実施形態では、ダイジェスト計算は、要求によって提供されたデータまたはダイジェストに基づいて遂行される。図２によって例示される環境２００では、例えば、そのようなダイジェスト計算は、記憶ノードマネージャ２４４またはアーカイブデータ記憶システム２０６の他の構成要素によって遂行され得る。一実施形態では、ペイロード検証情報は、データサイズ、アーカイブデータ記憶システムで（例えば、ステージング記憶に）データが記憶された時間を示し得る作成時間、およびデータの整合性を検証するように使用され得る他の情報も含む。

一実施形態では、データオブジェクト識別子を生成すること９０４は、図８に関連して上述されるようなポリシー情報を獲得することを含む。一実施形態では、そのようなポリシー情報は、要求、構成ファイル、または他のソースに基づいて獲得され得る。例えば、顧客記憶要求は、データがその内部に記憶される論理データコンテナを指定し得る。そのような実施形態では、過程９００を遂行するシステムは、論理データコンテナに関連付けられた識別子を決定し得、ポリシー情報の一部としてデータオブジェクトコンテナに識別子を含み得る。

一実施形態では、データオブジェクト識別子を生成すること９０４は、図８に関連して説明されるようなメタデータ検証情報を獲得することを含む。例えば、過程９００を遂行するシステムは、上述された情報のうちのいくつかまたは全てのためのＣＲＣを計算し得る。データオブジェクト識別子を生成すること９０４は、図８に関連して説明されるように上の情報を符号化すること（例えば、暗号化すること）を含み得る。図２によって例示される環境２００では、例えば、そのようなデータ符号化は、記憶ノードマネージャ２４４またはアーカイブデータ記憶システム２０６の他の構成要素によって遂行され得る。

一実施形態では、過程９００は、例えば、受け取られた要求に応答して、要求するエンティティに上で生成されたデータオブジェクト識別子を提供すること９０６を含む。一実施形態では、提供すること９０６は、図８に関連して説明されるようにＢａｓｅ６４符号化を適用することのようなデータオブジェクト識別子を符号化することを更に含む。そのような実施形態では、顧客のようなデータオブジェクト識別子の受け手は、Ｂａｓｅ６４復号のような対応する復号スキームを適用することによってデータオブジェクト識別子を取り出し得る。

過程９００は、データおよび上で生成されたデータオブジェクト識別子を記憶すること９０８も含み得る。いくつかの実施形態では、データの記憶は、図２および５に関連して上述されるものに類似している。種々の記憶エンティティ（例えば、記憶ノードマネージャ、記憶ノード、記憶デバイス等）は、上に記載される、データオブジェクト識別子に含まれる少なくともいくつかの情報を用いてデータの記憶に先駆けてデータに関連付けられたデータまたはメタデータを検証し得る。

一実施形態では、データオブジェクト識別子は、暗号化形態および／または非暗号化形態で、強化されたデータ耐久性を提供するように、関連付けられたデータオブジェクトと一緒に記憶される。例えば、一実施形態では、データオブジェクトに関連付けられた各符号化された（例えば、消失訂正符号化された）データ構成要素は、図２に関連して説明されるように、ボリューム構成要素に同一のデータオブジェクト識別子と共に記憶される。例えば、データオブジェクトのためのデータオブジェクト識別子は、データオブジェクトを関連付ける各符号化されたデータ構成要素のヘッダに記憶され得る。更に、記憶デバイスに記憶された各ボリューム構成要素は、ボリューム構成要素に含有される全てのデータオブジェクト識別子のインデックスのようなメタデータを記憶し得る。よって、そのようなメタデータは、同一のデータオブジェクトのためのデータ構成要素を記憶するように使用された全ての記憶デバイスにわたって効果的に複製される。そのような実施形態では、以下に説明されるように、これらの記憶デバイスのうちのいずれかの存続は、ボリュームに含有されたデータオブジェクト識別子の完全なリストの回復を可能にするのに十分である。

一実施形態では、ボリューム構成要素の最小数未満が利用可能であるとき、ボリュームは、失敗するように決定される。最小数は、記憶前にデータを符号化するように使用されたデータ符号化スキームに少なくとも部分的に基づいて決定され得る。例えば、６／９の拡大要因を有する消失訂正符号化が使用された場合、４つのボリューム構成要素が失われると、ボリュームは、残る５つのボリュームでもはや再構築されることができない。そのような実施形態では、図２に関連して上述されるように、ボリューム構成要素間のマッピングを含む情報を維持するデータ記憶ノードレジストラストアおよびそれらをホストする利用可能な記憶ノードは、どのボリュームが失敗したかを決定するように問い合わせされ得る。続いて、要求は、ボリューム構成要素に記憶されたデータ構成要素のためのデータオブジェクト識別子のリストを提供するように、失敗したボリュームのボリューム構成要素をホストする利用可能な記憶ノードに送信され得る。要求された記憶ノードのうちのいずれかからのそのようなリストは、失敗したボリューム上のデータオブジェクト識別子の完全なリストを回復するのに十分である。

一実施形態では、過程９００は、要求が、ステップ９０６で上で提供されたもののようなデータオブジェクト識別子を指定するデータを検索する要求を受け取ること９１０、を含む。そのような実施形態では、過程９００は、更なる要求の処理を可能にする上述されたもののような種々の情報を取り出すデータオブジェクト識別子を復号すること９１２を含む。例えば、一実施形態では、データオブジェクト識別子を復号すること９１２は、Ｂａｓｅ６４復号スキームをＢａｓｅ６４符号化されたデータオブジェクト識別子に適用することを含む。一実施形態では、復号すること９１２は、図８に関連して説明されるようなエンベロープ情報を獲得することを更に含む。例えば、そのようなエンベロープ情報は、暗号化されたデータオブジェクト識別子の少なくとも一パートであるＣＲＣ、データオブジェクト識別子を暗号化するように使用される暗号キーの識別子、バージョン番号等を含み得る。暗号キー識別子に基づいて、解読キーは、獲得され得、データオブジェクト識別子の暗号化された部分を解読するように使用され得る。一実施形態では、記憶場所情報、ポリシー情報、メタデータ検証情報、ペイロード検証情報等の図８に関連して説明されるような情報は、解読されたデータオブジェクト識別子から取り出される。

図９に例示されるように、過程９００は、上述のような復号されたデータオブジェクト識別子からのメタデータ検証情報を用いてメタデータの整合性を検証すること９１４を含む。そのようなメタデータ検証は、上述のように、データオブジェクト識別子それ自体またはその種々の構成要素のＣＲＣのようなエラー検出コードを含み得る。

一実施形態では、過程９００は、データオブジェクト識別子から取り出される図８に関連して説明されるような、少なくともポリシー情報を用いて、要求されたアクセスを検証すること９１６を含む。例えば、要求されたアクセスを検証すること９１６は、要求する顧客が、論理データコンテナ、ポリシー情報の一部として含まれる識別子に関連付けられたデータオブジェクトを検索する権利を有することを確証することを含み得る。

一実施形態では、過程９００は、図８に関連して説明されるような、データオブジェクト識別子から取り出される少なくとも記憶場所情報を用いてデータを検索すること９１８を含む。例えば、そのような記憶場所情報は、図８に関連して説明されるように、データがその中に記憶されたボリュームを識別するように使用されたボリューム識別子およびボリュームの内側のデータオブジェクトを識別するように使用されるオブジェクト識別子のような階層型データ構造への段層式参照を含み得る。一実施形態では、データは、記憶場所情報を用いて検索され得る各々１つ以上の冗長的に符号化されたデータ構成要素として記憶される。例えば、ボリューム識別子は、図２に関連して説明されるようなボリューム（またはボリューム構成要素）がその上に位置する記憶ノードの場所を特定するように使用され得る。更に、オブジェクト識別子は、例えば、オブジェクト識別子と＜ｐａｇｅ ｎｕｍｂｅｒ， ｐａｇｅ ｏｆｆｓｅｔ＞組との間のマッピングに基づいて、そのボリューム（またはボリューム構成要素）に記憶されたデータ構成要素を（例えば、記憶ノードによって）の場所を特定するように使用され得、ｐａｇｅ ｎｕｍｂｅｒは、データ構成要素を記憶するボリューム（またはボリューム構成要素）内のページを指し、ｐａｇｅ ｏｆｆｓｅｔは、ページ内のデータ構成要素の場所を示す。

一実施形態では、過程９００は、図８に関連して説明されるような、データオブジェクト識別子から取り出されるペイロード検証情報を少なくとも用いてデータ整合性を検証すること９２０を含む。一実施形態では、データ整合性検証９２０は、データが記憶場所から検索される前に遂行される。例えば、データオブジェクト識別子は、該当する場合、データ構成要素と共に記憶されたデータオブジェクト識別子と、それらが同一であることを確証するように比較され得る。別の実施例として、データサイズおよび作成時間は、記憶場所情報によって指されたデータが意図する通りであることを検証するように、例えば記憶ノードによって、使用され得る。別の実施形態では、データ整合性検証９２０は、データが検索された後で、遂行され得る。例えば、データオブジェクト識別子に含有されたダイジェスト情報は、複数の冗長的に符号化されたデータ構成要素から復号されたデータが元のデータと同一であることを検証するように、例えば、記憶ノードマネージャによって、使用され得る。一般的に、データ整合性は、バルクデータ転送を処理する種々のエンティティによってデータオブジェクト識別子に符号化された情報を用いて検証され得る。

一実施形態では、過程９００は、上で検索されたデータを提供すること９２２を含む。図２に関連して説明されるように、一実施形態では、検索されたデータは、顧客ダウンロードを可能にするようにステージングストアに記憶される。

図１０は、少なくとも１つの実施形態に従って、データを削除するための過程１０００を例示する。過程１０００のステップのうちのいくつかまたは全ては、図２に関連して説明される構成要素によって遂行され得る。一実施形態では、ステップ１００２〜１０１２は、検索ではなく、データ削除を除き、過程９００のステップ９１０〜９２０に関連して上述されるように類似の方式で遂行され得る。

一実施形態では、過程１０００は、要求が、過程９００のステップ９０６で提供されたもののようなデータオブジェクト識別子を指定するデータを削除する要求を受け取ること１００２、を含む。そのような実施形態では、過程１０００は、種々の情報を取り出すようにデータオブジェクト識別子を復号すること１００４と、図９に関連して論じられた復号すること９１２およびメタデータ検証９１４に類似するメタデータの整合性を検証すること１００６と、を含む。例示されるように、過程１０００は、復号されたデータオブジェクト識別子からの少なくともポリシー情報を用いて要求された削除を検証すること１００８を含む。例えば、ポリシー情報は、要求する顧客がデータオブジェクトを削除する権利を有したか判定するようにアクセス制御リストに照らして検査するように使用され得る。いくつかの実施形態では、削除のためのアクセス制御は、データ検索のためよりも更に厳しいものであり得る。

一実施形態では、過程１０００は、図９の過程９００のデータ検索に関連して説明されるものに類似の方式で復号されたデータオブジェクト識別子から少なくとも記憶場所情報を用いてデータの場所を特定すること１０１０を含む。例えば、削除されるデータのための符号化されたデータ構成要素を記憶するボリューム構成要素は、記憶場所情報に符号化されたボリューム識別子に少なくとも部分的に基づいて場所を特定され得る。

削除されるデータが場所を特定された後に、過程１０００は、図１０に例示されるように、削除されるデータの整合性を検証すること１０１２を含む。例えば、いくつかの場合では、各符号化されたデータ構成要素のためのデータオブジェクト識別子は、（例えば、インデックスの一部として）符号化されたデータ構成要素を記憶するボリューム構成要素上に記憶される。削除中、（符号化されたかまたは非符号化された）記憶されたデータオブジェクト識別子は、正しいデータが削除されることを確実にするように削除要求に関連付けられたデータオブジェクト識別子と比較され得る。いくつかの実施形態では、メタデータ検証情報は、記憶されたデータオブジェクト識別子の整合性を検証する使用され得る。いくつかの実施形態では、データサイズ、作成日時、および／またはダイジェストのような記憶されたデータオブジェクト識別子からのペイロード検証情報は、場所を特定されたデータが確実に削除されるデータであることを更に検証するように使用され得る。一実施形態では、過程１０００は、データが意図された削除の対象であると決定された場合上の位置するデータを削除すること１０１４を含む。データの削除は、適切なデータ記憶場所で削除されたとしてデータをマーキングすること、データを記憶するように使用された記憶空間を再割り当てすること、無作為であり得る情報でデータを上書きすることによって、および／または別様にデータをアクセス禁止にする、可能性として永久的にアクセス禁止にすること等によって、好適な方式で遂行され得る。

図１１は、種々の実施形態に従って態様を実装するための例示的な環境１１００の態様を例示する。認識されるように、説明の目的でウェブに基づく環境が使用されるが、種々の実施形態を実装するために、必要に応じて、異なる環境が使用され得る。環境は、電子クライアントデバイス１１０２を含み、それは、適切なネットワーク１１０４を通じて要求、メッセージ、または情報を送信し受け取り、情報をデバイスのユーザに戻すように搬送するように操作可能な、任意の適切なデバイスを含むことができる。そのようなクライアントデバイスの例としては、パーソナルコンピュータ、携帯電話、ハンドヘルドメッセージングデバイス、ラップトップコンピュータ、セットトップボックス、携帯情報端末、電子ブックリーダー等が挙げられる。ネットワークとしては、イントラネット、インターネット、セルラーネットワーク、ローカルエリアネットワーク、もしくは任意の他のそのようなネットワーク、またはそれらの組み合わせを含む、任意の適切なネットワークが挙げられる。そのようなシステムに使用される構成要素は、選択されたネットワークおよび／または選択環境のタイプに少なくとも部分的に依存し得る。そのようなネットワークを介して通信するためのプロトコルおよび構成要素はよく知られており、本明細書では詳細に論じない。ネットワークを通じた通信は、有線接続または無線接続、およびそれらの組み合わせを介して可能にすることができる。この実施例では、当業者には明らかなように、要求を受け取り、それに応じてコンテンツを提供するためのウェブサーバ１１０６を環境が含むため、このネットワークは、インターネットを含むが、他のネットワークの場合、類似の目的を提供する代替のデバイスを使用することができる。

例示説明となる環境は、少なくとも１つのアプリケーションサーバ１１０８およびデータストア１１１０を含む。連鎖され得るまたは別様には構成され得る、適切なデータストアからデータを取得する等の作業を遂行するように相互作用することができる、いくつかのアプリケーションサーバ、層、もしくは他の要素、過程、または構成要素があり得ることを理解されたい。本明細書で使用される用語「データストア」とは、データを記憶し、それにアクセスし、それを検索することができる任意のデバイスまたはデバイスの組み合わせを指し、任意の数のデータサーバ、データベース、データ記憶デバイス、データ記憶媒体、およびそれらの任意の組み合わせを、任意の標準型、分散型、またはクラスター型の環境において含み得る。アプリケーションサーバは、クライアントデバイスのための１つ以上のアプリケーションの態様を実行するために、必要に応じて、データストアと統合するための、アプリケーションのためのデータアクセスおよびビジネスロジックの大部分を処理するための、任意の適切なハードウェアおよびソフトウェアを含むことができる。アプリケーションサーバは、データストアと連携してアクセス制御サービスを提供し、また、この実施例においてＨＴＭＬ、ＸＭＬ、または別の適切な構造化言語の形態でウェブサーバによってユーザに提供され得る、ユーザに転送されるテキスト、グラフィックス、音声、および／またはビデオ等のコンテンツを生成することができる。全ての要求および応答、ならびにクライアントデバイス１１０２とアプリケーションサーバ１１０８との間のコンテンツの送達は、ウェブサーバによって処理することができる。本明細書で論じられる構造化コードは、本明細書の他の場所で論じられるように、任意の適切なデバイスまたはホストマシン上で実行することができるため、ウェブサーバおよびアプリケーションサーバは必要とされず、これらは単に例示的な構成要素に過ぎないことを理解されたい。

データストア１１１０は、いくつかの別個のデータテーブル、データベース、または他のデータ記憶機構、および特定の態様に関連するデータを記憶するための媒体を含むことができる。例えば、例示されるデータストアは、製品側のコンテンツを提供するために使用することができる、製品データ１１１２およびユーザ情報１１１６を記憶するための機構を含む。データストアは、報告、分析、または他のそのような目的のために使用することができるログデータ１１１４を記憶するための機構も含むように示される。ページ画像情報のためおよび権利情報にアクセスする等の、データストアに記憶される必要があり得る、数多くの他の態様が存在し得、必要に応じて上で列記した機構のいずれかに、またはデータストア１１１０の付加的な機構に記憶することができることを理解されたい。データストア１１１０は、アプリケーションサーバ１１０８から命令を受け取って、それに応じてデータを取得する、更新する、または別様には処理するために、それと関連する論理を通して操作可能である。一実施例において、ユーザは、ある種類のアイテムの検索要求を提出し得る。この場合、データストアは、ユーザの識別を確証するためにユーザ情報にアクセスし得、その種類のアイテムに関する情報を取得するために、カタログの詳細情報にアクセスすることができる。情報は、次いで、ユーザがユーザデバイス１１０２上のブラウザを介して視聴することができる、ウェブページ上の結果リスト等で、ユーザに戻すことができる。関心の特定のアイテムの情報は、ブラウザの専用ページまたはウィンドウで視聴することができる。

各サーバは、一般的に、そのサーバの一般管理および操作のための実行可能プログラム命令を提供するオペレーティングシステムを含み、一般的に、サーバのプロセッサによって実行されたときに、サーバがその意図する機能を遂行することを可能にする命令を記憶する、コンピュータが読み出し可能な記憶媒体（例えば、ハードディスク、ランダムアクセスメモリ、読み出し専用メモリ等）を含む。オペレーティングシステムおよびサーバの一般機能性の好適な実装例は、既知であるか、または市販されており、また、特に本明細書の開示に照らして、当業者によって容易に実装される。

一実施形態における環境は、１つ以上のコンピュータネットワークまたは直接接続を用いて、通信リンクを介して相互接続されるいくつかのコンピュータシステムおよび構成要素を利用する、分散型コンピューティング環境である。しかしながら、そのようなシステムは、図１１に例示されるよりも少ない数または多い数の構成要素を有するシステムで十分同等に動作できることが、当業者に認識されるであろう。よって、図１１のシステム１１００の描写は、本質的に例示説明となるものであり、本開示の範囲を限定するものとみなすべきではない。

本開示の種々の実施形態は、以下の付記を考慮して説明することができる。
１．データを管理するためのコンピュータ実装方法であって、
実行可能な命令で構成される１つ以上のコンピュータシステムの制御下で、
データオブジェクトを記憶するデータストア要求を受け取ることと、
一時データストアにデータオブジェクトを記憶させることと、
非一時的なデータ記憶場所に前記データオブジェクトを記憶することに先駆けて、前記データオブジェクトのためのデータオブジェクト識別子であって、前記データオブジェクト識別子が、前記非一時的なデータ記憶場所を示すように使用される記憶場所情報、ペイロード検証情報、およびポリシー情報を少なくとも符号化する、データオブジェクト識別子を提供することと、
前記データオブジェクトを検索するデータ検索要求であって、前記要求が前記データオブジェクト識別子を指定する、要求を受け取ることと、
少なくとも記憶場所情報、前記ペイロード検証情報、および前記ポリシー情報を獲得するように前記データオブジェクト識別子を復号することと、
少なくとも前記ポリシー情報を用いて前記データ検索要求を検証することと、
少なくとも前記記憶場所情報を用いて前記非一時的なデータ記憶場所から前記データオブジェクトを検索することと、
少なくとも前記ペイロード検証情報を用いて前記データオブジェクトの整合性を検証することと、
前記データオブジェクトを提供することと、を含む、コンピュータ実装方法。
２．前記記憶場所情報が、
前記データオブジェクトが記憶される階層型データ構造への参照を含む、付記１に記載のコンピュータ実装方法。
３．前記ペイロード検証情報が、タイムスタンプ、サイズ、または前記データオブジェクトの少なくとも一部分のデジタルダイジェストのうちの少なくとも１つを含む、付記１に記載のコンピュータ実装方法。
４．前記ポリシー情報が、少なくともアクセス制御情報を含む、付記１に記載のコンピュータ実装方法。
５．前記データオブジェクト識別子が、前記データオブジェクト識別子によって符号化された前記情報の前記整合性を検証するように使用可能であるメタデータ検証情報を更に符号化する、付記１に記載のコンピュータ実装方法。
６．前記データオブジェクト識別子を提供することが、暗号キーを用いて少なくとも前記記憶場所情報、前記ペイロード検証情報、および前記ポリシー情報を暗号化することを含む、付記１に記載のコンピュータ実装方法。
７．前記データオブジェクトと共に前記データオブジェクト識別子を記憶することを更に含む、付記１に記載のコンピュータ実装方法。
８．前記データオブジェクトを検索することが、前記データオブジェクトと共に記憶される前記データオブジェクト識別子を確証することを含む、付記７に記載のコンピュータ実装方法。
９．コンピュータ実装方法であって、
実行可能な命令で構成される１つ以上のコンピュータシステムの制御下で、
永続的に記憶されたデータオブジェクトを検索する要求であって、前記要求がデータオブジェクト識別子を指定し、前記データオブジェクト識別子が前記データオブジェクトに関連した少なくとも記憶場所情報および検証情報を符号化する、要求を受け取ることと、
少なくとも前記記憶場所情報を用いて前記データオブジェクトを検索することと、
少なくとも前記検証情報を用いて検証を遂行することと、を含む、コンピュータ実装方法。
１０．前記記憶場所情報が、少なくともボリューム識別子およびオブジェクト識別子を符号化し、前記ボリューム識別子が、前記データオブジェクトが記憶されたボリュームを示し、前記オブジェクト識別子が、前記データオブジェクトが記憶された前記ボリューム内の場所を識別するために使用可能である、付記９に記載のコンピュータ実装方法。
１１．前記検証情報が少なくともペイロード検証情報を含み、検証を遂行することが、少なくとも前記ペイロード検証情報を用いて、前記検索されたデータオブジェクトの整合性を検証することを含む、付記９に記載のコンピュータ実装方法。
１２．前記ペイロード検証情報が、前記データオブジェクトの少なくとも一部分の少なくとも暗号ハッシュを含む、付記１１に記載のコンピュータ実装方法。
１３．前記検証情報が、少なくともポリシー情報を含み、検証を遂行することが、前記データオブジェクトへのアクセスが許可されるかどうかを前記ポリシー情報に少なくとも部分的に基づいて決定することを含む、付記９に記載のコンピュータ実装方法。
１４．前記検証情報が少なくともメタデータ検証情報を含み、検証を遂行することが、少なくとも前記メタデータ検証情報を用いて前記データオブジェクト識別子の整合性を確証することを含む、付記９に記載のコンピュータ実装方法。
１５．前記メタデータ検証情報が、少なくともエラー検出コードを含む、付記１４に記載のコンピュータ実装方法。
１６．アーカイブデータ記憶システムであって、
１つ以上のプロセッサと、
メモリであって、前記１つ以上のプロセッサによって実行可能な命令を含み、前記命令が、前記コンピュータシステムに少なくとも、
複数のデータ操作を遂行するために１つ以上のアプリケーションプログラミングインターフェース（「ＡＰＩ」）を提供することと、
前記１つ以上のＡＰＩを通じて、データオブジェクトを検索する要求であって、前記要求がデータオブジェクト識別子を指定し、前記データオブジェクト識別子が前記データオブジェクトに関連した少なくとも記憶場所情報および検証情報をカプセル化する、要求を受け取ることと、
前記記憶場所情報および前記検証情報を獲得するように前記データオブジェクト識別子をカプセル化解除することと、
前記検証情報に少なくとも部分的に基づいて前記要求を検証することと、
前記記憶場所情報に少なくとも部分的に基づいて前記データオブジェクトを検索することと、
少なくとも前記検証情報を用いて前記データオブジェクトの整合性を確証することと、を行わせる、メモリと、を備える、アーカイブデータ記憶システム。
１７．前記複数のデータ操作が、少なくともデータ記憶、データ検索、データ削除、およびメタデータクエリーを含む、付記１６に記載のシステム。
１８．前記１つ以上のプロセッサによって実行可能な前記命令が、前記コンピュータシステムに、
前記ＡＰＩを通じて、前記データオブジェクトを記憶する１つ以上の要求であって、前記１つ以上の要求の各々が前記データオブジェクトの少なくとも一部分を指定する、要求を受け取ることと、
前記データオブジェクトを記憶することと、
前記ＡＰＩを通じて、前記データオブジェクト識別子を提供することと、を更に行わせる、付記１６に記載のシステム。
１９．前記検証情報のうちの少なくともいくつかが、前記データオブジェクトを記憶する前記１つ以上の要求に少なくとも部分的に基づく、付記１８に記載のシステム。
２０．前記データオブジェクト識別子が、前記１つ以上の要求によって集合的に指定された前記データオブジェクトの前記部分に関連付けられる、付記１８に記載のシステム。
２１．前記データオブジェクト識別子をカプセル化解除することが、暗号キーを用いて前記データオブジェクト識別子の少なくとも一部分を解読することを含む、付記１６に記載のシステム。
２２．集合的に記憶された実行可能な命令を媒体上に有する１つ以上の非一時的コンピュータが読み出し可能な記憶媒体であって、前記命令が、コンピューティングリソースプロバイダのコンピュータシステムの１つ以上のプロセッサによって実行されるとき、コンピュータシステムに少なくとも
永続的に記憶されたデータオブジェクトを検索する要求であって、前記要求がデータオブジェクト識別子を指定し、前記データオブジェクト識別子が前記データオブジェクトに関連した少なくとも記憶場所情報および検証情報を符号化する、要求を受け取ることと、
少なくとも前記検証情報を用いて前記要求を検証することと、
複数のデータ構成要素であって、前記複数のデータ構成要素が前記データオブジェクトへの１つ以上の符号化スキームの適用を行わせることによって生成される、少なくとも前記記憶場所情報を用いて複数のデータ構成要素を検索することと、
前記複数のデータ構成要素への前記１つ以上の符号化スキームに対応する１つ以上の復号スキームの適用を少なくとも行わせることによって前記データオブジェクトを復元することと、
少なくとも前記検証情報を用いて前記データオブジェクトの整合性を確証することと、を行わせる、コンピュータが読み出し可能な記憶媒体。
２３．前記データオブジェクト識別子が、ユーザが提供した情報を符号化する、付記２２に記載のコンピュータが読み出し可能な記憶媒体。
２４．前記データオブジェクト識別子が、前記データオブジェクトを記憶する要求に応答して生成される、付記２２に記載のコンピュータが読み出し可能な記憶媒体。
２５．前記データオブジェクトを復元することが、前記複数のデータ構成要素への前記１つ以上の符号化スキームに対応する前記１つ以上の復号スキームの前記アプリケーションからもたらされる１つ以上のデータパートを組み合わせることを更に含む、付記２２に記載のコンピュータが読み出し可能な記憶媒体。
２６．前記データオブジェクトを復元することが、前記データオブジェクト識別子に少なくとも部分的に基づいて検索可能である１つ以上のデータパートを組み合わせることを更に含む、付記２２に記載のコンピュータが読み出し可能な記憶媒体。
２７．前記検証情報が、前記データオブジェクトの整合性を確証するためのペイロード検証情報、前記データオブジェクトに関連付けられたデータアクセス権を確証するためのデータ承認情報、および前記データオブジェクト識別子に含まれる前記情報の前記整合性を確証するためのメタデータ検証情報を含む、付記２２に記載のコンピュータが読み出し可能な記憶媒体。
２８．前記コンピューティングリソースプロバイダのコンピュータシステムの１つ以上のプロセッサによって実行されるとき、前記命令が、前記コンピュータシステムに、
前記データオブジェクトを削除する要求であって、前記要求が前記データオブジェクト識別子を指定する、要求を受け取ることと、
少なくとも前記検証情報を用いて前記要求を検証することと、
少なくとも前記記憶場所情報を用いて前記データオブジェクトの場所を特定することと、
前記データオブジェクトを削除することと、を更に行わせる、付記２２に記載のコンピュータが読み出し可能な記憶媒体。

種々の実施形態は更に、多種多様な動作環境で実装することができ、一部の場合において、いくつかのアプリケーションのいずれかを動作するために使用することができる、１つ以上のユーザコンピュータ、コンピューティングデバイス、または処理デバイスを含むことができる。ユーザまたはクライアントデバイスとしては、標準的なオペレーティングシステムを実行するデスクトップまたはラップトップコンピュータ等の、数多くの汎用パーソナルコンピュータ、ならびに、モバイルソフトウェアを実行し、かついくつかのネットワークおよびメッセージングプロトコルをサポートすることができる、セルラーデバイス、無線デバイス、およびハンドヘルドデバイスのいずれかが挙げられる。そのようなシステムとしてはまた、開発およびデータベース管理等の目的で、種々の市販のオペレーティングシステムおよび他の既知のアプリケーションのいずれかを実行する、数多くのワークステーションも挙げられる。これらのデバイスとしてはまた、ネットワークを介して通信することができる、ダミー端末、シンクライアント、ゲームシステム、および他のデバイス等の、他の電子デバイスも挙げられる。

大部分の実施形態は、ＴＣＰ／ＩＰ、ＯＳＩ、ＦＴＰ、ＵＰｎＰ、ＮＦＳ、ＣＩＦＳ、およびＡｐｐｌｅＴａｌｋ等の、種々の市販のプロトコルのいずれかを用いて通信をサポートするための、当業者が精通している少なくとも１つのネットワークを利用する。ネットワークは、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、仮想プライベートネットワーク、インターネット、イントラネット、エクストラネット、公衆交換電話網、赤外線ネットワーク、無線ネットワーク、およびそれらの任意の組み合わせとすることができる。

ウェブサーバを利用する実施形態において、ウェブサーバは、ＨＴＴＰサーバ、ＦＴＰサーバ、ＣＧＩサーバ、データサーバ、Ｊａｖａサーバ、およびビジネスアプリケーションサーバを含む、種々のサーバまたは中間層アプリケーションのいずれかを動作させることができる。サーバ（複数可）はまた、ユーザデバイスからの要求に応じて、Ｊａｖａ（登録商標）、Ｃ、Ｃ＃、もしくはＣ＋＋等の任意のプログラミング言語、またはＰｅｒｌ、Ｐｙｔｈｏｎ、もしくはＴＣＬ等の任意のスクリプト言語、ならびにそれらの組み合わせで書かれた１つ以上のスクリプトまたはプログラムとして実装され得る１つ以上のＷｅｂアプリケーションを実行すること等によって、プログラムまたはスクリプトを実行することも可能であり得る。サーバ（複数可）としてはまた、Ｏｒａｃｌｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）、Ｓｙｂａｓｅ（登録商標）、およびＩＢＭ（登録商標）から市販されているものが挙げられるがそれらに限定されない、データベースサーバも挙げられる。

環境は、上で論じたように、種々のデータストア、ならびに他のメモリおよび記憶媒体を含むことができる。これらは、１つ以上のコンピュータに対してローカルな（および／またはその中に存在する）、またはネットワーク全体にわたるコンピュータのいずれかまたは全てからリモートの記憶媒体上等の、種々の場所に存在することができる。特定の１組の実施形態において、情報は、当業者が精通しているストレージエリアネットワーク（「ＳＡＮ」）の中に存在し得る。同様に、必要に応じて、コンピュータ、サーバ、または他のネットワークデバイスに起因する機能を遂行するための任意の必要なファイルが、ローカルおよび／またはリモートで記憶され得る。システムがコンピュータ制御のデバイスを含む場合、そのような各デバイスは、バスを介して電気的に連結され得るハードウェア要素を含むことができ、該要素は、例えば、少なくとも１つの中央処理ユニット（ＣＰＵ）と、少なくとも１つの入力デバイス（例えば、マウス、キーボード、コントローラ、タッチ画面、またはキーパッド）と、少なくとも１つの出力デバイス（例えば、表示デバイス、プリンタ、またはスピーカー）とを含む。そのようなシステムは、ディスクドライブ、光記憶デバイス、およびランダムアクセスメモリ（ＲＡＭ）またはリードオンリーメモリ（ＲＯＭ）等の固体記憶デバイス、ならびにリムーバブル媒体デバイス、メモリカード、フラッシュカード等の、１つ以上の記憶デバイスも含み得る。

そのようなデバイスとしてはまた、上述のように、コンピュータが読み出し可能な記憶媒体リーダー、通信デバイス（例えば、モデム、ネットワークカード（無線または有線）、赤外線通信デバイス等）、および作業メモリも挙げられる。コンピュータが読み出し可能な記憶媒体リーダーは、リモート、ローカル、固定の、および／または取り外し可能な記憶デバイスを表すコンピュータが読み出し可能な記憶媒体、ならびにコンピュータが読み出し可能な情報を一時的におよび／またはより恒久的に含む、記憶する、伝送する、および検索するための記憶媒体と接続することができる、またはそれを受け取るように構成することができる。システムおよび種々のデバイスはまた、一般的に、オペレーティングシステム、およびクライアントアプリケーションまたはＷｅｂブラウザ等のアプリケーションプログラムを含む、少なくとも１つのワーキングメモリデバイス内に位置する、数多くのソフトウェアアプリケーション、モジュール、サービス、または他の要素も含む。代替の実施形態は、上で説明した数多くの変形例を有し得ることを理解されたい。例えば、カスタマイズされたハードウェアも使用され得、および／または特定の要素が、ハードウェア、ソフトウェア（アプレット等のポータブルソフトウェアを含む）、または双方で実装され得る。更に、ネットワーク入力／出力デバイス等の他のコンピューティングデバイスへの接続が利用され得る。

コードまたはコードの部分を収容するための記憶媒体およびコンピュータが読み出し可能な媒体としては、コンピュータが読み出し可能な命令、データ構造、プログラムモジュール、または他のデータ等の情報を記憶および／または伝送するための任意の方法または技術で実装される揮発性および不揮発性で、取り外し可能および取り外し不可能な媒体等が挙げられるが、それらに限定されない、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、または他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）または他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、または他の磁気記憶デバイス、または所望の情報を記憶するために使用することができ、システムデバイスによってアクセスすることができる、任意の他の媒体を含む、記憶媒体および通信媒体を含む、当技術分野において知られているまたは使用される、任意の適切な媒体が挙げられる。本明細書で提供される開示および教示に基づいて、当業者は、種々の実施形態を実現するための他の様式および／または方法を認識するであろう。

したがって、本明細書および図面は、限定的な意味ではなく、例示的な意味であるとみなされるべきである。しかしながら、特許請求の範囲に記載された本発明のより広い趣旨および範囲から逸脱することなく、種々の修正および変更が行われ得ることが明らかであろう。

他の変形例は、本開示の主旨の範囲内である。よって、本開示の技術は種々の修正および代替構成が可能である一方で、それらのある例示された実施形態は図面において示され上に詳細に説明されている。しかしながら、開示された特定の形態または複数の形態に本発明を限定することを意図しないことを理解されたいがむしろ、意図することは、添付の特許請求の範囲に定義されるように、本発明の趣旨および範囲内に属する全ての修正、代替構成、および均等物を網羅することである。

用語「ａ」、「ａｎ」、および「ｔｈｅ」および本開示の実施形態を説明する文脈（特に以下の特許請求の範囲の文脈）の類似の指示対象は、本明細書に別様に指摘がないかまたは文脈によって明らかに別様に矛盾しない限り、単数および複数の両方を含むと解釈される。用語「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、および「含む（ｃｏｎｔａｉｎｉｎｇ）」は、別様に記載されない限り、変更可能な用語（すなわち、「これらに限定されないが〜を含む」）として解釈される。用語「接続された」は、何らかの介在がある場合においても、部分的にまたは全体的にその内部に含まれた、それに取り付けられた、またはそれと一緒に連結されたとして解釈される。本明細書の値の範囲を列挙することは、本明細書に別様に指摘がない限り、範囲内に属する各別個の値に個別に言及する単なる簡単な方法として機能するように意図されるにすぎず、それが個別に本明細書に列挙されているかのように、各別個の値は、本明細書に組み込まれる。本明細書に記載される全ての方法は、本明細書に別様に指摘がないかまたは文脈によって明らかに別様に矛盾しない限り、任意の好適な順序で遂行することができる。本明細書に提供される任意のおよび全ての実施例、または例示的な言語（例えば、「〜のような」）は、単に本発明の実施形態のより良い理解を容易にするように意図されるにすぎず、別様に特許請求されない限り、本発明の範囲に制限を課すものではない。明細書中の言語は、本発明の実施に必須として任意の非特許請求の要素を示すものとして解釈されるべきではない。

本開示の好ましい実施形態は、本発明を実現するために本発明者に既知の最良のモードを含む。それらの好ましい実施形態の変形例は、前述の説明を一読することによって当該分野の当業者には明らかになり得る。本発明者は、当業者が必要に応じてそのような変形例を用いることを予期し、本発明者らは、本明細書に具体的に記載された以外の方法で実施される発明を意図する。したがって、適用法によって許容されるように、本発明は、全ての修正および本明細書に添付の特許請求の範囲に列挙される主題の均等物を含む。更に、全ての可能な変形例における上述の要素のそれらの任意の組み合わせは、本明細書に別様に指摘がないかまたは文脈によって明らかに別様に矛盾しない限り、本発明によって包含される。

本明細書に引用された、出版物を含む全ての参考文献、特許出願、および特許は、各文献が個別にかつ具体的に参照により組み込まれるように示されその全体が本明細書に記載されているかのように同程度に、参照により本明細書に組み込まれる。

Claims (22)

1. コンピュータ実装方法であって、
   命令を実行する１つ以上のコンピュータシステムの制御下で、
   永続的に記憶されたデータオブジェクトを検索する要求であって、前記要求がデータオブジェクト識別子を含み、前記データオブジェクト識別子が前記データオブジェクトに関連した少なくとも記憶場所情報および検証情報を符号化する、要求を受け取ることと、
   少なくとも前記記憶場所情報を用いて前記データオブジェクトを検索して検索されたデータオブジェクトを形成することと、
   少なくとも前記検証情報を用いて検証を遂行することと、を含む、コンピュータ実装方法。
2. 前記記憶場所情報が少なくともボリューム識別子およびオブジェクト識別子を符号化し、前記ボリューム識別子が、前記データオブジェクトが記憶されたボリュームを示し、前記オブジェクト識別子が、前記データオブジェクトが記憶された前記ボリューム内の場所を識別するために使用可能である、請求項１に記載のコンピュータ実装方法。
3. 前記検証情報が、少なくともポリシー情報を含み、検証を遂行することが、少なくとも前記ポリシー情報に少なくとも部分的に基づいて、前記データオブジェクトへのアクセスが許可されるかどうかを検証することを含む、請求項１に記載のコンピュータ実装方法。
4. 前記検証情報が、少なくともペイロード検証情報を含み、
   前記検証を遂行することが、少なくとも前記ペイロード検証情報を用いて前記検索されたデータオブジェクトの整合性を検証することを含む、請求項１に記載のコンピュータ実装方法。
5. 前記ペイロード検証情報が、前記データオブジェクトの少なくとも一部分の少なくとも暗号ハッシュを含む、請求項４に記載のコンピュータ実装方法。
6. 前記検証情報が少なくともメタデータ検証情報を含み、検証を遂行することが、少なくとも前記メタデータ検証情報を用いて前記データオブジェクト識別子の整合性を確証することを含む、請求項１に記載のコンピュータ実装方法。
7. 前記メタデータ検証情報が、少なくともエラー検出コードを含む、請求項６に記載のコンピュータ実装方法。
8. 前記データオブジェクトを検索することが、暗号キーを用いて前記データオブジェクト識別子の少なくとも一部分を解読して解読されたデータオブジェクト識別子を形成すること、及び、前記解読されたデータオブジェクト識別子から少なくとも前記記憶場所情報を抽出することを含む、請求項１に記載のコンピュータ実装方法。
9. システムであって、
   １つ以上のプロセッサと、
   メモリであって、前記１つ以上のプロセッサによって実行可能な命令を含み、前記命令が、コンピュータシステムに少なくとも、
   複数のデータ操作を遂行するために１つ以上のアプリケーションプログラミングインターフェースを提供することと、
   前記１つ以上のアプリケーションプログラミングインターフェースを通じて、データオブジェクトを検索する要求であって、前記要求がデータオブジェクト識別子を含み、前記データオブジェクト識別子が前記データオブジェクトに関連した少なくとも記憶場所情報および検証情報をカプセル化する、要求を受け取ることと、
   前記記憶場所情報および前記検証情報を獲得するように前記データオブジェクト識別子をカプセル化解除することと、
   前記検証情報に少なくとも部分的に基づいて前記要求を検証することと、
   前記記憶場所情報に少なくとも部分的に基づいて前記データオブジェクトを検索することと、
   少なくとも前記検証情報を用いて前記データオブジェクトの整合性を確証することと、を行わせる、メモリと、を備える、システム。
10. 前記データオブジェクト識別子にカプセル化された前記記憶場所情報は、前記システムが、前記データオブジェクトを格納場所にマップするデータ構造にアクセスせずに、前記データオブジェクトの検索を可能にする、請求項９に記載のシステム。
11. 前記複数のデータ操作が、データ記憶、データ検索、データ削除、及びメタデータクエリを含む、請求項９に記載のシステム。
12. 前記コンピュータシステムに前記データオブジェクト識別子をカプセル化解除することを行わせる前記命令は、前記コンピュータシステムに暗号化キーを用いて前記データオブジェクト識別子の少なくとも一部分解読させる命令を含む、請求項９に記載のシステム。
13. 前記１つ以上のプロセッサによって実行可能な前記命令が、前記コンピュータシステムに、
    前記アプリケーションプログラミングインターフェースを通じて、前記データオブジェクトを記憶する１つ以上の要求であって、前記１つ以上の要求の各々が前記データオブジェクトの少なくとも一部分を指定する、要求を受け取ることと、
    前記データオブジェクトを記憶することと、
    前記アプリケーションプログラミングインターフェースを通じて、前記データオブジェクト識別子を提供することと、を更に行わせる、請求項９に記載のシステム。
14. 前記検証情報のうちの少なくともいくつかが、前記データオブジェクトを記憶する前記１つ以上の要求に少なくとも部分的に基づく、請求項１３に記載のシステム。
15. 前記データオブジェクト識別子が、前記１つ以上の要求によって集合的に指定された前記データオブジェクトの前記部分に関連付けられる、請求項１３に記載のシステム。
16. 実行可能命令を記憶した非一時的コンピュータ読取可能記録媒体であって、前記実行可能命令が、コンピューティングリソースプロバイダのコンピュータシステムの１つ以上のプロセッサによって実行された結果として、コンピュータシステムに少なくとも、
    永続的に記憶されたデータオブジェクトを検索する要求であって、前記要求がデータオブジェクト識別子を含み、前記データオブジェクト識別子が前記データオブジェクトに関連した少なくとも記憶場所情報および検証情報を符号化する、要求を受け取ることと、
    少なくとも前記検証情報を用いて前記要求を検証することと、
    少なくとも前記記憶場所情報を用いて複数のデータ要素を検索し、前記複数のデータ要素が前記データオブジェクトへ１つ以上の符号化スキームを適用させることより生成されている、ことと、
    前記１つ以上の符号化スキームに対応する１つ以上の復号化スキームを前記複数のデータ要素に適用させることにより前記データオブジェクトを復元することと、
    少なくとも前記検証情報を用いて前記データオブジェクトの整合性を確証することと
    を行わせる、非一時的コンピュータ読取可能記録媒体。
17. 前記データオブジェクト識別子が、ユーザが提供した情報を符号化する、請求項１６に記載の非一時的コンピュータ読取可能記録媒体。
18. 前記データオブジェクト識別子が、前記データオブジェクトを記憶する要求に応答して生成される、請求項１６に記載の非一時的コンピュータ読取可能記録媒体。
19. 前記コンピュータシステムに前記データオブジェクトを復元することを行わせる前記実行可能命令が、前記コンピュータシステムに、
    前記複数のデータ要素への前記１つ以上の符号化スキームに対応する前記１つ以上の復号スキームの前記適用からもたらされる１つ以上のデータパートを組み合わせることを更に行わせる、請求項１６に記載の非一時的コンピュータ読取可能記録媒体。
20. 前記コンピュータシステムに前記データオブジェクトを復元させる前記実行可能命令が、
    前記コンピュータシステムに、前記データオブジェクト識別子に少なくとも部分的に基づいて検索可能な１つ以上のデータパートを組み合わせることを行わせるコンピュータ実行可能命令を更に含む、請求項１６に記載の非一時的コンピュータ読取可能記録媒体。
21. 前記検証情報が、前記データオブジェクトの整合性を確証するためのペイロード検証情報、前記データオブジェクトに関連付けられたデータアクセス権を確証するためのデータ承認情報、および前記データオブジェクト識別子に含まれる情報の整合性を確証するためのメタデータ検証情報を含む、請求項１６に記載の非一時的コンピュータ読取可能記録媒体。
22. 前記実行可能命令が、前記コンピュータシステムに、
    前記データオブジェクトを削除する要求であって、前記要求が前記データオブジェクト識別子を指定する、要求を受け取ることと、
    少なくとも前記検証情報を用いて前記要求を検証することと、
    少なくとも前記記憶場所情報を用いて前記データオブジェクトの場所を特定することと、
    前記データオブジェクトを削除することと
    を更に行わせる実行可能命令を含む、請求項１６に記載の非一時的コンピュータ読取可能記録媒体。