JP2012190377A

JP2012190377A - コンテンツ分散保管システム

Info

Publication number: JP2012190377A
Application number: JP2011055016A
Authority: JP
Inventors: Akihiko Nishitani; 明彦西谷; Tomohiko Ogishi; 智彦大岸
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2011-03-14
Filing date: 2011-03-14
Publication date: 2012-10-04

Abstract

【課題】分散ファイルシステムにおいて、コンテンツ片をユーザ端末へ配信するコンテンツ配信サーバが、配信前に複数のコンテンツ片をまとめて読込むに際して、特定のファイルサーバに負荷を集中させることなく読込みを可能とするシステムを得る。
【解決手段】各コンテンツ片を格納する複数のファイルサーバを含む分散ファイルシステムと、ユーザ端末からの配信要求に応じて各ファイルサーバから各コンテンツ片をＮ個まとめて読込みユーザ端末への配信を行うコンテンツ配信サーバとを備えたコンテンツ分散保管システムにおいて、分散ファイルシステムは、複数のファイルサーバから各コンテンツ片の書込み先となるＮ個以上のファイルサーバを決定する分散ファイルシステムクライアント２１を有し、分散ファイルシステムクライアントは、前記各コンテンツ片が時系列順に分散するように書込み先のファイルサーバ２２を決定する書込み先決定部５２を備える。
【選択図】図４

Description

本発明は、ビデオ・オン・デマンド（ＶｏＤ）配信サーバにおいて、ネットワークを介して散在する複数コンピュータのストレージを仮想的に統合して提供可能な分散ファイルシステムを利用し、一つのコンテンツを断片化（コンテンツ片を作成）し、一連のファイルセットを別々のファイルサーバに保管するコンテンツ分散保管システムに関する。

この種の技術としては、非特許文献１や非特許文献２で示されるように、複数のマシンのディスクを組み合わせて１つの分散ファイルシステムとして機能する分散プラットフォームが提案されている。
非特許文献１に示されたGfarmは、広域ネットワーク上で、大容量、大規模データ処理の要求に応えるスケーラブルな分散ファイルシステムプラットフォームであり、広域なネットワーク上での効率的なファイル共有に適した分散プラットフォームである。
一方、非特許文献２に示されたHadoopは、１つのディスクで保存できない大量のデータを並列化することで高速かつ効率良く処理できるものであり、比較的大きなサイズかつ基本的に更新されることのないファイルのＩ／Ｏに適した分散プラットフォームである。

従来、複数のサーバで構成された分散ファイルシステムにおける監視システムは、各サーバの状態を定期的に収集し、統合的に分析することが行われている。収集される情報としては、ＣＰＵ使用率、メモリ使用量、ディスク使用量、ＣＰＵ温度、ネットワーク接続状態などが存在する。統合的な分析例としては、ＣＰＵ使用率が８０％以上のファイルサーバの台数を把握することでファイルサーバの混雑度が分かる。これにより、システムの使用状況に対して、ファイルサーバの台数が十分かどうかなどの指標を得ることができる。

URL：http://datafarm.apgrid.org/indeＸ.ja.html URL：http://hadoop.apache.org/

上述した分散ファイルシステムにおいて、断片化されたコンテンツ片をそれぞれ保管する場合のファイルサーバの選択は、各ファイルサーバのＣＰＵ利用率やディスク空き容量などのリソース情報をもとに選択することが行われている。
例えば図７に示すように、コンテンツ配信サーバは、エンドユーザからの再生要求に従い、コンテンツ片を時系列順に配信する。ただし、各コンテンツ片の配信開始時刻に対象コンテンツ片の読込みを開始するのではなく、配信ストリーム（映像、音声）が途切れない様、先のコンテンツ片をＮ個配信時刻前に読込み、メモリ上に予めロードしておき、配信開始時刻に備えるようになっている。

しかしながら、上述のような方式であると、時系列的に隣接するコンテンツ片をＮ個まとめて読込む場合（図７の例であれば、コンテンツ片１，２，３をまとめて読込む場合、あるいはコンテンツ片４，５，６をまとめて読込む場合）、まとめて読込むコンテンツ片が、図８に示すように同一のファイルサーバ（2010srv）内に保管されている場合には、コンテンツ片１，２，３をまとめて読込むに際して、同一のファイルサーバ（2010srv）にてコンテンツ片１及びコンテンツ片３の読込み処理が輻輳するため、対象ファイルサーバ（2010srv）においてデータ入出力負荷が高騰し、コンテンツ配信サーバに対する応答速度等の読込み性能が低下するという問題があった。

本発明は上記実情に鑑みて提案されたもので、コンテンツ片が格納される複数のファイルサーバを備えた分散ファイルシステムにおいて、コンテンツ片をユーザ端末へ配信するコンテンツ配信サーバが、配信前に複数のコンテンツ片をまとめて読込むに際して、特定のファイルサーバに負荷を集中させることなく読込みが可能なコンテンツ分散保管システムを提供することを目的としている。

上記目的を達成するため本発明（請求項１）は、コンテンツを断片化して複数のコンテンツ片を生成するコンテンツ生成サーバと、前記各コンテンツ片を格納するため物理的に分散した複数のファイルサーバを含んで構成される分散ファイルシステムと、ユーザ端末からの配信要求に応じて前記各ファイルサーバから各コンテンツ片をＮ個まとめて読込み前記ユーザ端末への配信を行うコンテンツ配信サーバとを備えたシステムにおいて、次の構成を含むことを特徴としている。
前記分散ファイルシステムは、前記複数のファイルサーバから各コンテンツ片の書込み先となるＮ個以上のファイルサーバを決定する分散ファイルシステムクライアントを有している。
前記分散ファイルシステムクライアントは、前記各コンテンツ片が時系列順に分散するように書込み先のファイルサーバを決定する書込み先決定部を備える。

請求項２は、請求項１のコンテンツ分散保管システムにおいて、前記分散ファイルシステムは、ＣＰＵ利用率やディスク空き容量などのリソース情報が所定の閾値以上あるファイルサーバのリストを作成するためのメタデータサーバを有し、前記書込み先決定部は、前記メタデータサーバから取得した前記リストに基づいて複数のファイルサーバの中からコンテンツ片の書込み先のファイルサーバを選択することを特徴としている。

請求項３は、請求項２のコンテンツ分散保管システムにおいて、前記リストは、ファイルサーバを一意に識別可能な値の順に並べて作成されることを特徴としている。

請求項４は、請求項３のコンテンツ分散保管システムにおいて、前記リストにおけるファイルサーバを一意に識別可能な値の順は、各ファイルサーバのホスト名順又はＩＰアドレス順又はＭＡＣアドレス順であることを特徴としている。

請求項５は、請求項２のコンテンツ分散保管システムにおいて、前記リストは、ファイルサーバを運用者が指定した任意の順に並べて作成されることを特徴としている。

請求項６は、請求項１または請求項２のコンテンツ分散保管システムにおいて、前記コンテンツ配信サーバからの同時読込み数とファイルサーバでの書込み総数との乗数以上の台数のファイルサーバを設置した環境で、前記リストにおいて、コンテンツ片を保管したファイルサーバの順位に同時読込み数を加えた順位のファイルサーバにコンテンツ片の複製を保管することを特徴としている。

本発明によれば、分散ファイルシステムクライアントは、書込み先決定部により各コンテンツ片が時系列順に分散するように書込み先のファイルサーバを決定するので、コンテンツ配信サーバがユーザ端末からの配信要求に応じて各ファイルサーバから各コンテンツ片をＮ個まとめて読み込む場合、読み込まれる各コンテンツ片は、Ｎ個以上のファイルサーバに時系列順に分散するように格納されているので、読込み先のファイルサーバが重複することなく、特定のファイルサーバに負荷を集中させることなく読み込みを行うことができる。

また、書込み先決定部は、ＣＰＵ利用率やディスク空き容量などのリソース情報が所定の閾値以上あるファイルサーバのリストに基づいて複数のファイルサーバの中からコンテンツ片の書込み先を決定するので、選択されたファイルサーバにコンテンツ片を確実に格納させることができる。

本発明のコンテンツ分散保管システムの実施形態の一例を示す全体構成モデル図である。分散ファイルシステムにおける各コンテンツ片と書込み先のファイルサーバ（ホスト名順）との関係を示すモデル図である。コンテンツ生成サーバ、分散ファイルシステム、コンテンツ配信サーバ、ユーザ端末間でのコンテンツ生成から配信までを示すシーケンス図である。分散ファイルシステムにおける分散ファイルシステムクライアントの構成を示すブロック図である。分散ファイルシステムクライアントの書込み先決定部における処理を示すフローチャート図である。分散ファイルシステムにおける各コンテンツ片（複製有）と書込み先のファイルサーバ（ホスト名順）との関係を示すモデル図である。従前技術におけるコンテンツ片の読込み・配信のタイミングを説明するシーケンス図である。従前の分散ファイルシステムにおける各コンテンツ片と書込み先のファイルサーバとの関係を示すモデル図である。

本発明のコンテンツ分散保管システムの実施形態の一例について、図面を参照しながら説明する。図１は、コンテンツ分散保管システムの全体構成図である。
コンテンツ分散保管システムは、コンテンツ生成サーバ１０と、分散ファイルシステム２０と、コンテンツ配信サーバ３０と、ユーザ端末４０とを備え、それぞれネットワークを介して接続して構成されている。

コンテンツ生成サーバ１０は、コンテンツを提供する外部ストレージ１１に接続され、運用者に指定される時間単位に外部ストレージ１１から提供されたコンテンツを断片化して複数のコンテンツ片１５を生成し、このコンテンツ片１５を分散ファイルシステム２０内に分割書込みする処理が行われる。

分散ファイルシステム２０は、コンテンツ片１５の書込み及び読込みを行う分散ファイルシステムクライアント２１と、各コンテンツ片が時系列的に格納される複数のファイルサーバ２２と、各コンテンツ片の格納先情報（メタ情報）を記録するメタデータサーバ２３を備えている。分散ファイルシステムクライアント２１は、コンテンツ片１５の書込みを行う場合、各コンテンツ片の格納先となるファイルサーバ２２を選択する。
メタデータサーバ２３は、各コンテンツ片がどのファイルサーバ２２に格納されたかのメタ情報を記録する。

ファイルサーバ２２は、各コンテンツ片１５を時系列的に格納するため物理的に分散して配置されている。
コンテンツ配信サーバ３０は、ユーザ端末４０からの配信要求に応じて各ファイルサーバ２２から各コンテンツ片をＮ個ずつまとめて読込み、ネットワークを介してユーザ端末４０へ順次配信を行う。そして、前記したファイルサーバ２２は、Ｎ個の各コンテンツ片１５を時系列的に物理的に分散して格納するため、少なくとも書込み先として選択可能なファイルサーバ２２がＮ個以上存在する個数を備えている。

次に、コンテンツ分散保管システムでのコンテンツ片の書込み及び配信処理について、図２及び図３を参照しながら説明する。
先ず、コンテンツ片の書込みを行う場合について説明する。
コンテンツ生成サーバ１０は、運用者に指定される時間単位に提供されたコンテンツを断片化して複数のコンテンツ片１５を生成し、各コンテンツ片１５を分散ファイルシステム２０内に分割書込みする処理が行われる（図３におけるＡ）。

分散ファイルシステム２０内では、分散ファイルシステムクライアント２１が、コンテンツ生成サーバ１０からのコンテンツ片１５の書込み要求を受け、コンテンツ生成サーバ１０から時系列順に順次渡されるコンテンツ片１５を書き込むファイルサーバ２２を選択する。ファイルサーバ２２の選択は、メタデータサーバ２３に対して書込み先のリスト問い合わせを行い、ＣＰＵ利用率やディスク空き容量などのリソース情報に余裕がある複数のファイルサーバ２２を抽出（応答）し、例えば各ファイルサーバ２２のホスト名順（図２に示す例の場合、ホスト名が2010srv,srv_A,srv_B,workhostの順）に並べたリストを作成し、リストにおける各ファイルサーバ２２の昇順に書込み先を決定しコンテンツ片１５が書き込まれる。

分散ファイルシステムクライアント２１において、リストに抽出される複数のファイルサーバ２２は、リソース情報が予め設定された閾値より大きいものが選択される。なお、Ｎ個のコンテンツ片１５を物理的に別々のファイルサーバ２２に分散させて保管するためには、リストに抽出される複数のファイルサーバ２２（リソース情報に余裕があるもの）がＮ個以上必要である。

これにより、一つのコンテンツの一連のファイルセットの中で、時系列的に近いＮ個のコンテンツ片１５は、物理的に別々のファイルサーバ２２に分散して保管される。従って、これらのコンテンツ片１５を読込むコンテンツ配信サーバ３０にとっては、読込むファイルが物理的に分散して保管されているため、ファイルサーバ２２の負荷を分散しつつ各々を並列に読み込むことができ、高速にメモリ上にデータをロードして配信を開始することができる。

尚、図２の例では、各ファイルサーバ２２のホスト名順（昇順）にコンテンツ片の書込み先を決定するようにしたが、ホスト名順（降順）、ＩＰアドレス順、各サーバのＭＡＣアドレス順など、ファイルサーバ２２を一意に識別可能な値の順、あるいは運用者が設定ファイルに指定した任意の順で書込み先を決定してもよい。

次に、コンテンツの配信を行う場合について説明する。
コンテンツ配信サーバ３０がユーザ端末４０から所望コンテンツの配信要求を受けた場合、コンテンツ配信サーバ３０は、分散ファイルシステム２０に対して所望コンテンツを構成するＮ個のコンテンツ片１５の内の第１コンテンツ片の読込み命令を発する（図３におけるＢ）。
コンテンツ片の読込み命令を受けた分散ファイルシステムクライアント２１は、メタデータサーバ２３に対して読込み先の問い合わせを行い、メタデータサーバ２３からの応答から該当するファイルサーバ２２に対して読込み要求を行い、読込み要求を受けたファイルサーバ２２が分散ファイルシステムクライアント２１に第１コンテンツ片１５のデータを送付（応答）し、これを受けた分散ファイルシステムクライアント２１がコンテンツ配信サーバ３０に対して読込応答を行う。

同様の処理が順次行われることで、分散ファイルシステムクライアント２１は、コンテンツ配信サーバ３０に対して第２コンテンツ片〜第Ｎコンテンツ片を読込み（各ファイルサーバ２２から各コンテンツ片をＮ個まとめて読込み）、ユーザ端末４０への第１〜第Ｎコンテンツ片を順次配信する。
そして、第１〜第Ｎコンテンツ片の配信時において、コンテンツ配信サーバ３０は、分散ファイルシステム２０に対して、第（Ｎ＋１）コンテンツ片の読込み命令を発し、この命令に基づいて分散ファイルシステム２０からコンテンツ配信サーバ３０へ読込応答が順次行われる。

次に、分散ファイルシステムクライアント２１の構成について、図４を参照しながら説明する。分散ファイルシステムクライアント２１は、ユーザアクセス制御部５１、書込み先決定部５２、書込み先情報収集部５３、ファイルシステムアクセス部５４の各モジュールを備えて構成されている。

ユーザアクセス制御部５１は、外部アプリケーション（コンテンツ生成サーバ）から、コンテンツ片の書込み要求を順次受信し、書込み先決定部５２に要求を伝える。また、書込み結果を外部アプリケーションに応答する。
書込み先決定部５２は、書込み対象として選択可能なファイルサーバリストの中から、ファイルサーバ２２のホスト名順、ＩＰアドレス順、各サーバのＭＡＣアドレス順など、ファイルサーバ２２を一意に識別可能な値の順で書込み先を決定する（従って、前回書込み対象としたファイルサーバ２２を記憶しておき、その次のファイルサーバ２２を選択する）。決定した書込み先ファイルサーバ２２をファイルシステムアクセス部５４に伝える。

書込み先情報収集部５３は、メタデータサーバ２３がファイルサーバ２２から定期的に収集した各ファイルサーバ２２のディスク空き容量、ＣＰＵ使用率などのリソース情報を基に作成した書込み可能なファイルサーバ２２のファイルサーバリストを取得し、書込み先決定部５２に渡す。
ファイルシステムアクセス部５４は、書込み先決定部５２から渡される書込み先ファイルサーバ情報に従い、対象となるファイルサーバ２２に書込みデータを転送し、応答を受け取る。

続いて、分散ファイルシステムクライアント２１の書込み先決定部５２における処理手順について、図５のフローチャートを参照しながら説明する。

先ず、書込み先決定部５２は、ユーザアクセス制御部５１からの書込み要求を受け付ける（ステップ６１）。
次に、ユーザアクセス制御部５１から受け取った書込み要求から、ファイル名、ファイルオープンオプション（どのようなモードでファイルを開くか）、ファイル作成時のアクセスモード（書込み許可、読込み許可、書き込みと読み出し許可いずれか）の要求パラメータを抽出する（ステップ６２）。
書込み先決定部５２は、作成されたファイルサーバリストをメタデータサーバ２３から取得する（ステップ６３）。

ファイルサーバリストの取得が成功した場合は（ステップ６４）、前回書込み先の有無をチェックする（ステップ６５）。前回書込み先の有無は、書込み先決定部５２のメモリ上に保管しておいた前回書込み先ファイルサーバが、メタデータサーバ２３から受け取ったファイルサーバリスト中に存在しているかのチェックを行う。
前回書込み先ファイルサーバが有る場合（ステップ６６）、今回の書込み先（前回書込み先に対してリスト順において＋１を加えた書込み先）となる次のホスト名を選定する（ステップ６７）。

選定された書込み先のファイルサーバに対して書込み要求を発行する（ステップ６８）。
書込み先のファイルサーバからファイル書込み応答を受信する（ステップ６９）。
書込み先をメモリに記録する（ステップ７０）。

前回書込み先ファイルサーバが無い場合（ステップ６６）、書込み１回目であるかを判断し（ステップ７１）、１回目である場合はファイルサーバリストの先頭のホストに決定する（ステップ７２）。１回目の書込みであるので、ホスト名でソートしたファイルサーバリストの先頭を選定する。

前回書込み先がない場合で書込みが１回目でない場合（ステップ７１）とは、前回書込み先となったファイルサーバを削除した場合や、前回書込み先のファイルサーバが故障している場合を想定している。この場合には、前回書込み先に近いファイルサーバを検索する（ステップ７３）。
すなわち、ファイルサーバリストの中から辞書順に、前回書込み先ホスト名の次のファイルサーバ名を今回の書込み先に決定する。書込み先の決定後は、ファイル書込み要求の発行（ステップ６８）、ファイル書込み応答の受信（ステップ６９）、書込み先の記録（ステップ７０）が順次行われる。

図６は、コンテンツ分散保管システムでのコンテンツ片の書込み及び配信処理の他の実施形態を示すもので、図２と同一の構成をとる部分については同一の符号を付している。
この例のコンテンツ分散保管システムでは、図１と同様に、コンテンツ生成サーバ、コンテンツ配信サーバ、分散ファイルシステム（分散ファイルシステムクライアント、メタデータサーバ、複数のファイルサーバ）が稼働されている。また、コンテンツ配信サーバからの同時読込み数は「３」とする。

そして、コンテンツ生成サーバからのコンテンツ片書込み要求を受けた分散ファイルシステムクライアントは、図２の例と同様に、コンテンツ生成サーバから時系列順に順次渡されるコンテンツ片を書き込むファイルサーバを、各ファイルサーバのＣＰＵ利用率やディスク空き容量などのリソース情報に余裕があること（ある程度の閾値より上のものの中から）に加え、各ファイルサーバを一意に識別可能な値の順に選択する。

本例のコンテンツ分散保管システムの分散ファイルシステム内においては、最初にファイルサーバに書き込まれたコンテンツ片（オリジナル）の複製を別のファルサーバに作成する機能を有している。すなわち、コンテンツ配信サーバからの同時読込み数（例えば「３」）と複製数（例えば、オリジナルを含む複製数が「２」）との乗数（この場合、６台）以上の台数のファイルサーバを設置した環境で、コンテンツ片１５（オリジナル）を保管したファイルサーバの順位（ソートした中での順位）に同時読込み数（図６の例では「３」）を加えた順位のファイルサーバに複製を保管する。図６の例によれば、ファイルサーバ（2010srv）に保管された第１コンテンツ片１５（オリジナル）の複製は、昇順では３番後（順位４）のファイルサーバ（srv_B）に複製として書き込まれる。

このアルゴリズムにより、コンテンツ配信サーバ３０が時系列的に隣接した３つのコンテンツ片１５を同時に読込む際、オリジナルあるいは複製いずれの読込みを行っても、読込み先ファイルサーバが重複することは無い。

また、一旦コンテンツ片１５が書き込まれたファイルサーバ２２に障害が発生した場合は、運用者が代替機を用意することにより、分散ファイルシステム２０内のメタデータサーバ２３が保持するコンテンツ片１５のメタ情報から、用意された代替機にコンテンツ片を再配置すれば、障害に対処することができる。

上述した各実施形態によれば、コンテンツ配信サーバ３０が各コンテンツ片１５をＮ個まとめて読込みに際して、時系列的に近いＮ個のコンテンツ片１５は物理的に別々のファイルサーバ２２に保管されているため、コンテンツ片１５を順次読込む処理において、複数のコンテンツ片が一つのファイルサーバに格納される状態を防止し、ファイルサーバへの負荷を集中させることなく並列に読み込みことができるので、低負荷でシームレスな配信を行うことが可能となる。

１０…コンテンツ生成サーバ、１１…外部ストレージ、１５…コンテンツ片２０…分散ファイルシステム、２１…分散ファイルシステムクライアント、２２…ファイルサーバ、２３…メタデータサーバ、３０…コンテンツ配信サーバ、４０…ユーザ端末。

Claims

コンテンツを断片化して複数のコンテンツ片を生成するコンテンツ生成サーバと、前記各コンテンツ片を格納するため物理的に分散した複数のファイルサーバを含んで構成される分散ファイルシステムと、ユーザ端末からの配信要求に応じて前記各ファイルサーバから各コンテンツ片をＮ個まとめて読込み前記ユーザ端末への配信を行うコンテンツ配信サーバとを備えたシステムにおいて、
前記分散ファイルシステムは、前記複数のファイルサーバから各コンテンツ片の書込み先となるＮ個以上のファイルサーバを決定する分散ファイルシステムクライアントを有し、
前記分散ファイルシステムクライアントは、前記各コンテンツ片が時系列順に分散するように書込み先のファイルサーバを決定する書込み先決定部を備える
ことを特徴とするコンテンツ分散保管システム。
前記分散ファイルシステムは、ＣＰＵ利用率やディスク空き容量などのリソース情報が所定の閾値以上あるファイルサーバのリストを作成するためのメタデータサーバを有し、
前記書込み先決定部は、前記メタデータサーバから取得した前記リストに基づいて複数のファイルサーバの中からコンテンツ片の書込み先のファイルサーバを選択する
請求項１に記載のコンテンツ分散保管システム。
前記リストは、ファイルサーバを一意に識別可能な値の順に並べて作成される請求項２に記載のコンテンツ分散保管システム。
前記リストにおけるファイルサーバを一意に識別可能な値の順は、各ファイルサーバのホスト名順又はＩＰアドレス順又はＭＡＣアドレス順である請求項３に記載のコンテンツ分散保管システム。
前記リストは、ファイルサーバを運用者が指定した任意の順に並べて作成される請求項２に記載のコンテンツ分散保管システム。
前記コンテンツ配信サーバからの同時読込み数とファイルサーバでの書込み総数（オリジナルを含めた複製数）との乗数以上の台数のファイルサーバを設置した環境で、前記リストにおいて、コンテンツ片を保管したファイルサーバの順位に同時読込み数を加えた順位のファイルサーバにコンテンツ片の複製を保管する請求項１または請求項２に記載のコンテンツ分散保管システム。