JP6686541B2 - 情報処理システム - Google Patents

情報処理システム Download PDF

Info

Publication number
JP6686541B2
JP6686541B2 JP2016042540A JP2016042540A JP6686541B2 JP 6686541 B2 JP6686541 B2 JP 6686541B2 JP 2016042540 A JP2016042540 A JP 2016042540A JP 2016042540 A JP2016042540 A JP 2016042540A JP 6686541 B2 JP6686541 B2 JP 6686541B2
Authority
JP
Japan
Prior art keywords
frame
video data
frames
video
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016042540A
Other languages
English (en)
Other versions
JP2017158154A (ja
Inventor
敦典 坂井
敦典 坂井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2016042540A priority Critical patent/JP6686541B2/ja
Priority to US15/448,858 priority patent/US10491937B2/en
Publication of JP2017158154A publication Critical patent/JP2017158154A/ja
Priority to US16/415,719 priority patent/US10911816B2/en
Priority to US16/415,744 priority patent/US10911817B2/en
Application granted granted Critical
Publication of JP6686541B2 publication Critical patent/JP6686541B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、情報処理システムにかかり、特に、映像データを処理する情報処理システムに関する。
セキュリティニーズの高まりにより、映像監視システムの大規模化、映像の高精細化、映像データ保存の長期化が進んでいる。このため、映像管理システムに保存する映像データの容量は、加速度的に増加している。また、監視カメラ映像を解析し、自動的に人や物を検知するため、学習データとなる高品質な映像データを大量に保存する必要性も出てきている。
このような状況であるため、大容量の映像データは、ローカルＰＣ内のストレージでは、容量要件を満たすことが困難となってきている。このため、映像データを、大容量・高信頼性を保証したアーキテクチャを持つクラウドストレージに映像を配置する方法が考えられている。なお、クラウドストレージとは、インターネット上で、外部記憶領域（ストレージ）を貸し出すサービスのことを言う。
特表２００１−５２５６３６号公報
しかしながら、一般的に、クラウドストレージには以下のような直結ストレージにはない性質を持っている。
・遠隔地に配置されているため、ネットワークの通信帯域が十分に確保される保証がなく、通信遅延が大きくなる。
・大容量、高信頼性を確保するために、一貫性に制約を設けており、記録したデータを、随時、読み出せる保証がない。
なお、クラウドストレージなどでは、バックアップのためデータを複製するまでは、整合性を保つために、データの読み込み・書き込みをブロックする仕組みになっていることが多い。
上述した性質のため、クラウドストレージに映像を配置した場合には、必要な映像データをすぐに取得できずに、ローカルＰＣ側で映像をリアルタイムに視聴することができないという問題がある。
具体的には、以下のような問題がある。
（１）複数のカメラ映像を同時に視聴するような極めて広帯域での映像配信が必要な場合、ネットワークの通信帯域の不足により映像配信が不可能になる。また、映像解析を実施する場合も、大量の映像データを解析サーバに送信する必要があり、映像データの取得に時間がかかる。
（２）映像再生時に特殊操作（ジャンプ、早送り、巻き戻し）を行おうとすると、クラウドストレージ−ローカルＰＣ（再生しようとするＰＣ）間の通信遅延により、操作に対するレスポンスが悪くなる。
（３）保存されてから数秒〜数十秒程度の極めて直近の映像を再生、もしくは、解析などを実施しようとした場合、クラウドストレージの一貫性制約により、すぐに映像が取得できない場合がある。
また、ここで、映像データを保存する技術として、特許文献１に開示の技術がある。特許文献１では、映像データを配信するサーバ装置の負荷を軽減するために、映像データを分割して別々のファイルに格納する方法が開示されている。具体的には、高速再生実行の負荷を軽減するために、圧縮データのうちのアンカピクチャフレーム（Ｉフレーム）と、予測ピクチャフレーム（Ｐフレーム及びＢフレーム）と、に分割して、別々のファイルに格納している。
しかしながら、かかる方法では、依然として上述した高速かつ安定した映像データの再生を行うことができない、という問題が生じる。つまり、特許文献１では、映像データのうち高速再生に必要なデータを予め分割しているだけであるため、サーバの負荷が軽減されるにすぎない。このため、上述したように、ネットワークの通信帯域不足による配信不能や遅延、再生操作のレスポンス低下、さらには、クラウドストレージの一貫性制約による映像取得遅延といった問題が生じる。
また、映像データの再生時だけでなく、映像データの解析を行うなど、映像データに対するあらゆる処理を行う場合にも、高速かつ安定した処理を行うことができない、という問題が生じる。
このため、本発明の目的は、上述した課題である、高速かつ安定して映像データの処理を行うことができない、ことを解決することができる情報処理システムを提供することにある。
本発明の一形態である情報処理システムは、
複数のフレームからなる映像データを処理する映像処理装置と、
前記映像処理装置にて処理される前記映像データを、接続された前記映像処理装置に送信する送信装置と、を備え、
前記映像処理装置は、前記映像データを構成する一部のフレームを記憶し、
前記送信装置は、前記映像処理装置に記憶されていない前記映像データの残りのフレームを記憶する、
という構成をとる。
また、本発明の一形態である映像処理装置は、
複数のフレームからなる映像データを処理する映像処理装置であって、
前記映像データを構成する一部のフレームを記憶し、
当該記憶している一部のフレームを処理すると共に、前記映像データを構成する記憶していない残りのフレームを、当該残りのフレームを記憶する送信装置から送信を受けて処理する、
という構成をとる。
また、本発明の一形態であるプログラムは、
複数のフレームからなる映像データを処理する映像処理装置に、
前記映像データを構成する一部のフレームを記憶し、当該記憶している一部のフレームを処理すると共に、前記映像データを構成する記憶していない残りのフレームを、当該残りのフレームを記憶する送信装置から送信を受けて処理する、
ことを実行させる、
という構成をとる。
また、本発明の一形態である映像データ処理方法は、
複数のフレームからなる映像データを映像処理装置にて処理する映像データ処理方法であって、
前記映像処理装置は、前記映像データを構成する一部のフレームを記憶しており、当該記憶している一部のフレームを処理すると共に、前記映像データを構成する記憶していない残りのフレームを、当該残りのフレームを記憶している送信装置から送信を受けて処理する、
という構成をとる。
本発明は、以上のように構成されることにより、高速かつ安定して映像データの処理を行うことができる。
本発明の実施形態１における情報処理システムの構成を示す機能ブロック図である。 映像データのデータ構造を示す図である。 映像データのデータ構造を示す図である。 図１に開示したフレーム情報記憶部に記憶されるテーブルの一例を示す図である。 図１に開示したＩフレーム格納部に記憶されるテーブルの一例を示す図である。 図１に開示した差分フレーム格納部に記憶されるテーブルの一例を示す図である。 図１に開示した差分フレーム一時保存部に記憶されるテーブルの一例を示す図である。 図１に開示した映像撮影システムの動作を示すフローチャートである。 図１に開示したＩフレーム圧縮部の動作を示すフローチャートである。 図１に開示したローカルＰＣによる映像データ再生時の動作を示すフローチャートである。 図１に開示したＩフレーム復元部の動作を示すフローチャートである。 本発明の実施形態２における情報処理システムの構成を示す機能ブロック図である。 本発明の実施形態３における情報処理システムの構成を示すブロック図である。
＜実施形態１＞
本発明の第１の実施形態を、図１乃至図１１を参照して説明する。図１は、情報処理システムの構成を説明するための図である。図２乃至図３は、映像データのデータ構造を説明するための図である。図４乃至図７は、情報処理システムに記憶されるテーブルの一例を示す図である。図８乃至図１１は、情報処理システムの動作を説明するための図である。
［構成］
本実施形態における情報処理システムは、図１に示すように、ネットワークを介して接続された、映像撮影システム１０と、クラウドストレージ２０と、ローカルＰＣ（Personal Computer）３０と、を備えている。
上記映像撮影システム１０は、まず、監視カメラ１１を備えている。監視カメラ１１は、例えば、監視したい場所に設置されるカメラであり、映像を撮影する。なお、監視カメラ１１は、必ずしも監視用途に用いられるものに限定されず、監視以外の用途で利用されるものであってもよく、いかなる映像を取得するものであってもよい。
これに伴い、後述するローカルＰＣ３０は、映像データを再生するためのものであることに限定されず、映像データの解析を行うなど、他の処理を行う映像処理装置であってもよい。つまり、本発明における情報処理システムは、監視カメラシステムやビデオアーカイブシステム、映像配信システムなど、大容量の映像データを多数保存し、かかる映像データがローカルＰＣ３０で再生されたり解析されるなどして利用されるシステムである。
また、映像撮影システム１０は、演算装置と記憶装置を備えた情報処理装置でもある。そして、映像撮影システム１０は、演算装置がプログラムを実行することで構築された、エンコード部１２と、フレーム種別判定部１３と、差分フレーム情報送信部１４と、Ｉフレーム情報送信部１５と、を備えている。
上記エンコード部１２は、監視カメラ１１にて撮影された映像を、MPEG（Moving Picture Experts Group）規格に準拠する圧縮符号化規格で圧縮符号化（エンコード）する。なお、MPEG規格に準拠する圧縮符号化規格には、例えば、MPEG4（ISO/IEC 14496,ITU-T H.264）, MPEG2（ISO/IEC 13818）, H.264（ISO/IEC 14496-10）などがある。
ここで、MPEG規格に準拠する圧縮符号化方式の仕組みについて、図２を参照して説明する。MPEG規格に準拠する圧縮符号化方式では、フレーム間予測という技術が使われている。フレーム間予測とは、フレーム間の差分情報のみを保持することで、データ量を削減する技術のことである。
圧縮符号化処理を行うと、映像データは、図２の例のように、Ｉフレーム、Ｐフレーム、Ｂフレームのフレームで構成される。図２の構成は一例であり、Ｉフレーム間のＰフレーム、Ｂフレームの数が異なる構成や、ＧＯＰ（Group Of Picture）内のフレーム数が異なる構成などもあり得る。
上記Ｉフレーム（Intra-frame）は、フレーム間予測の基準となるフレームで、フレーム内圧縮符号化処理のみ実施したフレームである。Ｐフレーム（Predictive-frame）は、前のフレームとの差分情報のみを保持するフレームである。Ｂフレーム（Bi-directional-frame）は、前後のフレームとの差分情報のみを保持するフレームである。このように、ＰフレームとＢフレームは、他のフレームに対する差分情報のみのフレームとなるため、Ｉフレームに対してデータ容量が少ない。つまり、Ｉフレームは、一般的にＰフレーム及びＢフレームよりもデータ容量が多いフレームとなる。
そして、一般に、MPEG符号化圧縮された動画像の容量のほとんどは、Iフレームのデータ容量である。普通に動きのある動画でも40%、監視カメラ映像のような動きの少ない映像ではより大きな容量の比率（50〜70%）となる。なお、H.264でのフレーム間予測の基準となるフレームは、IDR（Instantaneous Decoder Refresh）と呼ばれる。
上記フレーム種別判定部１３は、エンコード部１２から符号化圧縮処理された映像データを取得し、当該映像データを構成する各フレームの種別を判定する。そして、判定結果に応じて、各フレームを振り分ける。本実施形態の場合は、上述したようにMPEG圧縮符号化された映像データを構成する各フレームが、Ｉフレームであるか、ＰフレームあるいはＢフレームであるか、を判定する。そして、Ｉフレームと判定したフレームは、Ｉフレーム情報送信部１５に振り分け、それ以外のＰフレームあるいはＢフレームと判定したフレームは、差分フレーム情報送信部１４に振り分ける。
Ｉフレーム情報送信部１５は、振り分けられたＩフレームと、当該Ｉフレームの情報とを、ローカルＰＣ３０に送信して格納する。このとき、Ｉフレーム情報送信部１５は、Ｉフレームの情報として、例えば、各フレームのフレーム番号とフレーム種別も合わせて送信する。
また、差分フレーム情報送信部１４は、振り分けられたＰフレームあるいはＢフレームと、当該フレームの情報と、をクラウドストレージ２０に送信して格納する。さらに、差分フレーム情報送信部１４は、ＰフレームあるいはＢフレームの情報をローカルＰＣ３０に送信する。
具体的に、差分フレーム情報送信部１４は、クラウドストレージ２０には、ＰフレームあるいはＢフレームの情報として、例えば、各フレームのフレーム番号を送信する。一方、差分フレーム情報送信部１４は、ローカルＰＣ３０には、ＰフレームあるいはＢフレームの情報として、例えば、各フレームのフレーム番号とフレーム種別、参照フレーム番号、さらには、当該フレームを送信したクラウドストレージ２０のID、を送信する。ここで、送信するクラウドストレージ２０が複数ある場合は、各クラウドストレージ２０にIDが割り振られている。
次に、クラウドストレージ２０（送信装置）の構成について説明する。クラウドストレージ２０は、ネットワーク上に設置されたストレージ装置である。クラウドストレージ２０は、演算装置と記憶装置とを備えており、当該記憶装置に形成された差分フレーム格納部２１を備えている。また、クラウドストレージ２０は、演算装置がプログラムを実行することで、以下に説明するように、フレームやフレームの情報を格納したり、ローカルＰＣ３０に対してフレームを送信する機能を有する。
具体的に、クラウドストレージ２０は、映像撮影システム１０から送信されたＰフレーム及びＢフレームを受信して、差分フレーム格納部２１に格納する。また、差分フレーム格納部２１内に形成された、図６に示す差分フレーム格納テーブルに、新規レコードを追加し、「差分フレーム格納パス」列と「フレーム番号」列に、格納したフレームの格納パスとフレーム番号をそれぞれ格納する。
次に、ローカルＰＣ３０（映像処理装置）の構成について説明する。ローカルＰＣ３０は、主に、映像データを監視するユーザが操作して、映像データを再生する端末であり、演算装置や記憶装置、表示部３８などを備えた一般的な情報処理装置である。そして、ローカルＰＣ３０は、演算装置がプログラムを実行することで構築された、Ｉフレーム圧縮部３３、Ｉフレーム復元部３４、再生時フレーム取得部３６、デコード部３７、を備えている。また、ローカルＰＣ３０は、記憶装置に形成されたフレーム情報記憶部３１、Ｉフレーム格納部３２、差分フレーム一時保存部３５、を備えている。なお、ローカルＰＣ３０は、演算装置がプログラムを実行することで、以下に説明するように、フレームやフレームの情報を格納する機能も有する。
具体的に、ローカルＰＣ３０は、映像撮影システム１０から送信されたＩフレームを受信して、Ｉフレーム格納部３２に格納する。また、Ｉフレーム格納部３２内に形成された、図５に示すＩフレーム格納テーブルに、新規レコードを追加し、「Ｉフレーム格納パス」列と「フレーム番号」列に、格納したフレームの格納パスとフレーム番号をそれぞれ格納する。このとき、「Ｉフレーム圧縮状況」列には“未圧縮”、「Ｉフレーム圧縮後のフレーム種別」列は、”空欄”にしておく。
また、ローカルＰＣ３０は、映像撮影システム１０から送信された各フレームの情報を、フレーム情報記憶部３１内に形成された、図４に示すフレーム情報テーブルに格納する。具体的には、フレーム情報テーブルに新規レコードを追加し、「フレーム番号」列と「フレーム種別」列に、通知されたフレーム番号とフレーム種別をそれぞれ格納する。そして、Ｉフレームの場合は、「参照フレーム番号」列は、参照する別フレームはないため”空欄”にし、「フレーム保持状況」列は、ローカルＰＣ３０がIフレームを保持しているため、”保持”の値を入れる。さらに、「クラウドストレージID」列は”空欄”にする。一方、ＰフレームあるいはＢフレームの場合は、「参照フレーム番号」列は、通知された参照フレーム番号の値を入れ、「フレーム保持状況」列は、”未保持”の値を入れる。さらに、「クラウドストレージID」列は、通知されたクラウドストレージのIDを格納する。
また、ローカルＰＣ３０のＩフレーム圧縮部３３は、Ｉフレーム格納部３２に格納されているＩフレームに対して圧縮符号化処理（例えば、MPEG規格に準拠する圧縮符号化方式による処理）を行う。圧縮符号化処理の詳細は、動作説明時に詳述するが、圧縮時のフレーム構成の様子を、図３に示す。図３（Ａ）は、映像データを示しており、このうちのＩフレームのみが、図３（Ｂ）に示すようにＩフレーム格納部３２に格納されていることとする。これらＩフレームを、さらに図３（Ｃ）に示すように圧縮符号化する。すると、Ｉフレームのままのフレームもあるが、圧縮後にＰフレームあるいはＢフレームとなるフレームもある。このようにＩフレームをさらに圧縮符号化してＩフレーム格納部３２に格納しておくことで、ローカルＰＣ３０に格納されるデータ容量を低減させることができる。
そして、Ｉフレーム圧縮部３３は、圧縮したフレームがＩフレームのままである場合には、図５に示すＩフレーム格納部３２内のＩフレーム格納テーブルの「Ｉフレーム圧縮」列を、”圧縮”に変更し、「Ｉフレーム圧縮後のフレーム種別」列を”Ｉフレーム”に変更する。一方、Ｉフレーム圧縮部３３は、圧縮したフレームがＰフレーム又はＢフレームとなった場合には、図５に示すＩフレーム格納部３２内のＩフレーム格納テーブルの「Ｉフレーム圧縮」列を、”圧縮”に変更し、「Ｉフレーム圧縮後のフレーム種別」列を”Ｐフレーム”もしくは”Ｂフレーム”に変更する。
ローカルＰＣ３０の再生時フレーム取得部３６は、ユーザからの映像データの再生操作を受け付けると、フレーム情報記憶部３１から再生するフレームの情報を取得する。つまり、再生時フレーム取得部３６は、図４に示すフレーム情報記憶部３１内のフレーム情報テーブルを参照し、再生したいフレーム区間のフレームと、そのフレームをデコードするために必要な参照フレームを確認する。そして、再生時フレーム取得部３６は、図４に示すフレーム情報記憶部３１内のフレーム情報テーブルを参照して、必要なフレームのフレーム種別がＩフレームか、あるいは、Ｐフレーム、Ｂフレームであるか、を確認する。
再生時フレーム取得部３６は、再生するフレーム種別がＩフレームである場合には、ローカルＰＣ３０のＩフレーム格納部３２から、図５に示すＩフレーム格納テーブルを参照して、Ｉフレームを取得する。このとき、Ｉフレームが圧縮符号化されている場合には、Ｉフレーム復元部３４にて圧縮状態から復元処理を行い、元のＩフレームを取得する。なお、Ｉフレーム復元部３４による復元処理については、動作説明時に詳述する。
一方、再生時フレーム取得部３６は、再生するフレーム種別がＰフレームあるいはＢフレームである場合には、フレーム情報記憶部３１から、図４に示すフレーム情報テーブルを参照して、再生するフレームがローカルＰＣ３０内に保持されているか否かを確認する。フレームがローカルＰＣ３０に無い場合には、フレーム情報テーブルからクラウドストレージIDを確認し、取得したIDのクラウドストレージ２０からＰフレームあるいはＢフレームを取得する。このとき、取得したＰフレームあるいはＢフレームをローカルＰＣ３０内である差分フレーム一時保存部３５に格納し、当該差分フレーム一時保存部３５内の図７に示す差分フレーム一時保存テーブルに、その格納先となるローカルＰＣ３０内のパスを記憶する。一方で、フレームがすでにローカルＰＣ３０にある場合には、図７に示す差分フレーム一時保存テーブルを参照して、差分フレーム一時保存部３５からフレームを取得する。
その後、再生時フレーム取得部３６が再生するすべてのフレームを取得すると、デコード部３７がすべてのフレームに対するデコード処理を行う。このとき、再生時フレーム取得部３６は、再生したいフレーム区間のフレームと、そのフレームをデコードするために必要な参照フレームを、フレーム番号を付与して、デコード部３７に送る。なお、映像データを再生するために、画像の大きさなどの情報を格納したシーケンスヘッダなども必要となるため、シーケンスヘッダなどのメタデータもデコーダ部３７に送る。シーケンスヘッダなどのメタデータの容量は小さいため、ローカル側とクラウド側のどちらに保存してもよい。
そして、デコード部３７は、再生時フレーム取得部３６から送られてきたＩフレームと差分フレームを、フレーム番号順に連結して、デコード処理を実行する。このようにしてデコードした映像データを再生して、表示部３８に表示する。なお、デコード部３７による再生が完了し、不要になった差分フレームは、差分フレーム一時保存部３５から削除される。これにより、ローカルＰＣ３０内に保存する映像データの容量を小さくする。
［動作］
次に、上述した情報処理システムの動作を、図８乃至図１１のフローチャートを参照して説明する。まず、映像データ格納時の処理の流れを、図８を参照して説明する。
映像撮影システム１０のフレーム種別判定部１３は、監視カメラ１１で撮影され、MPEG規格で圧縮符号化された映像データに対して、映像データ内の各フレームのフレーム種別（Ｉフレーム、Ｂフレーム、Ｐフレーム）を判定する（図８のステップＳ１）。そして、判定の結果、Ｉフレームは（図８のステップＳ１でＹｅｓ）、Ｉフレーム情報送信部１５がローカルＰＣ３０に送信する。このとき、Ｉフレーム情報送信部１５は、フレームの始めから割り当てたフレーム番号も、併せてローカルＰＣ３０に送信する。
すると、ローカルＰＣは、送信されたIフレームをＩフレーム格納部３２に格納する。また、図５に示すＩフレーム格納部３２内のＩフレーム格納テーブルに、新規レコードを追加し、「Ｉフレーム格納パス」列と「フレーム番号」列に値を格納し、「Ｉフレーム圧縮」列は“未圧縮”、「Ｉフレーム圧縮後のフレーム種別」列は”空欄”にしておく（図８のステップＳ２）。
続いて、Ｉフレーム情報送信部１５は、Ｉフレームのフレーム番号とフレーム種別をローカルＰＣ３０に送信する。これを受けたローカルＰＣ３０は、図４に示すフレーム情報記憶部３１内のフレーム情報テーブルに、新規レコードを追加し、「フレーム番号」列と「フレーム種別」列に値を入れる。Ｉフレームの場合、参照する別フレームはないため「参照フレーム番号」列は”空欄”にする。また、「フレーム保持状況」列は”保持”の値を入れる（図８のステップＳ３）。
また、フレーム種別判定部１３は、フレーム種別の判定の結果、ＰフレームまたはＢフレームは（図８のステップＳ１でＮｏ）、差分フレーム情報送信部１４がクラウドストレージ２０に送信する。このとき、差分フレーム情報送信部１４は、フレームの始めから割り当てたフレーム番号も、併せてクラウドストレージ２０も送信する。
すると、クラウドストレージ２０は、送信されたＰフレームまたはＢフレームを差分フレーム格納部２１に格納する。また、図６に示す差分フレーム格納部２１内の差分フレーム格納テーブルに、新規レコードを追加し、「フレーム格納パス」列と「フレーム番号」列に値を格納する（図８のステップＳ５）。
続いて、差分フレーム情報送信部１４は、圧縮された映像データを参照しているＰフレームあるいはＢフレームの参照フレームを取得し、フレーム番号とフレーム種別とを併せてローカルＰＣ３０に送信する。これを受けたローカルＰＣ３０は、図４に示すフレーム情報記憶部３１内のフレーム情報テーブルに、新規レコードを追加し、「フレーム番号」列と「フレーム種別」列、さらには、「参照フレーム番号」列に値を入れる。また、「フレーム保持状況」列は”未保持”の値を入れ、「クラウドストレージID」列には、格納するクラウドストレージのIDを格納する（図８のステップＳ６）。
上記ステップＳ３あるいはステップＳ６の後に、映像撮影システム１０は、圧縮符号化された映像データの各フレームで、まだ、ローカルＰＣ３０、もしくは、クラウドストレージ２０に送信していないフレームがあるか否かを調べる（図８のステップＳ４）。まだ送信していないフレームがある場合は（図８のステップＳ４でＹｅｓ）、ステップＳ１に戻り、上述した処理を繰り返す（図８のステップＳ１〜Ｓ６）。
次に、ローカルＰＣ３０内のＩフレーム格納部３２に格納したＩフレームをさらに圧縮する場合の処理を、図９を参照して説明する。なお、Ｉフレーム格納部３２内のＩフレームを圧縮処理せず、静止画（Ｉフレーム）のまま保持してもよく、その場合には、以下の処理は実施しない。
まず、Ｉフレーム圧縮部３３は、ローカルＰＣ３０のＩフレーム格納部３２に格納されたＩフレームを、フレーム番号が新しい順に連結し、連結した各Ｉフレームに対して、圧縮後もＩフレームとするフレームを定める。例えば、図３（Ｂ）のようにＩフレームを連結し、図３（Ｃ）に示すように、１５フレームおきにＩフレームとし、「ＩＰＢＢＰＢＢ・・・」というフレーム構成とする。映像にほとんど動きがないのであれば、Ｉフレームとするフレームの間隔を広げてもよい。なお、圧縮処理を実施するフレーム順は、参照される側のフレームを先に圧縮処理するようにする。
そして、Ｉフレーム圧縮部３３は、連結した各Ｉフレームについて、圧縮後もＩフレームとなるフレームであるかを確認する（図９のステップＳ１１）。圧縮後もＩフレームとするフレームの場合には（図９のステップＳ１１でＹｅｓ）、特に圧縮符号化処理を行う必要はなく、そのままＩフレームとして保持する（図９のステップＳ１２）。
その後、Ｉフレーム圧縮部３３は、図５に示すＩフレーム格納部３２内のＩフレーム格納テーブルの「Ｉフレーム圧縮」列を”圧縮”に変更し、「Ｉフレーム圧縮後のフレーム種別」列を「Ｉフレーム」に変更する（図９のステップＳ１３）。
また、Ｉフレーム圧縮部３３は、圧縮後もＩフレームとなるか否かの確認の結果（図９のステップＳ１１）、圧縮後にＰフレームもしくはＢフレームとなるフレームの場合は（図９のステップＳ１１でＮｏ）、ＰフレームもしくはＢフレームを生成する（図９のステップＳ１５）。具体的には、Ｉフレーム圧縮部３３は、参照先フレームのデコード処理（逆量子化、逆離散コサイン変換）を行い、参照画像を生成し、その参照画像と対象画像との色素情報の差分値を求め、Ｐフレーム、もしくは、Ｂフレームを生成する。この時、どのフレームを参照しているかという情報も、Ｐフレーム、Ｂフレームのデータ内に保持される。なお、ここでの差分フレーム生成方法は、MPEG圧縮符号化の仕組みを利用しており、既存機能を利用しての圧縮が可能となる。
その後、Ｉフレーム圧縮部３３は、図５に示すＩフレーム格納部３２内のＩフレーム格納テーブルの「Ｉフレーム圧縮」列を”圧縮”に変更し、「Ｉフレーム圧縮後のフレーム種別」列を”Ｐフレーム”もしくは”Ｂフレーム”に変更する（図９のステップＳ１６）。
上記ステップＳ１３あるいはステップＳ１６の後に、映像撮影システム１０は、Ｉフレーム格納部３２内のＩフレームのうち、まだ圧縮処理していないフレームがある場合は（図９のステップＳ１４でＹｅｓ）、ステップＳ１１に戻り、上述した処理を繰り返す（図８のステップＳ１１〜Ｓ１６）。
次に、ローカルＰＣ３０による映像データの再生時の処理の流れを、図１０を参照して説明する。映像再生、または、ジャンプ、早送りなどの特殊操作を実施する場合、ユーザがローカルＰＣ３０の映像再生画面上でシークバーなどを動かすことで、映像再生したい地点が指定される（図１０のステップＳ２１）。
すると、再生時フレーム取得部３６は、図４に示すフレーム情報記憶部３１内のフレーム情報テーブルから、指定された地点のフレーム番号のレコードを取得する。そして、取得したレコード内の「参照フレーム番号」列から、参照するフレーム番号を取得し、当該各参照フレーム番号の行のレコードも、フレーム情報テーブルからすべて取得する（図１０のステップＳ２２）。
続いて、上記のように取得した各フレーム情報を参照し、「フレーム種別」列の情報から、フレーム種別がＩフレームであるかを確認する（図１０のステップＳ２３）。フレーム種別がＩフレームである場合は（図１０のステップＳ２３でＹｅｓ）、図５に示すＩフレーム格納部３２内のＩフレーム格納テーブルから、「Ｉフレーム圧縮」列を参照する。「Ｉフレーム映像圧縮」列が”圧縮”である場合は、Ｉフレーム復元部３４にて後述する連結Ｉフレームの復元処理を実施し、元のＩフレームを取得する（図１０のステップＳ２４）。「Ｉフレーム映像圧縮」列が”未圧縮”である場合は、図５に示すＩフレーム格納部３２内のＩフレーム格納テーブルの「Ｉフレーム格納パス」列に格納されているパスを参照し、当該パスのフレームデータを、そのままＩフレームデータとして取得する（図１０のステップＳ２４）。
一方、ステップＳ２２で取得したフレーム情報のフレーム種別が、Ｉフレームではなく、ＰフレームもしくはＢフレームである場合は（図１０のステップＳ２３でＮｏ）、図４に示すフレーム情報記憶部３１内のフレーム情報テーブルの「フレーム保持状況」列を参照する。そして、フレームがすでにローカルＰＣ３０にあるかを確認し、ローカルＰＣ３０内にある場合には、差分フレーム一時保存部３５からフレームデータを取得する（図１０のステップＳ２５）。フレームがローカルＰＣ３０にない場合には、クラウドストレージ２０の差分フレーム格納部２１からフレームデータを取得する（図１０のステップＳ２５）。このとき、図４に示すフレーム情報記憶部３１内のフレーム情報テーブルの「クラウドストレージID」列からクラウドストレージIDを取得し、取得したIDのクラウドストレージ２０から差分フレームデータを取得する。なお、クラウドストレージ２０から取得した差分フレームは、ローカルＰＣ３０内の差分フレーム一時保存部３５に一時的に保存し、図７に示す差分フレーム一時保存テーブルにパスを格納しておく。
その後、ステップＳ２２で取得した各フレーム情報について、まだ取得していないフレームデータがまだある場合は（図１０のステップＳ２６でＹｅｓ）、ステップS２３に戻り、上述した処理を繰り返す（図１０のステップＳ２３〜Ｓ２６）。
そして、ステップＳ２２で取得した各フレーム情報について、すべてのフレームデータを取得した後には（図１０のステップＳ２６でＮｏ）、フレームデータからなる映像データの再生を行う（図１０のステップＳ２７）。具体的に、再生時フレーム取得部３６は、すべてのフレームデータとフレーム番号をデコード部３７に送る。そして、デコード部３７は、Ｉフレームと差分フレーム（Ｐフレーム及びＢフレーム）をフレーム番号順に連結し、デコード処理を実施し、表示部３８の画面上に映像を表示する。
ここで、図１１を参照して、上述した映像データの再生処理のステップＳ２４において、圧縮符号化されているＩフレームをＩフレーム復元部３４にて復元する処理を説明する。まず、Ｉフレーム復元部３４は、図５に示すＩフレーム格納部３２内のＩフレーム格納テーブルから、復号対象フレームの「Ｉフレーム圧縮後のフレーム種別」列が、”Ｉフレーム”となっているか確認する（図１１のステップＳ３１）。
そして、「Ｉフレーム圧縮後のフレーム種別」列が”Ｉフレーム”となっていた場合には（図１１のステップＳ３１でＹｅｓ）、圧縮処理後もＩフレームのままであるので、特に復号化処理を行う必要はない。このため、Ｉフレーム復元部３４は、そのままＩフレームデータを取得する（図１１のステップＳ３２）。一方、「Ｉフレーム圧縮後のフレーム種別」列が”Ｐフレーム”もしくは”Ｂフレーム”である場合には（図１１のステップＳ３１でＮｏ）、一度デコード処理を行い、元画像（色素情報を持った画像）を生成する（図１１のステップＳ３４）。そして、生成した元画像データに対して、フレーム内圧縮符号化処理を実施し、Ｉフレームデータを取得する（図１１のステップＳ３５）。
その後、復号化対象の各フレームで、まだ復号化していないフレームがある場合には（図１１のステップＳ３３でＹｅｓ）、ステップＳ３１に戻り、上述した処理を繰り返す（図１１のステップＳ３１〜Ｓ３５）。
以上のように、本発明では、MPEG等の圧縮映像内のＩフレームのみをローカルＰＣ３０に持ち、その他の差分フレーム（Ｐ，Ｂフレーム）はクラウドストレージ２０に持つこととしている。これにより、ローカルＰＣ３０の保存容量を削減しつつ、映像再生時の通信帯域を大幅に削減できる。その結果、再生時のジャンプなどの特殊操作含め、レスポンス良く映像再生が可能となる。なお、ローカルＰＣ３０が映像解析を行う場合であっても、指定時間箇所の映像フレームをローカルＰＣ３０に遅延なく引き渡しすることができる。
例えば、クラウドストレージの一貫性制約などにより、クラウド上からすぐにデータを取得できない場合は、ローカル内のＩフレームのみを再生することもできる。このため、データをクラウド上から取得完了することなく、簡易的な映像再生が可能となり、柔軟な再生が可能となる。
また、本発明では、ローカルＰＣ３０に保持するＩフレームを連結し、さらにMPEG圧縮符号化機能を利用して圧縮して保存している。これにより、ローカルＰＣ３０内におけるさらなる記憶容量の圧縮が可能となる。特に、監視カメラ映像などに利用することで、映像内の動きが少ないため、連結したＩフレームの圧縮効率が高まり、大きくデータ量を削減することができる。
さらには、クラウドストレージ２０上には差分フレーム（Ｐ，Ｂフレーム）しかなく、Ｉフレームがないと映像が復元できず再生できない。このため、クラウドストレージ２０の情報漏洩対策にもなる。
なお、上記では、ローカルＰＣ３０は、映像データを再生する処理を行うこととして説明したが、ローカルＰＣ３０は映像データに対して他の処理を行ってもよい。例えば、ローカルＰＣ３０は、映像データの解析を行ってもよい。これにより、ローカルＰＣ３０に格納されているＩフレームに対して簡易的な解析を行う場合には、高速かつ安定して、解析処理を行うことができる。また、必要に応じて、クラウドストレージ２０から差分フレームを取得して、詳細な解析も行うことができる。
＜実施形態２＞
次に、本発明の第２の実施形態を、図１２を参照して説明する。図１２は、本実施形態における情報処理システムの構成を示す機能ブロック図である。
図１２に示すように、本実施形態における情報処理システムは、実施形態１のものとほぼ同様の構成をとっているが、以下の点で異なる。つまり、本実施形態における情報処理システムは、実施形態１で説明した、ローカルＰＣ３０に装備されていたＩフレーム格納部３２、Ｉフレーム圧縮部３３、Ｉフレーム復元部３４が、符号２２、２３、２４に示すように、クラウドストレージ２０に装備されている。つまり、映像撮影システム１０のＩフレーム情報送信部１５は、Ｉフレームもクラウドストレージ２０上に格納する。
そして、本実施形態では、ローカルＰＣ３０にＩフレーム一時保存部３９を備えており、再生時フレーム取得部３６が事前にＩフレームだけをクラウドストレージ２０から取得して、Ｉフレーム一時保存部３９に格納する。これにより、例えば、先にＩフレームだけをローカルＰＣ３０に送信して、当該ローカルＰＣ３０でまずは簡易的な再生（飛び飛び映像の再生）を可能とする。そして後に、詳細に見たい箇所のみ差分フレームをクラウドストレージ２０からローカルＰＣ３０が取得して、詳細に映像再生可能にするといったことも考えられる。
なお、図１２の構成では、Ｉフレーム復元部２４をクラウドストレージ２０側に配置しているが、クラウドストレージ２０とローカルＰＣ３０間の通信量を減らすために、Ｉフレーム復元部２４をローカル側に配置してもよい。
＜実施形態３＞
次に、本発明の第３の実施形態を、図１３を参照して説明する。図１３は、本実施形態における情報処理システムの構成を示すブロック図である。
本実施形態における情報処理システムは、複数のフレームからなる映像データを処理する映像処理装置１００と、当該映像処理装置１００にて処理される映像データを、接続された上記映像処理装置１００に送信する送信装置２００と、を備える。
そして、上記映像処理装置１００は、映像データを構成する一部のフレーム１１０を記憶する。一方、送信装置２００は、映像処理装置１００に記憶されていない映像データの残りのフレーム２１０を記憶する。
上記構成によると、まず、映像処理装置１００は、映像データの一部のフレーム１１０を記憶しているだけであり、残りのフレーム２１０は送信装置２００に記憶されている。このため、映像処理装置１００の記憶容量を抑制することができる。
これに加え、映像処理装置１００で映像データを再生するなど処理する際には、当該映像処理装置１００に記憶されている一部のフレーム１１０を再生するなど処理することができる。このため、接続された送信装置２００から残りの映像データを取得する必要がなく、高速かつ安定して処理することができる。
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における情報処理システム、映像処理装置、プログラム、映像データ処理方法の構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
複数のフレームからなる映像データを処理する映像処理装置と、
前記映像処理装置にて処理される前記映像データを、接続された前記映像処理装置に送信する送信装置と、を備え、
前記映像処理装置は、前記映像データを構成する一部のフレームを記憶し、
前記送信装置は、前記映像処理装置に記憶されていない前記映像データの残りのフレームを記憶する、
情報処理システム。
上記構成にすることにより、まず、映像処理装置は、映像データの一部のフレームを記憶しているだけであり、残りのフレームは送信装置に記憶されているため、映像処理装置の記憶容量を抑制することができる。これに加え、映像処理装置で映像データを再生するなど処理する際には、当該映像処理装置に記憶されている一部のフレームを再生するなど処理することで、高速かつ安定して処理することができる。
（付記２）
付記１に記載の情報処理システムであって、
前記映像処理装置が記憶する前記映像データを構成する一部のフレームは、当該映像データを構成する残りのフレームよりも容量の多いフレームである、
情報処理システム。
これにより、容量の多いフレームが映像処理装置に記憶された状態となるため、かかるフレームを送信装置から送信を受けて処理するよりも、高速かつ安定して処理することができる。
（付記３）
付記１又は２に記載の情報処理システムであって、
前記映像データは、圧縮符号化方式でエンコードされたものであり、
前記映像処理装置が記憶する前記フレームは、前記映像データのフレーム間予測の基準となるフレームであり、前記送信装置が記憶する前記フレームは、前記映像データのフレーム間の差分情報からなるフレームである、
情報処理システム。
（付記４）
付記１乃至３のいずれかに記載の情報処理システムであって、
前記映像データは、MPEG規格に準拠する圧縮符号化方式でエンコードされたものであり、
前記映像処理装置が記憶する前記フレームは、前記映像データのフレーム間予測の基準となるＩフレームであり、前記送信装置が記憶する前記フレームは、前記映像データのフレーム間の差分情報からなるＰフレーム及びＢフレームである、
情報処理システム。
これにより、映像処理装置では、自装置に記憶されているＩフレームを高速かつ安定して処理することができる。
（付記５）
付記１乃至４のいずれかに記載の情報処理システムであって、
前記映像処理装置は、前記映像データを構成する一部のフレームを、圧縮符号化方式でエンコードされた状態で記憶する、
情報処理システム。
（付記６）
付記５に記載の情報処理システムであって、
前記映像処理装置は、前記映像データを構成する一部のフレームを、MPEG規格に準拠する圧縮符号化方式でエンコードされた状態で記憶する、
情報処理システム。
これにより、映像処理装置では、記憶する一部のフレームをさらに圧縮して保持するため、記憶容量の低減を図ることができる。
（付記７）
複数のフレームからなる映像データを処理する映像処理装置であって、
前記映像データを構成する一部のフレームを記憶し、
当該記憶している一部のフレームを処理すると共に、前記映像データを構成する記憶していない残りのフレームを、当該残りのフレームを記憶する送信装置から送信を受けて処理する、
映像処理装置。
（付記７−１）
付記７に記載の映像処理装置であって、
前記映像データを構成する一部のフレームを圧縮符号化方式でエンコードされた状態で記憶する、
映像処理装置。
（付記８）
複数のフレームからなる映像データを処理する映像処理装置に、
前記映像データを構成する一部のフレームを記憶し、当該記憶している一部のフレームを処理すると共に、前記映像データを構成する記憶していない残りのフレームを、当該残りのフレームを記憶する送信装置から送信を受けて処理する、
ことを実行させるためのプログラム。
（付記８−１）
付記８に記載のプログラムであって、
前記映像処理装置に、さらに、前記映像データを構成する一部のフレームを圧縮符号化方式でエンコードされた状態で記憶する処理を実行させるためのプログラム。
（付記９）
複数のフレームからなる映像データを映像処理装置にて処理する映像データ処理方法であって、
前記映像処理装置は、前記映像データを構成する一部のフレームを記憶しており、当該記憶している一部のフレームを処理すると共に、前記映像データを構成する記憶していない残りのフレームを、当該残りのフレームを記憶している送信装置から送信を受けて処理する、
映像データ処理方法。
（付記１０）
付記９に記載の映像データ処理方法であって、
前記映像処理装置は、前記映像データを構成する一部のフレームとして、前記送信装置に記憶されている前記映像データを構成する残りのフレームよりも容量の多いフレームを記憶する、
映像データ処理方法。
（付記１１）
付記９又は１０に記載の映像データ処理方法であって、
前記映像データは、圧縮符号化方式でエンコードされたものであり、
前記映像処理装置は、前記映像データを構成する一部のフレームとして、前記映像データのフレーム間予測の基準となるフレームを記憶し、
前記送信装置は、前記映像データのフレーム間の差分情報からなるフレームを記憶する、
映像データ処理方法。
（付記１２）
付記９乃至１１のいずれかに記載の映像データ処理方法であって、
前記映像データは、MPEG規格に準拠する圧縮符号化方式でエンコードされたものであり、
前記映像処理装置は、前記映像データを構成する一部のフレームとして、前記映像データのフレーム間予測の基準となるＩフレームを記憶し、
前記送信装置は、前記映像データのフレーム間の差分情報からなるＰフレーム及びＢフレームを記憶する、
映像データ処理方法。
（付記１３）
付記９乃至１２のいずれかに記載の映像データ処理方法であって、
前記映像処理装置は、前記映像データを構成する一部のフレームを、圧縮符号化方式でエンコードされた状態で記憶する、
映像データ処理方法。
（付記１４）
付記１３に記載の映像データ処理方法であって、
前記映像処理装置は、前記映像データを構成する一部のフレームを、MPEG規格に準拠する圧縮符号化方式でエンコードされた状態で記憶する、
映像データ処理方法。
なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
１０ 映像撮影装置
１１ 監視カメラ
１２ エンコード部
１３ フレーム種別判定部
１４ 差分フレーム情報送信部
１５ Ｉフレーム情報送信部
２０ クラウドストレージ
２１ 差分フレーム格納部
２２ Ｉフレーム格納部
２３ Ｉフレーム圧縮部
２４ Ｉフレーム復元部
３０ ローカルＰＣ
３１ フレーム情報記憶部
３２ Ｉフレーム格納部
３３ Ｉフレーム圧縮部
３４ Ｉフレーム復元部
３５ 差分フレーム一時保存部
３６ 再生時フレーム取得部
３７ デコード部
３８ 表示部
３９ Ｉフレーム一時保存部
１００ 映像処理装置
１１０ 映像データの一部のフレーム
２００ 送信装置
２１０ 映像データの残りのフレーム

Claims (10)

  1. 複数のフレームからなる映像データを処理する映像処理装置と、
    前記映像処理装置にて処理される前記映像データを、接続された前記映像処理装置に送信する送信装置と、を備え、
    前記映像処理装置は、前記映像データを構成する一部のフレームを記憶し、
    前記送信装置は、前記映像処理装置に記憶されていない前記映像データの残りのフレームを記憶し、
    さらに、前記映像処理装置は、前記映像データの残りのフレームの情報として、当該残りのフレーム毎に、当該残りのフレームの保持状況と、当該残りのフレームを記憶している前記送信装置の識別情報と、を含むフレーム情報テーブルを記憶し、当該記憶している前記フレーム情報テーブルに基づいて、前記映像処理装置が保持していない前記残りのフレームを記憶している前記送信装置の識別情報を確認し、当該識別情報の前記送信装置から前記映像データの残りのフレームを取得する、
    情報処理システム。
  2. 請求項１に記載の情報処理システムであって、
    前記映像処理装置が記憶する前記映像データを構成する一部のフレームは、当該映像データを構成する残りのフレームよりも容量の多いフレームである、
    情報処理システム。
  3. 請求項１又は２に記載の情報処理システムであって、
    前記映像データは、圧縮符号化方式でエンコードされたものであり、
    前記映像処理装置が記憶する前記フレームは、前記映像データのフレーム間予測の基準となるフレームであり、前記送信装置が記憶する前記フレームは、前記映像データのフレーム間の差分情報からなるフレームである、
    情報処理システム。
  4. 請求項１乃至３のいずれかに記載の情報処理システムであって、
    前記映像データは、MPEG規格に準拠する圧縮符号化方式でエンコードされたものであり、
    前記映像処理装置が記憶する前記フレームは、前記映像データのフレーム間予測の基準となるＩフレームであり、前記送信装置が記憶する前記フレームは、前記映像データのフレーム間の差分情報からなるＰフレーム及びＢフレームである、
    情報処理システム。
  5. 請求項１乃至４のいずれかに記載の情報処理システムであって、
    前記映像処理装置は、前記映像データを構成する一部のフレームを、圧縮符号化方式でエンコードされた状態で記憶する、
    情報処理システム。
  6. 請求項５に記載の情報処理システムであって、
    前記映像処理装置は、前記映像データを構成する一部のフレームを、MPEG規格に準拠する圧縮符号化方式でエンコードされた状態で記憶する、
    情報処理システム。
  7. 複数のフレームからなる映像データを処理する映像処理装置であって、
    前記映像データを構成する一部のフレームを記憶し、
    当該記憶している一部のフレームを処理すると共に、前記映像データを構成する記憶していない残りのフレームを、当該残りのフレームを記憶する送信装置から送信を受けて処理し、
    さらに、前記映像データの残りのフレームの情報として、当該残りのフレーム毎に、当該残りのフレームの保持状況と、当該残りのフレームを記憶している前記送信装置の識別情報と、を含むフレーム情報テーブルを記憶し、当該記憶している前記フレーム情報テーブルに基づいて、前記映像処理装置が保持していない前記残りのフレームを記憶している前記送信装置の識別情報を確認し、当該識別情報の前記送信装置から前記映像データの残りのフレームを取得する、
    映像処理装置。
  8. 複数のフレームからなる映像データを処理する映像処理装置に、
    前記映像データを構成する一部のフレームを記憶し、当該記憶している一部のフレームを処理すると共に、前記映像データを構成する記憶していない残りのフレームを、当該残りのフレームを記憶する送信装置から送信を受けて処理し、
    さらに、前記映像データの残りのフレームの情報として、当該残りのフレーム毎に、当該残りのフレームの保持状況と、当該残りのフレームを記憶している前記送信装置の識別情報と、を含むフレーム情報テーブルを記憶し、当該記憶している前記フレーム情報テーブルに基づいて、前記映像処理装置が保持していない前記残りのフレームを記憶している前記送信装置の識別情報を確認し、当該識別情報の前記送信装置から前記映像データの残りのフレームを取得する、
    ことを実行させるためのプログラム。
  9. 複数のフレームからなる映像データを映像処理装置にて処理する映像データ処理方法であって、
    前記映像処理装置は、前記映像データを構成する一部のフレームを記憶しており、当該記憶している一部のフレームを処理すると共に、前記映像データを構成する記憶していない残りのフレームを、当該残りのフレームを記憶している送信装置から送信を受けて処理し、
    さらに、前記映像処理装置は、前記映像データの残りのフレームの情報として、当該残りのフレーム毎に、当該残りのフレームの保持状況と、当該残りのフレームを記憶している前記送信装置の識別情報と、を含むフレーム情報テーブルを記憶し、当該記憶している前記フレーム情報テーブルに基づいて、前記映像処理装置が保持していない前記残りのフレームを記憶している前記送信装置の識別情報を確認し、当該識別情報の前記送信装置から前記映像データの残りのフレームを取得する、
    映像データ処理方法。
  10. 請求項９に記載の映像データ処理方法であって、
    前記映像処理装置は、前記映像データを構成する一部のフレームとして、前記送信装置に記憶されている前記映像データを構成する残りのフレームよりも容量の多いフレームを記憶する、
    映像データ処理方法。
JP2016042540A 2016-03-04 2016-03-04 情報処理システム Active JP6686541B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016042540A JP6686541B2 (ja) 2016-03-04 2016-03-04 情報処理システム
US15/448,858 US10491937B2 (en) 2016-03-04 2017-03-03 Information processing system
US16/415,719 US10911816B2 (en) 2016-03-04 2019-05-17 Information processing system
US16/415,744 US10911817B2 (en) 2016-03-04 2019-05-17 Information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016042540A JP6686541B2 (ja) 2016-03-04 2016-03-04 情報処理システム

Publications (2)

Publication Number Publication Date
JP2017158154A JP2017158154A (ja) 2017-09-07
JP6686541B2 true JP6686541B2 (ja) 2020-04-22

Family

ID=59722382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016042540A Active JP6686541B2 (ja) 2016-03-04 2016-03-04 情報処理システム

Country Status (2)

Country Link
US (3) US10491937B2 (ja)
JP (1) JP6686541B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7105675B2 (ja) * 2018-11-02 2022-07-25 株式会社東芝 送信装置、サーバ装置、送信方法およびプログラム
US11297218B1 (en) * 2019-10-25 2022-04-05 Genetec Inc. System and method for dispatching media streams for viewing and for video archiving
JP2021118484A (ja) * 2020-01-28 2021-08-10 株式会社チャオ ゲートウェイ装置、ゲートウェイプログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体、ならびにカメラ映像転送方法
CN116634195A (zh) * 2020-02-27 2023-08-22 株式会社东芝 服务器装置、发送方法以及程序
JP7419151B2 (ja) * 2020-04-21 2024-01-22 株式会社東芝 サーバ装置、情報処理方法およびプログラム
US11284125B2 (en) * 2020-06-11 2022-03-22 Western Digital Technologies, Inc. Self-data-generating storage system and method for use therewith
CN112287169B (zh) * 2020-10-29 2024-04-26 字节跳动有限公司 数据采集方法、装置及系统、电子设备及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6057832A (en) 1997-12-02 2000-05-02 V Soft Ltd. Method and apparatus for video-on-demand with fast play capability
JP2003037571A (ja) * 2001-07-26 2003-02-07 Mitsubishi Electric Corp マルチメディア情報送信装置、マルチメディア情報中継装置およびマルチメディア情報受信装置
JP3816373B2 (ja) * 2001-11-09 2006-08-30 松下電器産業株式会社 映像記録再生装置およびその方法
US7302159B2 (en) 2004-11-12 2007-11-27 Pelco Apparatus and method of storing video data
JP4797446B2 (ja) * 2005-05-26 2011-10-19 ソニー株式会社 情報処理システム、情報処理装置および方法、並びにプログラム
JP2008270908A (ja) * 2007-04-16 2008-11-06 Canon Inc 情報処理装置、その制御方法、プログラム、記憶媒体
JP2009100424A (ja) * 2007-10-19 2009-05-07 Fujitsu Ltd 受信装置、受信方法
US8209730B2 (en) * 2009-06-22 2012-06-26 Sony Corporation Speculative video on demand
US8539535B2 (en) * 2009-11-30 2013-09-17 Time Warner Cable Enterprises Llc Methods and apparatus for supporting VOD requests in a system with hierarchical content stores
US9032086B2 (en) * 2011-10-28 2015-05-12 Rhythm Newmedia Inc. Displaying animated images in a mobile browser
US9489387B2 (en) * 2014-01-15 2016-11-08 Avigilon Corporation Storage management of data streamed from a video source device
KR20160041398A (ko) * 2014-10-07 2016-04-18 삼성전자주식회사 컨텐츠 처리 장치 및 그의 컨텐츠 처리 방법
US9578278B1 (en) * 2015-10-20 2017-02-21 International Business Machines Corporation Video storage and video playing

Also Published As

Publication number Publication date
US10911817B2 (en) 2021-02-02
US10491937B2 (en) 2019-11-26
US20170257659A1 (en) 2017-09-07
US20190335223A1 (en) 2019-10-31
JP2017158154A (ja) 2017-09-07
US10911816B2 (en) 2021-02-02
US20190335222A1 (en) 2019-10-31

Similar Documents

Publication Publication Date Title
JP6686541B2 (ja) 情報処理システム
CN112073737B (zh) 在直播视频流应用中重新编码预测的图像帧
KR101867461B1 (ko) 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램
CN101971621B (zh) 图像处理装置及搭载该装置的摄像装置
US9319682B2 (en) Moving image encoding apparatus, control method therefor, and non-transitory computer readable storage medium
KR20190005188A (ko) 복수의 비디오 세그먼트로부터 합성 비디오 스트림을 생성하는 방법 및 장치
US9275081B2 (en) Data management apparatus and data management method
KR20230053210A (ko) 분산형 병렬 트랜스코딩 방법 및 장치
JPH08154230A (ja) 動画符号化データの媒体蓄積方法
JP4440863B2 (ja) 符号化復号化装置、符号化復号化方法、符号化復号化集積回路、および符号化復号化プログラム
JP6483850B2 (ja) データ処理方法および装置
JP2008532452A (ja) ビデオストリームデータのバッファリング
JP2010011287A (ja) 映像伝送方法および端末装置
WO2009122925A1 (ja) 動画像変換装置、動画像配信システム、動画像変換方法及びプログラム
JP6357188B2 (ja) 監視カメラシステム及び監視カメラデータ保存方法
JP4462559B2 (ja) トリック再生用コンテンツ作成方法および装置、トリック再生用圧縮動画データ送出方法および装置、およびトリック再生用コンテンツ作成用プログラム
US12401915B2 (en) Camera time-based motion trails and motion heat-maps for periodic captured images
JP7304096B2 (ja) 動画配信装置
KR20090039232A (ko) 동영상 압축 및 복원 방법
JP3897783B2 (ja) 画像処理装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
KR101852859B1 (ko) 랜덤액세서블 p-프레임에 기초한 동영상 랜덤액세스 처리 방법
US20220329903A1 (en) Media content distribution and playback
CN121842360A (zh) 一种视频帧提取方法、装置、存储介质和计算机设备
JP2004357086A (ja) 動画像の符号化方法及び符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190626

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190815

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191008

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200106

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200316

R150 Certificate of patent or registration of utility model

Ref document number: 6686541

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150