JP3672065B2 - 映像収集配信装置 - Google Patents
映像収集配信装置 Download PDFInfo
- Publication number
- JP3672065B2 JP3672065B2 JP22079397A JP22079397A JP3672065B2 JP 3672065 B2 JP3672065 B2 JP 3672065B2 JP 22079397 A JP22079397 A JP 22079397A JP 22079397 A JP22079397 A JP 22079397A JP 3672065 B2 JP3672065 B2 JP 3672065B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- video
- video transmission
- user station
- transmission device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、映像を送信する映像収集配信装置に関する。
【０００２】
【従来の技術】
遠隔地の状況を監視する監視システムにおいては、ビデオカメラ等を介して取り込んだ映像をネットワークを介して伝送することが行われている。
【０００３】
【発明が解決しようとする課題】
本出願人は、該監視システムを更に一歩進め、ビデオカメラで撮像した複数の遠隔地の状況を基地局に収集し、ユーザ局（移動中の車両）からのリクエストに応じて公衆回線を介し指定された遠隔地の映像を配信するシステムを案出した。
【０００４】
ここで、係るシステムにおいて、送信したデータに基づき画像をユーザ局（移動中の車両）のモニターに表示しても、運転者の必要とする情報を直ちに判別させることは難しい。たとえば、特定の交差点の渋滞状況を知りたい運転者に当該交差点の画像を見せても、画像から瞬時に渋滞の状況を把握することは困難である。また、ある峠道の天気を知りたい操作者に、該峠の画像を見せても、当該画像から天気を判別することは困難である。特に、移動中の車両内で、運転者に画像を見せて、画像中に含まれる天候等の種々の状況を理解させることは難しかった。
【０００５】
本発明は、映像中に含まれる情報の内容を直ちに判別できるよう送信する映像収集配信装置を提供することを目的をする。
【０００６】
【課題を解決するための手段】
請求項１は、上記目的を達成するため、複数の映像伝送装置からの映像を収集し、ユーザ局に収集した映像を配信する映像収集配信装置であって、
ユーザ局から所定の場所の画像の伝送を要求する画像要求信号を受信する画像要求受信手段と、
要求された所定の場所を撮像する映像伝送装置に対して画像を伝送するよう要求する画像要求手段と、
前記映像伝送装置から、該映像伝送装置が撮像した画像および該映像伝送装置が有するセンサの出力を受信する画像データ受信手段と、
前記センサの出力により判断された天候を示す図形と前記映像伝送装置から送られた画像とが前記ユーザ局で同一の画面に表示されるように、前記図形および前記映像伝送装置から送られた画像を前記ユーザ局へ伝送する伝送手段と、
を備えることを技術的特徴とする。
【０００７】
請求項２の発明は、複数の映像伝送装置からの映像を収集し、ユーザ局に収集した映像を配信する映像収集配信装置であって、
ユーザ局から所定の場所の画像の伝送を要求する画像要求信号を受信する画像要求受信手段と、
要求された所定の場所を撮像する映像伝送装置に対して画像を伝送するよう要求する画像要求手段と、
前記映像伝送装置から、該映像伝送装置が撮像した画像を受信する画像データ受信手段と、
前記受信した画像を解析して渋滞しているか否かを判断する判断手段と、
前記判断された結果に対応する図形を前記ユーザ局が表示できるためのコードおよび前記映像伝送装置から送られた画像を前記ユーザ局へ伝送する伝送手段と、
を備えることを技術的特徴とする。
【０００８】
請求項３の発明は、請求項２において、前記判断手段は、前記映像伝送装置から送られた複数の画像に基づき車両の走行速度を算出する方法、または、画像中の所定面積当たりの車両台数を計数する方法により渋滞しているか否かを判断することを技術的特徴とする。
【００１０】
請求項１の発明では、要求された所定の場所を撮像した画像と共に、天候を示す図形をユーザ局へ伝送することで、受信側では、該図形（例えばアイコン）により、天候を容易に判別できるように表示できる。
【００１１】
請求項２の発明では、渋滞しているか否かを判断した結果に対応する図形を表示できるためのコードを、要求された所定の場所を撮像した画像と共に送出するため、受信側で該コードに対応する図形（アイコン）等を画像中に表示することで、渋滞しているか否かを容易に判別できるよう表示できる。
【００１２】
請求項３の発明では、画像に基づき車両の走行速度を算出する方法、または、画像中の所定面積当たりの車両台数を計数する方法を用いるため、渋滞しているか否かを判断することができる。
【００１４】
【発明の実施の形態】
以下、本発明の第１実施形態に係る映像収集配信方式について図を参照して説明する。
図１は映像収集配信方式の構成図であり、図２は第１実施形態の映像収集配信方式の概要を示す説明図である。
【００１５】
図２（Ａ）は、映像伝送装置１０を示し、図２（Ｂ）は、複数の映像伝送装置１０からの映像を収集する基地局２０を示し、図２（Ｃ）は、該基地局２０に特定の映像を要求するユーザ局３０を示している。映像伝送装置１０は、例えば、高速道路の各ジャンクションに配置され、該ジャンクションにおける混雑状況をカメラ１２にて撮影し、通信機器１４を介して映像を基地局２０側へ送信する。通信機器１４は、一般の公衆回線（例えば、ＩＳＤＮあるいはアナログ回線）に接続され、この回線を通じてデータを送受信を行うための通信機器であり、例えば、一般の電話機、携帯電話などを含んだモデムあるいはターミナルアダプタである。以下後述する通信機器２４Ａ、２４Ｂ、３６も同様である。また、該映像伝送装置１０には、図示しない照度計、温度計、湿度計等のセンサが配置されている。基地局２０側では、映像収集配信装置２２が、通信機器２４Ａを介して受信した映像を一旦保持する。ユーザ局（車両）３０には、通信機器３６と、該基地局２０へ映像転送を要求するリクエスト発行機器３２と、転送された映像を表示する映像表示器３４とが配設されている。ここで、該リクエスト発行機器３２及び映像表示器３４は、車載用ナビゲーション装置を用いて構成することができる。
【００１６】
図１を参照して更に映像収集配信方式について説明を続ける。図２（Ａ）に示す映像伝送装置１０が、高速道路のジャンクション及び渋滞の発生し易いＮ１箇所に配置されて、一般の公衆回線を介して基地局２０と接続されている。基地局２０には、上記Ｎ１よりも少ない数Ｎ２の通信機器２４Ａが配設され、該映像伝送装置１０からの画像データを受信し得るように配設されている。
【００１７】
基地局２０の映像収集配信装置２２は、コンピュータから成り、該映像伝送装置１０側からの画像データを収集する映像収集部２２ａと、収集したデータを記憶する映像記憶部２２ｂと、映像記憶部２２ｂに記憶されている各画像データが新しいか、及び、各映像伝送装置１０のデータの要求頻度を判定する判定部２２ｃと、ユーザ局から要求のあった画像データを配信する配信部２２ｄと、を備えている。該映像収集配信装置２２には、ユーザ局へ画像データを配信するためのＮ３台の通信機器２４Ｂが備えられている。
【００１８】
一方、ユーザ局は、図２（Ｃ）を参照して上述したようにそれぞれ、携帯電話等の通信機器３６と、該基地局２０へ映像転送を要求するリクエスト発行機器と、転送された映像を表示する映像表示器３４とが配設されている。該ユーザ局は、Ｎ４台存在する。ここで、ユーザ局の数Ｎ４（数万）が一番多く、次に基地局２０側の該ユーザ局との通信用の通信機器２４Ｂの数Ｎ３が多く。これに次いで、映像伝送装置１０の数Ｎ１が多い。基地局２０の該映像伝送装置１０との通信用の通信機器２４Ａの数Ｎ２が最も少ない。
【００１９】
該映像収集配信方式の概要について図３を参照して説明する。
図３（Ａ）及び図３（Ｂ）は、タッチパネルからなる映像表示器３４による表示画面を示している。図３（Ａ）は、映像要求の選択画面を示している。選択画面中には、都市高速道路の概要と該高速道路に設けられた第１〜第５ジャンクションが示されている。ここで、例えば、運転者が、第１ジャンクションの渋滞の状況及び天候を確認し、余り混んでおらず、且つ、雨が降っていないなら該第１ジャンクションから都市高速に上がろうとするなら、第１ジャンクションの部分に触れる。これにより、該第１ジャンクションに配置された映像伝送装置１０にて撮像された画像が、基地局２０から送られ、図３（Ｂ）に示すように天候のアイコンと共に映像が表示される。この映像に基づき、運転者は、該第１ジャンクションの渋滞状況及び天候を判断する。
【００２０】
図４は、第１実施形態の映像収集配信方式でのユーザ局３０、基地局２０、映像伝送装置１０での処理を示すフローチャートである。先ず、図３（Ａ）を参照して上述したように運転者が、タッチパネルからなる映像表示器３４の表示画面中の第１ジャンクションに触れて、該第１ジャンクションの画像の転送を要求すると、ユーザ局のステップ１２の画像伝送要求かの判断がＹｅｓとなり、該ユーザ局は、携帯電話等の通信機器３６にて基地局を発呼し、第１ジャンクションの画像を伝送するよう画像要求を送出する（Ｓ１４）。
【００２１】
ここで、基地局側は、該ユーザ局からの画像伝送要求を受けると、ステップ２２の判断がＹｅｓとなり、先ず、基地局側に当該第１ジャンクションを撮像した最新の画像データ（例えば、５分前に撮像された画像データ）が保持されているかを判断する（Ｓ２４）。ここで、該画像データが保持されていない限り（Ｓ２４がＮｏ）、当該第１ジャンクションを撮像する映像伝送装置１０側を通信機器２４Ａで発呼し、画像を伝送するように画像要求を送出する（Ｓ２６）。
【００２２】
映像伝送装置１０は、基地局側からの画像要求を受けると（Ｓ３０がＹｅｓ）、先ず、上述した照度計、温度計、湿度計等のセンサの出力を取得する（Ｓ３２）。次に、カメラ１２により該第１ジャンクションを撮像した画像を取り込み圧縮する（Ｓ３４）。そして、上述したセンサにより取得した情報（照度、湿度、温度）に基づき、先ず、天候（晴れ、曇り、雨又は雪）を判断し、判断した情報（例えば晴れを示すコード）及び該センサの検出値（温度、湿度）をヘッダとして画像データに付加する（Ｓ３６）。この情報（画像付加情報）の付加された画像データを図５（Ａ）に示す。画像データには、該画像付加情報の他に、当該画像データを識別するためのファイル管理部が付加されてれている。そして、最後に、映像伝送装置１０は、図５（Ａ）に示す画像付加情報及びファイル管理部の付加された画像データを基地局２０側に送出する（Ｓ３８）。
【００２３】
基地局２０は、映像伝送装置１０側から画像データを受信すると（Ｓ４０がＹｅｓ）、受信した画像をユーザ局３０側に転送する（Ｓ４２）。なお、上述したステップ２４の判断において、基地局側に当該第１ジャンクションを撮像した最新の画像データを保持しているときには、映像伝送装置から新たな画像データを取得することなく保持している、画像付加情報及びファイル管理部の付加された画像データをユーザ局側に転送する（Ｓ４２）。
【００２４】
ユーザ局は、基地局２０側から画像付加情報及びファイル管理部の付加された画像データを受信すると（Ｓ５０がＹｅｓ）、受信した画像を図３（Ｂ）に示すように映像表示器３４に表示する（Ｓ５２）。ここでは、図５（Ａ）に示す画像付加情報（晴れを示すコード）に対応した図中に示すように晴れを示すアイコン（太陽の図形）を、当該画像中にスーパインポーズ機能を利用して表示する。ここで、該第１ジャンクションが曇りの時には、曇りを示すコードが送信されるので、このコードに対応した図中に示す雲の図形が、雨のときには雨を示すコードに対応した傘の図形が、また、雪の時には、雪を示すコードに対応した雪ダルマの図形が表示される。このため、運転者は、画像だけでは判断し難い天候を図形（アイコン）から直ちに判別することができる。なお、画像付加情報に基づいて音声で天気を知らせるようにしてもよい。
【００２５】
なお、この第１実施形態では、映像伝送装置１０側で付加された画像付加情報（天候を示すコード）に基づき、ユーザ局側で天候表示用アイコンを画像中にスーパインポーズ機能を利用して表示したが、この代わりに、基地局側で天候表示用アイコンを重ね合わした画像を作成し、ユーザ局側に送信するようにも構成できる。
【００２６】
なお、上述した第１実施形態では、映像伝送装置側でセンサの検出値から天候等を判断したが、撮像した画像を処理して天候等を判断することも可能であり、また、該映像伝送装置側で検出したセンサの値を基地局側へ送信し、該基地局で天候を判断し、ユーザ局での天候表示用のコードを付加することも可能である。更に、映像伝送装置側で撮像した画像を基地局側へ送信し、該基地局でオペレータが天候を判断し、該基地局側にてユーザ局での天候表示用のコードを付加することも可能である。
【００２７】
引き続き、本発明の第２実施形態に係る映像収集配信方式について説明する。上述した第１実施形態では、画像中に含まれる情報を映像伝送装置１０側で付加したが、この第２実施形態では、画像中に含まれる情報を基地局側で判別して付加する。
【００２８】
図６は、第２実施形態の映像収集配信方式でのユーザ局３０、基地局２０、映像伝送装置１０での処理を示すフローチャートである。先ず、運転者が第１ジャンクションの画像の転送を要求すると、ユーザ局のステップ１１２の画像伝送要求かの判断がＹｅｓとなり、該ユーザ局は、第１ジャンクションの画像を伝送するよう画像要求を基地局へ送出する（Ｓ１１４）。
【００２９】
ここで、基地局側は、該ユーザ局からの画像伝送要求を受けると、ステップ１２２の判断がＹｅｓとなり、先ず、基地局側に当該第１ジャンクションを撮像した最新の画像データが保持されているかを判断する（Ｓ１２４）。ここで、該画像データが保持されていない限り（Ｓ１２４がＮｏ）、当該第１ジャンクションを撮像する映像伝送装置１０側に画像を伝送するように画像要求を送出する（Ｓ１２６）。
【００３０】
映像伝送装置１０は、基地局側からの画像要求を受けると（Ｓ１３０がＹｅｓ）、先ず、カメラ１２により該第１ジャンクションを撮像した画像を取り込み圧縮する（Ｓ１３４）。そして、圧縮した画像データを基地局２０側に送出する（Ｓ１３６）。図５（Ｂ）に示すように、映像伝送装置１０からの画像データには、該画像データを識別するためのファイル管理部が取り付けられている。
【００３１】
基地局２０は、映像伝送装置１０側から画像データを受信すると（Ｓ１４０がＹｅｓ）、画像の内容を解析して、現在渋滞しているかを判別し、判別した渋滞情報（渋滞有り・無しを示すコード）をヘッダとして画像データに付加する（Ｓ１４２）。なお、ここでは、画像処理により自動的に渋滞を判断しているが、画像に基づきオペレータが渋滞か否かを判断し、渋滞情報を付加することも可能である。この渋滞情報（画像付加情報）の付加された画像データを図５（Ｃ）に示す。最後に、当該付加情報を含む画像データをユーザ局３０側に転送する（Ｓ１４４）。なお、上述したステップ１２４の判断において、基地局側に当該第１ジャンクションを撮像した最新の画像データ（例えば、５分前に撮像された画像データ）が保持されていときには、映像伝送装置から新たな画像データを取得することなく保持している、付加情報の付加された画像データをユーザ局側に転送する（Ｓ１４４）。ここで、渋滞が発生しているかの判断は、複数の画像に基づき車両の走行速度を算出する方法や、或いは、画像中の所定面積当たりの車両台数を計数等の方法で行う。ここで、基地局の操作者がそれぞれの地点の画像に基づき渋滞を判断し、渋滞の有り・無しを示すコードを付加することもできる。
【００３２】
ユーザ局は、基地局２０側から付加情報を含む画像データを受信すると（Ｓ１５０がＹｅｓ）、受信した画像を図７（Ａ）に示すように映像表示器３４に表示する（Ｓ１５２）。ここでは、図５（Ｃ）に示す画像付加情報（渋滞有りを示すコード）に対応した図中左側に示すように渋滞中を示すアイコンを、当該画像中にスーパインポーズ機能を利用して表示する。ここで、該第１ジャンクションが渋滞していない時には、渋滞無しを示すコードが送られてくるため、該渋滞無しコードに対応した図７（Ｂ）中左側に示すような空いた道路を示すアイコンが表示される。このため、運転者は、画像だけでは判断し難い渋滞の有無を図形（アイコン）から直ちに判別することができる。なお、画像付加情報に基づきて音声で渋滞の有無を知らせるようにしてもよい。
【００３３】
引き続き、本発明の第３実施形態について説明する。上述した第１、第２実施形態は、本発明の映像伝送方式を交通情報の伝送に用いた。これに対して、第３実施形態では、観光案内に本発明の映像伝送方式を用いている。即ち、図８（Ａ）に示すように観光地（遊園地、寺院等）を撮影するように映像伝送装置１１０を配置し、図８（Ｂ）に示すように各家庭に置かれているコンピュータ（ユーザ局）１３０からの所望の映像伝送装置１１０を呼び出し、映像を送信させる。なお、この第３実施形態では、図８で示すように映像伝送装置１０にて撮影された画像が、基地局を介することなくユーザ局（コンピュータ）へ直接送られる。
【００３４】
この映像伝送装置１１０及びユーザ局１３０での処理について、図９のフローチャートを参照して説明する。
操作者が、キーボードを操作して所望の観光地に配設された映像伝送装置１１０に画像の転送を要求すると、ユーザ局のステップ２１２の画像伝送要求かの判断がＹｅｓとなり、該ユーザ局１３０は、当該観光地（ここでは、寺院）を撮像する映像伝送装置１１０の電話番号をダイヤルすることで発呼し、画像を伝送するように画像要求を送出する（Ｓ２１４）。
【００３５】
映像伝送装置１１０は、画像要求を受けると（Ｓ２２０がＹｅｓ）、先ず、照度計、温度計、湿度計等のセンサの出力を取得する（Ｓ２２２）。次に、カメラ１２により該寺院を撮像した画像を取り込み圧縮する（Ｓ２２４）。そして、上述したセンサにより取得した情報に基づき、先ず、天候（晴れ、曇り、雨、雪）及び現在行楽に適しているかを判断し、判断した天候及び行楽の適否の情報（コード）をヘッダとして画像データに付加する（Ｓ２２６）。最後に、映像伝送装置１１０は、該コードの付加された画像データを基地局２０側に送出する（Ｓ２２８）。ここで、行楽に適するか否かは、照度が高く（晴れ又は曇り）、湿度が低いときに行楽に適すると判断する。
【００３６】
ユーザ局１３０は、映像伝送装置１１０側からコードの付加された画像データを受信すると（Ｓ２３０がＹｅｓ）、受信した画像を図８（Ｃ）に示すように映像表示器３４に表示する（Ｓ２３２）。ここでは、画像付加情報（コード）に対応した図中に示す晴れを示すアイコン（太陽の図形）と、観光に適していることを示すクローバの図形を、当該画像中にスーパインポーズ機能を利用して表示する。
【００３７】
ここで、観光に適するとき、春には図中のような桜を表示し、夏にはジュースを、秋にはスズメを示すことができ、画像に季節感を出すことが可能となる。第３実施形態では、画像だけでは判断し難い天候を、太陽を示す図形（アイコン）にて、また、行楽に適するかをクローバ等の図形にて直ちに判別させることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る映像収集配信方式の構成を示すブロック図である。
【図２】図２（Ａ）、図２（Ｂ）及び図２（Ｃ）は、本発明の第１実施形態に係る映像収集配信方式の概要を示す説明図である。
【図３】図３（Ａ）及び図３（Ｂ）は、映像表示器による表示画面を示す説明図である。
【図４】第１実施形態に係る映像収集配信方式による処理を示すフローチャートである。
【図５】図５（Ａ）、図５（Ｂ）、図５（Ｃ）は、画像データの形式を示す説明図ある。
【図６】第２実施形態に係る映像収集配信方式における処理を示すフローチャートである。
【図７】図７（Ａ）、図７（Ｂ）は、第２実施形態の映像収集配信装置での画像の説明図である。
【図８】図８（Ａ）は、第３実施形態に係る映像送信装置の構成を示す説明図であり、図８（Ｂ）はユーザ局の構成を示す説明図であり、図８（Ｃ）は画像の説明図である。
【図９】第３実施形態に係る映像収集配信方式における処理を示すフローチャートである。
【符号の説明】
１０ 映像送信装置
１２ カメラ
１４ 通信機器
２０ 基地局
２２ 映像収集配信装置
２４Ａ 通信機器
２４Ｂ 通信機器
３０ ユーザ局
３２ リクエスト発行機器
３４ 映像表示器
３６ 通信機器（車載電話）
【発明の属する技術分野】
この発明は、映像を送信する映像収集配信装置に関する。
【０００２】
【従来の技術】
遠隔地の状況を監視する監視システムにおいては、ビデオカメラ等を介して取り込んだ映像をネットワークを介して伝送することが行われている。
【０００３】
【発明が解決しようとする課題】
本出願人は、該監視システムを更に一歩進め、ビデオカメラで撮像した複数の遠隔地の状況を基地局に収集し、ユーザ局（移動中の車両）からのリクエストに応じて公衆回線を介し指定された遠隔地の映像を配信するシステムを案出した。
【０００４】
ここで、係るシステムにおいて、送信したデータに基づき画像をユーザ局（移動中の車両）のモニターに表示しても、運転者の必要とする情報を直ちに判別させることは難しい。たとえば、特定の交差点の渋滞状況を知りたい運転者に当該交差点の画像を見せても、画像から瞬時に渋滞の状況を把握することは困難である。また、ある峠道の天気を知りたい操作者に、該峠の画像を見せても、当該画像から天気を判別することは困難である。特に、移動中の車両内で、運転者に画像を見せて、画像中に含まれる天候等の種々の状況を理解させることは難しかった。
【０００５】
本発明は、映像中に含まれる情報の内容を直ちに判別できるよう送信する映像収集配信装置を提供することを目的をする。
【０００６】
【課題を解決するための手段】
請求項１は、上記目的を達成するため、複数の映像伝送装置からの映像を収集し、ユーザ局に収集した映像を配信する映像収集配信装置であって、
ユーザ局から所定の場所の画像の伝送を要求する画像要求信号を受信する画像要求受信手段と、
要求された所定の場所を撮像する映像伝送装置に対して画像を伝送するよう要求する画像要求手段と、
前記映像伝送装置から、該映像伝送装置が撮像した画像および該映像伝送装置が有するセンサの出力を受信する画像データ受信手段と、
前記センサの出力により判断された天候を示す図形と前記映像伝送装置から送られた画像とが前記ユーザ局で同一の画面に表示されるように、前記図形および前記映像伝送装置から送られた画像を前記ユーザ局へ伝送する伝送手段と、
を備えることを技術的特徴とする。
【０００７】
請求項２の発明は、複数の映像伝送装置からの映像を収集し、ユーザ局に収集した映像を配信する映像収集配信装置であって、
ユーザ局から所定の場所の画像の伝送を要求する画像要求信号を受信する画像要求受信手段と、
要求された所定の場所を撮像する映像伝送装置に対して画像を伝送するよう要求する画像要求手段と、
前記映像伝送装置から、該映像伝送装置が撮像した画像を受信する画像データ受信手段と、
前記受信した画像を解析して渋滞しているか否かを判断する判断手段と、
前記判断された結果に対応する図形を前記ユーザ局が表示できるためのコードおよび前記映像伝送装置から送られた画像を前記ユーザ局へ伝送する伝送手段と、
を備えることを技術的特徴とする。
【０００８】
請求項３の発明は、請求項２において、前記判断手段は、前記映像伝送装置から送られた複数の画像に基づき車両の走行速度を算出する方法、または、画像中の所定面積当たりの車両台数を計数する方法により渋滞しているか否かを判断することを技術的特徴とする。
【００１０】
請求項１の発明では、要求された所定の場所を撮像した画像と共に、天候を示す図形をユーザ局へ伝送することで、受信側では、該図形（例えばアイコン）により、天候を容易に判別できるように表示できる。
【００１１】
請求項２の発明では、渋滞しているか否かを判断した結果に対応する図形を表示できるためのコードを、要求された所定の場所を撮像した画像と共に送出するため、受信側で該コードに対応する図形（アイコン）等を画像中に表示することで、渋滞しているか否かを容易に判別できるよう表示できる。
【００１２】
請求項３の発明では、画像に基づき車両の走行速度を算出する方法、または、画像中の所定面積当たりの車両台数を計数する方法を用いるため、渋滞しているか否かを判断することができる。
【００１４】
【発明の実施の形態】
以下、本発明の第１実施形態に係る映像収集配信方式について図を参照して説明する。
図１は映像収集配信方式の構成図であり、図２は第１実施形態の映像収集配信方式の概要を示す説明図である。
【００１５】
図２（Ａ）は、映像伝送装置１０を示し、図２（Ｂ）は、複数の映像伝送装置１０からの映像を収集する基地局２０を示し、図２（Ｃ）は、該基地局２０に特定の映像を要求するユーザ局３０を示している。映像伝送装置１０は、例えば、高速道路の各ジャンクションに配置され、該ジャンクションにおける混雑状況をカメラ１２にて撮影し、通信機器１４を介して映像を基地局２０側へ送信する。通信機器１４は、一般の公衆回線（例えば、ＩＳＤＮあるいはアナログ回線）に接続され、この回線を通じてデータを送受信を行うための通信機器であり、例えば、一般の電話機、携帯電話などを含んだモデムあるいはターミナルアダプタである。以下後述する通信機器２４Ａ、２４Ｂ、３６も同様である。また、該映像伝送装置１０には、図示しない照度計、温度計、湿度計等のセンサが配置されている。基地局２０側では、映像収集配信装置２２が、通信機器２４Ａを介して受信した映像を一旦保持する。ユーザ局（車両）３０には、通信機器３６と、該基地局２０へ映像転送を要求するリクエスト発行機器３２と、転送された映像を表示する映像表示器３４とが配設されている。ここで、該リクエスト発行機器３２及び映像表示器３４は、車載用ナビゲーション装置を用いて構成することができる。
【００１６】
図１を参照して更に映像収集配信方式について説明を続ける。図２（Ａ）に示す映像伝送装置１０が、高速道路のジャンクション及び渋滞の発生し易いＮ１箇所に配置されて、一般の公衆回線を介して基地局２０と接続されている。基地局２０には、上記Ｎ１よりも少ない数Ｎ２の通信機器２４Ａが配設され、該映像伝送装置１０からの画像データを受信し得るように配設されている。
【００１７】
基地局２０の映像収集配信装置２２は、コンピュータから成り、該映像伝送装置１０側からの画像データを収集する映像収集部２２ａと、収集したデータを記憶する映像記憶部２２ｂと、映像記憶部２２ｂに記憶されている各画像データが新しいか、及び、各映像伝送装置１０のデータの要求頻度を判定する判定部２２ｃと、ユーザ局から要求のあった画像データを配信する配信部２２ｄと、を備えている。該映像収集配信装置２２には、ユーザ局へ画像データを配信するためのＮ３台の通信機器２４Ｂが備えられている。
【００１８】
一方、ユーザ局は、図２（Ｃ）を参照して上述したようにそれぞれ、携帯電話等の通信機器３６と、該基地局２０へ映像転送を要求するリクエスト発行機器と、転送された映像を表示する映像表示器３４とが配設されている。該ユーザ局は、Ｎ４台存在する。ここで、ユーザ局の数Ｎ４（数万）が一番多く、次に基地局２０側の該ユーザ局との通信用の通信機器２４Ｂの数Ｎ３が多く。これに次いで、映像伝送装置１０の数Ｎ１が多い。基地局２０の該映像伝送装置１０との通信用の通信機器２４Ａの数Ｎ２が最も少ない。
【００１９】
該映像収集配信方式の概要について図３を参照して説明する。
図３（Ａ）及び図３（Ｂ）は、タッチパネルからなる映像表示器３４による表示画面を示している。図３（Ａ）は、映像要求の選択画面を示している。選択画面中には、都市高速道路の概要と該高速道路に設けられた第１〜第５ジャンクションが示されている。ここで、例えば、運転者が、第１ジャンクションの渋滞の状況及び天候を確認し、余り混んでおらず、且つ、雨が降っていないなら該第１ジャンクションから都市高速に上がろうとするなら、第１ジャンクションの部分に触れる。これにより、該第１ジャンクションに配置された映像伝送装置１０にて撮像された画像が、基地局２０から送られ、図３（Ｂ）に示すように天候のアイコンと共に映像が表示される。この映像に基づき、運転者は、該第１ジャンクションの渋滞状況及び天候を判断する。
【００２０】
図４は、第１実施形態の映像収集配信方式でのユーザ局３０、基地局２０、映像伝送装置１０での処理を示すフローチャートである。先ず、図３（Ａ）を参照して上述したように運転者が、タッチパネルからなる映像表示器３４の表示画面中の第１ジャンクションに触れて、該第１ジャンクションの画像の転送を要求すると、ユーザ局のステップ１２の画像伝送要求かの判断がＹｅｓとなり、該ユーザ局は、携帯電話等の通信機器３６にて基地局を発呼し、第１ジャンクションの画像を伝送するよう画像要求を送出する（Ｓ１４）。
【００２１】
ここで、基地局側は、該ユーザ局からの画像伝送要求を受けると、ステップ２２の判断がＹｅｓとなり、先ず、基地局側に当該第１ジャンクションを撮像した最新の画像データ（例えば、５分前に撮像された画像データ）が保持されているかを判断する（Ｓ２４）。ここで、該画像データが保持されていない限り（Ｓ２４がＮｏ）、当該第１ジャンクションを撮像する映像伝送装置１０側を通信機器２４Ａで発呼し、画像を伝送するように画像要求を送出する（Ｓ２６）。
【００２２】
映像伝送装置１０は、基地局側からの画像要求を受けると（Ｓ３０がＹｅｓ）、先ず、上述した照度計、温度計、湿度計等のセンサの出力を取得する（Ｓ３２）。次に、カメラ１２により該第１ジャンクションを撮像した画像を取り込み圧縮する（Ｓ３４）。そして、上述したセンサにより取得した情報（照度、湿度、温度）に基づき、先ず、天候（晴れ、曇り、雨又は雪）を判断し、判断した情報（例えば晴れを示すコード）及び該センサの検出値（温度、湿度）をヘッダとして画像データに付加する（Ｓ３６）。この情報（画像付加情報）の付加された画像データを図５（Ａ）に示す。画像データには、該画像付加情報の他に、当該画像データを識別するためのファイル管理部が付加されてれている。そして、最後に、映像伝送装置１０は、図５（Ａ）に示す画像付加情報及びファイル管理部の付加された画像データを基地局２０側に送出する（Ｓ３８）。
【００２３】
基地局２０は、映像伝送装置１０側から画像データを受信すると（Ｓ４０がＹｅｓ）、受信した画像をユーザ局３０側に転送する（Ｓ４２）。なお、上述したステップ２４の判断において、基地局側に当該第１ジャンクションを撮像した最新の画像データを保持しているときには、映像伝送装置から新たな画像データを取得することなく保持している、画像付加情報及びファイル管理部の付加された画像データをユーザ局側に転送する（Ｓ４２）。
【００２４】
ユーザ局は、基地局２０側から画像付加情報及びファイル管理部の付加された画像データを受信すると（Ｓ５０がＹｅｓ）、受信した画像を図３（Ｂ）に示すように映像表示器３４に表示する（Ｓ５２）。ここでは、図５（Ａ）に示す画像付加情報（晴れを示すコード）に対応した図中に示すように晴れを示すアイコン（太陽の図形）を、当該画像中にスーパインポーズ機能を利用して表示する。ここで、該第１ジャンクションが曇りの時には、曇りを示すコードが送信されるので、このコードに対応した図中に示す雲の図形が、雨のときには雨を示すコードに対応した傘の図形が、また、雪の時には、雪を示すコードに対応した雪ダルマの図形が表示される。このため、運転者は、画像だけでは判断し難い天候を図形（アイコン）から直ちに判別することができる。なお、画像付加情報に基づいて音声で天気を知らせるようにしてもよい。
【００２５】
なお、この第１実施形態では、映像伝送装置１０側で付加された画像付加情報（天候を示すコード）に基づき、ユーザ局側で天候表示用アイコンを画像中にスーパインポーズ機能を利用して表示したが、この代わりに、基地局側で天候表示用アイコンを重ね合わした画像を作成し、ユーザ局側に送信するようにも構成できる。
【００２６】
なお、上述した第１実施形態では、映像伝送装置側でセンサの検出値から天候等を判断したが、撮像した画像を処理して天候等を判断することも可能であり、また、該映像伝送装置側で検出したセンサの値を基地局側へ送信し、該基地局で天候を判断し、ユーザ局での天候表示用のコードを付加することも可能である。更に、映像伝送装置側で撮像した画像を基地局側へ送信し、該基地局でオペレータが天候を判断し、該基地局側にてユーザ局での天候表示用のコードを付加することも可能である。
【００２７】
引き続き、本発明の第２実施形態に係る映像収集配信方式について説明する。上述した第１実施形態では、画像中に含まれる情報を映像伝送装置１０側で付加したが、この第２実施形態では、画像中に含まれる情報を基地局側で判別して付加する。
【００２８】
図６は、第２実施形態の映像収集配信方式でのユーザ局３０、基地局２０、映像伝送装置１０での処理を示すフローチャートである。先ず、運転者が第１ジャンクションの画像の転送を要求すると、ユーザ局のステップ１１２の画像伝送要求かの判断がＹｅｓとなり、該ユーザ局は、第１ジャンクションの画像を伝送するよう画像要求を基地局へ送出する（Ｓ１１４）。
【００２９】
ここで、基地局側は、該ユーザ局からの画像伝送要求を受けると、ステップ１２２の判断がＹｅｓとなり、先ず、基地局側に当該第１ジャンクションを撮像した最新の画像データが保持されているかを判断する（Ｓ１２４）。ここで、該画像データが保持されていない限り（Ｓ１２４がＮｏ）、当該第１ジャンクションを撮像する映像伝送装置１０側に画像を伝送するように画像要求を送出する（Ｓ１２６）。
【００３０】
映像伝送装置１０は、基地局側からの画像要求を受けると（Ｓ１３０がＹｅｓ）、先ず、カメラ１２により該第１ジャンクションを撮像した画像を取り込み圧縮する（Ｓ１３４）。そして、圧縮した画像データを基地局２０側に送出する（Ｓ１３６）。図５（Ｂ）に示すように、映像伝送装置１０からの画像データには、該画像データを識別するためのファイル管理部が取り付けられている。
【００３１】
基地局２０は、映像伝送装置１０側から画像データを受信すると（Ｓ１４０がＹｅｓ）、画像の内容を解析して、現在渋滞しているかを判別し、判別した渋滞情報（渋滞有り・無しを示すコード）をヘッダとして画像データに付加する（Ｓ１４２）。なお、ここでは、画像処理により自動的に渋滞を判断しているが、画像に基づきオペレータが渋滞か否かを判断し、渋滞情報を付加することも可能である。この渋滞情報（画像付加情報）の付加された画像データを図５（Ｃ）に示す。最後に、当該付加情報を含む画像データをユーザ局３０側に転送する（Ｓ１４４）。なお、上述したステップ１２４の判断において、基地局側に当該第１ジャンクションを撮像した最新の画像データ（例えば、５分前に撮像された画像データ）が保持されていときには、映像伝送装置から新たな画像データを取得することなく保持している、付加情報の付加された画像データをユーザ局側に転送する（Ｓ１４４）。ここで、渋滞が発生しているかの判断は、複数の画像に基づき車両の走行速度を算出する方法や、或いは、画像中の所定面積当たりの車両台数を計数等の方法で行う。ここで、基地局の操作者がそれぞれの地点の画像に基づき渋滞を判断し、渋滞の有り・無しを示すコードを付加することもできる。
【００３２】
ユーザ局は、基地局２０側から付加情報を含む画像データを受信すると（Ｓ１５０がＹｅｓ）、受信した画像を図７（Ａ）に示すように映像表示器３４に表示する（Ｓ１５２）。ここでは、図５（Ｃ）に示す画像付加情報（渋滞有りを示すコード）に対応した図中左側に示すように渋滞中を示すアイコンを、当該画像中にスーパインポーズ機能を利用して表示する。ここで、該第１ジャンクションが渋滞していない時には、渋滞無しを示すコードが送られてくるため、該渋滞無しコードに対応した図７（Ｂ）中左側に示すような空いた道路を示すアイコンが表示される。このため、運転者は、画像だけでは判断し難い渋滞の有無を図形（アイコン）から直ちに判別することができる。なお、画像付加情報に基づきて音声で渋滞の有無を知らせるようにしてもよい。
【００３３】
引き続き、本発明の第３実施形態について説明する。上述した第１、第２実施形態は、本発明の映像伝送方式を交通情報の伝送に用いた。これに対して、第３実施形態では、観光案内に本発明の映像伝送方式を用いている。即ち、図８（Ａ）に示すように観光地（遊園地、寺院等）を撮影するように映像伝送装置１１０を配置し、図８（Ｂ）に示すように各家庭に置かれているコンピュータ（ユーザ局）１３０からの所望の映像伝送装置１１０を呼び出し、映像を送信させる。なお、この第３実施形態では、図８で示すように映像伝送装置１０にて撮影された画像が、基地局を介することなくユーザ局（コンピュータ）へ直接送られる。
【００３４】
この映像伝送装置１１０及びユーザ局１３０での処理について、図９のフローチャートを参照して説明する。
操作者が、キーボードを操作して所望の観光地に配設された映像伝送装置１１０に画像の転送を要求すると、ユーザ局のステップ２１２の画像伝送要求かの判断がＹｅｓとなり、該ユーザ局１３０は、当該観光地（ここでは、寺院）を撮像する映像伝送装置１１０の電話番号をダイヤルすることで発呼し、画像を伝送するように画像要求を送出する（Ｓ２１４）。
【００３５】
映像伝送装置１１０は、画像要求を受けると（Ｓ２２０がＹｅｓ）、先ず、照度計、温度計、湿度計等のセンサの出力を取得する（Ｓ２２２）。次に、カメラ１２により該寺院を撮像した画像を取り込み圧縮する（Ｓ２２４）。そして、上述したセンサにより取得した情報に基づき、先ず、天候（晴れ、曇り、雨、雪）及び現在行楽に適しているかを判断し、判断した天候及び行楽の適否の情報（コード）をヘッダとして画像データに付加する（Ｓ２２６）。最後に、映像伝送装置１１０は、該コードの付加された画像データを基地局２０側に送出する（Ｓ２２８）。ここで、行楽に適するか否かは、照度が高く（晴れ又は曇り）、湿度が低いときに行楽に適すると判断する。
【００３６】
ユーザ局１３０は、映像伝送装置１１０側からコードの付加された画像データを受信すると（Ｓ２３０がＹｅｓ）、受信した画像を図８（Ｃ）に示すように映像表示器３４に表示する（Ｓ２３２）。ここでは、画像付加情報（コード）に対応した図中に示す晴れを示すアイコン（太陽の図形）と、観光に適していることを示すクローバの図形を、当該画像中にスーパインポーズ機能を利用して表示する。
【００３７】
ここで、観光に適するとき、春には図中のような桜を表示し、夏にはジュースを、秋にはスズメを示すことができ、画像に季節感を出すことが可能となる。第３実施形態では、画像だけでは判断し難い天候を、太陽を示す図形（アイコン）にて、また、行楽に適するかをクローバ等の図形にて直ちに判別させることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る映像収集配信方式の構成を示すブロック図である。
【図２】図２（Ａ）、図２（Ｂ）及び図２（Ｃ）は、本発明の第１実施形態に係る映像収集配信方式の概要を示す説明図である。
【図３】図３（Ａ）及び図３（Ｂ）は、映像表示器による表示画面を示す説明図である。
【図４】第１実施形態に係る映像収集配信方式による処理を示すフローチャートである。
【図５】図５（Ａ）、図５（Ｂ）、図５（Ｃ）は、画像データの形式を示す説明図ある。
【図６】第２実施形態に係る映像収集配信方式における処理を示すフローチャートである。
【図７】図７（Ａ）、図７（Ｂ）は、第２実施形態の映像収集配信装置での画像の説明図である。
【図８】図８（Ａ）は、第３実施形態に係る映像送信装置の構成を示す説明図であり、図８（Ｂ）はユーザ局の構成を示す説明図であり、図８（Ｃ）は画像の説明図である。
【図９】第３実施形態に係る映像収集配信方式における処理を示すフローチャートである。
【符号の説明】
１０ 映像送信装置
１２ カメラ
１４ 通信機器
２０ 基地局
２２ 映像収集配信装置
２４Ａ 通信機器
２４Ｂ 通信機器
３０ ユーザ局
３２ リクエスト発行機器
３４ 映像表示器
３６ 通信機器（車載電話）
Claims (3)
- 複数の映像伝送装置からの映像を収集し、ユーザ局に収集した映像を配信する映像収集配信装置であって、
ユーザ局から所定の場所の画像の伝送を要求する画像要求信号を受信する画像要求受信手段と、
要求された所定の場所を撮像する映像伝送装置に対して画像を伝送するよう要求する画像要求手段と、
前記映像伝送装置から、該映像伝送装置が撮像した画像および該映像伝送装置が有するセンサの出力を受信する画像データ受信手段と、
前記センサの出力により判断された天候を示す図形と前記映像伝送装置から送られた画像とが前記ユーザ局で同一の画面に表示されるように、前記図形および前記映像伝送装置から送られた画像を前記ユーザ局へ伝送する伝送手段と、
を備えることを特徴とする映像収集配信装置。 - 複数の映像伝送装置からの映像を収集し、ユーザ局に収集した映像を配信する映像収集配信装置であって、
ユーザ局から所定の場所の画像の伝送を要求する画像要求信号を受信する画像要求受信手段と、
要求された所定の場所を撮像する映像伝送装置に対して画像を伝送するよう要求する画像要求手段と、
前記映像伝送装置から、該映像伝送装置が撮像した画像を受信する画像データ受信手段と、
前記受信した画像を解析して渋滞しているか否かを判断する判断手段と、
前記判断された結果に対応する図形を前記ユーザ局が表示できるためのコードおよび前記映像伝送装置から送られた画像を前記ユーザ局へ伝送する伝送手段と、
を備えることを特徴とする映像収集配信装置。 - 前記判断手段は、前記映像伝送装置から送られた複数の画像に基づき車両の走行速度を算出する方法、または、画像中の所定面積当たりの車両台数を計数する方法により渋滞しているか否かを判断することを特徴とする請求項２記載の映像収集配信装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22079397A JP3672065B2 (ja) | 1997-07-31 | 1997-07-31 | 映像収集配信装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22079397A JP3672065B2 (ja) | 1997-07-31 | 1997-07-31 | 映像収集配信装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPH1153682A JPH1153682A (ja) | 1999-02-26 |
| JPH1153682A5 JPH1153682A5 (ja) | 2005-05-19 |
| JP3672065B2 true JP3672065B2 (ja) | 2005-07-13 |
Family
ID=16756663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22079397A Expired - Fee Related JP3672065B2 (ja) | 1997-07-31 | 1997-07-31 | 映像収集配信装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3672065B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4776329B2 (ja) * | 2005-10-17 | 2011-09-21 | アルパイン株式会社 | ナビゲーション装置 |
| JP4945543B2 (ja) * | 2008-10-31 | 2012-06-06 | 株式会社東芝 | 道路交通情報提供システム及び方法 |
| CN101577754B (zh) | 2009-06-02 | 2012-07-25 | 宇龙计算机通信科技(深圳)有限公司 | 更新天气预报城市列表的方法及手持移动终端 |
| CN105096599B (zh) * | 2015-08-05 | 2017-05-10 | 南京感动科技有限公司 | 一种多功能指挥调度系统 |
-
1997
- 1997-07-31 JP JP22079397A patent/JP3672065B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1153682A (ja) | 1999-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4367353B2 (ja) | 交通情報提供システム、交通情報提供センタ、車載用情報収集装置 | |
| US6804602B2 (en) | Incident-aware vehicular sensors for intelligent transportation systems | |
| TWI407392B (zh) | 以全球定位系統（ｇｐｓ）為主之交通監視系統 | |
| JPH1131295A (ja) | 道路情報管理システムおよび道路情報端末装置 | |
| JP2019020889A (ja) | ダイナミックマップ更新装置、ダイナミックマップ更新方法、ダイナミックマップ更新プログラム | |
| EP3196859A2 (en) | Traffic visualization system | |
| JP2003194557A (ja) | 交通情報出力装置及び交通情報配信装置並びに配信方法 | |
| CN215117778U (zh) | 一种二维可视化交通监控系统 | |
| US20070043500A1 (en) | Road Transport Information Monitoring and Personalized Reporting System | |
| JP2007174016A (ja) | 情報配信システム | |
| JP3672065B2 (ja) | 映像収集配信装置 | |
| KR100630821B1 (ko) | 텔레매틱스 시스템을 이용한 영상 서비스 제공 시스템 및방법 | |
| JPH10320685A (ja) | 交通情報システム | |
| JP2013239087A (ja) | 情報処理システム及び移動体 | |
| JP2002044289A (ja) | 気象情報収集配信方式 | |
| CN110930703A (zh) | 一种智能静态交通管控服务系统及方法 | |
| JP2002133585A (ja) | 交通情報案内システム | |
| US20110217958A1 (en) | System and method for reporting civic incidents over mobile data networks | |
| KR100667476B1 (ko) | 디지털 멀티미디어 방송을 이용한 교통 정보 서비스시스템 및 방법 | |
| KR100873191B1 (ko) | 요약맵 형태의 교통 정보 제공 방법 및 장치 | |
| CN100487749C (zh) | 道路行车信息监控与个人化汇报系统 | |
| KR102088099B1 (ko) | 위치 정보를 기반으로 하는 블랙박스 영상 정보 공유 시스템 및 방법 | |
| JPH11353582A (ja) | 画像情報伝達方法、その方法を利用した交通情報提供システム、交通情報受信端末装置および移動体分布情報提供方法 | |
| JP4187500B2 (ja) | メッセージ処理装置およびシステム | |
| JP2004056439A (ja) | 画像送信装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040708 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040708 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050412 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050413 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050908 |
|
| A072 | Dismissal of procedure |
Free format text: JAPANESE INTERMEDIATE CODE: A072 Effective date: 20051209 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110428 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120428 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130428 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |