JP7747060B2 - 通信システム、通信方法、プログラム、及び制御装置 - Google Patents

Description

本開示内容は、通信システム、通信方法及びプログラムに関する。

カメラやLiDAR(Light Detection and Ranging)等のセンサで取得できる端末側の情報をネットワーク経由でエッジ又はクラウド側の情報処理基盤に伝送し、人やAI(Artificial Intelligence)などの情報の利用者向けに情報処理及び加工を施す、その上で必要に応じて情報処理基盤（サーバ）側から通信端末側を制御するような信号を下り方向に伝送する、といったエッジ又はクラウドコンピューティングが様々な分野で活用されている。

スマート農業やコネクティッドカー関連では、通信端末側で取得できる情報に基づいて遠隔から監視又は制御するようなユースケースが検討されており、自動運転の安全確保やダイナミックマップの作成を目的とした技術の実用化が進んでいる。

センサ情報の中で、画像は人やAI(Artificial Intelligence)向けへの活用用途が多岐にわたる、また直感的に目視できる情報としてとっつきやすい一方で比較的大容量であるため、リアルタイムな情報伝送には工夫やある程度のコストがかかる側面から、画像ストリーミングの制御については様々な分野で関連技術が検討されている。

遠隔からの監視又は制御では、ネットワークを含む環境や監視主体が変動したり、多様だったりすることにより、通信端末が受信する画像やデータ等の品質が変動する。そのため、従来技術として、ある一定以上の品質を保つために、伝送に使用するネットワークの状態と、情報処理基盤側における画像の受信主体（画像の活用方法）に応じて、ビットレートを適切に制御及び適宜変更する方式（既存技術の組み合わせ）が考えられている（非特許文献１，２）。

木村ら、QoEを保ちながらトラヒック量を削減する画像ビットレート選択方式、信学技報、2017.7 若尾ら、複数無線アクセス最適利用のための品質予測技術、NTT技術ジャーナル、2020.4

しかしながら、これらの従来技術では、通信端末が情報伝送に使用するネットワークの切り替え時など、ネットワークの状態が離散的に変化する場合、同一のネットワークの使用継続を前提とした連続的な状態変化を想定する「ネットワークの状態予測」と情報伝送に使用する「実際のネットワークの状態」に差が生じることで、適切な選択ができずに所望の品質を保つことができないという課題があった。

本発明は、上記の点に鑑みてなされたものであり、様々な状況で要求される画像データ等のデータの品質を保つことを目的とする。

上記目的を達成するため、請求項１に係る発明は、データの送受信を行う通信端末及びサーバによって構築された通信システムであって、前記通信端末の経路計画又は過去の経路を示す経路情報、及び前記通信端末の現在位置及び現在時刻を示す現在の位置時刻情報に基づいて、前記通信端末の未来位置及び当該未来位置に到達する予測時刻を推定する未来位置推定手段と、位置に応じたネットワーク品質を管理するネットワーク品質管理手段と、
前記未来位置及び前記位置に応じたネットワーク品質に基づいて、前記未来位置におけるネットワーク品質を予測するネットワーク品質予測手段と、予測された前記ネットワーク品質に基づいて、前記予測時刻に前記通信端末から、前記サーバへのデータの送信におけるストリーミング設定を行うストリーミング設定手段と、前記ストリーミング設定に基づいて、ストリーミング制御を行うストリーミング制御手段と、を有する通信システムである。

以上説明したように本発明によれば、様々な状況で要求されるデータの品質を保つことができるという効果を奏する。

本発明の実施形態における全体構成を示した概念図である。 本発明の実施形態における通信端末のハードウェア構成図である。 本発明の実施形態におけるサーバのハードウェア構成図である。 本発明の実施形態における通信システムの機能アーキテクチャを機能ブロック図である。 ユーザ要求管理ＤＢの概念図である。 通信システムにおける主な処理を示すシーケンス図である。

〔全体構成の概略〕
図１は、本発明の実施形態における全体構成を示した概念図である。図１では、本実施形態の通信システム１が、一例として、自動走行する農業機械（以下、農業機械を「農機」と示す）の遠隔制御に利用される場合が示されている。通信システム１は、通信端末２及びサーバ４によって構築されている。

また、通信端末２及びサーバ４は、複数のネットワーク（ローカル５Ｇネットワーク５０ａ，５０ｂ、キャリアネットワーク１００）のいずれかを介して通信することができる。ローカル５Ｇネットワーク５０ａ，５０ｂは、通信事業者ではない企業や自治体が、一部のエリア又は建物及び敷地内に構築した専用の５Ｇネットワーク（第５世代のモバイルネットワーク）である。キャリアネットワーク１００は、通信事業者（キャリア）が、全国の広範囲のエリアに構築した専用の５Ｇネットワークである。なお、図１に示された３つのネットワークは一例であり、他のネットワークであってもよい。

また、通信端末２は、農機３に搭載される小型の通信用コンピュータである。

図１では、圃場Ａと圃場Ｂが示され、圃場Ａと圃場Ｂは道路Ｙによってつながっている。また、図１では、通信端末２を搭載した農機３の移動経路の軌跡が示されており、農機３は、圃場Ａ内で農機３ａ，３ｂとして順に移動した後、農機３ｃとして道路Ｙを移動し、圃場Ｂ内で農機３ｄ，３ｅとして順に移動することを示している。

また、圃場Ａには、ＲＴＫ－ＧＰＳ(Real-Time Kinematic GPS)測位を行うための基準点送受信機８ａが設置されている。同様に、圃場Ｂには、ＲＴＫ－ＧＰＳ測位を行うための基準点送受信機８ｂが設置されている。通信端末２は、ＧＰＳ(Global Positioning System)衛星９及び基準点送受信機８ａ、８ｂによるｂＲＴＫ－ＧＰＳ測位により、誤差が数ｃｍ程度の精密な現在位置を特定することができる。

本実施形態では、農機３（通信端末２）の位置に応じて最適な通信品質に対応すべく、農機３（通信端末２）の位置及びユーザの要求（要望）に応じて、使用するネットワークが切り替えられたり、ストリーミング制御（動画コーデック、解像度、フレームレート、及びビットレートの制御）が行われたりする。

図１では、使用するネットワークが切り替えられる場合が示されている。例えば、農機３が農機３ａの位置の場合には、通信端末２はキャリア５Ｇネットワーク１００を使用してサーバ４と通信する。農機３が農機３ｂの位置の場合には、通信端末２はローカル５Ｇネットワーク５０ａを使用してサーバ４と通信する。農機３が農機３ｃの位置の場合には、通信端末２はキャリア５Ｇネットワーク１００を使用してサーバ４と通信する。農機３が農機３ｄの位置の場合には、通信端末２はローカル５Ｇネットワーク５０ｄを使用してサーバ４と通信する。農機３が農機３ｅの位置の場合には、通信端末２はキャリア５Ｇネットワーク１００を使用してサーバ４と通信する。

〔ハードウェア構成〕
＜通信端末のハードウェア構成＞
まずは、図２を用いて、通信端末２のハードウェア構成について説明する。図２は、通信端末のハードウェア構成図である。

図２に示されているように、通信端末２は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、通信装置２０４、ＧＰＳ（Global Positioning System）装置２０５を有する。また、通信端末２は、音声入力装置２０６、音声出力装置２０７、表示装置２０８、撮像装置２０９、接続装置２１０、近距離無線通信装置２１１を有する。なお、通信端末２を構成する各ハードウェアは、バス２２０を介して相互に接続される。

プロセッサ２０１は、通信端末２全体の制御を行う制御部の役割を果たし、ＣＰＵ（Central Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラムをメモリ２０２上に読み出して実行する。なお、プロセッサ４０１には、ＧＰＧＰＵ(General-purpose computing on graphics processing units)が含まれていてもよい。

メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。

補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種情報を格納する。

通信装置２０４は、他の装置（サーバ）との間で各種情報を送受信するための通信デバイスである。ＧＰＳ装置２０５は、通信端末２の位置情報を検出する。

音声入力装置２０６は、ユーザの音声や、周囲の音等の音声情報を検出する。音声出力装置２０７は、例えば、他の装置（サーバ）から受信した各種情報等を音声出力するデバイスである。

表示装置２０８は、例えば、他の装置（サーバ）から受信した各種情報を画像表示するデバイスである。

撮像装置２０９は、ユーザや周囲を撮影し、画像情報を生成する。

接続装置２１０は、通信端末２に、各種センサや外付けメモリ等を接続する際に用いる接続デバイスである。

近距離無線通信装置２１１は、通信端末２の近くの他の装置（通信端末）との間で、近距離無線通信を行うための無線デバイスである。

＜サーバのハードウェア構成＞
次に、図３を用いて、サーバ４のハードウェア構成について説明する。図３は、サーバのハードウェア構成図である。

図３に示されているように、サーバ４は、プロセッサ４０１、メモリ４０２、補助記憶装置４０３、接続装置４０４、通信装置４０５、ドライブ装置４０６を有する。なお、サーバ４を構成する各ハードウェアは、バス４０７を介して相互に接続される。

プロセッサ４０１は、サーバ４全体の制御を行う制御部の役割を果たし、ＣＰＵ（Central Processing Unit）等の各種演算デバイスを有する。プロセッサ４０１は、各種プログラムをメモリ４０２上に読み出して実行する。なお、プロセッサ４０１には、ＧＰＧＰＵ(General-purpose computing on graphics processing units)が含まれていてもよい。

メモリ４０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ４０１とメモリ４０２とは、いわゆるコンピュータを形成し、プロセッサ４０１が、メモリ４０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。

補助記憶装置４０３は、各種プログラムや、各種プログラムがプロセッサ４０１によって実行される際に用いられる各種情報を格納する。

接続装置４０４は、外部装置（例えば、表示装置４１０、操作装置４１１）とサーバ４とを接続する接続デバイスである。

通信装置４０５は、他の装置との間で各種情報を送受信するための通信デバイスである。

ドライブ装置４０６は記録媒体４３０をセットするためのデバイスである。ここでいう記録媒体４３０には、ＣＤ－ＲＯＭ(Compact Disc Read-Only Memory)、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体４３０には、ＲＯＭ(Read Only Memory)、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

なお、補助記憶装置４０３にインストールされる各種プログラムは、例えば、配布された記録媒体４３０がドライブ装置４０６にセットされ、該記録媒体４３０に記録された各種プログラムがドライブ装置４０６により読み出されることでインストールされる。あるいは、補助記憶装置４０３にインストールされる各種プログラムは、通信装置４０５を介してネットワークからダウンロードされることで、インストールされてもよい。

〔通信システムの機能構成〕
続いて、図４を用いて、通信システムの機能構成について説明する。図４は、本発明の実施形態における通信システムの機能アーキテクチャを示す機能ブロック図である。図４では、通信端末２とサーバ４がそれぞれ各部（機能）を有しているが、これは一例であり、通信端末２とサーバ４は、どの部（機能）を有していてもよい。

図４では、通信端末２は、位置時刻情報取得部１１、位置時刻情報配信部１２、ネットワーク品質計測部２４、ストリーミング制御部２６、ネットワーク切替実施部２７、及びストリーミング部２８を有している。これら各部は、通信端末２にインストールされた１以上のプログラムを使用して、プロセッサ２０１が通信端末２に実現させる機能である。

また、図４では、サーバ４が、端末位置遷移管理部１０、未来位置推定部１３、ネットワーク品質管理部２０、ネットワーク品質予測部２１、ネットワーク切替判断部２２、ストリーミング設定部２３、ネットワーク切替通知部２５、及びストリーミング制御結果管理部３０を有している。これら各部は、サーバ４にインストールされた１以上のプログラムを使用して、プロセッサ４０１がサーバ４に実現させる機能である。更に、サーバ４の補助記憶装置４０３には、ユーザ要求管理ＤＢ(Data Base)４０が構築されている。なお、通信端末２の補助記憶装置２０３にユーザ要求管理ＤＢ４０が構築されてもよい。

＜ユーザ要求管理ＤＢ＞
次に、図５を用いて、ユーザ要求管理ＤＢ４０について説明する。図５はユーザ要求管理ＤＢの概念図である。ユーザ要求管理ＤＢ４０は、図５に示されるようにユーザ要求管理テーブルによって構成されており、予め通信端末２のユーザとサーバ４の運営者との間で取り決めた、ユーザの要求（優先度の内容）が管理されている。

図５に示されているように、ユーザ要求管理テーブルでは、ユーザＩＤ、優先使用ネットワーク、固定の動画コーデック、最低限解像度(dpi)、最低フレームレート(fps)、及び最低ビットレート(bps)が関連付けられて管理されている。

これらのうち、ユーザＩＤは、通信端末２のユーザを識別するためのユーザ識別情報の一例である。

使用ネットワークは、ユーザが優先して使用したいネットワークの種類を示す情報である。例えば、図１において、農機３が圃場Ａ内に位置する場合、ローカル５Ｇネットワーク５１ａとキャリアネットワーク１００のいずれも使用可能である。ネットワーク品質だけを考慮すると、農機３が農機３ａの位置に移動したときには、キャリア５Ｇのネットワーク１００を使用し、農機３が農機３ｂの位置に移動したときには、キャリア５Ｇのネットワーク５０ａを使用した方が良い場合がある。しかし、ユーザによっては、一時的にネットワーク品質が落ちても、地元のローカルネットワーク運営業者とユーザとの仕事的な関係や、通信料金が比較的低額である等の理由により、積極的にローカルネットワークを使用したい場合がある。「優先使用ネットワーク」のカラムは、このように各ユーザの要求（要望）に応えるように設定されている。

なお、優先使用ネットワークは、ネットワークの種類ではなく、特定のネットワークを示す情報であってもよい。例えば、図１では、同じローカル５Ｇネットワークであっても、ローカル５Ｇネットワーク５０ａとローカル５Ｇネットワーク５０ｂは、別のネットワークとして管理され、ユーザは、優先的にローカル５Ｇネットワーク５０ａを使用するが、優先的にローカル５Ｇネットワーク５０ｂを使用しない管理も可能である。

固定の動画コーデックは、通信端末２とサーバ４との通信において使用する固定の動画コーデックを示す情報である。例えば、H.264しか使用したくないユーザの要求に応えるように設定される。なお、設定が「なし」の場合は、ユーザが動画コーデックに拘っていないため、動画コーデックは、ネットワーク品質の自動制御の対象になる。

最低解像度は、通信端末２とサーバ４との通信において使用する動画データの最低の解像度を示す情報である。例えば、ＦＨＤ(Full High Definition)以上の解像度にしたいというユーザの要求に応えるように設定される。

最低フレームレートは、通信端末２とサーバ４との通信において使用する動画データの最低のフレームレートを示す情報である。例えば、１５ｆｐｓ以上のフレームレートにしたいというユーザの要求に応えるように設定される。

最低ビットレートは、通信端末２とサーバ４との通信において使用する動画データの最低のビットレートを示す情報である。例えば、１００ｋｂｐｓ以上のビットレートにしたいというユーザの要求に応えるように設定される。

＜通信システムの各機能構成＞
続いて、図４に戻り、各機能部について説明する。なお、以降、「出力」及び「入力」は、ネットワークを介する場合、それぞれ「送信」及び「受信」と表現可能である。

端末位置遷移管理部１０は、通信端末２（農機３）の経路計画、過去の通信端末２（農機３）の経路を示す経路情報を管理している。この経路情報は、例えば、図１において、農機３は、農機３ａ，３ｂ，３ｃ，３ｄ，３ｅの順番に移動する今後の経路計画又は過去（例えば、昨年）の経路に関する情報である。

位置時刻情報取得部１１は、ＧＰＳ９と基準点送受信機８ａ，８ｂを利用し、ＧＰＳ装置２０５によって、通信端末２（農機３）の現在位置及び現在時刻を示す位置時刻情報を取得する。

位置時刻情報配信部１２は、位置時刻情報取得部１１から入力した現在の位置時刻情報を、未来位置推定部１３に出力する。

未来位置推定部１３は、端末位置遷移管理部１０から入力した経路情報、及び位置時刻情報配信部１２から入力した現在の位置時刻情報に基づいて、通信端末２（農機３）の未来位置を推定すると共に、この未来位置に到達（到着）する予測時刻を推定する。例えば、図１において、9:00現在、農機３が農機３ａ位置する場合、未来位置推定部１３は、３０分後の9:30には農機３ｂの位置に移動すると推定する。なお、未来位置は、地球上の絶対位置だけでなく、移動の遷移範囲や移動の可能性等を含む形式で示されていてもよい。未来位置推定部１３は、ネットワーク品質予測部２１に対して、推定結果を示す推定結果情報（未来の移動位置、予測時刻）を出力する。

ネットワーク品質管理部２０は、ネットワーク品質予測部２１からのネットワーク品質ヒートマップ情報の要求に基づいて、ネットワーク品質予測部２１に対しネットワーク品質ヒートマップ情報を出力する。ネットワーク品質ヒートマップ情報は、位置に応じて異なるネットワーク品質を濃淡により示す情報である。このネットワーク品質ヒートマップ情報は、予め、圃場Ａ等の現場で実際に計測されたネットワーク品質を示している。

ネットワーク品質予測部２１は、未来位置推定部１３によって出力された推定結果情報を入力すると共に、ネットワーク品質管理部２０からネットワーク品質ヒートマップ情報を入力することで、未来位置及び上述の位置に応じたネットワーク品質に基づいて、未来位置におけるネットワーク品質を予測する。例えば、ネットワーク品質予測部２１は、図１において、農機３（通信端末２）が農機３ａに位置していても、予測時刻に農機３ｂに位置する場合のネットワーク品質を予測することができる。そして、ネットワーク品質予測部２１は、ネットワーク切替判断部２２及びストリーミング設定部２３に対して、予測したネットワーク品質を示すネットワーク品質予測情報を出力する。ネットワーク品質予測情報は、通信端末２がデータ伝送に使用する可能性がある全てのネットワークの予測した通信品質を示す情報である。

ネットワーク切替判断部２２は、ネットワーク品質予測部２１からのネットワーク品質予測情報に基づいて、切り替え先の特定のネットワークと切り替える時刻を判断する。この場合、ネットワーク切替判断部２２は、更に、ユーザ要求管理ＤＢ４０を考慮して、最終的に切り替え先の特定のネットワークを判断する。例えば、図５において、優先使用ネットワークが「ローカル」に設定されている場合、ネットワーク切替判断部２２は、ネットワーク品質予測情報に基づいてキャリア５Ｇネットワーク１００を使用した方が、ネットワーク品質が良いと判断しても、ローカル５Ｇネットワーク５０ａ（５０ｂ）を優先的に使用すると判断する。

そして、ネットワーク切替判断部２２は、ストリーミング設定部２３及びネットワーク切替通知部２５に対して、最終的な切り替えの判断結果を示すネットワーク切替判断情報を出力する。なお、ネットワーク切替通知部２５に出力されるネットワーク切替判断情報には、切り替え先の特定のネットワークを示す内容以外に、ネットワーク切替通知部２５が、ネットワーク切替判断部２２からネットワーク切替判断情報を入力してからｔ１秒後（ｔ１秒待って）、ネットワーク切替実施部２７にネットワーク切替指示を出力するタイミングを示す出力タイミング情報が含まれていてもよい（第２の方式）。なお、ｔ１は５秒である。

ストリーミング設定部２３は、ネットワーク品質予測部２１からのネットワーク品質予測情報（予測されたネットワーク品質）、ネットワーク切替判断部２２からのネットワーク切替指示、ネットワーク品質計測部２４からのネットワーク品質計測情報、及びストリーミング制御結果管理部３０からのストリーミング制御結果フィードバック情報に基づいて、予測時刻に通信端末２とサーバ４の通信におけるストリーミング設定（ビットレート推定値、制御タイミング等）を実行する。

更に、ストリーミング設定部２３は、ユーザ指示管理ＤＢ４０を考慮して、最終的にストリーミング設定を実行する。例えば、図５において、最低ビットレートが「１０Ｍｂｐｓ」に設定されている場合、ストリーミング設定部２３は、ネットワーク品質計測情報等に基づいて、ビットレートを１Ｍｂｐｓにすると判断しても、１０Ｍｂｐｓ未満には下げることができないため、他のストリーミングのパラメータ（動画コーデック、解像度、フレームレート）をユーザによる設定範囲内において変更する。

また、本実施形態では、ストリーミング設定部２３は、ネットワーク品質計測部２４からネットワーク品質計測情報を入力するだけでなく、ネットワーク切替判断部２２からネットワーク判断情報を入力することで、ネットワーク切替制御とストリーミング制御を連動させる。例えば、図１において、農機３（通信端末２）が、農機３ａの位置から農機３ｂの位置に移動した場合、使用するネットワークをローカル５Ｇネットワーク５０ａからキャリア５Ｇネットワーク１００に切り替えるが、この切り替えるタイミングでストリーミング（ビットレート等）制御を行う。なお、必ずしも連動させなくてもよい。なお、図４において、破線で囲まれた機能部（２１，２３，２５，２６，４０）は、ストリーミング設定とネットワーク切替の連動に関与する部分である。

そして、ストリーミング設定部２３は、ストリーミング制御部２６に、ストリーミング設定内容を示すストリーミング設定情報を出力する。この場合、ストリーミング設定情報には、ストリーミング設定されたパラメータ（動画コーデック、解像度、フレームレート、及びビットレート）の内容が含まれている（第１の方式）。なお、ストリーミング設定情報には、ストリーミング設定されたパラメータ以外に、ストリーミング制御部２６が、ストリーミング設定部２３からストリーミング設定情報を入力してからｔ２秒後（ｔ２秒待って）、ストリーミング部２８にストリーミング設定信号を出力するタイミングを示す出力タイミング情報が含まれていてもよい（第２の方式）。なお、上述のｔ１とｔ２は同じ時間であってもよい。

ネットワーク品質計測部２４は、常時、各ネットワークの通信品質を計測する。

ネットワーク切替通知部２５は、ネットワーク切替判断部２２によって判断された切り替え先に切り替える旨の切替指示を、ネットワークの切り替えを実施するネットワーク切替実施部２７に出力する。

ストリーミング制御部２６は、ストリーミング設定部２３からのストリーミング設定情報に基づき、ストリーミング部２８に対して、ストリーミング設定信号（動画コーデック、解像度、フレームレート、及びビットレートの各制御信号）を出力する。

ネットワーク切替実施部２７は、ネットワーク切替通知部２５から出力されたネットワーク切替指示に基づいて、ネットワークの切り替えを実施する。

ストリーミング部２８は、ストリーミング制御部２６から出力されたストリーミング設定信号（動画コーデック、解像度、フレームレート、及びビットレートの各制御信号）に基づいて、ストリーミング設定（切り替え）を実行する。

ストリーミング制御結果管理部３０は、ストリーミング制御結果を管理しており、ストリーミング設定部２３に対して、ストリーミング制御結果をフィードバックする。

〔実施形態の処理又は動作〕
続いて、図６を用いて、通信システム１における主な処理を説明する。図６は、通信システムにおける主な処理を示すシーケンス図である。なお、図６に示される処理に至るまでに、ネットワーク品質予測部２１は、未来位置推定部１３によって出力された推定結果情報を入力している。

まず、ネットワーク品質予測部２１は、ネットワーク切替判断部２２に対して、ネットワーク品質予測情報を出力する（Ｓ１１）。同様に、ネットワーク品質予測部２１は、ストリーミング設定部２３に対して、ネットワーク品質予測情報を出力する（Ｓ１２）。これにより、ネットワーク切替判断部２２、及びストリーミング設定部２３は、それぞれネットワーク品質予測情報を入力する。

次に、ネットワーク品質計測部２４は、ストリーミング設定部２３に対して、ネットワーク品質計測情報を出力する（Ｓ１３）。これにより、ストリーミング設定部２３は、ネットワーク品質計測情報を入力する。

続いて、ネットワーク切替判断部２２は、ネットワーク品質予測情報及びユーザ要求管理ＤＢ４０で管理されているユーザ要求管理情報に基づいて、ネットワーク切替通知部２５に対し、ネットワーク切替判断情報を出力する（Ｓ１４）。同様に、ネットワーク切替判断部２２は、ネットワーク品質予測情報及びユーザ要求管理ＤＢで管理されているユーザ要求管理情報に基づいて、ストリーミング設定部２３に対し、ネットワーク切替判断情報を出力する（Ｓ１５）。

次に、ストリーミング設定部２３は、ストリーミング制御部２６に対して、ストリーミング設定情報（ビットレート等）を出力する（Ｓ１６）。これにより、ストリーミング制御部２６は、ストリーミング設定情報を入力する。

また、ネットワーク切替通知部２５は、ネットワーク切替実施部２７に対して、ネットワーク切替指示を出力する（Ｓ１７）。これにより、ネットワーク切替実施部２７は、ネットワーク切替指示を入力する。

一方、ネットワーク切替通知部２５は、ネットワーク切替実施部２７に対して、ネットワーク切替指示を出力する（Ｓ１７）。これにより、ネットワーク切替実施部２７は、ネットワーク切替指示を入力し、ネットワーク切替指示に基づいて、ネットワークの切り替えを実施する。例えば、図１において、ネットワーク切替実施部２７は、農機３（通信端末２）が農機３ａから農機３ｂの位置に移動した場合に、キャリア５Ｇネットワーク１００からローカル５Ｇネットワーク５０ａに切り替える。

また、ストリーミング制御部２６は、ストリーミング部２８に対して、ストリーミング設定信号（ビットレート制御信号等）を出力する（Ｓ１８）。これにより、ストリーミング部２８は、ストリーミング設定信号を入力し、ストリーミング設定を変更する。例えば、ストリーミング部２８は、農機３（通信端末２）が農機３ａから農機３ｂの位置に移動した場合に、画像データのビットレートを１０Ｍｂｐｓから１Ｍｂｐｓに切り替える。

〔実施形態の主な効果〕
以上のように、ストリーミング設定部２３がネットワーク切替のタイミングを事前把握することで、切り替え先のネットワークの予測品質に基づいた制御（ビットレート制御等）により最適制御を継続可能となる。また、ストリーミング設定部２３がネットワーク切替タイミングを把握できない場合でも、伝送に使用する可能性がある全てのネットワークの予測品質を把握している場合、使用中のネットワークの予測品質に加えて、切り替え先候補のネットワークの予測品質も考慮した最悪値に応じて通信制御（ビットレート制御等）することで、ネットワーク品質が絶対的に不足する場合を除いて、ある一定品質以上の画像のリアルタイム受信継続を実現可能である。

また、上述のように、常に最悪値を考慮する場合に加えて、把握しているネットワークの予測品質の絶対値又は、その推移からネットワークの切り替え発生の予兆を検知し、予兆の検知に応じて、使用中のネットワークの予測品質に加えて、切り替え先候補のネットワークの予測品質も考慮した最悪値に応じて通信制御（ビットレート等の制御）することで、常に最悪値を考慮する場合よりも適切な制御が可能となる。

なお、情報ソース（例えば、ネットワーク品質予測部２１、ネットワーク切替判断部２２）やストリーミング設定部２３は複数であってもよい。この場合、例えば、ユーザ（人）の目視向けストリーミング設定部２３とＡＩ学習、及び画像認識向けストリーミング設定部２３の２種類が、ネットワークの切替と連動すべき制御対象として存在する場合でも、連動が必要な制御先を抽出した上で提案方式に基づいて同時に又は連携してストリーミングを制御可能である。

＜ネットワーク切替の所要時間も考慮した制御＞
ネットワーク切替指示から実際に特定のネットワークに切り替えられるまでの時間をt（例えば、ｔ＝５秒）とすると、ストリーミング設定（ビットレート等）も時間tを考慮して選択及び制御する必要がある。この場合、ネットワーク切替指示の出力時がネットワーク切替完了であるという前提で、ストリーミング設定（ビットレート等）を選択及び制御すると、時間t分だけ（ビットレート等の）制御が先行してしまい、設定されるビットレート等と設定すべきビットレート等に乖離が生じる可能性がある。そこで、ストリーミング設定部２３は、ネットワーク切替判断情報から実際にネットワークが切り替えられるまでの時間tを予め計測及び把握しておき、ネットワーク切替を伴う場合には、選択された設定（ビットレート等）の適用を時間t分だけ遅延させる。これにより、ビットレート等の制御の時間t分の先行を回避できるため、設定（されるビットレート等と設定すべきビットレート等）に乖離が生じない。

＜フィードバックループを活用した制御＞
ストリーミング制御結果管理部３０は、ネットワーク品質予測結果、ネットワーク品質計測結果、ストリーミング設定（ビットレート推定値等）、制御タイミング、ストリーミング（ビットレート等）の制御結果（実際のユーザ（人）の主観品質やＡＩ画像認識率等がどうだったか）を踏まえたフィードバック制御をストリーミング設定部２３に適用することで、ストリーミング（ビットレート）制御の精度向上が可能となる。

〔補足〕
本発明は上述の実施形態に限定されるものではなく、以下に示すような構成又は処理（動作）であってもよい。

通信端末２及びサーバ４はコンピュータとプログラムによっても実現できるが、このプログラムを記録媒体に記録することも、インターネット等のネットワークを通して提供することも可能である。

また、上記実施形態では、通信対象が映像データの場合について説明したが、これに限るものではない。例えば、通信対象として、五感データ（接触データ、匂いデータ等）、音データ（非圧縮のライブ音源データ、音楽データ等）、ゲームデータ、ｘＲ(x Reality)向けのレンダリングに関するデータ等であってもよい。

更に、上記実施形態では、移動体が農機３の移動について説明したが、これに限るものではない。例えば、移動体として、飛行機、船舶、自動車、自転車等であってもよい。

また、上記実施形態では、ネットワーク切替判断部２２が、ネットワーク品質予測部２１によって予測されたネットワーク品質に基づいて、通信端末２とサーバ４が使用しているネットワークの切り替え先を判断したが、この処理は一例に過ぎない。また、ネットワーク切替判断部２２は、ネットワーク制御判断部の一例に過ぎない。例えば、ネットワーク制御判断部は、ネットワークの帯域を増減することを判断したり、又はネットワークの優先制御の優先度（図５参照）の変更を行ったりしてもよい。この場合、ネットワーク切替通知部２５を一例とするネットワーク制御通知部が、ネットワーク切替実施部２７を一例とするネットワーク制御実施部に対して、ネットワーク制御判断部２２によって行うと判断された制御の指示を出力する。

１ 通信システム
２ 通信端末
４ サーバ
１０ 端末位置偏移管理部（端末位置偏移管理手段の一例）
１１ 位置時刻情報取得部（位置時刻情報取得手段の一例）
１２ 位置時刻情報配信部（位置時刻情報配信手段の一例）
１３ 未来位置推定部(未来位置推定手段の一例)
２０ ネットワーク品質管理部（ネットワーク品質管理手段の一例）
２１ ネットワーク品質予測部（ネットワーク品質予測手段の一例）
２２ ネットワーク切替判断部（ネットワーク切替判断手段の一例、ネットワーク制御判断手段の一例）
２３ ストリーミング設定部（ストリーミング設定手段の一例）
２４ ネットワーク品質計測部（ネットワーク品質計測手段の一例）
２５ ネットワーク切替通知部（ネットワーク切替通知手段の一例、ネットワーク制御通知手段の一例）
２６ ストリーミング制御部（ストリーミング制御手段の一例）
２７ ネットワーク切替実施部（ネットワーク切替実施手段の一例、ネットワーク制御実施手段の一例）
２８ ストリーミング部（ストリーミング手段の一例）
３０ ストリーミング制御結果管理部
４０ ユーザ要求管理ＤＢ（ユーザ要求管理手段の一例）

Claims (21)

1. データの送受信を行う通信端末及びサーバによって構築された通信システムであって、
   前記通信端末の経路計画又は過去の経路を示す経路情報、及び前記通信端末の現在位置及び現在時刻を示す現在の位置時刻情報に基づいて、前記通信端末の未来位置及び当該未来位置に到達する予測時刻を推定する未来位置推定手段と、
   位置に応じたネットワーク品質を管理するネットワーク品質管理手段と、
   前記未来位置及び前記位置に応じたネットワーク品質に基づいて、前記未来位置におけるネットワーク品質を予測するネットワーク品質予測手段と、
   予測された前記ネットワーク品質に基づいて、前記予測時刻に前記通信端末から、前記サーバへのデータの送信におけるストリーミング設定を行うストリーミング設定手段と、
   前記ストリーミング設定に基づいて、ストリーミング制御を行うストリーミング制御手段と、
   を有する通信システム。
2. 前記ストリーミング設定のパラメータは、前記データのコーデック、解像度、フレームレート、又はビットレートである、請求項１に記載の通信システム。
3. 請求項１又は２に記載の通信システムであって、
   前記通信端末と前記サーバとは、複数のネットワークのいずれかを介してデータの送受信を行い、
   前記ネットワーク品質予測手段によって予測された前記ネットワーク品質に基づいて、前記通信端末と前記サーバが使用しているネットワークの制御を行うかを判断するネットワーク制御判断手段と、
   前記ネットワーク制御判断手段によって行うと判断された制御の指示を、前記ネットワークの制御を実施するネットワーク制御実施手段に出力するネットワーク制御通知手段と、
   を有する通信システム。
4. 前記ネットワーク制御判断手段による前記ネットワークの制御を行うかを判断することは、前記複数のネットワークのいずれかへ、前記ネットワークの切り替え先を判断することであり、
   前記ネットワーク制御通知手段による前記制御の指示は、前記ネットワーク制御判断手段によって判断された切り替え先に切り替える旨の切替指示を、前記ネットワーク制御実施手段に出力することである、
   請求項３に記載の通信システム。
5. 前記ストリーミング設定手段は、前記ネットワーク制御判断手段によって前記ネットワークの制御を行うと判断された場合に、前記ネットワークの制御に連動して、前記ストリーミング設定を行う、請求項３に記載の通信システム。
6. 請求項５に記載の通信システムであって、
   前記ストリーミング制御のパラメータに関し、前記通信端末のユーザの要求を管理するユーザ要求管理手段を有し、
   前記ストリーミング設定手段は、前記ユーザの要求を優先して、前記ストリーミング設定を行う通信システム。
7. 前記ユーザ要求管理手段は、前記ネットワークの切り替え先の特定のネットワークに関し、前記通信端末のユーザの要求を管理し、
   前記ネットワーク制御判断手段は、前記特定のネットワークに関する前記ユーザの要求を優先して、前記ネットワークの切り替え先を判断する、請求項６に記載の通信システム。
8. 前記ネットワーク品質を計測するネットワーク品質計測手段をさらに備え、前記ストリーミング設定手段は、前記ネットワーク品質計測手段から受信する前記ネットワーク品質を示す情報に基づいて、ストリーミング設定を行う請求項１に記載の通信システム。
9. ストリーミング制御結果を管理するストリーミング制御結果管理手段をさらに備え、前記ストリーミング設定手段は、前記ストリーミング制御結果管理手段からフィードバックされるストリーミング制御結果に基づいて、ストリーミング設定を行う請求項１に記載の通信システム。
10. データの送受信を行う通信端末及びサーバによって構築された通信システムが実行する通信方法であって、
    前記通信システムは、位置に応じたネットワーク品質を管理するネットワーク品質管理手段を有し、
    前記通信システムは、
    前記通信端末の経路計画又は過去の経路を示す経路情報、及び前記通信端末の現在位置及び現在時刻を示す現在の位置時刻情報に基づいて、前記通信端末の未来位置及び当該未来位置に到達する予測時刻を推定し、
    前記未来位置及び前記位置に応じたネットワーク品質に基づいて、前記未来位置におけるネットワーク品質を予測し、
    予測された前記ネットワーク品質に基づいて、前記予測時刻に前記通信端末から、前記サーバへのデータの送信におけるストリーミング設定を行い、
    前記ストリーミング設定に基づいて、ストリーミング制御を行う
    通信方法。
11. コンピュータに、請求項１０に記載の方法を実行させるプログラム。
12. サーバとの間でデータの送受信を行う通信端末の経路計画又は過去の経路を示す経路情報、及び前記通信端末の現在位置及び現在時刻を示す現在の位置時刻情報に基づいて、前記通信端末の未来位置及び当該未来位置に到達する予測時刻を推定する未来位置推定手段と、
    位置に応じたネットワーク品質を管理するネットワーク品質管理手段と、
    前記未来位置及び前記位置に応じたネットワーク品質に基づいて、前記未来位置におけるネットワーク品質を予測するネットワーク品質予測手段と、
    予測された前記ネットワーク品質に基づいて、前記通信端末に対して、前記予測時刻に前記通信端末から、前記サーバへのデータの送信におけるストリーミング設定を行うストリーミング設定手段と、
    を有する制御装置。
13. 前記ストリーミング設定のパラメータは、前記データのコーデック、解像度、フレームレート、又はビットレートである、請求項１２に記載の制御装置。
14. 前記通信端末と前記サーバとは、複数のネットワークのいずれかを介してデータの送受信を行い、前記ネットワーク品質予測手段によって予測された前記ネットワーク品質に基づいて、前記通信端末と前記サーバが使用しているネットワークの切替を行うかを判断するネットワーク制御判断手段と、
    を有する、請求項１２又は１３に記載の制御装置。
15. 前記ストリーミング設定手段は、前記ネットワーク制御判断手段によって前記ネットワークの制御を行うと判断された場合に、前記ネットワークの制御に連動して、前記ストリーミング設定を行う、請求項１４に記載の制御装置。
16. 前記ストリーミング設定に基づいて行われるストリーミング制御のパラメータに関し、前記通信端末のユーザの要求を管理するユーザ要求管理手段を有し、
    前記ストリーミング設定手段は、前記ユーザの要求を優先して、前記ストリーミング設定を行う、請求項１４に記載の制御装置。
17. 前記ユーザ要求管理手段は、前記ネットワークの切り替え先の特定のネットワークに関し、前記通信端末のユーザの要求を管理し、
    前記ネットワーク制御判断手段は、前記特定のネットワークに関する前記ユーザの要求を優先して、前記ネットワークの切り替え先を判断する、請求項１６に記載の制御装置。
18. ストリーミング制御結果を管理するストリーミング制御結果管理手段をさらに備え、前記ストリーミング設定手段は、前記ストリーミング制御結果管理手段からフィードバックされるストリーミング制御結果に基づいて、ストリーミング設定を行う請求項１２に記載の制御装置。
19. 通信端末とサーバとは、複数のネットワークのいずれかを介してデータの送受信を行い、
    前記サーバとの間でデータの送受信を行う前記通信端末の経路計画又は過去の経路を示す経路情報、及び前記通信端末の現在位置及び現在時刻を示す現在の位置時刻情報に基づいて、前記通信端末の未来位置及び当該未来位置に到達する予測時刻を推定する未来位置推定手段と、
    位置に応じたネットワーク品質を管理するネットワーク品質管理手段と、
    前記未来位置及び前記位置に応じたネットワーク品質に基づいて、前記未来位置におけるネットワーク品質を予測するネットワーク品質予測手段と、
    予測された前記ネットワーク品質に基づいて、前記通信端末と前記サーバが使用しているネットワークの切替を行うかを判断するネットワーク制御判断手段と、
    前記ネットワークの切り替え先の特定のネットワークに関し、前記通信端末のユーザの要求を管理するユーザ要求管理手段と、
    を有し、
    前記ネットワーク制御判断手段は、前記特定のネットワークに関する前記ユーザの要求を優先して、前記ネットワークの切り替え先を判断する、制御装置。
20. サーバとの間でデータの送受信を行う通信端末とデータの送受信を行う制御装置が実行する通信方法であって、
    前記通信端末と前記サーバとは、複数のネットワークのいずれかを介してデータの送受信を行い、
    前記制御装置は、位置に応じたネットワーク品質を管理するネットワーク品質管理手段を有し、
    前記制御装置は、
    前記通信端末の経路計画又は過去の経路を示す経路情報、及び前記通信端末の現在位置及び現在時刻を示す現在の位置時刻情報に基づいて、前記通信端末の未来位置及び当該未来位置に到達する予測時刻を推定し、
    前記未来位置及び前記位置に応じたネットワーク品質に基づいて、前記未来位置におけるネットワーク品質を予測し、
    予測された前記ネットワーク品質に基づいて、前記予測時刻に前記通信端末と前記サーバの通信におけるストリーミング設定を行う通信方法。
21. サーバとの間でデータの送受信を行う通信端末とデータの送受信を行う制御装置が実行する通信方法であって、
    前記通信端末と前記サーバとは、複数のネットワークのいずれかを介してデータの送受信を行い、
    前記制御装置は、位置に応じたネットワーク品質を管理するネットワーク品質管理手段、及び前記ネットワークの切り替え先の特定のネットワークに関し、前記通信端末のユーザの要求を管理するユーザ要求管理手段を有し、
    前記制御装置は、
    前記通信端末の経路計画又は過去の経路を示す経路情報、及び前記通信端末の現在位置及び現在時刻を示す現在の位置時刻情報に基づいて、前記通信端末の未来位置及び当該未来位置に到達する予測時刻を推定し、
    前記未来位置及び前記位置に応じたネットワーク品質に基づいて、前記未来位置におけるネットワーク品質を予測し、
    予測された前記ネットワーク品質に基づいて、前記通信端末と前記サーバが使用しているネットワークの切替を行うかを判断し、
    前記特定のネットワークに関する前記ユーザの要求を優先して、前記ネットワークの切り替え先を判断する、
    通信方法。