JP7501662B2

JP7501662B2 - 客観評価装置、客観評価方法、及び客観評価プログラム

Info

Publication number: JP7501662B2
Application number: JP2022561751A
Authority: JP
Inventors: 正義鍋島; 智明小川
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2020-11-11
Filing date: 2020-11-11
Publication date: 2024-06-18
Anticipated expiration: 2040-11-11
Also published as: WO2022102011A1; JPWO2022102011A1

Description

本発明は、客観評価装置、客観評価方法、及び客観評価プログラムに関する。

快適な映像通信サービスをユーザに対して提供するためには、サービスを利用するユーザが経験する品質（ＱｏＥ：Quality of Experience）を効率的に評価することが必要になっている。

例えば、教室内の複数の生徒が無線ＬＡＮ端末を用いてインターネット上のサーバから映像を一斉にストリーミング再生して学習する場合、各生徒が所定の品質で映像を再生できているか否かを評価することが必要になる。

映像メディアの品質（通信品質）を評価する方法には、人が映像を観視して主観的に判断する主観評価と、映像メディアに対する主観品質を映像の情報（データ）を用いて推定する客観評価とがある（非特許文献１参照）。

例えば、主観評価では、映像を見た生徒に映像の品質を５段階（５：非常に良い、４：良い、３：普通、２：悪い、１：非常に悪い）で評点してもらい、その値を基にして評価が行われる。また、従来の客観評価では、メディアレイヤやパケットレイヤなどの上位のレイヤから得られる情報を基にして評価が行われている。

主観評価では、客観評価よりも正確な評価をすることが可能である。一方、主観評価の実施には、多大な時間と労力が必要になる。そのため、主観品質を推定する効率的な客観評価法が求められている。

岡本、外１名、「映像メディア品質評価技術の最新動向」、電子情報通信学会、２０１３年４月、基礎・境界ソサイエティ Fundamentals Review Vol.6 No.4、pp.276-284

しかしながら、従来は、映像通信サービスにおけるメディアレイヤやパケットレイヤなどの上位レイヤの情報を用いなければ主観品質を推定することができなかった。

本発明は、上位レイヤの情報を用いなくても、映像メディアに対する主観品質を容易に推定することができる客観評価装置、客観評価方法、及び客観評価プログラムを提供することを目的とする。

本発明の一態様にかかる客観評価装置は、所定の無線チャネルで複数の端末に対して送信された映像データの無線フレームをそれぞれキャプチャするキャプチャ部と、前記キャプチャ部がキャプチャした無線フレームに基づいて、前記端末それぞれの通信時間の単位時間に対する公平性を示す指標を算出する算出部と、前記算出部が算出した指標を出力する出力部とを有することを特徴とする。

また、本発明の一態様にかかる客観評価方法は、所定の無線チャネルで複数の端末に対して送信された映像データの無線フレームをそれぞれキャプチャするキャプチャ工程と、キャプチャした無線フレームに基づいて、前記端末それぞれの通信時間の単位時間に対する公平性を示す指標を算出する算出工程と、算出した指標を出力する出力工程とを含むことを特徴とする。

本発明によれば、上位レイヤの情報を用いなくても、映像メディアに対する主観品質を容易に推定することができる。

映像通信サービスを提供する無線通信システムと、映像メディアの品質を評価する客観評価装置が有する機能を例示する図である。算出部が行う第１処理例を示すフローチャートである。算出部が行う第２処理例を示すフローチャートである。図１に示した客観評価装置が評価を行う複数の端末の無線フレームを例示する図である。一実施形態にかかる客観評価装置のハードウェア構成例を示す図である。

以下に、映像通信サービスにおける映像メディアの品質を評価する客観評価装置の一実施形態を、図面を用いて説明する。図１は、映像通信サービスを提供する無線通信システム１０と、映像メディアの品質を評価する客観評価装置５が有する機能を例示する図である。

無線通信システム１０は、例えば端末１～３（ｎ台：１≦ｉ≦ｎ＝３）がアクセスポイント４との間で無線ＬＡＮとして通信を行うように構成されている。例えば、端末１～３は、教室内の各生徒によってそれぞれ学習に用いられる。具体例として、端末１～３は、例えばインターネット上のサーバ（図示せず）に保持されている学習用の映像を、アクセスポイント４を介して一斉にストリーミング再生する。

客観評価装置５は、端末１～３それぞれが再生する映像に対し、主観品質を推定して客観評価を行う装置である。例えば、客観評価装置５は、取得部５１、設定部５２、キャプチャ部５３、算出部５４、及び出力部５５を有する。

取得部５１は、客観評価装置５が行う評価の対象となる複数の端末のＭＡＣアドレスや、無線チャネルなどを特定する情報を取得し、取得した情報を設定部５２に対して出力する。例えば、取得部５１は、図５を用いて後述する入力部５００又は通信部５２０を介して無線通信システム１０の管理者（保守者）などから情報を取得する。

設定部５２は、取得部５１から入力された端末のＭＡＣアドレス及び無線チャネルに基づいて、キャプチャ部５３及び算出部５４に対する設定を行う。具体的には、設定部５２は、キャプチャ部５３に対して無線フレームをキャプチャすべき無線チャネルを特定する設定を行う。また、設定部５２は、算出部５４に対して後述する指標を算出するために用いる複数の映像データを特定するように、対象となる複数の端末（例えば端末１～３）を特定するＭＡＣアドレスの設定を行う。

キャプチャ部５３は、設定部５２により設定された無線チャネルでアクセスポイント４を介して送信された無線フレームそれぞれをキャプチャし、キャプチャしたデータを算出部５４に対して出力する。例えば、キャプチャ部５３は、３６ｃｈの無線チャネルによって送信される全ての無線フレームを受信して取り込み、一時保存する。

算出部５４は、例えばキャプチャ部５３がキャプチャした無線フレームに基づいて、対象となる複数の端末（例えば端末１～３）それぞれの通信時間の単位時間に対する公平性を示す指標を算出し、算出した指標を出力部５５に対して出力する。例えば、算出部５４は、３６ｃｈの無線チャネルでキャプチャ部５３がキャプチャした無線フレームの中から、設定部５２により設定されたＭＡＣアドレスの端末（例えば端末１～３）に対する無線フレームを抜き出す。そして、算出部５４は、抜き出した無線フレームの無線レイヤ（物理レイヤ）におけるフレーム長及びＰＨＹデータレート（物理層のデータレート）に基づいて、対象となる複数の端末（例えば端末１～３）それぞれの通信時間の単位時間に対する公平性を示す指標を算出する。

ここで、フレーム長の単位は、例えばｂｉｔｓである。また、ＰＨＹデータレート（以下、ＰＨＹレート）の単位は、例えばｂｉｔ／ｓである。そして、算出部５４は、時間を単位とする値（例えば後述するAirtime_ｉ）に基づく公平性を示す指標（例えば後述するFairness Index）を算出する。

このとき、算出部５４は、設定部５２により設定された複数のＭＡＣアドレスの中に、キャプチャ部５３から入力された無線フレームのＭＡＣアドレスが含まれているか否かを確認し、指標の算出に必要な無線フレームを取り出して、指標を算出する。すなわち、算出部５４は、設定部５２により設定されたＭＡＣアドレスと、キャプチャ部５３から入力された無線フレームのＭＡＣアドレスとの対応を確認し、指標の算出に必要な無線フレームを取り出して、指標を算出する。

出力部５５は、算出部５４が算出した指標を例えば表示することにより、無線通信システム１０の管理者（保守者）などに対して出力する。

次に、算出部５４が行う具体的な処理例について、図２，３を用いて説明する。例えば、算出部５４は、図２に例示した第１処理と、図３に例示した第２処理とを行う。

まず、算出部５４は、図２に示したように、キャプチャ部５３から無線フレームのＭＡＣアドレス、フレーム長、及びＰＨＹレートを取得する（Ｓ１００）。

次に、算出部５４は、キャプチャ部５３から入力された無線フレームのＭＡＣアドレスが、設定部５２により設定された複数のＭＡＣアドレスの中に含まれているか否かを判定する。例えば、算出部５４は、キャプチャ部５３から入力された無線フレームのＭＡＣアドレスが、端末ｉ（１≦ｉ≦ｎ＝３）のＭＡＣアドレスであるか否かを判定する（Ｓ１０２）。

そして、算出部５４は、キャプチャ部５３から入力された無線フレームのＭＡＣアドレスが端末ｉのＭＡＣアドレスである場合（Ｓ１０２：Ｙｅｓ）にはＳ１０４の処理に進み、その他の場合（Ｓ１０２：Ｎｏ）には処理を終了する。

Ｓ１０４の処理において、算出部５４は、下式（１）に示した時間を単位とするエアタイム（Airtime_ｉ）を端末１～３それぞれに対して更新する算出を行う。

次に、算出部５４は、図３に示したように、評価の対象となる端末１～３それぞれについて、下式（２）に示したエアタイム率（AirtimeRatio_ｉ）を所定の周期Ｔ毎に算出する（Ｓ２００）。なお、算出部５４は、エアタイム率を算出した後には、Airtime_ｉ＝０とする。

そして、算出部５４は、端末１～３それぞれのAirtimeRatio_ｉを用いて、下式（３）に示した公平性の判断基準となる指標（Fairness Index）を算出する（Ｓ２０２）。

なお、Fairness Indexについては、非特許文献のR. Jain, D. Chiu, and W. Hawe, “A Quantitative Measure of Fairness and Discrimination for Resource Allocation in Shared Computer Systems”, DEC Research Report TR-301, September 26, 1984にも記載がある。

Fairness Indexは、０～１の値をとり、１に近いほど公平であると言える。ここで、Fairness Indexを算出する理由について述べる。

例えば、教室内の生徒が無線ＬＡＮ端末を用いてインターネット上のサーバから映像を一斉にストリーミング再生して学習する場合、各生徒が映像を公平に再生できているか否かは、各生徒が使用している無線ＬＡＮ端末が無線（エア）を公平に消費できているか否かに等しい。

客観評価装置５において、端末１～３が消費しているエアタイム率のFairness Indexを算出部５４が算出して出力部５５が表示すると、無線通信システム１０の管理者は、各生徒が使用している端末１～３が無線（エア）を公平に消費しているか否かを把握することができる。つまり、無線通信システム１０の管理者は、各生徒が映像を公平に再生できているか否かを把握することができる。

また、ＧＩＧＡスクール構想の実現標準仕様書（文部科学省、令和２年３月３日）には、端末１台当たりの使用帯域の目安として、学習活動ごとの使用帯域目安が次のように記載されている。

遠隔授業の実施（テレビ会議）２．０Ｍｂｐｓ
ＮＨＫＦｏｒＳｃｈｏｏｌ０．７Ｍｂｐｓ
ＹｏｕＴｕｂｅ（登録商標：ＨＤ７２０ｐ画質）２．５Ｍｂｐｓ

Fairness Indexは、端末１台当たりの使用帯域目安が小さいほど大きな値になりやすい。つまり、端末１台当たりの使用帯域目安が小さいほど、各生徒が使用している端末１～３が無線（エア）を公平に消費しやすくなる。

次に、客観評価装置５が行う評価の実施例について説明する。図４は、図１に示した客観評価装置５が評価を行う端末１～３の無線フレームを例示する図である。

図１に示したように、例えば教室にアクセスポイント４が１台設置されており、アクセスポイント４がチャネル３６を使用しているとする。

また、端末１～３のＭＡＣアドレスは、それぞれAA:AA:AA:11:11:11、AA:AA:AA:22:22:22、AA:AA:AA:33:33:33であるとする。そして、端末１～３は、アクセスポイント４を介して、インターネット上にある図示しないサーバから映像をそれぞれストリーミング再生する。

取得部５１は、端末１～３のＭＡＣアドレス（AA:AA:AA:11:11:11、AA:AA:AA:22:22:22、AA:AA:AA:33:33:33）、及びキャプチャ部５３がキャプチャすべき無線チャネル（３６ｃｈ）を示す情報を無線通信システム１０の管理者（保守者）から取得する。

設定部５２は、端末１～３のＭＡＣアドレス（AA:AA:AA:11:11:11、AA:AA:AA:22:22:22、AA:AA:AA:33:33:33）を算出部５４に設定し、無線チャネル（３６ｃｈ）をキャプチャ部５３に設定する。

キャプチャ部５３は、設定された無線チャネル（３６ｃｈ）で送信される無線フレームのキャプチャを開始する。ここで、キャプチャ部５３は、図４に示したように、例えば時刻ｔ＝０．２秒，０．４秒，０．６秒，０．８秒に、それぞれ端末１，端末２，端末１，端末３の無線フレームをキャプチャする。

時刻ｔ＝０．２秒において、キャプチャ部５３は、以下の情報を算出部５４に対して出力する。
・ＭＡＣアドレス：AA:AA:AA:11:11:11
・フレーム長：１２００００（ｂｉｔｓ）
・ＰＨＹレート：１５０Ｍｂｐｓ

算出部５４は、設定部５２により設定された複数のＭＡＣアドレスの中に、キャプチャ部５３から入力された無線フレームのＭＡＣアドレスが含まれているので、下式（４）に示した計算を行い、Airtime_１（通信時間）を算出する。

時刻ｔ＝０．４秒において、キャプチャ部５３は、以下の情報を算出部５４に対して出力する。
・ＭＡＣアドレス：AA:AA:AA:22:22:22
・フレーム長：９００００（ｂｉｔｓ）
・ＰＨＹレート：１５０Ｍｂｐｓ

算出部５４は、設定部５２により設定された複数のＭＡＣアドレスの中に、キャプチャ部５３から入力された無線フレームのＭＡＣアドレスが含まれているので、下式（５）に示した計算を行い、Airtime_２（通信時間）を算出する。

時刻ｔ＝０．６秒において、キャプチャ部５３は、以下の情報を算出部５４に対して出力する。
・ＭＡＣアドレス：AA:AA:AA:11:11:11
・フレーム長：９００００（ｂｉｔｓ）
・ＰＨＹレート：１５０Ｍｂｐｓ

算出部５４は、設定部５２により設定された複数のＭＡＣアドレスの中に、キャプチャ部５３から入力された無線フレームのＭＡＣアドレスが含まれているので、下式（６）に示したAirtime_１を更新する計算を行う。

時刻ｔ＝０．８秒において、キャプチャ部５３は、以下の情報を算出部５４に対して出力する。
・ＭＡＣアドレス：AA:AA:AA:33:33:33
・フレーム長：１２００００（ｂｉｔｓ）
・ＰＨＹレート：１５０Ｍｂｐｓ

算出部５４は、設定部５２により設定された複数のＭＡＣアドレスの中に、キャプチャ部５３から入力された無線フレームのＭＡＣアドレスが含まれているので、下式（７）に示した計算を行い、Airtime_３（通信時間）を算出する。

ここで、上述した所定の周期Ｔを１秒とすると、時刻ｔ＝１秒における端末１～３のエアタイム率は、下式（８）～（１０）に示した値となる。

そして、算出部５４は、下式（１１）に示したFairness Indexを算出し、算出したFairness Indexの値（０．８８）を出力部５５に対して出力する。

出力部５５は、算出部５４から入力されたFairness Indexの値（０．８８）を例えば表示することによって出力する。よって、無線通信システム１０の管理者は、Fairness Indexの値が１に近いことから、各生徒が使用している端末１～３が無線（エア）を公平に消費していることを把握することができる。つまり、各生徒は映像を公平に再生できていると言える。

このように、一実施形態にかかる客観評価装置５は、キャプチャ部５３がキャプチャした無線フレームそれぞれが占める通信時間の単位時間に対する公平性を示す指標を算出する算出部５４と、算出部５４が算出した指標を出力する出力部５５とを有するので、上位レイヤの情報を用いなくても、映像メディアに対する主観品質を容易に推定することができる。

なお、客観評価装置５が有する各機能は、それぞれ一部又は全部がＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによって構成されてもよいし、ＣＰＵ等のプロセッサが実行するプログラムとして構成されてもよい。

また、本発明にかかる客観評価装置５は、コンピュータとプログラムを用いて実現することができ、プログラムを記憶媒体に記録することも、ネットワークを通して提供することも可能である。

図５は、一実施形態にかかる客観評価装置５のハードウェア構成例を示す図である。図５に示すように、例えば客観評価装置５は、入力部５００、表示部５１０、通信部５２０、ＣＰＵ５３０、メモリ５４０及びＨＤＤ５５０がバス５６０を介して接続され、コンピュータとしての機能を備える。また、客観評価装置５は、コンピュータ読み取り可能な記憶媒体５７０との間でデータを入出力することができるようにされている。

入力部５００は、例えばキーボード及びマウス等である。表示部５１０は、例えばディスプレイなどである。通信部５２０は、例えば通信インターフェースであり、例えば上述したキャプチャ部５３にも含まれる。また、通信部５２０は、上述した出力部５５にも含まれてもよい。

ＣＰＵ５３０は、客観評価装置５を構成する各部を制御し、所定の処理等を行う。メモリ５４０及びＨＤＤ５５０は、データ等を記憶する。

記憶媒体５７０は、客観評価装置５が有する機能を実行させるプログラム等を記憶可能にされている。なお、客観評価装置５を構成するアーキテクチャは図５に示した例に限定されない。

以上、図面を参照して本発明の実施形態を説明してきたが、上述の実施形態は、本発明の例示に過ぎず、本発明が上述の実施形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で、構成要素の追加、省略、置換、その他の変更が行われてもよい。

１，２，３・・・端末、４・・・アクセスポイント、５・・・客観評価装置、１０・・・無線通信システム、５１・・・取得部、５２・・・設定部、５３・・・キャプチャ部、５４・・・算出部、５５・・・出力部、５００・・・入力部、５１０・・・表示部、５２０・・・通信部、５３０・・・ＣＰＵ、５４０・・・メモリ、５５０・・・ＨＤＤ、５６０・・・バス、５７０・・・記憶媒体

Claims

所定の無線チャネルで複数の端末に対して送信された映像データの無線フレームをそれぞれキャプチャするキャプチャ部と、
前記キャプチャ部がキャプチャした無線フレームに基づいて、前記端末それぞれの通信時間の単位時間に対する公平性を示す指標を算出する算出部と、
前記算出部が算出した指標を出力する出力部と
を有することを特徴とする客観評価装置。
前記算出部は、
前記端末それぞれに対する無線フレームのフレーム長及びデータレートに基づいて、前記指標を算出すること
を特徴とする請求項１に記載の客観評価装置。
所定の無線チャネルで複数の端末に対して送信された映像データの無線フレームをそれぞれキャプチャするキャプチャ工程と、
キャプチャした無線フレームに基づいて、前記端末それぞれの通信時間の単位時間に対する公平性を示す指標を算出する算出工程と、
算出した指標を出力する出力工程と
を含むことを特徴とする客観評価方法。
前記算出工程では、
前記端末それぞれに対する無線フレームのフレーム長及びデータレートに基づいて、前記指標を算出すること
を特徴とする請求項３に記載の客観評価方法。
請求項１又は２に記載の客観評価装置の各部としてコンピュータを機能させるための客観評価プログラム。