JP6574031B2 - モバイル映像通話品質測定方法およびシステム - Google Patents

モバイル映像通話品質測定方法およびシステム Download PDF

Info

Publication number
JP6574031B2
JP6574031B2 JP2018145858A JP2018145858A JP6574031B2 JP 6574031 B2 JP6574031 B2 JP 6574031B2 JP 2018145858 A JP2018145858 A JP 2018145858A JP 2018145858 A JP2018145858 A JP 2018145858A JP 6574031 B2 JP6574031 B2 JP 6574031B2
Authority
JP
Japan
Prior art keywords
video
terminal
video call
video frame
receiving terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018145858A
Other languages
English (en)
Other versions
JP2019030012A (ja
Inventor
ソンヨン パク
ソンヨン パク
ドンウォン イ
ドンウォン イ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naver Cloud Corp
Original Assignee
Naver Cloud Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naver Cloud Corp filed Critical Naver Cloud Corp
Publication of JP2019030012A publication Critical patent/JP2019030012A/ja
Application granted granted Critical
Publication of JP6574031B2 publication Critical patent/JP6574031B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、モバイル映像通話品質測定方法およびシステムに関し、より詳細には、モバイル映像通話アプリケーションがインストールされた２台のモバイル端末間の実際の映像通話品質を測定する方法およびシステムに関する。
スマートフォンの大衆化および高性能化や、ＬＴＥなどのモバイル通信網の高速化に伴い、スマートフォンによるモバイル映像通話の利用が急増している。これだけでなく、最近では、通信社から提供される基本の映像通話サービスの他にも、ＳｋｙｐｅやＬＩＮＥなどの映像通話を支援する多様なモバイル映像通話アプリケーションがモバイル映像通話マーケットにおいてしのぎを削っている。なお、アプリケーションは単に「アプリ」として言及される場合がある。
多様なモバイル映像通話サービスが出現し、その利用が増加している現在、ユーザが映像通話で実際に体感する品質（ＱｏＥ：Ｑｕａｌｉｔｙ ｏｆ ｅｘｐｅｒｉｅｎｃｅ）の測定および管理が重要視されてきた。
国際電気通信連合ＩＴＵでは、ネットワークを介した動画サービスの品質測定のための標準技術規格としてＰＥＶＱ（Ｐｅｒｃｅｐｔｕａｌ Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｖｉｄｅｏ Ｑｕａｌｉｔｙ）を開発し、今もなお進化し続けている。ＰＥＶＱ規格の基本的な動作方式は、事前に定められたソース動画を送信してこれを受信した後、ソース動画と比較して測定する方法である。ＰＥＶＱ規格は、多様な動画ストリーミングサービスやビデオ会議などのような様々な動画応用サービスの品質測定には利用可能であるが、モバイル映像通話の品質測定への適用には多くの問題を抱えている。ＰＥＶＱは、事前に格納されたレファレンス動画ソースと比較する方式を採択しているため、モバイル端末のカメラによる実際の映像通話を測定することは不可能であるという短所がある。
さらに、ＰＥＶＱ規格の場合、テストのためのレファレンス動画の長さが６〜２０秒に制限されているため、２０秒以上の映像通話および動画サービスの測定は不可能であるという問題もある。
韓国登録特許第１０−０８８８９８７３号公報
上述したような従来技術の問題点を解決するために、本発明は、映像通話を実行する映像通話アプリが備えられた端末において、ユーザが実際に体感する映像通話の品質を測定することができる方法およびシステムを提供することを目的とする。
また、本発明は、ユーザが常用する映像端末を修正することなくそのまま使用すると同時に、移動通信網の実際の映像通話経路もそのまま使用するため、ユーザが体感する映像通話の品質を簡単かつ正確に測定することができる方法およびシステムを提供することをさらに他の目的とする。
上述したような課題を解決するために、本発明の一実施形態に係るモバイル映像通話品質測定方法は、送信端末と受信端末との間に映像通話呼が形成される段階、端末のオペレーティングシステムが提供する映像キャプチャメソッドを修正し、前記送信端末の映像通話アプリが映像キャプチャメソッドを呼び出すたびにカメラが取得する映像フレームごとに順に増加するインデックスとタイムスタンプを自動的に挿入する段階、前記送信端末が前記映像フレームを前記受信端末に送信する段階、前記受信端末が前記送信端末のフレームレート（ＦＰＳ：Ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）よりも高い割合で前記映像フレームを格納する段階、および前記格納された映像フレームから前記インデックスとタイムスタンプを抽出し、ＯＣＲ（Ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅａｄｅｒ）認識によって品質指標を算出する段階を含む。
より好ましくは、前記送信端末と受信端末との間に映像通話呼が形成される段階の前に、前記送信端末および受信端末に搭載された端末エージェントで映像通話測定を開始する段階、および前記送信端末および受信端末の時間同期化が実行される段階をさらに含む。
より好ましくは、映像通話呼が形成される段階の後に、前記受信端末では、前記送信端末から送信されるフレーム送信レートよりも速くフレームバッファを読み取って受信映像フレームとして格納する段階、および前記受信端末のＯＣＲ文字認識部は、前記各映像フレームから前記タイムスタンプ値とインデックス値を読み取ってインデックス値リストおよびタイムスタンプリストを形成する段階を含む。
より好ましくは、前記品質指標を算出する段階は、前記送信端末から前記受信端末に送信された映像フレーム送信数、前記送信端末からの最初の映像フレームが前記受信端末に送信されるまでにかかった初期遅延時間（ｉｎｉｔｉａｌ ｄｅｌａｙ）、前記送信端末と受信端末間の映像フレーム遅延平均値である平均遅延（ａｖｅｒａｇｅ ｄｅｌａｙ）、映像フレーム送信遅延が一定せずに変化する程度であるジッター（ｊｉｔｔｅｒ）、前記送信端末から前記受信端末に送信されずに脱落した映像フレームの割合である脱落率（ｓｋｉｐ ｒａｔｉｏ）、および前記受信端末で画面が固まる画面フリーズ（ｆｒｅｅｚｉｎｇ）のうちの少なくとも１つを利用して前記品質指標を算出する。
本発明の実施形態に係るモバイル映像通話品質を測定する機能を実行する映像通話アプリを備えたモバイル端末である送信端末及び受信端末を含む映像通話品質測定システムでは、送信端末は、映像通話の連結時にカメラによって取得される予め設定された一定間隔の映像フレームごとに順に増加するインデックスとタイムスタンプを挿入し、受信端末は、前記送信端末のフレーム送信レートよりもさらに高い割合で前記映像フレームを読み取り、前記映像フレームから前記インデックスとタイムスタンプを認識し、および前記読み取ったインデックスとタイムスタンプ値を利用して前記映像フレームの品質指標を算出する。
より好ましくは、前記端末エージェントは、前記送信端末と前記受信端末の時間同期化のために、ＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）サーバによって時間を同期化する時間同期化部をさらに含む。
より好ましくは、前記品質指標は、前記送信端末から前記受信端末に送信された映像フレーム送信数、前記送信端末からの最初の映像フレームが前記受信端末に送信されるまでにかかった初期遅延時間、前記送信端末と受信端末間の映像フレーム遅延平均値である平均遅延、映像フレーム送信遅延が一定せずに変化する程度であるジッター、前記送信端末から前記受信端末に送信されずに脱落した映像フレームの割合である脱落率、および前記受信端末で画面が固まる画面フリーズのうちの少なくとも１つを利用して算出される。
モバイル映像通話品質を測定する機能を実行する映像通話アプリを備えたモバイル端末である送信端末及び受信端末を含む映像通話品質測定システムであって、送信端末は、映像通話の連結時にカメラによって映像フレームを取得するために使用される端末オペレーティングシステム提供映像キャプチャメソッドが呼び出されるたびに、順に増加するインデックスとタイムスタンプを映像フレームに挿入し、受信端末は、前記送信端末のフレーム送信レートよりもさらに高い割合で前記映像フレームを読み取り、および前記映像フレームから認識されたインデックスとタイムスタンプ値を利用して前記映像フレームの品質指標を算出することを特徴とする、映像通話品質測定システムを提供する。
一側面によると、前記送信端末及び受信端末は、前記送信端末と前記受信端末の時間同期化のために、ＮＴＰサーバによって時間を同期化する時間同期化部をさらに含むことを特徴とする。
他の側面によると、前記品質指標は、前記送信端末から前記受信端末に送信された映像フレーム送信数、前記送信端末からの最初の映像フレームが前記受信端末に送信されるまでにかかった初期遅延時間、前記送信端末と受信端末間の映像フレーム遅延平均値である平均遅延、映像フレーム送信遅延が一定せずに変化する程度であるジッター、前記送信端末から前記受信端末に送信されずに脱落した映像フレームの割合である脱落率、および前記受信端末で画面が固まる画面フリーズのうちの少なくとも１つを利用して算出されることを特徴とする。
送信端末の映像通話品質測定方法であって、受信端末との映像通話呼を形成する段階、映像通話の連結時にカメラによって映像フレームを取得するために使用される端末オペレーティングシステム提供映像キャプチャメソッドが呼び出されるたびに、順に増加するインデックスとタイムスタンプを映像フレームに挿入する段階、および前記受信端末に前記インデックスとタイムスタンプが挿入された映像フレームを予め設定されたフレーム送信レートで送信する段階を含み、前記受信端末では、前記フレーム送信レートよりもさらに高い割合で前記映像フレームを読み取り、前記映像フレームから認識されたインデックスとタイムスタンプ値を利用して前記映像フレームの品質指標を算出することを特徴とする、映像通話品質測定方法を提供する。
一側面において、前記映像通話品質測定方法は、前記受信端末との時間同期化のために、ＮＴＰサーバによって時間を同期化する段階をさらに含むことを特徴とする。
他の側面において、前記品質指標は、前記送信端末から前記受信端末に送信された映像フレーム送信数、前記送信端末からの最初の映像フレームが前記受信端末に送信されるまでにかかった初期遅延時間、前記送信端末と受信端末間の映像フレーム遅延平均値である平均遅延、映像フレーム送信遅延が一定せずに変化する程度であるジッター、前記送信端末から前記受信端末に送信されずに脱落した映像フレームの割合である脱落率、および前記受信端末で画面が固まる画面フリーズのうちの少なくとも１つを利用して算出されることを特徴とする。
受信端末の映像通話品質測定方法であって、送信端末との映像通話呼を形成する段階、前記送信端末から、順に増加するインデックスとタイムスタンプが挿入された映像フレームを予め設定されたフレーム送信レートで受信する段階、前記フレーム送信レートよりもさらに高い割合で前記映像フレームを読み取る段階、前記映像フレームから前記インデックスとタイムスタンプを認識する段階、および前記認識されたインデックスとタイムスタンプの値を利用し、前記読み取った映像フレームの品質指標を算出する段階を含み、前記送信端末では、映像通話の連結時にカメラによって映像フレームを取得するために使用される端末オペレーティングシステム提供映像キャプチャメソッドが呼び出されるたびに、順に増加するインデックスとタイムスタンプが映像フレームに挿入されることを特徴とする、映像通話品質測定方法を提供する。
一側面において、前記映像通話品質測定方法は、前記送信端末との時間同期化のために、ＮＴＰサーバによって時間を同期化する段階をさらに含むことを特徴とする。
他の側面において、前記品質指標は、前記送信端末から前記受信端末に送信された映像フレーム送信数、前記送信端末からの最初の映像フレームが前記受信端末に送信されるまでにかかった初期遅延時間（、前記送信端末と受信端末との間の映像フレーム遅延平均値である平均遅延、映像フレーム送信遅延が一定せずに変化する程度であるジッター、前記送信端末から前記受信端末に送信されずに脱落した映像フレームの割合である脱落率、および前記受信端末で画面が固まる画面フリーズのうちの少なくとも１つを利用して算出されることを特徴とする。
本発明の実施形態に係るモバイル映像通話品質測定方法およびシステムによると、モバイル映像通話アプリがインストールされた２台のモバイル端末間の実際の映像通話品質を測定することができる。
さらに、本発明の実施形態によると、事前に準備されたレファレンス動画ソースと通話映像を比較しなくても、送信された映像フレームに挿入されている特定のインデックスとタイムスタンプをＯＣＲ認識によって読み取り、このような情報を利用することで映像フレームの品質指標を算出することができる。
本発明の一実施形態における、モバイル映像通話品質測定システムのブロック図である。 本発明の一実施形態における、モバイル端末に搭載されたモバイル映像通話アプリの構成を概略的に示した図である。 本発明の実施形態における、送受信端末間の映像通話において映像通話品質を計算する方法を説明するための図である。 上述した映像品質指標の算出に利用されるパラメータを求めるための具体的な数式を示した表である。 本発明の実施形態における、モバイル映像通話品質を測定する方法を説明するためのフローチャートである。
以下、本発明について、好ましい実施形態と添付の図面を参照にしながら、本発明が属する技術分野において通常の知識を有する者が容易に実施できるように詳しく説明する。しかし、発明は、多様に相違する形態で実現可能であり、ここで説明する実施形態に限定されることはない。
近年は、モバイル通信会社が提供する基本のモバイル映像通話アプリの他にも多様なモバイル映像通話アプリが出現しており、モバイル映像通話サービスの利用率は毎年のように増加している。
これにより、ユーザが実際に体感するモバイル映像通話品質の測定に対する要求が増加し続けてはいるが、従来の国際規格であるＰＥＶＱはレファレンス動画ソースと比較する方式を採用していることから、モバイル端末のカメラによる実際の映像通話を測定することはできないという問題を抱えている。
さらに、ＰＥＶＱは、相当に重い規格によるＰＣなどの高仕様端末でのレファレンス実現が存在することから、モバイル端末での直接的な実現には多くの問題を抱えている。
このような問題を解決するために、本発明は、送信端モバイル端末のカメラ映像フレームに、順に増加するインデックス（ｉｎｄｅｘ）とタイムスタンプ（ｔｉｍｅ ｓｔａｍｐ）を挿入し、受信端の端末では、受信した映像を送信端のフレーム送信レートよりもさらに高い割合でフレームを格納し、格納された映像フレームからインデックスとタイムスタンプを抽出し、ＯＣＲ文字認識を利用して抽出されたインデックスとタイムスタンプに対する遅延、ジッター、および映像フリーズのうちの少なくとも１つを測定することによって前記映像フレームの品質指標を算出する構成を開示する。
以下、図１を参照しながら、本発明に係るモバイル映像通話品質測定システムについて詳細に説明する。
図１は、本発明の一実施形態における、モバイル映像通話品質測定システムのブロック図であり、図２は、本発明の一実施形態における、モバイル端末に搭載されたモバイル映像通話アプリの構成を概略的に示した図である。
図１に示すように、本発明のモバイル映像通話品質測定システム２０は、送受信端末の端末エージェント２００および管理サーバ２２０を含んで構成され、端末エージェント２００はモバイル加入者網２１１を介して連結され、端末エージェント２００と管理サーバ２２０はインターネット網２３０を介して連結されてよい。
映像通話のためのモバイル端末は、図２に示すように、ハードウェアモジュールとしてカメラ１００とマイク１１０を必須で備えており、これらを駆動させて実際に映像通話を可能にするモバイル映像通話アプリ１３０を搭載する。モバイル映像通話アプリ１３０は、端末のビデオフォト１２０とオーディオフォト１２５を連結して映像およびオーディオを読み込むために、端末オペレーティングシステムＯＳで提供する映像キャプチャメソッド１４０およびオーディオキャプチャメソッド１４５を使用（呼び出し）する。映像通話アプリは、映像キャプチャメソッドとビデオフォト、オーディオキャプチャメソッドとオーディオフォトを連結させる連結セッション１５０によって映像およびオーディオの入力を受け、内部動画１６０として格納し、受信端末に送信するようになる。
映像通話アプリが使用する（即ち、呼び出す）映像キャプチャメソッド１４０は、特に、映像通話アプリが呼び出されるたびに、順に増加されるか変更されるインデックスとタイムスタンプを映像フレームに挿入する機能を実行することにより、映像通話アプリで映像が読み取られるたびにインデックスおよびタイムスタンプが自動的に挿入されるように既存の端末オペレーティングシステムが提供する本来の映像キャプチャメソッドを修正することにより変更された映像キャプチャメソッド１７０を備え、このためにルーティングされた端末状態を利用してよい。一般的なアンドロイドやアイフォンではユーザの動作がユーザ権限にしたがって動作するのに対して、ルーティング（ｒｏｏｔｉｎｇ）された端末では、ユーザの動作がｒｏｏｔ（スーパーユーザ）権限によって管理されるようにし、ＯＳ自体の保安（又はセキュリティ）をオープンにする。上述した本発明により変更された映像キャプチャメソッド１７０の機能を搭載した後、ファクトリリセットして（例えば、工場出荷状態にして）保安を再設定することができる。
再び図１を参照すると、本発明のモバイル映像通話品質測定システム２０は、送受信用モバイル端末に搭載される端末エージェント２００、実際の映像通話に使用されるモバイル映像通話アプリ２０３、映像通話アプリが実行させる端末のカメラ２５０、送受信端末が接続して通信するモバイル加入者網２１１、端末エージェントを管理して映像通話品質測定結果を収集して分析し、その結果を視覚化して運営者２４０にインターネット２３０を介して提供する管理サーバ２２０で構成される。
端末エージェント２００の構成について詳しく説明すると、管理サーバ２２０との通信インタフェースを提供する通信部２０１、管理サーバ２２０から測定シナリオおよびスケジュールの伝達を受けて管理する測定シナリオ管理部２０２、測定シナリオおよびスケジュールを格納するシナリオ／スケジュールＤＢ２１０、スケジュールにしたがって測定シナリオを駆動させるスケジューラ２０４、測定シナリオを実際のユーザと同じように自動的に端末ＵＩ上で駆動させるＵＩ自動化部２０５、端末の映像フレームバッファを高速で読み取るフレームバッファ取得部２０６、フレームバッファで読み取られたフレームイメージからインデックスとタイムスタンプ値を認識して読み取るＯＣＲ認識部２０７、読み取られたインデックスおよびタイムスタンプ値から品質指標を計算する品質指標計算部２０８、および送受信端末間の時間同期化のための時間同期化部２０９で構成される。
管理サーバ２２０は、多数の端末を登録して管理する端末管理部２２１、測定モバイル映像通話アプリおよびユーザの利用シナリオを登録するシナリオ登録部２２２、測定シナリオとスケジュールを格納するシナリオ／スケジュールＤＢ２２３、測定結果を収集する測定結果収集部２２４、その結果が格納される測定結果ＤＢ２２５、測定結果に対する分析／統計を行う分析／統計部２２６、その結果を視覚化して運営者に提供する視覚化部２２７、およびエージェントとの通信を担当する通信部２２８で構成される。
以下、本発明の実施形態に係るモバイル映像通話品質測定のための各モジュール間の詳細駆動について、次のように説明する。
送信側端末で予め設定された一定間隔で映像フレームに、順に増加するタイムスタンプおよびインデックスを挿入し、これを受信側端末で抽出して分析するためには、ｍｓ単位で正確な時間に同期化する機能が必要であることから、時間同期化部２０９は、測定を始めながらＮＴＰサーバによって時間を同期化する。スケジューラ２０４が特定のモバイル映像通話アプリを駆動させ、受信側端末にて通話連結を自動試行する。通話が連結すると、送信側映像通話アプリが映像キャプチャメソッドを利用してカメラによって映像をキャプチャしながら、（本来の端末オペレーティングシステムが提供する映像キャプチャメソッドの代わりに）、変更された映像キャプチャメソッドがインデックスとタイムスタンプを自動的に挿入し、送信側映像通話アプリがこれを受信側に送信する。
受信側端末において、ＵＩ自動化部２０５は、特定の映像通話アプリの呼（ｃａｌｌ）受信の待機中に呼が受信されると、自動的に応答して呼を連結する。呼が連結した後、受信側端末のフレームバッファ取得部２０６は、端末の映像フレームバッファに高速でアクセスし、ＯＣＲ認識部２０７を経て映像格納部に映像として格納させる。ＯＣＲ認識部２０７は、イメージ認識技術を利用してフレームバッファの映像イメージからインデックスおよびタイムスタンプ値を抽出し、品質指標計算部２０８は、抽出された値を利用して多様な映像品質指標を計算し、通信部２０１によって管理サーバ２２０に送信する。
整理すると、送信端のモバイル端末のカメラ映像フレームに、順に増加するインデックス（ｉｎｄｅｘ）とタイムスタンプ（ｔｉｍｅ ｓｔａｍｐ）を挿入し、受信端の端末は、受信した映像を送信端のフレーム送信レートよりもさらに高い割合で映像フレームを格納し、格納された映像フレームからインデックスとタイムスタンプを抽出し、ＯＣＲ文字認識を利用して抽出されたインデックスとタイムスタンプに対する遅延、ジッター、および映像フリーズ等のうちの少なくとも１つを測定することによって映像フレームの品質指標を算出する。
図３は、本発明の実施形態における、送受信端末間の映像通話において映像通話品質を計算する方法を説明するための図である。
図３を参照すると、送受信端末３００に搭載された端末エージェント２００で映像通話測定が始まった場合、先ず、２台の端末間の時間同期化が行われる（３１０）。通話が連結すると、送信側の映像通話アプリ２０３が一定間隔のカメラ映像を要請し、図２を参照しながら上述したように、変更された映像キャプチャメソッド１７０が映像フレームにタイムスタンプ３２３とインデックス３２５を挿入した後、送信側映像アプリは、このようにタイムスタンプ３２３とインデックス３２５が挿入された映像フレーム３２０を受信側に送信する。
受信側端末では、通話が連結すると、図１を参照しながら上述したように、端末エージェント２００のフレームバッファ取得部２０６が高速で端末のバッファを読み取る。
通常のモバイル映像通話アプリは、１秒あたり１８フレーム以下で送信をするが、受信側端末エージェントでは、高精度の時間測定のために、映像通話アプリが使用するフレーム送信レートよりも遥かに速く（例えば、１秒あたり５０フレーム以上）フレームバッファを読み取って受信映像フレーム３３０として格納する。
この段階において、受信側端末エージェントのＯＣＲ認識部は、各フレームからタイムスタンプ値とインデックス値を読み取り、インデックス値リストであるＩｄｘ［ｉ］３４０、タイムスタンプ値リストであるＴＳ＿Ｓ［ｉ］３５０、受信側タイムスタンプ値リストＴＳ＿Ｒ［ｉ］３６０を生成する。
端末エージェントの品質指標計算部２０８は、このようなインデックス、タイムスタンプ値リストを利用して品質指標を算出し、管理サーバに送信する。
映像品質指標の計算に利用されるパラメータとしては、送信端末から受信端末に送信された映像フレーム送信数、送信端末からの最初の映像フレームが受信端末に送信されるまでにかかった初期遅延時間、送信端末と受信端末間の映像フレーム遅延平均値である平均遅延（、映像フレーム送信遅延が一定せずに変化する程度であるジッター、送信端末から受信端末に送信されずに脱落した映像フレームの割合である脱落率、および受信端末で画面が変化しなくなる画面フリーズのうちの少なくとも１つが利用されてよい。図４は、上述した映像品質指標の算出に利用されるパラメータを求めるための具体的な数式を示した表である。
図５は、本発明の実施形態における、モバイル映像通話品質を測定する方法を説明するためのフローチャートである。図５を参照しながら本発明の実施形態に係るモバイル映像通話品質を測定する方法を説明すると、先ず、送信端末と受信端末との間に映像通話呼が形成される（Ｓ５１０）。
ここで、送信端末と受信端末との間に映像通話呼が形成される段階の前に、送信端末および受信端末に搭載された端末エージェントで映像通話測定を開始する段階、および送信端末および受信端末の時間同期化が実行される段階をさらに含んでよい。
次に、送信端末の映像通話アプリが映像キャプチャメソッドを呼び出すと、変更された映像キャプチャメソッドは、カメラによって取得した映像フレームごとに順に増加するインデックスとタイムスタンプを挿入する（Ｓ５２０）。
次に、送信端末は、映像フレームを受信端末に送信する（Ｓ５３０）。
ここで、受信端末は、送信端末から送信されるフレーム送信レートよりも速くフレームバッファを読み取って受信映像フレームとして格納する段階、および受信端末のＯＣＲ文字認識部が、各映像フレームからタイムスタンプ値とインデックス値を読み取ってインデックス値リストおよびタイムスタンプリストを形成する段階をさらに含む。
次に、受信端末は、送信端末のフレーム送信レート（ＦＰＳ：Ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）よりも高い割合で映像フレームを格納する（Ｓ５４０）。例えば、受信端末では、送信端末のフレーム送信レートよりもさらに高い割合で映像フレームを読み取ってよい。これは、送信端末のフレームよりも受信側での変化フレームの割合を高めることによって受信側での変化フレームを確認（ｃａｔｃｈ）することができるためであり、変化フレームの割合を高めることによってフレーム間の変化推移を正確に測定することができるためである。また、変化フレームの割合を高めることにより、品質指標データの精密性を高めることができる。
次に、格納された映像フレームからインデックスとタイムスタンプを抽出し、ＯＣＲ文字認識によって品質指標を算出する（Ｓ５５０）。
ここで、品質指標を算出する段階は、送信端末から受信端末に送信された映像フレーム送信数、送信端末からの最初の映像フレームが受信端末に送信されるまでにかかった初期遅延時間、前記送信端末と受信端末間の映像フレーム遅延平均値である平均遅延、映像フレーム送信遅延が一定せずに変化する程度であるジッター、送信端末から前記受信端末に送信されずに脱落した映像フレームの割合である脱落率、および前記受信端末で画面が固まる画面フリーズのうちの少なくとも１つを利用して前記品質指標を算出してよい。
上述したように、本発明の実施形態に係るモバイル映像通話品質測定方法およびシステムによると、モバイル映像通話アプリがインストールされた２台のモバイル端末間の実際の映像通話品質を測定することができる。
さらに、本発明の実施形態によると、事前に準備されたレファレンス動画ソースと通話映像を比較しなくても、送信された映像フレームに挿入された特定のインデックスとタイムスタンプをＯＣＲ認識によって読み取り、このような情報を利用することで映像フレームの品質指標を算出することができる。
また、本発明の実施形態は、コンピュータで読み取り可能な記録媒体にコンピュータが読み取り可能なコードで実現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取ることができるデータが格納されるすべての種類の記録装置を含む。
コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ格納装置などがある。また、コンピュータで読み取り可能な記録媒体は、ネットワークによって接続するコンピュータシステムに分散され、分散方式によってコンピュータで読み取り可能なコードが格納されても実行されてもよい。また、発明を実現するための機能的なプログラム、コード、およびコードセグメントは、本発明が属する技術分野のプログラマによって容易に推論されることができるであろう。
上述では本発明の好ましい実施形態について説明したが、本発明がこれに限定されることはなく、本発明の技術思想範囲内で多様に変形して実施することが可能であり、これも添付する特許請求の範囲に属することは当然である。
２０：モバイル映像通話品質測定システム
１００：カメラ
１１０：マイク
１２０：ビデオフォト
１２５：オーディオフォト
１３０：映像通話アプリ
１４０：映像キャプチャメソッド
１４５：オーディオキャプチャメソッド
１５０：連結セッション
１６０：内部動画
２００：端末エージェント
２０３：モバイル映像通話アプリ
２０５：カメラ
２１１：モバイル加入者網
２２０：管理サーバ
２３０：インターネット
２４０：運営者

Claims (9)

  1. モバイル映像通話品質を測定する機能を実行する映像通話アプリを備えたモバイル端末である送信端末及び受信端末を含む映像通話品質測定システムであって、
    前記送信端末は、映像通話の連結時にカメラによって映像フレームを取得するために使用される端末オペレーティングシステム提供映像キャプチャメソッドが呼び出されるたびに、順に増加するインデックスとタイムスタンプを映像フレームに挿入し、
    前記受信端末は、前記送信端末のフレームレート送信レートよりもさらに高い割合で前記映像フレームを読み取り、および
    前記映像フレームから認識されたインデックスとタイムスタンプ値を利用して前記映像フレームの品質指標を算出する
    ことを特徴とする映像通話品質測定システム。
  2. 前記送信端末及び受信端末は、
    前記送信端末と前記受信端末の時間同期化のために、ＮＴＰサーバによって時間を同期化する時間同期化部をさらに含むことを特徴とする、請求項１に記載の映像通話品質測定システム。
  3. 前記品質指標は、前記送信端末から前記受信端末に送信された映像フレーム送信数、前記送信端末からの最初の映像フレームが前記受信端末に送信されるまでにかかった初期遅延時間、前記送信端末と受信端末間の映像フレーム遅延平均値である平均遅延、映像フレーム送信遅延が一定せずに変化する程度であるジッター、前記送信端末から前記受信端末に送信されずに脱落した映像フレームの割合である脱落率、および前記受信端末で画面が固まる画面フリーズのうちの少なくとも１つを利用して算出されることを特徴とする、請求項１に記載の映像通話品質測定システム。
  4. 送信端末の映像通話品質測定方法であって、
    受信端末との映像通話呼を形成する段階、
    映像通話の連結時にカメラによって映像フレームを取得するために使用される端末オペレーティングシステム提供映像キャプチャメソッドが呼び出されるたびに、順に増加するインデックスとタイムスタンプを映像フレームに挿入する段階、および
    前記受信端末に、前記インデックスとタイムスタンプが挿入された映像フレームを予め設定されたフレーム送信レートで送信する段階
    を含み、
    前記受信端末では、前記フレーム送信レートよりもさらに高い割合で前記映像フレームを読み取り、前記映像フレームから認識されたインデックスとタイムスタンプ値を利用して前記映像フレームの品質指標を算出することを特徴とする、映像通話品質測定方法。
  5. 前記受信端末との時間同期化のために、ＮＴＰサーバによって時間を同期化する段階
    をさらに含むことを特徴とする、請求項４に記載の映像通話品質測定方法。
  6. 前記品質指標は、前記送信端末から前記受信端末に送信された映像フレーム送信数、前記送信端末からの最初の映像フレームが前記受信端末に送信されるまでにかかった初期遅延時間、前記送信端末と受信端末間の映像フレーム遅延平均値である平均遅延、映像フレーム送信遅延が一定せずに変化する程度であるジッター、前記送信端末から前記受信端末に送信されずに脱落した映像フレームの割合である脱落率、および前記受信端末で画面が固まる画面フリーズのうちの少なくとも１つを利用して算出されることを特徴とする、請求項４に記載の映像通話品質測定方法。
  7. 受信端末の映像通話品質測定方法であって、
    送信端末との映像通話呼を形成する段階、
    前記送信端末から、順に増加するインデックスとタイムスタンプが挿入された映像フレームを予め設定されたフレーム送信レートで受信する段階、
    前記フレーム送信レートよりもさらに高い割合で前記映像フレームを読み取る段階、
    前記映像フレームから前記インデックスとタイムスタンプを認識する段階、および
    前記認識されたインデックスとタイムスタンプの値を利用して前記読み取った映像フレームの品質指標を算出する段階
    を含み、
    前記送信端末では、映像通話の連結時にカメラによって映像フレームを取得するために使用される端末オペレーティングシステム提供映像キャプチャメソッドが呼び出されるたびに、順に増加するインデックスとタイムスタンプが映像フレームに挿入されることを特徴とする、映像通話品質測定方法。
  8. 前記送信端末との時間同期化のために、ＮＴＰサーバによって時間を同期化する段階
    をさらに含むことを特徴とする、請求項７に記載の映像通話品質測定方法。
  9. 前記品質指標は、
    前記送信端末から前記受信端末に送信された映像フレーム送信数、前記送信端末からの最初の映像フレームが前記受信端末に送信されるまでにかかった初期遅延時間、前記送信端末と受信端末間の映像フレーム遅延平均値である平均遅延、映像フレーム送信遅延が一定せずに変化される程度であるジッター、前記送信端末から前記受信端末に送信されずに脱落した映像フレームの割合である脱落率、および前記受信端末で画面が固まる画面フリーズのうちの少なくとも１つを利用して算出されることを特徴とする、請求項７に記載の映像通話品質測定方法。
JP2018145858A 2017-08-02 2018-08-02 モバイル映像通話品質測定方法およびシステム Active JP6574031B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0098168 2017-08-02
KR1020170098168A KR101846386B1 (ko) 2017-08-02 2017-08-02 모바일 영상통화 품질측정 방법 및 시스템

Publications (2)

Publication Number Publication Date
JP2019030012A JP2019030012A (ja) 2019-02-21
JP6574031B2 true JP6574031B2 (ja) 2019-09-11

Family

ID=61973853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018145858A Active JP6574031B2 (ja) 2017-08-02 2018-08-02 モバイル映像通話品質測定方法およびシステム

Country Status (3)

Country Link
US (1) US10271044B2 (ja)
JP (1) JP6574031B2 (ja)
KR (1) KR101846386B1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109451297A (zh) * 2018-10-23 2019-03-08 平安科技（深圳）有限公司 音视频通话质量分析方法及装置、电子设备、存储介质
CN113865620B (zh) * 2019-04-16 2024-05-10 阿波罗智联(北京)科技有限公司 用于ar导航模拟的时间同步方法及装置
KR102565295B1 (ko) * 2020-12-29 2023-08-10 서울대학교산학협력단 비디오 스트리밍 시스템의 성능을 평가하기 위한 장치 및 방법
CN112751983B (zh) * 2021-04-02 2021-06-18 湖北亿咖通科技有限公司 图像时间同步方法、装置、电子设备及存储介质
CN114915846B (zh) * 2022-05-10 2024-06-21 中移（杭州）信息技术有限公司 数据处理方法、装置、设备及计算机可读存储介质
JP2023167632A (ja) * 2022-05-12 2023-11-24 キヤノン株式会社 撮像装置、制御方法およびプログラム
CN119094508B (zh) * 2024-08-01 2025-02-18 中国人民解放军63921部队 基于实时性能优化检测的动态视频传输系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612691B1 (ko) * 2004-04-30 2006-08-16 에스케이 텔레콤주식회사 동영상 화질 평가시스템 및 방법
JP2007267144A (ja) * 2006-03-29 2007-10-11 Nec Corp 情報配信方法、サーバ装置およびプログラム
DE602007007587D1 (de) * 2007-05-25 2010-08-19 Psytechnics Ltd Videoqualitätsbestimmung
KR101387726B1 (ko) 2007-10-26 2014-04-24 삼성전자주식회사 화상통화 연동 무선인식 서비스를 제공하는 이동통신단말기 및 그 방법
WO2014018012A1 (en) * 2012-07-24 2014-01-30 Siemens Enterprise Communications Gmbh & Co. Kg Method, device, and system for testing video quality
JP2016015582A (ja) * 2014-07-01 2016-01-28 パナソニックＩｐマネジメント株式会社 映像品質制御システム、映像再生装置、プログラム、記録媒体及び映像品質制御方法
JP2016116107A (ja) * 2014-12-16 2016-06-23 株式会社日立国際電気 遅延時間測定システム及びカメラ
JP2016192658A (ja) * 2015-03-31 2016-11-10 日本電気株式会社 通信システム、通信装置、通信方法および通信制御方法

Also Published As

Publication number Publication date
JP2019030012A (ja) 2019-02-21
KR101846386B1 (ko) 2018-04-06
US20190045179A1 (en) 2019-02-07
US10271044B2 (en) 2019-04-23

Similar Documents

Publication Publication Date Title
JP6574031B2 (ja) モバイル映像通話品質測定方法およびシステム
US10305613B2 (en) Method and system for detecting image delay
CN108023906B (zh) 监控录像的断点续传方法及装置
US7864695B2 (en) Traffic load density measuring system, traffic load density measuring method, transmitter, receiver, and recording medium
CN109286813B (zh) 一种视频通信质量检测方法和装置
EP2323281A2 (en) System for measuring the transmission bandwidth for multimedia streaming and method for same
CN104410516A (zh) 一种用户业务感知度评估方法和装置
CN120296326B (zh) 一种微型虚拟仪器信息采集方法
CN109994128B (zh) 语音质量问题定位方法、装置、设备及介质
CN104038775B (zh) 一种频道信息识别方法及装置
CN105554526A (zh) 基于声纹识别的广告监测系统
CN102136962A (zh) 质量问题定界方法及相关设备与系统
CN108111365A (zh) 一种时延测量处理方法及系统
CN106899843B (zh) 一种视频业务质量评估方法及装置
US9692531B2 (en) Method and system of measuring communication quality
CN101753363B (zh) 应用于媒体传输质量测量的方法及装置
CN116095713B (zh) 路测分析方法、系统、电子设备及非易失性存储介质
CN108234995A (zh) 一种视频质量评测的方法及测试服务器
CN107800560B (zh) 网络检测方法和装置、网络检测查询方法和装置
CN112039680A (zh) 一种视频业务处理方法、系统及装置
CN117118815A (zh) 宽带网络故障诊断方法、装置、设备及可读存储介质
KR101616457B1 (ko) 동영상 지연시간 검증 장치 및 시스템
CN101707525A (zh) 一种计费方法和装置
CN116781975B (zh) 一种媒体流检测方法、装置、终端设备和存储介质
CN119094508B (zh) 基于实时性能优化检测的动态视频传输系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190814

R150 Certificate of patent or registration of utility model

Ref document number: 6574031

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250