ES2553202T3 - Un método para medir la calidad de experiencia de un servicio de vídeo - Google Patents

Un método para medir la calidad de experiencia de un servicio de vídeo Download PDF

Info

Publication number
ES2553202T3
ES2553202T3 ES11796641.6T ES11796641T ES2553202T3 ES 2553202 T3 ES2553202 T3 ES 2553202T3 ES 11796641 T ES11796641 T ES 11796641T ES 2553202 T3 ES2553202 T3 ES 2553202T3
Authority
ES
Spain
Prior art keywords
video
kqi
time
kpi
interruption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES11796641.6T
Other languages
English (en)
Inventor
Gerardo GARCÍA DE BLAS
Adrián Maeso Martín-Carnerero
Pablo MONTES MORENO
Francisco Javier RAMÓN SALGUERO
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonica SA
Original Assignee
Telefonica SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonica SA filed Critical Telefonica SA
Application granted granted Critical
Publication of ES2553202T3 publication Critical patent/ES2553202T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Un método para medir la calidad de experiencia de un servicio de vídeo, estando dicho servicio de vídeo superpuesto del flujo continuo de vídeo proporcionado a una aplicación de usuario bajo petición por medio de una red, en el que el método comprende: - calcular un Indicador Clave de Rendimiento, o KPI, desde parámetros de red medibles de dicha red para cada vídeo proporcionado mediante dicho servicio de vídeo, asignar un Indicador Clave de Calidad, o KQI, a cada KPI por medio de modelos analíticos y calcular una función de KQI global de un conjunto de KQI, en el que dicho KPI es una tasa de interrupción, indicando dicha tasa de interrupción el número de interrupciones o cortes durante un tiempo de reproducción de vídeo; caracterizado por que comprende adicionalmente: - considerar que ha tenido lugar una primera interrupción después del inicio de una reproducción de un vídeo en dicha aplicación de usuario si se da la siguiente condición:**Fórmula** donde B(t) es la evolución que depende del tiempo de bytes recibidos de dicho vídeo en dicha aplicación de usuario; t es la variable tiempo; r es la tasa de bits de vídeo; T0 es el tiempo de almacenamiento en memoria intermedia inicial necesario para obtener un volumen inicial de bytes B0, en el que B0 >= r . π0, y en el que π0 es un tiempo de reproducción inicial específico para cada reproductor de vídeo; - considerar una interrupción durante dicha reproducción de dicho vídeo después de n interrupciones ocurridas si se da la siguiente condición:**Fórmula** en el que n es el número de interrupciones que han tenido lugar anteriormente durante la reproducción de dicho vídeo hasta el tiempo t; y Ti es la duración de cada interrupción, siendo dicha duración el tiempo necesario para almacenar en memoria intermedia B0 bytes; y - calcular dicha tasa de interrupción para dicho vídeo de acuerdo con la siguiente fórmula:**Fórmula** donde KPI es el Indicador Clave de Rendimiento referido a dicha tasa de interrupción; Nint es el número total de interrupciones que tuvieron lugar durante dicha reproducción de dicho vídeo; y d es la duración de la reproducción de dicho vídeo, en el que d >= Tfin - Tinicio, siendo Tfin el instante de recepción del último paquete de datos de vídeo y siendo Tinicio el instante de la petición de vídeo.

Description

5
10
15
20
25
30
35
40
45
50
55
60
Un método para medir la calidad de experiencia de un servicio de video
DESCRIPCIÓN
Campo de la técnica
La presente invención se refiere en general a un método para medir la calidad de experiencia de un servicio de vídeo, estando dicho servicio de video superpuesto del flujo continuo de video proporcionado a una aplicación de usuario bajo petición por medio de una red, y más particularmente a un método que comprende calcular un Indicador Clave de Rendimiento, o KPI, a partir de parámetros de red medióles de dicha red para cada video proporcionado mediante dicho servicio de video, asignar un Indicador Clave de Calidad, o KQI, a cada KPI por medio de modelos analíticos y calcular una función de KQI global de un conjunto de KQI.
Estado de la técnica anterior
Típicamente, la manera de medir la Calidad de Experiencia de los servicios de vídeo ha sido a través de la realización de pruebas subjetivas o análisis de diferencia entre la fuente y los flujos recibidos. Las percepciones de algunos de los métodos que se usan se describen a continuación.
- MOS (Puntuación de Opinión Media)
La prueba de Puntuación de Opinión Media (MOS) se ha usado durante décadas en redes de telefonía para obtener la QoE del usuario de este servicio de voz. Las redes de telecomunicación modernas proporcionan una amplia serie de servicios que usan muchos sistemas de transmisión. En particular, el rápido desarrollo de las tecnologías digitales ha conducido una necesidad creciente de evaluar las características de transmisión de nuevo equipo de transmisión. En muchas circunstancias, es necesario determinar los efectos subjetivos de algún nuevo equipo de transmisión o modificación a las características de transmisión de una red de telefonía.
En multimedia (audio, telefonía de voz o vídeo) especialmente cuando se usan códec para comprimir el requisito de ancho de banda (por ejemplo, de una conexión de voz digitalizada a partir de la norma de modulación PCM de 64 kilobit/segundo), la puntuación de opinión media (MOS) proporciona una indicación numérica de la calidad percibida desde la perspectiva de los usuarios de la multimedia recibida después de compresión y/o transmisión.
Las pruebas de MOS se especifican por la recomendación P.800 de la ITU-T. [1]. Esta recomendación describe métodos para obtener evaluaciones subjetivas de sistemas y componentes de transmisión.
La MOS proporciona una indicación numérica de la calidad percibida desde la perspectiva de los usuarios de multimedia recibida después de compresión y/o transmisión. Se expresa como un único número en el intervalo de 1 a 5, donde 1 es la calidad más baja percibida, y 5 es la más alta percibida.
- PEVQ (Evaluación Perceptual de Calidad de Vídeo)
PEVQ (Evaluación Perceptual de Calidad de Vídeo) es un algoritmo de medición E2E normalizado para puntuar la calidad de Imagen de una presentación de vídeo por medio de una puntuación de opinión media (MOS) de 5 puntos. El algoritmo de medición puede aplicarse para analizar artefactos visibles producidos por un proceso de codlflcaclón/decodlficación (o transcodificación) de vídeo digital, redes de transmisión basadas en RF o IP y dispositivos de usuario final. Los escenarios de aplicación tratan la interconexión de redes y servicios móviles de la próxima generación e incluyen IPTV (televisión de definición convencional y HDTV), video de flujo continuo, TV móvil, telefonía de vídeo, conferencia de vídeo y mensajería de video.
PEVQ está basado en modelar el comportamiento del aparato visual humano y además de una puntuación de MOS de calidad global (como una figura de mérito) se cuantifican las anormalidades en la señal de video mediante una diversidad de KPI, Incluyendo PSNR, indicadores de distorsión y retardo de sincronización de los labios.
PEVQ es un algoritmo de referencia total y analiza la imagen pixel a pixel después de una alineación temporal (también denominado como ‘registro temporal’) de fotogramas correspondientes de referencia y señal de prueba. Los resultados de PEVQ MOS varían desde 1 (malo) a 5 (excelente).
- DIversifEye (Shenlck Network Systems)
DiversifEye es un sistema de medición que realiza un análisis por flujo que posibilita la prueba de realización de QoE en todos y cada flujo. Su análisis está basado en una base 'por flujo’ ya que reivindican que es el único mecanismo para garantizar el rendimiento a la granularidad del usuario. Su arquitectura se usa para emular y evaluar la Calidad de Experiencia de abonado, limitaciones de rendimiento de red y dispositivo, junto con el rendimiento de la
5
10
15
20
25
30
35
40
45
50
55
60
aplicación bajo cargas y condiciones variables. La principal clave para probar ‘por flujo’ es la vista microscópica conseguida en pruebas en vivo. Esto es representativo del análisis de rendimiento en profundidad de todas y cada una de las calidades de experiencia del punto final individual en una base por aplicación.
Un beneficio principal del análisis por flujo es la capacidad para ver el impacto que diversos flujos de tráfico y dispositivos de red (ajustes y condiciones) tienen en una diversidad de tipos de tráfico. En diversifEye la evaluación por flujo se posibilita en todos los flujos de aplicación incluyendo VPN seguras, túneles LTE - GTP, flujos adaptivos OTT, IP-TV, VoD, VolP, Telepresencia, Datos (web, correo electrónico, P2P), etc. Por flujo proporciona los detalles de rendimiento necesarios en todas las aplicaciones sensibles a retardo y es crítico en definir ajustes de gestión de tráfico, junto con garantizar una alta Calidad de Experiencia (QoE) de abonado.
Beneficios adicionales de la arquitectura por flujo de diversifEye son la capacidad de monitorizar de manera activa ejecuciones de pruebas en vivo. Los usuarios de diversifEye pueden añadir algoritmos de monitorización de rendimiento a todos y cada flujo de aplicación emulado. Durante ejecuciones de pruebas en vivo el algoritmo monitoriza de manera activa el rendimiento en el flujo asociado, cuando el rendimiento del flujo cruza el nivel umbral asignado se genera una notificación de evento.
Su fin es ejecutar pruebas en lugar de mediciones de red reales ya que se usan para emular tanto aplicaciones del lado de cliente como del servidor. El resultado es un conjunto de estadísticas de rendimiento en tiempo real para todas y cada una de las peticiones o actividades de flujo de aplicación individual.
Problemas con las soluciones existentes
Las soluciones actuales para medición de QoE de vídeo tienen varias desventajas:
- Análisis de diferencia: el paradigma de la medición es evaluar degradaciones de una secuencia de vídeo decodificada emitida desde la red en comparación con la imagen de referencia original. Con este tipo de análisis, se requieren al menos dos puntos de medición.
En metodología de MOS, se presenta una única condición de prueba (la secuencia de vídeo) a los observadores únicamente una vez. Ellos deberían proporcionar la calidad de acuerdo con la escala predefinida. Esta metodología evidentemente carece de precisión y de objetividad.
- Finalmente, las pruebas de calidad de vídeo subjetivas son bastante caras en términos de tiempo (preparación y ejecución) y de recursos humanos.
Descripción de la invención
Es necesario ofrecer una alternativa al estado de la técnica que cubra los huecos encontrados en la misma, particularmente relacionados con la ausencia de propuestas que realmente proporcionen técnicas para obtener mediciones de calidad de experiencia en servicios de vídeo de una manera eficaz y objetiva.
Para este fin, la presente invención proporciona un método para medir calidad de experiencia de un servicio de vídeo, estando dicho servicio de vídeo superpuesto del flujo continuo de vídeo proporcionado a una aplicación de usuario bajo petición por medio de una red.
Al contrario de las propuestas conocidas, el método de la invención, de una manera característica, comprende calcular un Indicador Clave de Rendimiento, o KPI, a partir de parámetros de red medióles de dicha red para cada vídeo proporcionado mediante dicho servicio de vídeo, asignar un Indicador Clave de Calidad, o KQI, a cada KPI por medio de modelos analíticos y calcular una función de KQI global de un conjunto de KQI de acuerdo con las características que caracterizan el método en la reivindicación 1.
Otras realizaciones del método de la invención se describen de acuerdo con las reivindicaciones adjuntas 2 a 7, y en una sección posterior relacionada con la descripción detallada de varias realizaciones.
Breve descripción de los dibujos
Las anteriores y otras ventajas y características se entenderán más completamente a partir de la siguiente descripción detallada de realizaciones, con referencia a los dibujos adjuntos que deben considerarse de una manera ilustrativa y no limitante, en los que:
La Figura 1 muestra el ciclo de obtención de los KQI a partir de parámetros de red medióles, de acuerdo con una realización de la presente invención.
La Figura 2 muestra un gráfico con el volumen de bytes recibidos por un usuario en un escenario sin interrupciones, de acuerdo con una realización de la presente invención.
La Figura 3 muestra un gráfico con el volumen de bytes recibidos por un usuario en un escenario con una
5
10
15
20
25
30
35
40
45
50
55
60
interrupción, de acuerdo con una realización de la presente invención.
La Figura 4 muestra la función para calcular flujo continuo de video de KQI a partir de KPI, de acuerdo con una realización de la presente invención.
La Figura 5 muestra la función de distribución acumulativa de KQI, de acuerdo con una realización de la presente invención.
La Figura 6 muestra gráficamente los KPI obtenidos (o tasas de interrupción) para una implementación de la presente invención.
La Figura 7 muestra gráficamente la función de distribución acumulativa de KQI para dicha implementación de la presente invención.
Descripción detallada de varias realizaciones
El concepto básico de la invención se basa en el uso de un método que recoge mediciones de red en solo un punto y para una aplicación muy particular (Flujo Continuo de Vídeo OTT). A partir de estas mediciones, el método sigue un modelo analítico para calcular algunos Indicadores Clave de Rendimiento (KPI) requeridos para obtener la QoE del usuario. Como una función de estos KPI, la QoE se expresa en términos de Indicadores Clave de Calidad (KQI) que siguen otro modelo analítico. El flujo de información del método se representa en la Figura 1.
El tráfico de flujo continuo de Video de OTT se genera mediante las plataformas que alojan vídeos y los envían por flujo continuo a los usuarios después de su petición. Estos vídeos se entregan al usuario mediante conexiones HTTP/TCP que siguen el modelo cliente-servidor. Entre los portales más conocidos que generan este tipo de tráfico están YouTube, Metacafe y Megavideo.
Por su naturaleza, este tipo de tráfico es flexible, aunque son necesarias características específicas de aplicaciones inflexibles. Se requiere que la conexión tenga suficiente caudal para permitir a la aplicación reproducir el contenido de una manera suave y sin interrupciones desde el comienzo de modo que el usuario perciba que la aplicación funciona apropiadamente y la aplicación no requiera una gran capacidad de disposición en cola. Para conseguir este comportamiento, debería requerirse que la entrada de la aplicación (caudal de datos) sea al menos igual a la requerida para la visualización (la tasa de bits del vídeo). Adicionalmente, se requiere que el tiempo de espera para el inicio de la reproducción sea bajo, aunque este parámetro es menos relevante para los fines de la calidad percibida.
Por lo tanto, los parámetros cualitativos de calidad para el flujo continuo de vídeo son la reproducción suave (sin
interrupción) y un tiempo de espera inicial bajo.
En lugar de usar un KPI global, se han usado KPI específicos para cada reproducción de vídeo. Precisamente, el KPI que se ha elegido para reflejar la reproducción de vídeo suave es la tasa de interrupción (número de interrupciones o cortes durante el tiempo de reproducción de vídeo). Una interrupción tiene lugar cuando el caudal instantáneo recibido es superado por la tasa de bits del vídeo.
A continuación, se detalla el proceso para determinar cuándo tienen lugar las interrupciones y el cálculo del KPI particular de cada vídeo. Después de eso, se describe cómo calcular el KQI particular asociado y un posible método para calcular un KQI global.
• Modelo de obtención de KPI a partir de parámetros de red
El modelo se centra en cómo identificar una interrupción en la aplicación de usuario. Para hacer esto, se requiere conocer cómo funciona la aplicación del usuario (por ejemplo, un reproductor de Flash embebido en una página web) y cuáles son las condiciones que deben aparecer antes de que tenga lugar una interrupción.
Hay un tiempo de almacenamiento en memoria intermedia inicial (To) antes del inicio de la reproducción de vídeo que permite a la aplicación protegerse frente a posibles variaciones en el caudal recibido. Este tiempo inicial T0 puede variar entre los diferentes sitios de flujo continuo, pero corresponde generalmente al tiempo requerido para obtener un volumen de bytes B0 que permite la visualización de un tiempo de reproducción de vídeo concreto t0, diferente para cada sitio de flujo de continuo. El tiempo t0 es independiente de la tasa de bits de vídeo, pero determina el volumen inicial de bytes a obtenerse Bo. Específicamente, el volumen inicial de bytes B0 se proporciona mediante la siguiente ecuación:
Bt = r-ia
donde:
r es la tasa de bits de vídeo
5
10
15
20
25
30
35
40
45
50
55
- to es el tiempo de reproducción de vídeo inicial (parámetro del reproductor de vídeo)
Después de este tiempo, el reproductor de vídeo inicia la reproducción y debe recibir suficientes bytes (suficiente caudal) para permanecer por encima de la tasa de bits de codificación del vídeo, de modo que no haya interrupciones. Específicamente, la condición de reproducción no interrumpida se proporciona mediante la siguiente ecuación:
- B(t) es la evolución temporal de los bytes recibidos
- r es la tasa de bits de vídeo
- To es el tiempo de almacenamiento en memoria intermedia inicial (tiempo para obtener B0 bytes)
La Figura 2 muestra un ejemplo de la evolución del volumen de bytes recibidos por un usuario B(t) en un escenario con reproducción no interrumpida.
Si el volumen de bytes recibidos en cualquier momento dado está por debajo de la línea teórica de reproducción de vídeo, habrá una interrupción. La Figura 3 muestra un escenario con una interrupción.
En el tiempo T¡ en que tiene lugar la interrupción, la condición de la ecuación no se consigue, es decir, la condición particular del escenario es la siguiente:
Después de esta primera interrupción, tomará un tiempo Ti hasta que se almacene en memoria intermedia de nuevo un volumen de Bo bytes para permitir la reproducción de un tiempo de vídeo to. Después de este tiempo, la condición de no interrupción cambia y se hace como sigue:
donde Ti es la duración de la primera interrupción, que equivale al tiempo necesario para almacenar en memoria intermedia Bo bytes de nuevo.
En general, después de n interrupciones:
donde T¡ es la duración de la i-ésima interrupción, equivalente al tiempo necesario para almacenar en memoria intermedia B0 bytes después de que tiene lugar la interrupción.
Siguiendo las etapas anteriores, es posible determinar cuándo ha habido una interrupción. Evidentemente, es necesario conocer la tasa de bits de vídeo media. Aunque conocer esta tasa puede parecer complicado, una DPI evolucionada podría hacerlo puesto que la información viaja dentro de los paquetes de datos. De hecho, es posible obtener la tasa de bits de codificación de los vídeos a partir de sitios de flujo continuo conocidos tales como YouTube y Megavideo (un total de más del 50 % del tráfico de flujo continuo de vídeo).
Para cada vídeo presentado, es posible calcular el KPI particular (tasa de interrupciones durante el tiempo de presentación) usando la siguiente ecuación:
donde:
B(Ji) < r ■ (T, - 7J
3 r*(í-T,
imagen1
imagen2
donde:
Tinido es el instante de la petición de vídeo.
Tf¡n es el instante de la recepción del último paquete de datos de vídeo.
inicio
5
10
15
20
25
30
35
40
45
50
55
60
- N¡nt,¡ es el número de interrupciones del j-ésimo vídeo durante el tiempo de reproducción (desde Tinicio a Tf¡n)
- d es la duración de la reproducción de vídeo
Durante un periodo de tiempo suficientemente largo, se obtendrá el KPI particular de cada reproducción de vídeo y estos KPI se usarán para calcular los KQI individuales y, finalmente, el KQI global.
• Modelo de obtención de KQI a partir de parámetros de red
El KQI particular debe capturar el impacto de su KPI asociado. Antes del establecimiento de una función matemática que relaciona KQI y KPI, la escala de KQI debe definirse siempre y decidir si la variación entre los extremos de la escala debe ser lineal, cóncava o convexa.
En este caso, la escala de KQI varía de 1 a 5, donde la puntuación 1 es la peor calidad (pésima) y el valor 5 corresponde a la calidad más alta (ideal). Un vídeo se considera ideal si el número de Interrupciones detectadas durante la reproducción es cero. Mientras tanto, si el número de Interrupciones es Igual a o mayor que 4 interrupciones por minuto, la calidad se considera pésima.
En relación con la concavidad, la función elegida debe ser cóncava hacia arriba, de modo que el KQI responde más considerablemente a valores bajos del KPI. Para tasas de Interrupción mayores de 2 interrupciones por minuto, la degradación de la calidad es inferior a medida que la calidad es baja en sí misma.
Con estas características, la función elegida para calcular el KQI es la siguiente:
La Figura 4 ilustra la correspondencia entre el KPI y el KQI particular para cada vídeo visualizado.
Después de obtener los KQI particulares de todos los vídeos durante un periodo significativo, podría obtenerse un KQI global que represente la calidad global del servicio de flujo continuo de vídeo. Hay varias opciones para calcular
este KQI global:
La media de los KQI particulares.
- La mediana o el 50° percentil de la función de distribución de los KQI particulares.
- El x-ésimo percentil de la función de distribución acumulativa de los KQI particulares, es decir el valor del KQI para el que el x % de los vídeos tienen una calidad inferior que la de ese KQI.
Para calcular el KQI global, los vídeos cuyo tiempo de reproducción d es menor que un cierto umbral (pocos segundos) deberían descartarse como que no son suficientemente fiables.
Como un ejemplo, la Figura 5 muestra una posible función para la distribución de KQI particulares, que destaca el 50° percentil (mediana) y el 10° percentil.
• Implementación de la invención
La invención se ha desarrollado en un hardware de fin general como un prototipo para evaluar la QoE percibida de los usuarios desde el servicio de flujo continuo de vídeo de YouTube. Este método realiza las funciones anteriormente descritas antes de obtener el KQI desde algún parámetro de red medible.
En la realización de análisis, se han usado las mediciones de red reales desde una DPI evolucionada. En la Figura 6 pueden encontrarse algunos resultados del análisis.
En este estudio, se analizaron aproximadamente 30.000 reproducciones de vídeo, obteniendo su KPI particular. Más del 92 % de las reproducciones de vídeo tuvieron cero Interrupciones. Como una función de estos KPI, el método puede obtener los KQI particulares de cada reproducción de vídeo. En la Figura 7 se representa la función de distribución acumulativa de KQI.
Como se ha explicado anteriormente, hay muchas posibilidades para obtener un KQI global. A partir de la Figura 7 del análisis realizado, es posible obtener los siguientes posibles valores de este parámetro de KQI global:
KQI ¡
imagen3
KPIj)*, si KPIj < 4 si KPIj > 4
Media de KQI particulares: 4,69 50° percentil: 5,00
5
10
15
20
25
30
35
40
10° percentil: 5,00
- 5o percentil: 1,001
En este caso particular, parece razonable elegir la media de los KQI particulares como la manera de obtener el KQI global ya que su valor es el más representativo de la QoE percibida por los usuarios del servicio.
• Ventajas de la invención
La presente invención tiene las siguientes ventajas:
- Con este método, únicamente se requiere un punto de medición en la red. A diferencia de los sistemas basados en análisis de diferencia, este método de medición de QoE de Vídeo solamente necesita medir los parámetros en un punto de la red (por ejemplo, un enlace) y con la información recogida a partir de estas mediciones, puede evaluar la QoE percibida por los usuarios de un servicio particular.
Debido a la automatización de la evaluación de la QoE, los resultados del análisis son completamente objetivos. A través de la aplicación de los modelos de la invención, el método puede evaluar la perspectiva del usuario (subjetiva por definición) automáticamente y de manera continua sin requerir la opinión o presencia humana.
El método de medición de QoE de Vídeo ahorra los costes de tiempo y de recursos humanos que son intrínsecos en las pruebas de calidad de vídeo subjetivas.
Un experto en la materia podría introducir cambios y modificaciones en las realizaciones descritas sin alejarse del alcance de la invención como se define en las reivindicaciones adjuntas.
Acrón irnos
CDF
función de distribución acumulativa
DPI
inspección de paquetes profunda
KPI
indicador clave de rendimiento
KQI
indicador clave de calidad
MOS
puntuación de opinión media
OTT
superpuesto
PEVQ
evaluación perceptual de calidad de vídeo
QoE Referencias
calidad de experiencia
[1] ITU-T Recommendation P.800: Methods for subjective determination of transmission quality: http://
www.itu.int/rec/T-REC-P.800-199608-l/en

Claims (6)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    55
    60
    REIVINDICACIONES
    1. Un método para medir la calidad de experiencia de un servicio de vídeo, estando dicho servicio de vídeo superpuesto del flujo continuo de vídeo proporcionado a una aplicación de usuario bajo petición por medio de una red, en el que el método comprende:
    - calcular un Indicador Clave de Rendimiento, o KPI, desde parámetros de red medióles de dicha red para cada vídeo proporcionado mediante dicho servicio de vídeo, asignar un Indicador Clave de Calidad, o KQI, a cada KPI por medio de modelos analíticos y calcular una función de KQI global de un conjunto de KQI, en el que dicho KPI es una tasa de interrupción, indicando dicha tasa de interrupción el número de interrupciones o cortes durante un tiempo de reproducción de vídeo;
    caracterizado por que comprende adicionalmente:
    - considerar que ha tenido lugar una primera interrupción después del inicio de una reproducción de un vídeo en dicha aplicación de usuario si se da la siguiente condición:
    0£t) <r-(É - T0)
    donde
    B(t) es la evolución que depende del tiempo de bytes recibidos de dicho vídeo en dicha aplicación de usuario; t es la variable tiempo; r es la tasa de bits de vídeo;
    T0 es el tiempo de almacenamiento en memoria intermedia inicial necesario para obtener un volumen inicial de bytes 60, en el que B0 = r ■ t0, y en el que to es un tiempo de reproducción inicial específico para cada reproductor de vídeo;
    - considerar una interrupción durante dicha reproducción de dicho vídeo después de n interrupciones ocurridas si se da la siguiente condición:
    fitOcr-fí-n-
    j-i
    en el que
    n es el número de interrupciones que han tenido lugar anteriormente durante la reproducción de dicho vídeo hasta el tiempo t; y
    T¡ es la duración de cada interrupción, siendo dicha duración el tiempo necesario para almacenar en memoria intermedia So bytes; y
    - calcular dicha tasa de interrupción para dicho vídeo de acuerdo con la siguiente fórmula:
    KPI =
    d
    donde
    KPI es el Indicador Clave de Rendimiento referido a dicha tasa de interrupción;
    Nini es el número total de interrupciones que tuvieron lugar durante dicha reproducción de dicho vídeo; y d es la duración de la reproducción de dicho vídeo, en el que d = Tfín - Tin¡c¡o, siendo Tm el instante de recepción del último paquete de datos de vídeo y siendo Tintio el instante de la petición de vídeo.
  2. 2. Un método de acuerdo con la reivindicación 1, que comprende obtener dicha tasa de bits de vídeo por medio de técnicas de Inspección de Paquetes de Datos.
  3. 3. Un método de acuerdo con cualquiera de las reivindicaciones anteriores, en el que:
    - los valores de KQI están comprendidos en una escala mediante la que el valor más bajo de dicha escala indica la peor calidad de experiencia y el valor más alto de dicha escala indica la calidad de experiencia más alta, dicha calidad de experiencia más alta conseguida si el número de interrupciones durante la reproducción de un vídeo es cero y dicha peor calidad de experiencia conseguida si dicho número de interrupciones es igual o mayor que un umbral; y
    - la variación entre los extremos de dicha escala es lineal, cóncava o convexa.
  4. 4. Un método de acuerdo con la reivindicación 3, que comprende realizar dicha asignación de un KQI a un KPI por medio de una función cóncava de acuerdo con la siguiente fórmula:
    en el que divo valor más pequeño de dicha escala es 1, dicho valor más alto de dicha escala es 5 y dicho umbral es 4.
    10 5. Un método de acuerdo con cualquier reivindicación anterior, que comprende determinar una función de KQI global
    de dicho conjunto de KQI, correspondiendo cada KQI de dicho conjunto de KQI a cada vídeo proporcionado a dicha aplicación de usuario, calculando:
    - la media de dicho conjunto de KQI;
    15 - la mediana de la función de distribución de dicho conjunto de KQI; o
    - un percentil de la función de distribución acumulativa de dicho conjunto de KQI.
  5. 6. Un método de acuerdo con la reivindicación 5, que comprende descartar KQI para dicho cálculo de KQI global si el tiempo de reproducción de los vídeos relacionados con dichos KQI está por debajo de un cierto umbral.
  6. 7. Un método de acuerdo con cualquiera de las reivindicaciones anteriores, en el que dicho KQI global es la medida de dicha calidad de experiencia de un servicio de vídeo.
    imagen1
    20
ES11796641.6T 2011-09-28 2011-11-24 Un método para medir la calidad de experiencia de un servicio de vídeo Active ES2553202T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161540281P 2011-09-28 2011-09-28
US201161540281P 2011-09-28
PCT/EP2011/070897 WO2013044997A1 (en) 2011-09-28 2011-11-24 A method to measure quality of experience of a video service

Publications (1)

Publication Number Publication Date
ES2553202T3 true ES2553202T3 (es) 2015-12-07

Family

ID=45349162

Family Applications (1)

Application Number Title Priority Date Filing Date
ES11796641.6T Active ES2553202T3 (es) 2011-09-28 2011-11-24 Un método para medir la calidad de experiencia de un servicio de vídeo

Country Status (4)

Country Link
US (1) US20140337871A1 (es)
EP (1) EP2761879B1 (es)
ES (1) ES2553202T3 (es)
WO (1) WO2013044997A1 (es)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9479445B2 (en) * 2011-12-09 2016-10-25 Telefonaktiebolaget L M Ericsson Application-aware flow control in a radio network
US10952091B2 (en) * 2012-10-29 2021-03-16 T-Mobile Usa, Inc. Quality of user experience analysis
US10412550B2 (en) 2012-10-29 2019-09-10 T-Mobile Usa, Inc. Remote driving of mobile device diagnostic applications
US10313905B2 (en) 2012-10-29 2019-06-04 T-Mobile Usa, Inc. Contextual quality of user experience analysis using equipment dynamics
US10237144B2 (en) 2012-10-29 2019-03-19 T-Mobile Usa, Inc. Quality of user experience analysis
US9237474B2 (en) 2012-10-29 2016-01-12 T-Mobile Usa, Inc. Network device trace correlation
US9538409B2 (en) * 2012-10-29 2017-01-03 T-Mobile Usa, Inc. Quality of user experience analysis
CN103414958A (zh) * 2013-08-21 2013-11-27 中广有线信息网络有限公司 一种有线电视网络宽带用户体验评价系统
CN104427331B (zh) * 2013-08-28 2017-12-01 华为技术有限公司 一种视频业务处理方法、装置及网络设备
JP6085885B2 (ja) * 2013-12-20 2017-03-01 日本電信電話株式会社 ユーザ行動最適化装置及び方法
US11257129B2 (en) * 2014-03-12 2022-02-22 Ebay Inc. Service experience score system
CN105099795A (zh) 2014-04-15 2015-11-25 杜比实验室特许公司 抖动缓冲器水平估计
US11087263B2 (en) 2014-10-09 2021-08-10 Splunk Inc. System monitoring with key performance indicators from shared base search of machine data
US11200130B2 (en) 2015-09-18 2021-12-14 Splunk Inc. Automatic entity control in a machine data driven service monitoring system
US9491059B2 (en) 2014-10-09 2016-11-08 Splunk Inc. Topology navigator for IT services
US9760240B2 (en) 2014-10-09 2017-09-12 Splunk Inc. Graphical user interface for static and adaptive thresholds
US11455590B2 (en) 2014-10-09 2022-09-27 Splunk Inc. Service monitoring adaptation for maintenance downtime
US9584374B2 (en) 2014-10-09 2017-02-28 Splunk Inc. Monitoring overall service-level performance using an aggregate key performance indicator derived from machine data
US10209956B2 (en) 2014-10-09 2019-02-19 Splunk Inc. Automatic event group actions
US11296955B1 (en) 2014-10-09 2022-04-05 Splunk Inc. Aggregate key performance indicator spanning multiple services and based on a priority value
US10447555B2 (en) 2014-10-09 2019-10-15 Splunk Inc. Aggregate key performance indicator spanning multiple services
US9146954B1 (en) 2014-10-09 2015-09-29 Splunk, Inc. Creating entity definition from a search result set
US11671312B2 (en) 2014-10-09 2023-06-06 Splunk Inc. Service detail monitoring console
US11501238B2 (en) 2014-10-09 2022-11-15 Splunk Inc. Per-entity breakdown of key performance indicators
US9210056B1 (en) 2014-10-09 2015-12-08 Splunk Inc. Service monitoring interface
US10193775B2 (en) 2014-10-09 2019-01-29 Splunk Inc. Automatic event group action interface
US9864797B2 (en) 2014-10-09 2018-01-09 Splunk Inc. Defining a new search based on displayed graph lanes
US10235638B2 (en) 2014-10-09 2019-03-19 Splunk Inc. Adaptive key performance indicator thresholds
US10474680B2 (en) 2014-10-09 2019-11-12 Splunk Inc. Automatic entity definitions
US10592093B2 (en) 2014-10-09 2020-03-17 Splunk Inc. Anomaly detection
US10417108B2 (en) 2015-09-18 2019-09-17 Splunk Inc. Portable control modules in a machine data driven service monitoring system
US9146962B1 (en) 2014-10-09 2015-09-29 Splunk, Inc. Identifying events using informational fields
US9130832B1 (en) 2014-10-09 2015-09-08 Splunk, Inc. Creating entity definition from a file
US10505825B1 (en) 2014-10-09 2019-12-10 Splunk Inc. Automatic creation of related event groups for IT service monitoring
US9158811B1 (en) 2014-10-09 2015-10-13 Splunk, Inc. Incident review interface
US11275775B2 (en) 2014-10-09 2022-03-15 Splunk Inc. Performing search queries for key performance indicators using an optimized common information model
US10417225B2 (en) 2015-09-18 2019-09-17 Splunk Inc. Entity detail monitoring console
US11755559B1 (en) 2014-10-09 2023-09-12 Splunk Inc. Automatic entity control in a machine data driven service monitoring system
US10305758B1 (en) 2014-10-09 2019-05-28 Splunk Inc. Service monitoring interface reflecting by-service mode
US10536353B2 (en) 2014-10-09 2020-01-14 Splunk Inc. Control interface for dynamic substitution of service monitoring dashboard source data
US9967351B2 (en) 2015-01-31 2018-05-08 Splunk Inc. Automated service discovery in I.T. environments
US10198155B2 (en) 2015-01-31 2019-02-05 Splunk Inc. Interface for automated service discovery in I.T. environments
CN105991364B (zh) * 2015-02-28 2020-07-17 中兴通讯股份有限公司 一种用户感知评估方法及装置
US9853867B2 (en) * 2015-05-19 2017-12-26 Empirix, Inc. Method and apparatus to determine network quality
US9872188B2 (en) * 2015-07-28 2018-01-16 Futurewei Technologies, Inc. Adaptive filtering based network anomaly detection
CN105357691B (zh) * 2015-09-28 2019-04-16 普天信息工程设计服务有限公司 Lte无线网络用户感知监测方法和系统
CN105554782B (zh) * 2015-12-09 2019-01-01 中国联合网络通信集团有限公司 用户感知指标的预测方法和装置
CN107026750B (zh) * 2016-02-02 2020-05-26 中国移动通信集团广东有限公司 一种用户上网QoE评价方法及装置
US10321336B2 (en) * 2016-03-16 2019-06-11 Futurewei Technologies, Inc. Systems and methods for robustly determining time series relationships in wireless networks
US10374882B2 (en) 2016-03-16 2019-08-06 Futurewei Technologies, Inc. Systems and methods for identifying causes of quality degradation in wireless networks
CN107509121B (zh) * 2016-06-14 2020-06-02 华为技术有限公司 确定视频质量的方法和装置、定位网络故障的方法和装置
US10305746B2 (en) 2016-08-09 2019-05-28 Conviva Inc. Network insights
US10942946B2 (en) 2016-09-26 2021-03-09 Splunk, Inc. Automatic triage model execution in machine data driven monitoring automation apparatus
US10942960B2 (en) 2016-09-26 2021-03-09 Splunk Inc. Automatic triage model execution in machine data driven monitoring automation apparatus with visualization
CN108399478B (zh) * 2017-02-04 2020-12-11 中国移动通信集团河北有限公司 一种用户感知评价标准的确定方法、装置及设备
US11196652B2 (en) 2017-02-07 2021-12-07 Telefonaktiebolaget Lm Ericsson (Publ) Transport layer monitoring and performance assessment for OTT services
CN106953757A (zh) * 2017-03-20 2017-07-14 重庆信科设计有限公司 一种LTE网络中QoE量化指标模型的建立方法
US10791367B1 (en) 2017-03-31 2020-09-29 Conviva Inc. Correlating playback information of video segments
US10637715B1 (en) 2017-05-02 2020-04-28 Conviva Inc. Fault isolation in over-the-top content (OTT) broadband networks
US11044533B1 (en) 2017-06-02 2021-06-22 Conviva Inc. Automatic diagnostics alerts
US11093518B1 (en) 2017-09-23 2021-08-17 Splunk Inc. Information technology networked entity monitoring with dynamic metric and threshold selection
US11106442B1 (en) 2017-09-23 2021-08-31 Splunk Inc. Information technology networked entity monitoring with metric selection prior to deployment
US11159397B2 (en) 2017-09-25 2021-10-26 Splunk Inc. Lower-tier application deployment for higher-tier system data monitoring
US11336506B1 (en) 2018-05-31 2022-05-17 Conviva Inc. Automatic diagnostics alerts for streaming content encoded by multiple entities
CN109005064B (zh) * 2018-08-15 2021-12-03 北京天元创新科技有限公司 面向QoE的服务质量评估方法、装置及电子设备
US10841841B2 (en) 2018-09-17 2020-11-17 Cisco Technology, Inc. Using wireless channel variance values in order to improve application quality of experience (QoE) in wireless communication systems
CN111212330B (zh) * 2018-11-22 2022-02-11 华为技术有限公司 一种网络性能瓶颈值的确定方法、装置及存储介质
CN109768888B (zh) * 2019-01-16 2021-09-03 广东工业大学 一种网络服务质量评价方法、装置、设备及可读存储介质
CN114491406B (zh) * 2020-10-26 2024-12-03 中兴通讯股份有限公司 网络业务的评价方法、电子设备和存储介质
CN112702224B (zh) * 2020-12-10 2023-03-31 北京直真科技股份有限公司 一种针对家庭宽带用户质差的分析方法和装置
US11676072B1 (en) 2021-01-29 2023-06-13 Splunk Inc. Interface for incorporating user feedback into training of clustering model
CN112884020B (zh) * 2021-01-29 2024-06-04 北京联合大学 一种基于多尺度圆形卷积神经网络的业务质量预测方法
CN115866235B (zh) * 2021-09-23 2026-03-10 中兴通讯股份有限公司 视频质量评估方法、装置、电子设备及存储介质
US11894940B2 (en) 2022-05-10 2024-02-06 Google Llc Automated testing system for a video conferencing system
CN117595926A (zh) * 2023-12-06 2024-02-23 天翼数字生活科技有限公司 基于网页拨测的网络质量评估方法、系统、装置及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6988144B1 (en) * 1999-11-18 2006-01-17 International Business Machines Corporation Packet scheduling system and method for multimedia data
US7092707B2 (en) * 2004-02-13 2006-08-15 Telcordia Technologies, Inc. Service impact analysis and alert handling in telecommunications systems
US8027264B2 (en) * 2007-06-01 2011-09-27 Alcatel Lucent Method and apparatus for measuring subjective assessment of digital video impairment
US20130298170A1 (en) * 2009-06-12 2013-11-07 Cygnus Broadband, Inc. Video streaming quality of experience recovery using a video quality metric
EP2679015A4 (en) * 2011-06-07 2014-05-21 Huawei Tech Co Ltd DEVICE AND METHOD FOR CONTROLLING VIDEO SESSION IN A DATA NETWORK
US20130067109A1 (en) * 2011-09-12 2013-03-14 Tektronix, Inc. Monitoring Over-the-Top Adaptive Video Streaming
US9479445B2 (en) * 2011-12-09 2016-10-25 Telefonaktiebolaget L M Ericsson Application-aware flow control in a radio network
US9503490B2 (en) * 2012-02-27 2016-11-22 Qualcomm Incorporated Dash client and receiver with buffer water-level decision-making
US20140122594A1 (en) * 2012-07-03 2014-05-01 Alcatel-Lucent Usa, Inc. Method and apparatus for determining user satisfaction with services provided in a communication network

Also Published As

Publication number Publication date
WO2013044997A1 (en) 2013-04-04
US20140337871A1 (en) 2014-11-13
EP2761879A1 (en) 2014-08-06
EP2761879B1 (en) 2015-08-19

Similar Documents

Publication Publication Date Title
ES2553202T3 (es) Un método para medir la calidad de experiencia de un servicio de vídeo
ES2553734T3 (es) Método y sistema para medir la calidad de transmisiones de flujos de bit de audio y vídeo sobre una cadena de transmisión
US9210419B2 (en) System and method for diagnostic modeling of audio and video quality of service
US12069122B2 (en) System and method for managing video streaming quality of experience
US20190082338A1 (en) Video quality monitoring
Anegekuh et al. Content-based video quality prediction for HEVC encoded videos streamed over packet networks
JP2015528264A (ja) ビデオ符号化圧縮品質を取得するための方法および装置
Yang et al. Content-adaptive packet-layer model for quality assessment of networked video services
TW200836543A (en) Method and arrangement for video telephony quality assessment
JP2013527688A (ja) ビデオストリームの品質を評価する方法と装置
US7965650B2 (en) Method and system for quality monitoring of media over internet protocol (MOIP)
De Vriendt et al. QoE model for video delivered over an LTE network using HTTP adaptive streaming
Ickin et al. VLQoE: Video QoE instrumentation on the smartphone
Nam et al. Youslow: What influences user abandonment behavior for internet video?
Joskowicz et al. Comparison of parametric models for video quality estimation: Towards a general model
Chmieliauskas et al. Evaluation of uplink video streaming qoe in 4g and 5g cellular networks using real-world measurements
Pinson et al. Video performance requirements for tactical video applications
Ickin et al. The effects of packet delay variation on the perceptual quality of video
Rodriguez et al. Video quality assessments on digital tv and video streaming services using objective metrics
Agboma et al. User Centric Assessment of Mobile Contents Delivery.
Li et al. Enhancing Quality of Experience (QoE) assessment models for video applications
Msakni et al. Provisioning QoE over converged networks: Issues and challenges
Nawaz et al. Optimal MTU for realtime video broadcast with packet loss—A QoE perspective
JP2009171023A (ja) 画質評価装置、画質評価方法、画質評価用プログラム、及び映像受信端末
Fajardo et al. QoE-driven and network-aware adaptation capabilities in mobile multimedia applications