WO2013159487A1 - 评估多媒体质量的方法和装置 - Google Patents

评估多媒体质量的方法和装置 Download PDF

Info

Publication number
WO2013159487A1
WO2013159487A1 PCT/CN2012/081967 CN2012081967W WO2013159487A1 WO 2013159487 A1 WO2013159487 A1 WO 2013159487A1 CN 2012081967 W CN2012081967 W CN 2012081967W WO 2013159487 A1 WO2013159487 A1 WO 2013159487A1
Authority
WO
WIPO (PCT)
Prior art keywords
multimedia
quality
sequence
audio
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2012/081967
Other languages
English (en)
French (fr)
Inventor
孙李娜
高山
谢清鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to EP12874996.7A priority Critical patent/EP2819329B8/en
Priority to JP2015507338A priority patent/JP6010685B2/ja
Priority to KR1020147028527A priority patent/KR101595875B1/ko
Priority to SG11201405801WA priority patent/SG11201405801WA/en
Priority to BR112014025773-6A priority patent/BR112014025773B1/pt
Publication of WO2013159487A1 publication Critical patent/WO2013159487A1/zh
Priority to US14/492,508 priority patent/US20150009406A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals

Definitions

  • the present invention relates to the field of multimedia and, more particularly, to methods and apparatus for evaluating multimedia quality. Background technique
  • multimedia quality assessment is of great significance to multimedia communication equipment manufacturers and operators. If the equipment manufacturer can provide the system with a convincing multimedia quality assessment result, it will greatly promote the sales of its products; for operators, the multimedia quality assessment data can be used for its business promotion.
  • an automatic real-time multimedia quality assessment method can be developed, device vendors and operators can implement real-time monitoring of multimedia devices based on this, thereby facilitating problem location and fault diagnosis to ensure user experience of multimedia services. .
  • Multimedia quality is a measure of the distortion of digital multimedia relative to the original signal.
  • the key factors affecting the quality of multimedia communications are video quality and audio quality, as well as video distortion and audio distortion.
  • the video signal and audio signal in the multimedia sequence are subjected to sampling, quantization, compression coding, network transmission, decoding and restoration of the analog signal, and errors and information distortion are introduced at each link, resulting in a decrease in user satisfaction. Since the damage and distortion of audio and video respectively will lead to a decline in multimedia experience, how to combine multimedia quality based on video quality and audio quality has become a key issue.
  • the usual method of multimedia quality assessment is to evaluate the audio sequence quality and video sequence quality in the multimedia sequence separately under the condition of network impairment, and then combine the two qualities with a specific polynomial formula to obtain the quality of the multimedia.
  • Embodiments of the present invention provide a method and apparatus for evaluating multimedia quality, which conforms to a subjective feeling of a person, and can accurately and effectively evaluate multimedia quality.
  • an embodiment of the present invention provides a method for evaluating multimedia quality, the method comprising: obtaining a reference quality of a video of a multimedia sequence, a final quality of the video, a reference quality of the audio of the multimedia sequence, and a final quality of the audio; The reference quality of the reference quality and the audio, determine the reference quality of the multimedia sequence; determine the distortion value of the multimedia sequence based on the reference quality of the video, the final quality of the video, the reference quality of the audio, and the final quality of the audio; And the distortion value of the multimedia sequence to determine the multimedia quality of the multimedia sequence.
  • an embodiment of the present invention provides a method for evaluating multimedia quality, the method comprising: dividing a multimedia sequence into N multimedia segments, where N is a positive integer and N is greater than or equal to 2; evaluating the N multimedia segments The multimedia quality of each multimedia segment; determining the multimedia quality of the multimedia sequence based on the multimedia quality of each of the N multimedia segments.
  • an embodiment of the present invention provides an apparatus for evaluating multimedia quality, where the apparatus includes: a first acquiring module, configured to acquire a reference quality of a video of a multimedia sequence, a final quality of the video, and a reference quality of the audio of the multimedia sequence.
  • a reference quality determining module configured to determine a reference quality of the multimedia sequence according to a reference quality of the video acquired by the first acquiring module and a reference quality of the audio; and a distortion value determining module, configured to acquire according to the first acquiring module The reference quality of the video, the final quality of the video, the reference quality of the audio, and the final quality of the audio, determining the distortion value of the multimedia sequence; a multimedia quality determination module for determining the reference quality and distortion value of the multimedia sequence determined by the reference quality determination module Determining the distortion value of the multimedia sequence determined by the module to determine the multimedia quality of the multimedia sequence.
  • an embodiment of the present invention provides an apparatus for evaluating multimedia quality, where the apparatus includes: a segmentation module, configured to divide a multimedia sequence into N multimedia segments, where N is a positive integer and N is greater than or equal to 2; And an evaluation module, configured to determine a multimedia quality of each of the N multimedia segments, and a processing module, configured to determine a multimedia quality of the multimedia sequence according to a multimedia quality of each of the N multimedia segments.
  • the multimedia quality of the multimedia sequence is determined according to the reference quality of the multimedia sequence and the distortion value of the multimedia sequence, which can directly reflect the distortion of the multimedia sequence and conform to the subjective feeling of the person, so that the multimedia quality can be accurately and effectively evaluated.
  • 1 is a schematic flow chart of a method of evaluating multimedia quality according to an embodiment of the present invention.
  • 2 is a schematic flow diagram of a method of determining a distortion value for a multimedia sequence in accordance with an embodiment of the present invention.
  • FIG. 3 is another schematic flow diagram of a method of evaluating multimedia quality in accordance with an embodiment of the present invention.
  • FIG. 4 is still another schematic flow diagram of a method of evaluating multimedia quality in accordance with an embodiment of the present invention.
  • FIG. 5 is a schematic flow chart of a method of evaluating multimedia quality according to another embodiment of the present invention.
  • FIG. 6 is a schematic block diagram of an apparatus for evaluating multimedia quality in accordance with an embodiment of the present invention.
  • FIG. 7 is a schematic block diagram of a distortion value determining module according to an embodiment of the present invention.
  • FIG. 8 is another schematic block diagram of an apparatus for evaluating multimedia quality in accordance with an embodiment of the present invention.
  • 9 is a schematic block diagram of an apparatus for evaluating multimedia quality according to another embodiment of the present invention. detailed description
  • FIG. 1 shows a schematic flow diagram of a method 100 of evaluating multimedia quality in accordance with an embodiment of the present invention. As shown in FIG. 1, the method 100 includes:
  • S130 Determine a distortion value of the multimedia sequence according to a reference quality of the video, a final quality of the video, a reference quality of the audio, and a final quality of the audio.
  • S140 Determine a multimedia quality of the multimedia sequence according to a reference quality of the multimedia sequence and a distortion value of the multimedia sequence.
  • the benchmark quality of multimedia describes the quality of compression of multimedia due to video and audio in multimedia, respectively, due to compression of the respective encoding. Due to factors such as packet loss or multimedia cradle, people will feel the distortion of the multimedia sequence.
  • the distortion is relative to the benchmark quality, that is, the multimedia quality will decrease in a relatively stable benchmark quality.
  • the reference quality of the multimedia sequence is determined according to the reference quality of the video and the reference quality of the audio.
  • the distortion value of the multimedia sequence is determined according to the reference quality of the video, the final quality of the video, the reference quality of the audio, and the final quality of the audio. Finally, the multimedia quality of the multimedia sequence is determined according to the reference quality of the multimedia sequence and the distortion value of the multimedia sequence. In this way, the distortion of the multimedia sequence is comprehensively understood, rather than a combination of video and audio alone.
  • the method for evaluating multimedia quality determines the multimedia quality of the multimedia sequence according to the reference quality of the multimedia sequence and the distortion value of the multimedia sequence, and can directly reflect the distortion of the multimedia sequence, and conforms to the subjective feeling of the person, thereby being able to Accurately and efficiently evaluate multimedia quality.
  • the reference quality of the video of the multimedia sequence, the final quality of the video, the reference quality of the audio, and the final quality of the audio are obtained.
  • the reference quality of video is the quality of video compression caused by video coding compression. It can be calculated according to the coding rate of video with different coding type and resolution.
  • the reference quality of audio is the quality of audio compression caused by audio coding compression. It is calculated according to the audio coding rate of different coding types, sampling frequencies, channel numbers, and the like.
  • the final quality of the video and the final quality of the audio are the final quality of the video and audio of the acquired multimedia sequence after network impairment (such as packet loss, jitter, etc.), which can be calculated by audio and video analysis of the multimedia sequence. .
  • the multimedia sequence is determined according to the reference quality of the video and the reference quality of the audio. Benchmark quality.
  • the specific manner of determining the reference quality of the multimedia sequence is not limited in the embodiment of the present invention.
  • the reference quality of the multimedia sequence can be determined by the following equation (1): 1 + 2 + 3 + 4 ( 1 ) where , and are the reference quality of the video and the reference quality of the audio, respectively ⁇ 1 ; ⁇ 2 , ⁇ 3 And ⁇ 4 are parameters related to video spatial resolution and display mode.
  • the distortion value of the multimedia sequence is determined based on the reference quality of the video, the final quality of the video, the reference quality of the audio, and the final quality of the audio. As shown in Figure 2, S130 further includes:
  • the distortion value of the video can be obtained by subtracting the final quality of the video from the reference quality of the video, which can be derived from the reference quality of the audio minus the final quality of the audio.
  • the distortion value of the multimedia sequence is determined according to the distortion value of the video and the distortion value of the audio. Specifically, it can be obtained as follows.
  • the distortion factor of the video is determined based on the reference quality of the video and the distortion value of the video.
  • the distortion factor of the video is the distortion value of the video A in the reference quality of the video - ⁇ (the ratio of 3 ⁇ 43 ⁇ 4 , alternatively, can be determined by the following equation (2):
  • the distortion factor of the video may alternatively be determined by the following equation (3):
  • the distortion factor of the audio is the distortion value of the audio ⁇ the ratio of the reference quality of the audio ⁇ ⁇ ⁇ >3 ⁇ 4 , which may alternatively be determined by the following equation (4):
  • the distortion factor 4 of the audio can also be determined by the following equation (5):
  • Q a determines the distortion factor of the multimedia sequence based on the distortion factor of the video and the distortion factor of the audio.
  • the distortion factor of the multimedia sequence is determined by the distortion factor of the video and the distortion factor 4 of the audio.
  • the distortion factor d v of the video or the distortion factor of the audio increases the distortion factor of the multimedia sequence, and the relationship may be linear or non-linear. Linear, or a combination of linear and non-linear, the specific manner of calculating the distortion factor of the multimedia sequence by the distortion factor d v of the video and the distortion factor d a of the audio is not limited, for example, may be Equation (6) or (7) determines:
  • the distortion value of the multimedia sequence is determined based on the reference quality of the multimedia sequence and the distortion factor of the multimedia sequence.
  • the distortion value of the multimedia sequence ⁇ can be determined by the following equation (8):
  • D av ⁇ Q a -Q ⁇ )-d av (8) where 2 dishes are constant, indicating the lowest quality of multimedia. For example, when the score is a five-point scale, the minimum quality is 1.
  • the multimedia quality of the multimedia sequence is determined according to the reference quality of the multimedia sequence and the distortion value of the multimedia sequence. After determining the reference quality Q av ' of the multimedia sequence and the distortion value of the multimedia sequence) av , the multimedia quality of the multimedia sequence is obtained by and av , the relationship of which can be expressed by the following equation (9):
  • the method for evaluating multimedia quality determines the multimedia quality of the multimedia sequence according to the reference quality of the multimedia sequence and the distortion value of the multimedia sequence, and can directly reflect the distortion of the multimedia sequence, and conforms to the subjective feeling of the person, thereby being able to Accurately and efficiently evaluate multimedia quality.
  • the multimedia quality of the multimedia sequence can be obtained by substituting equations (1), (3), (5), (6), and (8) into equation (10), in which case the multimedia sequence
  • the multimedia quality ⁇ ⁇ is a function of the reference quality of the video ⁇ ⁇ — ⁇ 3 ⁇ 4 , the reference quality of the audio ⁇ ⁇ — ⁇ 3 ⁇ 4 , the final quality of the video ⁇ ⁇ and the final quality of the audio.
  • equation (1) by substituting and arranging its various parameters, the following equation can be obtained.
  • means That is, a quality score based on the final quality of the video and audio.
  • + + 2 .3 ⁇ 4 + " 3 . ( 3 ⁇ 4 . ⁇ + .2. + . ⁇ ) is expressed as a function / H ⁇ DJ, then the formula (10) for calculating the multimedia quality can be expressed as the following equation (12) ):
  • the multimedia distortion factor can have multiple function expression forms, so it can be expressed as / 2 ( ⁇ ⁇ , ⁇ ⁇ , ⁇ ) ⁇ , ⁇ ) ⁇ ), then equation (12) can be expanded into the following equation (13):
  • the multimedia quality Q is a function of the final quality ⁇ ⁇ of the video, the final quality ⁇ ⁇ of the audio, the distortion value of the video, and the distortion value of the audio.
  • the method for evaluating multimedia quality according to the embodiment of the present invention can directly reflect the distortion of the multimedia sequence according to the reference quality and the distortion value of the multimedia sequence, and can directly reflect the distortion of the multimedia sequence, thereby conforming to the subjective feeling of the person, thereby being capable of accurately and effectively evaluating the multimedia. quality.
  • the method 100 for evaluating multimedia quality according to an embodiment of the present invention further includes:
  • S140 also includes:
  • S141 Determine a multimedia quality of the multimedia sequence according to a reference quality of the multimedia sequence, a distortion value of the multimedia sequence, and an audio and video asynchronous influence factor of the multimedia sequence.
  • an audio and video asynchronous influence factor of the multimedia sequence is obtained.
  • the audio and video unsynchronization influence factor of the multimedia sequence is a function of the time difference of the audio and video unsynchronization ⁇ ?, reflecting the influence of different steps of audio and video on the multimedia quality.
  • the multimedia quality of the multimedia sequence is determined according to the reference quality of the multimedia sequence, the distortion value of the multimedia sequence, and the audio and video asynchronous influence factor of the multimedia sequence.
  • the relationship can be expressed as the following equation (14):
  • the multimedia quality ⁇ ⁇ of the multimedia sequence can be determined by the following equation (15):
  • the multimedia quality ⁇ ⁇ of the multimedia sequence can also be determined by the following equation (17):
  • ⁇ ( ⁇ ) b 2 - (
  • ⁇ I) 2 + c 2 ⁇ ⁇ AT syn ⁇ ⁇ (b 2 ⁇ 0, c 2 ⁇ 0) or (18) f 6 (AT yn ) b ⁇ 0 ⁇ b 2 ⁇ l) where b 2 , c 2 , are constants.
  • Equations (14), (15), and (17) indicate that the multimedia quality of the multimedia sequence is the result of superimposing the distortion of the reference quality of the multimedia sequence and the influence of the audio and video unsynchronization, and conforms to the cognitive characteristics of the human.
  • the method for evaluating multimedia quality according to the embodiment of the present invention can accurately and effectively determine the multimedia quality according to the reference quality of the multimedia sequence, the distortion value of the multimedia sequence, and the audio and video asynchronous influence factor of the multimedia sequence, which conforms to the subjective feeling of the person. Evaluate multimedia quality.
  • S430 calculates a distortion factor of the audio from the reference quality of the audio and the final quality of the audio.
  • the above equation (5) can be used.
  • the multimedia quality of the multimedia sequence is calculated from the reference quality of the multimedia sequence and the distortion factor of the multimedia sequence.
  • the above equations (8) and (10) may be used; when the audio and video are not synchronized, Calculating the multimedia quality of the multimedia sequence by the reference quality of the multimedia sequence, the distortion factor of the multimedia sequence, and the audio and video asynchronous influence factor of the multimedia sequence, for example, the above equation (8) and the equation can be used. (15) or (17).
  • the method for evaluating multimedia quality according to the embodiment of the present invention can accurately and effectively evaluate the multimedia quality by determining the multimedia quality of the multimedia sequence according to the reference quality of the multimedia sequence and the distortion factor of the multimedia sequence, in accordance with the subjective feeling of the person.
  • FIG. 5 shows a schematic flow diagram of a method 500 of evaluating multimedia quality in accordance with an embodiment of the present invention. As shown in FIG. 5, the method 500 includes:
  • the multimedia sequence is divided into N multimedia segments, where N is a positive integer and N is greater than or equal to 2;
  • the embodiment of the present invention first divides the multimedia sequence into multiple multimedia segments, and then separately evaluates the multimedia quality of each multimedia segment, and then determines the multimedia quality of the multimedia sequence according to the multimedia quality of each multimedia segment.
  • the method for evaluating multimedia quality determines the multimedia quality of the multimedia sequence according to the multimedia quality of each multimedia segment by segmenting the multimedia sequence, and is convenient for determining the multimedia quality of the multimedia sequence according to the degree of attention of the person to each multimedia segment. , in line with human cognitive characteristics, can improve the accuracy of multimedia quality assessment.
  • the multimedia sequence is divided into N multimedia segments.
  • N is a positive integer, and N is greater than or equal to 2, that is, the multimedia sequence is divided into at least two multimedia segments.
  • the multimedia sequence can be divided into N multimedia segments according to the duration. For example, starting from the first frame of the multimedia sequence, the multimedia sequence every L seconds is divided into segments, and the L value can be adjusted according to the specific situation.
  • the multimedia sequence may also be divided into N multimedia segments according to the multimedia quality, the video quality, or the audio quality.
  • People tend to pay attention to the special content in the multimedia sequence, such as the video image affected by the error code and the sound of the distorted audio. Therefore, the multimedia segmentation is centered on low-quality multimedia content, and the entire multimedia sequence is divided into continuous multimedia segments of about L seconds, and the L value can be adjusted according to specific conditions.
  • the segmentation can be performed as follows: 1. Starting from the first frame, sliding a window of 0.8*L seconds to calculate the multimedia quality in each window; 2. The location of the window with the worst quality is determined as a multimedia segment;
  • the multimedia frames at the interval of the multimedia segment are merged into the adjacent multi-media segments by means of an even distribution, so that the entire multimedia sequence is completely segmented.
  • the above manner of segmentation according to multimedia quality may also be replaced by segmentation according to the quality of the video or the quality of the audio.
  • the unit of length may be a GOP (Group of Pictures) of the video. ), that is, one or more GOP lengths as a multimedia segment.
  • the length of each segment may be different.
  • a high-quality multimedia segment may be selected first.
  • the specific embodiment of the invention is not limited to the specific manner of dividing the multimedia sequence into N multimedia segments.
  • the multimedia quality of each of the N multimedia segments is evaluated.
  • the multimedia quality of the multimedia segment can be jointly calculated according to the quality and distortion of its audio and video.
  • the method for evaluating the multimedia quality of each multimedia segment is not limited in the embodiment of the present invention. The specific method may be the prior art, and the method 100 for evaluating the multimedia quality in the foregoing embodiment of the present invention may be used, and details are not described herein again.
  • the multimedia quality of the multimedia sequence is determined based on the multimedia quality of each of the N multimedia segments. After evaluating the multimedia quality of each multimedia segment in the N multimedia segments, the multimedia quality of the multimedia sequence is obtained according to the multimedia quality of the N multimedia segments.
  • the multimedia quality of the multimedia sequence can be determined by weighted averaging the multimedia qualities of the N multimedia segments.
  • the multimedia quality of the N multimedia segments may be weighted averaged based on equal weight values, or the multimedia quality of the N multimedia segments may be weighted based on weight values associated with multimedia quality of each of the N multimedia segments. On average, for example, the lower the multimedia quality of the multimedia segment, the higher the weight.
  • the quality of a multimedia sequence can be determined by the following equation (19):
  • ⁇ ( ⁇ C ⁇ ⁇ w m
  • W m its weight value, which may be an equal constant, or a weight applied to the multimedia quality.
  • the multimedia segments that have been seen recently are deeply impressed, and the multimedia segments that are seen earlier are relatively vague, so they can also be based on the weight values associated with the time of each multimedia segment in the N multimedia segments.
  • the weighted average of the multimedia quality of the N multimedia segments for example, the smaller the time distance from the time of the multimedia segment to the current scoring time, the greater the weight value.
  • the quality of a multimedia sequence can be determined by the following equation (20):
  • the weighted average of the multimedia qualities of the N multimedia segments may also be based on weight values associated with the multimedia quality and time of each of the N multimedia segments.
  • the quality of a multimedia sequence can be determined by the following equation (21): Where ⁇ is the weight value associated with the multimedia quality, and is the weight value associated with the time distance.
  • the two weight values can also be combined into one weight value, which is related to both the multimedia quality and the time distance.
  • K multimedia segments with the worst multimedia quality can be selected from the N multimedia segments.
  • the multimedia quality of the multimedia sequence is determined by weighted averaging of the multimedia quality of the K multimedia segments, where K is a positive integer and K is greater than or equal to 1 and less than N, and the specific value may be set according to an actual application scenario.
  • the method for performing weighted averaging on the multimedia quality of the K multimedia segments may refer to the manner of performing weighted averaging on the multimedia quality of the N multimedia segments, that is, may be based on equal weight values, or may be based on the K multimedia segments.
  • the multimedia quality and/or time-related weight value of each multimedia segment is weighted and averaged for the multimedia quality of the K multimedia segments.
  • the quality of the multimedia sequence can be determined by the following equation (22):
  • the multimedia segment with the worst quality in the multimedia sequence is the multimedia quality of the first worst quality multimedia segment in the multimedia sequence.
  • the quality of the multimedia sequence may be determined by the following equation (23):
  • is the weight value associated with multimedia quality.
  • the quality of the multimedia sequence may be determined by the following equation (24):
  • the quality of the multimedia sequence may be determined by the following equation (25):
  • the method for evaluating multimedia quality in the embodiment of the present invention determines the multimedia quality of the multimedia sequence according to the multimedia quality of each multimedia segment by segmenting the multimedia sequence, and is convenient for the multimedia according to the person.
  • the degree of attention of the segment determines the multimedia quality of the multimedia sequence, conforms to the cognitive characteristics of the human, and can improve the accuracy of the multimedia quality assessment.
  • the size of the sequence numbers of the above processes does not mean the order of execution, and the order of execution of each process should be determined by its function and internal logic, and should not The implementation process of the embodiments of the present invention constitutes any limitation.
  • Figure 6 shows a schematic block diagram of an apparatus 600 for evaluating multimedia quality in accordance with an embodiment of the present invention.
  • the apparatus 600 includes:
  • a first obtaining module 610 configured to obtain a reference quality of a video of the multimedia sequence, a final quality of the video, a reference quality of the audio of the multimedia sequence, and a final quality of the audio;
  • the reference quality determining module 620 is configured to determine a reference quality of the multimedia sequence according to the reference quality of the video acquired by the first obtaining module 610 and the reference quality of the audio;
  • a distortion value determining module 630 configured to determine a distortion value of the multimedia sequence according to a reference quality of the video acquired by the first obtaining module 610, a final quality of the video, a reference quality of the audio, and a final quality of the audio;
  • the multimedia quality determining module 640 is configured to determine, according to the reference quality of the multimedia sequence determined by the reference quality determining module 620, the distortion value of the multimedia sequence determined by the module 630, and determine the multimedia quality of the multimedia sequence.
  • the device for evaluating multimedia quality can determine the multimedia quality of the multimedia sequence according to the reference quality of the multimedia sequence and the distortion value of the multimedia sequence, and can directly reflect the distortion of the multimedia sequence, conforming to the subjective feeling of the person, thereby being accurate and effective. Evaluate multimedia quality.
  • the distortion value determining module 630 includes: a first determining unit 631, configured to determine a distortion value of the video according to a reference quality of the video and a final quality of the video;
  • a second determining unit 632 configured to determine a distortion value of the audio according to a reference quality of the audio and a final quality of the audio
  • the third determining unit 633 is configured to determine a distortion value of the multimedia sequence according to the distortion value of the video and the distortion value of the audio.
  • the third determining unit 633 includes:
  • a first determining subunit configured to determine a distortion factor of the video according to a reference quality of the video and a distortion value of the video
  • a second determining subunit configured to determine a distortion factor of the audio according to a reference quality of the audio and a distortion value of the audio
  • a third determining subunit configured to determine a distortion factor of the multimedia sequence according to a distortion factor of the video and a distortion factor of the audio
  • a fourth determining subunit configured to determine a distortion value of the multimedia sequence according to a reference quality of the multimedia sequence and a distortion factor of the multimedia sequence.
  • the third determining subunit is further configured to determine a distortion factor of the multimedia sequence according to the following equation
  • the apparatus 600 for evaluating multimedia quality further includes: a second obtaining module 650, configured to acquire an audio and video asynchronous influence factor of the multimedia sequence.
  • the multimedia quality determining module 640 is further configured to determine the multimedia quality of the multimedia sequence according to the reference quality of the multimedia sequence, the distortion value of the multimedia sequence, and the audio and video asynchronous influence factors of the multimedia sequence acquired by the second obtaining module 650.
  • the multimedia quality determining module 640 is further configured to determine a multimedia quality of the multimedia sequence according to the following equation,
  • the reference quality of the multimedia sequence is the distortion value of the multimedia sequence
  • / 5 (AT syn ) and / 6 (AT syn ) are the audio and video unsynchronization influence factors of the multimedia sequence, which are the audio and video asynchronous time difference of the multimedia sequence.
  • is larger, the larger / 5 ( ⁇ ) is, / 6 ( ⁇ ? composer;) is smaller.
  • the device for evaluating multimedia quality can determine the multimedia quality of the multimedia sequence according to the reference quality of the multimedia sequence and the distortion value of the multimedia sequence, and can directly reflect the distortion of the multimedia sequence, conforming to the subjective feeling of the person, thereby being accurate and effective. Evaluate multimedia quality.
  • Figure 9 shows a schematic block diagram of an apparatus 900 for evaluating multimedia quality in accordance with an embodiment of the present invention.
  • the apparatus 900 includes:
  • a segmentation module 910 configured to divide the multimedia sequence into a plurality of multimedia segments, where ⁇ is a positive integer and ⁇ is greater than or equal to 2;
  • An evaluation module 920 configured to evaluate multimedia quality of each multimedia segment in the multimedia segments;
  • the processing module 930 is configured to determine a multimedia quality of the multimedia sequence according to a multimedia quality of each of the N multimedia segments.
  • the device for evaluating multimedia quality determines the multimedia quality of the multimedia sequence according to the multimedia quality of each multimedia segment by segmenting the multimedia sequence, and is convenient for determining the multimedia quality of the multimedia sequence according to the degree of attention of the person to each multimedia segment.
  • Human cognitive characteristics can improve the accuracy of multimedia quality assessment.
  • the segmentation module 910 includes:
  • the first segmentation unit is configured to divide the multimedia sequence into N multimedia segments according to the duration.
  • the segmentation module 910 includes:
  • a second segmentation unit configured to divide the multimedia sequence into N multimedia segments according to a multimedia quality, a video quality, or an audio quality.
  • the evaluation module 920 includes:
  • a first obtaining unit configured to acquire a reference quality of a video of each multimedia segment, a final quality of the video, a reference quality of the audio of each multimedia segment, and a final quality of the audio;
  • a reference quality determining unit configured to determine a reference quality of each multimedia segment according to a reference quality of the video and a reference quality of the audio;
  • a distortion value determining unit configured to determine a distortion value of each multimedia segment according to a reference quality of the video, a final quality of the video, a reference quality of the audio, and a final quality of the audio;
  • an evaluation unit configured to determine a multimedia quality of each multimedia segment according to a reference quality of each multimedia segment and a distortion value of each multimedia segment.
  • the evaluation module 920 further includes:
  • a second acquiring unit configured to acquire an audio and video asynchronous influence factor of each multimedia segment; the evaluating unit is further configured to: according to a reference quality of each multimedia segment, a distortion value of each multimedia segment, and an audio and video of each multimedia segment The synchronization impact factor determines the multimedia quality of each multimedia segment.
  • the processing module 930 is further configured to: determine, by using a weighted average of multimedia qualities of the N or K multimedia segments, the multimedia quality of the multimedia sequence, where the K multimedia segments are in the N multimedia segments.
  • the K multimedia segments with the worst multimedia quality, K is a positive integer and K is greater than or equal to 1 and less than N.
  • the processing module 930 optionally includes:
  • a first processing unit configured to pass N or K multimedia segments based on equal weight values
  • the multimedia quality is weighted averaged to determine the multimedia quality of the multimedia sequence.
  • the processing module 930 optionally includes:
  • a second processing unit configured to determine a multimedia quality of the multimedia sequence by performing weighted averaging on multimedia quality of the N or K multimedia segments based on weight values related to multimedia quality of each of the N or K multimedia segments .
  • the processing module 930 optionally includes:
  • a third processing unit configured to determine a multimedia quality of the multimedia sequence by weighted averaging the multimedia quality of the N or K multimedia segments based on a weight value associated with an instant of each of the N or K multimedia segments.
  • the processing module 930 optionally includes:
  • a fourth processing unit configured to determine a multimedia sequence by performing weighted averaging on multimedia quality of the N or K multimedia segments based on weight values associated with multimedia quality and time of each of the N or K multimedia segments Multimedia quality.
  • the device for evaluating multimedia quality determines the multimedia quality of the multimedia sequence according to the multimedia quality of each multimedia segment by segmenting the multimedia sequence, and is convenient for determining the multimedia quality of the multimedia sequence according to the degree of attention of the person to each multimedia segment.
  • Human cognitive characteristics can improve the accuracy of multimedia quality assessment.
  • the term "and/or” is merely an association relationship describing an associated object, indicating that there may be three relationships.
  • a and / or B can mean: A exists separately, there are A and B, and there are three cases of B alone.
  • the character " /" in this article generally indicates that the contextual object is an "or" relationship.
  • the disclosed systems, devices, and methods may be implemented in other ways.
  • the device embodiments described above are merely illustrative
  • the division of the unit is only a logical function division, and the actual implementation may have another division manner, for example, multiple units or components may be combined or may be integrated into another system, or some features may be Ignore, or not execute.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, and may be in an electrical, mechanical or other form.
  • the units described as separate components may or may not be physically separate, and the components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the solution of the embodiment.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the functions, if implemented in the form of software functional units and sold or used as separate products, may be stored in a computer readable storage medium.
  • the technical solution of the present invention which is essential to the prior art or part of the technical solution, may be embodied in the form of a software product stored in a storage medium, including
  • the instructions are used to cause a computer device (which may be a personal computer, server, or network device, etc.) to perform all or part of the steps of the methods described in various embodiments of the present invention.
  • the foregoing storage medium includes: a U disk, a mobile hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk or an optical disk, and the like, which can store program codes. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Monitoring And Testing Of Transmission In General (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种评估多媒体质量的方法和装置。该方法包括:获取多媒体序列的视频的基准质量、视频的最终质量、多媒体序列的音频的基准质量和音频的最终质量;根据视频的基准质量和音频的基准质量,确定多媒体序列的基准质量;根据视频的基准质量、视频的最终质量、音频的基准质量和音频的最终质量,确定多媒体序列的失真值;根据多媒体序列的基准质量和多媒体序列的失真值,确定多媒体序列的多媒体质量。本发明实施例的评估多媒体质量的方法和装置,能够直接反映出多媒体序列的失真,符合人的主观感受,从而能够准确有效地评估多媒体质量。

Description

评估多媒体质量的方法和装置 技术领域
本发明涉及多媒体领域, 并且更具体地, 涉及评估多媒体质量的方法和 装置。 背景技术
随着网络技术的发展和多媒体新时代的到来, 影视点播、 网络电视、 可 视电话等已成为宽带网络的主要业务, 并且这些业务也将成为第三代(3G, the 3rd Generation )无线网络的主要业务。 各类多媒体处理和通信技术层出 不穷, 由于多媒体业务数据量大, 实时性要求高, 并且用户敏感性强, 因此 多媒体质量评估对于多媒体通信设备制造商和运营商有着非常重要的意义。 如果设备商能够提供系统有说服力的多媒体质量评估结果,对于其产品的销 售将会有很大推动作用; 对于运营商, 多媒体质量的评估数据可以用于其业 务推广宣传。 另外, 如果能够开发出自动实时的多媒体质量评估方法, 设备 商和运营商都可以基于此实现对于多媒体设备进行实时监控,从而有助于问 题的定位和故障诊断, 以保证用户对多媒体业务的体验需求。
多媒体质量是衡量数字多媒体相对于原始信号失真的一种度量。影响多 媒体通信质量的关键因素是视频质量和音频质量以及视频失真程度和音频 失真程度。 多媒体序列中的视频信号和音频信号要经过对模拟信号的采样、 量化、 压缩编码、 网络传输、 解码以及还原等环节, 其中在每个环节上都会 引入误差和信息失真, 导致用户满意度下降。 由于音频和视频分别的损伤和 失真都会导致多媒体的体验下降, 因此如何根据视频质量和音频质量联合得 到多媒体质量成为了一个关键问题。
通常的多媒体质量评估方法是在有网络损伤条件下先分别评价多媒体 序列中的音频序列质量和视频序列质量, 然后用一个具体的多项式公式组合 这两个质量来得到多媒体的质量。
在网络无丟包时, 音频和视频都有比较平稳的基准质量, 人对多媒体的 质量感受是直接联合了音频和视频的基准质量; 但是, 当有丟包时, 人会感 受到原本平稳的多媒体质量有一个突然的质量下降, 即多媒体序列由于丟包 而引起的失真, 而不是在丟包情况下分别对视频和音频做各自的评价后再进 行联合。现有的多媒体质量评估方法无法直接反映出丟包对多媒体序列的影 响和多媒体序列的失真, 不符合人的主观感受。 发明内容
本发明实施例提供了一种评估多媒体质量的方法和装置,符合人的主观 感受, 能够准确有效地评估多媒体质量。
一方面,本发明实施例提供了一种评估多媒体质量的方法,该方法包括: 获取多媒体序列的视频的基准质量、 视频的最终质量、 多媒体序列的音频的 基准质量和音频的最终质量; 根据视频的基准质量和音频的基准质量, 确定 多媒体序列的基准质量; 根据视频的基准质量、 视频的最终质量、 音频的基 准质量和音频的最终质量, 确定多媒体序列的失真值; 根据多媒体序列的基 准质量和多媒体序列的失真值, 确定多媒体序列的多媒体质量。
另一方面, 本发明实施例提供了一种评估多媒体质量的方法, 该方法包 括: 将多媒体序列分为 N个多媒体段, 其中 N为正整数且 N大于或等于 2; 评估该 N个多媒体段中的每个多媒体段的多媒体质量; 根据该 N个多媒体 段中的每个多媒体段的多媒体质量, 确定该多媒体序列的多媒体质量。
再一方面, 本发明实施例提供了一种评估多媒体质量的装置, 该装置包 括: 第一获取模块, 用于获取多媒体序列的视频的基准质量、 视频的最终质 量、 多媒体序列的音频的基准质量和音频的最终质量; 基准质量确定模块, 用于根据第一获取模块获取的视频的基准质量和音频的基准质量,确定多媒 体序列的基准质量; 失真值确定模块, 用于根据第一获取模块获取的视频的 基准质量、 视频的最终质量、 音频的基准质量和音频的最终质量, 确定多媒 体序列的失真值; 多媒体质量确定模块, 用于根据基准质量确定模块确定的 多媒体序列的基准质量和失真值确定模块确定的多媒体序列的失真值,确定 多媒体序列的多媒体质量。
再一方面, 本发明实施例提供了一种评估多媒体质量的装置, 该装置包 括: 分段模块,用于将多媒体序列分为 N个多媒体段,其中 N为正整数且 N 大于或等于 2; 评估模块, 用于评估 N个多媒体段中的每个多媒体段的多媒 体质量;处理模块,用于根据 N个多媒体段中的每个多媒体段的多媒体质量, 确定多媒体序列的多媒体质量。
基于上述技术方案, 本发明实施例的评估多媒体质量的方法和装置, 通 过根据多媒体序列的基准质量和多媒体序列的失真值确定多媒体序列的多 媒体质量, 能够直接反映出多媒体序列的失真, 符合人的主观感受, 从而能 够准确有效地评估多媒体质量。 附图说明
为了更清楚地说明本发明实施例的技术方案, 下面将对本发明实施例中 所需要使用的附图作筒单地介绍, 显而易见地, 下面描述中的附图仅仅是本 发明的一些实施例, 对于本领域普通技术人员来讲, 在不付出创造性劳动的 前提下, 还可以根据这些附图获得其他的附图。
图 1是根据本发明实施例的评估多媒体质量的方法的示意性流程图。 图 2是根据本发明实施例的确定多媒体序列的失真值的方法的示意性流 程图。
图 3 是根据本发明实施例的评估多媒体质量的方法的另一示意性流程 图。
图 4 是根据本发明实施例的评估多媒体质量的方法的再一示意性流程 图。
图 5 是根据本发明另一实施例的评估多媒体质量的方法的示意性流程 图。
图 6是根据本发明实施例的评估多媒体质量的装置的示意性框图。 图 7是根据本发明实施例的失真值确定模块的示意性框图。
图 8是根据本发明实施例的评估多媒体质量的装置的另一示意性框图。 图 9是根据本发明另一实施例的评估多媒体质量的装置的示意性框图。 具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行 清楚、 完整地描述, 显然, 所描述的实施例是本发明的一部分实施例, 而不 是全部实施例。 基于本发明中的实施例, 本领域普通技术人员在没有作出创 造性劳动的前提下所获得的所有其他实施例, 都应属于本发明保护的范围。
图 1示出了根据本发明实施例的评估多媒体质量的方法 100的示意性流 程图。 如图 1所示, 该方法 100包括:
S110, 获取多媒体序列的视频的基准质量、 视频的最终质量、 多媒体序 列的音频的基准质量和音频的最终质量;
S120, 根据视频的基准质量和音频的基准质量, 确定多媒体序列的基准 质量;
S130, 根据视频的基准质量、 视频的最终质量、 音频的基准质量和音频 的最终质量, 确定多媒体序列的失真值;
S140, 根据多媒体序列的基准质量和多媒体序列的失真值, 确定多媒体 序列的多媒体质量。
人对于多媒体质量的感受是在一个平稳的多媒体基准质量上叠加了失 真。 多媒体的基准质量描述的是由于多媒体中的视频和音频分别由于各自的 编码压缩导致的多媒体的压缩质量。 由于丟包或者是多媒体卡顿等因素, 人 会感受到多媒体序列的失真, 失真是相对于基准质量的相对下降程度, 即多 媒体质量会在一个较平稳的基准质量上有所下降。本发明实施例在获取多媒 体序列的视频的基准质量、 视频的最终质量、 多媒体序列的音频的基准质量 和音频的最终质量后,根据视频的基准质量和音频的基准质量确定多媒体序 列的基准质量, 根据视频的基准质量、 视频的最终质量、 音频的基准质量和 音频的最终质量确定多媒体序列的失真值, 最后再根据多媒体序列的基准质 量和多媒体序列的失真值确定多媒体序列的多媒体质量。 这样, 多媒体序列 的失真是被综合理解的, 而不是单独对视频和音频理解后的联合。
因此, 本发明实施例的评估多媒体质量的方法, 通过根据多媒体序列的 基准质量和多媒体序列的失真值确定多媒体序列的多媒体质量, 能够直接反 映出多媒体序列的失真, 符合人的主观感受, 从而能够准确有效地评估多媒 体质量。
在 S110 中, 获取多媒体序列的视频的基准质量、 视频的最终质量、 音 频的基准质量和音频的最终质量。视频的基准质量是由于视频编码压缩导致 的视频压缩质量, 具体可根据不同编码类型、 分辨率的视频的编码码率计算 得到; 音频的基准质量是由于音频编码压缩导致的音频压缩质量, 具体可根 据不同编码类型、 采样频率、 声道数等的音频编码码率计算得到。 视频的最 终质量和音频的最终质量是获取到的多媒体序列的视频和音频分别在经过 网络损伤(比如丟包、 抖动等)后的最终体验质量, 具体可以通过对多媒体 序列进行音视频分析计算得到。
在 S120中, 根据视频的基准质量和音频的基准质量, 确定多媒体序列 的基准质量。本发明实施例对确定多媒体序列的基准质量的具体方式并不限 定。 例如, 多媒体序列的基准质量 可由下面的等式(1 )确定: 1 + 2 + 3 + 4 ( 1 ) 其中, 和 分别为视频的基准质量和音频的基准质量, α1 ;α2, α3和 α4为与视频空间分辨率及显示模式相关的参数, 其值是由数据训练 得到, 基本均为 0 到 1 之间的小数, 比如分辨率为 ( 128x96 ) 时, a, =0.207962, α2=0.124365, α3 =0.179018, α4 = 0.5456。
在 S130中, 根据视频的基准质量、 视频的最终质量、 音频的基准质量 和音频的最终质量, 确定多媒体序列的失真值。 如图 2所示, S130又包括:
5131 , 根据视频的基准质量和视频的最终质量, 确定视频的失真值;
5132, 根据音频的基准质量和音频的最终质量, 确定音频的失真值;
5133 , 根据视频的失真值和音频的失真值, 确定多媒体序列的失真值。 视频的失真值可以由视频的基准质量减去视频的最终质量得到,音频的 失真值可以由音频的基准质量减去音频的最终质量得到。
在 S133 中, 根据视频的失真值和音频的失真值, 确定多媒体序列的失 真值。 具体可通过如下方式得到。
根据视频的基准质量和视频的失真值, 确定视频的失真因子。 视频的失 真因子 为视频的失真值 A占视频的基准质量 —∞(¾¾的比例, 可选地, 可由 下面的等式(2 )确定:
D
应理解, 因为视频的失真值 Dv为视频的基准质量减去视频的最终质量 , 因此, 可选地, 视频的失真因子 还可以由下面的等式(3 )确定:
, ^^1; ^^i;
2, 才艮据音频的基准质量和音频的失真值, 确定音频的失真因子。 音频的失 真因子 为音频的失真值^占音频的基准质量 βα ∞ώ>¾的比例, 可选地, 可由 下面的等式(4 )确定:
D
( 4 ) 同样地, 因为音频的失真值 )a为音频的基准质量减去音频的最终质量 , 因此, 可选地, 音频的失真因子 4还可以由下面的等式(5)确定:
Qa 根据视频的失真因子和音频的失真因子, 确定多媒体序列的失真因子。 多媒体序列的失真因子 由视频的失真因子 和音频的失真因子 4决定,视 频的失真因子 dv或音频的失真因子 增大都会使得多媒体序列的失真因子 增大,其关系可以是线性的也可以是非线性的,也可以是线性与非线性的 组合, 本发明实施例对由视频的失真因子 dv和音频的失真因子 da计算多媒体 序列的失真因子 的具体方式并不限定, 例如, 可以由下面的等式(6)或 (7)确定:
1 a. -d α, · dn
dav = ~ - ~~ -—— - ~~― ( 6 )
1 + a5 · dv + a6 · da dav - α56 ·άνΊ -da ( 7 ) 其中, 常数, 其值与编码类型和视频分辨率有关, 并满足当 或 增大时 增大, 具体数值可由实验得到。
根据多媒体序列的基准质量和多媒体序列的失真因子,确定多媒体序列 的失真值。 例如, 多媒体序列的失真值 ^可由下面的等式(8)确定:
Dav ={Qa -Q^)-dav (8) 其中, 2皿为常数, 表示多媒体最低质量。 比如, 当评分为五分制时, 最低质量为 1。
在 S140中, 根据多媒体序列的基准质量和多媒体序列的失真值, 确定 多媒体序列的多媒体质量。 在确定了多媒体序列的基准质量 Qav '和多媒体序 列的失真值 )av后, 多媒体序列的多媒体质量 ^由 和 )av得到, 其关系可 由下面的等式(9)表示:
Qav = f{Qav Dav) (9) 例如, 可以表示为下面的等式( 10):
Qav =Qa -Dav ( 10) 公式(9)和(10)表示多媒体序列的多媒体质量是多媒体序列的基准 质量叠加了失真后的结果, 而人对于多媒体质量的感受正是在一个平稳的多 媒体基准质量上叠加了失真。因此,本发明实施例的评估多媒体质量的方法, 符合人的认知特性。
这样, 本发明实施例的评估多媒体质量的方法, 通过根据多媒体序列的 基准质量和多媒体序列的失真值确定多媒体序列的多媒体质量, 能够直接反 映出多媒体序列的失真, 符合人的主观感受, 从而能够准确有效地评估多媒 体质量。
可选地, 将等式( 1 )、 ( 3 )、 ( 5 )、 ( 6 )和( 8 )代入等式( 10 )后便可 得到多媒体序列的多媒体质量,在这种情况下,多媒体序列的多媒体质量 βαν 是视频的基准质量 βν∞ώί¾、 音频的基准质量 βα∞ώί¾、 视频的最终质量 βν和音 频的最终质量 的函数。
可选地, 对于等式(1), 将其各个参数代入并整理, 可得到下面的等式
(11):
QaV , = aliQv+Dv) +
Figure imgf000009_0001
+ a4
= al-Qv+al-Dv+a2-Qa+a2-Da+a3-{Qv-Qa+Qv-Da + Dv-Qa + Dv-Da) + a4
= ■ Qv + a2■ Qa + a3■ Qv■ Qa + a4) + ^ ax■ Dv + a2■ Qa + a3 - (Qv■ Da + Dv■ Qa + Dv■ Da)^
= Q"+f1(Qv,Qa,Dv,Da) 在等式(11) 中, β"表示
Figure imgf000009_0002
即根据视频和音频的最 终质量得到的一个质量分数。将 + "2.¾ + "3.(¾.^ + .2。 + .^)表示成 函数/ H ^DJ的形式, 则计算多媒体质量的公式(10)可以表示成下 面的等式 (12):
Qav =(Q"+f1{Qv,Qa,D ,Da))-(Q"+f1(Qv,Qa,D ,Da)-Qimn).dav (12)
其中, 多媒体失真因子 可以有多种函数表达形式, 因此可以表示成 /2να,Ζ)ν,Ζ)α)的形式, 则等式(12)可以展开为下面的等式(13):
Qav =Q"{^-f2(Qv,Qa,Dv,Da)) +
= Q"-f,{Qv^Dv,Da) + f4(QIlill,Qv,Qa,Dv,Da)
(13) 用函数 /3να, ν, α)来表示 ι-Λ( , ,Α,^),用函数 /4(e , , ,Α,^)来 表示
Figure imgf000009_0003
' 则多媒体质量 的计算方法可以展开成上述另一种表达形式, 即多媒体质量 Q 是视频的最 终质量 βν、 音频的最终质量 βα、 视频的失真值 和音频的失真值 ¾的函数。 本发明实施例的评估多媒体质量的方法,通过根据多媒体序列的基准质 量和失真值确定多媒体序列的多媒体质量, 能够直接反映出多媒体序列的失 真, 符合人的主观感受, 从而能够准确有效地评估多媒体质量。
当音视频不同步时, 多媒体序列的多媒体质量会有可能下降, 在这种场 景下, 需要考虑音视频不同步的问题。 因此, 如图 3所示, 本发明实施例的 评估多媒体质量的方法 100还包括:
S150, 获取多媒体序列的音视频不同步影响因子;
S140又包括:
S141, 根据多媒体序列的基准质量、 多媒体序列的失真值和多媒体序列 的音视频不同步影响因子, 确定多媒体序列的多媒体质量。
在 S150中, 获取多媒体序列的音视频不同步影响因子。 多媒体序列的 音视频不同步影响因子是音视频不同步时间差△?„的函数, 反映音视频不同 步对多媒体质量的影响。
在 S141 中, 根据多媒体序列的基准质量、 多媒体序列的失真值和多媒 体序列的音视频不同步影响因子, 确定多媒体序列的多媒体质量。 其关系可 以表示为下面的等式(14):
Qav =f(Qav Dav,f5(ATsyn)) (14) 其中, /5(ΔΤ„;)为多媒体序列的音视频不同步影响因子,
例如, 可选地, 多媒体序列的多媒体质量 βαν可以由下面的等式(15) 确定:
Qm =Qav'-Dav -f5(^Tyn) ( 15) 其中, /5( „)大于 1, 并且当 |ΔΓ |越大时, /5(ΔΓ )越大, 使得 越 小, /5(ΔΤ„;)形式不限, 可以是线性也可以是非线性的, 也可以是线性公式 与非线性公式的组合。 比如, 其具体形式可以表示为下面的等式(16):
/5(ΔΓ^) = ^ ·|ΔΓ^| + ¾(^ >0) 或
fs (ΔΓ„ ) = b (|ΔΓ„ I)2 + Cl · |ΔΓ„ I + > Ο, Cl≥ ο) 或 ( 16 )
/5(Ar )H l) 其中, 为常数。 可选地, 多媒体序列的多媒体质量 βαν还可以由下面的等式(17)确定:
Qav ={Qav'-Dav)-f6(ATs ) ( 17) 其中, Λ(ΔΤ„)为多媒体序列的音视频不同步影响因子, 其值小于 1且 大于 0, 并且当 |ΔΤ„|越大时, /6(ΔΤ„)越小, 使得 越小, Λ(ΔΤ„)形式不 限,可以是线性也可以是非线性的,也可以是线性公式与非线性公式的组合。 比如, 其具体形式可以表示为下面的等式(18):
/6(ΔΓ ) = |Δ7」 + Ί·2 2<0) 或
Λ (ΔΓ ) = b2- (|ΔΓ I)2 + c2 · \ATsyn卜 ^ (b2 < 0, c2≤ 0) 或 (18) f6(ATyn) = b^{0<b2 <l) 其中, b2,c2, 为常数。
公式(14)、 ( 15)和(17)表示多媒体序列的多媒体质量是多媒体序列 的基准质量叠加了失真以及音视频不同步影响后的结果, 符合人的认知特 性。
因此, 本发明实施例的评估多媒体质量的方法, 通过根据多媒体序列的 基准质量、 多媒体序列的失真值和多媒体序列的音视频不同步影响因子确定 多媒体质量, 符合人的主观感受, 从而能够准确有效地评估多媒体质量。
下面结合图 4, 详细描述本发明实施例的评估多媒体质量的方法。
S410, 由视频的基准质量和音频的基准质量计算多媒体序列的基准质 量。 例如, 可以用上述等式(1)。
S420,由视频的基准质量和视频的最终质量计算视频的失真因子。例如, 可以用上述等式(3)。
S430,由音频的基准质量和音频的最终质量计算音频的失真因子。例如, 可以用上述等式(5)。
S440 , 由视频的失真因子和音频的失真因子计算多媒体序列的失真因 子。 例如, 可以用上述等式(6)或 (7)。
S450, 计算多媒体序列的多媒体质量。 在没有出现音视频不同步时, 由 多媒体序列的基准质量和多媒体序列的失真因子计算多媒体序列的多媒体 质量, 例如, 可以用上述等式(8)和( 10); 在音视频不同步时, 由多媒体 序列的基准质量、 多媒体序列的失真因子和多媒体序列的音视频不同步影响 因子计算多媒体序列的多媒体质量, 例如, 可以用上述等式(8) 以及等式 ( 15 )或 (17 )。
因此, 本发明实施例的评估多媒体质量的方法, 通过根据多媒体序列的 基准质量和多媒体序列的失真因子确定多媒体序列的多媒体质量,符合人的 主观感受, 能够准确有效地评估多媒体质量。
图 5示出了根据本发明实施例的评估多媒体质量的方法 500的示意性流 程图。 如图 5所示, 该方法 500包括:
S510, 将多媒体序列分为 N个多媒体段, 其中 N为正整数且 N大于或 等于 2;
S520, 评估该 N个多媒体段中的每个多媒体段的多媒体质量;
S530,根据该 N个多媒体段中的每个多媒体段的多媒体质量,确定该多 媒体序列的多媒体质量。
对于一个多媒体序列, 由于人的短时记忆性, 对多媒体质量的理解也是 在距当前较短时段里记忆较深。本发明实施例首先将多媒体序列分为多个多 媒体段, 再分别评估各多媒体段的多媒体质量, 然后根据各多媒体段的多媒 体质量确定多媒体序列的多媒体质量。
因此,本发明实施例的评估多媒体质量的方法,通过将多媒体序列分段, 根据各多媒体段的多媒体质量确定多媒体序列的多媒体质量,便于根据人对 各多媒体段的关注程度确定多媒体序列的多媒体质量, 符合人的认知特性, 能够提高多媒体质量评估的准确性。
在 S510中, 将多媒体序列分为 N个多媒体段。 N为正整数, 且 N大于 或等于 2, 即, 将多媒体序列分为至少两个多媒体段。
可选地, 可以按照时长将多媒体序列分为 N个多媒体段。 比如, 从多媒 体序列的第一帧开始, 每 L秒时长的多媒体序列被分为一段, L值可根据具 体情况进行调整。
可选地, 还可以按照多媒体质量、 视频质量或音频质量的高低, 将多媒 体序列分为 N个多媒体段。人们容易关注多媒体序列中比较特殊的内容, 比 如受误码影响的视频画面和失真音频的声音等。 因此多媒体分段以低质量的 多媒体内容为中心, 把整个多媒体序列分成时长大约为 L秒的连续多媒体 段, L值可根据具体情况进行调整。 比如, 可以按照如下方式进行分段: 1、 从第一帧开始, 滑动 0.8*L秒的窗口, 计算每个窗口内的多媒体质 量; 2、 选取质量最差的窗口位置确定为一个多媒体段;
3、 排除选定的多媒体段, 重复步骤 1、 2得到一个新的多媒体段, 新的 多媒体段若与已确定的多媒体段相邻, 则间隔控制在 0-0.4*L秒;
4、 重复步骤 3对整个多媒体序列进行划分;
5、 对多媒体段间隔处的多媒体帧采用平均分配的方式合并到邻近的多 媒体段, 实现对整个多媒体序列完整分段。
应理解,上述按照多媒体质量进行分段的方式还可以替换为按照视频的 质量或音频的质量进行分段, 按照视频质量进行分段时, 长度单位可以为视 频的 GOP ( Group of Pictures, 画面组), 即一个或多个 GOP长度作为一个 多媒体段。
还应理解, 对多媒体序列进行分段的方式还可以有其它方式, 比如, 每 段的长度可以不同, 又比如, 按照多媒体质量进行分段时, 可以先选择质量 高的多媒体段等等,本发明实施例对将多媒体序列分为 N个多媒体段的具体 方式不做限定。
在 S520中, 评估 N个多媒体段中的每个多媒体段的多媒体质量。 对每 个多媒体段可以根据其音频和视频的质量、 失真情况联合计算得到该多媒体 段的多媒体质量。本发明实施例对评估每个多媒体段的多媒体质量的方式不 做限定, 具体方式可以采用现有技术, 也可以采用上述本发明实施例的评估 多媒体质量的方法 100, 在此不再赘述。
在 S530, 根据 N个多媒体段中的每个多媒体段的多媒体质量, 确定多 媒体序列的多媒体质量。在评估完 N个多媒体段中的每个多媒体段的多媒体 质量后, 根据 N个多媒体段的多媒体质量, 得到多媒体序列的多媒体质量。
可选地,可以通过对 N个多媒体段的多媒体质量进行加权平均,确定多 媒体序列的多媒体质量。可以基于相等的权重值对 N个多媒体段的多媒体质 量进行加权平均,也可以基于与 N个多媒体段中的每个多媒体段的多媒体质 量相关的权重值, 对 N个多媒体段的多媒体质量进行加权平均, 比如, 多媒 体段的多媒体质量越低, 权重越高。 例如, 多媒体序列的质量可以用下面的 等式(19 )确定:
y Q -w
― ( Λ C Λ = ^∑ wm 其中, 表示多媒体序列中第 个多媒体段, m是第 个多媒体段的 多媒体质量, Wm是其权重值, 可以是相等的常数, 或是针对多媒体质量高低 所施加的权重。
由于人的遗忘性, 会对最近看到的多媒体段印象深刻, 对较早看到的多 媒体段记忆较模糊,因此还可以基于与 N个多媒体段中的每个多媒体段的时 刻相关的权重值, 对 N个多媒体段的多媒体质量进行加权平均, 比如, 多媒 体段的时刻到当前评分时刻的时间距离越小, 权重值越大。 例如, 多媒体序 列的质量可以用下面的等式(20 )确定:
y 0 w
Q = Σ 其中, ς是第 个多媒体段的时刻到当前评分时刻的时间距离, 是 与该时间距离相关的权重值。
还可以基于与 N 个多媒体段中的每个多媒体段的多媒体质量和时刻相 关的权重值, 对 N个多媒体段的多媒体质量进行加权平均。 例如, 多媒体序 列的质量可以用下面的等式(21 )确定:
Figure imgf000014_0001
其中, ^是与多媒体质量相关的权重值, 是与时间距离相关的权重 值, 这两个权重值也可以合为一个权重值, 它既与多媒体质量相关, 也与时 间距离相关。
由于人眼容易注意到质量较差的多媒体段,较差的多媒体段可以反映整 个多媒体序列的质量, 因此, 可选地, 可以从 N个多媒体段中选取多媒体质 量最差的 K个多媒体段, 通过对该 K个多媒体段的多媒体质量进行加权平 均, 确定多媒体序列的多媒体质量, 其中, K为正整数并且 K大于或等于 1 且小于 N, 具体的值可根据实际应用场景进行设置。对该 K个多媒体段的多 媒体质量进行加权平均的方式可以参照上述对 N 个多媒体段的多媒体质量 进行加权平均的方式, 即, 可以基于相等的权重值, 也可以基于与该 K个多 媒体段中的每个多媒体段的多媒体质量和 /或时刻相关的权重值, 对该 K个 多媒体段的多媒体质量进行加权平均。 可选地, 若基于相等的权重值加权平均, 多媒体序列的质量可以用下面 的等式(22 )确定:
Q― ( 22 )
_ K
其中, 表示多媒体序列中第 个质量最差的多媒体段, 是多媒体 序列中第 个质量最差的多媒体段的多媒体质量。
可选地,若基于与该 K个多媒体段中的每个多媒体段的多媒体质量相关 的权重值加权平均, 多媒体序列的质量可以用下面的等式(23 )确定:
∑ Qav Wk
其中, ^是与多媒体质量相关的权重值。 可选地,若基于与该 K个多媒体段中的每个多媒体段的时刻相关的权重 值加权平均, 多媒体序列的质量可以用下面的等式(24 )确定:
Σ l、
Q —― ∑ ^ 其中, W是与时刻相关的权重值。 可选地,若基于与该 K个多媒体段中的每个多媒体段的多媒体质量和时 刻相关的权重值加权平均, 多媒体序列的质量可以用下面的等式( 25 )确定:
∑ Qav Wk -Wtk
Q― ( 25 )
= ^∑ wk -wtk 因此,本发明实施例的评估多媒体质量的方法,通过将多媒体序列分段, 然后再根据各多媒体段的多媒体质量确定多媒体序列的多媒体质量,便于根 据人对各多媒体段的关注程度确定多媒体序列的多媒体质量,符合人的认知 特性, 能够提高多媒体质量评估的准确性。
应理解, 在本发明的各种实施例中, 上述各过程的序号的大小并不意味 着执行顺序的先后, 各过程的执行顺序应以其功能和内在逻辑确定, 而不应 对本发明实施例的实施过程构成任何限定。
上文结合图 1至图 5 , 详细描述了根据本发明实施例的评估多媒体质量 的方法, 下面结合图 6至图 9, 对根据本发明实施例的评估多媒体质量的装 置进行描述。
图 6示出了根据本发明实施例的评估多媒体质量的装置 600的示意性框 图。 如图 6所示, 该装置 600包括:
第一获取模块 610, 用于获取多媒体序列的视频的基准质量、 视频的最 终质量、 多媒体序列的音频的基准质量和音频的最终质量;
基准质量确定模块 620, 用于根据第一获取模块 610获取的视频的基准 质量和音频的基准质量, 确定多媒体序列的基准质量;
失真值确定模块 630, 用于根据第一获取模块 610获取的视频的基准质 量、 视频的最终质量、 音频的基准质量和音频的最终质量, 确定多媒体序列 的失真值;
多媒体质量确定模块 640, 用于根据基准质量确定模块 620确定的多媒 体序列的基准质量和失真值确定模块 630确定的多媒体序列的失真值,确定 多媒体序列的多媒体质量。
本发明实施例的评估多媒体质量的装置,通过根据多媒体序列的基准质 量和多媒体序列的失真值确定多媒体序列的多媒体质量, 能够直接反映出多 媒体序列的失真,符合人的主观感受,从而能够准确有效地评估多媒体质量。
在本发明实施例中,如图 7所示,可选地,该失真值确定模块 630包括: 第一确定单元 631 , 用于根据视频的基准质量和视频的最终质量, 确定 视频的失真值;
第二确定单元 632, 用于根据音频的基准质量和音频的最终质量, 确定 音频的失真值;
第三确定单元 633 , 用于根据视频的失真值和音频的失真值, 确定多媒 体序列的失真值。
在本发明实施例中, 可选地, 该第三确定单元 633包括:
第一确定子单元, 用于根据视频的基准质量和视频的失真值, 确定所述 视频的失真因子;
第二确定子单元, 用于根据音频的基准质量和音频的失真值, 确定音频 的失真因子; 第三确定子单元, 用于根据视频的失真因子和音频的失真因子, 确定多 媒体序列的失真因子;
第四确定子单元,用于根据多媒体序列的基准质量和多媒体序列的失真 因子, 确定多媒体序列的失真值。
在本发明实施例中, 该第三确定子单元还用于根据以下等式确定多媒体 序列的失真因子
d = a5 -dv +a6 - da
av \ + a5■ dv + a6■ da
dav = a5 + a6 · dv + αΊ · da,
其中, 4和 分别为视频的失真因子和音频的失真因子, a5、 和^为 常数。
在本发明实施例中, 如图 8所示, 评估多媒体质量的装置 600还包括: 第二获取模块 650, 用于获取多媒体序列的音视频不同步影响因子。 多媒体质量确定模块 640还用于根据多媒体序列的基准质量、多媒体序 列的失真值和第二获取模块 650 获取的多媒体序列的音视频不同步影响因 子, 确定多媒体序列的多媒体质量。
在本发明实施例中, 多媒体质量确定模块 640还用于根据以下等式确定 多媒体序列的多媒体质量^,
Q =Q '-D ■ fjAT )或
Qav =(Qav -Dav)-f6(ATsyn) ,
其中, 为多媒体序列的基准质量, 为多媒体序列的失真值,
/5 (ATsyn )和 /6 (ATsyn )为多媒体序列的音视频不同步影响因子, 为多媒体序 列的音视频不同步时间差, |Δ7 „|越大时, /5(Δ )越大, /6(Δ? „;)越小。
本发明实施例的评估多媒体质量的装置,通过根据多媒体序列的基准质 量和多媒体序列的失真值确定多媒体序列的多媒体质量, 能够直接反映出多 媒体序列的失真,符合人的主观感受,从而能够准确有效地评估多媒体质量。
图 9示出了根据本发明实施例的评估多媒体质量的装置 900的示意性框 图。 如图 9所示, 该装置 900包括:
分段模块 910,用于将多媒体序列分为 Ν个多媒体段,其中 Ν为正整数 且 Ν大于或等于 2;
评估模块 920,用于评估 Ν个多媒体段中的每个多媒体段的多媒体质量; 处理模块 930 ,用于根据 N个多媒体段中的每个多媒体段的多媒体质量 , 确定多媒体序列的多媒体质量。
本发明实施例的评估多媒体质量的装置, 通过将多媒体序列分段, 根据 各多媒体段的多媒体质量确定多媒体序列的多媒体质量,便于根据人对各多 媒体段的关注程度确定多媒体序列的多媒体质量, 符合人的认知特性, 能够 提高多媒体质量评估的准确性。
在本发明实施例中, 可选地, 该分段模块 910包括:
第一分段单元, 用于按照时长将多媒体序列分为 N个多媒体段。
在本发明实施例中, 可选地, 该分段模块 910包括:
第二分段单元, 用于按照多媒体质量、 视频质量或音频质量的高低将多 媒体序列分为 N个多媒体段。
在本发明实施例中, 该评估模块 920包括:
第一获取单元, 用于获取每个多媒体段的视频的基准质量、 视频的最终 质量、 每个多媒体段的音频的基准质量和音频的最终质量;
基准质量确定单元, 用于根据视频的基准质量和音频的基准质量, 确定 每个多媒体段的基准质量;
失真值确定单元, 用于根据视频的基准质量、 视频的最终质量、 音频的 基准质量和音频的最终质量, 确定每个多媒体段的失真值;
评估单元, 用于根据每个多媒体段的基准质量和每个多媒体段的失真 值, 确定每个多媒体段的多媒体质量。
在本发明实施例中, 可选地, 该评估模块 920还包括:
第二获取单元, 用于获取每个多媒体段的音视频不同步影响因子; 评估单元还用于根据每个多媒体段的基准质量、每个多媒体段的失真值 和每个多媒体段的音视频不同步影响因子, 确定每个多媒体段的多媒体质 量。
在本发明实施例中, 该处理模块 930还用于, 通过对 N或 K个多媒体 段的多媒体质量进行加权平均, 确定多媒体序列的多媒体质量, 其中, 该 K 个多媒体段为 N个多媒体段中多媒体质量最差的 K个多媒体段, K为正整 数并且 K大于或等于 1且小于 N。
在本发明实施例中, 可选地, 该处理模块 930包括:
第一处理单元, 用于基于相等的权重值, 通过对 N或 K个多媒体段的 多媒体质量进行加权平均, 确定多媒体序列的多媒体质量。
在本发明实施例中, 可选地, 该处理模块 930包括:
第二处理单元, 用于基于与 N或 K个多媒体段中的每个多媒体段的多 媒体质量相关的权重值, 通过对 N或 K个多媒体段的多媒体质量进行加权 平均, 确定多媒体序列的多媒体质量。
在本发明实施例中, 可选地, 该处理模块 930包括:
第三处理单元, 用于基于与 N或 K个多媒体段中的每个多媒体段的时 刻相关的权重值, 通过对 N或 K个多媒体段的多媒体质量进行加权平均, 确定多媒体序列的多媒体质量。
在本发明实施例中, 可选地, 该处理模块 930包括:
第四处理单元, 用于基于与 N或 K个多媒体段中的每个多媒体段的多 媒体质量和时刻相关的权重值, 通过对 N或 K个多媒体段的多媒体质量进 行加权平均, 确定多媒体序列的多媒体质量。
本发明实施例的评估多媒体质量的装置, 通过将多媒体序列分段, 根据 各多媒体段的多媒体质量确定多媒体序列的多媒体质量,便于根据人对各多 媒体段的关注程度确定多媒体序列的多媒体质量, 符合人的认知特性, 能够 提高多媒体质量评估的准确性。
应理解,在本发明实施例中, 术语"和 /或"仅仅是一种描述关联对象的关 联关系,表示可以存在三种关系。 例如, A和 /或 B, 可以表示: 单独存在 A, 同时存在 A和 B, 单独存在 B这三种情况。 另外, 本文中字符" /", 一般表 示前后关联对象是一种"或"的关系。
本领域普通技术人员可以意识到, 结合本文中所公开的实施例描述的各 示例的单元及算法步骤, 能够以电子硬件、 或者计算机软件和电子硬件的结 合来实现。 这些功能究竟以硬件还是软件方式来执行, 取决于技术方案的特 定应用和设计约束条件。 专业技术人员可以对每个特定的应用来使用不同方 法来实现所描述的功能, 但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到, 为描述的方便和筒洁, 上述描 述的系统、 装置和单元的具体工作过程, 可以参考前述方法实施例中的对应 过程, 在此不再赘述。
在本申请所提供的几个实施例中, 应该理解到, 所揭露的系统、 装置和 方法, 可以通过其它的方式实现。 例如, 以上所描述的装置实施例仅仅是示 意性的, 例如, 所述单元的划分, 仅仅为一种逻辑功能划分, 实际实现时可 以有另外的划分方式, 例如多个单元或组件可以结合或者可以集成到另一个 系统, 或一些特征可以忽略, 或不执行。 另一点, 所显示或讨论的相互之间 的耦合或直接耦合或通信连接可以是通过一些接口, 装置或单元的间接耦合 或通信连接, 可以是电性, 机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作 为单元显示的部件可以是或者也可以不是物理单元, 即可以位于一个地方, 或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或 者全部单元来实现本实施例方案的目的。
另外, 在本发明各个实施例中的各功能单元可以集成在一个处理单元 中, 也可以是各个单元单独物理存在, 也可以两个或两个以上单元集成在一 个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使 用时, 可以存储在一个计算机可读取存储介质中。 基于这样的理解, 本发明 的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部 分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质 中, 包括若干指令用以使得一台计算机设备(可以是个人计算机, 服务器, 或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。 而前 述的存储介质包括: U盘、移动硬盘、只读存储器( ROM , Read-Only Memory )、 随机存取存储器(RAM, Random Access Memory ), 磁碟或者光盘等各种可 以存储程序代码的介质。
以上所述, 仅为本发明的具体实施方式, 但本发明的保护范围并不局限 于此, 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内, 可轻易 想到变化或替换, 都应涵盖在本发明的保护范围之内。 因此, 本发明的保护 范围应以所述权利要求的保护范围为准。

Claims

权利要求
1、 一种评估多媒体质量的方法, 其特征在于, 包括:
获取多媒体序列的视频的基准质量、 所述视频的最终质量、 所述多媒体 序列的音频的基准质量和所述音频的最终质量;
根据所述视频的基准质量和所述音频的基准质量,确定所述多媒体序列 的基准质量;
根据所述视频的基准质量、 所述视频的最终质量、 所述音频的基准质量 和所述音频的最终质量, 确定所述多媒体序列的失真值;
根据所述多媒体序列的基准质量和所述多媒体序列的失真值,确定所述 多媒体序列的多媒体质量。
2、 根据权利要求 1所述的方法, 其特征在于, 所述根据所述视频的基 准质量、所述视频的最终质量、所述音频的基准质量和所述音频的最终质量, 确定所述多媒体序列的失真值, 包括:
根据所述视频的基准质量和所述视频的最终质量,确定所述视频的失真 值;
根据所述音频的基准质量和所述音频的最终质量,确定所述音频的失真 值;
根据所述视频的失真值和所述音频的失真值,确定所述多媒体序列的失 真值。
3、 根据权利要求 2所述的方法, 其特征在于, 所述根据所述视频的失 真值和所述音频的失真值, 确定所述多媒体序列的失真值, 包括:
根据所述视频的基准质量和所述视频的失真值,确定所述视频的失真因 子;
根据所述音频的基准质量和所述音频的失真值,确定所述音频的失真因 子;
根据所述视频的失真因子和所述音频的失真因子,确定所述多媒体序列 的失真因子;
根据所述多媒体序列的基准质量和所述多媒体序列的失真因子,确定所 述多媒体序列的失真值。
4、 根据权利要求 3所述的方法, 其特征在于, 所述根据所述视频的失 真因子和所述音频的失真因子, 确定所述多媒体序列的失真因子, 包括: 才艮据以下等式确定所述多媒体序列的失真因子 dav ,
d = 5 - dv + a6 - da
av \ + a5■ dv + a6■ da
dav = a5 + a6 · dv + αΊ · da ,
其中, 和 分别为所述视频的失真因子和所述音频的失真因子, a5、 (¾和 (37为常数。
5、 根据权利要求 1至 4中任一项所述的方法, 其特征在于, 所述方法 还包括:
获取所述多媒体序列的音视频不同步影响因子;
所述根据所述多媒体序列的基准质量和所述多媒体序列的失真值,确定 所述多媒体序列的多媒体质量, 包括:
根据所述多媒体序列的基准质量、所述多媒体序列的失真值和所述多媒 体序列的音视频不同步影响因子, 确定所述多媒体序列的多媒体质量。
6、 根据权利要求 5所述的方法, 其特征在于, 所述根据所述多媒体序 列的基准质量、所述多媒体序列的失真值和所述多媒体序列的音视频不同步 影响因子, 确定所述多媒体序列的多媒体质量, 包括:
根据以下等式确定所述多媒体序列的多媒体质量 βαν ,
Q = Q '- D ■ fjAT )或
Q = (Q ,_ D )■ f AT ) ,
其中, 为所述多媒体序列的基准质量, v为所述多媒体序列的失真 值, /5 (八7„)和/6 (八7„)为所述多媒体序列的音视频不同步影响因子, 八 为 所述多媒体序列的音视频不同步时间差, |ΔΤ„|越大时, /5 (ΔΤ„)越大,
/6 (Δ?„)越小。
7、 一种评估多媒体质量的方法, 其特征在于, 包括:
将多媒体序列分为 Ν个多媒体段, 其中 Ν为正整数且 Ν大于或等于 2; 评估所述 Ν个多媒体段中的每个多媒体段的多媒体质量;
根据所述 Ν个多媒体段中的每个多媒体段的多媒体质量,确定所述多媒 体序列的多媒体质量。
8、 根据权利要求 7所述的方法, 其特征在于, 所述评估所述 Ν个多媒 体段中的每个多媒体段的多媒体质量, 包括:
获取所述每个多媒体段的视频的基准质量、 所述视频的最终质量、 所述 每个多媒体段的音频的基准质量和所述音频的最终质量;
根据所述视频的基准质量和所述音频的基准质量,确定所述每个多媒体 段的基准质量;
根据所述视频的基准质量、 所述视频的最终质量、 所述音频的基准质量 和所述音频的最终质量, 确定所述每个多媒体段的失真值;
根据所述每个多媒体段的基准质量和所述每个多媒体段的失真值,确定 所述每个多媒体段的多媒体质量。
9、 根据权利要求 8所述的方法, 其特征在于, 所述评估所述 N个多媒 体段中的每个多媒体段的多媒体质量, 还包括:
获取所述每个多媒体段的音视频不同步影响因子;
所述根据所述每个多媒体段的基准质量和所述每个多媒体段的失真值, 确定所述每个多媒体段的多媒体质量, 包括:
根据所述每个多媒体段的基准质量、所述每个多媒体段的失真值和所述 每个多媒体段的音视频不同步影响因子,确定所述每个多媒体段的多媒体质 量。
10、 根据权利要求 7至 9中任一项所述的方法, 其特征在于, 所述将多 媒体序列分为 N个多媒体段, 包括:
按照时长将所述多媒体序列分为所述 N个多媒体段; 或
按照多媒体质量、 视频质量或音频质量的高低, 将所述多媒体序列分为 所述 N个多媒体段。
11、 根据权利要求 7至 9中任一项所述的方法, 其特征在于, 所述根据 所述 N个多媒体段中的每个多媒体段的多媒体质量,确定所述多媒体序列的 多媒体质量, 包括:
通过对所述 N或 K个多媒体段的多媒体质量进行加权平均, 确定所述 多媒体序列的多媒体质量, 其中, 所述 K个多媒体段为所述 N个多媒体段 中多媒体质量最差的 K个多媒体段, K为正整数并且 K大于或等于 1且小 于 N。
12、 根据权利要求 11所述的方法, 其特征在于, 所述通过对所述 N或 K个多媒体段的多媒体质量进行加权平均, 确定所述多媒体序列的多媒体质 量, 包括:
基于相等的权重值, 通过对所述 N或 K个多媒体段的多媒体质量进行 加权平均, 确定所述多媒体序列的多媒体质量; 或
基于与所述 N或 K个多媒体段中的每个多媒体段的多媒体质量相关的 权重值, 通过对所述 N或 K个多媒体段的多媒体质量进行加权平均, 确定 所述多媒体序列的多媒体质量; 或
基于与所述 N或 K个多媒体段中的每个多媒体段的时刻相关的权重值, 通过对所述 N或 K个多媒体段的多媒体质量进行加权平均, 确定所述多媒 体序列的多媒体质量; 或
基于与所述 N或 K个多媒体段中的每个多媒体段的多媒体质量和时刻 相关的权重值, 通过对所述 N或 K个多媒体段的多媒体质量进行加权平均 , 确定所述多媒体序列的多媒体质量。
13、 一种评估多媒体质量的装置, 其特征在于, 包括:
第一获取模块, 用于获取多媒体序列的视频的基准质量、 所述视频的最 终质量、 所述多媒体序列的音频的基准质量和所述音频的最终质量;
基准质量确定模块, 用于根据所述第一获取模块获取的所述视频的基准 质量和所述音频的基准质量, 确定所述多媒体序列的基准质量;
失真值确定模块,用于根据所述第一获取模块获取的所述视频的基准质 量、 所述视频的最终质量、 所述音频的基准质量和所述音频的最终质量, 确 定所述多媒体序列的失真值;
多媒体质量确定模块, 用于根据所述基准质量确定模块确定的所述多媒 体序列的基准质量和所述失真值确定模块确定的所述多媒体序列的失真值, 确定所述多媒体序列的多媒体质量。
14、 根据权利要求 13所述的装置, 其特征在于, 所述失真值确定模块 包括:
第一确定单元, 用于根据所述视频的基准质量和所述视频的最终质量, 确定所述视频的失真值;
第二确定单元, 用于根据所述音频的基准质量和所述音频的最终质量, 确定所述音频的失真值;
第三确定单元, 用于根据所述视频的失真值和所述音频的失真值, 确定 所述多媒体序列的失真值。
15、 根据权利要求 14所述的装置, 其特征在于, 所述第三确定单元包 括: 第一确定子单元, 用于根据所述视频的基准质量和所述视频的失真值, 确定所述视频的失真因子;
第二确定子单元, 用于根据所述音频的基准质量和所述音频的失真值, 确定所述音频的失真因子;
第三确定子单元, 用于根据所述视频的失真因子和所述音频的失真因 子, 确定所述多媒体序列的失真因子;
第四确定子单元,用于根据所述多媒体序列的基准质量和所述多媒体序 列的失真因子, 确定所述多媒体序列的失真值。
16、 根据权利要求 15所述的装置, 其特征在于, 所述第三确定子单元 还用于根据以下等式确定所述多媒体序列的失真因子 dav ,
d = 5 - dv + a6 - da
av \ + a5■ dv + a6■ da
dav = a5 + a6 · dv + αΊ · da ,
其中, 和 分别为所述视频的失真因子和所述音频的失真因子, a5、 <¾和 β7为常数。
17、 根据权利要求 13至 16中任一项所述的装置, 其特征在于, 所述装 置还包括:
第二获取模块, 用于获取所述多媒体序列的音视频不同步影响因子; 所述多媒体质量确定模块还用于根据所述多媒体序列的基准质量、所述 多媒体序列的失真值和所述第二获取模块获取的所述多媒体序列的音视频 不同步影响因子, 确定所述多媒体序列的多媒体质量。
18、 根据权利要求 17所述的装置, 其特征在于, 所述多媒体质量确定 模块还用于根据以下等式确定所述多媒体序列的多媒体质量 βαν ,
Q = Q '- D ■ fjAT )或
Q = (Q ,_ D )■ f AT ) ,
其中, 为所述多媒体序列的基准质量, v为所述多媒体序列的失真 值, /5 (八7„)和/6 (八7„)为所述多媒体序列的音视频不同步影响因子, 八 为 所述多媒体序列的音视频不同步时间差, |ΔΤ„|越大时, /5 (ΔΤ„)越大,
/6 (Δ?„)越小。
19、 一种评估多媒体质量的装置, 其特征在于, 包括:
分段模块,用于将多媒体序列分为 Ν个多媒体段,其中 Ν为正整数且 Ν 大于或等于 2;
评估模块, 用于评估所述 N 个多媒体段中的每个多媒体段的多媒体质 量;
处理模块, 用于根据所述 N 个多媒体段中的每个多媒体段的多媒体质 量, 确定所述多媒体序列的多媒体质量。
20、 根据权利要求 19所述的装置, 其特征在于, 所述评估模块包括: 第一获取单元, 用于获取所述每个多媒体段的视频的基准质量、 所述视 频的最终质量、 所述每个多媒体段的音频的基准质量和所述音频的最终质 量;
基准质量确定单元, 用于根据所述视频的基准质量和所述音频的基准质 量, 确定所述每个多媒体段的基准质量;
失真值确定单元,用于根据所述视频的基准质量、所述视频的最终质量、 所述音频的基准质量和所述音频的最终质量,确定所述每个多媒体段的失真 值;
评估单元, 用于根据所述每个多媒体段的基准质量和所述每个多媒体段 的失真值, 确定所述每个多媒体段的多媒体质量。
21、 根据权利要求 20所述的装置, 其特征在于, 所述评估模块还包括: 第二获取单元, 用于获取所述每个多媒体段的音视频不同步影响因子; 所述评估单元还用于根据所述每个多媒体段的基准质量、所述每个多媒 体段的失真值和所述每个多媒体段的音视频不同步影响因子,确定所述每个 多媒体段的多媒体质量。
22、 根据权利要求 19至 21中任一项所述的装置, 其特征在于, 所述分 段模块包括:
第一分段单元, 用于按照时长将所述多媒体序列分为所述 N 个多媒体 段; 或
第二分段单元, 用于按照多媒体质量、 视频质量或音频质量的高低, 将 所述多媒体序列分为所述 N个多媒体段。
23、 根据权利要求 19至 21中任一项所述的装置, 其特征在于, 所述处 理模块还用于, 通过对所述 N或 K个多媒体段的多媒体质量进行加权平均, 确定所述多媒体序列的多媒体质量, 其中, 所述 K个多媒体段为所述 N个 多媒体段中多媒体质量最差的 K个多媒体段, K为正整数并且 K大于或等 于 1且小于 N。
24、 根据权利要求 23所述的装置, 其特征在于, 所述处理模块包括: 第一处理单元, 用于基于相等的权重值, 通过对所述 N或 K个多媒体 段的多媒体质量进行加权平均, 确定所述多媒体序列的多媒体质量; 或 第二处理单元, 用于基于与所述 N或 K个多媒体段中的每个多媒体段 的多媒体质量相关的权重值, 通过对所述 N或 K个多媒体段的多媒体质量 进行加权平均, 确定所述多媒体序列的多媒体质量; 或
第三处理单元, 用于基于与所述 N或 K个多媒体段中的每个多媒体段 的时刻相关的权重值, 通过对所述 N或 K个多媒体段的多媒体质量进行加 权平均, 确定所述多媒体序列的多媒体质量; 或
第四处理单元, 用于基于与所述 N或 K个多媒体段中的每个多媒体段 的多媒体质量和时刻相关的权重值, 通过对所述 N或 K个多媒体段的多媒 体质量进行加权平均, 确定所述多媒体序列的多媒体质量。
PCT/CN2012/081967 2012-04-23 2012-09-26 评估多媒体质量的方法和装置 Ceased WO2013159487A1 (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP12874996.7A EP2819329B8 (en) 2012-04-23 2012-09-26 Method and device for evaluating multimedia quality
JP2015507338A JP6010685B2 (ja) 2012-04-23 2012-09-26 マルチメディア品質を評価する方法及び装置
KR1020147028527A KR101595875B1 (ko) 2012-04-23 2012-09-26 멀티미디어 품질 평가 방법 및 장치
SG11201405801WA SG11201405801WA (en) 2012-04-23 2012-09-26 Method and apparatus for evaluating multimedia quality
BR112014025773-6A BR112014025773B1 (pt) 2012-04-23 2012-09-26 Método e aparelho para avaliar qualidade de multimídia
US14/492,508 US20150009406A1 (en) 2012-04-23 2014-09-22 Method and apparatus for evaluating multimedia quality

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210120184.6A CN103379358B (zh) 2012-04-23 2012-04-23 评估多媒体质量的方法和装置
CN201210120184.6 2012-04-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/492,508 Continuation US20150009406A1 (en) 2012-04-23 2014-09-22 Method and apparatus for evaluating multimedia quality

Publications (1)

Publication Number Publication Date
WO2013159487A1 true WO2013159487A1 (zh) 2013-10-31

Family

ID=49463842

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2012/081967 Ceased WO2013159487A1 (zh) 2012-04-23 2012-09-26 评估多媒体质量的方法和装置

Country Status (8)

Country Link
US (1) US20150009406A1 (zh)
EP (1) EP2819329B8 (zh)
JP (1) JP6010685B2 (zh)
KR (1) KR101595875B1 (zh)
CN (1) CN103379358B (zh)
BR (1) BR112014025773B1 (zh)
SG (1) SG11201405801WA (zh)
WO (1) WO2013159487A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2651693B2 (ja) 1988-03-30 1997-09-10 親正 葉室 漁船用操業援助装置
CN103634577B (zh) 2012-08-22 2014-12-31 华为技术有限公司 多媒体质量的监控方法和设备
CN104539943B (zh) * 2012-08-22 2017-01-04 华为技术有限公司 多媒体质量的监控方法和设备
US10525016B2 (en) * 2015-06-03 2020-01-07 Mead Johnson Nutrition Company Nutritional compositions containing an elevated level of inositol and uses thereof
WO2017104416A1 (ja) * 2015-12-16 2017-06-22 日本電信電話株式会社 オーディオビジュアル品質推定装置、オーディオビジュアル品質推定方法、及びプログラム
CN105843876B (zh) * 2016-03-18 2020-07-14 阿里巴巴(中国)有限公司 多媒体资源的质量评估方法和装置
CN106341683A (zh) * 2016-08-24 2017-01-18 乐视控股(北京)有限公司 全景视频质量判断方法及系统
CN109302603A (zh) * 2017-07-25 2019-02-01 中国移动通信集团北京有限公司 一种视频通话质量评估方法和装置
CN108769754B (zh) * 2018-05-14 2020-10-13 中国科学院计算技术研究所 一种基于视频回放终端的视频回放方法和系统
CN108683909B (zh) * 2018-07-12 2020-07-07 北京理工大学 Vr音视频整体用户体验质量评估方法
CN109474486A (zh) * 2018-09-30 2019-03-15 深圳市网心科技有限公司 流媒体数据传输欠速判定方法、系统及装置
CN111314691B (zh) * 2018-12-11 2022-09-16 中国移动通信集团广东有限公司 一种视频通话质量评估方法和装置
CN111479105B (zh) * 2020-03-12 2021-06-04 上海交通大学 一种视频及音频联合质量评价方法和装置
CN118338074B (zh) * 2024-06-12 2024-08-20 广州市艾索技术有限公司 一种多媒体音视频数据管理系统
CN120508944B (zh) * 2025-07-22 2025-10-10 清华大学 基于多模态学习的多模态音视频体验质量评价系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1938972A (zh) * 2004-01-30 2007-03-28 Sk电信有限公司 用于测量多媒体数据传输质量的方法和装置
CN101068166A (zh) * 2007-05-30 2007-11-07 中兴通讯股份有限公司 一种多媒体终端音频延迟的测定方法
CN101540896A (zh) * 2008-03-17 2009-09-23 中国移动通信集团公司 一种视频业务质量测试方法、装置及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050044207A (ko) * 2003-11-07 2005-05-12 엘지전자 주식회사 무선 인터넷 멀티미디어 서비스 품질 측정 방법
CA2582531C (en) * 2004-10-18 2013-03-12 Nippon Telegraph And Telephone Corporation Video quality objective evaluation device, evaluation method, and program
JP4510583B2 (ja) * 2004-10-28 2010-07-28 日本電信電話株式会社 双方向マルチモーダルサービス品質推定装置および方法
KR20090063406A (ko) * 2007-12-14 2009-06-18 삼성전자주식회사 전송 특성을 고려한 실시간 동영상 화질 평가 시스템 및방법
EP2106154A1 (en) * 2008-03-28 2009-09-30 Deutsche Telekom AG Audio-visual quality estimation
JP4861371B2 (ja) * 2008-06-27 2012-01-25 日本電信電話株式会社 映像品質推定装置、方法、およびプログラム
EP2296379A4 (en) * 2008-07-21 2011-07-20 Huawei Tech Co Ltd METHOD, SYSTEM AND DEVICE FOR EVALUATING A VIDEO QUALITY
CN101790107B (zh) * 2009-01-22 2012-10-17 华为技术有限公司 一种测量视频质量的方法、装置及系统
CN101998137B (zh) * 2009-08-21 2016-09-07 华为技术有限公司 视频质量参数获取方法和装置及电子设备
JP5373704B2 (ja) * 2010-06-16 2013-12-18 日本電信電話株式会社 マルチメディア品質推定装置およびマルチメディア品質推定方法
US9008811B2 (en) * 2010-09-17 2015-04-14 Xiph.org Foundation Methods and systems for adaptive time-frequency resolution in digital data coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1938972A (zh) * 2004-01-30 2007-03-28 Sk电信有限公司 用于测量多媒体数据传输质量的方法和装置
CN101068166A (zh) * 2007-05-30 2007-11-07 中兴通讯股份有限公司 一种多媒体终端音频延迟的测定方法
CN101540896A (zh) * 2008-03-17 2009-09-23 中国移动通信集团公司 一种视频业务质量测试方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2819329A4 *

Also Published As

Publication number Publication date
EP2819329A4 (en) 2015-06-17
SG11201405801WA (en) 2014-10-30
CN103379358B (zh) 2015-03-18
JP2015520548A (ja) 2015-07-16
US20150009406A1 (en) 2015-01-08
JP6010685B2 (ja) 2016-10-19
BR112014025773B1 (pt) 2022-06-07
EP2819329B8 (en) 2018-04-18
EP2819329A1 (en) 2014-12-31
CN103379358A (zh) 2013-10-30
HK1190845A1 (zh) 2014-07-11
KR101595875B1 (ko) 2016-02-19
KR20140135240A (ko) 2014-11-25
EP2819329B1 (en) 2017-11-15
BR112014025773A2 (pt) 2017-06-20
BR112014025773A8 (pt) 2021-06-22

Similar Documents

Publication Publication Date Title
WO2013159487A1 (zh) 评估多媒体质量的方法和装置
JP5970724B2 (ja) ビデオ符号化圧縮品質を取得するための方法および装置
CA2742716C (en) Method and system for determining a quality value of a video stream
EP2830316B1 (en) Method and device for evaluating media quality
CN107770538B (zh) 一种检测场景切换帧的方法、装置和系统
EP2856766A1 (en) Methods and apparatus for providing a presentation quality signal
Chan et al. Temporal quality assessment for mobile videos
JP2012004840A (ja) 映像品質客観評価装置及び方法及びプログラム
WO2014121571A1 (en) Method and apparatus for context-based video quality assessment
JP5107971B2 (ja) ユーザ体感品質推定システムおよび方法
JP7431514B2 (ja) 映像通話サービスの品質をリアルタイムで測定する方法およびシステム
KR20150114959A (ko) 컨텍스트-기반 비디오 품질 평가를 위한 방법 및 장치
JP5144593B2 (ja) ユーザ体感品質推定システムおよび方法
Arsenović et al. Quality of Experience Assessment for HTTP Based Adaptive Video Streaming.
JP6061778B2 (ja) 映像品質評価装置、映像品質評価方法及びプログラム
JP5149248B2 (ja) 網品質管理閾値算出装置および方法
CN104969548A (zh) 用于基于上下文的视频质量评估的方法和装置
CN104488265B (zh) 用于视频流服务的内容相关的视频质量模型
CN104995914A (zh) 用于基于上下文的视频质量评估的方法和装置
CN104488265A (zh) 用于视频流服务的内容相关的视频质量模型

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12874996

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2012874996

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012874996

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20147028527

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2015507338

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112014025773

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112014025773

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20141016