WO2011043433A1 - フレームレート変換装置及び方法 - Google Patents

フレームレート変換装置及び方法 Download PDF

Info

Publication number
WO2011043433A1
WO2011043433A1 PCT/JP2010/067674 JP2010067674W WO2011043433A1 WO 2011043433 A1 WO2011043433 A1 WO 2011043433A1 JP 2010067674 W JP2010067674 W JP 2010067674W WO 2011043433 A1 WO2011043433 A1 WO 2011043433A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel data
interpolation
frame
correlation
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2010/067674
Other languages
English (en)
French (fr)
Inventor
浩史 野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to US13/142,735 priority Critical patent/US8319889B2/en
Priority to EP20100822103 priority patent/EP2375737B1/en
Priority to KR1020117016839A priority patent/KR101186143B1/ko
Priority to CN2010800038511A priority patent/CN102292981B/zh
Publication of WO2011043433A1 publication Critical patent/WO2011043433A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Definitions

  • the present invention relates to a frame rate conversion apparatus and method for generating an interpolation pixel using a motion vector of a moving image and interpolating the interpolation frame between actual frames to convert a frame rate.
  • an interpolation frame is interpolated between real frames of the video signal to increase the number of frames, for example, a frame rate of 60 Hz of vertical frequency is converted to a vertical frequency of 120 Hz or more which is doubled. It is done to display.
  • a motion vector of an image is detected, each interpolation pixel is generated using the motion vector, and an interpolation frame to be interpolated between real frames is generated.
  • Patent Document 1 An example of a motion compensated frame rate conversion apparatus that generates an interpolation pixel using a motion vector and interpolates an interpolation frame between actual frames to convert the frame rate is described in Patent Document 1 as an example.
  • erroneous interpolation may occur to generate an erroneous image.
  • erroneous interpolation is likely to occur.
  • false detection of a motion vector easily occurs near the boundary between the foreground and the background, and an interpolation image having an unnatural and strange feeling is generated due to the false interpolation.
  • the present invention has been made in view of such problems, and it is an object of the present invention to provide a frame rate conversion apparatus and method capable of reducing erroneous interpolation caused by erroneous detection of a motion vector.
  • the present invention is pixel data on a first frame in order to solve the problems of the prior art described above, and is provided between the first frame and a second frame past the first frame.
  • a second pixel data at the same position as the interpolation pixel data, and a plurality of pixel data on the first frame.
  • the second maximum correlation value having the largest correlation and the direction indicating the second maximum correlation value are Among the first motion vector and the second motion vector
  • the second correlation comparison unit (24) that outputs the motion vector as the motion vector, among the first maximum correlation value and the second maximum correlation value
  • a third correlation comparing unit (25) that outputs the motion vector having the larger correlation as a final third motion vector, and a plurality of the first motion vector based on the third motion vector.
  • a first pixel data selection unit (31) which selects and outputs third pixel data necessary for generating the interpolation pixel data among pixel data, and the third motion vector based on the third motion vector.
  • a frame rate conversion unit (4) that generates the interpolation frame using the interpolation pixel data and interpolates between the first frame and the second frame to convert the frame rate.
  • the present invention provides a frame rate conversion apparatus characterized by
  • the third correlation comparison unit when the difference between the first motion vector and the second motion vector satisfies a first condition in which a difference between the first motion vector and the second motion vector satisfies a first condition, the third correlation comparison unit generates the interpolation pixel data generation unit Outputting a determination signal for making the interpolation at both sides interpolation, and the interpolation pixel data generation unit, when the determination signal is input, averages the third and fourth pixel data and outputs the interpolation pixel data It is preferred to generate.
  • the third correlation comparison unit may be configured such that the difference between the first motion vector and the second motion vector is within a predetermined range, and the first maximum correlation value and the second maximum correlation value Outputting a determination signal for making the interpolation in the interpolation pixel data generation unit be a two-sided interpolation, when the absolute value of the difference between Preferably, the interpolation pixel data generation unit generates the interpolation pixel data by averaging the third and fourth pixel data when the determination signal is input.
  • the third correlation comparison unit is a value in which an absolute value of a difference between the first maximum correlation value and the second maximum correlation value is smaller than the first threshold. It is preferable to output a determination signal for making the interpolation in the interpolation pixel data generation unit be a two-sided interpolation also when the third condition smaller than the second threshold which is the second condition is satisfied.
  • the present invention is pixel data on a first frame, and is between the first frame and a second frame past the first frame.
  • the second maximum correlation value having the largest correlation and the direction indicating the second maximum correlation value are
  • a second pixel data selection step of selecting and outputting the fourth pixel data necessary to generate the interpolation pixel data, one-side interpolation using only the third pixel data, and the fourth pixel An interpolated pixel data generation step of generating and outputting the interpolated pixel data by selecting one of single-sided interpolation using only data and double-sided interpolation using the third and fourth pixel data;
  • a frame rate conversion step of generating the interpolation frame using interpolation pixel data and converting the frame rate by interpolation between the first frame and the second frame. Provide a conversion method.
  • the interpolated pixel data generation step is performed when the difference between the first motion vector and the second motion vector satisfies a first condition that is within a predetermined range.
  • Outputting a determination signal for making the interpolation at both sides interpolation, and the interpolation pixel data generation step averages the third and fourth pixel data to input the interpolation pixel data when the determination signal is input. It is preferred to generate.
  • the difference between the first motion vector and the second motion vector is within a predetermined range
  • the first maximum correlation value and the second maximum correlation value Outputting a determination signal for making the interpolation in the interpolation pixel data generation step be a two-sided interpolation when the absolute value of the difference between the two and the first condition is smaller than the first threshold value, and the interpolation pixel data generation step
  • the third and fourth pixel data are averaged to generate the interpolated pixel data.
  • the absolute value of the difference between the first maximum correlation value and the second maximum correlation value is a value smaller than the first threshold. Also when the third condition smaller than the second threshold value is satisfied, it is preferable to output a determination signal for making the interpolation in the interpolation pixel data generation step be a two-sided interpolation.
  • the frame rate conversion apparatus and method of the present invention it is possible to reduce erroneous interpolation caused by erroneous detection of a motion vector, so it is possible to obtain a frame rate converted image that is natural and less uncomfortable.
  • FIG. 1 is a block diagram showing an embodiment of a frame rate conversion apparatus of the present invention.
  • FIG. 2 is a diagram for explaining a first correlation detection method used in one embodiment.
  • FIG. 3 is a diagram for explaining a second correlation detection method used in one embodiment.
  • FIG. 4 is a diagram for explaining an interpolation vector based on a motion vector.
  • FIG. 5 is a block diagram showing an example of a specific configuration of the correlation comparing unit 25 in FIG.
  • FIG. 6 is a diagram for explaining the operation of the correlation comparing unit 25 shown in FIG.
  • FIG. 7 is a block diagram showing a specific configuration example of the selection and averaging unit 34 in FIG.
  • FIG. 8 is a diagram for explaining the interpolation operation in one embodiment.
  • FIG. 9 is a diagram for explaining the interpolation operation in one embodiment.
  • FIG. 10 is a diagram for explaining the effect of the embodiment.
  • each pixel data of a video signal Sin having a frame frequency of 60 Hz is sequentially input to a frame memory 1, a motion vector detection unit 2, an interpolation unit 3, and a time series conversion memory 4.
  • the frame memory 1 delays the input pixel data by one frame and outputs it.
  • a current frame of the input video signal Sin is F0, and a frame one frame before the current frame output from the frame memory 1 is F1.
  • the pixel data of the frame F1 is sequentially input to the motion vector detection unit 2 and the interpolation unit 3.
  • the motion vector detection unit 2 includes correlation detection units 21 and 22 and correlation comparison units 23 to 25.
  • the correlation detection unit 21 detects the correlation in a plurality of directions by the first correlation detection method shown in FIG.
  • the first correlation detection method performed by the correlation detection unit 21 will be described with reference to FIG.
  • FIG. 2 shows a state in which an object OB1 formed of a character image "ABCDEF" is horizontally moved in the adjacent frames F1 and F0.
  • the frame Fp0 is an interpolation frame to be interpolated between the frames F1 and F0.
  • difference values in a plurality of directions are generated as shown in FIG. Strictly speaking, the difference value is the difference absolute value of the luminance value of the pixel data, and hereinafter, it will be simply referred to as the difference value.
  • pixel data Pf00 on frame F0 located at the same horizontal and vertical position as interpolated pixel data Pfp0 is fixed as pixel data after movement, and a plurality of pixel data on frame F1 is made with pixel data before movement.
  • the pixel data before movement on the frame F1 is pixel data within a predetermined range centered on the pixel data Pf10 at the same horizontal and vertical positions as the interpolated pixel data Pfp0. Note that, for simplification, only the pixel data Pf10 on the frame F1 is indicated by a circle, and the circles of other pixel data are omitted.
  • the correlation detection unit 21 obtains difference values Df11 to Df1M between the pixel data Pf00 and the plurality of pixel data in the frame F1. As shown in FIG. 1, the difference values Df11 to Df1M are input to the correlation comparison unit 23.
  • the difference values Df11 to Df1M can also be referred to as correlation values. The smaller the difference value, the larger the correlation, and the larger the difference value, the smaller the correlation.
  • the correlation comparison unit 23 compares the difference values Df11 to Df1M and outputs the direction indicating the smallest value as the motion vector MV1 and outputs the smallest difference value, that is, the difference value of the motion vector MV1 as the DF1. .
  • the direction having the smallest difference value DF1 has the largest correlation.
  • the smallest difference value DF1 is the maximum correlation value.
  • broken lines connecting the pixel data Pf00 and each of a plurality of pixel data on the frame F1 indicate candidate vectors not selected as the motion vector MV1.
  • the motion vector MV1 and the difference value DF1 output from the correlation comparison unit 23 are supplied to the correlation comparison unit 25.
  • the correlation detection unit 22 detects the correlation in a plurality of directions by the second correlation detection method shown in FIG.
  • the second correlation detection method performed by the correlation detection unit 22 will be described with reference to FIG. Similar to FIG. 2, FIG. 3 shows a state in which the object OB1 formed of a character image of “ABCDEF” is horizontally moved in the adjacent frames F1 and F0.
  • FIG. 3 shows a state in which the object OB1 formed of a character image of “ABCDEF” is horizontally moved in the adjacent frames F1 and F0.
  • differential values in a plurality of directions are generated as shown in FIG.
  • pixel data Pf10 on frame F1 at the same horizontal and vertical position as interpolated pixel data Pfp0 is fixed as pixel data before movement, and a plurality of pixel data on frame F0 is after pixel data after movement.
  • the pixel data after movement on the frame F0 is pixel data within a predetermined range centered on the pixel data Pf00 located at the same horizontal and vertical positions as the interpolated pixel data Pfp0. Note that, for simplification, only the pixel data Pf00 on the frame F0 is indicated by a circle, and the circle of the other pixel data is omitted.
  • the correlation detection unit 22 obtains difference values Df21 to Df2M between the pixel data Pf10 and a plurality of pixel data on the frame F0. As shown in FIG. 1, the difference values Df21 to Df2M are input to the correlation comparison unit 24. Similarly, the difference values Df21 to Df2M can also be referred to as correlation values.
  • the correlation comparison unit 24 compares the difference values Df21 to Df2M and outputs the direction indicating the smallest value as the motion vector MV2, and the smallest difference value (maximum correlation value), that is, the difference value of the motion vector MV2 Is output as DF2.
  • broken lines connecting the pixel data Pf10 and a plurality of pixel data on the frame F0 indicate candidate vectors not selected as the motion vector MV2.
  • the motion vector MV2 and the difference value DF2 output from the correlation comparison unit 24 are supplied to the correlation comparison unit 25.
  • the correlation value is detected by obtaining the difference value between a pair of pixel data, but based on the sum of absolute differences obtained by calculating and integrating the difference value for each block including a plurality of pixel data.
  • a correlation may be determined.
  • the detection method of correlation is arbitrary.
  • the correlation comparison unit 25 generates and outputs a final motion vector MV3 and an interpolation control signal FS1 for determining an interpolation method in the interpolation unit 3 based on the difference values DF1 and DF2 and the motion vectors MV1 and MV2. Do.
  • motion vector MV3 is the vector shown in FIG. 4
  • a pair of interpolation vectors for generating interpolation pixel data Pfp0 is a vector (1/2) ⁇ directed from pixel data Pf11 on frame F1 to interpolation pixel data Pfp0.
  • MV3 (hereinafter referred to as 1 / 2MV3) and a vector (-1/2) ⁇ MV3 (hereinafter referred to as -1 / 2MV3) directed from pixel data Pf01 on frame F0 to interpolated pixel data Pfp0 .
  • the interpolation unit 3 when the interpolation unit 3 generates the interpolated pixel data Pfp0 according to the interpolation control signal FS1, pixel data on the frame F1 (pixel data in the example of FIG. 4)
  • One-side interpolation using only Pf11 one-side interpolation using only pixel data on frame F0 (pixel data Pf01 in the example of FIG. 4), pixel data on frame F1 and pixels on frame F0
  • the difference values DF1 and DF2 are input to the correlation comparison unit 251, and the correlation comparison unit 251 inputs 1 as the comparison signal Scp0 when the difference value DF2 is smaller than the difference value DF1, and otherwise the comparison signal Scp0.
  • the vector selection unit 252 outputs the motion vector MV1 as the motion vector MV3 when the comparison signal Scp0 is 0, and outputs the motion vector MV2 as the motion vector MV3 when the comparison signal Scp0 is 1.
  • Motion vectors MV1 and MV2 are input to the vector equivalence determination unit 253.
  • the vector equivalence determination unit 253 outputs 1 as the determination signal Sj0 when the difference between the motion vectors MV1 and MV2 is within a relatively small predetermined range, and outputs 0 as the determination signal Sj0 otherwise.
  • the difference between the motion vectors MV1 and MV2 may be obtained as follows, as an example.
  • the horizontal and vertical components of the motion vector MV1 are (x1, y1)
  • the horizontal and vertical components of the motion vector MV2 are (x2, y2).
  • x1, y1, x2, y2 are positive or negative values.
  • the correlation difference absolute value calculation unit 254 receives the difference values DF1 and DF2, and the correlation difference absolute value calculation unit 254 calculates and outputs the absolute value Sda of the difference between the difference values DF1 and DF2.
  • the threshold comparison unit 255 compares the first threshold TH1 with the difference absolute value Sda, and sets 1 as the comparison signal Scp1 when the difference absolute value Sda is smaller than the first threshold TH1, and as the comparison signal Scp1 otherwise. Output 0.
  • the threshold comparison unit 256 compares the second threshold TH2 with the difference absolute value Sda, and sets 1 as the determination signal Sj2 when the difference absolute value Sda is smaller than the second threshold TH2, and as the determination signal Sj2 otherwise. Output 0.
  • the second threshold TH2 is smaller than the first threshold TH1.
  • the determination signal Sj 0 from the vector equivalence determination unit 253 and the comparison signal Scp 1 from the threshold comparison unit 255 are input to the AND circuit 257.
  • the AND circuit 257 outputs 1 as the determination signal Sj1 when the two input signals are 1, and otherwise outputs 0 as the determination signal Sj1.
  • 1 is outputted from the AND circuit 257 because the difference between the motion vectors MV1 and MV2 is small, the difference absolute value Sda is relatively small, and the motion vectors MV1 and MV2 are practically the same.
  • determination signal Sj1 output from AND circuit 257 uses vectors 1 ⁇ 2 MV3 and ⁇ 1 ⁇ 2 MV3 shown in FIG. 4 in the background region. It is a signal for making both sides interpolation.
  • the determination signal Sj1 from the AND circuit 257 and the determination signal Sj2 from the threshold value comparing unit 256 are input to the OR circuit 258.
  • the determination signal Sj2 output from the threshold value comparing unit 256 is a signal for performing both-side interpolation when there is almost no difference between the difference values DF1 and DF2 in the region near the boundary between the background and the foreground. This is to avoid erroneous interpolation and to avoid erroneous interpolation if one-sided interpolation is performed when there is almost no difference between the difference values DF1 and DF2 in the region near the boundary between the background and the foreground.
  • the OR circuit 258 outputs 1 as the determination signal Sj3 when at least one of the determination signals Sj1 and Sj2 is 1, and outputs 0 as the determination signal Sj3 when both are 0.
  • the determination signal Sj3 can be set to 1 in the background area where it is preferable to perform both-side interpolation.
  • the determination signal Sj3 can be set to 1 also when it is not preferable to perform one-sided interpolation in the boundary vicinity region.
  • the interpolation control signal generation unit 259 receives the comparison signal Scp 0 from the correlation comparison unit 251 and the determination signal Sj 3 from the OR circuit 258.
  • the interpolation control signal generation unit 259 generates a 2-bit interpolation control signal FS1 as shown in FIG. 6 based on the determination signal Sj3 and the comparison signal Scp0. As shown in FIG. 6, when both the determination signal Sj3 and the comparison signal Scp0 are 0, the interpolation control signal FS1 is 10, and when the determination signal Sj3 is 0 and the comparison signal Scp0 is 1, the interpolation control signal FS1 is It becomes 01. If the determination signal Sj3 is 1, it becomes 11 regardless of the comparison signal Scp0.
  • the motion vector MV3 output from the correlation comparison unit 25 is input to the vector delay amount conversion unit 33 in the interpolation unit 3, and the interpolation control signal FS1 is input to the selection and averaging unit 34 in the interpolation unit 3. It is input.
  • the interpolation unit 3 includes data holding and selection units (pixel data selection units) 31 and 32 in addition to the vector delay amount conversion unit 33 and the selection and averaging unit 34.
  • the data holding and selecting unit 31 holds a plurality of pixel data on the frame F0 which is necessary when generating the interpolation pixel data Pfp0.
  • the data holding and selecting unit 32 holds a plurality of pixel data on the frame F1 which is required when generating the interpolated pixel data Pfp0.
  • the vector delay amount conversion unit 33 converts the input motion vector MV3 into a pair of interpolation vectors as described in FIG. 4, and converts the pair of interpolation vectors into delay amounts DL0 and DL1 for generating interpolation pixel data Pfp0. Convert and output.
  • the vector delay amount converter 33 converts the vector 1 / 2MV3 into a delay amount DL1 and converts the vector -1 / 2MV3 into a delay amount DL0.
  • the delay amounts DL0 and DL1 are values indicating how many pixels are to be delayed (shifted) in the positive direction or the negative direction with reference to the position of the interpolation pixel data Pfp0.
  • the delay amount DL 0 is input to the data holding and selecting unit 31, and the delay amount DL 1 is input to the data holding and selecting unit 32.
  • the data holding and selecting unit 31 selects any pixel data from the plurality of pixel data on the frame F0 held in advance based on the delay amount DL0, and the data holding and selecting unit 32 holds the pixel data in advance.
  • One of the plurality of pixel data on the frame F1 is selected based on the delay amount DL1.
  • the data holding and selecting unit 31 selects the pixel data Pf11, and the data holding and selecting unit 32 selects the pixel data Pf01.
  • the pixel data selected by the data storage / selection unit 31 is Ps0, and the pixel data selected by the data storage / selection unit 32 is Ps1.
  • the pixel data Ps0 and Ps1 are input to the selection and averaging unit.
  • the selection and averaging unit 34 generates interpolation pixel data Pfp0 using one or both of the pixel data Ps0 and Ps1 according to the interpolation control signal FS1, and outputs the interpolation pixel data Pfp0.
  • the selection and averaging unit 34 is an interpolation pixel data generation unit. Strictly speaking, the interpolation unit 3 generates interpolation pixel data of luminance and color (including color difference).
  • the selection and averaging unit 34 includes selecting units 341 and 342, and an averaging unit 343 for averaging and outputting the outputs of the selecting units 341 and 342.
  • the pixel data Ps0 and Ps1 are input to the selection units 341 and 342, respectively.
  • the selection unit 341 receives the lower bits of the interpolation control signal FS1 and the selection unit 342 receives the upper bits of the interpolation control signal FS1.
  • the selection unit 341 selects the pixel data Ps0 when the lower bit of the interpolation control signal FS1 is 1, and selects the pixel data Ps1 when the lower bit is 0.
  • the selection unit 342 selects the pixel data Ps1 when the upper bit of the interpolation control signal FS1 is 1, and selects the pixel data Ps0 when the lower bit is 0.
  • the selection units 341 and 342 both select and output the pixel data Ps1, so the averaging unit 343 outputs the pixel data Ps1 as the interpolation pixel data Pfp0.
  • the selection units 341 and 342 both select and output the pixel data Ps0. Therefore, the averaging unit 343 outputs the pixel data Ps0 as the interpolation pixel data Pfp0. That is, when the interpolation control signal FS1 is 10, as shown in FIG. 8, one-side interpolation using pixel data on the frame F1 (pixel data Pf11 in the example of FIG. 8) is performed.
  • the interpolation control signal FS1 is 01, as shown in FIG. 9, one-side interpolation is performed using pixel data on the frame F0 (pixel data Pf01 in the example of FIG. 9).
  • the selection unit 341 selects the pixel data Ps0, and the selection unit 342 selects and outputs the pixel data Ps1, so the averaging unit 343 outputs the pixel data Ps0 and the pixel data Ps1.
  • the data obtained by averaging the values are output as interpolated pixel data Pfp0. That is, when the interpolation control signal FS1 is 11, as shown in FIG. 4, both-side interpolation using pixel data in the frames F0 and F1 (pixel data Pf01 and Pf11 in the example of FIG. 4) is performed.
  • the time series conversion memory 4 is an image of an interpolation frame Fp0 which is an interpolation frame based on image data of a frame F0 which is a real frame based on pixel data of the frame F0 which is sequentially input and interpolation pixel data Pfp0 which is sequentially input. Generate data. Then, both are alternately output at 120 Hz, and a video signal Sout having a frame frequency of 120 Hz is output.
  • FIG. 10 shows that the foreground is stationary and the background is moving in the horizontal direction.
  • frame F2 is a frame one frame before frame F1
  • MV is a motion vector of the background.
  • Regions AR1 and AR4 shown in FIG. 10 are background regions, and the interpolation pixel data in the regions AR1 and AR4 use pixel data Ps0 and Ps1 of both frames F0 and F1 by the operation described with reference to FIGS. It is generated by two-sided interpolation.
  • the area AR2 is an area adjacent to the boundary between the foreground and the background, and the motion vector used when generating the interpolated pixel data in the area AR2 is the frame F1 by the operation described with reference to FIGS.
  • the motion vector MV2 detected using the pixel data Pf1a to Pf1b of the above as a base point is selected.
  • the interpolation pixel data in the area AR2 is generated by one-side interpolation in which interpolation is performed only from the pixel data on the frame F0 with the vector -1/2 MV2, as indicated by the broken arrow. Therefore, the interpolated pixel data in the area AR2 is an image in which the background image is correctly shifted from the pixel data on the frame F0.
  • the range Rg1 of the pixel data Pf1a to Pf1b on the frame F1 is a range in which the motion vector MV2 is selected.
  • the area AR3 is an area adjacent to the boundary between the foreground and the background, and the motion vector used when generating the interpolated pixel data in the area AR3 is the frame F0 by the operation described with reference to FIGS.
  • a motion vector MV1 detected using the upper pixel data Pf0c to Pf0d as a base point is selected.
  • the interpolation pixel data in the area AR3 is generated by one-side interpolation which interpolates only from the pixel data on the frame F1 with the vector 1/2 MV1 as indicated by the broken arrow. Therefore, the interpolated pixel data in the area AR3 is an image in which the background image is correctly shifted from the pixel data on the frame F1.
  • a range Rg0 of pixel data Pf0c to Pf0d on the frame F0 is a range in which the motion vector MV1 is selected.
  • the region Rgsv is interpolated by double-sided interpolation.
  • the regions AR21 and AR31 are regions near the boundary in the regions AR2 and AR3, and in this boundary near region AR21 and AR31, under the specific condition described in FIGS. Do.
  • the difference values DF1 and DF2 become close values, and the comparison signal Scp0 output from the correlation comparison unit 251 in FIG. It is not fixed to 0, and 0 and 1 will change frequently.
  • the areas AR21 and AR31 become images in which the foreground is blurred twice.
  • the threshold comparison unit 256 and the OR circuit 258 are provided in FIG. 5 in order to reduce the sense of incongruity in the regions AR21 and AR31 in FIG. 10, but the threshold comparison unit 256 and the OR circuit are simplified for simplification. You may delete 258. However, it is preferable to provide the threshold value comparing unit 256 and the OR circuit 258. In addition, it is possible to delete the threshold comparison unit 255 and the AND circuit 257 and to determine that the background is the only one by the vector equivalence determination unit 253. However, it is preferable to provide the threshold comparison unit 255 and the AND circuit 257.
  • the configuration may be such that both sides interpolation is performed when the first condition and the third condition are satisfied.
  • FIG. 1 shows a frame rate conversion apparatus and method for converting a frame rate to 2 times, even a frame rate conversion apparatus and method for converting to a triple or more vertical frequency may be used. Good.
  • the present embodiment may be used for a film judder removal apparatus.
  • the present invention is not limited to the embodiments described above, and various modifications can be made without departing from the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Systems (AREA)

Abstract

　相関検出部２１，２２は２種類の相関検出方法で相関を求める。相関比較部２３，２４は最大相関値を示す方向の動きベクトルＭＶ１，ＭＶ２と相関値ＤＦ１，ＤＦ２を出力する。相関比較部２５は相関が大きい方の動きベクトルを動きベクトルＭＶ３として選択し、補間部３における補間方法を決定するための補間制御信号ＦＳ１を出力する。補間部３は、補間制御信号ＦＳ１に応じて２種類の片側補間と両側補間とのいずれかを選択して補間画素データＰfp0を生成する。

Description

フレームレート変換装置及び方法
　本発明は、動画像の動きベクトルを用いて補間画素を生成し、実フレーム間に補間フレームを内挿してフレームレートを変換するフレームレート変換装置及び方法に関する。
　液晶パネルを用いた画像表示装置で動画像を表示すると残像が生じやすい。そこで、残像を低減させるため、映像信号の実フレーム間に補間フレームを内挿してフレーム数を増大させ、例えば垂直周波数６０Ｈｚのフレームレートを２倍の１２０Ｈｚまたはそれ以上の垂直周波数に変換して画像表示することが行われている。フレームレート変換を行う映像信号処理装置においては、画像の動きベクトルを検出し、動きベクトルを用いて各補間画素を生成し、実フレーム間に内挿する補間フレームを生成する。
　動きベクトルを用いて補間画素を生成し、実フレーム間に補間フレームを内挿してフレームレートを変換する動き補償型のフレームレート変換装置は、一例として、特許文献１に記載されている。
特開２００６－３３１１３６号公報
　動き補償型のフレームレート変換装置においては、時間的に前後する画像から本来存在しない画像を予測して生成するので、誤った画像を生成する、いわゆる誤補間が発生する場合がある。一例として、空間的に前に位置する前景の画像と空間的に後ろに位置する背景の画像との動きが異なる場合には、誤補間が発生しやすい。前景と背景との境界付近では動きベクトルの誤検出が発生しやすく、誤補間により不自然で違和感のある補間画像が発生してしまうという問題点がある。
　本発明はこのような問題点に鑑みなされたものであり、動きベクトルの誤検出に起因する誤補間を低減させることができるフレームレート変換装置及び方法を提供することを目的とする。
　本発明は、上述した従来の技術の課題を解決するため、第１のフレーム上の画素データであり、前記第１のフレームと前記第１のフレームより過去の第２のフレームとの間に内挿する補間フレーム上の補間画素データと同一位置にある第１の画素データと、前記第２のフレーム上の複数の画素データそれぞれとの相関値を検出する第１の相関検出部（２１）と、前記第１の相関検出部より出力された相関値の内、相関が最も大きい第１の最大相関値と、この第１の最大相関値を示す方向を第１の動きベクトルとして出力する第１の相関比較部（２３）と、前記第２のフレーム上の画素データであり、前記補間画素データと同一位置にある第２の画素データと、前記第１のフレーム上の複数の画素データそれぞれとの相関値を検出する第２の相関検出部（２２）と、前記第２の相関検出部より出力された相関値の内、相関が最も大きい第２の最大相関値と、この第２の最大相関値を示す方向を第２の動きベクトルとして出力する第２の相関比較部（２４）と、前記第１の動きベクトルと前記第２の動きベクトルの内、前記第１の最大相関値と前記第２の最大相関値との内で相関が大きい方の動きベクトルを最終的な第３の動きベクトルとして出力する第３の相関比較部（２５）と、前記第３の動きベクトルに基づいて、前記第１のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第３の画素データを選択して出力する第１の画素データ選択部（３１）と、前記第３の動きベクトルに基づいて、前記第２のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第４の画素データを選択して出力する第２の画素データ選択部（３２）と、前記第３の画素データのみを用いた片側補間と、前記第４の画素データをのみを用いた片側補間と、前記第３及び第４の画素データを用いた両側補間とのいずれかを選択して前記補間画素データを生成して出力する補間画素データ生成部（３４）と、前記補間画素データを用いて前記補間フレームを生成し、前記第１のフレームと前記第２のフレームとの間に内挿してフレームレートを変換するフレームレート変換部（４）とを備えることを特徴とするフレームレート変換装置を提供する。
　ここで、前記第３の相関比較部は、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にある第１の条件を満たすときに、前記補間画素データ生成部における補間を両側補間とするための判定信号を出力し、前記補間画素データ生成部は、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成することが好ましい。
　また、前記第３の相関比較部は、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にあり、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が第１の閾値より小さい第２の条件を満たすときに、前記補間画素データ生成部における補間を両側補間とするための判定信号を出力し、
　前記補間画素データ生成部は、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成することが好ましい。
　さらに、前記第３の相関比較部は、前記第２の条件に加えて、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が前記第１の閾値より小さい値である第２の閾値より小さい第３の条件を満たすときにも、前記補間画素データ生成部における補間を両側補間とするための判定信号を出力することが好ましい。
　また、本発明は、上述した従来の技術の課題を解決するため、第１のフレーム上の画素データであり、前記第１のフレームと前記第１のフレームより過去の第２のフレームとの間に内挿する補間フレーム上の補間画素データと同一位置にある第１の画素データと、前記第２のフレーム上の複数の画素データそれぞれとの相関値を検出する第１の相関検出ステップと、前記第１の相関検出ステップにて検出された相関値の内、相関が最も大きい第１の最大相関値と、この第１の最大相関値を示す方向を第１の動きベクトルとして出力する第１の相関比較ステップと、前記第２のフレーム上の画素データであり、前記補間画素データと同一位置にある第２の画素データと、前記第１のフレーム上の複数の画素データそれぞれとの相関値を検出する第２の相関検出ステップと、前記第２の相関検出ステップにて検出された相関値の内、相関が最も大きい第２の最大相関値と、この第２の最大相関値を示す方向を第２の動きベクトルとして出力する第２の相関比較ステップと、前記第１の動きベクトルと前記第２の動きベクトルの内、前記第１の最大相関値と前記第２の最大相関値との内で相関が大きい方の動きベクトルを最終的な第３の動きベクトルとして出力する第３の相関比較ステップと、前記第３の動きベクトルに基づいて、前記第１のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第３の画素データを選択して出力する第１の画素データ選択ステップと、前記第３の動きベクトルに基づいて、前記第２のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第４の画素データを選択して出力する第２の画素データ選択ステップと、前記第３の画素データのみを用いた片側補間と、前記第４の画素データをのみを用いた片側補間と、前記第３及び第４の画素データを用いた両側補間とのいずれかを選択して前記補間画素データを生成して出力する補間画素データ生成ステップと、　前記補間画素データを用いて前記補間フレームを生成し、前記第１のフレームと前記第２のフレームとの間に内挿してフレームレートを変換するフレームレート変換ステップとを含むことを特徴とするフレームレート変換方法を提供する。
　ここで、前記第３の相関比較ステップは、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にある第１の条件を満たすときに、前記補間画素データ生成ステップにおける補間を両側補間とするための判定信号を出力し、前記補間画素データ生成ステップは、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成することが好ましい。
　また、前記第３の相関比較ステップは、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にあり、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が第１の閾値より小さい第２の条件を満たすときに、前記補間画素データ生成ステップにおける補間を両側補間とするための判定信号を出力し、前記補間画素データ生成ステップは、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成することが好ましい。
　さらに、前記第３の相関比較ステップは、前記第２の条件に加えて、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が前記第１の閾値より小さい値である第２の閾値より小さい第３の条件を満たすときにも、前記補間画素データ生成ステップにおける補間を両側補間とするための判定信号を出力するが好ましい。
　本発明のフレームレート変換装置及び方法によれば、動きベクトルの誤検出に起因する誤補間を低減させることができるので、自然で違和感の少ないフレームレート変換画像を得ることができる。
図１は、本発明のフレームレート変換装置の一実施形態を示すブロック図である。 図２は、一実施形態で用いる第１の相関検出方法を説明するための図である。 図３は、一実施形態で用いる第２の相関検出方法を説明するための図である。 図４は、動きベクトルに基づいた補間ベクトルを説明するための図である。 図５は、図１中の相関比較部２５の具体的構成例を示すブロック図である。 図６は、図５に示す相関比較部２５の動作を説明するための図である。 図７は、図１中の選択・平均値化部３４の具体的構成例を示すブロック図である。 図８は、一実施形態における補間動作を説明するための図である。 図９は、一実施形態における補間動作を説明するための図である。 図１０は、一実施形態による効果を説明するための図である。
　以下、本発明のフレームレート変換装置及び方法の一実施形態について、添付図面を参照して説明する。図１において、６０Ｈｚのフレーム周波数を有する映像信号Ｓinの各画素データは、フレームメモリ１，動きベクトル検出部２，補間部３，時系列変換メモリ４に順次入力される。フレームメモリ１は入力された画素データを１フレーム遅延して出力する。入力された映像信号Ｓinの現在フレームをＦ０、フレームメモリ１より出力された現在フレームより１フレーム前のフレームをＦ１とする。フレームＦ１の画素データは、動きベクトル検出部２及び補間部３に順次入力される。
　動きベクトル検出部２は、相関検出部２１，２２と相関比較部２３～２５とを備える。相関検出部２１は図２に示す第１の相関検出方法で複数の方向の相関を検出する。図２を用いて、相関検出部２１で行われる第１の相関検出方法について説明する。図２は、隣接するフレームＦ１，Ｆ０で“ＡＢＣＤＥＦ”なる文字画像よりなる物体ＯＢ１が水平移動している状態を示している。フレームＦp0はフレームＦ１，Ｆ０間に内挿する補間フレームである。補間フレームＦp0上の補間画素データＰfp0を生成する際に必要となる動きベクトルを求めるため、図２に示すように複数の方向の差分値を生成する。差分値とは厳密には画素データの輝度値の差分絶対値であり、以下単に差分値と称することとする。
　図２において、補間画素データＰfp0と同一の水平及び垂直位置にあるフレームＦ０上の画素データＰf00を移動後の画素データとして固定し、フレームＦ１上の複数の画素データそれぞれを移動前の画素データとする。フレームＦ１上の移動前の画素データは、補間画素データＰfp0と同一の水平及び垂直位置にある画素データＰf10を中心とした所定の範囲内の画素データである。なお、簡略化のため、フレームＦ１上の画素データＰf10のみ丸印で示し、その他の画素データの丸印は省略している。相関検出部２１は、画素データＰf00とフレームＦ１上の複数の画素データそれぞれとの差分値Ｄf11～Ｄf1Mを求める。図１に示すように、差分値Ｄf11～Ｄf1Mは相関比較部２３に入力される。差分値Ｄf11～Ｄf1Mは相関値と称することもできる。差分値が小さいほど相関が大きく、差分値が大きいほど相関が小さい。
　相関比較部２３は、差分値Ｄf11～Ｄf1Mを大小比較して最も小さい値を示す方向を動きベクトルＭＶ１として出力すると共に、最も小さい差分値、即ち、動きベクトルＭＶ１が有する差分値をＤＦ１として出力する。最も小さい差分値ＤＦ１を有する方向が最も相関が大きい。最も小さい差分値ＤＦ１は最大相関値である。図２において、画素データＰf00とフレームＦ１上の複数の画素データそれぞれとを結ぶ破線は動きベクトルＭＶ１として選択されなかった候補ベクトルを示している。相関比較部２３より出力された動きベクトルＭＶ１と差分値ＤＦ１は相関比較部２５に供給される。
　一方、相関検出部２２は図３に示す第２の相関検出方法で複数の方向の相関を検出する。図３を用いて、相関検出部２２で行われる第２の相関検出方法について説明する。図３は、図２と同様、隣接するフレームＦ１，Ｆ０で“ＡＢＣＤＥＦ”なる文字画像よりなる物体ＯＢ１が水平移動している状態を示している。補間フレームＦp0上の補間画素データＰfp0を生成する際に必要となる動きベクトルを求めるため、図３に示すように複数の方向の差分値を生成する。
　図３において、補間画素データＰfp0と同一の水平及び垂直位置にあるフレームＦ１上の画素データＰf10を移動前の画素データとして固定し、フレームＦ０上の複数の画素データそれぞれを移動後の画素データとする。フレームＦ０上の移動後の画素データは、補間画素データＰfp0と同一の水平及び垂直位置にある画素データＰf00を中心とした所定の範囲内の画素データである。なお、簡略化のため、フレームＦ０上の画素データＰf00のみ丸印で示し、その他の画素データの丸印は省略している。相関検出部２２は、画素データＰf10とフレームＦ０上の複数の画素データそれぞれとの差分値Ｄf21～Ｄf2Mを求める。図１に示すように、差分値Ｄf21～Ｄf2Mは相関比較部２４に入力される。同様に、差分値Ｄf21～Ｄf2Mは相関値と称することもできる。
　相関比較部２４は、差分値Ｄf21～Ｄf2Mを大小比較して最も小さい値を示す方向を動きベクトルＭＶ２として出力すると共に、最も小さい差分値（最大相関値）、即ち、動きベクトルＭＶ２が有する差分値をＤＦ２として出力する。図３において、画素データＰf10とフレームＦ０上の複数の画素データそれぞれとを結ぶ破線は動きベクトルＭＶ２として選択されなかった候補ベクトルを示している。相関比較部２４より出力された動きベクトルＭＶ２と差分値ＤＦ２は相関比較部２５に供給される。
　図２，図３では、一対の画素データ間の差分値を求めて相関を検出するようにしたが、複数の画素データを含むブロック毎に差分値を求めて積分した差分絶対値和に基づいて相関を求めてもよい。相関の検出方法は任意である。
　相関比較部２５は、差分値ＤＦ１，ＤＦ２及び動きベクトルＭＶ１，ＭＶ２に基づいて、最終的な動きベクトルＭＶ３と、補間部３における補間方法を決定するための補間制御信号ＦＳ１とを生成して出力する。動きベクトルＭＶ３が図４に示すベクトルである場合、補間画素データＰfp0を生成するための一対の補間ベクトルは、フレームＦ１上の画素データＰf11から補間画素データＰfp0へと向かうベクトル（１／２）×ＭＶ３（以下、1/2ＭＶ３と表記する）と、フレームＦ０上の画素データＰf01から補間画素データＰfp0へと向かうベクトル（－１／２）×ＭＶ３（以下、-1/2ＭＶ３と表記する）となる。
　本実施形態においては、後に詳述するように、補間部３は、補間制御信号ＦＳ１に応じて、補間画素データＰfp0を生成する際に、フレームＦ１上の画素データ（図４の例では画素データＰf11）のみを用いる片側補間の補間方法と、フレームＦ０上の画素データ（図４の例では画素データＰf01）のみを用いる片側補間の補間方法と、フレームＦ１上の画素データとフレームＦ０上の画素データとを平均化して新たな画素データを生成する両側補間の補間方法とを選択的に用いる。
　図５を用いて相関比較部２５の具体的構成及び動作について説明する。図５において、相関比較部２５１には差分値ＤＦ１，ＤＦ２が入力され、相関比較部２５１は差分値ＤＦ２が差分値ＤＦ１より小さいときに比較信号Ｓcp0として１を、それ以外のときに比較信号Ｓcp0として０を出力する。ベクトル選択部２５２は、比較信号Ｓcp0が０であれば動きベクトルＭＶ１を動きベクトルＭＶ３として出力し、比較信号Ｓcp0が１であれば動きベクトルＭＶ２を動きベクトルＭＶ３として出力する。
　ベクトル等価判定部２５３には動きベクトルＭＶ１，ＭＶ２が入力される。ベクトル等価判定部２５３は、動きベクトルＭＶ１，ＭＶ２の差分が比較的小さい所定の範囲内にあるときに判定信号Ｓj0として１を、それ以外のときに判定信号Ｓj0として０を出力する。なお、動きベクトルＭＶ１，ＭＶ２の差分は一例として次のようにして求めればよい。動きベクトルＭＶ１の水平方向と垂直方向の成分を（ｘ１，ｙ１）、動きベクトルＭＶ２の水平方向と垂直方向の成分を（ｘ２，ｙ２）とする。ｘ１，ｙ１，ｘ２，ｙ２は正または負の値である。（|ｘ１－ｘ２|，|ｙ１－ｙ２|）が所定の（ａ，ｂ）以内であれば動きベクトルＭＶ１，ＭＶ２の差分は所定の範囲内にあるとする。ａ，ｂの値は適宜に設定すればよい。相関差分絶対値算出部２５４には差分値ＤＦ１，ＤＦ２が入力され、相関差分絶対値算出部２５４は差分値ＤＦ１，ＤＦ２の差分の絶対値Ｓdaを算出して出力する。
　閾値比較部２５５は第１の閾値TH1と差分絶対値Ｓdaとを比較し、差分絶対値Ｓdaが第１の閾値TH1より小さいときに比較信号Ｓcp1として１を、それ以外のときに比較信号Ｓcp1として０を出力する。閾値比較部２５６は第２の閾値TH2と差分絶対値Ｓdaとを比較し、差分絶対値Ｓdaが第２の閾値TH2より小さいときに判定信号Ｓj2として１を、それ以外のときに判定信号Ｓj2として０を出力する。第２の閾値TH2は第１の閾値TH1より小さい値とする。
　ＡＮＤ回路２５７には、ベクトル等価判定部２５３からの判定信号Ｓj0と閾値比較部２５５からの比較信号Ｓcp1とが入力される。ＡＮＤ回路２５７は２つの入力信号が１のとき判定信号Ｓj1として１を出力し、それ以外のとき判定信号Ｓj1として０を出力する。以上の説明より分かるように、ＡＮＤ回路２５７から１が出力されるのは、動きベクトルＭＶ１，ＭＶ２の差分がわずかで、差分絶対値Ｓdaも比較的小さく、動きベクトルＭＶ１，ＭＶ２は実施的に同じであるとみなせる場合である。ＡＮＤ回路２５７から出力される判定信号Ｓj1は、一例として前景が静止して背景が動いているような画像の場合に、背景の領域において図４に示すベクトル1/2ＭＶ３，-1/2ＭＶ３を用いた両側補間にするための信号である。
　ＯＲ回路２５８には、ＡＮＤ回路２５７からの判定信号Ｓj1と閾値比較部２５６からの判定信号Ｓj2とが入力される。閾値比較部２５６から出力される判定信号Ｓj2は、背景と前景との境界近傍領域で差分値ＤＦ１，ＤＦ２にほとんど差がなかった場合に、両側補間にするための信号である。これは、背景と前景との境界近傍領域で差分値ＤＦ１，ＤＦ２にほとんど差がない場合に片側補間を行うと誤補間が発生しやく、誤補間を避けるためである。ＯＲ回路２５８は、判定信号Ｓj1，Ｓj2の少なくとも一方が１のとき判定信号Ｓj3として１を出力し、双方が０のとき判定信号Ｓj3として０を出力する。これにより、両側補間にすることが好ましい背景の領域で判定信号Ｓj3を１にすることができる。また、境界近傍領域で片側補間にすることが好ましくない場合にも判定信号Ｓj3を１にすることができる。
　補間制御信号生成部２５９には、相関比較部２５１からの比較信号Ｓcp0とＯＲ回路２５８からの判定信号Ｓj3とが入力される。補間制御信号生成部２５９は、判定信号Ｓj3と比較信号Ｓcp0とに基づいて図６に示すように２ビットの補間制御信号ＦＳ１を生成する。図６に示すように、判定信号Ｓj3と比較信号Ｓcp0の双方が０であれば、補間制御信号ＦＳ１は１０となり、判定信号Ｓj3が０で比較信号Ｓcp0が１であれば、補間制御信号ＦＳ１は０１となる。判定信号Ｓj3が１であれば比較信号Ｓcp0には無関係に１１となる。
　図１に戻り、相関比較部２５より出力された動きベクトルＭＶ３は補間部３内のベクトル遅延量変換部３３に入力され、補間制御信号ＦＳ１は補間部３内の選択・平均値化部３４に入力される。補間部３は、ベクトル遅延量変換部３３と選択・平均値化部３４の他、データ保持・選択部（画素データ選択部）３１，３２を備える。データ保持・選択部３１は、補間画素データＰfp0を生成する際に必要となるフレームＦ０上の複数の画素データを保持する。データ保持・選択部３２は、補間画素データＰfp0を生成する際に必要となるフレームＦ１上の複数の画素データを保持する。ベクトル遅延量変換部３３は、入力された動きベクトルＭＶ３を図４で説明したように一対の補間ベクトルとし、この一対の補間ベクトルを、補間画素データＰfp0を生成するための遅延量ＤＬ０，ＤＬ１に変換して出力する。
　ベクトル遅延量変換部３３は、ベクトル1/2ＭＶ３を遅延量ＤＬ１に変換し、ベクトル-1/2ＭＶ３を遅延量ＤＬ０に変換する。遅延量ＤＬ０，ＤＬ１は、補間画素データＰfp0の位置を基準として正方向または負方向に何画素分遅延させるか（シフトさせるか）を示す値である。データ保持・選択部３１には遅延量ＤＬ０が入力され、データ保持・選択部３２には遅延量ＤＬ１が入力される。データ保持・選択部３１は予め保持しておいたフレームＦ０上の複数の画素データの中から遅延量ＤＬ０に基づいていずれかの画素データを選択し、データ保持・選択部３２は予め保持しておいたフレームＦ１上の複数の画素データの中から遅延量ＤＬ１に基づいていずれかの画素データを選択する。
　図４の例では、データ保持・選択部３１は画素データＰf11を選択し、データ保持・選択部３２は画素データＰf01を選択する。データ保持・選択部３１が選択した画素データをＰs0、データ保持・選択部３２が選択した画素データをＰs1とする。選択・平均値化部３４には、画素データＰs0，Ｐs1が入力される。選択・平均値化部３４は、補間制御信号ＦＳ１に応じて画素データＰs0，Ｐs1のいずれか一方または双方を用いて補間画素データＰfp0を生成して出力する。選択・平均値化部３４は補間画素データ生成部である。厳密には、補間部３では輝度及び色（色差を含む）の補間画素データを生成する。
　ここで、図７を用いて選択・平均値化部３４の具体的構成及び動作について説明する。図７に示すように、選択・平均値化部３４は、選択部３４１，３４２と、選択部３４１，３４２の出力を平均化して出力する平均値化部３４３とを備える。選択部３４１，３４２にはそれぞれ画素データＰs0，Ｐs1が入力される。選択部３４１には補間制御信号ＦＳ１の下位ビットが入力され、選択部３４２には補間制御信号ＦＳ１の上位ビットが入力される。選択部３４１は、補間制御信号ＦＳ１の下位ビットが１のとき画素データＰs0を選択し、下位ビットが０のとき画素データＰs1を選択する。選択部３４２は、補間制御信号ＦＳ１の上位ビットが１のとき画素データＰs1を選択し、下位ビットが０のとき画素データＰs0を選択する。
　補間制御信号ＦＳ１が１０のとき、選択部３４１，３４２は共に画素データＰs1を選択して出力するので、平均値化部３４３からは画素データＰs1が補間画素データＰfp0として出力されることになる。補間制御信号ＦＳ１が０１のとき、選択部３４１，３４２は共に画素データＰs0を選択して出力するので、平均値化部３４３からは画素データＰs0が補間画素データＰfp0として出力されることになる。即ち、補間制御信号ＦＳ１が１０のときは、図８に示すように、フレームＦ１上の画素データ（図８の例では画素データＰf11）を用いた片側補間となる。また、補間制御信号ＦＳ１が０１のときは、図９に示すように、フレームＦ０上の画素データ（図９の例では画素データＰf01）を用いた片側補間となる。
　補間制御信号ＦＳ１が１１のときには、選択部３４１は画素データＰs0を選択し、選択部３４２は画素データＰs1を選択して出力するので、平均値化部３４３からは画素データＰs0と画素データＰs1とを平均化したデータが補間画素データＰfp0として出力されることになる。即ち、補間制御信号ＦＳ１が１１のときは、図４に示すように、フレームＦ０，Ｆ１上の画素データ（図４の例では画素データＰf01，Ｐf11）を用いた両側補間となる。
　図１に戻り、時系列変換メモリ４にはフレームＦ０の画素データと補間部３より出力された補間画素データＰfp0とが順次入力される。時系列変換メモリ４は、順次入力されるフレームＦ０の画素データに基づいて実フレームであるフレームＦ０の画像データと、順次入力される補間画素データＰfp0に基づいて補間フレームである補間フレームＦp0の画像データを生成する。そして、両者を１２０Ｈｚで交互に出力して、１２０Ｈｚのフレーム周波数を有する映像信号Ｓoutを出力する。
　次に、図１０を用いて本実施形態のフレームレート変換装置及び方法による効果について説明する。図１０は、前景が静止して背景が水平方向に動いている状態を示している。図１０において、フレームＦ２はフレームＦ１よりも１フレーム前のフレームであり、ＭＶは背景の動きベクトルである。図１０に示す領域ＡＲ１，ＡＲ４は背景の領域であり、領域ＡＲ１，ＡＲ４内の補間画素データは、図５～図７で説明した動作によって、フレームＦ０，Ｆ１双方の画素データＰs0，Ｐs1を用いた両側補間によって生成される。
　領域ＡＲ２は前景と背景との境界に隣接する領域であり、図５～図７で説明した動作によって、領域ＡＲ２内の補間画素データを生成する際に使用される動きベクトルには、フレームＦ１上の画素データＰf1a～Ｐf1bを基点として検出した動きベクトルＭＶ２が選択される。この結果、領域ＡＲ２内の補間画素データは、破線の矢印で示すように、ベクトル-1/2ＭＶ２でフレームＦ０上の画素データのみから補間する片側補間によって生成される。従って、領域ＡＲ２内の補間画素データはフレームＦ０上の画素データから背景の画像が正しくシフトした画像となる。フレームＦ１上の画素データＰf1a～Ｐf1bの範囲Ｒg1は動きベクトルＭＶ２が選択される範囲である。
　同じく領域ＡＲ３は前景と背景との境界に隣接する領域であり、図５～図７で説明した動作によって、領域ＡＲ３内の補間画素データを生成する際に使用される動きベクトルには、フレームＦ０上の画素データＰf0c～Ｐf0dを基点として検出した動きベクトルＭＶ１が選択される。この結果、領域ＡＲ３内の補間画素データは、破線の矢印で示すように、ベクトル1/2ＭＶ１でフレームＦ１上の画素データのみから補間する片側補間によって生成される。従って、領域ＡＲ３内の補間画素データはフレームＦ１上の画素データから背景の画像が正しくシフトした画像となる。フレームＦ０上の画素データＰf0c～Ｐf0dの範囲Ｒg0は動きベクトルＭＶ１が選択される範囲である。なお、領域Ｒgsvは両側補間によって補間される。
　さらに、領域ＡＲ２１，ＡＲ３１は領域ＡＲ２，ＡＲ３内の境界近傍の領域であり、この境界近傍領域ＡＲ２１，ＡＲ３１では、図５～図７で説明した特定の条件のときに片側補間ではなく両側補間とする。例えば前景と背景との輝度が近い場合には、領域ＡＲ２１，ＡＲ３１では差分値ＤＦ１，ＤＦ２が近い値となって、図５における相関比較部２５１より出力される比較信号Ｓcp0が０または１の一方に固定されず、頻繁に０と１が変化することになる。このような場合に片側補間を行うと、領域ＡＲ２１，ＡＲ３１は前景が二重にぶれたような画像となる。図５～図７で説明した特定の条件のときに両側補間とすることによって、領域ＡＲ２１，ＡＲ３１における違和感を軽減することができる。
　このように、本実施形態においては、図１０に示すように前景と背景とが異なる動きをしている場合でも、前景と背景との境界付近で発生しやすい動きベクトルの誤検出を防ぐことができる。よって、動きベクトルの誤検出に起因する誤補間を低減させることができ、自然で違和感の少ないフレームレート変換画像を得ることが可能となる。
　以上説明した本実施形態においては、図１０の領域ＡＲ２１，ＡＲ３１における違和感を軽減するため図５において閾値比較部２５６及びＯＲ回路２５８を設けているが、簡略化のため閾値比較部２５６及びＯＲ回路２５８を削除してもよい。但し、閾値比較部２５６及びＯＲ回路２５８を設ける方が好ましい。また、閾値比較部２５５及びＡＮＤ回路２５７を削除して、ベクトル等価判定部２５３のみで背景であると判断することも可能である。但し、閾値比較部２５５及びＡＮＤ回路２５７を設ける方が好ましい。
　ベクトル等価判定部２５３からの判定信号Ｓj0が１である第１の条件を満たすときに両側補間にするのが基本である。閾値比較部２５５を追加すると、境界付近では本来であれば片側補間にするのが望ましいにもかかわらず、動きベクトルＭＶ１，ＭＶ２が等価のときに両側補間になってしまう不具合を回避することができる。従って、判定信号Ｓj0と比較信号Ｓcp1との双方が１である第２の条件を満たすときに両側補間にすることが好ましい。さらに、閾値比較部２５６を追加して、判定信号Ｓj2が１である第３の条件を満たす場合にも両側補間にすると、境界近傍領域ＡＲ２１，ＡＲ３１における違和感を軽減させることができる。第１の条件と第３の条件を満たす場合に両側補間にする構成としてもよい。
　図１に示す本実施形態においては、フレームレートを２倍に変換するフレームレート変換装置及び方法について示したが、３倍またはそれ以上の垂直周波数に変換するフレームレート変換装置及び方法であってもよい。本実施形態をフィルムジャダー除去装置に用いてもよい。本発明は以上説明した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
　以上で説明したように、本発明によれば、動きベクトルの誤検出に起因する誤補間を低減させ、自然で違和感の少ないフレームレート変換画像を得るフレームレート変換装置を提供することができる。
　１　フレームメモリ
　２　動きベクトル検出部
　３　補間部
　４　時系列変換メモリ
　２１，２２　相関検出部
　２３～２５　相関比較部
　３１，３２　データ保持・選択部（画素データ選択部）
　３３　ベクトル遅延量変換部
　３４　選択・平均値化部（補間画素データ生成部）

Claims (8)

  1. 　第１のフレーム上の画素データであり、前記第１のフレームと前記第１のフレームより過去の第２のフレームとの間に内挿する補間フレーム上の補間画素データと同一位置にある第１の画素データと、前記第２のフレーム上の複数の画素データそれぞれとの相関値を検出する第１の相関検出部と、
    　前記第１の相関検出部より出力された相関値の内、相関が最も大きい第１の最大相関値と、この第１の最大相関値を示す方向を第１の動きベクトルとして出力する第１の相関比較部と、
    　前記第２のフレーム上の画素データであり、前記補間画素データと同一位置にある第２の画素データと、前記第１のフレーム上の複数の画素データそれぞれとの相関値を検出する第２の相関検出部と、
    　前記第２の相関検出部より出力された相関値の内、相関が最も大きい第２の最大相関値と、この第２の最大相関値を示す方向を第２の動きベクトルとして出力する第２の相関比較部と、
    　前記第１の動きベクトルと前記第２の動きベクトルの内、前記第１の最大相関値と前記第２の最大相関値との内で相関が大きい方の動きベクトルを最終的な第３の動きベクトルとして出力する第３の相関比較部と、
    　前記第３の動きベクトルに基づいて、前記第１のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第３の画素データを選択して出力する第１の画素データ選択部と、
    　前記第３の動きベクトルに基づいて、前記第２のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第４の画素データを選択して出力する第２の画素データ選択部と、
    　前記第３の画素データのみを用いた片側補間と、前記第４の画素データをのみを用いた片側補間と、前記第３及び第４の画素データを用いた両側補間とのいずれかを選択して前記補間画素データを生成して出力する補間画素データ生成部と、
    　前記補間画素データを用いて前記補間フレームを生成し、前記第１のフレームと前記第２のフレームとの間に内挿してフレームレートを変換するフレームレート変換部と
    　を備えることを特徴とするフレームレート変換装置。
  2. 　前記第３の相関比較部は、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にある第１の条件を満たすときに、前記補間画素データ生成部における補間を両側補間とするための判定信号を出力し、
    　前記補間画素データ生成部は、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成する
    　ことを特徴とする請求項１記載のフレームレート変換装置。
  3. 　前記第３の相関比較部は、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にあり、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が第１の閾値より小さい第２の条件を満たすときに、前記補間画素データ生成部における補間を両側補間とするための判定信号を出力し、
    　前記補間画素データ生成部は、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成する
    　ことを特徴とする請求項１記載のフレームレート変換装置。
  4. 　前記第３の相関比較部は、前記第２の条件に加えて、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が前記第１の閾値より小さい値である第２の閾値より小さい第３の条件を満たすときにも、前記補間画素データ生成部における補間を両側補間とするための判定信号を出力する
    　ことを特徴とする請求項２または３に記載のフレームレート変換装置。
  5. 　第１のフレーム上の画素データであり、前記第１のフレームと前記第１のフレームより過去の第２のフレームとの間に内挿する補間フレーム上の補間画素データと同一位置にある第１の画素データと、前記第２のフレーム上の複数の画素データそれぞれとの相関値を検出する第１の相関検出ステップと、
    　前記第１の相関検出ステップにて検出された相関値の内、相関が最も大きい第１の最大相関値と、この第１の最大相関値を示す方向を第１の動きベクトルとして出力する第１の相関比較ステップと、
    　前記第２のフレーム上の画素データであり、前記補間画素データと同一位置にある第２の画素データと、前記第１のフレーム上の複数の画素データそれぞれとの相関値を検出する第２の相関検出ステップと、
    　前記第２の相関検出ステップにて検出された相関値の内、相関が最も大きい第２の最大相関値と、この第２の最大相関値を示す方向を第２の動きベクトルとして出力する第２の相関比較ステップと、
    　前記第１の動きベクトルと前記第２の動きベクトルの内、前記第１の最大相関値と前記第２の最大相関値との内で相関が大きい方の動きベクトルを最終的な第３の動きベクトルとして出力する第３の相関比較ステップと、
    　前記第３の動きベクトルに基づいて、前記第１のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第３の画素データを選択して出力する第１の画素データ選択ステップと、
    　前記第３の動きベクトルに基づいて、前記第２のフレーム上の複数の画素データの内、前記補間画素データを生成するために必要な第４の画素データを選択して出力する第２の画素データ選択ステップと、
    　前記第３の画素データのみを用いた片側補間と、前記第４の画素データをのみを用いた片側補間と、前記第３及び第４の画素データを用いた両側補間とのいずれかを選択して前記補間画素データを生成して出力する補間画素データ生成ステップと、
    　前記補間画素データを用いて前記補間フレームを生成し、前記第１のフレームと前記第２のフレームとの間に内挿してフレームレートを変換するフレームレート変換ステップと
    　を含むことを特徴とするフレームレート変換方法。
  6. 　前記第３の相関比較ステップは、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にある第１の条件を満たすときに、前記補間画素データ生成ステップにおける補間を両側補間とするための判定信号を出力し、
    　前記補間画素データ生成ステップは、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成する
    　ことを特徴とする請求項５記載のフレームレート変換方法。
  7. 　前記第３の相関比較ステップは、前記第１の動きベクトルと前記第２の動きベクトルとの差分が所定の範囲内にあり、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が第１の閾値より小さい第２の条件を満たすときに、前記補間画素データ生成ステップにおける補間を両側補間とするための判定信号を出力し、
    　前記補間画素データ生成ステップは、前記判定信号が入力されたら、前記第３及び第４の画素データを平均値化して前記補間画素データを生成する
    　ことを特徴とする請求項５記載のフレームレート変換方法。
  8. 　前記第３の相関比較ステップは、前記第２の条件に加えて、前記第１の最大相関値と前記第２の最大相関値との差分の絶対値が前記第１の閾値より小さい値である第２の閾値より小さい第３の条件を満たすときにも、前記補間画素データ生成ステップにおける補間を両側補間とするための判定信号を出力する
    　ことを特徴とする請求項６または７に記載のフレームレート変換方法。
PCT/JP2010/067674 2009-10-08 2010-10-07 フレームレート変換装置及び方法 Ceased WO2011043433A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/142,735 US8319889B2 (en) 2009-10-08 2010-10-07 Frame rate conversion apparatus and method
EP20100822103 EP2375737B1 (en) 2009-10-08 2010-10-07 Device and method for frame rate conversion
KR1020117016839A KR101186143B1 (ko) 2009-10-08 2010-10-07 프레임 레이트 변환 장치 및 방법
CN2010800038511A CN102292981B (zh) 2009-10-08 2010-10-07 帧率变换装置及方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-234125 2009-10-08
JP2009234125A JP4692913B2 (ja) 2009-10-08 2009-10-08 フレームレート変換装置及び方法

Publications (1)

Publication Number Publication Date
WO2011043433A1 true WO2011043433A1 (ja) 2011-04-14

Family

ID=43856883

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/067674 Ceased WO2011043433A1 (ja) 2009-10-08 2010-10-07 フレームレート変換装置及び方法

Country Status (6)

Country Link
US (1) US8319889B2 (ja)
EP (1) EP2375737B1 (ja)
JP (1) JP4692913B2 (ja)
KR (1) KR101186143B1 (ja)
CN (1) CN102292981B (ja)
WO (1) WO2011043433A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102811332B (zh) * 2011-05-31 2015-04-15 Jvc建伍株式会社 影像信号处理装置以及方法
JP5803500B2 (ja) 2011-09-27 2015-11-04 株式会社Ｊｖｃケンウッド 動きベクトル検出装置及び方法
JP2013165487A (ja) * 2012-01-11 2013-08-22 Panasonic Corp 画像処理装置、撮像装置、およびプログラム
US9479788B2 (en) * 2014-03-17 2016-10-25 Qualcomm Incorporated Systems and methods for low complexity encoding and background detection
KR101574301B1 (ko) 2014-05-22 2015-12-04 주식회사 칩스앤미디어 프레임 율 변환 장치 및 그 방법
KR101574205B1 (ko) 2014-05-22 2015-12-04 주식회사 칩스앤미디어 프레임 율 변환을 위한 움직임 정보 추정 방법 및 그 장치
CN108040217B (zh) * 2017-12-20 2020-01-24 深圳岚锋创视网络科技有限公司 一种视频解码的方法、装置及相机
JP7139858B2 (ja) * 2018-10-12 2022-09-21 株式会社Ｊｖｃケンウッド 補間フレーム生成装置及び方法
CN110267098B (zh) * 2019-06-28 2022-05-20 连尚（新昌）网络科技有限公司 一种视频处理方法及终端
TWI748459B (zh) 2020-05-18 2021-12-01 瑞昱半導體股份有限公司 影像處理方法
CN113726980B (zh) * 2020-05-25 2024-06-25 瑞昱半导体股份有限公司 图像处理方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07336650A (ja) * 1994-06-06 1995-12-22 Nippon Hoso Kyokai <Nhk> フィールド内挿方法
JPH08191448A (ja) * 1995-01-09 1996-07-23 Oki Electric Ind Co Ltd 動きベクトルによる画面内挿装置および方法
JP2000134585A (ja) * 1998-10-23 2000-05-12 Hitachi Ltd 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
JP2003047011A (ja) * 2001-07-30 2003-02-14 Shibasoku:Kk 動きベクトルを用いる動き補正方法
JP2003274414A (ja) * 2002-03-15 2003-09-26 Toshiba Corp 動きベクトル検出方法、補間画像作成方法及び画像表示システム
JP2004320279A (ja) * 2003-04-15 2004-11-11 Victor Co Of Japan Ltd 動画像時間軸補間方法及び動画像時間軸補間装置
JP2006270823A (ja) * 2005-03-25 2006-10-05 Tama Tlo Kk 画像レート変換方法及び画像レート変換装置
JP2006331136A (ja) 2005-05-27 2006-12-07 Victor Co Of Japan Ltd 動きベクトル検出装置
JP2007504700A (ja) * 2003-09-02 2007-03-01 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 閉塞検出に基づく画素の時間的補間
JP2007506333A (ja) * 2003-09-17 2007-03-15 コニンクリユケ フィリップス エレクトロニクス エヌ．ブイ． 動きベクトルフィールド再タイミング
JP2009118456A (ja) * 2007-10-18 2009-05-28 Sharp Corp 画像補間装置および方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6192079B1 (en) * 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
EP1774794A1 (en) 2004-07-20 2007-04-18 Qualcomm Incorporated Method and apparatus for frame rate up conversion with multiple reference frames and variable block sizes
JP4359223B2 (ja) 2004-10-29 2009-11-04 株式会社 日立ディスプレイズ 映像補間装置とこれを用いたフレームレート変換装置，映像表示装置
JP4389866B2 (ja) * 2005-12-12 2009-12-24 セイコーエプソン株式会社 画像処理方法、画像処理装置、表示装置およびプログラム
US8514939B2 (en) * 2007-10-31 2013-08-20 Broadcom Corporation Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
US8953685B2 (en) 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07336650A (ja) * 1994-06-06 1995-12-22 Nippon Hoso Kyokai <Nhk> フィールド内挿方法
JPH08191448A (ja) * 1995-01-09 1996-07-23 Oki Electric Ind Co Ltd 動きベクトルによる画面内挿装置および方法
JP2000134585A (ja) * 1998-10-23 2000-05-12 Hitachi Ltd 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
JP2003047011A (ja) * 2001-07-30 2003-02-14 Shibasoku:Kk 動きベクトルを用いる動き補正方法
JP2003274414A (ja) * 2002-03-15 2003-09-26 Toshiba Corp 動きベクトル検出方法、補間画像作成方法及び画像表示システム
JP2004320279A (ja) * 2003-04-15 2004-11-11 Victor Co Of Japan Ltd 動画像時間軸補間方法及び動画像時間軸補間装置
JP2007504700A (ja) * 2003-09-02 2007-03-01 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 閉塞検出に基づく画素の時間的補間
JP2007506333A (ja) * 2003-09-17 2007-03-15 コニンクリユケ フィリップス エレクトロニクス エヌ．ブイ． 動きベクトルフィールド再タイミング
JP2006270823A (ja) * 2005-03-25 2006-10-05 Tama Tlo Kk 画像レート変換方法及び画像レート変換装置
JP2006331136A (ja) 2005-05-27 2006-12-07 Victor Co Of Japan Ltd 動きベクトル検出装置
JP2009118456A (ja) * 2007-10-18 2009-05-28 Sharp Corp 画像補間装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2375737A4

Also Published As

Publication number Publication date
US8319889B2 (en) 2012-11-27
EP2375737B1 (en) 2014-04-30
CN102292981A (zh) 2011-12-21
EP2375737A1 (en) 2011-10-12
CN102292981B (zh) 2013-12-11
KR20110106390A (ko) 2011-09-28
JP2011082846A (ja) 2011-04-21
KR101186143B1 (ko) 2012-09-27
JP4692913B2 (ja) 2011-06-01
EP2375737A4 (en) 2012-05-23
US20110267536A1 (en) 2011-11-03

Similar Documents

Publication Publication Date Title
JP4692913B2 (ja) フレームレート変換装置及び方法
JP4586052B2 (ja) 画像処理装置及びその制御方法
KR101536794B1 (ko) 후광현상이 줄어든 영상보간 장치 및 방법
US20120093231A1 (en) Image processing apparatus and image processing method
JP2008244811A (ja) フレームレート変換装置および映像表示装置
JP2007295469A (ja) 映像信号の変換装置及び方法
US20120274845A1 (en) Image processing device and method, and program
JP4506882B2 (ja) 画像処理装置および方法、並びにプログラム
CN107124617B (zh) 运动估计运动补偿中随机矢量的生成方法及系统
JP4031390B2 (ja) 画像変換装置および画像変換方法
CN103096009A (zh) 图像处理装置和方法以及图像显示装置和方法
JP4735779B2 (ja) 補間画素データ生成装置及び方法
KR100510670B1 (ko) 디인터레이싱 장치
JP5526918B2 (ja) 映像信号処理装置及び方法
JP5891913B2 (ja) 映像信号処理装置及び方法
WO2014129528A1 (ja) 映像信号処理装置及び方法
KR101361649B1 (ko) 영상 신호 처리 장치
JP2007195062A (ja) 画像静止領域判定装置、およびインタレース−プログレッシブ画像変換装置
JP4032785B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4910579B2 (ja) 画像信号処理装置、画像信号処理方法、およびプログラム
CN101252684A (zh) 将空间域的交错图场转换为循序帧的方法及系统
KR100728914B1 (ko) 영상의 속성을 이용한 디인터레이싱 장치 및 그 방법
JP5325671B2 (ja) 画像処理装置、表示装置および画像処理方法
JP2007288483A (ja) 画像変換装置
KR20080023604A (ko) 프레임 레이트 변환장치 및 프레임 레이트 변환방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080003851.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10822103

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010822103

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13142735

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20117016839

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE