WO2020203237A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
WO2020203237A1
WO2020203237A1 PCT/JP2020/011584 JP2020011584W WO2020203237A1 WO 2020203237 A1 WO2020203237 A1 WO 2020203237A1 JP 2020011584 W JP2020011584 W JP 2020011584W WO 2020203237 A1 WO2020203237 A1 WO 2020203237A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
correction
deterioration
viewpoint
crosstalk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/011584
Other languages
English (en)
French (fr)
Inventor
孝明 鈴木
紀晃 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP20785392.0A priority Critical patent/EP3952305A4/en
Priority to US17/441,987 priority patent/US20220191455A1/en
Priority to JP2021511388A priority patent/JP7424367B2/ja
Priority to CN202080023311.3A priority patent/CN113632461A/zh
Publication of WO2020203237A1 publication Critical patent/WO2020203237A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the three-dimensional [3D] impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H04N13/125—Improving the three-dimensional [3D] impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a program, and more particularly to an image processing device, an image processing method, and a program capable of correcting a three-dimensional image that can be viewed with the naked eye with high accuracy.
  • a viewing system that uses a projector array to view a three-dimensional image with the naked eye
  • images from multiple viewpoints are projected on a pixel-by-pixel basis for each projector, and the projected images for each viewpoint are projected in the horizontal direction.
  • diffusing at a predetermined diffusing angle viewing of a three-dimensional image with the naked eye is realized.
  • the number of images that can be projected can be increased by increasing the number of projectors used, so that it is possible to realize high resolution of the three-dimensional image to be viewed. It will be possible.
  • JP-A-2010-245844 Japanese Unexamined Patent Publication No. 2013-219634 JP-A-2009-0008974
  • the inverse filter is designed so as to individually correct the deterioration of the blur and the crosstalk during projection, so that it is appropriate when the amount of blur increases to some extent. Bokeh could not be corrected, and artifacts and unblurred residue due to overcorrection sometimes occurred during projection.
  • Patent Document 3 when the technique of Patent Document 3 is applied, it may take time for the calculation result for obtaining the coefficient of the inverse filter to be converged and obtained, or it may not be converged when the number of projectors increases.
  • the present disclosure has been made in view of such a situation, and in particular, the deterioration due to the mixing of images between a plurality of projectors and the optical deterioration due to the lens MTF are to be corrected in an integrated manner and at the same time. Therefore, the three-dimensional image that can be viewed with the naked eye is corrected with high accuracy.
  • the image processing apparatus of one aspect of the present disclosure performs the projection unit for projecting a multi-viewpoint image, correction for optical deterioration, and correction for crosstalk deterioration in an integrated manner and at the same time to produce the multi-viewpoint image. It is an image processing apparatus including an image generation unit to be generated.
  • the image processing method and program of one aspect of the present disclosure correspond to the image processing apparatus of one aspect of the present disclosure.
  • a multi-viewpoint image is projected, and the correction for optical deterioration and the correction for crosstalk deterioration are performed in an integrated manner and at the same time to generate the multi-viewpoint image.
  • the present disclosure makes it possible to achieve high resolution of a three-dimensional image by correcting crosstalk deterioration due to image mixing between a plurality of projectors and optical deterioration due to a lens MTF in an integrated manner and at the same time. Is what you do.
  • FIG. 1 shows a configuration example of an image processing unit to which the present disclosure is applied.
  • the image processing unit of FIG. 1 is composed of an image generation unit 31, a projection unit 32-1 to 32-n, a screen 33, a diffusion plate 34, an image pickup unit 35, and a correction unit 36.
  • the image generation unit 31 generates viewpoint images P1 to Pn projected by each of the projection units 32-1 to 32-n from the input multi-viewpoint image (group) PM1.
  • the image generation unit 31 is projected and reflected on the screen 33 made of a mirror by the inverse function (inverse filter) for correction supplied from the correction unit 36 with respect to the generated multi-viewpoint image (group) PM1.
  • the output image (group) PM2 viewed by being diffused through the diffuser 34 is corrected so as to match the input image (group) PM1.
  • the image generation unit 31 outputs each of the multi-viewpoint images P1 to Pn corrected by the inverse function (inverse filter) to the projection units 32-1 to 32-n.
  • the projection units 32-1 to 32-n are composed of, for example, a projector, and project the multi-viewpoint images P1 to Pn as output images (group) PM2 on the screen 33, respectively.
  • the projection units 32-1 to 32-n and the multi-viewpoint images P1 to Pn are simply referred to as the projection unit 32 and the multi-viewpoint image P when it is not necessary to distinguish them from each other. The same applies.
  • a diffusion plate 34 made of an anisotropic diffusion plate is provided in front of the screen 33, and the images are diffused in a predetermined diffusion distribution for each pixel row of the multi-viewpoint images P1 to Pn and viewed by the viewer. As a result, viewing of a three-dimensional image with the naked eye is realized.
  • the multi-viewpoint images P1 to Pn are each composed of images of different viewpoints in units of a single pixel or a plurality of pixel columns, and the plurality of multi-viewpoint images P1 to Pn are each in a predetermined viewing direction.
  • the viewing of the three-dimensional image is realized by viewing the image of the pixel sequence corresponding to each viewing direction.
  • the image P1 is composed of the viewpoints V1-1 to V1-m in the pixel row unit
  • the image Pn is composed of the viewpoints Vn-1 to Vn-m in the pixel row unit.
  • An image pickup unit 35 is provided at a position corresponding to the viewing position of the viewer, an image viewed by the viewer is captured, and the captured image is output to the correction unit 36.
  • the correction unit 36 generates an inverse function (filter) for correcting the output image (group) PM2, which is an image captured by the image pickup unit 35, so that it is the same as the input image (group) PM1 to generate an image. Output to unit 31.
  • the projection units 32-1 to 32-n of the image processing unit 11 are arranged in the horizontal direction.
  • the projection unit 32-11, 32-12, 32-21, 32-22, 32-31, 32-32 Is arranged a multi-viewpoint image is projected on the screen 33, and the case where the viewers H1 and Hn view the projected image on the screen 33 is considered.
  • the projection unit 32 constitutes an image of a different viewpoint in units of a single or a plurality of pixel rows in the horizontal direction, and projects the image as a multi-view image on the screen 33.
  • the optical path of the image of the pixel position Psc1 of the image projected by the projection unit 32-11 is the optical path r11 represented by the solid line
  • the optical path of the image of the pixel position Psc1 of the image projected by the projection unit 32-12 is. It is an optical path r12 represented by a dotted line.
  • optical paths of the image at the pixel position Psc1 of the image projected by each of the projection units 32-21 and 32-22 are the optical path r21-1 represented by the alternate long and short dash line and r22-1 represented by the alternate long and short dash line. is there.
  • the optical path of the image of the pixel position Psc2 of the image projected by the projection unit 32-31 is the optical path r31 represented by the alternate long and short dash line, and the optical path of the image of the pixel position Psc2 of the image projected by the projection unit 32-32. Is the optical path r32 represented by the alternate long and short dash line.
  • optical paths of the image of the pixel position Psc2 of the image projected by each of the projection units 32-21 and 32-22 are the optical path r21-2 represented by the solid line and r22-2 represented by the dotted line.
  • the viewer H1 views the images of the optical paths r22-1 to r32 at the viewpoint V1 which is the left eye, and views the images of the optical paths r21-1 to r31 at the viewpoint V2 which is the right eye.
  • the viewer Hn views the images of the optical paths r12 to r22-2 at the viewpoint Vn-1 which is the left eye, and views the images of the optical paths r11 to r21-2 at the viewpoint Vn which is the right eye.
  • the viewers H1 and Hn can view the three-dimensional image by viewing the images in different viewing directions with their left and right eyes.
  • FIG. 2 is a top view showing a state in which the projection units 32 are arranged in the horizontal direction and the screen 33 is provided in front of the projection direction.
  • the image P (k) projected on the screen 33 by the projection unit 32-k is reflected by the screen 33, and the arrow indicated by the dotted line in the view area Z in the drawing. It is viewed in the range sandwiched between.
  • the pixel sequence of the horizontal position i on the view area Z is the position facing the center position Vc which is the center position of the view area Z on the image P (k) and the position on the view area Z which is the viewing direction.
  • the angle formed by the position of is the angle ⁇ , it is represented by tan ⁇ on the viewed area Z.
  • the horizontal axis is the position i of the pixel array in the horizontal direction on the image P (k) projected by the projection unit 32-k
  • tan ⁇ is the position in the horizontal direction in the visual range Z. Is the vertical axis (the lower direction in the figure is positive), the position i of the horizontal pixel sequence on the image P projected by the projection unit 32-k and the horizontal position in the visual range Z.
  • tan ⁇ has a relationship represented by a straight line Lk indicated by a downward-sloping dotted line.
  • the image P projected on the screen 33 ( k-1) is set as a range sandwiched by the arrows indicated by the alternate long and short dash lines in the viewing area Z in the drawing.
  • the projection unit 32-k for example, when the projection unit 32- (k + 1) is provided on the right side in the drawing as shown in FIG. 7, the image P (k + 1) projected on the screen 33. Is set as the range sandwiched by the arrows indicated by the straight lines indicated by the solid lines of the viewing area Z in the drawing.
  • the pixel strings of the image on the screen 33 facing the center position Vc are the pixel sequence Pc projected by the projection unit 32-k and the projection unit 32- (k-1). It is assumed that it is between the pixel sequences Pc-1 projected by.
  • the pixel sequences Pc-4 to Pc + 3 are pixel sequences projected by the projection units 32- (k-4) to 32- (k + 3), respectively, on the screen 33 viewed at the position of the center position Vc. ..
  • the pixel array of the image on the screen 33 facing the center position Vc is, for example, the pixel array Pt between the pixel array Pc-1 and the pixel array Pc as shown in FIG. 13, the pixels.
  • the image of the column Pt cannot be viewed unless it moves from the center position Vc to the position Vc'.
  • the diffuser plate 34 is placed in front of the screen 33. Is provided.
  • the diffuser plate 34 when the diffuser plate 34 is provided in front of the screen 33, as shown in FIG. 15, the image of each pixel row reflected by the screen 33 is at a predetermined angle with respect to the horizontal direction.
  • An image diffused by the diffusion distribution D and viewed as an image composed of pixel sequences discrete in the horizontal direction can be viewed as an image composed of pixel sequences continuous in the horizontal direction.
  • the downwardly convex waveform in the horizontal direction in FIG. 15 is a schematic representation of the diffusion distribution D, and according to this diffusion distribution, the optical path of the same pixel sequence spreads as shown by the arrow of the alternate long and short dash line. It is shown that it is reflected. Further, in FIG. 15, although the number of arrows on the alternate long and short dash line is three, it does not specifically represent the number of optical paths, but schematically represents that they are diffused.
  • the diffusion plate 34 diffuses with a diffusion distribution D having a peak diffusion intensity at the viewing position that is viewed discretely when the diffusion plate 34 is absent. ing.
  • the image is viewed as an image composed of pixel sequences discrete in the horizontal direction.
  • the image of the pixel array that can be viewed discretely has the diffusion intensity of the pixel array that can be viewed discretely as a peak. It is diffused and viewed so as to have a diffusion distribution D.
  • FIG. 16 an image of a pixel sequence in which each line type is different is represented, and it is expressed that the upper part of FIG. 16 is viewed as an image composed of discrete pixel sequences. Further, the lower part of FIG. 16 expresses that the image of each pixel row is viewed in a state of being diffused with a diffusion distribution D having a peak at the position where the image of each pixel row is viewed.
  • the pixel sequences Pc, Pc-that could be viewed only from a nearby viewing position.
  • the image of 1 By diffusing the image of 1, it becomes possible to view the image from the center position Vc as an image in which both are mixed.
  • the image viewed from the center position Vc can be viewed as an image in which the pixel strings are continuously arranged in the horizontal direction.
  • the images of the pixel sequences Pc and Pc-1 are diffused, so that the images are viewed from the center position Vc as an image in which both are mixed.
  • Blurring (deterioration of crosstalk) due to crosstalk occurs when images of distant pixel rows are mixed as well as the pixel rows of.
  • the image is projected through the lens, but the image projected due to the influence of the lens MTF (lens performance expressed by the MTF curve) is blurred (optical deterioration). Occurs.
  • the pixel train Pt is projected by the projection units 32- (k + 1) to 32- (k-1) on the straight lines Lk-1, Lk, and Lk + 1, respectively.
  • Blurring caused by the diffuser plate 34 is caused by crosstalk in which the images of the pixel sequences Pk + 1, Pk, and Pk-1 are mixed with the diffusion intensity corresponding to each deterioration function Fs (function corresponding to the diffusion distribution D of the diffuser plate 34). It is viewed as an image.
  • the blur caused by the cross talk caused by the diffuser plate 34 (hereinafter, also referred to as the blur caused by the cross talk or the deterioration of the cross talk) and the projection unit 32- (k + 1) to 32-
  • the image is viewed in a state in which blurring caused by each lens MTF of (k-1) (hereinafter, also referred to as blurring caused by lens MTF or optical deterioration) is generated.
  • the pixels of the pixel row Pk + 1 on the straight line Lk + 1 are used, and the lens MTF of the projection unit 32- (k + 1) is used.
  • the correction in the direction of the arrow Zk + 1 in the figure is applied based on the deterioration function FL- (k + 1) of.
  • the pixel sequences Pk_1 to the columns Pk_1 around the pixels are used, and the deterioration function FL-k of the lens MTF of the projection unit 32-k is used in the drawing.
  • the direction of the arrow Zk of is corrected.
  • the peripheral pixel sequences Pk-1_1 to Pk-1_4 are used, and the deterioration function of the lens MTF of the projection unit 32- (k-1) is used.
  • the direction of the arrow Zk-1 in the figure is corrected based on FL- (k-1).
  • corrections based on the lens MTF are applied to each pixel of the pixel sequence Pk-1, Pk, Pk + 1 having the same horizontal direction on the image as the pixel array Pt.
  • the pixels of the pixel sequence Pt are corrected in the arrow Zc direction in the figure based on the deterioration functions Fs in each of the straight lines Lk-1, Lk, and Lk + 1 in the pixel sequences Pk-1, Pk, and Pk + 1.
  • each pixel in the pixel sequence Pt is corrected to the blur caused by the respective lens MTFs of the projection units 32- (k-1), 32-k, and 32- (k + 1) and the blur caused by mutual crosstalk. Will be hung.
  • the pixel sequence Pk_3, which is the closest to the pixel array Pt in FIG. 22, is assumed to have the highest correlation, but the blur caused by crosstalk and the blur caused by the lens MTF are corrected independently. By doing so, the correction is applied in a state where the correlation is ignored.
  • an inverse function that integrally and simultaneously corrects the blur caused by crosstalk (crosstalk deterioration) and the blur caused by the lens MTF (optical deterioration) is provided.
  • the image generation unit 31 corrects the generated multi-viewpoint image using an inverse function (inverse filter), outputs it to the projection units 32-1 to 32-n, and projects it.
  • the image of the pixel sequence Pt is in the vicinity of the pixel array Pt, for example, the pixel sequences Pk-1, Pk-1_1 to the columns Pk-1_4, Pk, Pk_1 to the columns within the range Zf. Pk_4, Pk + 1, Pk + 1_1 to columns Pk + 1_1 are corrected by applying an inverse function (inverse filter) that corrects the blur caused by crosstalk and the blur caused by the lens MTF in an integrated manner and at the same time.
  • an inverse function inverse filter
  • the inverse functions for applying correction are a transfer function that expresses a model of blurring caused by crosstalk (crosstalk deterioration transfer function) and a transfer function that expresses a model of blurring caused by lens MTF (optical). It is an inverse function (inverse filter) obtained based on the deterioration transfer function).
  • X is an input image
  • Y is an output image
  • D (X) is a transfer function expressing a blur generation model due to crosstalk
  • M (X) is a blur generation due to the lens MTF. It is a transfer function that expresses a model.
  • the correction unit 36 projects a transfer function D (X) expressing a model of blurring caused by crosstalk onto a screen 33, for example, by projecting a known test pattern on the projection unit 32, and the image pickup unit 35 via the diffusion plate 34. From the comparison between the imaged test pattern and the known test pattern, it is obtained in advance as a function corresponding to the diffusion distribution of the image in pixel sequence units by the diffusion plate 34.
  • the correction unit 36 projects a transfer function M (X) expressing a model of blurring caused by the lens MTF onto the screen 33, for example, by projecting a known test pattern on the projection unit 32, and images the image through the diffuser plate 34.
  • the test pattern imaged by the unit 35 is imaged, and the imaged test pattern is compared with a known test pattern to obtain it in advance as a function.
  • the transfer function M (X) may be obtained based on the data of the lens MTF individually preset for each of the projection units 32.
  • the correction unit 36 obtains an inverse function (inverse filter) based on the transfer functions D (X) and M (X), and by multiplying the input image, it is projected on the screen 33 and diffused by the diffuser plate 34. Correct the output image that is viewed.
  • Y' is the corrected output image
  • D (X) -1 is the inverse function of the transfer function expressing the model of blurring caused by crosstalk
  • M (X) -1 is the lens. It is the inverse function of the transfer function that expresses the model of blurring caused by MTF.
  • the inverse function (inverse filter) (D -1 ⁇ M -1 (X)) makes it possible to integrally and simultaneously correct the blur caused by crosstalk and the blur caused by the lens MTF.
  • the correction unit 36 obtains (D -1 ⁇ M -1 (X)) which becomes an inverse function (inverse filter) by the above-mentioned method and supplies it to the image generation unit 31.
  • the image generation unit 31 When the image generation unit 31 generates the images P1 to Pn based on the input image PM1 (FIG. 1), the image generation unit 31 and the inverse function (inverse filter) supplied from the correction unit 36 for each pixel sequence of the image P. By multiplying by (D -1 and M -1 (X)), the blur caused by crosstalk and the blur caused by the lens MTF are corrected in an integrated manner and at the same time.
  • the blur caused by crosstalk crosstalk deterioration
  • the blur caused by the lens MTF optical deterioration
  • the surrounding pixel strings are appropriately corrected according to the above, and the viewed three-dimensional image can be corrected with high accuracy.
  • D -1 (X) and M -1 (X) in (D -1 and M -1 (X)) which is an inverse function (inverse filter)
  • a cross is made. It may be adjusted so as to preferentially correct either the blur caused by the talk (crosstalk deterioration) or the blur caused by the lens MTF (optical deterioration).
  • step S11 the correction unit 36 sets the unprocessed projection unit 32 among the projection units 32-1 to 32-n as the processing target, and cross-talks the amount of crosstalk on the screen 33 of the projection unit 32 to be processed. Acquire and store as information on the amount of blur caused by crosstalk.
  • the image generation unit 31 generates a test pattern, projects the test pattern onto the screen 33 by the projection unit 32 to be processed, and the test pattern projected on the screen 33 is transmitted through the diffuser plate 34.
  • the imaging unit 35 takes an image and outputs it to the correction unit 36.
  • the correction unit 36 measures the diffusion distribution based on the comparison between the known test pattern and the imaged test pattern, and identifies the amount of crosstalk from the diffusion distribution.
  • the correction unit 36 may acquire the design value and the amount of crosstalk measured by another measuring device in advance.
  • step S12 the correction unit 36 acquires and stores the amount of blur of the projection unit 32 to be processed as information on the amount of blur caused by the lens MTF.
  • the image generation unit 31 generates a test pattern
  • the projection unit 32 to be processed projects the test pattern onto the screen 33
  • the image pickup unit 35 images the test pattern projected on the screen 33. Output to the correction unit 36.
  • the correction unit 36 specifies the amount of blur related to the lens MTF based on the comparison between the known test pattern and the captured test pattern.
  • the correction unit 36 may acquire the design value and the amount of blur related to the lens MTF measured in advance by another measuring device.
  • step S13 the correction unit 36 determines whether or not there is an unprocessed projection unit 32, and if there is an unprocessed projection unit 32, the process returns to step S11.
  • steps S11 to S13 are repeated until the information on the amount of crosstalk (the amount of blur caused by crosstalk) related to all the projection units 32 and the information on the amount of blur caused by the lens MTF are acquired.
  • step S13 when it is considered that the information on the amount of crosstalk (the amount of blur caused by crosstalk) related to all the projection units 32 and the information on the amount of blur caused by the lens MTF have been acquired, the process is stepped. Proceed to S14.
  • step S14 the correction unit 36 optimizes the pixel distribution based on the information on the amount of crosstalk (the amount of blur caused by crosstalk) related to all the projection units 32 and the information on the amount of blur caused by the lens MTF.
  • An inverse function (inverse filter) including the inclusion is set and supplied to the image generation unit 31.
  • the correction unit 36 includes the blur caused by crosstalk and the lens MTF caused by (D -1 and M -1 (X)) in the above equation (2).
  • step S15 the image generation unit 31 reads the input image, generates images P1 to Pn, and applies an inverse function (inverse filter) to each of them to cause blurring due to crosstalk and lens MTF. It corrects the blur in an integrated manner and at the same time.
  • inverse function inverse filter
  • the image generation unit 31 integrally corrects the blur caused by the crosstalk and the blur caused by the lens MTF, and simultaneously corrects the images P1 to Pn to the projection units 32-1 to 32-n, respectively. Output.
  • step S16 the projection units 32-1 to 32-n superimpose the images P1 to Pn corrected at the same time on the screen by integrating the blur caused by the crosstalk and the blur caused by the lens MTF, respectively. Project to 33.
  • the blur caused by cross talk (cross talk deterioration) and the blur caused by the lens MTF (optical deterioration) are integrally and collectively corrected simultaneously on the screen 33 P1.
  • the user viewing through the diffuser 34 can view the three-dimensional image with high accuracy from which the blur caused by the cross talk and the lens MTF is removed. It becomes possible to do.
  • steps S11 to 14 may be completed offline in advance so that the inverse function (inverse filter) is obtained in advance.
  • the image processing unit 11 of FIG. 1 is composed of a projection unit 32 made of a projector, a screen 33 made of a mirror, and a diffusion plate 34 made of an anisotropic diffuser plate has been described. Any other configuration can be applied as long as the configuration allows the viewing of a three-dimensional image.
  • the projection unit 32 and the screen 33 may be composed of an LCD (Liquid Crystal Display) or an OLED (Organic Light Emitting Diode), and the diffuser plate 34 may be composed of a lenticular lens or a paralux barrier. ..
  • the correction unit 36 generates an inverse function (inverse filter) used for correction from the transfer function expressing the blur generation model caused by crosstalk and the transfer function expressing the blur generation model caused by the lens MTF, and creates an image.
  • an inverse function inverse filter
  • the image generation unit 31 may apply the same correction to the pixels by directly performing the same optimization processing as the correction using the inverse filter.
  • the image may be generated by linear interpolation using the image from the viewpoint where no error has occurred.
  • the images P101 and P105 to be viewed at the viewpoint positions V11 and V12 are required, the images in between may be mixed according to the viewpoint position to be generated.
  • the image P121 and P125 are required as images corresponding to the images P101 and P105, the image P121 has a density of 75% and the image P125 has a density of 25%.
  • the mixed image P122 is generated by interpolation in the mixed state.
  • the mixed image P123 is generated by interpolation with the image P121 having a density of 50% and the image P125 having a density of 50%.
  • the mixed image P124 is generated by interpolation with the image P121 having a density of 25% and the image P125 having a density of 75%.
  • the viewpoint position of the images P121 to P125 in the lower part of FIG. 25 is changed by ensuring the motion parallax which is such a human visual characteristic, the images P101 to P105 in the upper part of FIG. 25 as a whole. It is possible to watch as follows.
  • step S36 the image generation unit 31 causes an error indicating that the images P1 to Pn generated by using the inverse function (inverse filter) are broken, for example, the pixel values are saturated. Determine if it has occurred.
  • step S36 If it is determined in step S36 that an error has occurred, the process proceeds to step S37.
  • step S37 the image generation unit 31 interpolates and generates an image in which an error has occurred using an image at a viewpoint position in which an error has not occurred, as described with reference to the lower part of FIG. 25.
  • the image Pa is viewed, in the viewpoint position range Lpb, the image Pb is viewed, and in the viewpoint position range Lpc, the image Pc is viewed.
  • a multi-view image is projected so that the image Pd can be viewed.
  • Example to be executed by software can be executed by hardware, but can also be executed by software.
  • the programs that make up the software can execute various functions by installing a computer embedded in dedicated hardware or various programs. It is installed from a recording medium on a possible, eg, general purpose computer.
  • FIG. 29 shows a configuration example of a general-purpose computer.
  • This personal computer has a built-in CPU (Central Processing Unit) 1001.
  • the input / output interface 1005 is connected to the CPU 1001 via the bus 1004.
  • ROM (Read Only Memory) 1002 and RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • the input / output interface 1005 includes an input unit 1006 including an input device such as a keyboard and a mouse for the user to input operation commands, an output unit 1007 for outputting a processing operation screen and an image of the processing result to a display device, a program and various data. It is composed of a storage unit 1008 including a hard disk drive for storing, a LAN (Local Area Network) adapter, and the like, and is connected to a communication unit 1009 for executing communication processing via a network represented by the Internet. In addition, magnetic disks (including flexible disks), optical disks (including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical disks (including MD (Mini Disc)), or semiconductors.
  • a drive 1010 that reads and writes data to and from a removable storage medium 1011 such as a memory is connected.
  • the CPU 1001 is read from a program stored in the ROM 1002 or a removable storage medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 into the RAM 1003. Various processes are executed according to the program.
  • the RAM 1003 also appropriately stores data and the like necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the above-described series. Is processed.
  • the program executed by the computer can be recorded and provided on the removable storage medium 1011 as a package medium or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by mounting the removable storage medium 1011 in the drive 1010.
  • the program can be received by the communication unit 1009 and installed in the storage unit 1008 via a wired or wireless transmission medium.
  • the program can be pre-installed in the ROM 1002 or the storage unit 1008.
  • the program executed by the computer may be a program in which processing is performed in chronological order in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • CPU 1001 in FIG. 29 realizes the functions of the image generation unit 31 and the correction unit 36 in FIG.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the present disclosure can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the image generation unit applies a correction filter that integrally and simultaneously applies a correction for the optical deterioration and a correction for the crosstalk deterioration to the input image, thereby applying the multi-viewpoint image.
  • the image processing apparatus according to ⁇ 1>.
  • the image processing apparatus further including a correction unit that sets an inverse filter composed of a function as the correction filter.
  • the optical deterioration transfer function is set based on the optical characteristics based on the MTF (Modulation Transfer Function) curve of the lens used when the projection unit is a projector.
  • Image processing device ⁇ 5> The image processing apparatus according to ⁇ 3>, wherein the crosstalk deterioration transfer function is set based on a diffusion distribution by a diffusion plate that diffuses a multi-viewpoint image projected by the projection unit in pixel sequence units.
  • ⁇ 6> The image processing apparatus according to ⁇ 5>, wherein the projection unit is a projector, and the diffuser is an anisotropic diffuser.
  • the image processing apparatus wherein the projection unit is an LCD (Liquid Crystal Display) or an OLED (Organic Light Emitting Diode), and the diffuser is a lenticular lens or a paralux barrier.
  • the correction unit adjusts the constraint term in the inverse function, and sets the correction filter that preferentially corrects either the correction for the optical deterioration or the correction for the crosstalk deterioration ⁇ 3.
  • the image processing apparatus ⁇ 9> When an error occurs in the multi-viewpoint image due to the correction using the correction filter, the image generation unit uses the multi-viewpoint image in which the error does not occur and causes the error by linear interpolation.
  • the image processing apparatus which generates a multi-viewpoint image corresponding to the multi-viewpoint image.
  • the multi-viewpoint image in which an error occurs due to correction using the correction filter is an image including pixels with saturated pixel values.
  • the multi-viewpoint image is a multi-viewpoint image for viewing a three-dimensional image according to a viewing position.
  • the multi-viewpoint image is a multi-viewpoint image for viewing a two-dimensional image according to a viewing position.
  • An image processing method including an image generation process of generating a multi-viewpoint image projected by a projection unit by performing correction for optical deterioration and correction for crosstalk deterioration in an integrated manner and at the same time.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本開示は、複数プロジェクタ間の画像の混ざりによる劣化と、レンズMTFによる光学的な劣化とを、統合的に、かつ、同時に補正することで、裸眼で視聴可能な３次元画像を高精度に補正できるようにする画像処理装置、および画像処理方法、並びにプログラムに関する。 光学的劣化に対する補正と、クロストーク劣化に対する補正とを統合的に、かつ、同時に施して、投影部により投影される多視点画像を生成する。３次元画像表示装置に適用することができる。

Description

画像処理装置、および画像処理方法、並びにプログラム
　本開示は、画像処理装置、および画像処理方法、並びにプログラムに関し、特に、裸眼で視聴可能な３次元画像を高精度に補正できるようにした画像処理装置、および画像処理方法、並びにプログラムに関する。
　プロジェクタアレイを用いた裸眼による３次元画像を視聴させる視聴システムでは、プロジェクタ毎に、画素列単位で複数の視点の異なる画像を投影し、さらに、投影された視点毎の画像を水平方向に対して所定の拡散角度で拡散させることで、裸眼による３次元画像の視聴を実現させている。
　ところで、プロジェクタアレイを用いた裸眼による視聴システムにおいては、使用するプロジェクタの数を増やすことにより、投影できる画像数を増やすことができるので、視聴される３次元画像の高解像度化を実現することが可能となる。
　しかしながら、一方で、プロジェクタの数が増えると装置構成や装置コストが増大してしまう。
　そこで、解像度を低下させることなく、少ない数のプロジェクタで視聴システムを構成することが考えられるが、少ないプロジェクタ数で裸眼による３次元画像の視聴を実現する場合、システムに必要となる拡散板の拡散角度を大きくする必要性が生じる。
　ところが、拡散板の拡散角度を大きくすると、複数プロジェクタ間の画像（多視点画像）が混ざってしまう上に、プロジェクタのレンズMTF（Modulation Transfer Function）（MTF曲線により表現されるレンズの結像性能）による光学的な劣化もあり、視聴される３次元画像にはボケやクロストークが生じてしまう。
　そこで、ボケやクロストークをカメラなどの撮像装置により撮像し、撮像結果に基づいて、ボケやクロストークに対応する補正を投影される画像に予め掛けておくことで、ボケとクロストークとを個々に解消する信号処理技術が提案されている（特許文献１乃至３参照）。
特開２０１０－２４５８４４号公報 特開２０１３－２１９６４３号公報 特開２００９－００８９７４号公報
　しかしながら、特許文献１，２の技術を適用した場合、投影時のボケとクロストークとの劣化を個々に補正するように逆フィルタが設計されることになるため、ある程度ボケ量が大きくなると適切にボケを補正することができず、投影時に過補正によるアーティファクトやボケ残しが生じることがあった。
　また、特許文献３の技術を適用した場合、逆フィルタの係数を求めるための計算結果を収束させて求められるまでに時間が掛かったり、プロジェクタ数が増えると収束しないことがあった。
　結果として、特許文献１乃至３の技術を適用しても、補正できるボケやクロストーク量には限界があり、特許文献１乃至３の技術を組み合わせて用いたとしても適切にできる補正には限界があった。
　本開示は、このような状況に鑑みてなされたものであり、特に、複数プロジェクタ間の画像の混ざりによる劣化と、レンズMTFによる光学的な劣化とを、統合的に、かつ、同時に補正することで、裸眼で視聴可能な３次元画像を高精度に補正するものである。
　本開示の一側面の画像処理装置は、多視点画像を投影する投影部と、光学的劣化に対する補正と、クロストーク劣化に対する補正とを統合的に、かつ、同時に施して、前記多視点画像を生成する画像生成部とを含む画像処理装置である。
　本開示の一側面の画像処理方法、およびプログラムは、本開示の一側面の画像処理装置に対応する。
　本開示の一側面においては、多視点画像が投影され、光学的劣化に対する補正と、クロストーク劣化に対する補正とが統合的に、かつ、同時に施されて、前記多視点画像が生成される。
本開示の画像処理部の構成例を説明する図である。 裸眼による３次元画像の視聴の原理を説明する図である。 投影部により投影される画像の水平方向の座標位置と視域における座標位置との関係を説明する図である。 投影部により投影される画像の水平方向の座標位置と視域における座標位置との関係を説明する図である。 投影部により投影される画像の水平方向の座標位置と視域における座標位置との関係を説明する図である。 投影部により投影される画像の水平方向の座標位置と視域における座標位置との関係を説明する図である。 投影部により投影される画像の水平方向の座標位置と視域における座標位置との関係を説明する図である。 投影部により投影される画像の水平方向の座標位置と視域における座標位置との関係を説明する図である。 投影部により投影される画像の水平方向の座標位置と視域における座標位置との関係を説明する図である。 投影部により投影される画像の水平方向の座標位置と視域における座標位置との関係を説明する図である。 投影部により投影される画像の水平方向の座標位置と視域における座標位置との関係を説明する図である。 投影部により投影される画像の水平方向の座標位置と視域における座標位置との関係を説明する図である。 投影部により投影される画像の水平方向の座標位置と視域における座標位置との関係を説明する図である。 投影部により投影される画像の水平方向の座標位置と視域における座標位置との関係を説明する図である。 拡散板がない場合に視聴される画像を説明する図である。 拡散板がある場合に視聴される画像を説明する図である。 拡散板がある場合に視聴される画像を説明する図である。 ３次元画像におけるクロストーク起因のボケとレンズMTF起因のボケを説明する図である。 ３次元画像におけるクロストーク起因のボケとレンズMTF起因のボケを説明する図である。 ３次元画像におけるクロストーク起因のボケとレンズMTF起因のボケとをそれぞれ独立して補正するときの処理を説明する図である。 ３次元画像におけるクロストーク起因のボケとレンズMTF起因のボケとをそれぞれ独立して補正するときの処理を説明する図である。 ３次元画像におけるクロストーク起因のボケとレンズMTF起因のボケとを統合的に、かつ、一括して補正するときの処理を説明する図である。 図１の画像処理部による表示処理を説明する図である。 応用例１として逆関数を用いた補正においてエラーが発生した場合の処理を説明する図である。 応用例１として逆関数を用いた補正においてエラーが発生した場合の処理を説明する図である。 図１の画像処理部による逆関数を用いた補正において発生したエラーに対応する表示処理を説明する図である。 応用例２として多視点画像として視点位置に応じて異なる２次元画像を表示する例について説明する図である。 応用例２として多視点画像として視点位置に応じて異なる２次元画像を表示する例について説明する図である。 汎用のパーソナルコンピュータの構成例を説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．好適な実施の形態
　２．応用例１
　３．応用例２
　４．ソフトウェアにより実行させる例
　＜＜１．好適な実施の形態＞＞
　本開示は、複数プロジェクタ間の画像の混ざりによるクロストーク劣化と、レンズMTFによる光学的劣化とを、統合的に、かつ、同時に補正することで、３次元画像の高解像度化を実現できるようにするものである。
　図１は、本開示を適用した画像処理部の構成例を示している。
　図１の画像処理部は、画像生成部３１、投影部３２－１乃至３２－ｎ、スクリーン３３、拡散板３４、撮像部３５、および補正部３６より構成される。
　画像生成部３１は、入力となる多視点画像（群）ＰＭ１より、投影部３２－１乃至３２－ｎのそれぞれにより投影される視点画像Ｐ１乃至Ｐｎを生成する。
　また、画像生成部３１は、生成した多視点画像（群）ＰＭ１に対して、補正部３６より供給される補正用の逆関数（逆フィルタ）により、ミラーからなるスクリーン３３に投影されて反射され、拡散板３４を介して拡散されることで視聴される出力画像（群）ＰＭ２が入力画像（群）ＰＭ１と一致するように補正を掛ける。
　さらに、画像生成部３１は、逆関数（逆フィルタ）により補正された多視点画像Ｐ１乃至Ｐｎのそれぞれを投影部３２－１乃至３２－ｎに出力する。
　投影部３２－１乃至３２－ｎは、例えば、プロジェクタから構成され、それぞれ多視点画像Ｐ１乃至Ｐｎを出力画像（群）ＰＭ２としてスクリーン３３に投影させる。
　尚、投影部３２－１乃至３２－ｎ、および多視点画像Ｐ１乃至Ｐｎは、それぞれを特に区別する必要がない場合、単に、投影部３２、および多視点画像Ｐと称し、その他の構成についても同様に称する。
　スクリーン３３の前段には、異方性拡散板からなる拡散板３４が設けられており、多視点画像Ｐ１乃至Ｐｎの画素列単位で画像がそれぞれ所定の拡散分布で拡散されて視聴者に視聴されることで、裸眼による３次元画像の視聴が実現される。
　より詳細には、多視点画像Ｐ１乃至Ｐｎは、それぞれ単一、または、複数の画素列単位で異なる視点の画像により構成されており、複数の多視点画像Ｐ１乃至Ｐｎが、それぞれ所定の視聴方向から視聴者により視聴されるとき、それぞれの視聴方向に対応した画素列の画像が視聴されることにより３次元画像の視聴が実現される。
　図１においては、画像Ｐ１が画素列単位の視点Ｖ１－１乃至Ｖ１－ｍから構成されており、画像Ｐｎが画素列単位の視点Ｖｎ－１乃至Ｖｎ－ｍから構成されていることが表現されている。
　視聴者の視聴位置に対応する位置に撮像部３５が設けられており、視聴者により視聴される画像が撮像され、撮像された画像が補正部３６に出力される。
　補正部３６は、撮像部３５により撮像された画像である出力画像（群）ＰＭ２が入力画像（群）ＰＭ１と同一になるように補正するための逆関数（フィルタ）を生成して、画像生成部３１に出力する。
　＜３次元画像の視聴の原理＞
　ここで、３次元画像の視聴の原理について説明する。
　画像処理部１１の投影部３２－１乃至３２－ｎは、水平方向に配列されている。
　ここで、説明を簡単にするため、例えば、図２で示されるように、図中左から、投影部３２－１１，３２－１２，３２－２１，３２－２２，３２－３１，３２－３２が配置され、スクリーン３３に多視点画像を投影し、スクリーン３３上に投影された画像を視聴者Ｈ１，Ｈｎが視聴する場合について考える。
　投影部３２は、それぞれ水平方向の単一、または、複数の画素列単位で異なる視点の画像を構成しており、多視点画像としてスクリーン３３に対して投影する。
　ここでは、投影部３２－１１，３２－１２，３２－２１，３２－２２，３２－３１，３２－３２のそれぞれが投影する画像のうち、スクリーン３３上の端部の画素位置（画素列）Ｐｓｃ１，Ｐｓｃ２の画像の光路のみについて説明する。
　すなわち、投影部３２－１１が投影する画像の画素位置Ｐｓｃ１の画像の光路は、実線で表された光路ｒ１１であり、投影部３２－１２が投影する画像の画素位置Ｐｓｃ１の画像の光路は、点線で表された光路ｒ１２である。
　また、投影部３２－２１，３２－２２のそれぞれが投影する画像の画素位置Ｐｓｃ１の画像の光路は、二点鎖線で表された光路ｒ２１－１、および一点鎖線で表されたｒ２２－１である。
　さらに、投影部３２－３１が投影する画像の画素位置Ｐｓｃ２の画像の光路は、二点鎖線で表された光路ｒ３１であり、投影部３２－３２が投影する画像の画素位置Ｐｓｃ２の画像の光路は、一点鎖線で表された光路ｒ３２である。
　また、投影部３２－２１，３２－２２のそれぞれが投影する画像の画素位置Ｐｓｃ２の画像の光路は、実線で表された光路ｒ２１－２、および点線で表されたｒ２２－２である。
　視聴者Ｈ１は、左眼となる視点Ｖ１において、光路ｒ２２－１乃至ｒ３２の画像を視聴し、右眼となる視点Ｖ２において、光路ｒ２１－１乃至ｒ３１の画像を視聴する。
　また、視聴者Ｈｎは、左眼となる視点Ｖｎ－１において、光路ｒ１２乃至ｒ２２－２の画像を視聴し、右眼となる視点Ｖｎにおいて、光路ｒ１１乃至ｒ２１－２の画像を視聴する。
　すなわち、視聴者Ｈ１，Ｈｎは、左右の眼で、それぞれ異なる視聴方向の画像を視聴することで、３次元画像の視聴が実現される。
　尚、図２においては、投影部３２が水平方向に並べられた状態で投影方向の前方にスクリーン３３が設けられた状態を示す上面図である。
　＜多視点画像の補正について＞
　ここで、多視点画像の補正について説明するにあたり、各投影部３２によりスクリーン３３に投影される画像と、スクリーン３３に投影され、さらに、スクリーン３３により反射されて実際に視聴される画像との関係について説明する。
　図３の点線で示されるように、例えば、投影部３２－ｋによりスクリーン３３に投影される画像Ｐ（ｋ）は、スクリーン３３により反射されて、図中の視域Ｚの点線で示される矢印で挟まれた範囲で視聴される。
　このとき、視域Ｚ上の水平方向の位置ｉの画素列は、視域Ｚの中心位置である中心位置Ｖｃと画像Ｐ（ｋ）上で正対する位置と、視聴方向となる視域Ｚ上の位置とのなす角を角度θとするとき、視域Ｚ上におけるtanθで表されるものとする。
　このため、スクリーン３３上に投影される画像Ｐ（ｋ）上の水平方向の位置ｉの画素列と、視域Ｚ上の水平方向の位置であるtanθにおいて視聴される画素列との関係は、図４の点線で示されるような関係となる。
　すなわち、図４で示されるように、投影部３２－ｋにより投影される画像Ｐ（ｋ）上の水平方向の画素列の位置ｉを横軸とし、視域Ｚにおける水平方向の位置であるtanθを縦軸（図中下方向を正とする）とした場合、投影部３２－ｋにより投影される画像Ｐ上の水平方向の画素列の位置ｉと、視域Ｚにおける水平方向の位置であるtanθとは、右下がりの点線で示される直線Ｌｋで表される関係となる。
　このため、投影部３２－ｋに対して、例えば、図５で示されるように、図中左側に投影部３２－（ｋ－１）が設けられる場合、スクリーン３３上に投影される画像Ｐ（ｋ－１）は、図中の視域Ｚの一点鎖線で示される矢印で挟まれた範囲として設定される。
　このとき、投影部３２－（ｋ－１）により投影される画像Ｐ（ｋ－１）上の水平方向の画素列の位置ｉと、視域Ｚにおける水平方向の位置であるtanθとは、図６で示されるように、右下がりの一点鎖線で示される直線Ｌｋ－１で表される関係となる。
　同様に、投影部３２－ｋに対して、例えば、図７で示されるように、図中右側に投影部３２－（ｋ＋１）が設けられる場合、スクリーン３３上に投影される画像Ｐ（ｋ＋１）は、図中の視域Ｚの実線で示される直線で示される矢印で挟まれた範囲として設定される。
　このとき、投影部３２－（ｋ＋１）により投影される画像Ｐ（ｋ＋１）上の水平方向の画素列の位置ｉと、視域Ｚにおける水平方向の位置であるtanθとは、図８で示されるように、右下がりの実線で示される直線Ｌｋ＋１で表される関係となる。
　これらを踏まえて、図９で示されるように、複数の投影部３２－１乃至３２－ｎを水平方向に配置すると、投影部３２－１乃至３２－ｎにより投影される画像上の水平方向の画素列の位置ｉと、視域Ｚにおける水平方向の位置であるtanθとは、図１０で示されるように、右下がりの直線Ｌ１乃至Ｌｎで示される関係となる。
　尚、図１０においては、直線Ｌ１，Ｌｎ、および直線Ｌｋ近傍にのみ符号が付されており、その他の直線に対しての符号は省略されている。
　図９で示されるように投影部３２－１乃至３２－ｎが配置される場合、視域Ｚにおける中心位置Ｖｃにおいて、スクリーン３３において、拡散板３４がない状態で、視聴すると、図１１で示されるように、スクリーン３３上を視聴する。
　このとき、図１１で示されるように、中心位置Ｖｃの正対するスクリーン３３上の画像の画素列は、投影部３２－ｋにより投影される画素列Ｐｃと、投影部３２－（ｋ－１）により投影される画素列Ｐｃ－１の間であるものとする。
　このとき、中心位置Ｖｃにおいては、図１２で示されるように、直線Ｌｋ－４乃至Ｌｋ＋３上における、中心位置Ｖｃ上の画素列Ｐｃ－４乃至Ｐｃ＋３の画像が水平方向に対して離散的な状態の画像として視聴されることになる。
　ここで、画素列Ｐｃ－４乃至Ｐｃ＋３は、中心位置Ｖｃの位置で視聴されるスクリーン３３上において、それぞれ投影部３２－（ｋ－４）乃至３２－（ｋ＋３）により投影された画素列である。
　このため、中心位置Ｖｃの正対するスクリーン３３上の画像の画素列を、例えば、図１３で示されるように、画素列Ｐｃ－１と画素列Ｐｃとの間の画素列Ｐｔとした場合、画素列Ｐｔの画像は、図１４で示されるように、中心位置Ｖｃから位置Ｖｃ’に移動しなければ視聴することができない。
　ただし、位置Ｖｃ’に移動すると、中心位置Ｖｃにおいて、離散的ながら視聴可能な画素列Ｐｃ－４乃至Ｐｃ＋３を視聴することはできない。
　そこで、スクリーン３３に投影された、水平方向に対して離散的な画素列の画像を、水平方向に連続的な画像として視聴されるために、本開示においては、スクリーン３３の前段に拡散板３４が設けられている。
　すなわち、スクリーン３３の前段に、拡散板３４が、設けられるようにすると、図１５で示されるように、スクリーン３３により反射した各画素列の画像が水平方向に対して所定の角度で、所定の拡散分布Ｄで拡散され、水平方向に対して離散的な画素列からなる画像として視聴されていた画像を、水平方向に連続的な画素列からなる画像として視聴することができる。
　なお、図１５における水平方向の下に凸の波形は、拡散分布Ｄを模式的に表現したものであり、この拡散分布に従って、一点鎖線の矢印で示されるように同一の画素列の光路が広がって反射していることが表されている。また、図１５において、一点鎖線の矢印は３本であるが、光路の本数を具体的に表現したものではなく、拡散していることを模式的に表現している。
　拡散板３４は、各画素列の画像を、所定の拡散角度で拡散させることにより、拡散板３４がないときに離散的に視聴される視聴位置の拡散強度をピークとする拡散分布Ｄで拡散している。
　すなわち、拡散板３４が設けられていない場合、図１６の上段で示されるように、水平方向に対して離散的な画素列からなる画像として視聴されることになる。
　これに対して、拡散板３４が設けられた場合、図１６の下段で示されるように、離散的に視聴できる画素列の画像が、離散的に視聴可能な画素列の拡散強度をピークとする拡散分布Ｄとなるように拡散されて視聴される。
　尚、図１６においては、各線の種類が異なる画素列の画像を表現しており、図１６の上段が離散的な画素列からなる画像として視聴されることが表現されている。また、図１６の下段が、各画素列の画像が、各画素列の画像が視聴される位置をピークとした拡散分布Ｄで拡散された状態で視聴されることが表現されている。
　このため、例えば、図１７で示されるように、画素列Ｐｃと画素列Ｐｃ－１との間の画素列Ｐｔにおいては、近傍の視聴位置からのみでしか視聴できなかった画素列Ｐｃ，Ｐｃ－１の画像が拡散されることにより、双方が入り混じった状態の画像として、中心位置Ｖｃから視聴することが可能となる。
　これにより、中心位置Ｖｃから視聴される画像は、水平方向に対して連続的に画素列が配置された画像として視聴することが可能となる。
　しかしながら、この場合、画素列Ｐｔにおいては、画素列Ｐｃ，Ｐｃ－１の画像が拡散されることにより、双方が入り混じった状態の画像として、中心位置Ｖｃから視聴されることになるが、近傍の画素列のみならず、離れた画素列の画像も入り混じることにより、クロストークに起因するボケ（クロストーク劣化）が生じることになる。
　また、投影部３２においては、レンズを介して画像が投影されることになるが、レンズMTF（MTF曲線により表現されるレンズ性能）による影響により投影される画像にはボケ（光学的劣化）が生じる。
　従って、投影される画像には、クロストークに起因するボケの補正とレンズMTFに起因するボケの補正が必要となる。
　＜クロストークに起因するボケとレンズMTFに起因するボケ＞
　クロストークに起因するボケ（クロストーク劣化）とレンズMTFに起因するボケ（光学的劣化）について説明する。
　尚、ここでは、図１８で示されるように、投影部３２－（ｋ－１），３２－ｋ，３２－（ｋ＋１）により投影される画素列が並ぶ直線Ｌｋ－１，Ｌｋ，Ｌｋ＋１について説明する。
　また、ここで、中心位置Ｖｃから視聴するときの画素列Ｐｔにおいて生じるクロストークに起因するボケとレンズMTFに起因するボケについて考える。
　この場合、図１９で示されるように、画素列Ｐｔには、直線Ｌｋ－１，Ｌｋ，Ｌｋ＋１上のそれぞれにおいて、投影部３２－（ｋ＋１）乃至３２－（ｋ－１）によりそれぞれ投影される画素列Ｐｋ＋１，Ｐｋ，Ｐｋ－１の画像が、それぞれの劣化関数Ｆｓ（拡散板３４の拡散分布Ｄに対応する関数）に応じた拡散強度で入り混じるクロストークにより、拡散板３４によるボケが生じた画像として視聴される。
　また、図２０で示されるように、直線Ｌｋ＋１上の画素列Ｐｋ＋１と、その周囲の画素列Ｐｋ＋１＿１乃至列Ｐｋ＋１＿４の画像には、投影部３２－（ｋ＋１）のレンズMTFに応じた劣化関数ＦＬ－（ｋ＋１）で表されるボケが生じる。
　同様に、直線Ｌｋ上の画素列Ｐｃと、その周囲の画素列Ｐｋ＿１乃至列Ｐｋ＿４の画像には、投影部３２－ｋのレンズMTFに応じた劣化関数ＦＬ－ｋで表されるボケが生じる。
　さらに、直線Ｌｋ－１上の画素列Ｐｋ－１と、その周囲の画素列Ｐｋ－１＿１乃至列Ｐｋ－１＿４の画像には、投影部３２－（ｋ－１）のレンズMTFに応じた劣化関数ＦＬ－（ｋ－１）で表されるボケが生じる。
　結果として、画素列Ｐｔの画像には、拡散板３４によるクロストークに起因するボケ（以下、クロストーク起因のボケ、または、クロストーク劣化とも称する）と、投影部３２－（ｋ＋１）乃至３２－（ｋ－１）のそれぞれのレンズMTFに起因するボケ（以下、レンズMTF起因のボケ、または、光学的劣化とも称する）とを合わせたボケが生じた状態で画像が視聴される。
　＜クロストーク起因のボケとレンズMTF起因のボケとを独立して補正する例＞
　ここで、クロストーク起因のボケ（クロストーク劣化）と、レンズMTF起因のボケ（光学的劣化）とを補正する方法として、クロストーク起因のボケ（クロストーク劣化）と、レンズMTF起因のボケ（光学的劣化）とをそれぞれ独立して補正する例について説明する。
　ここでは、図２１で示されるように、直線Ｌｋ＋１上の画素列Ｐｋ＋１の画素に対して、その周囲の画素列Ｐｋ＋１＿１乃至列Ｐｋ＋１＿４の画素が用いられて、投影部３２－（ｋ＋１）のレンズMTFの劣化関数ＦＬ－（ｋ＋１）に基づいた、図中の矢印Ｚｋ＋１の方向の補正が掛けられる。
　同様に、直線Ｌｋ上の画素列Ｐｋの画素に対して、その周囲の画素列Ｐｋ＿１乃至列Ｐｋ＿４が用いられて、投影部３２－ｋのレンズMTFの劣化関数ＦＬ－ｋに基づいた、図中の矢印Ｚｋの方向の補正が掛けられる。
　さらに、直線Ｌｋ－１上の画素列Ｐｋ－１に対して、その周囲の画素列Ｐｋ－１＿１乃至列Ｐｋ－１＿４が用いられて、投影部３２－（ｋ－１）のレンズMTFの劣化関数ＦＬ－（ｋ－１）に基づいた、図中の矢印Ｚｋ－１の方向の補正が掛けられる。
　これにより、画素列Ｐｔと画像上における水平方向が同一の画素列Ｐｋ－１，Ｐｋ，Ｐｋ＋１の各画素に対して、レンズMTFに基づいた補正が掛けられる。
　次に、画素列Ｐｋ－１，Ｐｋ，Ｐｋ＋１における、直線Ｌｋ－１，Ｌｋ，Ｌｋ＋１のそれぞれにおける劣化関数Ｆｓに基づいた、図中の矢印Ｚｃ方向に画素列Ｐｔの画素が補正される。
　結果として、画素列Ｐｔにおける各画素は、投影部３２－（ｋ－１），３２－ｋ，３２－（ｋ＋１）のそれぞれのレンズMTF起因のボケと、相互のクロストーク起因のボケとに補正とが掛けられることになる。
　しかしながら、例えば、図２２における画素列Ｐｔに最も近い、画素列Ｐｋ＿３については、最も相関が高いことが想定されるが、クロストーク起因のボケと、レンズMTF起因のボケとがそれぞれ独立して補正されることにより、相関性が無視された状態で補正が掛けられる。
　このため、画素列Ｐｔの画素の補正に当たっては、２次元空間内における距離に応じた相関性の有無が考慮されることがないため、クロストーク起因のボケと、レンズMTF起因のボケとの補正がなされているものの、最適な補正とは言えない。
　＜クロストーク起因のボケとレンズMTF起因のボケとを統合的に、かつ、同時に補正する例＞
　そこで、本開示の補正部３６においては、クロストーク起因のボケ（クロストーク劣化）とレンズMTF起因のボケ（光学的劣化）とを統合的に、かつ、同時に補正する逆関数（逆フィルタ）を生成し、画像生成部３１に出力する。そして、画像生成部３１が、逆関数（逆フィルタ）を使用して、生成した多視点画像を補正して投影部３２－１乃至３２－ｎに出力し、投影させる。
　例えば、図２２で示されるように、画素列Ｐｔの画像は、画素列Ｐｔの近傍の、例えば、範囲Ｚｆ内の画素列Ｐｋ－１，Ｐｋ－１＿１乃至列Ｐｋ－１＿４，Ｐｋ，Ｐｋ＿１乃至列Ｐｋ＿４，Ｐｋ＋１，Ｐｋ＋１＿１乃至列Ｐｋ＋１＿４の画素に対して、クロストーク起因のボケとレンズMTF起因のボケとを統合的に、かつ、同時に補正する逆関数（逆フィルタ）を掛けることにより補正する。
　ここで、補正を掛けるための逆関数とは、クロストーク起因のボケの発生モデルを表現する伝達関数（クロストーク劣化伝達関数）と、レンズMTF起因のボケの発生モデルを表現する伝達関数（光学的劣化伝達関数）に基づいて求められる逆関数（逆フィルタ）である。
　より具体的には、入力画像と、補正されることなく投影される出力画像は、以下の式（１）により表現される。
　Ｙ＝Ｄ・Ｍ（Ｘ）
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　ここで、Ｘは入力画像であり、Ｙは出力画像であり、Ｄ（Ｘ）はクロストーク起因のボケの発生モデルを表現する伝達関数であり、Ｍ（Ｘ）はレンズMTF起因のボケの発生モデルを表現する伝達関数である。
　補正部３６は、クロストーク起因のボケの発生モデルを表現する伝達関数Ｄ（Ｘ）を、例えば、投影部３２に既知のテストパターンをスクリーン３３に投影させ、拡散板３４を介して撮像部３５により撮像し、撮像されたテストパターンと、既知のテストパターンとの比較から、拡散板３４による画素列単位の画像に対する拡散分布に対応する関数として予め求めておく。
　また、補正部３６は、レンズMTF起因のボケの発生モデルを表現する伝達関数Ｍ（Ｘ）を、例えば、投影部３２に既知のテストパターンをスクリーン３３に投影させ、拡散板３４を介して撮像部３５により撮像し、撮像されたテストパターンと、既知のテストパターンとの比較から、関数として予め求めておく。また、伝達関数Ｍ（Ｘ）は、投影部３２のそれぞれについて個別に予め設定されたレンズMTFのデータに基づいて求められるようにしてもよい。
　そして、補正部３６は、この伝達関数Ｄ（Ｘ），Ｍ（Ｘ）に基づいて、逆関数（逆フィルタ）を求め、入力画像に掛けることで、スクリーン３３に投影され、拡散板３４により拡散されて視聴される出力画像を補正する。
　Ｙ’＝Ｄ・Ｍ（Ｄ－１・Ｍ－１（Ｘ））
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　ここで、Ｙ’は補正後の出力画像であり、Ｄ（Ｘ）－１は、クロストーク起因のボケの発生モデルを表現する伝達関数の逆関数であり、Ｍ（Ｘ）－１は、レンズMTF起因のボケの発生モデルを表現する伝達関数の逆関数である。
　従って、逆関数（逆フィルタ）となる（Ｄ－１・Ｍ－１（Ｘ））により、クロストーク起因のボケとレンズMTF起因のボケとを統合的に同時に補正することが可能となる。
　すなわち、補正部３６は、上述した手法により、逆関数（逆フィルタ）となる（Ｄ－１・Ｍ－１（Ｘ））を求め画像生成部３１に供給する。
　画像生成部３１は、入力画像ＰＭ１（図１）に基づいて、画像Ｐ１乃至Ｐｎを生成すると、画像Ｐのそれぞれの各画素列単位で、補正部３６より供給される逆関数（逆フィルタ）となる（Ｄ－１・Ｍ－１（Ｘ））を掛けることにより、クロストーク起因のボケとレンズMTF起因のボケとを統合的に、かつ、同時に補正する。
　この処理により、クロストーク起因のボケ（クロストーク劣化）とレンズMTF起因のボケ（光学的劣化）とが統合的に、かつ、同時に補正されるので、補正対象となる画素列の空間的な位置に応じた、周囲の画素列に対して適切に補正が掛けられることになり、視聴される３次元画像を高精度に補正することが可能となる。
　結果として、投影部３２の数が少なく、拡散板３４による拡散角度が広く設定されて、クロストークが発生し易い構成の画像処理部１１であっても、高精細な３次元画像の視聴を実現させることが可能となる。
　尚、逆関数（逆フィルタ）となる（Ｄ－１・Ｍ－１（Ｘ））における、Ｄ－１（Ｘ）とＭ－１（Ｘ）とのそれぞれの制約項を調整することにより、クロストーク起因のボケ（クロストーク劣化）とレンズMTF起因のボケ（光学的劣化）とのうちのいずれかを優先的に補正するように調整するようにしてもよい。
　＜表示処理＞
　次に、図２３のフローチャートを参照して、図１の画像処理部１１による表示処理について説明する。
　ステップＳ１１において、補正部３６は、投影部３２－１乃至３２－ｎのうち、未処理の投影部３２を処理対象に設定し、処理対象の投影部３２のスクリーン３３におけるクロストーク量を、クロストーク起因のボケ量の情報として取得し、記憶する。
　より詳細には、例えば、画像生成部３１が、テストパターンを生成し、処理対象の投影部３２によりスクリーン３３に対して投影させ、スクリーン３３に投影されたテストパターンを、拡散板３４を介して撮像部３５が撮像し、補正部３６に出力する。
　そして、補正部３６は、既知のテストパターンと、撮像されたテストパターンとの比較に基づいて、拡散分布を測定し、拡散分布からクロストーク量を特定する。
　尚、補正部３６は、予め設計値や他の測定機器により測定されたクロストーク量を取得するようにしてもよい。
　ステップＳ１２において、補正部３６は、処理対象の投影部３２のボケ量を、レンズMTF起因のボケ量の情報として取得し、記憶する。
　より詳細には、例えば、画像生成部３１が、テストパターンを生成し、処理対象の投影部３２によりスクリーン３３に対して投影させ、スクリーン３３に投影されたテストパターンを撮像部３５が撮像し、補正部３６に出力する。
　補正部３６は、既知のテストパターンと、撮像されたテストパターンとの比較に基づいて、レンズMTFに係るボケ量を特定する。
　尚、補正部３６は、予め設計値や他の測定機器により測定されたレンズMTFに係るボケ量を取得するようにしてもよい。
　ステップＳ１３において、補正部３６は、未処理の投影部３２があるか否かを判定し、未処理の投影部３２がある場合、処理は、ステップＳ１１に戻る。
　すなわち、全ての投影部３２に係るクロストーク量（クロストーク起因のボケ量）の情報と、レンズMTF起因のボケ量の情報とが取得されるまで、ステップＳ１１乃至Ｓ１３の処理が繰り返される。
　そして、ステップＳ１３において、全ての投影部３２に係るクロストーク量（クロストーク起因のボケ量）の情報と、レンズMTF起因のボケ量の情報とが取得されたとみなされた場合、処理は、ステップＳ１４に進む。
　ステップＳ１４において、補正部３６は、全ての投影部３２に係るクロストーク量（クロストーク起因のボケ量）の情報と、レンズMTF起因のボケ量の情報とに基づいて、画素配分の最適化を含めた逆関数（逆フィルタ）を設定し、画像生成部３１に供給する。
　すなわち、補正部３６は、図２２を参照して説明したように、上述した式（２）における（Ｄ－１・Ｍ－１（Ｘ））からなる、クロストーク起因のボケと、レンズMTF起因のボケとを統合的に一括して補正するための逆関数（逆フィルタ）を設定する。
　ステップＳ１５において、画像生成部３１は、入力画像を読み出して、画像Ｐ１乃至Ｐｎを生成し、それぞれに対して、逆関数（逆フィルタ）を掛けることにより、クロストーク起因のボケと、レンズMTF起因のボケとを統合的に、かつ、同時に補正する。
　そして、画像生成部３１は、クロストーク起因のボケと、レンズMTF起因のボケとを統合的に、かつ、同時に補正された画像Ｐ１乃至Ｐｎを、投影部３２－１乃至３２－ｎのそれぞれに出力する。
　ステップＳ１６において、投影部３２－１乃至３２－ｎは、それぞれクロストーク起因のボケと、レンズMTF起因のボケとを統合的に、かつ、同時に補正された画像Ｐ１乃至Ｐｎを、重畳してスクリーン３３に投影する。
　以上の一連の処理により、スクリーン３３には、クロストーク起因のボケ（クロストーク劣化）と、レンズMTF起因のボケ（光学的劣化）とが統合的に、かつ、一括して同時に補正されたＰ１乃至Ｐｎが多視点画像として重畳して投影されることにより、拡散板３４を介して視聴するユーザは、クロストークやレンズMTFに起因するボケが高精度に除去された３次元画像を裸眼で視聴することが可能となる。
　尚、ステップＳ１１乃至１４の処理は、オフラインで事前に済ませておくようにして、事前に逆関数（逆フィルタ）が求められた状態にしておいてもよい。
　この場合、多視点画像を重畳して表示する際には、ステップＳ１５，Ｓ１６の処理だけで済ませるようにすることができる。
　また、以上においては、図１の画像処理部１１が、プロジェクタからなる投影部３２、ミラーからなるスクリーン３３、および、異方性拡散板からなる拡散板３４により構成される例について説明してきたが、３次元画像を視聴させる構成であればその他の構成であっても応用することができる。
　例えば、投影部３２とスクリーン３３については、LCD（Liquid Crystal Display）やOLED（Organic Light Emitting Diode）により構成し、拡散板３４については、レンチキュラレンズやパララックスバリアにより構成されるようにしてもよい。
　また、補正部３６は、クロストーク起因のボケの発生モデルを表現する伝達関数と、レンズMTF起因のボケの発生モデルを表現する伝達関数から補正に用いる逆関数（逆フィルタ）を生成し、画像生成部３１が逆フィルタを掛けることで多視点画像を補正する例について説明してきた。
　しかしながら、画像生成部３１が、逆フィルタを用いた補正と同様の最適化処理を、画素に対して直接施すことにより、同様の補正を掛けるようにしてもよい。
　＜＜２．応用例１＞＞
　＜逆関数によるエラーが発生する場合＞
　以上においては、逆関数（逆フィルタ）を求めて入力画像に掛けることで、クロストーク起因のボケと、レンズMTF起因のボケとが統合的に、かつ、一括して同時に補正する例について説明してきたが、求められた逆関数（逆フィルタ）を掛けることで入力画像の画素の一部の画素値が飽和してしまい、画像としてエラーが生じてしまうことがある。
　そのような場合については、エラーが生じていない視点における画像を用いて線形補間により画像を生成するようにしてもよい。
　すなわち、例えば、図２４で示されるように視点位置Ｖ１１乃至Ｖ１２の範囲おける多視点画像を生成する例について考える。
　図２４における視点位置Ｖ１１乃至Ｖ１２の範囲において視点位置を連続的に変化させるとき、それぞれの視点位置で視聴される画像として、図２５の上段における画像Ｐ１０１乃至Ｐ１０５が生成されることを想定する。
　すなわち、視点位置Ｖ１１において画像Ｐ１０１が視聴され、視点位置Ｖ１２において画像Ｐ１０５が視聴されるとき、その間を４等分したときのそれぞれの視点位置において、画像Ｐ１０２乃至Ｐ１０４が視聴されることを想定する。
　入力画像に対して、逆関数（逆フィルタ）が掛けられることにより、図２５の画像Ｐ１０１乃至Ｐ１０５が求められる場合にはエラーの発生はないものとみなすことができるが、逆関数を構成する係数等の一部の変動等により、画素値が飽和してしまうなど、エラーが発生し、画像が破綻してしまうことがある。
　そのような場合、入力画像に対して逆関数（逆フィルタ）を掛けると生成される画像が破綻してしまう。
　そこで、エラーが発生する場合、視点位置Ｖ１１，Ｖ１２において視聴される画像Ｐ１０１，Ｐ１０５が求められているときには、その間の画像を視点位置に応じて混合するようにして生成するようにしてもよい。
　すなわち、図２５の下段で示されるように、画像Ｐ１２１，Ｐ１２５が、画像Ｐ１０１，Ｐ１０５に対応する画像として求められているときには、画像Ｐ１２１が75%の濃度とされ、画像Ｐ１２５が濃度25%とされた状態で混合された画像Ｐ１２２が補間生成されるようにする。
　同様に、図２５の下段で示されるように、画像Ｐ１２１が50%の濃度とされ、画像Ｐ１２５が濃度50%とされた状態で混合された画像Ｐ１２３が補間生成されるようにする。
　さらに、図２５の下段で示されるように、画像Ｐ１２１が25%の濃度とされ、画像Ｐ１２５が濃度75%とされた状態で混合された画像Ｐ１２４が補間生成されるようにする。
　このような混合により、視点を固定させた場合には、混合していることが目立つが、視点を移動させる場合の滑らかさである、運動視差は担保される。
　すなわち、このような人間の視覚特性である運動視差が担保されることで、図２５の下段の画像Ｐ１２１乃至Ｐ１２５についても視点位置が変化するときには、全体として、図２５の上段の画像Ｐ１０１乃至Ｐ１０５のように視聴させることが可能となる。
　＜逆関数によるエラーが発生する場合の表示処理＞
　次に、図２６のフローチャートを参照して、逆関数によるエラーが発生する場合の表示処理について説明する。尚、図２６のフローチャートにおいては、ステップＳ３１乃至Ｓ３５，Ｓ３８の処理は、図２３を参照して説明したステップＳ１１乃至Ｓ１６の処理と同様であるので、その説明は省略する。
　すなわち、ステップＳ３６において、画像生成部３１は、逆関数（逆フィルタ）を用いて生成した画像Ｐ１乃至Ｐｎに、例えば、画素値が飽和するといった画像が破綻していることを示すようなエラーが発生しているか否かを判定する。
　ステップＳ３６において、エラーが発生していると判定された場合、処理は、ステップＳ３７に進む。
　ステップＳ３７において、画像生成部３１は、図２５の下段を参照して説明したように、エラーが発生していない視点位置の画像を用いて、エラーが発生している画像を補間生成する。
　この処理により、エラーが発生した場合には、エラーが発生していない視点位置の位相画像が用いられて、エラーが発生している視点位置の画像が補間生成される。
　結果として、逆関数（逆フィルタ）を用いることで、クロストーク起因のボケ（クロストーク劣化）と、レンズMTF起因のボケ（光学的劣化）とが統合的に一括して同時に補正することが可能になると共に、逆関数（逆フィルタ）を用いることでエラーが発生しても、補間生成することで破綻のない画像にすることが可能となる。
　＜＜３．応用例２＞＞
　以上においては、図１の画像処理部１１により多視点画像を投影して、裸眼の３次元画像を視聴できるようにする例について説明してきたが、多視点画像であれば３次元画像のみならず、視点位置毎に異なる２次元画像が視聴されるような多視点画像を投影するようにしてもよい。
　すなわち、例えば、図２７で示されるように、明るさの異なる同一の位置の２次元の画像Ｐａ乃至Ｐｄを生成する。
　そして、図２８の視点位置範囲Ｌｐａにおいては、画像Ｐａが視聴されるようにし、視点位置範囲Ｌｐｂにおいては、画像Ｐｂが視聴されるようにし、視点位置範囲Ｌｐｃにおいては、画像Ｐｃが視聴されるようにし、視点位置範囲Ｌｐｄにおいては、画像Ｐｄが視聴されるような多視点画像を投影する。
　このように視点位置を変化することで異なる２次元画像が視聴可能な実施例においても、上述した様に、クロストーク起因のボケ（クロストーク劣化）と、レンズMTF起因のボケ（光学的劣化）とを統合的、かつ、一括して同時に補正することで、クロストーク起因のボケ（クロストーク劣化）と、レンズMTF起因のボケ（光学的劣化）を適切に補正することが可能となる。
　＜＜４．ソフトウェアにより実行させる例＞＞
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
　図２９は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
　入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　尚、図２９におけるCPU１００１が、図１の画像生成部３１および補正部３６の機能を実現させる。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　多視点画像を投影する投影部と、
　光学的劣化に対する補正と、クロストーク劣化に対する補正とを統合的に、かつ、同時に施して、前記多視点画像を生成する画像生成部と
　を含む画像処理装置。
＜２＞　前記画像生成部は、入力画像に対して、前記光学的劣化に対する補正と、前記クロストーク劣化に対する補正とを統合的に、かつ、同時に施す補正フィルタを掛けることにより、前記多視点画像を生成する
　＜１＞に記載の画像処理装置。
＜３＞　前記入力画像に対して光学的劣化を生じさせるモデルを表す光学的劣化伝達関数と、前記入力画像に対してクロストーク劣化を生じさせるモデルを表すクロストーク劣化伝達関数とのそれぞれの逆関数からなる逆フィルタを、前記補正フィルタとして設定する補正部をさらに含む
　＜２＞に記載の画像処理装置。
＜４＞　前記光学的劣化伝達関数は、前記投影部がプロジェクタであるときに使用されるレンズのMTF（Modulation Transfer Function）曲線に基づいた光学的特性に基づいて設定される
　＜３＞に記載の画像処理装置。
＜５＞　前記クロストーク劣化伝達関数は、前記投影部により投影される多視点画像を画素列単位で拡散させる拡散板による拡散分布に基づいて設定される
　＜３＞に記載の画像処理装置。
＜６＞　前記投影部は、プロジェクタであり、前記拡散板は、異方性拡散板である
　＜５＞に記載の画像処理装置。
＜７＞　前記投影部は、LCD（Liquid Crystal Display）、またはOLED（Organic Light Emitting Diode）であり、前記拡散板は、レンチキュラレンズ、またはパララックスバリアである
　＜５＞に記載の画像処理装置。
＜８＞　前記補正部は、前記逆関数における制約項を調整し、前記光学的劣化に対する補正と、前記クロストーク劣化に対する補正とのいずれかを優先的に補正させる前記補正フィルタを設定する
　＜３＞に記載の画像処理装置。
＜９＞　前記画像生成部は、前記補正フィルタを用いた補正により前記多視点画像にエラーが生じているとき、前記エラーが生じていない多視点画像を用いて、線形補間により前記エラーが生じている前記多視点画像に対応する多視点画像を生成する
　＜２＞に記載の画像処理装置。
＜１０＞　前記補正フィルタを用いた補正によりエラーが生じる前記多視点画像は、画素値が飽和した画素を含む画像である
　＜９＞に記載の画像処理装置。
＜１１＞　前記多視点画像は、視聴位置に応じた３次元画像を視聴させる多視点画像である
　＜１＞乃至＜１０＞のいずれかに記載の画像処理装置。
＜１２＞　前記多視点画像は、視聴位置に応じた２次元画像を視聴させる多視点画像である
　＜１＞乃至＜１０＞のいずれかに記載の画像処理装置。
＜１３＞　光学的劣化に対する補正と、クロストーク劣化に対する補正とを統合的に、かつ、同時に施して、投影部により投影される多視点画像を生成する画像生成処理
　を含む画像処理方法。
＜１４＞　多視点画像を投影する投影部と、
　光学的劣化に対する補正と、クロストーク劣化に対する補正とを統合的に、かつ、同時に施して、前記多視点画像を生成する画像生成部と
　としてコンピュータを機能させるプログラム。
　１　画像処理部，　３１　画像生成部，　３２，３２－１乃至３２－ｎ　投影部，　３３　スクリーン，　３４　拡散板，　３５　撮像部，　３６　補正部

Claims (14)

  1. 　多視点画像を投影する投影部と、
    　光学的劣化に対する補正と、クロストーク劣化に対する補正とを統合的に、かつ、同時に施して、前記多視点画像を生成する画像生成部と
    　を含む画像処理装置。
  2. 　前記画像生成部は、入力画像に対して、前記光学的劣化に対する補正と、前記クロストーク劣化に対する補正とを統合的に、かつ、同時に施す補正フィルタを掛けることにより、前記多視点画像を生成する
    　請求項１に記載の画像処理装置。
  3. 　前記入力画像に対して光学的劣化を生じさせるモデルを表す光学的劣化伝達関数と、前記入力画像に対してクロストーク劣化を生じさせるモデルを表すクロストーク劣化伝達関数とのそれぞれの逆関数からなる逆フィルタを、前記補正フィルタとして設定する補正部をさらに含む
    　請求項２に記載の画像処理装置。
  4. 　前記光学的劣化伝達関数は、前記投影部がプロジェクタであるときに使用されるレンズのMTF（Modulation Transfer Function）曲線に基づいた光学的特性に基づいて設定される
    　請求項３に記載の画像処理装置。
  5. 　前記クロストーク劣化伝達関数は、前記投影部により投影される多視点画像を画素列単位で拡散させる拡散板による拡散分布に基づいて設定される
    　請求項３に記載の画像処理装置。
  6. 　前記投影部は、プロジェクタであり、前記拡散板は、異方性拡散板である
    　請求項５に記載の画像処理装置。
  7. 　前記投影部は、LCD（Liquid Crystal Display）、またはOLED（Organic Light Emitting Diode）であり、前記拡散板は、レンチキュラレンズ、またはパララックスバリアである
    　請求項５に記載の画像処理装置。
  8. 　前記補正部は、前記逆関数における制約項を調整し、前記光学的劣化に対する補正と、前記クロストーク劣化に対する補正とのいずれかを優先的に補正させる前記補正フィルタを設定する
    　請求項３に記載の画像処理装置。
  9. 　前記画像生成部は、前記補正フィルタを用いた補正により前記多視点画像にエラーが生じているとき、前記エラーが生じていない多視点画像を用いて、線形補間により前記エラーが生じている前記多視点画像に対応する多視点画像を生成する
    　請求項２に記載の画像処理装置。
  10. 　前記補正フィルタを用いた補正によりエラーが生じる前記多視点画像は、画素値が飽和した画素を含む画像である
    　請求項９に記載の画像処理装置。
  11. 　前記多視点画像は、視聴位置に応じた３次元画像を視聴させる多視点画像である
    　請求項１に記載の画像処理装置。
  12. 　前記多視点画像は、視聴位置に応じた２次元画像を視聴させる多視点画像である
    　請求項１に記載の画像処理装置。
  13. 　光学的劣化に対する補正と、クロストーク劣化に対する補正とを統合的に、かつ、同時に施して、投影部により投影される多視点画像を生成する画像生成処理
    　を含む画像処理方法。
  14. 　多視点画像を投影する投影部と、
    　光学的劣化に対する補正と、クロストーク劣化に対する補正とを統合的に、かつ、同時に施して、前記多視点画像を生成する画像生成部と
    　としてコンピュータを機能させるプログラム。
PCT/JP2020/011584 2019-03-29 2020-03-17 画像処理装置、および画像処理方法、並びにプログラム Ceased WO2020203237A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20785392.0A EP3952305A4 (en) 2019-03-29 2020-03-17 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM
US17/441,987 US20220191455A1 (en) 2019-03-29 2020-03-17 Image processing apparatus, image processing method, and program
JP2021511388A JP7424367B2 (ja) 2019-03-29 2020-03-17 画像処理装置、および画像処理方法、並びにプログラム
CN202080023311.3A CN113632461A (zh) 2019-03-29 2020-03-17 图像处理装置、图像处理方法以及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-068493 2019-03-29
JP2019068493 2019-03-29

Publications (1)

Publication Number Publication Date
WO2020203237A1 true WO2020203237A1 (ja) 2020-10-08

Family

ID=72668713

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/011584 Ceased WO2020203237A1 (ja) 2019-03-29 2020-03-17 画像処理装置、および画像処理方法、並びにプログラム

Country Status (5)

Country Link
US (1) US20220191455A1 (ja)
EP (1) EP3952305A4 (ja)
JP (1) JP7424367B2 (ja)
CN (1) CN113632461A (ja)
WO (1) WO2020203237A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024247809A1 (ja) * 2023-06-01 2024-12-05 ソニーグループ株式会社 ホログラフィックプロジェクタ装置、制御方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022212109A1 (en) * 2021-03-31 2022-10-06 Dathomir Laboratories Llc Techniques for viewing 3d photos and 3d videos

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003533732A (ja) * 2000-05-19 2003-11-11 ティボル・バログ ３ｄ画像を表示するための方法及び装置
JP2008131099A (ja) * 2006-11-16 2008-06-05 Ricoh Co Ltd 画像投影装置及び画像投影方法
JP2009008974A (ja) 2007-06-29 2009-01-15 Sony Corp 画像生成装置及び方法、プログラム、並びに記録媒体
JP2009251098A (ja) * 2008-04-02 2009-10-29 Mitsubishi Electric Corp 画像表示装置
JP2010245844A (ja) 2009-04-06 2010-10-28 Nikon Corp 画像提示システム、画像処理装置、画像提示方法およびプログラム
JP3180075U (ja) * 2009-07-31 2012-12-06 バロー ティボール ３ｄ画像を表示する装置
JP2013219643A (ja) 2012-04-11 2013-10-24 Sony Corp 画像処理装置および方法、並びに、プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0509037A (pt) * 2004-03-30 2007-08-07 Thomson Licensing módulo de projeção e projetor incorporado ao mesmo
JP2008539675A (ja) * 2005-04-26 2008-11-13 アイマックス コーポレイション 電子投影システムおよび方法
JP4816563B2 (ja) * 2006-07-06 2011-11-16 セイコーエプソン株式会社 画像表示システム
JP4238901B2 (ja) * 2006-08-17 2009-03-18 セイコーエプソン株式会社 プロジェクションシステム、情報処理装置、情報処理プログラム、その記録媒体、プロジェクタ、そのプログラム、及びその記録媒体
JP6156724B2 (ja) * 2013-03-14 2017-07-05 株式会社リコー ステレオカメラ
JP2015095779A (ja) * 2013-11-12 2015-05-18 ソニー株式会社 画像処理装置、画像処理方法及び電子機器
KR20150093014A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR101966152B1 (ko) * 2014-08-07 2019-04-05 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 제어 방법
US10129533B2 (en) * 2015-09-09 2018-11-13 Tint Mouse, Inc. High quality and moire-free 3D stereoscopic image rendering system using a lenticular lens
US10154253B2 (en) * 2016-08-29 2018-12-11 Disney Enterprises, Inc. Multi-view displays using images encoded with orbital angular momentum (OAM) on a pixel or image basis
WO2018159287A1 (ja) * 2017-02-28 2018-09-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2018148318A (ja) * 2017-03-02 2018-09-20 キヤノン株式会社 画像処理装置およびその制御方法及びプログラム
CN114815287B (zh) * 2017-08-23 2024-08-13 交互数字麦迪逊专利控股公司 用于生成投影3d光场的光场图像引擎方法和装置
US11218675B2 (en) * 2018-03-02 2022-01-04 Sony Corporation Information processing apparatus, computation method of information processing apparatus, and program
US10634987B1 (en) * 2019-05-07 2020-04-28 National Taiwan University Convex multi-projector light-field display system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003533732A (ja) * 2000-05-19 2003-11-11 ティボル・バログ ３ｄ画像を表示するための方法及び装置
JP2008131099A (ja) * 2006-11-16 2008-06-05 Ricoh Co Ltd 画像投影装置及び画像投影方法
JP2009008974A (ja) 2007-06-29 2009-01-15 Sony Corp 画像生成装置及び方法、プログラム、並びに記録媒体
JP2009251098A (ja) * 2008-04-02 2009-10-29 Mitsubishi Electric Corp 画像表示装置
JP2010245844A (ja) 2009-04-06 2010-10-28 Nikon Corp 画像提示システム、画像処理装置、画像提示方法およびプログラム
JP3180075U (ja) * 2009-07-31 2012-12-06 バロー ティボール ３ｄ画像を表示する装置
JP2013219643A (ja) 2012-04-11 2013-10-24 Sony Corp 画像処理装置および方法、並びに、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3952305A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024247809A1 (ja) * 2023-06-01 2024-12-05 ソニーグループ株式会社 ホログラフィックプロジェクタ装置、制御方法

Also Published As

Publication number Publication date
EP3952305A4 (en) 2022-05-25
EP3952305A1 (en) 2022-02-09
US20220191455A1 (en) 2022-06-16
CN113632461A (zh) 2021-11-09
JPWO2020203237A1 (ja) 2020-10-08
JP7424367B2 (ja) 2024-01-30

Similar Documents

Publication Publication Date Title
EP2843618B1 (en) Double stacked projection
US10205923B2 (en) Apparatus and method for processing a projected image, and projection display system
US9934714B2 (en) Superresolution display using cascaded panels
KR100730406B1 (ko) 중간 요소 영상을 이용한 입체 영상 표시 장치
EP2583468B1 (en) Double stacked projection
US8890942B2 (en) Camera module, image processing apparatus, and image processing method
US20160073100A1 (en) Coded illuminator and light field projection device using the same
CN113009710A (zh) 用于在多个平面上形成图像的投影仪
CN108287414B (zh) 图像显示方法及其存储介质和系统
CN105323423A (zh) 图像处理方法、图像处理装置及摄像装置
WO2020203237A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2019154942A1 (en) Projection array light field display
US10992927B2 (en) Stereoscopic image display apparatus, display method of liquid crystal display, and non-transitory computer-readable recording medium storing program of liquid crystal display
KR20210045078A (ko) 입체 영상을 표시하는 장치 및 방법
WO2009009416A2 (en) Method and apparatus for reducing stereoscopic phase lag distortion under motion in a three-dimensional video display
CN103890638A (zh) 用于图像投影的失真补偿
JP2008544306A (ja) ホログラムを合成するための信号処理システム
JP6438803B2 (ja) 立体画像生成装置及びそのプログラム
WO2020203236A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US9483020B2 (en) Methodology for a practical flat panel format holographic display utilizing the narrow hologram and holodot concepts
KR20160004123A (ko) 이미지 처리 장치, 및 이의 동작 방법
Luo et al. 360 degree realistic 3D image display and image processing from real objects
Napoli et al. Imaging artifact precompensation for spatially multiplexed 3-D displays
JP2015154213A (ja) プロジェクタ装置、および投影方法
JP2006133455A (ja) 三次元画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20785392

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021511388

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020785392

Country of ref document: EP

Effective date: 20211029