WO2017029885A1 - 画像生成装置、及び画像表示制御装置 - Google Patents

画像生成装置、及び画像表示制御装置 Download PDF

Info

Publication number
WO2017029885A1
WO2017029885A1 PCT/JP2016/068873 JP2016068873W WO2017029885A1 WO 2017029885 A1 WO2017029885 A1 WO 2017029885A1 JP 2016068873 W JP2016068873 W JP 2016068873W WO 2017029885 A1 WO2017029885 A1 WO 2017029885A1
Authority
WO
WIPO (PCT)
Prior art keywords
panoramic image
image
sphere
point
image generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/068873
Other languages
English (en)
French (fr)
Inventor
友博 大戸
篠原　隆之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to BR112018002918-1A priority Critical patent/BR112018002918B1/pt
Priority to CA2995665A priority patent/CA2995665C/en
Priority to KR1020187007795A priority patent/KR102072639B1/ko
Priority to US15/748,474 priority patent/US10659742B2/en
Priority to CN201680048025.6A priority patent/CN107924556B/zh
Priority to MX2018001286A priority patent/MX381552B/es
Priority to RU2018109330A priority patent/RU2686591C1/ru
Priority to AU2016308980A priority patent/AU2016308980B2/en
Priority to EP16836877.7A priority patent/EP3340164B1/en
Priority to JP2017535279A priority patent/JP6672315B2/ja
Publication of WO2017029885A1 publication Critical patent/WO2017029885A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Definitions

  • the present invention relates to an image generation device that generates a panoramic image, an image display control device that displays a panoramic image, an image generation method, a program, and image data.
  • the equidistant cylindrical projection is known as an image format of a panoramic image obtained by projecting the view of the whole sky from the observation point onto a two-dimensional plane.
  • a rectangular image data having an aspect ratio of 1: 2 includes an omnidirectional landscape of 360 degrees horizontally and 180 degrees vertically.
  • the entire upper side of the image corresponds to one point on the zenith (directly above), and the entire lower side corresponds to one point on the nadir (directly below). Therefore, in the area near the upper side or the lower side (an area including a view directed directly above or below the view as viewed from the observation point), the area in the middle of the image includes a view near the horizon. The amount of information per pixel becomes extremely small, and information waste is increased.
  • the present invention has been made in consideration of the above situation, and one of the objects is an image generation apparatus, an image display control apparatus, and an image generation method capable of reducing waste of information contained in a panoramic image. Program and providing image data.
  • the image generation apparatus is eight pieces obtained by dividing the surface of a sphere obtained by projecting the view seen from the observation point into at least a partial range by three planes orthogonal to each other through the center of the sphere.
  • a panoramic image generation unit that generates an image, and an image output unit that outputs the generated panoramic image are characterized.
  • the image display control device is obtained by dividing the surface of a sphere obtained by projecting the view seen from the observation point into at least a partial range by three planes orthogonal to each other through the center of the sphere. At least one of the eight divided areas, which includes the projected area of the scene, is converted so as to decrease as the number of pixels corresponding to equal latitudes becomes higher, and arranged on a plane. Including an acquisition unit for acquiring a panoramic image and a drawing unit for drawing a display image showing a view of a given view range based on the acquired panoramic image and displaying the display image on a screen of a display device. It features.
  • the image generation method according to the present invention can be obtained by dividing the surface of a sphere obtained by projecting the view seen from the observation point into at least a partial range by three planes orthogonal to each other through the center of the sphere. Of the eight divided areas, at least one of the divided areas including the projected area of the scene is converted so as to decrease as the number of pixels corresponding to equal latitudes becomes higher, and arranged on a plane Generating a panoramic image, and outputting the generated panoramic image.
  • the program according to the present invention is eight obtained by dividing the surface of a sphere obtained by projecting the view seen from the observation point into at least a partial range by three planes orthogonal to each other through the center of the sphere.
  • the image data according to the present invention is obtained by dividing the surface of a sphere obtained by projecting the view seen from the observation point into at least a partial range by three planes orthogonal to each other through the center of the sphere. At least one of the divided areas including the projected area of the scene among the divided areas is arranged on the plane in a state of being converted so as to decrease as the number of pixels corresponding to equal latitudes becomes higher. Image data.
  • FIG. 1 is a configuration block diagram showing a configuration of an image display system including an image generation device and an image display control device according to an embodiment of the present invention. It is a functional block diagram showing the function of an image display system. It is a figure explaining sampling processing at the time of display picture drawing. It is a figure which shows the example of the panoramic image which added the pixel row for sampling.
  • the image generation apparatus generates a panoramic image of an image format different from that of the equidistant cylindrical projection, including the view of the whole sky seen from the observation point.
  • a panoramic image generated by the image generating apparatus according to the present embodiment is referred to as a panoramic image P.
  • the panoramic image P is two-dimensional (planar) image data including the landscape of the whole sky.
  • the whole circumference means all azimuths of 360 degrees in the horizontal direction (left and right direction) and 180 degrees in the vertical direction (vertical direction) from the zenith to the zenith as viewed from the observation point.
  • a first example of the panoramic image P will be described.
  • the panoramic image P according to the first example is referred to as a first panoramic image P1.
  • a panoramic image generated by the equidistant cylindrical projection is referred to as an equidistant cylindrical image P0.
  • FIG. 1A to 1C show this ball S
  • FIG. 1A is a perspective view as viewed from the front upper side
  • FIG. 1B is a perspective view as viewed from the rear lower side
  • FIG. 1C is a front view.
  • FIG. 1A is a perspective view as viewed from the front upper side
  • FIG. 1B is a perspective view as viewed from the rear lower side
  • FIG. 1C is a front view.
  • FIG. 1A is a perspective view as viewed from the front upper side
  • FIG. 1B is a perspective view as viewed from the rear lower side
  • FIG. 1C is a front view.
  • the front direction the position of the E 1 point, which will be described later.
  • a point corresponding to the zenith directly above the observation point
  • a point corresponding to the nadir (directly below the observation point) is taken as a point D.
  • the point U and the point D are opposed to each other across the center of the sphere S.
  • the great circle of the sphere S perpendicular to the straight line UD corresponds to the astronomical horizon seen from the observation point, and the landscape viewed horizontally from the observation point is projected onto this great circle.
  • a plane including the great circle of the sphere S perpendicular to the straight line UD is referred to as a ground plane.
  • a plane perpendicular to the ground plane is called a vertical plane.
  • the latitude ⁇ of a point on the sphere S is represented by the angle between a straight line connecting the point and the center of the sphere S with the ground plane.
  • the longitude ⁇ is represented by an angle formed by the great circle of the sphere S including the point and the point U and the point D with the great circle including the point F, the point U and the point D.
  • the direction from the ground plane to the zenith is taken as the positive direction of the latitude ⁇ . Therefore, the latitude ⁇ of the point U is ⁇ / 2, and the latitude ⁇ of the point D is ⁇ / 2. Further, the right-hand direction when viewing point F from the observation point is taken as the positive direction of the longitude ⁇ .
  • points E 1 to E 4 are set as points E 1 to E 4 .
  • the latitudes ⁇ of these four points are all 0, and for longitude ⁇ , point E 1 is ⁇ / 4, point E 2 is 3 ⁇ / 4, point E 3 is 5 ⁇ / 4 (or -3 ⁇ / 4) And point E 4 is ⁇ / 4.
  • point E 1 is ⁇ / 4
  • point E 2 is 3 ⁇ / 4
  • point E 3 is 5 ⁇ / 4 (or -3 ⁇ / 4)
  • point E 4 is ⁇ / 4.
  • the observer are on the observation point is directed to the point E 1
  • the right hand direction of point E 2 is observer
  • the point E 3 is the rear direction
  • the point E 4 is left direction.
  • divided regions A 1 to A 8 eight regions obtained by dividing the surface of the sphere S by three planes passing through the center of the sphere S and orthogonal to each other will be referred to as divided regions A 1 to A 8 .
  • three planes orthogonal to one another are a ground plane including points E 1 to E 4 , a vertical plane including points E 1 , E 3 , U, and D, and E 2 is a vertical plane including point E 4 , point U, and point D.
  • meridians connecting the point U and the point E 1 parallels connecting the points E 1 and the point E 2, and the area surrounded by the meridian connecting the point E 2 and the point U to the divided regions A 1.
  • an area surrounded by point U, point E 2 and point E 3 is divided area A 2
  • an area surrounded by point U, point E 3 and point E 4 is divided area A 3
  • point U A region surrounded by point E 4 and point E 1 is divided region A 4
  • a region surrounded by point D, point E 1 and point E 2 is divided region A 5
  • point D, point E 2 point
  • An area surrounded by E 3 is a divided area A 6
  • an area surrounded by a point D, a point E 3 and a point E 4 is a divided area A 7
  • a point D, a point E 4 and a point E 1 is surrounded.
  • the region is divided area a 8.
  • These divided areas A 1 to A 8 are areas surrounded by three parallel lines or meridians each having a length corresponding to 1 ⁇ 4 of the circumference of the great circle of the sphere S, and have mutually equal sizes Size and shape.
  • FIG. 2 shows an equidistant cylindrical image P0 including a scene to be projected onto the sphere S.
  • the scene projected on the surface of the sphere S is converted into a rectangular equidistant cylindrical image P0 of aspect ratio 1: 2 so that the positional relationship between upper, lower, left, and right viewed from the observation point is maintained. .
  • the parallels of the spheres S extend parallel to each other along the lateral direction, the meridians extend parallel to one another along the vertical direction, and all the parallels are perpendicular to the meridians.
  • the divided areas A 1 to A 8 are converted into square areas, the entire upper side of the equidistant cylindrical image P 0 corresponds to the point U, and the entire lower side corresponds to the point D.
  • a region (region of high latitude) located in the vicinity of the point U and the point D on the surface of the sphere S is stretched in the left-right direction in the equidistant cylindrical image P0. Therefore, in the vicinity of the upper side and the lower side of the equidistant cylindrical image P0, the amount of information contained in a unit pixel is reduced as compared with the low latitude region in the middle of the image.
  • FIG. 3 shows a first panoramic image P1 including the scene to be projected onto the sphere S.
  • the first panoramic image P1 has a square shape as a whole.
  • the center point of the square corresponds to the point D
  • the point U on the sphere S opposite to the point D corresponds to the four corners of the square. That is, the four vertices of the first panoramic image P1 correspond to one point U on the sphere S.
  • the midpoint of the lower side is the point E 3, the left side of the midpoint to point E 4, respectively correspond.
  • the upper right vertex is point U 1
  • the lower right vertex is point U 2
  • the lower left vertex is point U 3
  • the apex of the upper left is a point U 4.
  • the parallel line of ⁇ ⁇ 0 is bent by 90 degrees at a position intersecting each of the straight line E 1 D, the straight line E 2 D, the straight line E 3 D, and the straight line E 4 D in the first panoramic image P1.
  • the parallel line of ⁇ > 0 is four squares E 1 U 1 E 2 D, square DE 2 U 2 E 3, square U 4 E 1 DE 4 , and squares formed by dividing the first panoramic image P 1 into four.
  • E 4 DE 3 U 3 is divided into each.
  • These four squares correspond to four regions obtained by dividing the surface of the sphere S into four by two vertical planes orthogonal to each other. And, inside each of these squares, parallels (that is, a line of intersection between a plane perpendicular to two vertical planes and the sphere S) are arranged side by side in parallel with the diagonal of the square.
  • Each of divided areas A 1 to A 8 obtained by dividing the surface of the sphere S into eight is converted into an area having a right isosceles triangle shape in the first panoramic image P1.
  • each divided area is converted to a shape relatively similar to the shape on the original spherical surface as compared with the equidistant cylindrical image P0 converted to the square shape. Therefore, the difference in the amount of information contained per unit pixel between the high latitude region and the low latitude region becomes smaller compared to the equidistant cylindrical image P0.
  • an area in the panoramic image P obtained by converting each divided area is referred to as a conversion area.
  • position coordinates in the first panoramic image P1 are represented by an orthogonal coordinate system in which the horizontal direction is the x axis, the vertical direction is the y axis, and the center position is the origin.
  • the latitude ⁇ and the longitude ⁇ on the surface of the sphere S are expressed by the following equation using variables u, v and a.
  • the variables u, v, a are respectively expressed by the following equations according to the position coordinates (x, y) in the first panoramic image P1.
  • the correspondence between the position on the sphere S and the position in the first panoramic image P1 is defined by these mathematical expressions.
  • the latitude ⁇ is in a linear relationship with each of x and y in each divided area.
  • the coordinates correspond one to one.
  • adjacent pixels in the first panoramic image P1 also correspond to areas adjacent to each other in the sphere S. That is, although there are places where the parallel lines and meridians bend in the first panoramic image P1, conversion is not performed such that discontinuous regions separated from each other on the sphere S are adjacent in the first panoramic image P1.
  • the point on the outer periphery of the first panoramic image P1 is continuous on the sphere S with the location on the same side corresponding to the case where each side of the square is folded at the middle point.
  • the n-th pixel from the left end and the n-th pixel from the right end correspond to mutually adjacent areas on the sphere S.
  • the amount of information per unit pixel is the largest in the low latitude region (region in the middle of the image).
  • the number of pixels in the vertical direction Equirectangular image P0 and 2N (ranging from for example the point E 1 to point E 2) the number of pixels in the horizontal direction is 4N, and the field of view of 90 degrees in the horizontal plane
  • the number of pixels corresponding to n is N.
  • the pixels corresponding to the field of view range of 90 degrees on the ground plane are oblique as shown by straight line E 1 E 2 in FIG.
  • the first panoramic image P1 can obtain substantially the same image quality in the low latitude region as compared with the regular distance cylindrical image P0 having the same number of pixels in the vertical direction.
  • the number of pixels corresponding to this visual field range in the equidistant cylindrical image P0 is , And the number of pixels 2N in the vertical direction of the image.
  • the field of view corresponds to a path from the point D through the point E 1 from the point U 1 of FIG.
  • the number of pixels of one side of the first panorama image P1 The number of pixels 2N minus 1 (2N-1).
  • 1 is reduced because the pixel at the point E 1 is also an end point of the straight line U 1 E 1 and an end point of the straight line E 1 D and is shared by both.
  • the first panoramic image P1 has almost the same resolution as the equidistant cylindrical image P0 having the same number of pixels in the vertical direction. It is understood that it can be obtained.
  • the first panoramic image P1 Although the number of pixels in the first panoramic image P1 decreases as the latitude becomes higher, since the high latitude region of the equidistant cylindrical image P0 originally has a large waste of information, the first panoramic image P1 is an equidistant cylindrical image even in the high latitude region There is almost no deterioration in image quality compared to P0. That is, the first panoramic image P1 has an image quality that is comparable to that of the regular-distance cylindrical image P0 having the same number of pixels in the vertical direction over the entire sky.
  • the first panoramic image P1 can obtain almost the same image quality as the regular-distance cylindrical image P0 with a total of just half the number of pixels. From this, if the first panoramic image P1 is used, the data size can be made smaller compared to the equidistant cylindrical image P0 without any loss in image quality. Further, it is possible to realize high resolution of the image without enlarging the data size of the image as compared with the regular distance cylindrical image P0.
  • image data including two panoramic images for left eye and right eye can be provided with the same number of pixels as that of one regular distance cylindrical image P0.
  • the panoramic image P according to the second example is referred to as a second panoramic image P2.
  • a second panoramic image P2 when converting the position on the sphere S to a position in the second panoramic image P2, different coordinate systems are used for two hemispherical surfaces obtained by dividing the surface of the sphere S into two. Do the conversion.
  • the definition of the position coordinates on the sphere S in the second example will be described with reference to FIGS. 4A to 4D.
  • FIG. 4A is a perspective view of the ball S as viewed from the front upper side
  • FIG. 4B is a perspective view of the ball S as viewed from the rear lower side
  • 4C is a front view
  • FIG. 4D is a rear view
  • the position of point F is the front direction.
  • a point corresponding to the zenith is a point U
  • a point corresponding to the nasol is a point D.
  • four points separated by 90 degrees on the ground plane are set as a point F, a point L, a point B, and a point R.
  • the observer at the center point (observation point) of the sphere S faces the direction (front direction) of point F
  • the right hand direction is point R
  • the back direction is point B
  • the left hand direction is point L.
  • the position coordinates are defined by the latitude ⁇ and the longitude ⁇ similar to the first example described above. That is, the parallels are parallel to the ground plane, and the meridians are the circumference of the great circle of the sphere S passing through the points U and D.
  • the hemispherical surface on the front side half of the sphere S is referred to as a front region, and a coordinate system indicating the position in the front region is referred to as a front coordinate system.
  • FIG. 4A and FIG. 4C several parallels in the front area are indicated by broken lines.
  • the direction toward is the positive direction of longitude ⁇ .
  • the latitude ⁇ and the longitude ⁇ are defined in directions different from the front area. Specifically, the latitude ⁇ and the longitude ⁇ are defined in the same direction as the earth when the point L is regarded as the north pole and the point R is regarded as the south pole.
  • the latitude is the outer periphery of the cross section of the sphere S perpendicular to the straight line LR, and the meridian is the circumference of the great circle of the sphere S passing the points L and R.
  • the back surface area the hemispherical surface on the back side half of the sphere S
  • the coordinate system indicating the position in the back surface area is referred to as the back surface coordinate system.
  • FIGS. 4B and 4D several parallels in the back surface area defined by the back surface coordinate system are indicated by alternate long and short dash lines.
  • the parallel lines extend parallel to the straight line UD (that is, in the direction orthogonal to the parallel lines of the front surface coordinate system) when viewed from the back surface side.
  • the point U, the point L, the point D, and the point R located on the boundary between the front area and the back area are represented in position coordinates different from the front coordinate system in the back surface coordinate system.
  • regions A 9 to A 16 eight regions obtained by dividing the surface of the sphere S by three planes orthogonal to one another are denoted as divided regions A 9 to A 16 .
  • the three planes orthogonal to each other are a ground plane including point F, point L, point B, and point R, a vertical plane including point U, point F, point D, and point B, point U, It is a vertical plane including point L, point D, and point R.
  • a 13 be an area surrounded by points D, B, and R be a divided area A 14 , an area surrounded by points D, L, and B be a divided area A 15 , a point U, a point B, the region surrounded by points L and divided area a 16.
  • These divided areas A 9 to A 16 are areas surrounded by three parallel lines or meridians each having a length corresponding to 1 ⁇ 4 of the circumference of the great circle of the sphere S, and have mutually equal sizes Size and shape.
  • FIG. 5 shows a second panoramic image P2 including the scene to be projected onto the sphere S.
  • the second panoramic image P2 also has a square shape as a whole, similarly to the first panoramic image P1.
  • the center point of the square corresponds to the point F
  • the point B on the sphere S opposite to the point F corresponds to the four corners of the square. That is, four vertices of the second panoramic image P2 correspond to one point B on the sphere S.
  • the middle point of the left side of the square corresponds to the point L, the middle point of the upper side to the point U, the middle point of the right side to the point R, and the middle point of the lower side to the point D.
  • the top right vertex is the point B 1
  • the bottom right vertex is the point B 2
  • the bottom left vertex is the point B 3
  • the top left vertex is the point B 4 .
  • the front area of the sphere S is converted into the square RULD in FIG.
  • the parallels are parallel to one another along the left-right direction (the direction parallel to the straight line LR).
  • the meridians extend radially from point U, bend at a position intersecting straight line RL and extend to point D.
  • the back surface area of the sphere S is divided into four and converted into right-angled isosceles triangular conversion areas, and arranged outside the square RULD.
  • the arrangement position of each conversion area is determined so that the continuous area on the sphere S is adjacent also in the second panoramic image P2. That is, in the second panoramic image P2, similarly to the first panoramic image P1, divided regions A 9 to A 16 obtained by dividing the surface of the sphere S into eight are respectively converted regions A 9 to It is converted to A 16 and arranged so as to maintain the adjacent relation on the sphere S to form a square panoramic image.
  • the parallel lines of the back surface coordinate system are arranged parallel to one another along the direction parallel to the straight line LR like the parallel lines of the front surface coordinate system.
  • position coordinates in the second panoramic image P2 are represented by an orthogonal coordinate system in which the horizontal direction is an x axis, the vertical direction is a y axis, and the center position is an origin.
  • the latitude ⁇ and the longitude ⁇ on the surface of the sphere S are expressed by the following equation using variables u and v.
  • the variables u and v are represented by the following equations according to the position coordinates (x, y) in the second panoramic image P2, respectively.
  • the correspondence relationship between the position on the sphere S and the position in the second panoramic image P2 is defined by these mathematical expressions.
  • the latitude ⁇ and the longitude ⁇ in the front area are defined by the front coordinate system
  • the latitude ⁇ and the longitude ⁇ in the rear area are defined by the back coordinate system.
  • the latitude ⁇ has a linear relationship with each of x and y in each divided area.
  • the coordinates correspond one to one.
  • adjacent pixels in the second panoramic image P2 also correspond to regions adjacent to each other in the sphere S.
  • the point on the outer periphery of the second panoramic image P2 is continuous on the sphere S with the location on the same side corresponding to the case where each side of the square is folded at the middle point.
  • the second panoramic image P2 can realize an image quality substantially equal to that of the regular-distance cylindrical image P0 with half the number of pixels of the regular-distance cylindrical image P0.
  • the second side of the panoramic view (the scene projected on the hemispherical surface centered on the point F) viewed from the observer is not divided. It is converted into a square whose center coincides with the image P2. Therefore, the use of the second panoramic image P2 is suitable, particularly when presenting the user with a view ahead of the rear.
  • the point D is disposed at the center and the opposing point U corresponds to the vertex of the four corners
  • the point F is disposed at the center
  • the opposite point B correspond to the vertices of the four corners. That is, there is a difference in the direction of conversion when converting both the sphere S into the planar panoramic image P.
  • the contents of the conversion itself are similar between the two. Specifically, in each case, eight divided areas on the spherical surface divided by three planes orthogonal to each other through the center of the sphere S are respectively converted into transformation areas in the form of a right isosceles triangle. There is. Thereby, the difference in the amount of information between pixels can be reduced.
  • each divided area is converted into a right-angled isosceles triangle because a panoramic image P can be made into a square shape by arranging and arranging eight right-angled isosceles triangles. If it is permitted to make the shape of the panoramic image P into another (for example, rectangular) shape, even if each divided area is converted to a triangle (such as a right triangle) which is not a right isosceles triangle, the equidistant cylindrical image It is possible to reduce the difference in the amount of information between pixels compared to P0.
  • the panoramic image P according to the third example is referred to as a third panoramic image P3.
  • the surface of the sphere S is divided into eight areas of divided areas A 9 to A 16 as in the second example.
  • position coordinates on the sphere S are represented by latitude ⁇ and longitude ⁇ defined similarly to the frontal coordinate system in the second example. That is, unlike the second example, in the third example, the position on the surface of the sphere S is represented by a single coordinate system over the entire surface of the sphere S.
  • FIG. 6 shows a third panoramic image P3 including the scene to be projected onto the sphere S.
  • the third panoramic image P3 eight divided areas A 9 to A 16 are respectively converted into right-angled isosceles triangles in the same manner as the second panoramic image P2, and the second panoramic image It is arranged at the same position as P2.
  • the divided areas A 9 to A 12 are converted into converted areas A 9 to A 12 in the third panoramic image P 3 by the same conversion equation as the second panoramic image P 2. That is, when expressing the same scenery, the image data in the square URDL will match between the second panoramic image P2 and the third panoramic image P3.
  • the divided areas A 13 to A 16 are converted into the converted area of the same position and shape as the second panoramic image P 2 in the third panoramic image P 3, but the position in the divided area is the second panoramic image P 2 Is converted to a position in the corresponding conversion area by a conversion formula different from.
  • the parallel line of ⁇ > 0 is U-shaped opened upward as shown by the dotted line in the drawing.
  • the parallel line of ⁇ ⁇ 0 is U-shaped opened downward.
  • position coordinates in the third panoramic image P3 are represented by an orthogonal coordinate system having the horizontal direction as the x axis, the vertical direction as the y axis, and the center position as the origin.
  • the latitude ⁇ and the longitude ⁇ on the surface of the sphere S are expressed by the following equation using variables u, v and a.
  • the variables u, v, a are respectively expressed by the following equations according to the position coordinates (x, y) in the third panoramic image P3.
  • These equations define the correspondence between the position on the sphere S and the position in the third panoramic image P3.
  • the latitude ⁇ has a linear relationship with each of x and y in each divided area.
  • the view on the front side (the view projected on the hemispherical surface centered at the point F) viewed from the observer is not divided but the third panoramic image
  • the square URDL in P3 has been converted. Therefore, as compared with the first example, it is suitable for an application that presents the user with the forward scene.
  • the entire sphere S is defined by one coordinate system, and there is no need to exchange latitude and longitude, the equidistant cylindrical image P0 is converted into a panoramic image P as compared with the second example.
  • the sphere S is divided by the vertical plane including the point U, the point E 1 , the point D, and the point E 3 and the vertical plane including the point U 2 , the point E 2 , the point D, and the point E 4
  • the resulting four regions are transformed into four squares E 1 U 1 E 2 D, squares DE 2 U 2 E 3, squares U 4 E 1 DE 4 , and squares E 4 DE 3 U 3 .
  • a circumference obtained by making the remaining one plane orthogonal to the sphere S among the three planes described above is converted into the diagonal lines of the four squares.
  • the diagonals of the four squares mentioned above, square E 1 E 2 E 3 E 4 corresponding to the ground plane is formed. That is, each of the first panoramic image P1, the second panoramic image P2, and the third panoramic image P3 is made into four squares by combining eight right isosceles triangles into two, and these four squares are The base of each right-angled isosceles triangle is arranged by arranging in 2 rows and 2 columns so as to form a square.
  • FIG. 7 is a view showing an example of a square formed by combining two right-angled isosceles triangular transformation regions in the embodiment described above, and is a square E 1 in the first panoramic image P1 of FIG.
  • the pixel arrangement of U 1 E 2 D is shown.
  • one side of the square is formed of eight pixels.
  • the number of diagonally arranged pixels is also eight.
  • diagonal pixels are indicated by hatching.
  • one right-angled isosceles triangle is configured by N (N + 1) / 2 pixels, where N is the number of pixels at the base. If this is simply doubled, it becomes N (N + 1). That is, when it is desired to set the number of pixels of the base of each right-angled isosceles triangle to N, a rectangular area of N rows (N + 1) is required for two right-angled isosceles triangles.
  • the base is shared between two right isosceles triangles. That is, the pixels on one diagonal of the square constitute the base of each of the two right-angled isosceles triangular transformation regions.
  • a rectangle formed by combining two right isosceles triangles is just a square of N rows and N columns.
  • the entire panoramic image P also has the number of pixels in the vertical direction and the horizontal direction. It becomes a square where the number of pixels is equal. With such a configuration, processing such as video compression is facilitated.
  • the N rows and N columns are configured by arranging (2N-1) pixel columns composed of a plurality of pixels arranged along a straight line parallel to the straight line E 1 E 2 from the upper right to the lower left It can be regarded as That is, the upper right pixel closest to the point U 1 alone constitutes the first pixel row.
  • the pixel on the left of the pixel at the upper right and the two pixels at the pixel immediately below constitute a second pixel row.
  • N-th pixel row is indicated by hatching in FIG. 7 is constituted by N pixels from the point E 1 to point E 2.
  • the (N + 1) -th pixel column is constituted by (N-1) pixels positioned to the left of the hatched pixels in FIG.
  • the (2N-1) -th pixel column is constituted by the lower left pixel closest to the point D.
  • N the number of pixels in the square of N rows and N columns in total.
  • a straight line parallel to the straight line E 1 E 2 corresponds to a parallel line on the sphere S. Therefore, each pixel belonging to the same pixel column corresponds to the area of the same latitude on the sphere S.
  • the 180 ° visual field range from the zenith to the zenith of the sphere S is converted into (2N-1) pixel rows in the first panoramic image P1.
  • the latitude ⁇ is in a linear relationship with x and y in the conversion equation for converting the point on the sphere S and the point in the first panoramic image P1. Therefore, the (2N-1) pixel columns described above correspond to mutually equal latitude ranges on the sphere S.
  • each pixel row corresponds to a band-like region on the sphere S corresponding to the latitude range of ⁇ / (2N-1). Furthermore, according to the conversion equation described above, the pixels included in the same pixel row correspond to the same wide region in the band-like region on the sphere S. That is, the pixels included in the pixel row corresponding to the area of the same latitude have the same amount of information. Also in the second panoramic image P2 and the third panoramic image P3, although the orientation of the pixel array is different, the feature relating to conversion between such a divided area and a conversion area holds in the same manner.
  • the view of the divided area on the sphere is simply projected as it is on the internal plane of the sphere.
  • the difference in the information amount of each pixel in the panoramic image P is smaller.
  • the panoramic image P in the present embodiment is not limited to this, and various coordinate systems used for conversion, various arrangements of the conversion areas in the panoramic image P, and the like are changed. There may be variations. In any case, eight divided areas obtained by dividing the surface of the sphere S by three planes orthogonal to each other passing through the center of the sphere S are respectively converted into triangular transformation areas, By arranging at, it is possible to generate a square-shaped panoramic image P including the landscape of the whole sky.
  • the square panoramic image P having the same number of pixels in the vertical direction and the number of pixels in the horizontal direction is generated by converting the divided areas on the sphere S into triangular areas and arranging them on a plane.
  • the panoramic image P in the present embodiment is not limited to such.
  • the two divided areas may be converted into right isosceles triangle-shaped areas whose base is a pixel row consisting of N pixels without sharing the base.
  • a 1/4 area of the sphere S is converted to a rectangular area of N rows (N + 1) columns, and the panoramic image P has a rectangular shape of 2N rows (2N + 2) columns in total.
  • the 1 ⁇ 4 region of the sphere S may be converted into a rectangular region of N rows (N + m) columns.
  • N is a natural number of 1 or more.
  • m is a natural number of 1 or more.
  • FIG. 8 shows an example of an N-row (N + m) -column rectangle obtained by converting 1 ⁇ 4 of the surface of the sphere S in this example.
  • the area (the divided areas A 1 and A 5 ) of the sphere S corresponding to the square E 1 U 1 E 2 D in the first panoramic image P 1 of FIG. 3 is converted by the conversion method similar to the first panoramic image P 1
  • the divided area on the sphere S is converted into a trapezoidal shape, not the triangular shape as in the previous embodiments.
  • the same number of labels are given to the pixel groups corresponding to the area of the same latitude on the sphere S.
  • a group of pixels whose latitudes on the corresponding sphere S are equal to each other is referred to as a co-latitude pixel group.
  • the pixels to which the same label is given in FIG. 8 belong to the same same latitude pixel group. For example, the upper right pixel labeled “1” in FIG.
  • each same latitude pixel group forms a strip-like pixel row along a diagonal line from upper left to lower right.
  • the same latitude pixel group of the label "8" to the label "11" corresponding to the relatively low latitude region is constituted by the largest number of pixels, and the same latitude pixel group is closer to the point U or the point D from there
  • the number of pixels that make up is decreasing.
  • the number of pixels expressing the range of 90 degrees along the ground plane is N as in the example of FIG. 7, but from point U 1 to point E 1 or point E 2
  • the number of pixels representing the range of 180 degrees to reach the point is (2N-1 + m) with respect to (2N-1) in FIG.
  • the resolution of expressing the vertical direction of the sphere S is improved as the shape of the panoramic image P is changed from square to rectangular and the number of pixels in the horizontal direction is increased.
  • the panoramic image P has a shape stretched in the left-right direction, but may have a shape stretched in the vertical direction.
  • FIG. 9 shows another example of forming the panoramic image P in a rectangular shape.
  • an example is shown in which the area corresponding to the square UFRB 1 in FIG. 6 is converted into a rectangle by a conversion method similar to that of the third panoramic image P3.
  • labels belonging to the same numeral are assigned to pixels belonging to the same same latitude pixel group.
  • the third panoramic image P 3 among the conversion areas A 12 and A 13 corresponding to 1 ⁇ 4 of the surface of the sphere S, the upper left corresponds to the area of the same latitude closest to the point U,
  • four (i.e., 1 + m) pixels to which the label "1" is attached form a high-latitude same-latitude pixel group closest to the point U.
  • the same latitude pixel group of label "8" corresponds to the area along the ground plane, and is constituted by (2N-1 + m) pixels. That is, in FIG. 9, the range of 90 degrees in the vertical direction of the sphere S is represented by N pixels, and the range of 180 degrees in the horizontal direction is represented by (2N-1 + m) pixels. Conversely, the resolution in the left-right direction is improved.
  • the same latitude pixel group forms an L-shaped area as in the case of the third panoramic image P.
  • the divided regions A 13 are members is converted to the same right-angled isosceles triangle and the third panoramic image P3, divided area A 12 is converted into a trapezoidal shape.
  • the resolution in the vertical direction or horizontal direction can be improved as compared to the case where it is made square.
  • the same latitude pixel group corresponding to the parallel line on the sphere S forms a band-like region in the panoramic image P.
  • the parallels are a set of points on the sphere S having equal distances from a certain point (hereinafter referred to as an extreme point).
  • the pole points are the point U and the point D
  • the parallel line is a plane parallel to the ground plane on the sphere S It corresponds to the intersection line with the sphere S surface.
  • the points R and L are poles, and the parallels extend along the vertical direction as indicated by the dashed dotted line in FIG. 4D.
  • the panoramic image P in the present embodiment when focusing on an arbitrary parallel line on the sphere S, the same latitude pixel corresponding to the parallel line
  • the number of pixels belonging to the group is equal to or less than the number of pixels belonging to the same latitude pixel group corresponding to the parallel line lower in latitude than the parallel line (ie, the parallel line closer to the pole).
  • the number of pixels included in the same latitude pixel group decreases as the latitude increases.
  • the number of pixels belonging to the same latitude pixel group is constant regardless of the latitude.
  • the number of pixels belonging to the same latitude pixel group corresponding to high latitude parallel lines is smaller than the number of pixels in the same latitude pixel group corresponding to low latitude parallel lines.
  • the panoramic image P in the present embodiment is not limited to this.
  • the panoramic image P does not include all of the eight conversion areas corresponding to eight division areas obtained by dividing the surface of the sphere S, but may include only a partial conversion area. Good.
  • the panoramic image P does not include all of the eight conversion areas corresponding to eight division areas obtained by dividing the surface of the sphere S, but may include only a partial conversion area.
  • the panoramic image P does not include all of the eight conversion areas corresponding to eight division areas obtained by dividing the surface of the sphere S, but may include only a partial conversion area.
  • Good For example, among eight divided areas obtained by dividing the surface of the sphere S shown in FIGS. 4A to 4D, only four divided areas A 9 to A 12 are converted into conversion areas and arranged on a plane, It may be a panoramic image P. This makes it possible to obtain a panoramic image P that includes only the scenery in the hemisphere ahead of the observation point.
  • the panoramic image P in this case may be equivalent to a square RULD which is a part of the second panoramic image P2 shown in FIG.
  • the four divided areas may be arranged to form a rectangle instead of a square.
  • two divided areas are converted into a conversion area of a right-angled isosceles triangle to form a square panoramic image P as illustrated in FIG. You may
  • the panoramic image P in the present embodiment does not project the view seen from the observation point onto the whole of the sphere S, but projects the view only to a part of the range, and divides the sphere S on which the scenery is projected. It may be formed by converting at least one of the eight divided areas obtained by In this example, a scene may be projected to a partial area of one divided area, and the divided area may be converted to a conversion area in a state where a scene is not projected to the other area. In that case, the range in which the view is not projected may be converted into a pixel having dummy information (for example, a pixel having a pixel value of 0) in the panoramic image P. As a result, even if there is no information on the scenery in a partial range, such as a high latitude range close to the nadir, for example, the panoramic image P can be generated by the method of the present embodiment.
  • the high latitude range near the zenith or the zenith is a rectangular shape near the points U and D. It becomes an area.
  • the panoramic image P obtained by converting the range of the sphere S excluding the portion can be rearranged into a rectangle.
  • the arrangement of pixel rows corresponding to each parallel line in this case is similar to that illustrated in FIG.
  • the latitude ⁇ which is the position coordinates of the surface of the sphere S, is in a linear relationship with the position coordinates x, y in the panoramic image P.
  • the latitude range of 180 degrees is converted into 18 equal latitude pixel groups.
  • the same latitude pixel group corresponds to an angle of 10 degrees of latitude.
  • the same latitude pixel group to which the label "1" is assigned corresponds to the range of 80 degrees to 90 degrees on the sphere S
  • the same latitude pixel group to which the label "2" is assigned is the latitude on the sphere S
  • the same latitude pixel group to which the label "18" is attached corresponds to the range of 70 degrees to 80 degrees and corresponds to the range of latitude -80 degrees to -90 degrees.
  • the pixels belonging to the same same latitude pixel group correspond to the same longitude range.
  • the panoramic image P in the present embodiment is not limited to this, and the latitude range and the longitude range corresponding to each pixel may be made different from each other.
  • the latitude range and the longitude range on the sphere S corresponding to the pixels in the panoramic image P should be narrower than other areas. It is also good.
  • the resolution of the important area can be made higher than the other areas. As an example, it is considered that the user is more likely to focus on low latitude areas (areas closer to the ground plane) than high latitude areas (areas close to the zenith or the zenith).
  • the latitude range per pixel group in the same latitude is 45 degrees or more and 45 degrees or less in the same latitude pixel group.
  • Half of the latitude range In this way, the attention range corresponding to half of the 180 degree latitude range can be made to have a resolution twice that of the other range.
  • the corresponding latitude range for each pixel is changed in two steps, it is not limited to this and may be changed in more steps.
  • the corresponding longitude range may be changed in the same manner as the latitude range.
  • the method of making the corresponding latitude range and the corresponding longitude range per unit pixel different as described above can be applied not only to the panoramic image P in the present embodiment but also to the equidistant cylindrical image P0.
  • the image generation device 10 is an information processing device that generates a panoramic image P, and may be, for example, a home game machine, a portable game machine, a personal computer, a smartphone, a tablet, or the like. As shown in FIG. 10, the image generation apparatus 10 includes a control unit 11, a storage unit 12, and a communication unit 13.
  • the control unit 11 includes at least one processor such as a CPU, and executes a program stored in the storage unit 12 to execute various information processing. In particular, in the present embodiment, the control unit 11 executes a process of generating a panoramic image P.
  • the storage unit 12 includes at least one memory device such as a RAM, and stores a program executed by the control unit 11 and data processed by the program.
  • the communication unit 13 is a communication interface such as a LAN card, and transmits data of the panoramic image P to the image display control device 20 via a communication network.
  • the image display control device 20 is an information processing device that performs display control of an image based on the panoramic image P generated by the image generation device 10, and like the image generation device 10, a home game machine, a portable game machine , A personal computer, a smartphone, a tablet or the like.
  • the image display control device 20 includes a control unit 21, a storage unit 22, and a communication unit 23. Furthermore, the image display control device 20 is connected to the display device 24 and the operation device 25.
  • the control unit 21 includes at least one processor such as a CPU, and executes a program stored in the storage unit 22 to execute various information processing. In particular, in the present embodiment, the control unit 21 executes a process of drawing a display image based on the panoramic image P.
  • the storage unit 22 includes at least one memory device such as a RAM, and stores a program executed by the control unit 21 and data processed by the program.
  • the communication unit 23 is a communication interface such as a LAN card, and receives data transmitted from the image generation apparatus 10 via the communication network.
  • the display device 24 is a liquid crystal display or the like, and displays an image according to a video signal supplied by the image display control device 20.
  • the display device 24 may be a stereoscopic image display device that displays a stereoscopic viewable image supplied by the image display control device 20.
  • the display device 24 may be a head-mounted display device such as a head-mounted display that can be worn by the user on the head.
  • the operation device 25 is a controller of a home-use game machine, a pointing device, or the like, and is used by the user to perform various instruction operations on the image generation apparatus 10.
  • the content of the user's operation input to the operation device 25 is transmitted to the image display control device 20 by either wire or wireless.
  • the operation device 25 may include an operation button or a touch panel disposed on the surface of the case of the image display control device 20.
  • the image generation apparatus 10 functionally includes a landscape information acquisition unit 31 and a panoramic image generation unit 32. These functions are realized by the control unit 11 executing a program stored in the storage unit 12. Further, the image display control device 20 functionally includes a panoramic image acquisition unit 33, a direction acquisition unit 34, and a display image drawing unit 35. These functions are realized by the control unit 21 executing a program stored in the storage unit 22.
  • the program executed by each device may be provided to each device via a communication network such as the Internet, or may be provided by being stored in a computer-readable information storage medium such as an optical disk.
  • the scenery information acquisition unit 31 acquires scenery information as original data for generating a panoramic image P.
  • the landscape information is information necessary to specify the color (pixel value) of each unit area on the surface of the sphere S when the panoramic view seen from the observation point is projected onto the virtual sphere S. is there.
  • the landscape information may be a panoramic image generated in an image format different from that of the present embodiment, such as equidistant cylindrical projection.
  • it may be image data of a panoramic picture taken by a panoramic camera.
  • the scenery information acquisition unit 31 may receive scenery information from another device via a communication network, or may read it from a device such as a camera connected to the image generation device 10.
  • the scene information stored in an information storage medium such as a flash memory may also be read.
  • the panoramic image generation unit 32 generates a panoramic image P using the view information acquired by the view information acquisition unit 31.
  • the panoramic image P is two-dimensional image data on which the scenery of the entire sky (or a part thereof) is projected as described above.
  • the panoramic image generation unit 32 uses the pixel value of each pixel in the panoramic image P as the scene information according to the above-described calculation formula indicating the correspondence between the point on the sphere S and the point in the panoramic image P.
  • the panoramic image P is generated by calculating based on the above.
  • the panoramic image generation unit 32 may generate image data for stereoscopic vision.
  • the image data generated in this case includes, for example, a square panoramic image P for generating a left-eye image in the left half, and a horizontal and vertical image including a square panoramic image P for generating a right-eye image in the right half. It may be rectangular image data with a ratio of 1: 2.
  • the panoramic image generation unit 32 may generate the panoramic image P as a moving image that changes with time.
  • the panoramic image generation unit 32 selects one image format from a plurality of types of image formats such as the first panoramic image P1 and the second panoramic image P2 described above, and the panoramic image P is selected according to the selected image format. It may be generated. In this case, the panoramic image generation unit 32 outputs the information specifying the image format of the generated panoramic image P together with the panoramic image P.
  • the panoramic image acquisition unit 33 acquires the panoramic image P generated by the panoramic image generation unit 32 of the image generation device 10.
  • the panoramic image acquisition unit 33 directly receives the panoramic image P transmitted from the image generation apparatus 10 via the communication network.
  • the present invention is not limited to this, and the panoramic image acquisition unit 33 may receive the panoramic image P via another device such as a server computer.
  • the panoramic image P temporarily stored in an information storage medium such as a flash memory may be read out and acquired from this information storage medium.
  • the direction acquisition unit 34 acquires direction information used to determine the visual field range (display range) of the display image displayed on the display device 24 based on the user's instruction or the like.
  • the direction information acquired by the direction acquiring unit 34 is used as an imaging direction of a virtual camera when a display image drawing unit 35 described later generates a display image.
  • the imaging direction is defined by, for example, a yaw angle representing an angle in the horizontal direction and a pitch angle representing an angle in the vertical direction.
  • the direction acquisition unit 34 may also acquire a roll angle indicating the angle of rotation of the camera with the imaging direction as the rotation axis.
  • the direction acquisition unit 34 acquires direction information by receiving an operation input that indicates the direction of the user with respect to the operation device 25.
  • the direction acquisition unit 34 may acquire direction information from the detection result of the motion sensor incorporated in the image display control device 20 when the user performs an operation of tilting the main body of the image display control device 20.
  • the image display control device 20 is provided with a small housing such as a smartphone or a tablet
  • the user changes the view range to an arbitrary direction by changing the direction of the image display control device 20.
  • the direction acquisition unit 34 may acquire direction information from the detection result of the motion sensor incorporated in the display device 24.
  • the visual field range can be changed according to the change in the orientation of the head of the user.
  • the display image drawing unit 35 draws a display image showing a view within the view range determined according to the direction information acquired by the direction acquisition unit 34 based on the panoramic image P acquired by the panoramic image acquisition unit 33, and displays the display device Display on 24 Thereby, the user can browse the scenery within the specific visual field included in the panoramic image P. Furthermore, by changing the visual field range by an operation input to the operation device 25 or the like, it is possible to browse the scenery in any direction of the entire sky.
  • the display image drawing unit 35 arranges the sphere S in the virtual space, and arranges the virtual camera at the center position of the sphere S. At this time, the virtual camera is disposed with an orientation and an inclination determined according to the direction information acquired by the direction acquiring unit 34. Furthermore, the display image drawing unit 35 pastes a texture generated based on the panoramic image P on the inner surface of the sphere S, and draws a view of the inner surface of the sphere S to which the texture is pasted from a virtual camera. , To generate a display image. When generating the texture to be attached to the sphere S, the display image drawing unit 35 is determined according to the specified image format with reference to the information specifying the image format output together with the panoramic image P. According to the formula, the pixel in the panoramic image P corresponding to each pixel included in the texture is identified.
  • each point on the sphere S corresponds to one point in the panoramic image P. Therefore, when determining the pixel value (color) of the pixel (texel) included in the texture, the pixel value of the pixel in the panoramic image P corresponding to the position on the sphere S to which the texel is pasted is referenced. However, due to differences in resolution and shape, etc., the texels in the texture and the pixels in the panoramic image P do not correspond one to one.
  • the display image drawing unit 35 converts the position on the sphere S of texels into a position (here, point X) in the panoramic image P, and determines a plurality of pixels near the point X as sampling targets. Then, the pixel value of the texel is determined by executing interpolation processing using the pixel value of the pixel to be sampled.
  • the horizontal and vertical directions of the image do not necessarily coincide with the horizontal and vertical directions of the sphere S.
  • the horizontal direction (the direction of the parallels) of the sphere S in any conversion region corresponds to a direction inclined 45 degrees with respect to the horizontal direction of the image.
  • the display image drawing unit 35 selects pixels to be sampled in accordance with the type of the image format of the panoramic image P and the selection rule defined for each conversion area in the image.
  • parallels connecting the equal latitude as indicated by the broken line in FIG. 3 is a straight line of left-side up at an angle in the horizontal direction and 45 degrees ing.
  • the display image drawing unit 35 targets four pixels X 1 to X 4 arranged along two parallel lines near the point X as shown in FIG. Choose as.
  • a set of pixels X 1 and the pixel X 2 and latitude set of corresponding respective pixels X 3 and the pixel X 4 becomes equal combination with one another.
  • the display image drawing unit 35 obtains the interpolated values I1 corresponding to the fraction of the longitude of the point X from the pixel value of the pixel X 1 pixel X 2. Moreover, to obtain an interpolated value I2 corresponding to the fraction of the longitude of the point X from the pixel values of the pixels X 3 and the pixel X 4. In addition, since the value of the longitude of each pixel is different, coefficients for calculating the interpolation value I1 and for calculating the interpolation value I2 are different from each other.
  • the pixel value of the texel corresponding to the point X is determined by calculating the interpolation value according to the fraction of the latitude of the point X from the interpolation value I1 and the interpolation value I2.
  • the pixel value of each texel included in the texture attached to the inner surface of the sphere S is calculated.
  • the sampling pixel row may be arranged along the outer periphery of the panoramic image P.
  • the sampling pixel row is a pixel row obtained by inverting the pixel row on one side of the panoramic image P horizontally or vertically, and is arranged to be adjacent to the pixel row to be inverted.
  • FIG. 13 shows an example of a panoramic image P to which a sampling pixel row is added.
  • a panoramic image P is shown in which sampling pixel columns are added one by one above and below the third panoramic image P3 having a square shape of 16 rows and 16 columns.
  • the sampling pixel row is indicated by hatching.
  • pixels given the same Greek letter or lower case alphabetic label have the same pixel value.
  • the sampling pixel row at the top of the figure is a pixel row obtained by inverting the left and right pixel rows from the top, and the sampling pixel row at the bottom is 2 from the bottom. It is a pixel row obtained by horizontally inverting the pixel row of the stage.
  • the sampling pixel row is arranged such that adjacent pixels on the sphere S in the panoramic image P are adjacent to peripheral pixels in the original panoramic image P.
  • Such a sampling pixel array is redundant as information, but has an effect of facilitating interpolation processing.
  • interpolation processing when performing interpolation processing with the second top pixel from the top in the figure and the second top pixel from the bottom being the sampling target, another necessary sampling target is taken out from another place in the panoramic image P Instead, they can be extracted from adjacent sampling pixel columns.
  • interpolation processing for sampling adjacent pixels can be realized as hardware by a graphic processor or the like. In such a case, by adding the sampling pixel sequence to the panoramic image P, the interpolation processing in the latitude direction including the end can be executed by hardware, and the interpolation calculation can be speeded up.
  • the display image drawing unit 35 updates the display image in real time according to the change in the direction acquired by the direction acquisition unit 34. That is, when the direction acquired by the direction acquisition unit 34 changes, the display image drawing unit 35 changes the direction of the virtual camera in the direction corresponding to the changed direction. More specifically, when the pitch angle and the yaw angle change, the imaging direction of the virtual camera is changed in conjunction with the change. When the roll angle changes, the virtual camera is tilted with the imaging direction as the rotation axis in conjunction with the change. Thereby, the visual field range of the virtual camera changes in conjunction with the change in the direction acquired by the direction acquisition unit 34.
  • the display image drawing unit 35 redraws the state of the inner surface of the sphere S based on the updated visual field range, updates the display image, and displays it on the screen of the display device 24.
  • the display image drawing unit 35 repeatedly executes the process of redrawing (updating) the display image according to the change in the direction acquired by the direction acquisition unit 34 at predetermined time intervals. According to such control, the user can move the view range to browse the scenery at any position on the entire sky included in the panoramic image P.
  • the display image drawing unit 35 may draw a stereoscopic image.
  • the display image drawing unit 35 arranges two virtual cameras aligned in the left and right direction at the center of the virtual sphere S. Then, a display image for the left eye is generated by drawing a situation where the inner surface of the sphere S to which the texture generated based on the panoramic image P for the left eye is attached is viewed from the left virtual camera.
  • a display image for the right eye is generated by drawing a situation in which the inner surface of the sphere S to which the texture generated based on the panoramic image P for the right eye is pasted is viewed from the virtual camera on the right.
  • the image generation apparatus 10 According to the image generation apparatus 10 according to the present embodiment described above, generation of a high-quality panoramic image P with a relatively small number of pixels with less waste of information compared to a panoramic image of regular distance cylindrical projection it can.
  • the image display control device 20 according to the present embodiment generates a display image indicating the scenery within the visual field range included in the panoramic image P based on the panoramic image P generated in this manner, and browses it to the user It can be done.
  • the embodiment of the present invention is not limited to the one described above.
  • the image generation device 10 and the image display control device 20 are assumed to be independent devices, but one information processing device may realize both generation of the panoramic image P and display control .
  • SYMBOLS 1 image display system 10 image generation apparatus, 11, 21 control part, 12, 22 storage part, 13, 23 communication part, 20 image display control apparatus, 24 display apparatus, 25 operation device, 31 view information acquisition part, 32 panorama Image generation unit, 33 panoramic image acquisition unit, 34 direction acquisition unit, 35 display image drawing unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

観測点から見た景色を少なくとも一部の範囲に投影した球の表面を、当該球の中心を通り互いに直交する３個の平面で分割して得られる８個の分割領域のうち、景色を投影した範囲を含む少なくとも一つの分割領域を、互いに等しい緯度に対応する画素の数が高緯度になるにつれて減少するように変換して平面上に配置してなるパノラマ画像を生成して出力する画像生成装置である。

Description

画像生成装置、及び画像表示制御装置
　本発明は、パノラマ画像を生成する画像生成装置、パノラマ画像を表示する画像表示制御装置、画像生成方法、プログラム、及び画像データに関する。
　観測点から見た全天周の景色を２次元平面に投影したパノラマ画像の画像フォーマットとして、正距円筒図法が知られている。この方式では、縦横比が１：２の矩形の画像データ内に、水平方向に３６０度、上下方向に１８０度の全方位の景色が含まれている。このようなパノラマ画像を用いることによって、例えばユーザーによる視点の向きの操作に応じて任意の方向の景色を表示するパノラマビューアを実現することができる。
　上述した正距円筒図法の画像フォーマットでは、画像の上辺全体が天頂（真上）の一点に対応し、下辺全体が天底（真下）の一点に対応する。そのため、上辺や下辺の近傍の領域（観測点から見て真上や真下に近い向きの景色が含まれる領域）では、地平線に近い高さの景色が含まれる画像中段の領域と比較して、１画素あたりの情報量が極端に小さくなり、情報の無駄が多くなる。
　本発明は上記実情を考慮してなされたものであって、その目的の一つは、パノラマ画像に含まれる情報の無駄を低減することのできる画像生成装置、画像表示制御装置、画像生成方法、プログラム、及び画像データを提供することにある。
　本発明に係る画像生成装置は、観測点から見た景色を少なくとも一部の範囲に投影した球の表面を、当該球の中心を通り互いに直交する３個の平面で分割して得られる８個の分割領域のうち、前記景色を投影した範囲を含む少なくとも一つの分割領域を、互いに等しい緯度に対応する画素の数が高緯度になるにつれて減少するように変換して平面上に配置してなるパノラマ画像を生成するパノラマ画像生成部と、前記生成されたパノラマ画像を出力する画像出力部と、を含むことを特徴とする。
　また、本発明に係る画像表示制御装置は、観測点から見た景色を少なくとも一部の範囲に投影した球の表面を、当該球の中心を通り互いに直交する３個の平面で分割して得られる８個の分割領域のうち、前記景色を投影した範囲を含む少なくとも一つの分割領域を、互いに等しい緯度に対応する画素の数が高緯度になるにつれて減少するように変換して平面上に配置してなるパノラマ画像を取得する取得部と、前記取得したパノラマ画像に基づいて、所与の視野範囲の景色を示す表示画像を描画し、表示装置の画面に表示させる描画部と、を含むことを特徴とする。
　また、本発明に係る画像生成方法は、観測点から見た景色を少なくとも一部の範囲に投影した球の表面を、当該球の中心を通り互いに直交する３個の平面で分割して得られる８個の分割領域のうち、前記景色を投影した範囲を含む少なくとも一つの分割領域を、互いに等しい緯度に対応する画素の数が高緯度になるにつれて減少するように変換して平面上に配置してなるパノラマ画像を生成するステップと、前記生成されたパノラマ画像を出力するステップと、を含むことを特徴とする。
　また、本発明に係るプログラムは、観測点から見た景色を少なくとも一部の範囲に投影した球の表面を、当該球の中心を通り互いに直交する３個の平面で分割して得られる８個の分割領域のうち、前記景色を投影した範囲を含む少なくとも一つの分割領域を、互いに等しい緯度に対応する画素の数が高緯度になるにつれて減少するように変換して平面上に配置してなるパノラマ画像を生成する手段、及び、前記生成されたパノラマ画像を出力する手段、としてコンピュータを機能させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
　また、本発明に係る画像データは、観測点から見た景色を少なくとも一部の範囲に投影した球の表面を、当該球の中心を通り互いに直交する３個の平面で分割して得られる８個の分割領域のうち、前記景色を投影した範囲を含む少なくとも一つの分割領域が、互いに等しい緯度に対応する画素の数が高緯度になるにつれて減少するように変換された状態で平面上に配置されてなる画像データである。
本発明の実施形態に係る画像生成装置が生成する第１の例に係るパノラマ画像に含まれる全天周の景色を投影した仮想的な球を正面側から見た斜視図である。 第１の例に係るパノラマ画像に含まれる全天周の景色を投影した仮想的な球を背面側から見た斜視図である。 第１の例に係るパノラマ画像に含まれる全天周の景色を投影した仮想的な球の正面図である。 正距円筒図法によるパノラマ画像を示す図である。 第１の例に係るパノラマ画像を示す図である。 本発明の実施形態に係る画像生成装置が生成する第２の例に係るパノラマ画像に含まれる全天周の景色を投影した仮想的な球を正面側から見た斜視図である。 第２の例に係るパノラマ画像に含まれる全天周の景色を投影した仮想的な球を背面側から見た斜視図である。 第２の例に係るパノラマ画像に含まれる全天周の景色を投影した仮想的な球の正面図である。 第２の例に係るパノラマ画像に含まれる全天周の景色を投影した仮想的な球の背面図である。 第２の例に係るパノラマ画像を示す図である。 第３の例に係るパノラマ画像を示す図である。 本発明の実施の形態に係る画像生成装置が生成するパノラマ画像の画素配置の一例を示す図である。 パノラマ画像を長方形とする場合の画素配置の一例を示す図である。 パノラマ画像を長方形とする場合の画素配置の別の例を示す図である。 本発明の実施の形態に係る画像生成装置、及び画像表示制御装置を含んだ画像表示システムの構成を示す構成ブロック図である。 画像表示システムの機能を示す機能ブロック図である。 表示画像描画時のサンプリング処理を説明する図である。 サンプリング用画素列を付加したパノラマ画像の例を示す図である。
　以下、本発明の実施形態について、図面に基づき詳細に説明する。
　本実施形態に係る画像生成装置は、観測点から見た全天周の景色を含む、正距円筒図法とは異なる画像フォーマットのパノラマ画像を生成する。以下では、本実施形態に係る画像生成装置によって生成されるパノラマ画像をパノラマ画像Ｐと表記する。パノラマ画像Ｐは、全天周の景色を含んだ２次元（平面）の画像データである。ここで全天周とは、観測点から見て水平方向（左右方向）に３６０度、鉛直方向（上下方向）に天頂から天底まで１８０度の全ての方位を意味している。
　以下、パノラマ画像Ｐの画像フォーマットの三つの実施例について、正距円筒図法によるパノラマ画像と比較して説明する。まず、パノラマ画像Ｐの第１の例について説明する。以下では、この第１の例に係るパノラマ画像Ｐを第１パノラマ画像Ｐ１と表記する。また、正距円筒図法により生成されるパノラマ画像を正距円筒画像Ｐ０と表記する。
　観測点から見た全天周の景色は、観測点の位置を中心とした仮想的な球面上に投影される。ここで、全天周の景色が投影された仮想的な球を球Ｓとする。図１Ａ～図１Ｃはこの球Ｓを示しており、図１Ａが正面上方から見た斜視図、図１Ｂが背面下方から見た斜視図、図１Ｃが正面図である。なお、ここでは後述する点Ｅ１の位置を正面方向としている。球Ｓの表面において、天頂（観測点の真上）に対応する点を点Ｕとする。また、天底（観測点の真下）に対応する点を点Ｄとする。点Ｕと点Ｄとは、球Ｓの中心を挟んで対向している。直線ＵＤに垂直な球Ｓの大円は、観測点から見た天文学的地平線に対応し、観測点から水平方向に見た景色がこの大円上に投影される。以下、この直線ＵＤに垂直な球Ｓの大円を含む平面を地平面という。また、地平面と直交する平面を鉛直面という。
　この第１の例では、球Ｓの表面上の位置を緯度θと経度φからなる座標系で表現することとする。また、地平面上の一つの点Ｆをこの座標系の原点（θ＝０，φ＝０）とする。球Ｓ上のある点の緯度θは、その点と球Ｓの中心とを結ぶ直線が地平面となす角度で表される。経度φは、その点と点Ｕ、及び点Ｄを含む球Ｓの大円が、点Ｆ、点Ｕ及び点Ｄを含む大円となす角度で表される。なお、ここでは図１Ｃに示すように、地平面から天頂に向かう方向を緯度θの正方向とする。そのため、点Ｕの緯度θはπ／２、点Ｄの緯度θは－π／２となる。また、観測点から点Ｆを見た場合の右手方向を経度φの正方向とする。
　また、地平面に沿って９０度ずつ離れた球Ｓ上の４点を点Ｅ１～点Ｅ４とする。具体的に、これらの４点の緯度θはいずれも０で、経度φについては点Ｅ１がπ／４、点Ｅ２が３π／４、点Ｅ３が５π／４（または－３π／４）、点Ｅ４が－π／４となる。例えば観測点上にいる観測者が点Ｅ１の方向を向いている場合、点Ｅ２が観測者の右手方向、点Ｅ３が背面方向、点Ｅ４が左手方向となる。点Ｅ１と点Ｅ３、点Ｅ２と点Ｅ４はそれぞれ球Ｓの中心を挟んで対向し、直線Ｅ１Ｅ３と直線Ｅ２Ｅ４とは地平面上において互いに直交している。なお、図１Ａ～図１Ｃでは、地平面に含まれるθ＝０の緯線と、点Ｅ１～Ｅ４のそれぞれを通る４本の経線とが実線で図示されている。また、何本かの緯線が破線で示されている。
　さらに、球Ｓの中心を通り互いに直交する３個の平面により球Ｓの表面を分割して得られる８個の領域を、分割領域Ａ１～Ａ８と表記する。この第１の例において、互いに直交する３個の平面は、点Ｅ１～Ｅ４を含む地平面と、点Ｅ１、点Ｅ３、点Ｕ、及び点Ｄを含む鉛直面と、点Ｅ２、点Ｅ４、点Ｕ、及び点Ｄを含む鉛直面である。具体的に、点Ｕと点Ｅ１を結ぶ経線、点Ｅ１と点Ｅ２を結ぶ緯線、及び点Ｅ２と点Ｕを結ぶ経線に囲まれた領域を分割領域Ａ１とする。同様にして、点Ｕ、点Ｅ２、点Ｅ３で囲まれた領域を分割領域Ａ２とし、点Ｕ、点Ｅ３、点Ｅ４で囲まれた領域を分割領域Ａ３とし、点Ｕ、点Ｅ４、点Ｅ１で囲まれた領域を分割領域Ａ４とし、点Ｄ、点Ｅ１、点Ｅ２で囲まれた領域を分割領域Ａ５とし、点Ｄ、点Ｅ２、点Ｅ３で囲まれた領域を分割領域Ａ６とし、点Ｄ、点Ｅ３、点Ｅ４で囲まれた領域を分割領域Ａ７とし、点Ｄ、点Ｅ４、点Ｅ１で囲まれた領域を分割領域Ａ８とする。これらの分割領域Ａ１～Ａ８は、いずれも球Ｓの大円の円周の１／４に相当する長さを持つ３本の緯線又は経線によって囲まれた領域であって、互いに等しい大きさ及び形状を備えている。
　図２は、この球Ｓ上に投影される景色を含んだ正距円筒画像Ｐ０を示している。なお、ここでは経度φ＝０の点Ｆを正距円筒画像Ｐ０の中心としている。正距円筒図法では、観測点から見た上下左右の位置関係が保たれるように、球Ｓの表面に投影された景色が縦横比１：２の長方形の正距円筒画像Ｐ０に変換される。正距円筒画像Ｐ０内では、球Ｓの緯線は左右方向に沿って互いに並行に延伸し、経線は上下方向に沿って互いに並行に延伸し、全ての緯線と経線とは直交する。また、分割領域Ａ１～Ａ８はそれぞれ正方形状の領域に変換され、正距円筒画像Ｐ０の上辺全体が点Ｕに対応し、下辺全体が点Ｄに対応する。このような変換により、球Ｓの表面において点Ｕ及び点Ｄの近傍に位置する領域（高緯度の領域）は、正距円筒画像Ｐ０内において左右方向に引き伸ばされることになる。そのため、正距円筒画像Ｐ０の上辺近傍、及び下辺近傍では、単位画素あたりに含まれる情報量が画像中段の低緯度の領域と比較して低下する。
　図３は、球Ｓ上に投影される景色を含んだ第１パノラマ画像Ｐ１を示している。同図に示されるように、第１パノラマ画像Ｐ１は全体として正方形の形状をしている。そして、正方形の中心点が点Ｄに対応しており、球Ｓ上において点Ｄと対向する点Ｕは正方形の４隅に対応している。すなわち、第１パノラマ画像Ｐ１の４個の頂点は、球Ｓ上の一つの点Ｕに対応する。また、正方形の上辺の中点が点Ｅ１に、右辺の中点が点Ｅ２に、下辺の中点が点Ｅ３に、左辺の中点が点Ｅ４に、それぞれ対応している。なお、ここでは球Ｓの点Ｕに対応する第１パノラマ画像Ｐ１の４個の頂点のうち、右上の頂点を点Ｕ１、右下の頂点を点Ｕ２、左下の頂点を点Ｕ３、左上の頂点を点Ｕ４としている。
　球Ｓにおけるθ＝０の緯線は、第１パノラマ画像Ｐ１内において、４辺の中点を頂点とし、点Ｄを中心とする正方形Ｅ１Ｅ２Ｅ３Ｅ４を形成する。そして、θ＜０の緯線は、第１パノラマ画像Ｐ１内において、直線Ｅ１Ｄ、直線Ｅ２Ｄ、直線Ｅ３Ｄ、及び直線Ｅ４Ｄのそれぞれと交差する位置で９０度折れ曲がり、点Ｄを中心とする正方形を形成する。一方、θ＞０の緯線は、第１パノラマ画像Ｐ１を４分割してなる４個の正方形Ｅ１Ｕ１Ｅ２Ｄ、正方形ＤＥ２Ｕ２Ｅ３、正方形Ｕ４Ｅ１ＤＥ４、及び正方形Ｅ４ＤＥ３Ｕ３のそれぞれに分割されている。これら４個の正方形は、互いに直交する二つの鉛直面で球Ｓの表面を４分割して得られる４個の領域に対応している。そして、これらの正方形それぞれの内部において、緯線（すなわち、二つの鉛直面に直交する平面と球Ｓとの交線）は、正方形の対角線と平行な向きに互いに並んで配置される。なお、球Ｓの経線は、第１パノラマ画像Ｐ１内において中心の点Ｄから放射状に延び、θ＝０の緯線と交差する位置で屈曲して点Ｕに対応する正方形のいずれかの頂点まで延びている。
　球Ｓの表面を８分割して得られる分割領域Ａ１～Ａ８のそれぞれは、第１パノラマ画像Ｐ１内において直角二等辺三角形の形状の領域に変換されている。第１パノラマ画像Ｐ１においては、正方形の形状に変換される正距円筒画像Ｐ０と比較して、各分割領域が元の球面上における形状と比較的近い形状に変換される。そのため、正距円筒画像Ｐ０と比較して、高緯度領域と低緯度領域との間における単位画素あたりに含まれる情報量の格差が小さくなる。なお、以下では各分割領域を変換して得られるパノラマ画像Ｐ内の領域を変換領域という。また、説明の便宜のため、パノラマ画像Ｐ内における個々の変換領域を球Ｓ上の対応する分割領域と同じ符号で参照する。つまり、球Ｓ上の分割領域Ａ１を変換して得られる第１パノラマ画像Ｐ１内の変換領域は、変換領域Ａ１と表記する。
　ここで、球Ｓの表面上における位置座標と、第１パノラマ画像Ｐ１内の位置座標との対応関係について、説明する。ここでは第１パノラマ画像Ｐ１内の位置座標は、図３に示すように、横方向をｘ軸、縦方向をｙ軸とし、中心位置を原点とする直交座標系によって表されるものとする。この直交座標系において、第１パノラマ画像Ｐ１の右辺はｘ＝１、左辺はｘ＝－１、上辺はｙ＝１、下辺はｙ＝－１で表される。
　この場合において、球Ｓの表面上の緯度θ、及び経度φは、変数ｕ、ｖ、ａを用いて以下の数式により表される。
Figure JPOXMLDOC01-appb-M000001
 ここで変数ｕ、ｖ、ａは、それぞれ第１パノラマ画像Ｐ１内の位置座標（ｘ、ｙ）に応じて以下の数式により表される。
Figure JPOXMLDOC01-appb-M000002
 これらの数式により、球Ｓ上の位置と第１パノラマ画像Ｐ１内の位置との対応関係が定義されている。これらの数式から分かるように、各分割領域内において緯度θはｘ、ｙのそれぞれと線形関係にある。
　なお、第１パノラマ画像Ｐ１の外周上の点（ｘ＝１、ｘ＝－１、ｙ＝１、ｙ＝－１）を除けば、球Ｓ上の位置座標と第１パノラマ画像Ｐ１内の位置座標は一対一で対応する。さらに、第１パノラマ画像Ｐ１内において隣接する画素同士は、球Ｓ内においても互いに隣接する領域に対応する。つまり、第１パノラマ画像Ｐ１内において緯線や経線が屈曲する箇所は存在するが、球Ｓ上において互いに離れた不連続な領域が第１パノラマ画像Ｐ１内において隣接するような変換はされていない。なお、第１パノラマ画像Ｐ１の外周上の点は、正方形の各辺を中点で折り返した場合に対応する同じ辺上の箇所と、球Ｓ上で連続するようになっている。例えば正方形の上辺においては、左端からｎ番目の画素と右端からｎ番目の画素とが互いに球Ｓ上の隣接する領域に対応している。
　正距円筒画像Ｐ０では、低緯度の領域（画像中段の領域）で単位画素あたりの情報量が最も大きくなる。ここで、正距円筒画像Ｐ０の縦方向の画素数を２Ｎとすると、横方向の画素数は４Ｎとなり、地平面上における９０度の視野範囲（例えば点Ｅ１から点Ｅ２までの範囲）に対応する画素数はＮとなる。これに対して、縦方向の画素数が２Ｎである第１パノラマ画像Ｐ１においては、地平面上における９０度の視野範囲に対応する画素は、例えば図３の直線Ｅ１Ｅ２のように斜め方向に沿って配列されるが、画素数自体は正距円筒画像Ｐ０の場合と同じくＮになる。そのため第１パノラマ画像Ｐ１は、縦方向の画素数が同じ正距円筒画像Ｐ０と比較して、低緯度の領域でほぼ同等の画質を得ることができる。また、天頂（点Ｕ）から地平面を経て天底（点Ｄ）に至るまでの鉛直方向に沿った１８０度の視野範囲については、正距円筒画像Ｐ０におけるこの視野範囲に対応する画素数は、画像の縦方向の画素数２Ｎに一致する。これに対して第１パノラマ画像Ｐ１においては、この視野範囲は例えば図３の点Ｕ１から点Ｅ１を経て点Ｄに至る経路に相当するので、画素数は第１パノラマ画像Ｐ１の一辺の画素数２Ｎから１引いた数（２Ｎ－１）になる。ここで１が減じられるのは、点Ｅ１の位置の画素は直線Ｕ１Ｅ１の端点でもあり、かつ直線Ｅ１Ｄの端点でもあり、両者に共有されるからである。いずれにせよ、鉛直方向に沿った視野範囲に対応する画素数についても、第１パノラマ画像Ｐ１は縦方向の画素数が同じ正距円筒画像Ｐ０とほぼ同数となることから、ほぼ同等の解像度を得られることが分かる。なお、高緯度になるにつれて第１パノラマ画像Ｐ１内の画素数は減少するが、正距円筒画像Ｐ０の高緯度領域はもともと情報の無駄が大きいため、第１パノラマ画像Ｐ１は高緯度領域でも正距円筒画像Ｐ０と比較して画質がほとんど劣化しない。すなわち、第１パノラマ画像Ｐ１は、全天周にわたって、縦方向の画素数が同じ正距円筒画像Ｐ０と比べて遜色ない画質を備えている。
　第１パノラマ画像Ｐ１と正距円筒画像Ｐ０の間で縦方向の画素数が一致する場合、第１パノラマ画像Ｐ１の横方向の画素数は正距円筒画像Ｐ０のちょうど半分になる。そのため、第１パノラマ画像Ｐ１は全体としてちょうど半分の画素数で正距円筒画像Ｐ０とほぼ同等の画質を得られることになる。このことから、第１パノラマ画像Ｐ１を利用すれば、画質を損なうことなく、データサイズを正距円筒画像Ｐ０と比較して小さくすることができる。また、正距円筒画像Ｐ０と比較して画像のデータサイズを肥大化させることなく、画像の高解像度化を実現できる。また、パノラマ画像を動画像として生成する場合に、フレームレートを向上させたり、動画像のエンコードやデコードの処理に必要な処理負荷を軽減させることができる。また、パノラマ画像を立体画像として表示したい場合、左目用と右目用の２枚のパノラマ画像を含んだ画像データを、１枚の正距円筒画像Ｐ０と同等の画素数で提供することができる。
　次に、本実施形態におけるパノラマ画像Ｐの画像フォーマットの第２の例について説明する。以下では、この第２の例に係るパノラマ画像Ｐを第２パノラマ画像Ｐ２と表記する。この第２の例では、球Ｓ上の位置を第２パノラマ画像Ｐ２内の位置に変換する際に、球Ｓの表面を２分割して得られる二つの半球面について、互いに異なる座標系を用いて変換を行う。そこでまず、第２の例における球Ｓ上の位置座標の定義について、図４Ａ～４Ｄを用いて説明する。
　図４Ａは球Ｓを正面上方から見た斜視図であり、図４Ｂは球Ｓを背面下方から見た斜視図である。また、図４Ｃは正面図、図４Ｄは背面図である。なお、ここでは点Ｆの位置を正面方向としている。図１Ａ～図１Ｃと同様に、第２の例でも天頂に対応する点を点Ｕとし、天底に対応する点を点Ｄとする。また、地平面上において９０度ずつ離れた４点を点Ｆ、点Ｌ、点Ｂ、及び点Ｒとする。球Ｓの中心点（観測点）にいる観測者が点Ｆの方向（正面方向）を向いた場合に、右手方向が点Ｒ、背面方向が点Ｂ、左手方向が点Ｌとなる。
　球Ｓの正面側の半分、すなわち図４Ｃで表示されている範囲については、前述した第１の例と同様の緯度θと経度φによって位置座標が定義される。つまり、緯線は地平面と並行な線となり、経線は点Ｕ及び点Ｄを通る球Ｓの大円の円周となる。以下では、この球Ｓの正面側半分の半球面を正面領域といい、正面領域内の位置を示す座標系を正面座標系という。なお、図４Ａ及び図４Ｃでは、正面領域内の何本かの緯線が破線により示されている。正面座標系では、点Ｆを原点（θ＝０，φ＝０）とし、図中矢印で示されるように、点Ｆから天頂（点Ｕ）に向かう方向を緯度θの正方向とし、点Ｒに向かう方向を経度φの正方向とする。これにより、第１の例と同様に点Ｕはθ＝π／２、点Ｄはθ＝－π／２となる。また、点Ｒはθ＝０、φ＝π／２となり、点Ｌはθ＝０、φ＝－π／２となる。
　一方、球Ｓの背面側の半分、すなわち図４Ｄで表示されている範囲については、正面領域とは異なる向きに緯度θと経度φが定義される。具体的には、点Ｌを北極点、点Ｒを南極点とみなした場合の地球と同様の向き、つまり正面領域に対して９０度傾いた向きで緯度θと経度φが定義される。これにより、緯線は直線ＬＲに垂直な球Ｓの断面の外周となり、経線は点Ｌ及び点Ｒを通る球Ｓの大円の円周となる。以下では、この球Ｓの背面側半分の半球面を背面領域といい、背面領域内の位置を示す座標系を背面座標系という。図４Ｂ及び図４Ｄでは、背面座標系で定義される背面領域内の何本かの緯線が一点鎖線により示されている。図４Ｄに示されるように、背面座標系では緯線は背面側から見て直線ＵＤに平行に（すなわち、正面座標系の緯線と直交する向きに）延伸している。背面座標系では、点Ｂを原点（θ＝０、φ＝０）とし、図中矢印で示されるように、点Ｂから点Ｌに向かう方向を緯度θの正方向とし、点Ｄに向かう方向を経度φの正方向とする。これにより、正面領域と背面領域の境界線上に位置する点Ｕ、点Ｌ、点Ｄ、及び点Ｒは、背面座標系においては正面座標系と異なる位置座標で表される。具体的に背面座標系では、点Ｌはθ＝π／２となり、点Ｒはθ＝－π／２となる。また、点Ｄはθ＝０、φ＝π／２となり、点Ｕはθ＝０、φ＝－π／２となる。
　また、球Ｓの表面を互いに直交する３個の平面で分割して得られる８個の領域を分割領域Ａ９～Ａ１６と表記する。ここでは互いに直交する３個の平面は、点Ｆ、点Ｌ、点Ｂ、及び点Ｒを含む地平面と、点Ｕ、点Ｆ、点Ｄ、及び点Ｂを含む鉛直面と、点Ｕ、点Ｌ、点Ｄ、及び点Ｒを含む鉛直面である。具体的に、点Ｕ、点Ｆ、点Ｌで囲まれた領域を分割領域Ａ９とし、点Ｄ、点Ｆ、点Ｌで囲まれた領域を分割領域Ａ１０とし、点Ｄ、点Ｒ、点Ｆで囲まれた領域を分割領域Ａ１１とし、点Ｕ、点Ｆ、点Ｒで囲まれた領域を分割領域Ａ１２とし、点Ｕ、点Ｂ、点Ｒで囲まれた領域を分割領域Ａ１３とし、点Ｄ、点Ｂ、点Ｒで囲まれた領域を分割領域Ａ１４とし、点Ｄ、点Ｌ、点Ｂで囲まれた領域を分割領域Ａ１５とし、点Ｕ、点Ｂ、点Ｌで囲まれた領域を分割領域Ａ１６とする。これらの分割領域Ａ９～Ａ１６は、いずれも球Ｓの大円の円周の１／４に相当する長さを持つ３本の緯線又は経線によって囲まれた領域であって、互いに等しい大きさ及び形状を備えている。
　図５は、球Ｓ上に投影される景色を含んだ第２パノラマ画像Ｐ２を示している。同図に示されるように、第２パノラマ画像Ｐ２も第１パノラマ画像Ｐ１と同様に全体として正方形の形状をしている。そして、正方形の中心点が点Ｆに対応しており、球Ｓ上において点Ｆと対向する点Ｂは正方形の４隅に対応している。すなわち、第２パノラマ画像Ｐ２の４個の頂点は、球Ｓ上の一つの点Ｂに対応する。また、正方形の左辺の中点が点Ｌに、上辺の中点が点Ｕに、右辺の中点が点Ｒに、下辺の中点が点Ｄに、それぞれ対応している。なお、ここでは点Ｂに対応する４個の頂点のうち、右上の頂点を点Ｂ１、右下の頂点を点Ｂ２、左下の頂点を点Ｂ３、左上の頂点を点Ｂ４としている。
　第２パノラマ画像Ｐ２においては、球Ｓの正面領域が、図５における正方形ＲＵＬＤに変換される。この正方形内においては、緯線は左右方向（直線ＬＲと平行な方向）に沿って互いに平行に並んでいる。これに対して経線は、点Ｕから放射状に延び、直線ＲＬと交差する位置で屈曲して点Ｄまで延びている。
　一方、球Ｓの背面領域は、４分割されてそれぞれ直角二等辺三角形状の変換領域に変換され、正方形ＲＵＬＤの外側に配置されている。このとき、各変換領域の配置位置は、球Ｓ上の連続した領域が第２パノラマ画像Ｐ２内でも隣接するように決定されている。つまり、第２パノラマ画像Ｐ２においても、第１パノラマ画像Ｐ１と同様に、球Ｓの表面を８分割して得られる分割領域Ａ９～Ａ１６はそれぞれ直角二等辺三角形状の変換領域Ａ９～Ａ１６に変換され、球Ｓ上における隣接関係を保つように配列されて正方形のパノラマ画像を形成している。なお、正方形ＲＵＬＤの外側に配置される変換領域Ａ１３～Ａ１６内において、背面座標系の緯線は正面座標系の緯線と同様に直線ＬＲと平行な方向に沿って互いに並行に並んでいる。
　ここで、球Ｓの表面上における位置座標と、第２パノラマ画像Ｐ２内の位置座標との対応関係について、説明する。ここでは第２パノラマ画像Ｐ２内の位置座標は、図４に示すように、横方向をｘ軸、縦方向をｙ軸とし、中心位置を原点とする直交座標系によって表されるものとする。この直交座標系において、第２パノラマ画像Ｐ２の右辺はｘ＝１、左辺はｘ＝－１、上辺はｙ＝１、下辺はｙ＝－１で表される。
　この場合において、球Ｓの表面上の緯度θ、及び経度φは、変数ｕ、ｖを用いて以下の数式により表される。
Figure JPOXMLDOC01-appb-M000003
 ここで変数ｕ、ｖは、それぞれ第２パノラマ画像Ｐ２内の位置座標（ｘ、ｙ）に応じて以下の数式により表される。
Figure JPOXMLDOC01-appb-M000004
 これらの数式により、球Ｓ上の位置と第２パノラマ画像Ｐ２内の位置との対応関係が定義されている。ただし、この第２の例では、前述したように、正面領域内の緯度θ及び経度φは正面座標系によって定義され、背面領域内の緯度θ及び経度φは背面座標系によって定義されている。なお、この第２パノラマ画像Ｐ２においても、各分割領域内において緯度θはｘ、ｙのそれぞれと線形関係にある。
　この第２パノラマ画像Ｐ２についても、外周上の点（ｘ＝１、ｘ＝－１、ｙ＝１、ｙ＝－１）を除いて球Ｓ上の位置座標と第２パノラマ画像Ｐ２内の位置座標は一対一で対応する。さらに、第２パノラマ画像Ｐ２内において隣接する画素同士は、球Ｓ内においても互いに隣接する領域に対応する。そして、第２パノラマ画像Ｐ２の外周上の点は、正方形の各辺を中点で折り返した場合に対応する同じ辺上の箇所と、球Ｓ上で連続するようになっている。この第２パノラマ画像Ｐ２も、第１パノラマ画像Ｐ１と同様に、正距円筒画像Ｐ０の半分の画素数で正距円筒画像Ｐ０とほぼ同等の画質を実現できる。
　なお、第２の例では、第１パノラマ画像Ｐ１と異なり、観測者から見て正面側の景色（点Ｆを中心とする半球面に投影される景色）が、分割されることなく第２パノラマ画像Ｐ２と中心が一致する正方形に変換されている。そのため、特に後方よりも前方の景色をユーザーに提示したい場合、第２パノラマ画像Ｐ２の利用が適している。
　以上説明したように、第１パノラマ画像Ｐ１では点Ｄが中心に配置されてこれと対向する点Ｕが４隅の頂点に対応し、第２パノラマ画像Ｐ２では点Ｆが中心に配置されてこれと対向する点Ｂが４隅の頂点に対応している。つまり、両者は球Ｓから平面のパノラマ画像Ｐに変換する際の変換の向きに違いがある。しかしながら、変換の内容自体は両者で類似するものになっている。具体的には、どちらの場合も、球Ｓの中心を通り互いに直交する３個の平面により分割される球面上の８個の分割領域を、それぞれ直角二等辺三角形状の変換領域に変換している。これにより、画素間の情報量の差異を減らすことができる。なお、ここで各分割領域を直角二等辺三角形に変換しているのは、８個の直角二等辺三角形を並べて配置することでパノラマ画像Ｐを正方形の形状とすることができるからである。パノラマ画像Ｐの形状をその他（例えば長方形）の形状とすることが許容されるのであれば、各分割領域を直角二等辺三角形ではない三角形（直角三角形など）に変換したとしても、正距円筒画像Ｐ０と比較して画素間の情報量の差異を減らすことは可能である。
　次に、本実施形態におけるパノラマ画像Ｐの画像フォーマットの第３の例について説明する。以下では、この第３の例に係るパノラマ画像Ｐを第３パノラマ画像Ｐ３と表記する。説明の便宜のため、第３の例においても、第２の例と同様に球Ｓの表面を分割領域Ａ９～Ａ１６の８個の領域に分割する。また、球Ｓ上の位置座標を、第２の例における正面座標系と同様に定義された緯度θ及び経度φによって表すこととする。つまり、第２の例とは異なり第３の例では、球Ｓの表面上の位置は球Ｓの全面にわたって単一の座標系によって表現されることになる。
　図６は、球Ｓ上に投影される景色を含んだ第３パノラマ画像Ｐ３を示している。同図に示されるように、この第３パノラマ画像Ｐ３においては、８個の分割領域Ａ９～Ａ１６は、それぞれ第２パノラマ画像Ｐ２と同様に直角二等辺三角形に変換され、第２パノラマ画像Ｐ２と同じ位置に配置される。さらに、分割領域Ａ９～Ａ１２は、第２パノラマ画像Ｐ２と同様の変換式により第３パノラマ画像P３内の変換領域Ａ９～Ａ１２に変換される。つまり、同じ景色を表現する場合、第２パノラマ画像Ｐ２と第３パノラマ画像Ｐ３とで正方形ＵＲＤＬ内の画像データは一致することになる。
　一方、分割領域Ａ１３～Ａ１６については、第３パノラマ画像Ｐ３内において第２パノラマ画像Ｐ２と同様の位置及び形状の変換領域に変換されるが、分割領域内の位置は第２パノラマ画像Ｐ２とは異なる変換式によって対応する変換領域内の位置に変換される。その結果、第３パノラマ画像Ｐ３においては、θ＞０の緯線は図中点線で示されるように上に開いたコの字型になる。逆にθ＜０の緯線は下に開いたコの字型になる。
　ここで、球Ｓの表面上における位置座標と、第３パノラマ画像Ｐ３内の位置座標との対応関係について、説明する。第３パノラマ画像Ｐ３内の位置座標は、第１パノラマ画像Ｐ１や第２パノラマ画像Ｐ２と同様に、横方向をｘ軸、縦方向をｙ軸とし、中心位置を原点とする直交座標系によって表されるものとする。
　この場合において、球Ｓの表面上の緯度θ、及び経度φは、変数ｕ、ｖ、ａを用いて以下の数式により表される。
Figure JPOXMLDOC01-appb-M000005
 ここで変数ｕ、ｖ、ａは、それぞれ第３パノラマ画像Ｐ３内の位置座標（ｘ、ｙ）に応じて以下の数式により表される。
Figure JPOXMLDOC01-appb-M000006
 これらの数式により、球Ｓ上の位置と第３パノラマ画像Ｐ３内の位置との対応関係が定義される。なお、この第３パノラマ画像Ｐ３においても、各分割領域内において緯度θはｘ、ｙのそれぞれと線形関係にある。
　第３の例においても、第２の例と同様に、観測者から見て正面側の景色（点Ｆを中心とする半球面に投影される景色）が、分割されることなく第３パノラマ画像Ｐ３内の正方形ＵＲＤＬに変換されている。そのため、第１の例と比較して、前方の景色をユーザーに提示する用途に適している。また、球Ｓの全体が一つの座標系によって定義されており、緯度と経度の入れ替えを行う必要がないため、第２の例と比較して、正距円筒画像Ｐ０をパノラマ画像Ｐに変換する場合における補間処理が容易になり、演算負荷を抑えることができる。
　以上説明した３つの例においては、前述した互いに直交する３個の平面のうち、二つの平面により球Ｓの表面を分割して得られる４個の領域が、それぞれ正方形状の領域に変換されている。例えば第１パノラマ画像Ｐ１では、点Ｕ、点Ｅ１、点Ｄ、及び点Ｅ３を含む鉛直面と点Ｕ、点Ｅ２、点Ｄ、及び点Ｅ４を含む鉛直面によって球Ｓを分割して得られる４個の領域が、４個の正方形Ｅ１Ｕ１Ｅ２Ｄ、正方形ＤＥ２Ｕ２Ｅ３、正方形Ｕ４Ｅ１ＤＥ４、及び正方形Ｅ４ＤＥ３Ｕ３に変換される。そして、前述した３個の平面のうち、残る一つの平面が球Ｓと直交して得られる円周が、４個の正方形それぞれの対角線に変換されている。例えば第１パノラマ画像Ｐ１では、前述した４個の正方形の対角線によって、地平面に対応する正方形Ｅ１Ｅ２Ｅ３Ｅ４が形成されている。すなわち、第１パノラマ画像Ｐ１、第２パノラマ画像Ｐ２及び第３パノラマ画像Ｐ３は、いずれも、８個の直角二等辺三角形を二つずつ組み合わせることによって４個の正方形とし、この４個の正方形を、各直角二等辺三角形の底辺が正方形を形成するように２行２列に並べて配置することによって、構成されている。
　図７は、これまで説明した実施例において二つの直角二等辺三角形状の変換領域を組み合わせて形成された正方形の例を示す図であって、図３の第１パノラマ画像Ｐ１内における正方形Ｅ１Ｕ１Ｅ２Ｄの画素配置を示している。ここでは簡単のため、正方形の１辺が８個の画素によって構成されているものとしている。正方形の１辺が８個の画素を持つ場合、対角線上に並ぶ画素の数も同じく８個となる。なお、図７では対角線上の画素がハッチングで示されている。
　図７のハッチングで示すように、底辺が斜め方向となるように配置した場合、一つの直角二等辺三角形は、底辺の画素数をＮとしてＮ（Ｎ＋１）／２個の画素で構成される。これを単純に２倍するとＮ（Ｎ＋１）となる。つまり、各直角二等辺三角形の底辺の画素数をＮとしたい場合、そのままでは、二つの直角二等辺三角形に対してＮ行（Ｎ＋１）列の矩形の領域が必要になる。しかしながら以上説明した実施例では、図７に示すように、二つの直角二等辺三角形の間で底辺を共有させている。つまり、正方形の１の対角線上の画素が、二つの直角二等辺三角形状の変換領域それぞれの底辺を構成している。これにより、二つの直角二等辺三角形を組み合わせてなる矩形はちょうどＮ行Ｎ列の正方形となる。このように、球Ｓを互いに直交する２個の平面で分割して得られる４個の領域のそれぞれが正方形に変換されることで、パノラマ画像Ｐの全体も縦方向の画素数と横方向の画素数が等しい正方形となる。このような構成とすることで、動画圧縮などの処理がやりやすくなっている。
　このＮ行Ｎ列の正方形は、直線Ｅ１Ｅ２に平行な直線に沿って並ぶ複数の画素からなる画素列が、右上から左下に向かって（２Ｎ－１）個配列して構成されているとみなすことができる。すなわち、点Ｕ１に最も近い右上の画素は、単独で１番目の画素列を構成している。この右上の画素の左隣の画素、及び真下の画素の２個の画素が、２番目の画素列を構成している。Ｎ番目の画素列は、図７においてハッチングで示されている、点Ｅ１から点Ｅ２までのＮ個の画素によって構成されている。さらに、（Ｎ＋１）番目の画素列は図７のハッチングされた各画素の左隣に位置する（Ｎ－１）個の画素によって構成される。そして、（２Ｎ－１）番目の画素列は点Ｄに最も近い左下の画素によって構成されている。これらの各画素列を構成する画素の和をとると、
１＋２＋…＋（Ｎ－１）＋Ｎ＋（Ｎ－１）＋…＋２＋１＝Ｎ２
となり、全体でＮ行Ｎ列の正方形の画素数に一致する。
　前述の通り、直線Ｅ１Ｅ２に平行な直線は球Ｓ上の緯線に相当する。そのため、同じ画素列に属する各画素は、球Ｓ上において同緯度の領域に対応する。このことからも、前述したように球Ｓの天頂から天底までの１８０度の視野範囲が第１パノラマ画像Ｐ１内において（２Ｎ－１）個の画素列に変換されていることが分かる。しかも、前述したように、球Ｓ上の点と第１パノラマ画像Ｐ１内の点とを変換する変換式において緯度θはｘ、ｙと線形な関係にある。そのため、上述した（２Ｎ－１）個の画素列は、球Ｓ上において互いに等しい緯度範囲に対応する。つまり、各画素列は、球Ｓ上においてπ／（２Ｎ－１）の緯度範囲に相当する帯状の領域に対応する。さらに、前述した変換式から、同じ画素列に含まれる画素は、球Ｓ上の帯状の領域内において同じ広さの領域に対応する。つまり、同緯度の領域に対応する画素列に含まれる画素は、互いに同じ情報量を持つことになる。第２パノラマ画像Ｐ２や第３パノラマ画像Ｐ３についても、画素列の向きなどが異なるものの、このような分割領域と変換領域との間の変換に関する特徴は同様に成り立つ。すなわち、前述したような変換式によって球Ｓ上の位置とパノラマ画像Ｐ内の位置との変換が行われていることにより、単純に球面上の分割領域の景色をそのまま球の内部の平面に投影して変換領域を生成する場合と比較して、パノラマ画像Ｐ内の各画素が持つ情報量の格差が小さくなっている。
　ここでは三つの実施例について説明したが、本実施形態におけるパノラマ画像Ｐはこのようなものに限られず、変換に用いる座標系やパノラマ画像Ｐ内における各変換領域の配置などを変化させた種々のバリエーションがあり得る。いずれの場合であっても、球Ｓの中心を通り互いに直交する３個の平面により球Ｓの表面を分割して得られる８個の分割領域をそれぞれ三角形状の変換領域に変換し、平面上に配置することで、全天周の景色を含んだ正方形状のパノラマ画像Ｐを生成できる。さらに、球Ｓ表面の１／８に相当する各分割領域を三角形状に変換することで、正距円筒図法と比較して画素あたりの情報量の無駄を抑え、少ない画素数で高画質なパノラマ画像Ｐを実現できる。
　以上の説明では、球Ｓ上の各分割領域を三角形状の領域に変換して平面上に配置することで、縦方向の画素数と横方向の画素数が等しい正方形のパノラマ画像Ｐを生成することとした。しかしながら、本実施形態におけるパノラマ画像Ｐはこのようなものに限られない。例えば、前述の図７の説明では、二つの変換領域が直角二等辺三角形の底辺を共有することで球Ｓ表面の１／４の領域がちょうどＮ行Ｎ列の正方形に変換されることとした。しかしながら、底辺を共有させずに、二つの分割領域をそれぞれＮ個の画素からなる画素列を底辺とする直角二等辺三角形状の領域に変換してもよい。この場合、球Ｓの１／４の領域がＮ行（Ｎ＋１）列の長方形の領域に変換され、パノラマ画像Ｐは全体で２Ｎ行（２Ｎ＋２）列の長方形の形状となる。
 
　さらに、この底辺と交差する方向の解像度を向上させたい場合、球Ｓの１／４の領域をＮ行（Ｎ＋ｍ）列の長方形の領域に変換してもよい。ここで、ｍは１以上の自然数である。ｍの上限は特にないが、大きすぎるとパノラマ画像Ｐのデータサイズが増大してしまう。ｍをＮ未満とすることで、底辺方向の解像度が同程度の正距円筒画像Ｐ０と比較して、画像データサイズを小さくすることができる。図８は、この例において球Ｓ表面の１／４の領域を変換して得られるＮ行（Ｎ＋ｍ）列の長方形の一例を示している。ここでは、図３の第１パノラマ画像Ｐ１内における正方形Ｅ１Ｕ１Ｅ２Ｄに対応する球Ｓの領域（分割領域Ａ１及びＡ５）を第１パノラマ画像Ｐ１と類似の変換方法により変換した例を示している。また、この図はＮ＝８、ｍ＝３の場合の例を示している。この例では、球Ｓ上の分割領域は、これまでの実施例のような三角形状ではなく、台形状に変換されている。
　図８では、球Ｓ上における同緯度の領域に対応する画素群に対して互いに同じ数字のラベルが付与されている。以下では、パノラマ画像Ｐ内において、対応する球Ｓ上の緯度が互いに等しい画素群を、同緯度画素群という。図８で同じラベルが付与された画素は、同じ同緯度画素群に属する。例えば、図８において「１」のラベルが付与された右上の画素は球Ｓ上で天頂（点Ｕ）に最も近い高緯度の領域に対応しており、「２」のラベルが付与された二つの画素は、球Ｓ上でラベル「１」に対応する領域を囲む一段下の領域に対応する同緯度画素群を構成する。また、ラベル「９」の同緯度画素群とラベル「１０」の同緯度画素群が球Ｓ上の地平面に沿った領域に対応している。同図に示されるように、ここでは各同緯度画素群は左上から右下に向かう斜線に沿って帯状の画素列を形成している。そして、比較的低緯度の領域に対応するラベル「８」からラベル「１１」の同緯度画素群が最も多くの画素によって構成されており、そこから点Ｕまたは点Ｄに近づくほど同緯度画素群を構成する画素の数は減少していく。この図８の例では、地平面に沿った９０度の範囲を表現する画素の数は図７の例と同じくＮ個だが、点Ｕ１から点Ｅ１または点Ｅ２を経由して点Ｄに到達する１８０度の範囲を表現する画素数は、図７の（２Ｎ－１）個に対して（２Ｎ－１＋ｍ）個になっている。つまり、パノラマ画像Ｐの形状を正方形から長方形にして左右方向の画素数を増加させた分、球Ｓの鉛直方向を表現する解像度が向上していることになる。なお、ここではパノラマ画像Ｐは左右方向に引き延ばされた形状としているが、上下方向に引き延ばされた形状であってもよい。
　図９は、パノラマ画像Ｐを長方形に形成する別の例を示している。ここでは、図６の正方形ＵＦＲＢ１に相当する領域を第３パノラマ画像Ｐ３と類似の変換方法により長方形に変換した例を示している。また、図８と同様、同じ同緯度画素群に属する画素に対して互いに同じ数字のラベルを付与している。第３パノラマ画像Ｐ３では、球Ｓ表面の１／４に相当する変換領域Ａ１２及びＡ１３のうち、点Ｕに最も近い同緯度の領域に対応するのは左上の１画素であったが、この図９の例ではラベル「１」を付与された４個（すなわち、１＋ｍ個）の画素が点Ｕに最も近い高緯度の同緯度画素群を形成している。ラベル「８」の同緯度画素群は、地平面に沿った領域に対応しており、（２Ｎ－１＋ｍ）個の画素によって構成されている。すなわち、この図９では、球Ｓの鉛直方向の９０度の範囲はＮ個の画素で表現され、水平方向の１８０度の範囲は（２Ｎ－１＋ｍ）個の画素によって表現されており、図８とは逆に左右方向の解像度が向上している。なお、この図の例では、第３パノラマ画像Ｐと同様に、同緯度画素群はＬ字型の領域を形成している。また、分割領域Ａ１３は第３パノラマ画像Ｐ３と同様の直角二等辺三角形状に変換され、分割領域Ａ１２は台形状に変換されている。
　以上例示したように、パノラマ画像Ｐを長方形とすることで、正方形にする場合と比較して、鉛直方向または水平方向の解像度を向上させることができる。以上説明したいずれの例でも、球Ｓ上の緯線に対応する同緯度画素群がパノラマ画像Ｐ内において帯状の領域を形成している。これまでの説明から分かるように、緯線は、球Ｓ上においてある点（以下、極点という）からの距離が等しい点の集合である。第１パノラマ画像Ｐ１、第２パノラマ画像Ｐ２の正面領域、及び第３パノラマ画像Ｐ３の場合には、極点は点Ｕ及び点Ｄであって、緯線は球Ｓ上において地平面に平行な平面と球Ｓ表面との交線に該当する。一方、第２パノラマ画像Ｐ３の背面領域については、点Ｒ及び点Ｌが極点となり、緯線は図４Ｄの一点鎖線で示されるように鉛直方向に沿って延伸している。そして、極点及び緯線をどのような位置及び向きで定義するかにかかわらず、本実施形態におけるパノラマ画像Ｐは、球Ｓ上の任意の緯線に着目した場合に、その緯線に対応する同緯度画素群に属する画素の数が、その緯線より低緯度の緯線（すなわち、極点に近い側の緯線）に対応する同緯度画素群に属する画素の数と同数か、それよりも少なくなっている。換言すると、パノラマ画像Ｐ内において、高緯度になるにつれて同緯度画素群に含まれる画素の数は減少していくことになる。これに対して正距円筒画像Ｐ０においては、どの緯線も画像の横方向に並ぶ同じ長さの画素列に相当するので、同緯度画素群に属する画素の数は緯度にかかわらず一定である。本実施形態におけるパノラマ画像Ｐは、以上説明したように高緯度の緯線に対応する同緯度画素群に属する画素の数が低緯度の緯線に対応する同緯度画素群の画素数よりも少なくなるようにすることで、正距円筒画像Ｐ０の高緯度領域で生じていた情報の無駄が減り、正距円筒画像Ｐ０と比較して少ない画素数で同等以上の解像度を実現することができる。
　なお、以上の説明では全天周の景色の全てをパノラマ画像Ｐに含めることとしたが、本実施形態におけるパノラマ画像Ｐはこのようなものに限られない。例えばパノラマ画像Ｐは、球Ｓの表面を分割して得られる８個の分割領域に対応する８個の変換領域の全てを含むのではなく、一部の変換領域のみを含むものであってもよい。例えば図４Ａ～図４Ｄに示す球Ｓの表面を分割して得られる８個の分割領域のうち、４個の分割領域Ａ９～Ａ１２だけを変換領域に変換して平面上に配置し、パノラマ画像Ｐとしてもよい。これにより、観測点から見て前方の半球内の景色だけを含んだパノラマ画像Ｐを得ることができる。この場合のパノラマ画像Ｐは、図５に示す第２パノラマ画像Ｐ２の一部である正方形ＲＵＬＤと同等のものであってよい。あるいは、４個の分割領域は正方形ではなく長方形を形成するように配列されてもよい。また、球Ｓを分割して得られる８個の分割領域のうち、２個の分割領域を直角二等辺三角形の変換領域に変換して、図７に例示するような正方形のパノラマ画像Ｐを形成してもよい。
　さらに、本実施形態におけるパノラマ画像Ｐは、球Ｓの全体に観測点から見た景色を投影するのではなく、一部の範囲のみに景色を投影し、この景色が投影された球Ｓを分割して得られる８個の分割領域の少なくとも一つを変換領域に変換して形成されるものであってもよい。この例では、一つの分割領域の中の一部範囲にのみ景色が投影され、その他の範囲には景色が投影されていない状態で、この分割領域が変換領域に変換されることもあり得る。その場合には、景色が投影されていない範囲についてはパノラマ画像Ｐ内においてダミー情報を持った画素（例えば画素値０の画素）に変換すればよい。これにより、例えば天底に近い高緯度の範囲など、一部範囲の景色に関する情報がない場合であっても、本実施形態の手法によりパノラマ画像Ｐを生成することができる。
　なお、第３パノラマ画像Ｐ３の場合、図６に例示されるように緯線がコの字型になっていることから、天頂や天底に近い高緯度の範囲は点Ｕ及び点Ｄ近傍の矩形の領域となる。この領域が不要な場合、その部分を除いた球Ｓの範囲を変換して得られるパノラマ画像Ｐを長方形に再配置することができる。この場合の各緯線に対応する画素列の配置は、図９に例示したものと同様になる。このように不要な範囲を除いた部分を矩形領域に再配置することで、ダミー情報を持った画素を含まないパノラマ画像Ｐを生成することができる。
　また、以上の説明では、球Ｓ表面の位置座標である緯度θは、パノラマ画像Ｐ内の位置座標ｘ、ｙと線形関係にあることとした。これは、パノラマ画像Ｐ内の全ての同緯度画素群は、球Ｓ上の互いに等しい緯度範囲に対応していることを意味している。例えば図８に示したようにパノラマ画像Ｐの１／４が８行１１列の画素によって構成されている場合、１８０度の緯度範囲が１８個の同緯度画素群に変換されているので、各同緯度画素群はいずれも緯度１０度分の角度に対応することになる。つまり、ラベル「１」が付与された同緯度画素群は球Ｓ上の緯度が８０度～９０度の範囲に相当し、ラベル「２」が付与された同緯度画素群は球Ｓ上の緯度７０度～８０度の範囲に相当し、ラベル「１８」が付与された同緯度画素群は緯度－８０度～－９０度の範囲に相当する。また、経度方向に関しても、同じ同緯度画素群に属する各画素は互いに等しい経度範囲に対応している。しかしながら、本実施形態におけるパノラマ画像Ｐはこのようなものに限られず、各画素が対応する緯度範囲や経度範囲を互いに異ならせてもよい。
　特に、球Ｓ表面上の重要な領域（ユーザーが注目すると想定される領域）については、パノラマ画像Ｐ内の画素に対応する球Ｓ上の緯度範囲や経度範囲を他の領域よりも狭めることとしてもよい。このように画素毎に対応する球Ｓ表面上の角度範囲を変化させることで、重要な領域の解像度を他の領域よりも高めることができる。一例として、ユーザーは高緯度の領域（天頂や天底に近い領域）よりも低緯度の領域（地平面に近い領域）に注目しやすいと考えられる。そこで、緯度が－４５度から４５度までの注目範囲については、同緯度画素群１個あたりの緯度範囲を、緯度４５度以上、及び－４５度以下の範囲における同緯度画素群１個あたりの緯度範囲の半分とする。このようにすると、１８０度の緯度範囲のうちの半分に相当する注目範囲について、それ以外の範囲の２倍の解像度とすることができる。なお、ここでは画素毎の対応緯度範囲を２段階で変化させることとしたが、これに限らずより多くの段階で変化させてもよい。また、同緯度画素群に属する各画素について、対応する経度範囲を緯度範囲と同じように変化させてもよい。なお、このように単位画素あたりの対応緯度範囲や対応経度範囲を異ならせる手法は、本実施形態におけるパノラマ画像Ｐだけでなく正距円筒画像Ｐ０にも適用することができる。
　次に、本発明の実施形態に係る画像生成装置１０、及び画像表示制御装置２０を含んだ画像表示システム１の構成を説明する。
　画像生成装置１０は、パノラマ画像Ｐを生成する情報処理装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピュータ、スマートフォン、タブレット等であってよい。図１０に示されるように、画像生成装置１０は、制御部１１と、記憶部１２と、通信部１３と、を含んで構成される。
　制御部１１は、ＣＰＵ等のプロセッサーを少なくとも一つ含み、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。特に本実施形態では、制御部１１はパノラマ画像Ｐの生成処理を実行する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。通信部１３は、ＬＡＮカード等の通信インタフェースであって、通信ネットワーク経由で画像表示制御装置２０に対してパノラマ画像Ｐのデータを送信する。
　画像表示制御装置２０は、画像生成装置１０で生成されたパノラマ画像Ｐに基づく画像の表示制御を行う情報処理装置であって、画像生成装置１０と同様に、家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピュータ、スマートフォン、タブレット等であってよい。画像表示制御装置２０は、制御部２１、記憶部２２、及び通信部２３を含んで構成されている。さらに画像表示制御装置２０は、表示装置２４及び操作デバイス２５と接続されている。
　制御部２１は、ＣＰＵ等のプロセッサーを少なくとも一つ含み、記憶部２２に記憶されているプログラムを実行して各種の情報処理を実行する。特に本実施形態では、制御部２１は、パノラマ画像Ｐに基づいて表示画像を描画する処理を実行する。記憶部２２はＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部２１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。通信部２３は、ＬＡＮカード等の通信インタフェースであって、画像生成装置１０から送信されるデータを通信ネットワーク経由で受信する。
　表示装置２４は、液晶ディスプレイ等であって、画像表示制御装置２０が供給する映像信号に従って画像を表示する。表示装置２４は、画像表示制御装置２０が供給する立体視可能な画像を表示する立体画像表示装置であってもよい。また、表示装置２４は、ユーザーが頭部に装着可能なヘッドマウントディスプレイ等の頭部装着型表示装置であってもよい。
　操作デバイス２５は、家庭用ゲーム機のコントローラやポインティングデバイス等であって、ユーザーが画像生成装置１０に対して各種の指示操作を行うために使用される。操作デバイス２５に対するユーザーの操作入力の内容は、有線又は無線のいずれかにより画像表示制御装置２０に送信される。なお、操作デバイス２５は画像表示制御装置２０の筐体表面に配置された操作ボタンやタッチパネル等を含んでもよい。
　次に、画像生成装置１０及び画像表示制御装置２０が実現する機能について、図１１を用いて説明する。図１１に示すように、画像生成装置１０は、機能的に、景色情報取得部３１と、パノラマ画像生成部３２と、を含む。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムを実行することにより実現される。また、画像表示制御装置２０は、機能的に、パノラマ画像取得部３３と、方向取得部３４と、表示画像描画部３５と、を含む。これらの機能は、制御部２１が記憶部２２に記憶されたプログラムを実行することにより実現される。各装置で実行されるプログラムは、インターネット等の通信ネットワークを介して各装置に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
　景色情報取得部３１は、パノラマ画像Ｐを生成するための元データとなる景色情報を取得する。景色情報は、観測点から見た全天周の景色を仮想的な球Ｓに投影した場合に、球Ｓの表面上の各単位領域の色（画素値）を特定するのに必要な情報である。例えば景色情報は、正距円筒図法のように本実施形態とは異なる画像フォーマットで生成されたパノラマ画像であってもよい。また、パノラマカメラによって撮影されたパノラマ写真の画像データであってもよい。景色情報取得部３１は、景色情報を通信ネットワーク経由で他の装置から受信してもよいし、画像生成装置１０に接続されたカメラ等のデバイスから読み込んでもよい。また、フラッシュメモリー等の情報記憶媒体に記憶された景色情報を読み出してもよい。
　パノラマ画像生成部３２は、景色情報取得部３１が取得した景色情報を用いてパノラマ画像Ｐを生成する。パノラマ画像Ｐは、前述したように全天周（またはその一部）の景色が投影された２次元の画像データである。具体的にパノラマ画像生成部３２は、前述したような球Ｓ上の点とパノラマ画像Ｐ内の点との対応関係を示す計算式に従って、パノラマ画像Ｐ内の各画素の画素値を景色情報に基づいて算出することにより、パノラマ画像Ｐを生成する。
　なお、パノラマ画像生成部３２は立体視用の画像データを生成してもよい。この場合に生成される画像データは、例えば左半分に左目用画像を生成するための正方形のパノラマ画像Ｐを含み、右半分に右目用画像を生成するための正方形のパノラマ画像Ｐを含んだ縦横比１：２の矩形の画像データであってよい。また、パノラマ画像生成部３２は、時間とともに変化する動画像としてパノラマ画像Ｐを生成してもよい。
　また、パノラマ画像生成部３２は、前述した第１パノラマ画像Ｐ１、第２パノラマ画像Ｐ２のような複数種類の画像フォーマットの中から１の画像フォーマットを選択し、選択した画像フォーマットに従ってパノラマ画像Ｐを生成してもよい。この場合、パノラマ画像生成部３２は、生成したパノラマ画像Ｐの画像フォーマットを特定する情報を当該パノラマ画像Ｐとともに出力する。
　パノラマ画像取得部３３は、画像生成装置１０のパノラマ画像生成部３２によって生成されたパノラマ画像Ｐを取得する。ここではパノラマ画像取得部３３は、通信ネットワークを介して画像生成装置１０から送信されるパノラマ画像Ｐを直接受信することとする。しかしながら、これに限らず、パノラマ画像取得部３３はサーバコンピュータ等の他の装置を経由してパノラマ画像Ｐを受信してもよい。また、一旦フラッシュメモリー等の情報記憶媒体に記憶されたパノラマ画像Ｐをこの情報記憶媒体から読み出して取得してもよい。
　方向取得部３４は、ユーザーの指示などに基づいて、表示装置２４に表示される表示画像の視野範囲（表示範囲）を決定するために用いられる方向情報を取得する。方向取得部３４が取得する方向情報は、後述する表示画像描画部３５が表示画像を生成する際の仮想カメラの撮像方向として使用される。この撮像方向は、例えば水平方向の角度を表すヨー角と上下方向の角度を表すピッチ角とによって定義される。さらに方向取得部３４は、撮像方向を回転軸としたカメラの回転の角度を示すロール角も取得してもよい。
　具体的に、例えば方向取得部３４は、操作デバイス２５に対するユーザーの方向を指示する操作入力を受け付けることによって、方向情報を取得する。あるいは方向取得部３４は、ユーザーが画像表示制御装置２０の本体を傾ける動作を行った場合に、画像表示制御装置２０に内蔵されているモーションセンサーの検出結果から方向情報を取得してもよい。これにより、例えば画像表示制御装置２０がスマートフォンやタブレットのように小型の筐体を備えている場合、ユーザーは画像表示制御装置２０の向きを変化させることによって任意の向きに視野範囲を変化させることができる。また、表示装置２４が頭部装着型表示装置である場合、方向取得部３４は、この表示装置２４内に内蔵されたモーションセンサーの検出結果から方向情報を取得してもよい。これにより、ユーザーの頭部の向きの変化に応じて視野範囲を変化させることができる。
　表示画像描画部３５は、パノラマ画像取得部３３が取得したパノラマ画像Ｐに基づいて、方向取得部３４が取得した方向情報に応じて決まる視野範囲内の景色を示す表示画像を描画し、表示装置２４に表示させる。これによりユーザーは、パノラマ画像Ｐ内に含まれる特定の視野範囲内の景色を閲覧することができる。さらに、操作デバイス２５に対する操作入力等によって視野範囲を変化させることで、全天周の任意の方向の景色を閲覧することができる。
　具体的に、表示画像描画部３５は、仮想空間内に球Ｓを配置するとともに、当該球Ｓの中心位置に仮想カメラを配置する。このとき仮想カメラは、方向取得部３４が取得した方向情報に応じて決まる向き、及び傾きで配置される。さらに表示画像描画部３５は、球Ｓの内面にパノラマ画像Ｐに基づいて生成されるテクスチャーを貼り付け、仮想カメラからこのテクスチャーが貼り付けられた球Ｓの内面を見た様子を描画することで、表示画像を生成する。なお、表示画像描画部３５は、球Ｓに貼り付けるテクスチャーを生成する際には、パノラマ画像Ｐとともに出力された画像フォーマットを特定する情報を参照して、特定された画像フォーマットに応じて定められた計算式に従って、テクスチャーに含まれる各画素に対応するパノラマ画像Ｐ内の画素を特定する。
　ここで、パノラマ画像Ｐに基づいて球Ｓの内面にテクスチャーを貼り付ける処理の具体例について、説明する。前述したように、球Ｓ上の各点は、パノラマ画像Ｐ内の一点と対応する。そのため、テクスチャーに含まれる画素（テクセル）の画素値（色）を決定する際には、そのテクセルが貼り付けられる球Ｓ上の位置と対応するパノラマ画像Ｐ内の画素の画素値を参照する。しかしながら、解像度や形状の違いなどにより、テクスチャー内のテクセルとパノラマ画像Ｐ内の画素とは１対１で対応するわけではない。そこで表示画像描画部３５は、テクセルの球Ｓ上の位置をパノラマ画像Ｐ内の位置（ここでは点Ｘとする）に変換し、その点Ｘの近傍の複数の画素をサンプリング対象に決定する。そして、サンプリング対象の画素の画素値を用いて補間処理を実行することにより、テクセルの画素値を決定する。
　ただし、パノラマ画像Ｐ内においては、画像の左右方向や上下方向が球Ｓの水平方向や鉛直方向と必ずしも一致しない。例えば第１パノラマ画像Ｐ１の場合、どの変換領域内でも球Ｓの水平方向（緯線の方向）は画像の左右方向に対して斜め４５度傾いた方向に対応している。このような場合、例えば点Ｘを含む縦２行横２列の４個の画素をサンプリング対象とする通常のサンプリング処理では、適切にテクセルの画素値を算出できない。そこで表示画像描画部３５は、パノラマ画像Ｐの画像フォーマットの種類、及び画像内の変換領域毎に定められる選択ルールに従って、サンプリング対象の画素を選択することとする。
　例えば第１パノラマ画像Ｐ１の右上の変換領域Ａ１及びＡ５内では、図３の破線で示されるように等緯度を結んだ緯線は左右方向と４５度の角度をなす左上がりの直線となっている。この変換領域内でサンプリングを行う場合、表示画像描画部３５は、図１２に示すように、点Ｘの近傍の２本の緯線に沿って並んだ４個の画素Ｘ１～Ｘ４をサンプリング対象として選択する。ここで、画素Ｘ１と画素Ｘ２の組、及び画素Ｘ３と画素Ｘ４の組はそれぞれ対応する緯度が互いに等しい組み合わせになっている。そこで表示画像描画部３５は、画素Ｘ１と画素Ｘ２の画素値から点Ｘの経度の端数に応じた補間値Ｉ１を得る。また、画素Ｘ３と画素Ｘ４の画素値から点Ｘの経度の端数に応じた補間値Ｉ２を得る。なお、各画素の経度の値は異なるため、補間値Ｉ１を算出する際と補間値Ｉ２を算出する際の係数は互いに異なる。さらに、補間値Ｉ１と補間値Ｉ２から点Ｘの緯度の端数に応じた補間値を算出することによって、点Ｘに対応するテクセルの画素値を決定する。このようにして、球Ｓの内面に貼り付けられるテクスチャーに含まれる各テクセルの画素値が算出される。
　なお、パノラマ画像Ｐの外周近傍の画素をサンプリング対象として補間処理を行う場合、画像内で離れた位置に配置された複数の画素がサンプリング対象とされることがある。前述したように、パノラマ画像Ｐの外周では、辺の中点を中心として折り返された際に重なる画素同士が、球Ｓ上で隣接する位置に対応するからである。そこで、このように離れた位置にある画素をサンプリング対象として参照する必要をなくすために、サンプリング用画素列をパノラマ画像Ｐの外周に沿って配置してもよい。このサンプリング用画素列は、パノラマ画像Ｐの一辺の画素列を左右または上下に反転させた画素列であって、反転の対象とした画素列に隣接するように配置される。図１３はサンプリング用画素列を付け加えたパノラマ画像Ｐの一例を示している。この図の例では、１６行１６列の正方形の形状を有する第３パノラマ画像Ｐ３に対して、上下に１列ずつサンプリング用画素列を付け加えたパノラマ画像Ｐを示している。図中においてサンプリング用画素列はハッチングで示されている。ここで、同じギリシア文字またはアルファベット小文字のラベルが付与された画素は、同じ画素値を有している。このラベルによって示されるように、図中最上段のサンプリング用画素列は、上から２段目の画素列を左右反転した画素列になっており、最下段のサンプリング用画素列は、下から２段目の画素列を左右反転させた画素列になっている。このサンプリング用画素列は、元のパノラマ画像Ｐ内における外周の画素に対して、球Ｓ上において隣接する画素がパノラマ画像Ｐ内においても隣接するように配置されている。このようなサンプリング用画素列は、情報としては冗長であるが、補間処理を容易にする効果がある。具体的に、図中の上から２段目の画素や下から２段目の画素をサンプリング対象として補間処理を行う場合に、必要な他のサンプリング対象をパノラマ画像Ｐ内の別の場所から取り出すのではなく、隣接するサンプリング用画素列から取り出すことができる。このような隣接する画素をサンプリング対象とした補間処理は、グラフィックプロセッサー等によりハードウェア的に実現できる場合がある。このような場合、サンプリング用画素列をパノラマ画像Ｐに付け加えることによって、端部まで含めて緯度方向の補間処理をハードウェアで実行することができ、補間演算を高速化することができる。
　さらに本実施形態では、表示画像描画部３５は、方向取得部３４が取得する方向の変化に応じて、表示画像をリアルタイムで更新する。すなわち、表示画像描画部３５は、方向取得部３４が取得する方向が変化すると、その変化した向きと対応する方向に仮想カメラの向きを変化させる。より具体的に、ピッチ角、及びヨー角が変化した場合には、この変化に連動させて仮想カメラの撮像方向を変化させる。また、ロール角が変化した場合には、この変化に連動させて、撮像方向を回転軸として仮想カメラを傾けさせる。これにより、仮想カメラの視野範囲は方向取得部３４が取得する方向の変化に連動して変化することになる。表示画像描画部３５は、更新された視野範囲に基づいて球Ｓの内面の様子を再描画して表示画像を更新し、表示装置２４の画面に表示する。表示画像描画部３５は、このような方向取得部３４が取得する方向の変化に応じた表示画像の再描画（更新）処理を、所定時間おきに繰り返し実行する。このような制御によれば、ユーザーは視野範囲を動かしてパノラマ画像Ｐ内に含まれる全天周の任意の位置の景色を閲覧することができる。
　なお、以上の説明では表示画像は一つの平面画像であるとしたが、表示画像描画部３５は立体画像を描画してもよい。この場合、表示画像描画部３５は、仮想的な球Ｓの中心に左右方向に並んだ二つの仮想カメラを配置する。そして、左目用のパノラマ画像Ｐに基づいて生成したテクスチャーを貼り付けた球Ｓの内面を左側の仮想カメラから見た様子を描画することにより、左目用の表示画像を生成する。同様に、右目用のパノラマ画像Ｐに基づいて生成したテクスチャーを貼り付けた球Ｓの内面を右側の仮想カメラから見た様子を描画することにより、右目用の表示画像を生成する。これら二つの表示画像を立体視に対応する表示装置２４に表示させることによって、ユーザーは全天周の景色を立体的に閲覧することが可能となる。
　以上説明した本実施形態に係る画像生成装置１０によれば、正距円筒図法のパノラマ画像と比較して情報の無駄が少なく、比較的少ない画素数で高画質のパノラマ画像Ｐを生成することができる。また、本実施形態に係る画像表示制御装置２０は、このようにして生成されたパノラマ画像Ｐに基づいて、パノラマ画像Ｐに含まれる視野範囲内の景色を示す表示画像を生成し、ユーザーに閲覧させることができる。
　なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明では、画像生成装置１０と画像表示制御装置２０は互いに独立した装置であることとしたが、一つの情報処理装置がパノラマ画像Ｐの生成と表示制御の双方を実現してもよい。
　１　画像表示システム、１０　画像生成装置、１１，２１　制御部、１２，２２　記憶部、１３，２３　通信部、２０　画像表示制御装置、２４　表示装置、２５　操作デバイス、３１　景色情報取得部、３２　パノラマ画像生成部、３３　パノラマ画像取得部、３４　方向取得部、３５　表示画像描画部。

Claims (16)

  1. 　観測点から見た景色を少なくとも一部の範囲に投影した球の表面を、当該球の中心を通り互いに直交する３個の平面で分割して得られる８個の分割領域のうち、前記景色を投影した範囲を含む少なくとも一つの分割領域を、互いに等しい緯度に対応する画素の数が高緯度になるにつれて減少するように変換して平面上に配置してなるパノラマ画像を生成するパノラマ画像生成部と、
    　前記生成されたパノラマ画像を出力する画像出力部と、
    　を含むことを特徴とする画像生成装置。
  2. 　請求項１に記載の画像生成装置において、
    　前記パノラマ画像生成部は、前記少なくとも一つの分割領域を、三角形または台形状の変換領域に変換する
    　ことを特徴とする画像生成装置。
  3. 　請求項２に記載の画像生成装置において、
    　前記パノラマ画像生成部は、前記少なくとも一つの分割領域を直角二等辺三角形状の前記変換領域に変換する
    　ことを特徴とする画像生成装置。
  4. 　請求項３に記載の画像生成装置において、
    　前記パノラマ画像生成部は、前記３個の平面のうちの２個の平面で前記球の表面を分割して得られる４個の領域の少なくとも一つが、前記パノラマ画像内において２個の前記変換領域を含む正方形状の領域に変換されるように、２個以上の前記変換領域を配置して前記パノラマ画像を生成する
    　ことを特徴とする画像生成装置。
  5. 　請求項４に記載の画像生成装置において、
    　前記パノラマ画像生成部は、前記正方形状の領域内において、当該正方形の１の対角線上の画素が２個の前記変換領域に共有されるように、２個以上の前記変換領域を配置して前記パノラマ画像を生成する
    　ことを特徴とする画像生成装置。
  6. 　請求項４に記載の画像生成装置において、
    　前記パノラマ画像生成部は、前記８個の分割領域をそれぞれ変換してなる８個の変換領域を、全体として正方形になるよう配置して前記パノラマ画像を生成する
    　ことを特徴とする画像生成装置。
  7. 　請求項６に記載の画像生成装置において、
    　前記３個の平面の一つは地平面である
    　ことを特徴とする画像生成装置。
  8. 　請求項７に記載の画像生成装置において、
    　前記パノラマ画像生成部は、前記球の天底が前記パノラマ画像の中心に対応するように前記パノラマ画像を生成する
    　ことを特徴とする画像生成装置。
  9. 　請求項７に記載の画像生成装置において、
    　前記パノラマ画像生成部は、前記球の地平面上における一点が前記パノラマ画像の中心に対応するように前記パノラマ画像を生成する
    　ことを特徴とする画像生成装置。
  10. 　請求項１に記載の画像生成装置において、
    　前記パノラマ画像生成部は、前記パノラマ画像の外周の一辺を構成する画素列に隣接するように、補間処理に用いるサンプリング用画素列を付加して、前記パノラマ画像を生成する
    　ことを特徴とする画像生成装置。
  11. 　請求項１０に記載の画像生成装置において、
    前記サンプリング用画素列は、前記一辺を構成する画素列の配置を反転させた画素列である
    　ことを特徴とする画像生成装置。
  12. 　請求項１に記載の画像生成装置において、
    　前記パノラマ画像生成部は、前記球上の緯度又は経度に応じて、前記パノラマ画像内の画素に対応する前記球上の角度範囲が異なるように前記パノラマ画像を生成する
    　ことを特徴とする画像生成装置。
  13. 　観測点から見た景色を少なくとも一部の範囲に投影した球の表面を、当該球の中心を通り互いに直交する３個の平面で分割して得られる８個の分割領域のうち、前記景色を投影した範囲を含む少なくとも一つの分割領域を、互いに等しい緯度に対応する画素の数が高緯度になるにつれて減少するように変換して平面上に配置してなるパノラマ画像を取得する取得部と、
    　前記取得したパノラマ画像に基づいて、所与の視野範囲の景色を示す表示画像を描画し、表示装置の画面に表示させる描画部と、
    　を含むことを特徴とする画像表示制御装置。
  14. 　観測点から見た景色を少なくとも一部の範囲に投影した球の表面を、当該球の中心を通り互いに直交する３個の平面で分割して得られる８個の分割領域のうち、前記景色を投影した範囲を含む少なくとも一つの分割領域を、互いに等しい緯度に対応する画素の数が高緯度になるにつれて減少するように変換して平面上に配置してなるパノラマ画像を生成するステップと、
    　前記生成されたパノラマ画像を出力するステップと、
    　を含むことを特徴とする画像生成方法。
  15. 　観測点から見た景色を少なくとも一部の範囲に投影した球の表面を、当該球の中心を通り互いに直交する３個の平面で分割して得られる８個の分割領域のうち、前記景色を投影した範囲を含む少なくとも一つの分割領域を、互いに等しい緯度に対応する画素の数が高緯度になるにつれて減少するように変換して平面上に配置してなるパノラマ画像を生成する手段、及び、
    　前記生成されたパノラマ画像を出力する手段、
    　としてコンピュータを機能させるためのプログラム。
  16. 　観測点から見た景色を少なくとも一部の範囲に投影した球の表面を、当該球の中心を通り互いに直交する３個の平面で分割して得られる８個の分割領域のうち、前記景色を投影した範囲を含む少なくとも一つの分割領域が、互いに等しい緯度に対応する画素の数が高緯度になるにつれて減少するように変換された状態で平面上に配置されてなる画像データ。
PCT/JP2016/068873 2015-08-18 2016-06-24 画像生成装置、及び画像表示制御装置 Ceased WO2017029885A1 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
BR112018002918-1A BR112018002918B1 (pt) 2015-08-18 2016-06-24 Aparelhos para geração de imagem e para controle de exibição de imagem, método para geração de uma imagem, meio de armazenamento legível por computador, e, unidade de armazenamento
CA2995665A CA2995665C (en) 2015-08-18 2016-06-24 Image generating apparatus and image display control apparatus for a panoramic image
KR1020187007795A KR102072639B1 (ko) 2015-08-18 2016-06-24 화상 생성 장치 및 화상 표시 제어 장치
US15/748,474 US10659742B2 (en) 2015-08-18 2016-06-24 Image generating apparatus and image display control apparatus
CN201680048025.6A CN107924556B (zh) 2015-08-18 2016-06-24 图像生成装置和图像显示控制装置
MX2018001286A MX381552B (es) 2015-08-18 2016-06-24 Aparato generador de imagen y aparato de control de visualización de imagen.
RU2018109330A RU2686591C1 (ru) 2015-08-18 2016-06-24 Устройство выработки изображения и устройство управления отображением изображения
AU2016308980A AU2016308980B2 (en) 2015-08-18 2016-06-24 Image generating apparatus and image display control apparatus
EP16836877.7A EP3340164B1 (en) 2015-08-18 2016-06-24 Image generating device and image display control device
JP2017535279A JP6672315B2 (ja) 2015-08-18 2016-06-24 画像生成装置、及び画像表示制御装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015160951 2015-08-18
JP2015-160951 2015-08-18

Publications (1)

Publication Number Publication Date
WO2017029885A1 true WO2017029885A1 (ja) 2017-02-23

Family

ID=58050968

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/068873 Ceased WO2017029885A1 (ja) 2015-08-18 2016-06-24 画像生成装置、及び画像表示制御装置

Country Status (10)

Country Link
US (1) US10659742B2 (ja)
EP (1) EP3340164B1 (ja)
JP (2) JP6672315B2 (ja)
KR (1) KR102072639B1 (ja)
CN (1) CN107924556B (ja)
AU (1) AU2016308980B2 (ja)
CA (1) CA2995665C (ja)
MX (1) MX381552B (ja)
RU (1) RU2686591C1 (ja)
WO (1) WO2017029885A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107172412A (zh) * 2017-06-11 2017-09-15 成都吱吖科技有限公司 一种基于虚拟现实的交互式全景视频存储方法及装置
WO2019003609A1 (ja) * 2017-06-26 2019-01-03 ソニー株式会社 画像処理装置及び画像処理方法
CN110114795A (zh) * 2017-03-24 2019-08-09 深圳看到科技有限公司 全景画面播放方法及全景画面播放装置
JP6817504B1 (ja) * 2019-07-26 2021-01-20 株式会社イッツ・エムエムシー 位置空間識別方法、位置空間識別子付与装置及びコンピュータプログラム
WO2021020274A1 (ja) * 2019-07-26 2021-02-04 株式会社イッツ・エムエムシー 位置空間識別方法、位置空間識別子付与装置及びコンピュータプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043237B2 (en) 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
CN110956583B (zh) * 2018-09-26 2022-05-10 华为技术有限公司 球面图像处理方法、装置及服务器
US11113870B2 (en) * 2019-03-18 2021-09-07 Samsung Electronics Co., Ltd. Method and apparatus for accessing and transferring point cloud content in 360-degree video environment
CN110084740B (zh) * 2019-04-25 2023-05-23 北京工业大学 一种基于规格化结构的球面图像生成及转换方法
CN112218110B (zh) * 2020-09-28 2022-10-28 京东方科技集团股份有限公司 Vr全景视频的传输方法、装置、服务器及交互系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008081961A1 (ja) * 2007-01-04 2008-07-10 Hajime Narukawa 情報処理方法
JP2010033573A (ja) * 2008-07-01 2010-02-12 Hajime Narukawa 情報処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3744147B2 (ja) * 1997-04-21 2006-02-08 ソニー株式会社 パノラマ画像生成装置および方法
JP4012749B2 (ja) 2002-03-14 2007-11-21 国立大学法人 奈良先端科学技術大学院大学 遠隔操縦システム
US7308131B2 (en) * 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
US8773500B2 (en) * 2006-01-18 2014-07-08 Capso Vision, Inc. In vivo image capturing system including capsule enclosing a camera
US7621647B1 (en) * 2006-06-23 2009-11-24 The Elumenati, Llc Optical projection system and method of use
CN101561989A (zh) * 2009-05-20 2009-10-21 北京水晶石数字科技有限公司 一种全景图展示方法
CN101968890B (zh) * 2009-07-27 2013-07-10 西安费斯达自动化工程有限公司 基于球面显示的360°全景仿真系统
CN102096949B (zh) * 2011-01-27 2013-12-11 深圳市远望落星山科技有限公司 一种360度数字球幕电影的制作方法
RU108651U1 (ru) * 2011-04-22 2011-09-20 Александр Сергеевич Шпагин Растровая система воспроизведения объемного изображения
CN104196282A (zh) * 2014-09-18 2014-12-10 江苏卡罗卡国际动漫城有限公司 球幕影院的动感乘坐设备
CN104834176A (zh) * 2015-04-28 2015-08-12 江苏卡罗卡国际动漫城有限公司 一种360°球幕播放系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008081961A1 (ja) * 2007-01-04 2008-07-10 Hajime Narukawa 情報処理方法
JP2010033573A (ja) * 2008-07-01 2010-02-12 Hajime Narukawa 情報処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3340164A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110114795A (zh) * 2017-03-24 2019-08-09 深圳看到科技有限公司 全景画面播放方法及全景画面播放装置
CN107172412A (zh) * 2017-06-11 2017-09-15 成都吱吖科技有限公司 一种基于虚拟现实的交互式全景视频存储方法及装置
WO2019003609A1 (ja) * 2017-06-26 2019-01-03 ソニー株式会社 画像処理装置及び画像処理方法
JP6817504B1 (ja) * 2019-07-26 2021-01-20 株式会社イッツ・エムエムシー 位置空間識別方法、位置空間識別子付与装置及びコンピュータプログラム
WO2021020274A1 (ja) * 2019-07-26 2021-02-04 株式会社イッツ・エムエムシー 位置空間識別方法、位置空間識別子付与装置及びコンピュータプログラム
US12339124B2 (en) 2019-07-26 2025-06-24 Cube Earth Co., Ltd. Position space identification method, position space identifier imparting device, and computer program

Also Published As

Publication number Publication date
JPWO2017029885A1 (ja) 2018-04-26
JP2019160330A (ja) 2019-09-19
AU2016308980A1 (en) 2018-02-15
CA2995665C (en) 2022-04-26
EP3340164A1 (en) 2018-06-27
CN107924556A (zh) 2018-04-17
EP3340164A4 (en) 2019-03-06
CN107924556B (zh) 2021-06-29
MX2018001286A (es) 2018-06-19
KR102072639B1 (ko) 2020-02-03
BR112018002918A2 (ja) 2018-09-18
CA2995665A1 (en) 2017-02-23
MX381552B (es) 2025-03-12
EP3340164B1 (en) 2022-09-28
US20180227558A1 (en) 2018-08-09
AU2016308980B2 (en) 2019-10-17
US10659742B2 (en) 2020-05-19
JP6672315B2 (ja) 2020-03-25
RU2686591C1 (ru) 2019-04-29
KR20180042346A (ko) 2018-04-25

Similar Documents

Publication Publication Date Title
JP6672315B2 (ja) 画像生成装置、及び画像表示制御装置
EP3438919B1 (en) Image displaying method and head-mounted display apparatus
US11195253B2 (en) Equatorial stitching of hemispherical images in a spherical image capture system
JP2005339313A (ja) 画像提示方法及び装置
CN106127681B (zh) 一种图像采集方法、虚拟现实图像传输方法及显示方法
JP6719596B2 (ja) 画像生成装置、及び画像表示制御装置
JP6708444B2 (ja) 画像処理装置および画像処理方法
CN114513646B (zh) 一种三维虚拟场景中全景视频的生成方法及设备
JP6791991B2 (ja) 画像配信装置
US20260057598A1 (en) Image processing apparatus, image processing method, and storage medium
BR112018002918B1 (pt) Aparelhos para geração de imagem e para controle de exibição de imagem, método para geração de uma imagem, meio de armazenamento legível por computador, e, unidade de armazenamento
CN118379204A (zh) 全景图像处理方法、装置和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16836877

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017535279

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15748474

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: MX/A/2018/001286

Country of ref document: MX

ENP Entry into the national phase

Ref document number: 2995665

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2016308980

Country of ref document: AU

Date of ref document: 20160624

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20187007795

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2018109330

Country of ref document: RU

Ref document number: 2016836877

Country of ref document: EP

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112018002918

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112018002918

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20180215