WO2023187974A1 - 情報処理装置、情報処理装置の制御方法、及びプログラム - Google Patents

情報処理装置、情報処理装置の制御方法、及びプログラム Download PDF

Info

Publication number
WO2023187974A1
WO2023187974A1 PCT/JP2022/015399 JP2022015399W WO2023187974A1 WO 2023187974 A1 WO2023187974 A1 WO 2023187974A1 JP 2022015399 W JP2022015399 W JP 2022015399W WO 2023187974 A1 WO2023187974 A1 WO 2023187974A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
resolution
information processing
processing device
resolution setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/015399
Other languages
English (en)
French (fr)
Inventor
陽 徳永
圭史 松永
雅宏 藤原
昌毅 高瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to EP22935125.9A priority Critical patent/EP4503587A4/en
Priority to US18/840,094 priority patent/US20250161807A1/en
Priority to JP2024510780A priority patent/JP7806218B2/ja
Priority to PCT/JP2022/015399 priority patent/WO2023187974A1/ja
Publication of WO2023187974A1 publication Critical patent/WO2023187974A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40068Modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00Two-dimensional [2D] image generation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00Three-dimensional [3D] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/36Level of detail
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/52Parallel processing

Definitions

  • the present invention relates to an information processing device, a method of controlling the information processing device, and a program.
  • the viewpoint of the user viewing the screenshot changes from the perspective of the screen recorded in the screenshot. Since the viewpoint is different from that of the user who is viewing the image, the viewer will be viewing images with partially different resolutions, which will create a sense of discomfort.
  • the present invention has been made in view of the above circumstances, and one of its objects is to provide an information processing device, a control method for the information processing device, and a program that reduce the sense of discomfort in images for recording.
  • an information processing apparatus including an image data generation unit that generates image data according to a predetermined first resolution setting, an accepting means for accepting a user's predetermined operation regarding recording; and when the predetermined operation is accepted, causing the image data generation unit to generate image data at a second resolution setting different from the first resolution setting. , and image recording means for recording the generated image data.
  • FIG. 1 is a block diagram illustrating a configuration example of an information processing device according to an embodiment of the present invention.
  • FIG. FIG. 1 is a functional block diagram illustrating an example of an information processing device according to an embodiment of the present invention.
  • FIG. 2 is a flowchart diagram illustrating an example of the operation of the information processing device according to the embodiment of the present invention.
  • FIG. 2 is an explanatory diagram illustrating an example of image data generated by the information processing device according to the embodiment of the present invention.
  • FIG. 2 is a schematic explanatory diagram showing an example of control of processing resources by the information processing apparatus according to the embodiment of the present invention.
  • the information processing device 10 is, for example, a personal computer or a home game machine, and as illustrated in FIG. , a display control section 14 , and a communication section 15 , and are connected to a controller device 20 , a display device 30 , and a line-of-sight detection device 40 .
  • the control unit 11 is a program control device including a CPU, GPU, etc., and operates according to a program stored in the storage unit 12.
  • the control unit 11 includes a CPU 111 and a GPU 112, and the CPU 111 generates and outputs a screen including an image to be operated by the user, and
  • information representing the position of the line of sight of the user who performs the operation while looking at the screen containing the image is acquired from the line of sight detection device 40.
  • the GPU 112 of the control unit 11 functions as an image generation unit that generates image data using a predetermined first resolution setting.
  • the CPU 111 of the control unit 11 accepts a user's predetermined operation regarding recording of image data
  • the CPU 111 causes the GPU 112 to generate image data at a second resolution setting different from the first resolution setting, and generates the image data. Instructs to record the image data.
  • the GPU 112 generates image data at the second resolution setting and executes a process of recording the generated image data. Thereafter, the GPU 112 may continue the process of generating image data using the first resolution setting. The details of the processing performed by the control unit 11 will be explained later.
  • the storage unit 12 is configured to include storage devices such as disk devices and memory devices.
  • the storage unit 12 stores programs executed by the control unit 11. This program may be provided stored in a computer-readable, non-transitory recording medium, and may be stored in this storage unit 12.
  • This storage section 12 also operates as a work memory for the control section 11.
  • the operation acquisition unit 13 receives the content of the user's operation from the controller device 20 and outputs it to the control unit 11.
  • the display control unit 14 is connected to the display device 30 and outputs the instructed image to the display device 30 in accordance with instructions input from the control unit 11 .
  • the communication unit 15 is a network interface, etc., and transmits output information, etc. to other information processing devices 10, server devices (not shown), etc. connected via the network, according to instructions input from the control unit 11. Send data.
  • the communication unit 15 also outputs data received via the network from other information processing devices 10, server devices, etc. to the control unit 11.
  • the controller device 20 is a game controller, a mouse, a keyboard, etc., and outputs information representing operations performed by the user to the information processing apparatus 10.
  • the display device 30 is, for example, an HMD (Head Mount Display), and according to instructions input from the information processing device 10, displays the instructed image to the user.
  • HMD Head Mount Display
  • the line-of-sight detection device 40 detects the line-of-sight direction of the user viewing the image displayed by the display device 30, and outputs line-of-sight information representing the detection result to the information processing apparatus 10.
  • This line-of-sight information may be in any format as long as it can indicate the position of the user's line of sight on the image displayed by the display device 30.
  • the line-of-sight detection device 40 is arranged inside an HMD, which is the display device 30, and outputs line-of-sight information indicating the position of the user's line of sight on an image presented by the HMD.
  • a line of sight detection device a widely known one can be used, so a detailed description thereof will be omitted here.
  • control section 11 By executing the program stored in the storage unit 12, the control unit 11 functionally controls the image data generation unit 21, the operation reception unit 22, and the image recording processing unit 23, as illustrated in FIG. Realize the configuration included in.
  • the image data generation unit 21 is realized by, for example, the GPU 112, and generates image data using predetermined resolution settings.
  • the image data generation unit 21 when the control unit 11 executes an application program (game application, etc.), the image data generation unit 21 generates a virtual image to be displayed in a virtual three-dimensional space according to instructions from the control unit 11 when the application program (game application, etc.) is executed.
  • a virtual scene is created by arranging three-dimensional objects.
  • the image data generation unit 21 generates image data (here, a moving image) obtained by rendering the three-dimensional object etc. using the specified resolution setting, as images sequentially captured from a virtual camera arranged in the three-dimensional space. data).
  • the image data generation unit 21 also arranges the two cameras at different positions and renders image data for the left eye and image data for the right eye as images taken from each camera.
  • the resolution setting specified here is, for example, a resolution setting (hereinafter referred to as a first resolution setting) that generates image data that includes a relatively high resolution area and a relatively low resolution area.
  • a resolution setting hereinafter referred to as a first resolution setting
  • the image data generation unit 21 when the first resolution setting is specified, the image data generation unit 21 generates a predetermined image centering on the position of the user's line of sight based on the user's line of sight information output by the line of sight detection device 40. Render regions of the range at a relatively high resolution and other regions at a relatively low resolution.
  • the image data generation section 21 generates image data with a second resolution setting different from the first resolution setting according to an instruction input from the image recording processing section 23, which will be described later.
  • This second resolution setting is, for example, a setting in which image data is generated with the entire image at a uniform resolution.
  • the image data generation unit 21 outputs the image data obtained by rendering at the first resolution setting to the display device 30 via the display control unit 14 for display.
  • the image data generation unit 21 also outputs image data obtained by rendering at the second resolution to the image recording processing unit 23.
  • the image data generation section 21 may also output the image data obtained by rendering at this second resolution to the display device 30 via the display control section 14 for display.
  • the operation accepting unit 22 accepts information representing the user's operation from the operation acquiring unit 13.
  • the operation receiving unit 22 accepts, for example, an operation related to a game application, and provides the control unit 11 with processing of the game application or the like.
  • the operation receiving section 22 outputs an instruction to record the image data to the image recording processing section 23. do.
  • the image recording processing unit 23 Upon accepting the instruction to record image data, the image recording processing unit 23 instructs the image data generation unit 21 to generate image data at the second resolution setting.
  • the image data generation unit 21 outputs image data rendered using the second resolution setting in accordance with this instruction, the image data is stored in the storage unit 12 as, for example, a file.
  • the information processing device 10 of this embodiment basically has the above-described configuration and operates as follows.
  • the information processing device 10 is a home game machine and is executing processing of a game application.
  • the display device 30 connected to this information processing apparatus 10 is assumed to be an HMD, and presents an image for the left eye and an image for the right eye to the user.
  • the information processing apparatus 10 repeatedly receives, at predetermined timings, line-of-sight information indicating the direction of the line of sight of a user viewing an image displayed by the display device 30, which is sequentially detected by the line-of-sight detection device 40.
  • the information processing device 10 processes the position and posture of a three-dimensional object such as a virtual character to be displayed in a virtual three-dimensional space (game space).
  • a virtual scene is initialized by specifying information such as (S11: initialization).
  • the information processing device 10 also accepts information representing operations performed by the user, updates information on the position and posture of the character in the game space, and also updates the information on the position and posture of the character in the game space, and also updates the information on the character's position and posture in the game space, and also updates the information on the character's position and posture in the game space.
  • Information on the positions and postures of the virtual pair of cameras is updated (S12: screen update process).
  • the information processing device 10 generates images captured by each of the pair of cameras using a preset first resolution setting (S13). That is, the information processing device 10 renders image data (image data for the left eye and image data for the right eye) obtained by rendering the three-dimensional object etc. as an image seen from each of the pair of cameras using the first resolution setting. generate. The information processing device 10 then outputs the generated pair of images to the display device 30 for display (S14).
  • the first resolution setting used by the information processing device 10 here refers to a portion of the generated image data near a point corresponding to the direction of the user's line of sight obtained based on the line of sight information input from the line of sight detection device 40. It is assumed that the settings are such that the resolution of the image is relatively high, and the resolution of the other portions is relatively low.
  • the image data generated by the information processing device 10 is an area centered on a point Q in the direction of the user's line of sight and within a predetermined distance from this point Q, as illustrated in FIG. 4(a).
  • the portion within (R) is rendered at relatively high resolution, and the other portions are rendered at relatively low resolution.
  • the information processing device 10 determines whether the user has performed a predetermined operation regarding recording of image data (operation to instruct that an image should be recorded) (S15). If the predetermined operation is not performed here (S15: No), the information processing device 10 returns to step S12 and continues processing the game application.
  • step S15 if it is determined that the user has performed a predetermined operation related to recording image data (S15: Yes), information representing the operation performed by the user is accepted, and the position and posture of the character in this game space are determined. Information etc. are updated, and information on the positions and postures of a pair of virtual cameras placed at positions corresponding to the left and right eyes of the user is updated (S16: screen update process).
  • the information processing device 10 generates images captured by each of the pair of cameras using a preset second resolution setting (S17). In other words, the information processing device 10 renders image data (image data for the left eye and image data for the right eye) of the three-dimensional object etc. as an image viewed from each of the pair of cameras using the second resolution setting. generate.
  • the information processing device 10 outputs the generated pair of images to the display device 30 for display (S18), and stores one or both of the pair of images in the storage unit 12 as a recording image. (S19), and returns to step S12 to continue the process.
  • the second resolution setting is a setting that generates image data with the entire image at a uniform resolution
  • the image generated in step S17 is one in which the entire image is rendered at, for example, a relatively high resolution.
  • the resolution of the image generated with the second resolution setting and the resolution of the image generated with the first resolution setting may have the following relationship. That is, in the following explanation, the resolution in a relatively high resolution area (referred to as a high resolution part) in the first resolution setting is R1H, and the resolution in a relatively low resolution area (referred to as a low resolution part) is R1L.
  • the resolution R2 in the second resolution setting may be set as R1L ⁇ R2 ⁇ R1H. That is, the resolution R2 of the image generated with the second resolution setting may be set to a higher resolution than the resolution R1L of the low resolution portion of the image generated with the first resolution setting.
  • step S19 when storing one of the image data for the left eye and the image data for the right eye as a recording image in the storage unit 12, the information processing device 10 performs the process of step S17.
  • one of the image data for the left eye and the image data for the right eye to be stored in the storage unit 12 as a recording image is generated using a preset second resolution setting, and the other image data is generated using the first resolution setting. It may be generated according to the settings.
  • images for recording such as screenshots can be generated at the timing after receiving a predetermined operation from the user.
  • images for recording can be created without stopping the processing of the game application.
  • the second resolution setting may be a setting in which recording images such as screenshots are generated at a uniform resolution.
  • the information processing device 10 cuts out the image as the image for recording in the process of step S17. Only a portion may be generated at the resolution R2.
  • the information processing device 10 processes the part (other part) that is not cut out as an image for recording at a resolution R2' that is different from the resolution R2 (for example, if R'2 ⁇ R2, (The load is reduced).
  • the information processing device 10 executes only the screen update process in step S12 and performs rendering. After waiting for the completion of rendering and completing rendering, the processing from step S18 onward may be executed. In this case, the screen update rate will temporarily drop, but the game processing will continue.
  • the information processing device 10 returns to step S12 and continues the process without waiting for the rendering of the second resolution setting in step S17 of FIG. , when the process in step S17 is completed, the process may proceed to step S19 (in this case, the process in step S18 may be skipped).
  • the information processing device 10 reduces the execution speed of the repetitive processing from steps S12 to S15, and reduces the number of times rendering is performed at the first resolution setting in step S13.
  • the time interval for generating image data may be controlled.
  • the information processing device 10 may control the processing resources according to the resolution setting.
  • the control unit 11 may include a plurality of GPUs 112a, b, . . . and may be capable of rendering a plurality of images in parallel.
  • the information processing device 10 periodically generates relatively low-resolution image data for the entire screen using one GPU 112a, as illustrated in FIG. (The generation period is indicated by L in FIG. 5), and the other GPU 112b periodically generates relatively high-resolution image data in an area near the visual field (the generation period is indicated by H in FIG. 5).
  • the information processing device 10 After each generation period ends, the information processing device 10 combines the generated image data, renders a predetermined range of area centered on the position of the user's line of sight at relatively high resolution, and renders other areas. image data rendered at a relatively low resolution is generated and displayed (F).
  • the information processing device 10 When the information processing device 10 accepts the operation (T), the information processing device 10 starts rendering processing at the second resolution setting, and uses the GPU 112b to perform the entire rendering process. While generating relatively high-resolution image data for the screen (H'), one GPU 112a continues the process of periodically generating relatively low-resolution image data for the entire screen (L'). Image data is generated with a third rendering setting (a setting in which the entire screen has a relatively low resolution) that is different from both the first and second rendering settings.
  • a third rendering setting a setting in which the entire screen has a relatively low resolution
  • the generation of relatively high-resolution image data for the entire screen is illustrated as requiring a period in which relatively low-resolution image data for the entire screen is generated three times.
  • the information processing device 10 is generating image data at the second and third resolution settings in parallel.
  • image data rendered on the entire screen at a relatively low resolution is displayed (F').
  • the information processing device 10 records the image data in the storage unit 12 (R), and then Return to the rendering process at the first resolution setting and continue the process (X).
  • the usage of the GPU 112 which is a processing resource used for image data generation processing, is controlled, the frame rate of the image data for display is maintained, and the progress of the application program is maintained. It is possible to generate image data for recording with reduced turbulence.
  • the second resolution setting generates image data (pan focus image data) in which the entire screen is generated at the same resolution, as image data that does not feel strange as a screenshot.
  • This embodiment is not limited to this.
  • the image data generation section 21 of the control section 11 of the present embodiment generates image data with the second resolution setting according to an instruction input from the image recording processing section 23.
  • a part of the virtual three-dimensional objects obtained may be selected as the object of interest, and at the time of rendering, the area of the object of interest may be rendered at a relatively high resolution, and the other areas may be rendered at a relatively low resolution. .
  • the object of interest may be a virtual object that exists in the area that includes the position of the user's line of sight, or an object that is rendered with an area larger than a predetermined threshold value in the image to be rendered. It may also be selected as an object of interest.
  • the image data generation section 21 of the control section 11 generates the entire image at a relatively high resolution when generating image data at the second resolution setting according to an instruction input from the image recording processing section 23.
  • blurring processing may be applied to areas other than the area of the object of interest.
  • the second resolution setting is set so that the area including the object of interest selected by a predetermined method and the area not including the object of interest are image data of different resolutions, for example, the character the user is looking at may Image data displayed to stand out from the background is generated as a recording image such as a screenshot, making it possible to create an effect that highlights the area of interest.
  • the area of the object of interest is set to a relatively high resolution (or no blurring is performed), but in this embodiment, the area of the object of interest is extended outward by a predetermined number of pixels (The image within the dilation-processed area may be rendered at a relatively high resolution, and the other areas may be rendered at a relatively low resolution.
  • the number of pixels to be expanded here may be set to, for example, 1.1 times the square root of the area, depending on the area of the object, or may be specified by the user in advance.
  • the amount of blurring is reduced as the area of the object of interest or an expanded area thereof approaches, so that the image data appears as if the resolution has been changed in stages. May be generated.
  • the information processing device 10 includes information regarding the position of an object with respect to image data for recording, information on parameters used in processing of an application program such as a game application, etc.
  • Information representing the operation status of the controller, information such as the number of remaining bullets, physical strength, and other information as parameters of the character in the game may be synthesized as a character string image, or may be recorded as incidental information accompanying the image data. .
  • An information processing device comprising one or more processors, The one or more processors are functioning as an image data generation unit that generates image data according to a predetermined first resolution setting; accepting a user's predetermined operation regarding recording of the image data; When the predetermined operation is accepted, controlling the image data generation unit to generate image data at a second resolution setting different from the first resolution setting, and recording the generated image data.
  • Information processing device comprising one or more processors, The one or more processors are functioning as an image data generation unit that generates image data according to a predetermined first resolution setting; accepting a user's predetermined operation regarding recording of the image data; When the predetermined operation is accepted, controlling the image data generation unit to generate image data at a second resolution setting different from the first resolution setting, and recording the generated image data.
  • the information processing device is a setting that generates image data including a relatively high resolution area and a relatively low resolution area
  • the second resolution setting is a setting that generates image data with a uniform resolution.
  • the information processing device Furthermore, controlling processing resources used for image data generation processing when functioning as the image data generation unit, At a timing after receiving a predetermined operation from the user, the resource control means changes the control of the processing resources to increase the processing resources, controls the image data generation section, and controls the image data generation section to set the second resolution. Generate image data, record the generated image data, The second resolution setting generates image data at a higher resolution than at least the lowest resolution area included in the image data generated by the first resolution setting, and at a uniform resolution.
  • An information processing device that is configured to
  • the information processing device functions as an image data generation unit and sequentially generate image data, Upon receiving a predetermined operation by the user, image data is sequentially generated at a third resolution setting different from the first and second resolution settings, and image data is generated at the second resolution setting.
  • An information processing device that performs operations in parallel.
  • the information processing device functions as an image data generation unit and sequentially generate image data, An information processing device that controls a time interval for generating image data while generating image data at the second resolution.
  • the information processing device includes at least one object
  • the second resolution setting is a setting in which, among the objects, an object selected by a predetermined method is set as the object of interest, and an area including the object of interest and an area not including the object of interest are image data of mutually different resolutions.
  • Information processing device is a setting in which, among the objects, an object selected by a predetermined method is set as the object of interest, and an area including the object of interest and an area not including the object of interest are image data of mutually different resolutions.
  • An information processing device that includes one or more processors and generates image data according to a predetermined first resolution setting by the one or more processors, accepting a user's predetermined operation regarding recording of the image data; generating image data with a second resolution setting different from the first resolution setting when the predetermined operation is accepted, and recording the generated image data; A method for controlling an information processing device.
  • a computer-readable, non-transitory recording medium A process of generating image data with a predetermined first resolution setting, and when accepting a predetermined operation by a user regarding recording of the image data, generating the image data with a second resolution setting different from the first resolution setting.
  • a recording medium that stores a program for causing a computer to generate image data and record the generated image data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

所定の第1の解像度設定により画像データを生成する画像データ生成部を有し、画像データの記録に関するユーザの所定操作を受け入れたときに、画像データ生成部に対し、第1の解像度設定とは異なる第2の解像度設定で画像データを生成させ、当該生成させた画像データを記録する情報処理装置である。

Description

情報処理装置、情報処理装置の制御方法、及びプログラム
 本発明は、情報処理装置、情報処理装置の制御方法、及びプログラムに関する。
 近年、仮想現実(VR)画像等の表示技術において、ユーザの視線方向近傍の画像の解像度を比較的高解像度にするとともに、それ以外の部分の画像の解像度を比較的低解像度として画像処理の負担軽減を図るものがある。
 しかしながら、このような技術によって表示されている画面の記録を作成しようとする(いわゆるスクリーンショットを作成しようとする)と、スクリーンショットを参照するユーザの視点は、当該スクリーンショットに記録された画面を視認しているユーザの視点とは異なるため、部分的に解像度が異なる画像を視認することとなり、違和感が生じる。
 本発明は上記実情に鑑みて為されたもので、記録用の画像における違和感を軽減する情報処理装置、情報処理装置の制御方法、及びプログラムを提供することを、その目的の一つとする。
 上記従来例の問題点を解決するための本発明の一態様は、情報処理装置であって、所定の第1の解像度設定により画像データを生成する画像データ生成部を有し、前記画像データの記録に関するユーザの所定操作を受け入れる受入手段と、前記所定操作が受け入れられたときに、前記画像データ生成部に対し、前記第1の解像度設定とは異なる第2の解像度設定で画像データを生成させ、当該生成させた画像データを記録する画像記録手段とを含むこととしたものである。
 本発明によると、記録用の画像における違和感を軽減できる。
本発明の実施の形態に係る情報処理装置の構成例を表すブロック図である。 本発明の実施の形態に係る情報処理装置の例を表す機能ブロック図である。 本発明の実施の形態に係る情報処理装置の動作例を表すフローチャート図である。 本発明の実施の形態に係る情報処理装置が生成する画像データの例を表す説明図である。 本発明の実施の形態に係る情報処理装置による処理リソースの制御例を表す模式的な説明図である。
 本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報処理装置10は、例えばパーソナルコンピュータや、家庭用ゲーム機などであり、図1に例示するように、制御部11と、記憶部12と、操作取得部13と、表示制御部14と、通信部15とを含み、コントローラデバイス20と、表示デバイス30と、視線検出デバイス40とに接続されている。
 制御部11は、CPUやGPUなどを含むプログラム制御デバイスであり、記憶部12に格納されたプログラムに従って動作する。本実施の形態において、この制御部11は、CPU111と、GPU112とを含んで構成され、CPU111は、ユーザの操作の対象となる画像を含む画面を生成して表示出力するとともに、当該生成した画像上の一であって、当該画像を含む画面を見て操作を行うユーザの視線の位置を表す情報を、視線検出デバイス40から取得する。
 またこの制御部11のGPU112は、所定の第1の解像度設定により画像データを生成する画像生成部として機能する。この制御部11のCPU111は、画像データの記録に関するユーザの所定操作を受け入れると、GPU112に対して、上記第1の解像度設定とは異なる第2の解像度設定で画像データを生成して、当該生成した画像データを記録するよう指示する。GPU112はこの指示を受けて、第2の解像度設定で画像データを生成して、当該生成した画像データを記録する処理を実行する。その後GPU112は、第1の解像度設定により画像データを生成する処理を続けることとしてもよい。この制御部11の詳しい処理の内容については後に説明する。
 記憶部12は、ディスクデバイスや、メモリデバイス等の記憶デバイスを含んで構成される。この記憶部12には、制御部11によって実行されるプログラムが格納されている。このプログラムは、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部12に格納されたものであってよい。またこの記憶部12は、制御部11のワークメモリとしても動作する。
 操作取得部13は、コントローラデバイス20からユーザの操作の内容を受信して、制御部11に出力する。表示制御部14は、表示デバイス30に接続され、制御部11から入力される指示に従い、指示された画像を表示デバイス30に出力する。
 通信部15は、ネットワークインタフェース等であり、制御部11から入力される指示に従って、ネットワークを介して接続された他の情報処理装置10や、サーバ装置(不図示)等に対し、出力情報等のデータを送出する。またこの通信部15は、他の情報処理装置10や、サーバ装置等からネットワークを介して受信したデータを、制御部11に出力する。
 コントローラデバイス20は、ゲームコントローラや、マウス、キーボード等であり、ユーザが行った操作を表す情報を、情報処理装置10に対して出力する。表示デバイス30は、例えばHMD(Head Mount Display)であり、情報処理装置10から入力される指示に従い、指示された画像をユーザに呈示する。
 視線検出デバイス40は、表示デバイス30が表示する画像を視認するユーザの視線の方向を検出し、当該検出の結果を表す視線情報を、情報処理装置10に対して出力する。この視線情報は、表示デバイス30が表示している画像上でのユーザの視線の位置を示すことができる情報であれば、その形式は問わない。
 本実施の形態の一例では、この視線検出デバイス40は、表示デバイス30であるHMDの内部に配され、HMDが呈示する画像上のユーザの視線の位置を表す視線情報を出力するものである。このような視線検出デバイスは、広く知られたものを利用できるため、ここでの詳細な説明は省略する。
 次に、本発明の実施の形態における制御部11の動作について説明する。この制御部11は、記憶部12に格納されたプログラムを実行することで、図2に例示するように、画像データ生成部21と、操作受入部22と、画像記録処理部23とを機能的に含む構成を実現する。
 画像データ生成部21は、例えばGPU112により実現され、所定の解像度設定により画像データを生成するものである。本実施の形態の一例では、この画像データ生成部21は、制御部11によるアプリケーションプログラム(ゲームアプリケーション等)の実行時に、その指示によって仮想的な三次元空間内に、表示の対象となる仮想的な三次元オブジェクトを配して得られる仮想的なシーンを設定する。そして画像データ生成部21は、上記三次元空間内に配した仮想的なカメラから逐次的に撮像した画像として、指定された解像度設定により上記三次元オブジェクト等をレンダリングした画像データ(ここでは動画像データ)を生成する。
 またこの画像データ生成部21は、上記カメラを、互いに異なる位置に2つ配して、それぞれから撮像した画像として、左目用の画像データと、右目用の画像データとをレンダリングする。
 ここで指定される解像度設定は例えば、比較的高解像度の領域と、比較的低解像度の領域とを含む画像データを生成させる解像度設定(以下、第1の解像度設定と呼ぶ)とする。一例として、画像データ生成部21は、この第1の解像度設定が指定されているときには、視線検出デバイス40が出力するユーザの視線情報に基づいて、ユーザの視線の位置を中心とする、所定の範囲の領域を比較的高解像度でレンダリングし、その他の領域を比較的低解像度でレンダリングする。
 また画像データ生成部21は、後に説明する画像記録処理部23から入力される指示により、この第1の解像度設定とは異なる第2の解像度設定で画像データを生成する。この第2の解像度設定は、例えば画像全体を均一の解像度として、画像データを生成させる設定である。
 画像データ生成部21は、第1の解像度設定でレンダリングして得られた画像データを、表示制御部14を介して表示デバイス30へ出力して表示させる。また、この画像データ生成部21は、第2の解像度でレンダリングして得られた画像データを画像記録処理部23に出力する。画像データ生成部21は、この第2の解像度でレンダリングして得られた画像データについても、表示制御部14を介して表示デバイス30へ出力して表示させてもよい。
 操作受入部22は、ユーザによる操作を表す情報を、操作取得部13から受け入れる。この操作受入部22は、例えばゲームアプリケーションに関する操作を受け入れて、制御部11によるゲームアプリケーション等の処理に供する。
 またこの操作受入部22は、画像データ生成部21が生成する画像データを記録すべき旨の所定操作をユーザから受け入れると、画像データを記録するべき旨の指示を、画像記録処理部23に出力する。
 画像記録処理部23は、画像データを記録するべき旨の指示を受け入れると、画像データ生成部21に対して第2の解像度設定で画像データを生成するよう指示する。そして画像データ生成部21がこの指示に従って、第2の解像度設定によりレンダリングした画像データを出力すると、当該画像データを、例えばファイルとして記憶部12に格納する。
[基本的動作]
 本実施の形態の情報処理装置10は、基本的に上述の構成を備え、次のように動作する。ここでは情報処理装置10は、家庭用ゲーム機であり、ゲームアプリケーションの処理を実行しているものとする。またこの情報処理装置10に接続されている表示デバイス30は、HMDであるものとし、ユーザに対して左目用の画像と、右目用の画像とを呈示する。さらに情報処理装置10は、視線検出デバイス40が逐次的に検出する、表示デバイス30が表示する画像を視認するユーザの視線の方向を表す視線情報を、所定のタイミングごとに繰り返し受け入れている。
 情報処理装置10は、ゲームアプリケーションの処理として、図3に例示するように、仮想的な三次元空間(ゲーム空間)において、表示の対象となる仮想的なキャラクタ等の三次元オブジェクトの位置や姿勢等の情報を指示して、仮想的なシーンを初期設定する(S11:初期設定)。
 また情報処理装置10は、ユーザが行った操作を表す情報を受け入れて、このゲーム空間内のキャラクタの位置や姿勢の情報等を更新し、またユーザの左右の目にそれぞれ対応する位置に配した仮想的な一対のカメラの位置や姿勢の情報を更新する(S12:画面更新処理)。
 そして情報処理装置10は、上記一対のカメラのそれぞれで撮像した画像を、予め設定された第1の解像度設定により生成する(S13)。すなわち情報処理装置10は、第1の解像度設定により上記三次元オブジェクト等を、上記一対のカメラのそれぞれから見た画像としてレンダリングした画像データ(左目用の画像データと右目用の画像データと)を生成する。そして情報処理装置10は、生成した一対の画像を、表示デバイス30に対して出力して表示させる(S14)。
 ここで情報処理装置10が使用する第1の解像度設定は、生成する画像データのうち、視線検出デバイス40から入力される視線情報に基づいて得られるユーザの視線の方向に対応する点の近傍部分を比較的高解像度とし、それ以外の部分を比較的低解像度とする設定であるものとする。この例では、情報処理装置10が生成する画像データは、図4(a)に例示するようにユーザの視線の方向にある点Qを中心とする、この点Qから所定の距離までにある領域(R)内の部分が比較的高解像度でレンダリングされ、それ以外の部分は比較的低解像度でレンダリングされた状態となっている。
 またここで情報処理装置10は、ユーザが画像データの記録に関する所定の操作(画像を記録するべき旨の指示操作)を行ったか否かを判断する(S15)。ここで当該所定の操作が行われていなければ(S15:No)、情報処理装置10は、ステップS12に戻ってゲームアプリケーションの処理を続ける。
 一方、ステップS15において、ユーザが画像データの記録に関する所定の操作を行ったと判断すると(S15:Yes)、ユーザが行った操作を表す情報を受け入れて、このゲーム空間内のキャラクタの位置や姿勢の情報等を更新し、またユーザの左右の目にそれぞれ対応する位置に配した仮想的な一対のカメラの位置や姿勢の情報を更新する(S16:画面更新処理)。
 また、情報処理装置10は、上記一対のカメラのそれぞれで撮像した画像を、予め設定された第2の解像度設定により生成する(S17)。すなわち情報処理装置10は、第2の解像度設定により上記三次元オブジェクト等を、上記一対のカメラのそれぞれから見た画像としてレンダリングした画像データ(左目用の画像データと右目用の画像データと)を生成する。情報処理装置10は、生成した一対の画像を、表示デバイス30に対して出力して表示させる(S18)とともに、これら一対の画像のうち一方または双方を、記録用画像として、記憶部12に格納して(S19)、ステップS12に戻って処理を続ける。
 ここで第2の解像度設定は、画像全体を均一の解像度として、画像データを生成させる設定であり、ステップS17で生成される画像は、画像全体が例えば比較的高解像度でレンダリングされたものとなる(図4(b))。なお、この第2の解像度設定で生成される画像の解像度と、第1の解像度設定で生成された画像における解像度とは、次のような関係であってよい。すなわち、以下の説明において、第1の解像度設定における比較的高解像度の領域(高解像度部分と呼ぶ)での解像度をR1H、比較的低解像度の領域(低解像度部分と呼ぶ)での解像度をR1L(R1H>R1L)とし、第2の解像度設定における解像度を、R2とするとき、
・第2の解像度設定での解像度R2は、第1の解像度設定における比較的高解像度で生成される部分の解像度R1Hと同じ(R2=R1H)であってもよい。
・また第2の解像度設定での解像度R2は、上記解像度R1Hと異なり、R2>R1Hであってもよい。
・さらに、R2<R1Hであってもよい。
 また、第2の解像度設定における解像度R2は、R1L<R2<R1Hと設定されてもよい。つまり、第2の解像度設定で生成される画像の解像度R2は、第1の解像度設定で生成された画像の低解像度部分の解像度R1Lより高い解像度に設定されてよい。
 なお、ここでは上記のステップS19の処理で、左目用の画像データと右目用の画像データとのうち一方を記録用画像として記憶部12に格納する場合、情報処理装置10は、ステップS17の処理において、記録用画像として記憶部12に格納する左目用の画像データと右目用の画像データとのうち一方を、予め設定された第2の解像度設定により生成し、他方については、第1の解像度設定により生成してもよい。
 本実施の形態のこの例によると、ゲームアプリケーションの処理中、通常の状態ではユーザの視線に応じて解像度を適応的に変化させた画像を生成してGPU等における画像生成の負荷を軽減しつつ、ユーザから所定操作を受けた後のタイミングでスクリーンショット等、記録用の画像を生成できる。そしてこの記録用の画像の生成の際には、全体的に解像度を均一とした画像を生成させるので、当該記録用の画像の違和感を軽減できる。さらにこの例によるとゲームアプリケーションの処理を停止させることなく、スクリーンショット等の記録用の画像を作成できる。
[解像度設定の別の例]
 また第2の解像度設定は、スクリーンショット等の記録用の画像が均一の解像度で生成される設定としてもよい。この場合、記録用の画像が、情報処理装置10は、ステップS17の処理において生成する画像の一部であるときには、情報処理装置10は、当該ステップS17の処理では、当該記録用の画像として切り出す一部のみを上記解像度R2で生成してもよい。この場合、情報処理装置10は、ステップS17の処理において、記録用の画像として切り出されない部分(他の部分)については解像度R2とは異なる解像度R2′(例えばR′2<R2とすれば処理負荷は軽減される)で生成することとしてもよい。
[リソースの制御]
 本実施の形態の情報処理装置10の処理によると、上記図3のステップS13における第1の解像度設定でのレンダリングと、ステップS17における第2の解像度設定のレンダリングとをGPU112で行わせる場合、第1の解像度設定でのレンダリングと、第2の解像度設定でのレンダリングとで負荷が異なるために、これらが同じ時間内に処理完了しない場合があり得る。
 例えばステップS17における第2の解像度設定のレンダリングがステップS13における第1の解像度設定でのレンダリングと同じ時間内に完了しない場合、情報処理装置10は、ステップS12における画面更新処理のみを実行してレンダリングの完了を待ち、レンダリングを完了した後に、ステップS18以下の処理を実行してもよい。この場合、画面の更新レートは一時的に低下するが、ゲームの処理は進行することとなる。
 さらにGPU112が複数の画像のレンダリングを並行して実行できる場合、情報処理装置10は、図3のステップS17における第2の解像度設定のレンダリングの終了を待たずに、ステップS12に戻って処理を続け、ステップS17の処理が完了したときに、ステップS19に移行する(この場合ステップS18の処理はスキップする)こととしてもよい。
 またこの場合、情報処理装置10は、ステップS17の処理中は、ステップS12からS15の繰り返し処理の実行速度を低下させて、ステップS13での第1の解像度設定でのレンダリングの回数を低減して、画像データを生成する時間間隔を制御してもよい。
 また、GPU112等における画像データの生成処理に利用する処理リソースを制御できる場合、情報処理装置10は、当該処理リソースを、解像度設定に応じて制御することとしてもよい。
 例えば本実施の形態の一例では、制御部11が複数のGPU112a,b…を備え、並行して複数の画像のレンダリングを実行可能となっていてもよい。この例では、情報処理装置10は、第1の解像度設定におけるレンダリング処理では、図5に例示するように、一つのGPU112aにて全画面の比較的低解像度の画像データを定期的に生成するとともに(図5において生成期間をLで示す)、もう一つのGPU112bにて視野近傍の領域内の比較的高解像度の画像データを定期的に生成する(図5において生成期間をHで示す)。
 情報処理装置10は、各生成期間の終了後、生成された画像データを合成して、ユーザの視線の位置を中心とする、所定の範囲の領域を比較的高解像度でレンダリングし、その他の領域を比較的低解像度でレンダリングした画像データを生成して表示する(F)。
 やがてユーザが画像を記録するべき旨の操作を行い、情報処理装置10が当該操作を受け入れると(T)、情報処理装置10は、第2の解像度設定でのレンダリング処理を開始し、GPU112bで全画面の比較的高解像度の画像データの生成を行う(H′)とともに、一方のGPU112aでは、全画面の比較的低解像度の画像データを定期的に生成する処理を継続し(L′)、第1,第2のいずれのレンダリング設定とも異なる第3のレンダリング設定(全画面を比較的低解像度とする設定)での画像データを生成する。
 なお、ここでは説明のため、全画面の比較的高解像度の画像データの生成には、全画面の比較的低解像度の画像データを3回生成する期間を要するものとして図示している。つまり、この間、情報処理装置10は、この第2、第3の解像度設定での画像データの生成を並行して行っていることとなる。この例では各低解像度の画像データ(第3の解像度設定での画像データ)の生成期間の終了後、画面全体を比較的低解像度でレンダリングした画像データを表示することとなる(F′)。また情報処理装置10は、全画面の比較的高解像度の画像データ(第2の解像度設定での画像データ)の生成が完了すると、当該画像データを記憶部12に記録し(R)、その後、第1の解像度設定でのレンダリング処理に戻って処理を続ける(X)。
 この処理の例によれば、画像データの生成処理に利用する処理リソースであるGPU112の利用態様を制御し、表示用の画像データのフレームレートを維持し、アプリケーションプログラムの進行を維持しつつ、違和感を軽減した記録用の画像データを生成できる。
[オブジェクトの配置を考慮する例]
 また、ここまでの説明ではスクリーンショットとして違和感の少ない画像データとして、第2の解像度設定では全画面が同じ解像度で生成される画像データ(パンフォーカスの画像データ)が生成されるものとしたが、本実施の形態はこれに限られない。
 例えば本実施の形態の制御部11の画像データ生成部21は、画像記録処理部23から入力される指示により、第2の解像度設定で画像データを生成するときには、仮想的な三次元空間内配した仮想的な三次元オブジェクトのうち一部を注目オブジェクトとして選択し、レンダリング時に、当該注目オブジェクトの領域を比較的高解像度でレンダリングし、それ以外の領域を比較的低解像度でレンダリングしてもよい。
 ここでは注目オブジェクトは、ユーザの視線の位置を含む領域に存在する仮想的なオブジェクトとしてもよいし、レンダリングしようとする画像のうちで、所定のしきい値よりも大きい面積でレンダリングされるオブジェクトを注目オブジェクトとして選択してもよい。
 また別の例では、制御部11の画像データ生成部21は、画像記録処理部23から入力される指示により、第2の解像度設定で画像データを生成するときには、画像全体を比較的高解像度でレンダリングした後、注目オブジェクトの領域以外の領域に対してぼかし処理(ガウシアンブラー等)を施してもよい。
 このように、第2の解像度設定を、所定の方法で選択された注目オブジェクトを含む領域と、そうでない領域とを互いに異なる解像度の画像データとする設定とすると、例えばユーザが見ていたキャラクタが背景から浮き上がって表示された画像データがスクリーンショット等の記録用画像として生成され、注目している領域を際立たせた演出を行うことが可能となる。
 またここでは、注目オブジェクトの領域を比較的高解像度とする(あるいはぼかし処理しない設定とする)こととしたが、本実施の形態では、注目オブジェクトの領域を外側へ所定のピクセル数だけ拡張した(dilation処理した)領域内の画像を比較的高解像度でレンダリングし、その他の領域を比較的低解像度でレンダリングしてもよい。
 ここで拡張するピクセル数はオブジェクトの面積に応じて、例えば面積の平方根の1.1倍などとしてもよいし、ユーザが予め指示しておくようにしてもよい。
 またぼかしの処理を施す場合等においては、上記注目オブジェクトの領域またはそれを拡張した領域に近接するほどぼかしの量を低減するなどして、段階的に解像度を変更したかのような画像データを生成してもよい。
[変形例]
 また本実施の形態のある例では、情報処理装置10は、記録用画像データに対してオブジェクトの位置に関する情報や、ゲームアプリケーション等のアプリケーションプログラムの処理で利用しているパラメータの情報、例えばユーザによるコントローラの操作の状態を表す情報や、ゲーム中のキャラクタのパラメータとしての残弾数や体力値その他の情報を文字列の画像として合成し、あるいは画像データに付随する付随情報として記録してもよい。
 また本開示は、以下の態様を含んでよい。
[項目1]
 情報処理装置であって、1以上のプロセッサを備え、
 当該1以上のプロセッサが、
 所定の第1の解像度設定により画像データを生成する画像データ生成部として機能し、
 前記画像データの記録に関するユーザの所定操作を受け入れ、
 前記所定操作が受け入れられたときに、前記画像データ生成部を制御して、前記第1の解像度設定とは異なる第2の解像度設定で画像データを生成し、当該生成させた画像データを記録する情報処理装置。
[項目2]
 項目1に記載の情報処理装置であって、
 前記第1の解像度設定は、比較的高解像度の領域と、比較的低解像度の領域とを含む画像データを生成させる設定であり、前記第2の解像度設定は、均一の解像度で画像データを生成させる設定である情報処理装置。
[項目3]
 項目1に記載の情報処理装置であって、
 前記ユーザの所定操作を受けた後のタイミングで、前記画像データ生成部を制御し、前記第2の解像度設定で画像データを生成して、当該生成した画像データを記録する情報処理装置。
[項目4]
 項目3に記載の情報処理装置であって、
 さらに、前記画像データ生成部として機能する際の、画像データの生成処理に利用する処理リソースを制御し、
 前記ユーザの所定操作を受けた後のタイミングで、前記リソース制御手段に、処理リソースの制御を変更させて処理リソースを増大させ、前記画像データ生成部を制御して、前記第2の解像度設定で画像データを生成し、当該生成した画像データを記録し、
 前記第2の解像度設定は、少なくとも前記第1の解像度設定により生成される画像データに含まれる最も解像度の低い領域での解像度よりも、高い解像度であって、かつ均一の解像度で画像データを生成させる設定である情報処理装置。
[項目5]
 項目1に記載の情報処理装置であって、
 前記1以上のプロセッサは、画像データ生成部として機能して、逐次的に画像データを生成し、
 前記ユーザの所定操作を受けると、前記第1、第2の解像度設定とは異なる第3の解像度設定にて画像データを逐次的に生成するとともに、前記第2の解像度設定での画像データの生成を並行して行う情報処理装置。
[項目6]
 項目1に記載の情報処理装置であって、
 前記1以上のプロセッサは、画像データ生成部として機能して、逐次的に画像データを生成し、
 前記第2の解像度で画像データを生成させる間、画像データを生成する時間間隔を制御する情報処理装置。
[項目7]
 項目1に記載の情報処理装置であって、
 前記画像データには、少なくとも一つのオブジェクトが含まれ、
 前記第2の解像度設定は、当該オブジェクトのうち、所定の方法で選択されたオブジェクトを注目オブジェクトとして、当該注目オブジェクトを含む領域と、そうでない領域とを互いに異なる解像度の画像データとする設定である情報処理装置。
[項目8]
 1以上のプロセッサを備え、当該1以上のプロセッサにより、所定の第1の解像度設定により画像データを生成する情報処理装置を用い、
 前記画像データの記録に関するユーザの所定操作を受け入れ、
 前記所定操作が受け入れられたときに、前記第1の解像度設定とは異なる第2の解像度設定で画像データを生成し、当該生成した画像データを記録する、
情報処理装置の制御方法。
[項目9]
 コンピュータ読み取り可能かつ非一時的な記録媒体であって、
 所定の第1の解像度設定により画像データを生成する処理と、前記画像データの記録に関するユーザの所定操作を受け入れたときに、前記第1の解像度設定とは異なる第2の解像度設定で画像データを生成し、当該生成した画像データを記録する処理とをコンピュータに実行させるためのプログラムを格納する記録媒体。
 10 情報処理装置、11 制御部、12 記憶部、13 操作取得部、14 表示制御部、15 通信部、20 コントローラデバイス、21 画像データ生成部、22 操作受入部、23 画像記録処理部、30 表示デバイス、40 視線検出デバイス、111 CPU、112 GPU。
 

Claims (9)

  1.  所定の第1の解像度設定により画像データを生成する画像データ生成部を有し、
     前記画像データの記録に関するユーザの所定操作を受け入れる受入手段と、
     前記所定操作が受け入れられたときに、前記画像データ生成部に対し、前記第1の解像度設定とは異なる第2の解像度設定で画像データを生成させ、当該生成させた画像データを記録する画像記録手段と、
    を含む情報処理装置。
  2.  請求項1に記載の情報処理装置であって、
     前記第1の解像度設定は、比較的高解像度の領域と、比較的低解像度の領域とを含む画像データを生成させる設定であり、前記第2の解像度設定は、均一の解像度で画像データを生成させる設定である情報処理装置。
  3.  請求項1または2に記載の情報処理装置であって、
     前記画像記録手段は、前記ユーザの所定操作を受けた後のタイミングで、前記画像データ生成部に対し、前記第2の解像度設定で画像データを生成させて、当該生成させた画像データを記録する情報処理装置。
  4.  請求項3に記載の情報処理装置であって、
     前記画像データ生成部における画像データの生成処理に利用する処理リソースを制御するリソース制御手段をさらに有し、
     前記画像記録手段は、前記ユーザの所定操作を受けた後のタイミングで、前記リソース制御手段に、処理リソースの制御を変更させて処理リソースを増大させ、前記画像データ生成部に対し、前記第2の解像度設定で画像データを生成させて、当該生成させた画像データを記録し、
     前記第2の解像度設定は、少なくとも前記第1の解像度設定により生成される画像データに含まれる最も解像度の低い領域での解像度よりも、高い解像度であって、かつ均一の解像度で画像データを生成させる設定である情報処理装置。
  5.  請求項1から4のいずれか一項に記載の情報処理装置であって、
     前記画像データ生成部は、逐次的に画像データを生成しており、
     前記画像記録手段は、前記ユーザの所定操作を受けると、前記第1、第2の解像度設定とは異なる第3の解像度設定にて画像データを逐次的に生成させるとともに、前記第2の解像度設定での画像データの生成を並行して行わせる情報処理装置。
  6.  請求項1から5のいずれか一項に記載の情報処理装置であって、
     前記画像データ生成部は、逐次的に画像データを生成しており、
     前記画像記録手段は、前記第2の解像度で画像データを生成させる間、画像データを生成する時間間隔を制御する情報処理装置。
  7.  請求項1に記載の情報処理装置であって、
     前記画像データには、少なくとも一つのオブジェクトが含まれ、
     前記第2の解像度設定は、当該オブジェクトのうち、所定の方法で選択されたオブジェクトを注目オブジェクトとして、当該注目オブジェクトを含む領域と、そうでない領域とを互いに異なる解像度の画像データとする設定である情報処理装置。
  8.  所定の第1の解像度設定により画像データを生成する画像データ生成部を有する情報処理装置を用い、
     受入手段が、前記画像データの記録に関するユーザの所定操作を受け入れ、
     画像記録手段が、前記所定操作が受け入れられたときに、前記画像データ生成部に対し、前記第1の解像度設定とは異なる第2の解像度設定で画像データを生成させ、当該生成させた画像データを記録する、
    情報処理装置の制御方法。
  9.  コンピュータを、
     所定の第1の解像度設定により画像データを生成する画像データ生成手段、
     前記画像データの記録に関するユーザの所定操作を受け入れる受入手段、及び、
     前記所定操作が受け入れられたときに、前記画像データ生成手段に対し、前記第1の解像度設定とは異なる第2の解像度設定で画像データを生成させ、当該生成させた画像データを記録する画像記録手段、
     として機能させるプログラム。

     
PCT/JP2022/015399 2022-03-29 2022-03-29 情報処理装置、情報処理装置の制御方法、及びプログラム Ceased WO2023187974A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP22935125.9A EP4503587A4 (en) 2022-03-29 2022-03-29 INFORMATION PROCESSING DEVICE, METHOD FOR CONTROLLING AN INFORMATION PROCESSING DEVICE, AND PROGRAM
US18/840,094 US20250161807A1 (en) 2022-03-29 2022-03-29 Information processing apparatus, method for controlling information processing apparatus, and program
JP2024510780A JP7806218B2 (ja) 2022-03-29 2022-03-29 情報処理装置、情報処理装置の制御方法、及びプログラム
PCT/JP2022/015399 WO2023187974A1 (ja) 2022-03-29 2022-03-29 情報処理装置、情報処理装置の制御方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/015399 WO2023187974A1 (ja) 2022-03-29 2022-03-29 情報処理装置、情報処理装置の制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2023187974A1 true WO2023187974A1 (ja) 2023-10-05

Family

ID=88200011

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/015399 Ceased WO2023187974A1 (ja) 2022-03-29 2022-03-29 情報処理装置、情報処理装置の制御方法、及びプログラム

Country Status (4)

Country Link
US (1) US20250161807A1 (ja)
EP (1) EP4503587A4 (ja)
JP (1) JP7806218B2 (ja)
WO (1) WO2023187974A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12450022B2 (en) 2022-01-31 2025-10-21 Sony Interactive Entertainment Inc. Information processing device, control method of information processing device, program, and recording medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002223380A (ja) * 2001-01-25 2002-08-09 Sony Corp デジタルカメラコントローラ
WO2015037316A1 (ja) * 2013-09-10 2015-03-19 コニカミノルタ株式会社 器官画像撮影装置および器官画像撮影方法
WO2016076059A1 (ja) * 2014-11-12 2016-05-19 コニカミノルタ株式会社 器官画像撮影装置およびプログラム
JP2020058710A (ja) * 2018-10-12 2020-04-16 ライオン株式会社 舌体画像処理方法、呼気中不快臭気成分含有レベル推定方法、舌体画像処理装置およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6909286B2 (ja) * 2017-05-18 2021-07-28 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像表示システム、および画像生成方法
WO2020071703A1 (ko) * 2018-10-01 2020-04-09 엘지전자 주식회사 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및/또는 포인트 클라우드 데이터 수신 방법
KR101965746B1 (ko) * 2018-10-02 2019-04-05 주식회사 이노벤터 Vr 콘텐츠 스트리밍 서버 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002223380A (ja) * 2001-01-25 2002-08-09 Sony Corp デジタルカメラコントローラ
WO2015037316A1 (ja) * 2013-09-10 2015-03-19 コニカミノルタ株式会社 器官画像撮影装置および器官画像撮影方法
WO2016076059A1 (ja) * 2014-11-12 2016-05-19 コニカミノルタ株式会社 器官画像撮影装置およびプログラム
JP2020058710A (ja) * 2018-10-12 2020-04-16 ライオン株式会社 舌体画像処理方法、呼気中不快臭気成分含有レベル推定方法、舌体画像処理装置およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4503587A4 *

Also Published As

Publication number Publication date
JPWO2023187974A1 (ja) 2023-10-05
EP4503587A4 (en) 2026-01-07
JP7806218B2 (ja) 2026-01-26
EP4503587A1 (en) 2025-02-05
US20250161807A1 (en) 2025-05-22

Similar Documents

Publication Publication Date Title
JP5194530B2 (ja) 画像表示装置及び画像表示方法
US6717586B2 (en) Apparatus, method, program code, and storage medium for image processing
JP6407460B1 (ja) 画像処理装置、画像処理方法およびプログラム
KR102769510B1 (ko) 3d 전환
CN113099298A (zh) 虚拟形象的改变方法、装置和终端设备
US11995784B2 (en) Image processing device and image processing method
JP2014021570A (ja) 動画像生成装置
US20090262139A1 (en) Video image display device and video image display method
CN111161685B (zh) 一种虚拟现实显示设备及其控制方法
US20260011092A1 (en) Customized passthrough
CN114779981B (zh) 全景视频中可拖拽式热点交互方法、系统及存储介质
US11423516B2 (en) Gaze enhanced natural motion blur
WO2023187974A1 (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
CN113206993A (zh) 一种调整显示屏幕的方法及显示设备
US20050140668A1 (en) Ingeeni flash interface
US12333313B2 (en) Encoding stereo splash screen in static image
EP3800619A1 (en) Variable rendering system and method
JP4958499B2 (ja) 画像表示制御装置、画像表示方法及びプログラム
JP7296735B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2001204962A (ja) 画像表示プログラムを記録した記録媒体、画像表示方法及びゲーム装置
JP6371547B2 (ja) 画像処理装置、方法、および、プログラム
JP2001051579A (ja) 映像表示方法、映像表示装置及び映像表示プログラムを記録した記録媒体
JP7412826B1 (ja) 映像合成装置、映像合成方法、及びプログラム
JP6441426B1 (ja) キャラクタ動画表示システム
JPH0955959A (ja) 画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22935125

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18840094

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2024510780

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2022935125

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022935125

Country of ref document: EP

Effective date: 20241029

WWP Wipo information: published in national office

Ref document number: 18840094

Country of ref document: US