WO2025052902A1 - 画像処理方法、画像処理装置、画像処理システム - Google Patents

画像処理方法、画像処理装置、画像処理システム Download PDF

Info

Publication number
WO2025052902A1
WO2025052902A1 PCT/JP2024/029261 JP2024029261W WO2025052902A1 WO 2025052902 A1 WO2025052902 A1 WO 2025052902A1 JP 2024029261 W JP2024029261 W JP 2024029261W WO 2025052902 A1 WO2025052902 A1 WO 2025052902A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
image
virtual object
image processing
assist
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/029261
Other languages
English (en)
French (fr)
Inventor
大資 田原
滉太 今枝
福太郎 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of WO2025052902A1 publication Critical patent/WO2025052902A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Definitions

  • This technology relates to an image processing method, an image processing device, and an image processing system, and in particular to a technology for superimposing a virtual object on a captured image.
  • Patent Document 1 a system has been proposed in which an image captured by a camera is synthesized in real time with a CG image generated by 3DCG (Threee Dimensional Computer Graphic) processing, and the synthesized image (a so-called AR image) is displayed on a camera monitor.
  • the composite image can be displayed in real time on the camera monitor, allowing the cameraman to check the composite image in real time and to operate the camera while viewing the composite image.
  • Patent Document 1 when a cameraman adjusts the focus while checking the composite image, it is difficult for him to focus on the virtual object depicted in the CG image just by checking the composite image. Therefore, there is a demand for improving the convenience of the composite image for the cameraman when taking a picture.
  • This technology was developed in consideration of the above circumstances, and aims to improve the convenience of composite images for users when capturing images.
  • the image processing method displays on a display unit a composite image in which a virtual object is superimposed on an image captured by an imaging device, and provides an assist display, which is a display for assisting in capturing an image of the virtual object in the composite image.
  • an assist display which is a display for assisting in capturing an image of the virtual object in the composite image.
  • FIG. 1 is a diagram showing an overview of an image processing system according to a first embodiment
  • 2A to 2C are diagrams illustrating a captured image, a CG image, and a composite image.
  • FIG. 1 is a diagram showing a configuration of an imaging device.
  • FIG. 1 is a block diagram showing an example of the configuration of an image processing device.
  • FIG. 2 is a diagram showing a functional configuration of an image processing system.
  • FIG. 13 is a diagram illustrating an assist display.
  • FIG. 13 is a diagram showing an example of a composite image for monitoring in which real object peaking display, virtual object peaking display, and virtual object texture display are performed.
  • 10 is a flowchart showing a flow of a process of an assist display.
  • FIG. 13A to 13C are diagrams showing modified examples of the assist display in the first embodiment.
  • 13A to 13C are diagrams showing modified examples of the assist display in the first embodiment.
  • 13A to 13C are diagrams showing modified examples of the assist display in the first embodiment.
  • FIG. 13 is a diagram showing the overall configuration of an imaging system according to a second embodiment.
  • 3A to 3C are diagrams illustrating a background image, a captured image, and a CG image.
  • FIG. 13 is a diagram illustrating a composite image.
  • FIG. 2 is a diagram showing a functional configuration of the imaging system.
  • 11A and 11B are diagrams illustrating an example of assist display on a virtual object.
  • 13A and 13B are diagrams illustrating a modified example in which an assist display is performed on a virtual object.
  • imaging includes not only imaging that involves recording of image data, but also imaging for displaying an image on a display unit without recording of image data, such as a so-called through image or live view image.
  • Image refers to a moving image.
  • image does not only refer to a state in which it is displayed on a display unit, but may also refer to image data that is not displayed on a display unit.
  • real object refers not only to the target (subject) imaged by an imaging device, but also to the subject image captured in the image.
  • virtual object refers not only to a virtual object generated by 3D CG processing, but also to a virtual object that appears in a CG image generated by rendering.
  • FIG. 1 is a diagram showing an overview of an image processing system 1 according to a first embodiment of the present invention.
  • Fig. 2 is a diagram for explaining a captured image, a CG image, and a composite image.
  • an image processing system 1 according to an embodiment includes an imaging device 2 and an image processing device 3.
  • the imaging device 2 captures an image of a real object 5 (here, a person) as a subject in response to the operation of the cameraman 4, thereby generating a captured image (moving image) 101 as shown in FIG. 2A.
  • a real object 5 here, a person
  • the imaging device 2 captures an image of a real object 5 (here, a person) as a subject in response to the operation of the cameraman 4, thereby generating a captured image (moving image) 101 as shown in FIG. 2A.
  • the image processing device 3 is, for example, a workstation.
  • the image processing device 3 may be located at the imaging site, or may be located at a location different from the imaging site.
  • the image processing device 3 is connected to the imaging device 2 wirelessly or via a wire, and receives the captured image 101 from the imaging device 2 and transmits the composite image 103 to the imaging device 2.
  • the image processing device 3 generates a CG image 102 in which a virtual object 6 (here, a car) appears as shown in FIG. 2B. Then, the image processing device 3 composites the captured image 101 with the CG image 102 (virtual object 6) to generate a composite image 103 as shown in Fig. 2C. Note that the composite image 103 may also include a frame in which the CG image 102 is not composited. After that, the image processing device 3 transmits the generated composite image 103 to, for example, one or both of the imaging device 2 and the monitor 7.
  • the imaging device 2 When the imaging device 2 receives the composite image 103 from the image processing device 3 , the imaging device 2 displays the received composite image 103 on the display unit 15 . Upon receiving the composite image 103 from the image processing device 3 , the monitor 7 displays the received composite image 103 .
  • the cameraman 4 it is possible for the cameraman 4 to view the composite image 103 as a moving image in almost real time while the imaging device 2 is capturing images, i.e., an image in which the virtual object 6 is superimposed on the captured image 101.
  • FIG. 3 is a diagram showing the configuration of the imaging device 2.
  • the imaging device 2 includes a lens system 11, an imaging unit 12, an image processing unit 13, a recording unit 14, a display unit 15, a camera control unit 16, a memory unit 17, a driver unit 18, a sensor unit 19, a communication unit 20, and an operation unit 21.
  • all the units constituting the imaging device 2 except for the display unit 15 will be collectively referred to as a main body unit 2A.
  • the lens system 11 includes lenses such as a zoom lens and a focus lens, an aperture mechanism, etc.
  • the lens system 11 also includes a motor for operating these lenses and the aperture mechanism.
  • the lens system 11 collects light (incident light) from the real object 5 onto the imaging unit 12.
  • the lens system 11 may be provided integrally with the imaging device 2 , or may be configured as an interchangeable lens separate from the imaging device 2 .
  • the imaging unit 12 includes an image sensor (imaging element), such as a complementary metal oxide semiconductor (CMOS) type or a charge coupled device (CCD) type.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the imaging unit 12 performs, for example, CDS (Correlated Double Sampling) processing, AGC (Automatic Gain Control) processing, etc., on the electric signal obtained by photoelectrically converting the light received by the image sensor, and further performs A/D (Analog/Digital) conversion processing. Then, the imaging unit 12 outputs the captured image signal as digital data to the image processing unit 13.
  • CDS Correlated Double Sampling
  • AGC Automatic Gain Control
  • A/D Analog/Digital
  • the image processing unit 13 is configured as an image processor, for example, a DSP (Digital Signal Processor).
  • the image processing unit 13 performs various signal processing on the captured image signal from the imaging unit 12.
  • the image processing unit 13 performs, for example, pre-processing, synchronization processing, YC generation processing, resolution conversion processing, file formation processing, etc.
  • the captured image signal from the imaging unit 12 is subjected to a clamping process for clamping the R, G, and B black levels to a predetermined level, a correction process between the R, G, and B color channels, and the like.
  • a color separation process is performed so that the image data for each pixel has all color components of R, G, and B.
  • a demosaic process is performed as the color separation process.
  • YC generation process a luminance (Y) signal and a color (C) signal are generated (separated) from R, G, and B image data.
  • the resolution conversion process the image data that has been subjected to various signal processes is subjected to the resolution conversion process.
  • the image data that has been subjected to the various processes described above is subjected to compression encoding for recording or communication, formatting, generation and addition of metadata, etc., to generate a file for recording or communication.
  • an image file is generated in the MP4 format used for recording moving images and audio conforming to MPEG-4. It is also possible to generate an image file as raw (RAW) image data.
  • the recording unit 14 is a memory card (such as a portable flash memory) that is a recording medium that can be attached to and detached from the imaging device 2, or a flash memory or HDD (hard disk drive) that is built into the imaging device 2.
  • the recording unit 14 records the image data output from the image processing unit 13.
  • the display unit 15 executes various displays on the display screen based on instructions from the camera control unit 16 .
  • the display unit 15 displays a reproduced image of the image data read out from the recording unit 14 .
  • the display unit 15 displays the composite image 103 transmitted from the image processing device 3 in response to an instruction from the camera control unit 16.
  • the composite image 103 during composition confirmation, video recording, etc. is displayed on the display unit 15 as a so-called through image.
  • the display unit 15 may display various operation menus, icons, messages, etc., that is, a GUI (Graphical User Interface), on the screen based on instructions from the camera control unit 16 .
  • GUI Graphic User Interface
  • the camera control unit 16 is composed of a microcomputer (arithmetic processing device) equipped with a CPU (Central Processing Unit).
  • the memory unit 17 stores information and the like used for processing by the camera control unit 16.
  • the memory unit 17 collectively refers to, for example, a read only memory (ROM), a random access memory (RAM), a flash memory, and the like.
  • the memory unit 17 may be a memory area built into the microcomputer chip serving as the camera control unit 16, or may be configured by a separate memory chip.
  • the camera control unit 16 executes a program stored in the ROM, flash memory, or the like of the memory unit 17 to control the entire imaging device 2.
  • the camera control unit 16 includes functional units serving as an imaging control unit 16a and a self-position and orientation estimation unit 16b.
  • the imaging control unit 16a controls the operation of each part required for imaging, such as controlling the shutter speed of the imaging unit 12, instructing various signal processing in the image processing unit 13, imaging operations and recording operations in response to operations by the cameraman 4, playback operations of recorded image data, and control operations of the lens system 11 such as zoom, focus, and aperture adjustment. Furthermore, the imaging control unit 16a calculates the angle of view, aperture value, lens distortion, and focal distance of the imaging device 2 as lens information based on the specifications of the lenses and aperture mechanism constituting the lens system 11, the movement of the focus lens and zoom lens, the opening and closing of the aperture mechanism, etc. Note that the method of calculating this lens information can be a known method, and therefore the description thereof will be omitted.
  • the self-position and orientation estimation unit 16 b estimates the position and orientation of the imaging device 2 based on detection information from the sensor unit 19 (in this example, three-axis acceleration information and angular velocity information) and an image captured by the imaging unit 12 .
  • position and orientation estimation techniques include SLAM (Simultaneous Localization and Mapping), VIO (Visual Inertial Odometry), etc.
  • VIO assumes that the position and orientation are estimated by a technique such as INS (Inertial Navigation System) using the output of an IMU (sensor unit 19) that has a higher output rate than an image sensor (imaging unit 12). It is also possible to adopt a method such as Visual Odometry (VO) as a method that does not use the detection information of the IMU.
  • INS Intelligent Localization and Mapping
  • VIO Visual Odometry
  • the RAM in the memory unit 17 is used as a working area for various data processing by the CPU of the camera control unit 16, and is used for temporarily storing data, programs, and the like.
  • the ROM and flash memory (non-volatile memory) in the memory unit 17 are used to store an OS (Operating System) for the CPU to control each unit, application programs for various operations, firmware, various setting information, etc.
  • the various types of setting information include exposure settings, shutter speed settings, and mode settings as setting information related to imaging operations, white balance settings, color settings, and settings related to image effects as setting information related to image processing, and custom key settings and display settings as setting information related to operability.
  • the driver unit 18 includes, for example, a motor driver for a zoom lens drive motor, a motor driver for a focus lens drive motor, a motor driver for a diaphragm mechanism motor, and the like. These motor drivers apply drive currents to the corresponding drivers in response to instructions from the camera control unit 16, thereby moving the focus lens and zoom lens, opening and closing the aperture blades of the aperture mechanism, and so on.
  • the sensor unit 19 collectively represents various sensors mounted on the imaging device 2 .
  • An example of the sensor unit 19 is an inertial measurement unit (IMU).
  • the IMU has a three-axis acceleration sensor and an angular velocity sensor, and outputs three-axis acceleration information and angular velocity information.
  • the communication unit 20 is capable of performing wired or wireless inter-device communication, and network communication, which is communication with an external device via a specific communication network such as the Internet.
  • the communication unit 20 transmits the captured image 101 to the image processing device 3, for example, and receives the composite image 103.
  • the operation unit 21 collectively represents an input device for the user (cameraman 4) to input various operations. Specifically, the operation unit 21 is various operators (keys, dials, touch panel) or a touch panel. When the operation unit 21 detects a user operation, a signal corresponding to the input operation is sent to the camera control unit 16 .
  • FIG. 4 is a block diagram showing an example of the configuration of the image processing device 3.
  • the image processing device 3 includes a CPU 31.
  • the CPU 31 executes various processes according to a program stored in a ROM 32 or a program loaded from a storage unit 39 to a RAM 33.
  • the RAM 33 also stores data necessary for the CPU 31 to execute various processes as appropriate.
  • the CPU 31 , the ROM 32 and the RAM 33 are connected to each other via a bus 43 .
  • a GPU 34 is connected to the bus 43 .
  • the GPU 34 performs 3DCG processing mainly in real time in accordance with drawing commands from the CPU 31 .
  • an input/output interface (I/F) 35 is connected to the bus 43 .
  • An input unit 36 including an operator or an operating device is connected to the input/output interface 35.
  • the input unit 36 may be various operators or operating devices such as a keyboard, a mouse, a key, a dial, a touch panel, a touch pad, or a remote controller.
  • An operation is detected by the input unit 36 , and a signal corresponding to the detected operation is interpreted by the CPU 31 .
  • the input/output interface 35 is also connected, either integrally or separately, to a display unit 37 such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) panel, and an audio output unit 38 such as a speaker.
  • the display unit 37 is used to display various types of information, and is configured, for example, by a display device provided in the housing of the image processing device 3, or a separate display device connected to the image processing device 3.
  • the display unit 37 may be the monitor 7.
  • the display unit 37 displays images for various types of image processing, videos to be processed, etc., on the display screen based on instructions from the CPU 31.
  • the display unit 37 also displays various operation menus, icons, messages, etc., i.e., a GUI (Graphical User Interface), based on instructions from the CPU 31.
  • GUI Graphic User Interface
  • the input/output interface 35 is connected to a memory unit 39 and a communication unit 40, which are composed of a solid state drive (SSD) or hard disk drive (HDD).
  • SSD solid state drive
  • HDD hard disk drive
  • the communication unit 40 is capable of performing network communication, which is wired or wireless device-to-device communication and communication with an external device via a specific communication network such as the Internet.
  • network communication which is wired or wireless device-to-device communication and communication with an external device via a specific communication network such as the Internet.
  • it is configured to be capable of performing data communication with the communication unit 20 of the imaging device 2.
  • a drive 41 is connected to the input/output interface 35 as necessary, and a removable recording medium 42 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory is appropriately attached.
  • the drive 41 can read data files such as programs used in each process from the removable recording medium 42.
  • the read data files are stored in the storage unit 39, and images and sounds contained in the data files are output on the display unit 37 and the audio output unit 38.
  • the computer programs and the like read from the removable recording medium 42 are installed in the storage unit 39 as necessary.
  • FIG. 5 is a diagram showing a functional configuration of the image processing system 1.
  • the CPU 31 and GPU 34 of the image processing device 3 function as a CG generating unit 51 and a first composition unit 52.
  • these functional units may be configured to function only by one of the CPU 31 and the GPU 34.
  • one functional unit may be configured to function by both the CPU 31 and the GPU 34.
  • a captured image 101 captured by the imaging unit 12 of the imaging device 2 (more precisely, a captured image 101 that has been subjected to image processing by the image processing unit 13) is transmitted to the image processing device 3 via the communication unit 20.
  • camera information 109 when the captured image 101 is captured is transmitted to the image processing device 3 via the communication unit 20.
  • the camera information 109 may be metadata added to the captured image 101, or may be information independent of the captured image 101.
  • the camera information 109 includes the position, orientation, angle of view, aperture value, lens distortion, focal distance, etc. of the imaging device 2. This information is transmitted for each frame constituting the captured image 101, for example.
  • the position and orientation of the imaging device 2 are estimated for each frame by the self-position and orientation estimation unit 16b.
  • the angle of view, aperture value, lens distortion, and focal distance of the imaging device 2 are calculated as lens information by the imaging control unit 16a as described above.
  • the image processing device 3 When the image processing device 3 receives the captured image 101 and the camera information 109, it inputs the captured image 101 to the first synthesis unit 52 and inputs the camera information 109 to the CG generation unit 51.
  • the CG generation unit 51 includes a vertex shader unit 51a, a pixel shader unit 51b, a blur expression unit 51c, and a first image processing unit 51d.
  • the CG generation unit 51 is not limited to this, and may have other configurations as long as it can generate a CG image 102 from a 3D model.
  • the vertex shader unit 51a When the vertex shader unit 51a receives the camera information 109, it sets the angle of view, aperture value, lens distortion, and focal distance of the virtual camera that virtually captures images in the virtual space represented by the CG model, based on the angle of view, aperture value, lens distortion, and focal distance contained in the camera information 109.
  • the settings of the lens system of the virtual camera are made to match the settings of the lens system 11 of the imaging device 2.
  • the vertex shader unit 51a updates the position and orientation of the virtual camera based on the position and orientation of the imaging device 2 included in the camera information 109.
  • the position (coordinate position) of the virtual object 6 is shown in a coordinate system based on a predetermined position in the virtual space.
  • the coordinate system of the real space captured by the imaging device 2 is adjusted to match the coordinate system of the virtual space shown in the CG model. Therefore, by matching the position and orientation of the virtual camera with the position and orientation of the imaging device 2, the imaging range of the imaging device 2 and the imaging range of the virtual camera can be matched.
  • the vertex shader unit 51a performs processing such as converting the shape of the virtual object 6 when viewed from the position and orientation of the virtual camera.
  • the pixel shader unit 51b performs processing (shading) to determine the final color for a pixel.
  • Shading processing includes texture mapping, lighting, and other processing.
  • various other processing is performed on a fragment-by-fragment basis.
  • the blur expression unit 51c calculates the focus position and depth of field of the imaging device 2 (virtual camera) based on the angle of view, aperture value, lens distortion, focusing distance, etc. of the imaging device 2 included in the camera information. Then, the blur expression unit 51c performs processing to express image blur in a part of the virtual object 6 outside the depth of field. As a result, a CG image 102 is generated in which the virtual object 6 is depicted with a blurred expression applied by the blur expression unit 51c. The generated CG image 102 is output to the first synthesis unit 52 and the first image processing unit 51d.
  • the first synthesis unit 52 generates a composite image 103 in which a virtual object 6 is superimposed on the captured image 101 by synthesizing the captured image 101 transmitted from the imaging device 2 with the CG image 102 generated by the CG generation unit 51.
  • a virtual object 6 exists in front of the real object 5
  • the virtual object 6 may exist behind the real object 5 .
  • the captured image 101 contains information regarding the distance to the real object 5 for each pixel
  • the CG image 102 contains information regarding the distance to the virtual object 6 for each pixel
  • a composite image 103 is generated so that the pixels in the foreground are given priority.
  • the cameraman 4 may display a composite image 103 on the display unit 15 or monitor 7 and perform a focus operation on the imaging device 2 while checking the composite image 103.
  • the image processing system 1 therefore displays a monitor composite image 104 on the display unit 15 and monitor 7, which is the composite image 103 generated as described above and to which an assist display has been added.
  • the first image processing unit 51d processes the virtual object 6 that has been subjected to the blurring expression by the blurring expression unit 51c in order to perform an assist display, and outputs a CG image 102 in which the virtual object 6 appears to the imaging device 2.
  • the assist display is, for example, a peaking display or a texture display. The assist display will be described in detail later.
  • the first image processing unit 51d does not process the CG image 102 input from the blur expression unit 51c. In such cases, the CG image 102 that has not been processed is output to the imaging device 2 as is.
  • the camera control unit 16 of the imaging device 2 functions as a second image processing unit 53 and a second synthesis unit 54 in addition to the imaging control unit 16a and self-position and orientation estimation unit 16b described above.
  • the second image processing unit 53 receives the captured image 101 from the image processing unit 13 and recognizes the real object 5 from the input captured image 101.
  • the second image processing unit 53 then performs processing on the recognized real object 5 to provide an assist display, and outputs the captured image 101 after processing to the second synthesis unit 56.
  • the assist display is, for example, a peaking display. The assist display will be described in detail later.
  • the second image processing unit 53 does not perform processing on the captured image 101 input from the image processing unit 13. In such cases, the captured image 101 that has not been subjected to processing is output as is to the second synthesis unit 56.
  • the second synthesis unit 54 synthesizes the captured image 101 input from the second image processing unit 53 and the CG image 102 input from the first image processing unit 51d to generate a composite image for monitoring 104.
  • the generated composite image for monitoring 104 is output to the display unit 15 and the monitor 7.
  • the display unit 15 of the imaging device 2 and the monitor 7 display the composite image 104 for monitoring.
  • the assist display is a display for assisting imaging, and includes a peaking display and a texture display.
  • the peaking display is a display in which an edge portion of a subject in an image that is in focus is highlighted.
  • the peaking display can be performed for both the real object 5 and the virtual object 6 in the composite image 103. In other words, the peaking display can be performed for both the captured image 101 and the CG image 102.
  • the second image processing unit 53 detects edges of the real object 5 in the captured image 101, and detects edge portions that are in focus among the detected edges.
  • the in-focus edge portions may be detected by calculating high-frequency components in the captured image 101, or may be detected based on the focus position and depth of field of the imaging device 2 and the distance to the real object 5 calculated by SLAM or the like.
  • the second image processing unit 53 detects an edge portion in focus, it generates a captured image 101 in which the edge portion is highlighted as an actual object peaking display 105, as shown in FIG. 6A. Possible methods for highlighting include displaying the edge portions with lines of a predetermined color, or increasing the brightness of the edge portions.
  • the second synthesis unit 54 displays a guide 110 indicating that the real object peaking display 105 is being performed on the synthetic image for monitor 104.
  • the guide 110 has, for example, the description "real image”. This allows the cameraman 4 to easily confirm which part of the real object 5 is in focus.
  • the first image processing unit 51d When performing peaking display on the CG image 102 (virtual object 6), the first image processing unit 51d detects edges of the virtual object 6 in the CG image 102, and detects edge portions that are in focus among the detected edges.
  • the edge portions that are in focus may be detected by calculating high-frequency components in the CG image 102, or may be detected based on the focus position and depth of field of the imaging device 2 and the distance from the imaging device 2 (virtual camera) to the virtual object 6.
  • the first image processing unit 51d detects an edge portion in focus, it generates a CG image 102 in which the edge portion is highlighted as a virtual object peaking display 106, as shown in FIG. 6B.
  • Possible methods for highlighting include displaying the edge portions with lines of a predetermined color, or increasing the brightness of the edge portions.
  • the second synthesis unit 54 displays a guide 111 indicating that the virtual object peaking display 106 is being performed on the synthetic image for monitor 104.
  • the guide 111 has, for example, a description "CG: Edge” written on it. This allows the cameraman 4 to easily confirm which part of the virtual object 6 is in focus.
  • Texture display refers to highlighting a texture portion that is in focus among the surfaces that constitute a subject in an image. Texture display can be performed on the virtual object 6 in the composite image 103. In other words, texture display can be performed on the CG image 102.
  • the first image processing unit 51d detects a texture portion in focus among the texture of the virtual object 6 in the CG image 102.
  • the first image processing unit 51d detects a focused texture portion, it generates a CG image 102 in which the texture portion is highlighted as a virtual object texture display 107, as shown in FIG. 6C.
  • a possible method of highlighting is to display the textured portion in a predetermined pattern (for example, a zebra pattern, a specific color, or hatching).
  • a predetermined pattern for example, a zebra pattern, a specific color, or hatching.
  • the second synthesis unit 54 displays a guide 112 indicating that the virtual object texture display 107 is being performed on the synthetic image for monitor 104.
  • the guide 112 has, for example, "CG:Tex" written on it. This allows the cameraman 4 to easily confirm which part of the virtual object 6 is in focus.
  • FIG. 7 is a diagram showing an example of a composite image 104 for monitoring in which the real object peaking display 105, the virtual object peaking display 106, and the virtual object texture display 107 have been performed.
  • the above-mentioned real object peaking display 105, virtual object peaking display 106 and virtual object texture display 107 can be performed simultaneously.
  • the second composition unit 54 composes the captured image 101 on which the real object peaking display 105 has been performed, and the CG image 102 on which the virtual object peaking display 106 and the virtual object texture display 107 have been performed.
  • a composite image for monitoring 104 on which the real object peaking display 105, the virtual object peaking display 106, and the virtual object texture display 107 have been performed is generated.
  • the generated composite image for monitoring 104 is then displayed on the display unit 15 and the monitor 7. In this composite monitor image 104, guides 110, 111, and 112 are also displayed.
  • the first image processing unit 51d and the second image processing unit 53 make the color or thickness (width) of the lines different from each other, as shown in FIG. 7.
  • the display modes of the real object peaking display 105 and the virtual object peaking display 106 are made different. This allows the cameraman 4 to easily understand whether the peaking display is for the real object 5 or the virtual object 6.
  • the first image processing unit 51d and the second image processing unit 53 may alternately switch between the real object peaking display 105 and the virtual object peaking display 106 and the virtual object texture display 107. Furthermore, the first image processing unit 51d and the second image processing unit 53 may associate the real object peaking display 105 and the virtual object peaking display 106 and the virtual object texture display 107 with different operations of the operation unit 21.
  • the first image processing unit 51d and the second image processing unit 53 may alternately switch between the real object peaking display 105, the virtual object peaking display 106 and the virtual object texture display 107, and the real object peaking display 105, the virtual object peaking display 106 and the virtual object texture display 107.
  • the real object peaking display 105, the virtual object peaking display 106 and the virtual object texture display 107, and the real object peaking display 105, the virtual object peaking display 106 and the virtual object texture display 107 may be displayed in different display modes.
  • the second image processing unit 53 detects the edges of the real object 5 from the captured image 101 using a predetermined threshold value for determining edges, and detects the edge portions of the detected edges that are in focus. Then, the second image processing unit 53 divides the captured image 101 into small grids of multiple pixel units, and calculates the area in which the real object peaking display 105 is performed by counting the number of small grids that contain at least one pixel of an edge portion that is in focus.
  • the second image processing section 53 determines that the area in which the real object peaking display 105 is performed is large, and changes the threshold value to a larger value.
  • the second image processing unit 53 detects the edges of the real object 5 from the captured image 101 using the changed threshold value, and detects edge portions that are in focus among the detected edges. Then, the second image processing unit 53 performs real object peaking display 105 on the detected edge portions. In this way, when the area where the real object peaking display 105 is performed is large, by reducing the area where the real object peaking display 105 is performed, it is possible to make it easier for the cameraman 4 to see which parts are in focus.
  • the first image processing unit 51d changes the threshold value in the same manner as the second image processing unit 53, thereby making it easier for the photographer 4 to see which parts of the CG image 102 are in focus.
  • the threshold value used when the second image processing unit 53 detects edges from the captured image 101 be different from the threshold value used when the CG generation unit 51 detects edges from the CG image 102 .
  • the threshold value used when the CG generation unit 51 detects edges from the CG image 102 is set to a value smaller than the threshold value used when the second image processing unit 53 detects edges from the captured image 101 . This makes it possible to prevent the area of the real object peaking display 105 from becoming too large and the area of the virtual object peaking display 106 from becoming too small.
  • the blurring effect section 51c does not perform blurring effect on the virtual object 6, the virtual object peaking display 106 and the virtual object texture display 107 may not be performed (assist display for the virtual object 6 may not be performed).
  • the virtual object 6 is not blurred, the virtual object 6 is not expected to be focused on, so by not displaying the assist display for the virtual object 6, it is possible to reduce confusion of the cameraman 4.
  • assisted display may not be performed for the virtual object 6.
  • the virtual object 6, which is a non-assisted virtual object is given in advance as attribute information in the CG model that it is a non-assisted virtual object.
  • the first image processing unit 51d may perform a fast Fourier transform on the virtual object 6, and determine that it is a non-assisted virtual object if it contains high-frequency components. The first image processing unit 51d does not perform assist display for the virtual object 6, which is a non-assist virtual object.
  • the first image processing unit 51d may not perform assist display for the virtual objects 6. If assist display is performed when all virtual objects 6 included in the CG model are present within the depth of field of the imaging device 2, assist display will be performed on all virtual objects 6, which will make the monitor composite image 104 harder to see. Therefore, by not providing an assist display for the virtual objects 6 when all the virtual objects 6 included in the CG model are present within the depth of field of the imaging device 2, the composite image for monitoring 104 can be made easier to view. However, a guide indicating that all the virtual objects 6 included in the CG model are present within the depth of field of the imaging device 2 may be displayed.
  • the colors of the real object peaking display 105, the virtual object peaking display 106, and the virtual object texture display 107 may be changed according to the surrounding colors. For example, when a color predetermined as the color of the virtual object peaking display 106 is close to the color of the surroundings of the virtual object peaking display 106 , the first image processing unit 51 d inverts the color of the virtual object peaking display 106 . This can reduce the difficulty in seeing the assist display.
  • first image processing unit 51 d may perform virtual object texture display 107 instead of virtual object peaking display 106.
  • first image processing unit 51 d may perform virtual object peaking display 106 instead of virtual object texture display 107.
  • Fig. 8 is a flowchart showing the flow of the assist display process. Note that Fig. 8 shows the processes performed in parallel by the first image processing unit 51d and the second image processing unit 53 together.
  • step S1 the first image processing unit 51d and the second image processing unit 53 determine whether the depth of field calculated based on the camera information is within a predetermined value. Here, they determine whether the depth of field is shallow and blurring occurs in the real object 5 or virtual object 6.
  • step S1 If the depth of field is not within the predetermined value (Yes in step S1), the first image processing unit 51d and the second image processing unit 53 do not display the assist in step S2.
  • step S3 the first image processing unit 51d and the second image processing unit 53 determine whether the virtual object 6 is blurred.
  • step S4 the first image processing unit 51d does not perform assist display (virtual object peaking display 106, virtual object texture display 107) for the virtual object 6. Also, in step S4 the second image processing unit 53 performs assist display (real object peaking display 105) for the real object 5.
  • step S5 the first image processing unit 51d and the second image processing unit 53 determine whether the virtual object 6 is a non-assisted virtual object.
  • step S6 the first image processing unit 51d performs a virtual object peaking display 106 for the virtual object 6, and does not perform a virtual object texture display 107. Also, in step S6, the second image processing unit 53 performs an assisted display (real object peaking display 105) for the real object 5.
  • step S7 the first image processing unit 51d performs assist display (virtual object peaking display 106, virtual object texture display 107) for the virtual object 6. Also in step S7 the second image processing unit 53 performs assist display (real object peaking display 105) for the real object 5.
  • the first embodiment is not limited to the specific example described above, and various modified configurations may be adopted.
  • the image capture device 2 performs assist display for the real object 5
  • the image processing device 3 performs assist display for the virtual object 6.
  • assist display for both the real object 5 and the virtual object 6 may be performed in either the image capture device 2 or the image processing device 3.
  • the assist displays are the real object peaking display 105, the virtual object peaking display 106, and the virtual object texture display 107.
  • the assist displays are not limited to these, and may be other displays that assist the cameraman 4 in the imaging operation.
  • the second image processing unit 53 may assist in displaying the brightness (Exposure) distribution 120 of the real object 5 and the virtual object 6.
  • Fig. 9A illustrates a case where the brightness of the real object 5 and the virtual object 6 is substantially the same
  • Fig. 9B illustrates a case where the brightness of the virtual object 6 is low
  • Fig. 9C illustrates a case where the brightness of the real object 5 is low.
  • the second image processing unit 53 may assist in displaying color histogram distributions 121 of the real object 5 and the virtual object 6.
  • Fig. 10A illustrates a case where the brightness of the real object 5 and the virtual object 6 is substantially the same
  • Fig. 10B illustrates a case where the real object 5 is whitish
  • Fig. 10C illustrates a case where the virtual object 6 is whitish.
  • the second image processing unit 53 may display one or both of the real object 5 and the virtual object 6 in false color as an assist display.
  • Fig. 11A shows a case where the real object 5 and the virtual object 6 are not displayed in false color
  • Fig. 11B shows a case where only the real object 5 is displayed in false color
  • Fig. 10C shows a case where only the virtual object 6 is displayed in false color
  • Fig. 11D shows a case where the real objects 5 and 6 are displayed in false color.
  • Second embodiment in a studio equipped with a large display device, a background image is displayed on the display device and performers perform in front of it, thereby providing assist display in a so-called virtual production in which the performers and the background can be filmed.
  • FIG. 12 is a diagram showing the overall configuration of an image capture system 500 according to the second embodiment.
  • the image capture system 500 is provided with a performance area 501 in which a performer 510, which is an example of a real object 5, performs a performance or other performance.
  • a large display device is disposed at least on the rear surface, and further on the left and right sides and top surface of this performance area 501.
  • the type of device of the display device is not limited, but the figure shows an example in which an LED wall 505 is used as an example of a large display device.
  • a single LED wall 505 is formed by arranging multiple LED panels 506 connected vertically and horizontally to form a large panel.
  • the size of the LED wall 505 is not particularly limited, but it should be a size that is necessary or large enough to display the background when filming the performer 510.
  • the required number of lights 580 are placed in required positions, such as above or to the sides of the performance area 501, to illuminate the performance area 501.
  • a capture device 2 for capturing images of movies and other video content is placed near the performance area 501.
  • the imaging device 2 captures the performer 510 in the performance area 501 and the image displayed on the LED wall 505 together. For example, by displaying a landscape as background image vB on the LED wall 505, it is possible to capture a moving image similar to that in which the performer 510 is actually performing in the location of that landscape.
  • a monitor 7 is placed near the performance area 501.
  • the monitor 7 displays the captured images 101 captured by the imaging device 2 in real time. This allows the director, staff, and cameraman 4 who are producing the video content to check the captured images 101.
  • the shooting system 500 which shoots the performance of the performer 510 in a shooting studio with an LED wall 505 as a backdrop, has various advantages over green screen shooting.
  • post-production is more efficient than when shooting against a green screen. This is because in some cases so-called chromakey compositing is not necessary, and in other cases color correction and reflection compositing are not necessary. Even if chromakey compositing is required during shooting, there is no need to add a background screen, which also contributes to efficiency.
  • the green hue does not increase, so correction for this is not necessary. Also, by displaying the background image vB, reflections on actual objects such as glass are naturally captured and captured, so there is no need to synthesize the reflected image.
  • the shooting system 500 also includes a rendering engine 520, an asset server 530, a sync generator 540, an operation monitor 550, a camera tracker 560, an LED processor 570, a lighting controller 581, and a display controller 590.
  • the LED processor 570 is provided for each LED panel 506 and drives the image display of the corresponding LED panel 506.
  • the sync generator 540 generates a synchronization signal for synchronizing the frame timing of the image displayed by the LED panel 506 with the frame timing of the image captured by the imaging device 2, and supplies the synchronization signal to each LED processor 570 and the imaging device 2. However, this does not prevent the output from the sync generator 540 from being supplied to the rendering engine 520.
  • the camera tracker 560 generates camera information by the imaging device 2 at each frame timing and supplies it to the rendering engine 520.
  • the camera information may be generated by the imaging device 2.
  • the camera tracker 560 detects, as one piece of camera information, the position of the LED wall 505 or position information of the imaging device 2 relative to a predetermined reference position, and the shooting direction of the imaging device 2, and supplies these to the rendering engine 520.
  • a specific detection method by the camera tracker 560 is to randomly place reflectors on the ceiling and detect the position from the reflected light of infrared light irradiated from the imaging device 2.
  • Another detection method is to estimate the self-position of the imaging device 2 by using gyro information mounted on the camera platform of the imaging device 2 or the main body of the imaging device 2, or by image recognition of the captured image 101 of the imaging device 2.
  • the imaging device 2 may supply the rendering engine 520 with camera information such as the angle of view, focal length, F-number, shutter speed, and lens information.
  • the rendering engine 520 performs processing to generate the background image vB to be displayed on the LED wall 505. To this end, the rendering engine 520 reads out necessary 3D background data from the asset server 530. The rendering engine 520 then generates an image of the outer frustum used in the background image vB by rendering the 3D background data as viewed from pre-specified spatial coordinates. In addition, the rendering engine 520 uses camera information supplied from the camera tracker 560 and the imaging device 2 to identify the viewpoint position relative to the 3D background data, and renders the shooting area image vBC (inner frustum) for each frame.
  • vBC inner frustum
  • the rendering engine 520 further synthesizes the previously generated outer frustum with the shooting area image vBC rendered for each frame to generate a background image vB as one frame of image data. The rendering engine 520 then transmits the generated one frame of image data to the display controller 590.
  • the display controller 590 generates a divided video signal nD by dividing one frame of video data into video portions to be displayed on each LED panel 506, and transmits the divided video signal nD to each LED panel 506.
  • the display controller 590 may perform calibration according to individual differences in color development and the like between display sections/manufacturing errors and the like. Note that these processes may be performed by the rendering engine 520 without providing the display controller 590. In other words, the rendering engine 520 may generate the divided video signal nD, perform calibration, and transmit the divided video signal nD to each LED panel 506.
  • Each LED processor 570 drives the LED panel 506 based on the divided video signal nD received, causing the entire background image vB to be displayed on the LED wall 505.
  • the background image vB includes the shooting area image vBC that is rendered according to the position of the imaging device 2 at that time, etc.
  • the imaging device 2 can thus capture the performance of the performer 510, including the background image vB displayed on the LED wall 505.
  • the captured image 101 obtained by the imaging device 2 is recorded on a recording medium inside the imaging device 2 or in an external recording device (not shown).
  • the operation monitor 550 displays an operation image vOP for controlling the rendering engine 520.
  • the engineer 511 can perform the necessary settings and operations related to the rendering of the background image vB while viewing the operation image vOP.
  • the lighting controller 581 controls the light emission intensity, light emission color, irradiation direction, etc. of the light 580.
  • the lighting controller 581 may control the light 580 asynchronously with the rendering engine 520, for example, or may control the light 580 synchronously with the shooting information and rendering processing. Therefore, the lighting controller 581 may control the light emission according to instructions from the rendering engine 520 or a master controller (not shown).
  • the imaging system 500 is also provided with an image processing device 3 (indicated as a Computer in the figure).
  • the image processing device 3 generates a CG image 102 in which a virtual object 6 based on a 3D model appears.
  • the imaging device 2 then generates a composite image 103 by combining the captured image 101 and the CG image 102, and displays the composite image 103 on the display unit 15 and the monitor 7.
  • Fig. 13 is a diagram for explaining a background image, a captured image, and a CG image
  • Fig. 14 is a diagram for explaining a composite image.
  • a background image vB in which a virtual object 201 appears is projected onto an LED wall 505.
  • the image processing device 3 generates a CG image 102 in which a virtual object 6 as shown in Fig. 13C appears.
  • the captured image 101 shown in Fig. 13B and the CG image 102 shown in Fig. 13C are composited to generate a composite image 103 shown in Fig. 14.
  • assist display is performed for the virtual object 201 based on the background image vB appearing in the captured image 101.
  • the imaging device 2 is provided with a main body section 2A, a display section 15, a second image processing section 53, and a second synthesis section 54.
  • the image processing device 3 is provided with a CG generation section 51 and a first synthesis section 52.
  • Camera information is input to a rendering engine 520 in the imaging system 500.
  • a synchronization signal output from a sync generator 540 is input to the imaging device 2, image processing device 3, and cameraman 4 for synchronization.
  • FIG. 16 is a diagram illustrating an example of assist display on a virtual object 201.
  • the rendering engine 520 detects a texture portion that is in focus among the texture of the virtual object 201 in the background image vB. The focus is calculated based on camera information.
  • the rendering engine 520 detects a texture portion that is in focus, it generates a background image vB in which the texture portion is highlighted as a virtual object texture representation 210, as shown in FIG. 16A.
  • a possible method of highlighting is to display the textured portion in a predetermined pattern (for example, a zebra pattern, a specific color, or hatching).
  • the generated background image vB is displayed on the LED wall 505 via the display controller 590 and the LED processor 570. Then, the background image vB with the virtual object texture display 210 is captured by the imaging device 2, and finally, as shown in FIG. 16B, the composite image for monitor 104 with the virtual object texture display 210 applied to the virtual object 201 is displayed on the display unit 15 and the monitor 7.
  • the rendering engine 520 if the frame rate of the imaging device 2 and the LED wall 505 can be doubled, the rendering engine 520 generates, for example, a background image vB in which the virtual object texture display 210 is not performed for even-numbered frames, and generates a background image vB in which the virtual object texture display 210 is performed for odd-numbered frames. In other words, the rendering engine 520 switches between the presence and absence of the virtual object texture display 210 alternately between frames.
  • the imaging device 2 When the background image vB generated in this manner is displayed on the LED wall 505 and captured by the imaging device 2, the imaging device 2 divides it into a captured image 101 of only even frames and a captured image 101 of only odd frames. The imaging device 2 then records the captured image 101 of only even frames as the main video. Meanwhile, the captured image 101 of only odd frames is composited with a CG image 102 to generate a composite image 104 for monitoring.
  • the second embodiment is not limited to the specific example described above, and various modified configurations may be adopted.
  • a virtual object texture display 210 is displayed on the background image vB.
  • a virtual object texture display 210 may be performed on the CG image 102 .
  • the CG generation unit 51 acquires a 3D model (3D background data) from the asset server 530, and generates a background image vB based on camera information.
  • the CG generation unit 51 also detects a focused texture portion of the texture of the virtual object 201 in the background image vB.
  • the CG generation unit 51 detects the focused texture portion, it generates a CG image 102 in which the virtual object texture display 210 is highlighted at a position corresponding to the focused texture portion, as shown in Fig. 17B. Note that the background image vB displayed on the LED wall 505 does not include the virtual object texture display 210, as shown in Fig. 17A.
  • a CG image 102 as shown in FIG. 17B is composited with an imaged image 101 obtained by capturing the background video vB by the imaging device 2, and finally, as shown in FIG. 17C, a composite image for monitor 104 in which a virtual object texture display 210 is applied to a virtual object 201 is displayed on the display unit 15 and the monitor 7.
  • the image processing method displays a composite image (composite image for monitor 104) in which a virtual object 6 is superimposed on an imaged image 101 obtained by the imaging device 2 on a display unit (display unit 15, monitor 7), and provides an assist display for assisting in imaging of the virtual object 6 in the composite image 103.
  • This allows the cameraman 4 to easily confirm the part that is in focus by the assist displays (virtual object peaking display 106, virtual object texture display 107) when, for example, focusing on the virtual object 6. Therefore, the convenience of the composite image for the user during image capture can be improved.
  • a texture display (virtual object texture display 107) is performed on the portion of the virtual object 6 on which the imaging device 2 is focused. This allows the cameraman 4 to easily confirm which part of the virtual object 6 is in focus.
  • peaking display real object peaking display 105, virtual object peaking display 106
  • the peaking display is performed in different display modes for the virtual object 6 and the real object 5. This makes it easy to know whether the peaking display is being performed on the virtual object 6 or the real object 5.
  • the assist display is not performed for the virtual object 6.
  • the virtual object 6 is not expected to be focused on, so by not displaying the assist display for the virtual object 6, it is possible to reduce confusion of the cameraman 4.
  • assist display is not performed for the virtual object 6. If assist display is applied to all virtual objects 6, the composite image for monitor 104 becomes difficult to see. Therefore, by not applying assist display to the virtual objects 6, the composite image for monitor 104 can be made easier to see.
  • the sensitivity of the peaking display is reduced and the peaking display is performed.
  • the sensitivity is lowered to reduce the area where the peaking display is performed, thereby making it easier for the cameraman 4 to see which part is in focus.
  • a brightness distribution 120 of the real object 5 and the virtual object 6 is displayed.
  • the cameraman 4 can easily adjust the aperture. Also, the brightness of the virtual object 6 can be reduced.
  • a color histogram distribution 121 of the real object 5 and the virtual object 6 is displayed.
  • the cameraman 4 can easily adjust the white balance. Also, the cameraman 4 can adjust the white balance of the virtual object 6.
  • a real object 5 and a virtual object 6 are displayed in false color.
  • the cameraman 4 can easily adjust the brightness.
  • the brightness of the virtual object 6 can be adjusted.
  • the display device (LED wall 505) on which the virtual object 201 is displayed is imaged by the imaging device 2, so that the virtual object 201 appears in the captured image 101, and the assist display is performed by the image (background image vB) displayed on the display device.
  • the background image vB displayed on the LED wall 505 can perform assist display.
  • the assist display is performed every other frame among consecutive frames displayed on the display device (LED wall 505). This makes it possible to generate the main video and a monitor composite image 104 for confirmation with a single image capture.
  • the virtual object 201 is displayed on a display device (LED wall 505), and the assist display is performed on an image (CG image 102) different from the display device.
  • the assist display is not displayed on the LED wall 505, and it is possible to prevent the assist display from being reflected in the captured image 101 obtained by capturing an image with the imaging device 2.
  • the image processing device 3 has a control unit (CPU 31) that displays a composite image 103 (104) in which a virtual object 6 is superimposed on an imaged image 101 obtained by the imaging device 2 on a display unit (display unit 15, monitor 7), and performs assist display (virtual object peaking display 106, virtual object texture display 107) to assist in imaging of the virtual object 6 in the composite image 103.
  • the image processing system 1 includes an imaging device 2 and an image processing device 3.
  • the imaging device 2 includes an imaging unit 12 that obtains an imaged image 101 by imaging a real space.
  • the image processing device 3 includes a control unit (CPU 31) that displays a composite image 103 (104) in which a virtual object 6 is superimposed on the imaged image 101 obtained by the imaging device 2 on a display unit (display unit 15, monitor 7) and performs assist display (virtual object peaking display 106, virtual object texture display 107) that is a display for assisting in imaging the virtual object 6 in the composite image 103.
  • a control unit CPU 31
  • the image processing device 3 includes a control unit (CPU 31) that displays a composite image 103 (104) in which a virtual object 6 is superimposed on the imaged image 101 obtained by the imaging device 2 on a display unit (display unit 15, monitor 7) and performs assist display (virtual object peaking display 106, virtual object texture display 107) that is a display for assisting in imaging the virtual object 6 in the composite image 103.
  • the present technology can also be configured as follows.
  • An image processing method comprising: displaying, on a display unit, a composite image in which a virtual object is superimposed on an image captured by an imaging device; and providing an assist display for assisting in capturing an image of the virtual object in the composite image.
  • the display device on which the virtual object is displayed is imaged by the imaging device, so that the virtual object appears in the image;
  • the virtual object is displayed on a display device;
  • An image processing device comprising: a control unit that displays, on a display unit, a composite image in which a virtual object is superimposed on an image captured by an imaging device, and performs an assist display that is a display for assisting in capturing an image of the virtual object in the composite image.
  • An image processing system including an imaging device and an image processing device, The imaging device includes an imaging unit that obtains an image by imaging a real space, The image processing system includes a control unit that displays, on a display unit, a composite image in which a virtual object is superimposed on a captured image obtained by the imaging device, and performs an assist display that is a display to assist in capturing an image of the virtual object in the composite image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本技術に係る画像処理方法は、撮像装置により得られる撮像画像に対して仮想物体が重畳された合成画像を表示部に表示し、合成画像内の仮想物体に対して撮像を補助するための表示であるアシスト表示を行う。

Description

画像処理方法、画像処理装置、画像処理システム
　本技術は、画像処理方法、画像処理装置及び画像処理システムに関するものであり、特には、撮像画像に仮想物体を重畳する技術に関するものである。
　例えば特許文献１に開示されるように、カメラによって撮像されることで得られた撮像画像と、３ＤＣＧ（Three Dimensional Computer Graphic）処理により生成されたＣＧ画像とをリアルタイムで合成し、合成した合成画像（所謂ＡＲ画像）をカメラモニタに表示させるようになされたシステムが提案されている。
　このシステムでは、合成画像をリアルタイムでカメラモニタに表示することができるので、カメラマンはリアルタイムで合成画像を確認することができるとともに、合成画像を見ながらカメラを操作することができる。
特開２０１１－３５６３８号公報
　特許文献１に開示されている技術では、カメラマンが合成画像を確認しながらフォーカスを調整する場合に、合成画像を確認するだけではＣＧ画像に写し出される仮想物体にフォーカスを合わせることが困難であった。そこで、撮像時にカメラマンに対する合成画像の利便性を向上させることが希求されている。
　本技術は上記事情に鑑み為されたものであり、撮像時にユーザに対する合成画像の利便性を向上させることを目的とする。
　本技術に係る画像処理方法は、撮像装置により得られる撮像画像に対して仮想物体が重畳された合成画像を表示部に表示し、前記合成画像内の前記仮想物体に対して撮像を補助するための表示であるアシスト表示を行う。
　上記の画像処理方法によれば、例えば仮想物体にフォーカスを合わせる際にアシスト表示によりカメラマンに容易にフォーカスが合っている部分を確認させることが可能となる。
第１の実施形態としての画像処理システムの概要を示した図である。 撮像画像、ＣＧ画像及び合成画像を説明する図である。 撮像装置の構成を示した図である。 画像処理装置の構成例を示したブロック図である。 画像処理システムの機能的構成を示した図である。 アシスト表示を説明する図である。 実物体ピーキング表示、仮想物体ピーキング表示及び仮想物体テクスチャ表示を行ったモニタ用合成画像の一例を示した図である。 アシスト表示の処理の流れを示したフローチャートである。 第１の実施形態におけるアシスト表示の変形例を示した図である。 第１の実施形態におけるアシスト表示の変形例を示した図である。 第１の実施形態におけるアシスト表示の変形例を示した図である。 第２の実施形態としての撮影システムの全体構成を示した図である。 背景映像、撮像画像及びＣＧ画像を説明する図である。 合成画像を説明する図である。 撮影システムの機能的構成を示した図である。 仮想物体にアシスト表示する一例を説明する図である。 仮想物体にアシスト表示する変形例を説明する図である。
　以下、添付図面を参照し、本技術に係るセンサ装置の実施形態を次の順序で説明する。
＜１．第１の実施形態＞
＜２．第２の実施形態＞
＜３．実施形態のまとめ＞
＜４．本技術＞
　なお、本技術において「撮像」とは、画像データの記録を伴う撮像のみでなく、所謂スルー画やライブビュー画のように画像データの記録を伴わずに表示部に画像を表示させるための撮像を含むものである。
　「画像」とは、動画像を示すものである。また、「画像」とは、表示部に表示されている状態を指すだけでなく、表示部に表示されていない状態の画像データについても「画像」と表記することがある。
　「実物体」とは、撮像装置によって撮像される対象（被写体）を指すだけでなく、画像に写っている被写体像も含むものである。
　「仮想物体」とは、３ＤＣＧ処理により生成される仮想的な物体を指すだけでなく、レンダリングにより生成されるＣＧ画像に写っている仮想的な物体も含むものである。
＜１．第１の実施形態＞
［１．１．画像処理システムの全体構成］
　図１は、第１の実施形態としての画像処理システム１の概要を示した図である。図２は、撮像画像、ＣＧ画像及び合成画像を説明する図である。
　図１に示すように、実施形態としての画像処理システム１は、撮像装置２及び画像処理装置３を備えて構成される。
　撮像装置２は、カメラマン４の操作に応じて例えば被写体である実物体５（ここでは人物）を撮像することで図２Ａに示すような撮像画像（動画像）１０１を生成する。
　画像処理装置３は、例えばワークステーションにより構成される。画像処理装置３は、撮像現場に配置されていてもよいし、撮像現場とは異なる場所に配置されていてもよい。画像処理装置３は、撮像装置２と無線又は有線により接続されており、撮像装置２から撮像画像１０１を受信したり、撮像装置２に合成画像１０３を送信したりする。
　画像処理装置３は、図２Ｂに示すような仮想物体６（ここでは車）が写るＣＧ画像１０２を生成する。
　そして、画像処理装置３は、撮像画像１０１にＣＧ画像１０２（仮想物体６）を合成し、図２Ｃに示すような合成画像１０３を生成する。なお、合成画像１０３には、ＣＧ画像１０２が合成されていないフレームも含み得るものである。その後、画像処理装置３は、生成した合成画像１０３を例えば撮像装置２及びモニタ７の一方又は双方に送信する。
　撮像装置２は、画像処理装置３から合成画像１０３を受信すると、受信した合成画像１０３を表示部１５に表示する。
　モニタ７は、画像処理装置３から合成画像１０３を受信すると、受信した合成画像１０３を表示する。
　これにより、画像処理システム１では、撮像装置２の撮像中に、ほぼリアルタイムで動画像としての合成画像１０３、すなわち、撮像画像１０１に対して仮想物体６が重畳された画像をカメラマン４に確認させることが可能となる。
［１．２．撮像装置の全体構成］
　図３は、撮像装置２の構成を示した図である。図３に示すように、撮像装置２は、レンズ系１１、撮像部１２、画像処理部１３、記録部１４、表示部１５、カメラ制御部１６、メモリ部１７、ドライバ部１８、センサ部１９、通信部２０及び操作部２１を備える。なお、以下では、撮像装置２を構成する各部のうちの表示部１５を除く各部を纏めて本体部２Ａを表記する。
　レンズ系１１は、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。また、レンズ系１１は、これらレンズや絞り機構を動作させるためのモータを備える。このレンズ系１１により、実物体５からの光（入射光）が撮像部１２に集光される。
　なお、レンズ系１１は、撮像装置２と一体に設けられていてもよいし、撮像装置２と別体の交換レンズとして構成されていてもよい。
　撮像部１２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサ（撮像素子）を含んで構成される。
　撮像部１２では、イメージセンサで受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理等を実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そして、撮像部１２は、デジタルデータとしての撮像画像信号を画像処理部１３に出力する。
　画像処理部１３は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。画像処理部１３は、撮像部１２からの撮像画像信号に対して、各種の信号処理を施す。画像処理部１３は、例えば前処理、同時化処理、ＹＣ生成処理、解像度変換処理、ファイル形成処理等を行う。
　前処理では、撮像部１２からの撮像画像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を行う。
　同時化処理では、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
　ＹＣ生成処理では、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号及び色（Ｃ）信号を生成（分離）する。
　解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
　ファイル形成処理では、上記の各種処理が施された画像データについて、例えば記録用や通信用の圧縮符号化、フォーマティング、メタデータの生成や付加などを行って記録用や通信用のファイル生成を行う。
　例えばＭＰＥＧ－４に準拠した動画像・音声の記録に用いられているＭＰ４フォーマットなどとしての画像ファイルの生成を行う。
　なおロー（RAW）画像データとして画像ファイルを生成することも考えられる。
　記録部１４は、撮像装置２に着脱できる記録媒体であるメモリカード（可搬型のフラッシュメモリ等）、撮像装置２に内蔵されるフラッシュメモリやＨＤＤ（hard Disk Drive）等である。記録部１４は、画像処理部１３から出力された画像データが記録される。
　表示部１５は、カメラ制御部１６の指示に基づいて表示画面上に各種表示を実行させる。
　例えば表示部１５は、記録部１４から読み出された画像データの再生画像を表示する。
　また、表示部１５は、カメラ制御部１６の指示に応じて、画像処理装置３から送信される合成画像１０３を表示する。これにより構図確認中や動画記録中などの合成画像１０３が所謂スルー画として表示部１５に表示される。
　また、表示部１５は、カメラ制御部１６の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行してもよい。
　カメラ制御部１６はＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータ（演算処理装置）により構成される。
　メモリ部１７は、カメラ制御部１６が処理に用いる情報等を記憶する。メモリ部１７としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを包括的に示している。
　メモリ部１７は、カメラ制御部１６としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
　カメラ制御部１６は、メモリ部１７のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで撮像装置２の全体を制御する。カメラ制御部１６は、撮像制御部１６ａ及び自己位置姿勢推定部１６ｂとしての機能部を備える。
　撮像制御部１６ａは、撮像部１２のシャッタースピードの制御、画像処理部１３における各種信号処理の指示、カメラマン４の操作に応じた撮像動作や記録動作、記録された画像データの再生動作、ズーム、フォーカス、絞り調整等のレンズ系１１の制御動作等、撮像に関する必要各部の動作を制御する。
　また、撮像制御部１６ａは、レンズ系１１を構成する各レンズ及び絞り機構の仕様や、フォーカスレンズやズームレンズの移動、絞り機構の開閉等の動作情報に基づいて、撮像装置２の画角、絞り値、レンズ歪み及び合焦距離をレンズ情報として算出する。なお、これらのレンズ情報の算出方法は、既知の方法を用いることができるため、その説明は省略する。
　自己位置姿勢推定部１６ｂは、センサ部１９の検出情報（本例では３軸の加速度情報及び角速度情報）と撮像部１２による撮像画像とに基づき、撮像装置２の位置及び姿勢の推定を行う。
　位置及び姿勢の推定手法としては、例えばＳＬＡＭ（Simultaneous Localization and Mapping）やＶＩＯ（Visual Inertial Odometry）等の手法を挙げることができる。例えば、ＶＩＯでは、イメージセンサ（撮像部１２）に比べて出力レートが高いＩＭＵ（センサ部１９）の出力を使って、ＩＮＳ（Inertial Navigation System）等の技術で位置及び姿勢を推定することを想定している。
　なお、ＩＭＵの検出情報を用いない手法として、ＶＯ（Visual Odometry）等の手法を採ることも考えられる。
　メモリ部１７におけるＲＡＭは、カメラ制御部１６のＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
　メモリ部１７におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、各種動作のためのアプリケーションプログラムや、ファームウェア、各種の設定情報等の記憶に用いられる。
　各種の設定情報としては、撮像動作に関する設定情報としての露出設定、シャッタースピード設定、モード設定や、画像処理に係る設定情報としてのホワイトバランス設定、色設定、画像エフェクトに関する設定、操作性に係る設定情報としてのカスタムキー設定や表示設定などがある。
　ドライバ部１８には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
　これらのモータドライバはカメラ制御部１６からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。
　センサ部１９は、撮像装置２に搭載される各種のセンサを包括的に示している。
　センサ部１９としては、例えばＩＭＵ（Inertial Measurement Unit）が挙げられる。ＩＭＵは、それぞれ３軸の加速度センサ及び角速度センサを有し、３軸の加速度情報及び角速度情報を出力する。
　通信部２０は、有線又は無線による機器間通信や、インターネット等の所定の通信ネットワークを介した外部装置との間の通信であるネットワーク通信を行うことが可能とされる。通信部２０は、例えば画像処理装置３に対して撮像画像１０１の送信を行うとともに、合成画像１０３の受信を行う。
　操作部２１は、ユーザ（カメラマン４）が各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部２１は、各種の操作子（キー、ダイヤル、タッチパネル）やタッチパネル等である。
　操作部２１によりユーザの操作が検知されると、入力された操作に応じた信号がカメラ制御部１６へ送られる。
［１．３．画像処理装置の構成］
　図４は、画像処理装置３の構成例を示したブロック図である。
　図４に示すように、画像処理装置３は、ＣＰＵ３１を備えている。ＣＰＵ３１は、ＲＯＭ３２に記憶されているプログラム、又は、記憶部３９からＲＡＭ３３にロードされたプログラムに従って各種の処理を実行する。また、ＲＡＭ３３には、ＣＰＵ３１が各種の処理を実行する上で必要なデータなども適宜記憶される。
　ＣＰＵ３１、ＲＯＭ３２及びＲＡＭ３３は、バス４３を介して相互に接続されている。
　また、バス４３には、ＧＰＵ（Graphics Processing Unit）３４が接続されている。
　ＧＰＵ３４は、ＣＰＵ３１からの描画命令にしたがって主にリアルタイムで３ＤＣＧ処理を行う。
　また、バス４３には、入出力インタフェース（Ｉ／Ｆ）３５が接続されている。
　入出力インタフェース３５には、操作子や操作デバイスよりなる入力部３６が接続される。例えば、入力部３６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
　入力部３６により操作が検知され、検知された操作に応じた信号はＣＰＵ３１によって解釈される。
　入出力インタフェース３５にはまた、ＬＣＤ（Liquid Crystal Display）或いは有機ＥＬ（Electro-Luminescence）パネルなどよりなる表示部３７や、スピーカなどよりなる音声出力部３８が一体又は別体として接続される。
　表示部３７は各種の情報表示に用いられ、例えば画像処理装置３の筐体に設けられるディスプレイデバイスや、画像処理装置３に接続される別体のディスプレイデバイス等により構成される。表示部３７は、モニタ７であってもよい。
　表示部３７は、ＣＰＵ３１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部３７はＣＰＵ３１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。
　入出力インタフェース３５には、ＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）などより構成される記憶部３９及び通信部４０が接続される。
　通信部４０は、有線又は無線による機器間通信や、インターネット等の所定の通信ネットワークを介した外部装置との間の通信であるネットワーク通信を行うことが可能とされる。特に本実施形態では、撮像装置２の通信部２０との間でデータ通信を行うことが可能に構成されている。
　入出力インタフェース３５には、必要に応じてドライブ４１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体４２が適宜装着される。
　ドライブ４１により、リムーバブル記録媒体４２から各処理に用いられるプログラム等のデータファイルなどを読み出すことができる。読み出されたデータファイルは記憶部３９に記憶されたり、データファイルに含まれる画像や音声が表示部３７や音声出力部３８で出力されたりする。またリムーバブル記録媒体４２から読み出されたコンピュータプログラム等は必要に応じて記憶部３９にインストールされる。
［１．４．画像処理システムの機能的な構成］
　図５は、画像処理システム１の機能的構成を示した図である。図５に示すように、画像処理装置３のＣＰＵ３１及びＧＰＵ３４は、ＣＧ生成部５１、第１合成部５２として機能する。なお、これらの機能部は、ＣＰＵ３１及びＧＰＵ３４の一方のみにより機能するようにしてもよい。また、１つの機能部がＣＰＵ３１及びＧＰＵ３４の双方により機能するようにしてもよい。
　画像処理システム１では、撮像装置２の撮像部１２によって撮像された撮像画像１０１（より厳密には画像処理部１３によって画像処理が施された撮像画像１０１）が通信部２０を介して画像処理装置３に送信される。
　また、撮像装置２では、撮像画像１０１を撮像しているときのカメラ情報１０９が通信部２０を介して画像処理装置３に送信される。カメラ情報１０９は、撮像画像１０１に付与されるメタデータであってもよく、また、撮像画像１０１とは独立した情報であってもよい。
　カメラ情報１０９には、撮像装置２の位置、姿勢、画角、絞り値、レンズ歪み、合焦距離等が含まれている。これらの情報は、例えば撮像画像１０１を構成するフレーム毎に送信される。
　撮像装置２の位置及び姿勢は自己位置姿勢推定部１６ｂによってフレーム毎に推定される。
　また、撮像装置２の画角、絞り値、レンズ歪み及び合焦距離は、上記したようにレンズ情報として撮像制御部１６ａによって算出される。
　画像処理装置３では、撮像画像１０１及びカメラ情報１０９を受信すると、撮像画像１０１を第１合成部５２に入力させるとともに、カメラ情報１０９をＣＧ生成部５１に入力させる。
　ＣＧ生成部５１は、バーテックスシェーダー部５１ａ、ピクセルシェーダー部５１ｂ、ボケ表現部５１ｃ及び第１画像加工部５１ｄを含んで構成される。但し、ＣＧ生成部５１は、これに限らず、３ＤモデルからＣＧ画像１０２を生成することできれば、他の構成であってもよい。
　バーテックスシェーダー部５１ａは、カメラ情報１０９を受信すると、カメラ情報１０９に含まれる画角、絞り値、レンズ歪み及び合焦距離に基づいて、ＣＧモデルで示される仮想空間において仮想的に撮像する仮想カメラの画角、絞り値、レンズ歪み及び合焦距離を設定する。ここでは、仮想カメラのレンズ系の設定を撮像装置２のレンズ系１１の設定に一致させている。
　また、バーテックスシェーダー部５１ａは、カメラ情報１０９に含まれる撮像装置２の位置及び姿勢に基づいて仮想カメラの位置及び姿勢を更新する。ここで、ＣＧモデルでは、仮想空間における所定の位置を基準とした座標系で仮想物体６の位置（座標位置）が示されている。また、撮像装置２で撮像される実空間の座標系と、ＣＧモデルで示される仮想空間との座標系が一致するように調整されている。そのため、仮想カメラの位置及び姿勢を撮像装置２の位置及び姿勢に一致させていることで、撮像装置２での撮像範囲と、仮想カメラでの撮像範囲とを合わせることができる。
　続いて、バーテックスシェーダー部５１ａは、仮想カメラの位置及び姿勢からみたときの仮想物体６の形状変換処理などを行う。
　ピクセルシェーダー部５１ｂは、ピクセルに対する最終的な色を決定するための処理（陰影付け）を行う。陰影付けのための処理としてはテクスチャマッピング、ライティングなどの処理などが含まれる。また、その他フラグメント単位の処理として様々な処理が行われる。
　ボケ表現部５１ｃは、カメラ情報に含まれる撮像装置２の画角、絞り値、レンズ歪み、合焦距離等に基づいて、撮像装置２（仮想カメラ）のフォーカス位置及び被写界深度を算出する。そして、ボケ表現部５１ｃは、仮想物体６のうちの被写界深度外の部分に像ボケを表現する処理を施す。
　これにより、ボケ表現部５１ｃによりボケ表現が施された仮想物体６が写るＣＧ画像１０２が生成される。生成されたＣＧ画像１０２は、第１合成部５２及び第１画像加工部５１ｄに出力される。
　第１合成部５２は、撮像装置２から送信された撮像画像１０１と、ＣＧ生成部５１により生成されたＣＧ画像１０２とを合成することにより、撮像画像１０１に仮想物体６が重畳された合成画像１０３を生成する。
　なお、本実施形態では、実物体５のよりも手前側に仮想物体６が存在する例を挙げて説明するが、実物体５のよりも奥側に仮想物体６が存在するようにしてもよい。
　このような場合、撮像画像１０１には画素ごとに実物体５までの距離に関する情報が含まれるとともに、ＣＧ画像１０２には画素ごとに仮想物体６までの距離に関する情報が含まれるようにし、合成する際に、手前側の画素を優先的に残すように合成画像１０３を生成するようにすればよい。
　このように、画像処理システム１では、撮像画像１０１に仮想物体６が重畳された合成画像１０３がリアルタイムに生成される。ここで生成された合成画像１０３は、例えば最終的に残す合成画像１０３として記憶部３９に記憶される。
　ところで、カメラマン４は、実空間には存在しない仮想物体６に対してフォーカスを合わせたい場合には、表示部１５又はモニタ７に合成画像１０３を表示させ、その合成画像１０３を確認しながら撮像装置２のフォーカス操作を行うことも考えられる。
　しかしながら、合成画像１０３を確認しながら仮想物体６（仮想物体６の特定の位置を含む）にフォーカスを合わせるフォーカス操作を行うことは困難である。
　そこで、画像処理システム１では、上記したようにして生成した合成画像１０３にアシスト表示を加えたモニタ用合成画像１０４を表示部１５及びモニタ７に表示する。
　まず、モニタ用合成画像１０４を生成するための機能部について説明する。但し、上記した機能部についてもモニタ用合成画像１０４を生成するための機能部として機能することは言うまでもない。
　第１画像加工部５１ｄは、ボケ表現部５１ｃによりボケ表現が施された仮想物体６に対してアシスト表示を行うための加工処理を施し、その仮想物体６が写るＣＧ画像１０２を撮像装置２に出力する。アシスト表示としては、例えばピーキング表示やテクスチャ表示である。アシスト表示について、詳しくは後述する。
　但し、第１画像加工部５１ｄは、ボケ表現部５１ｃから入力されるＣＧ画像１０２に対して加工処理を施さない場合もある。このような場合には、加工処理が施されていないＣＧ画像１０２がそのまま撮像装置２に出力される。
　撮像装置２のカメラ制御部１６は、上記した撮像制御部１６ａ及び自己位置姿勢推定部１６ｂに加え、第２画像加工部５３及び第２合成部５４として機能する。
　第２画像加工部５３は、撮像画像１０１が画像処理部１３から入力され、入力された撮像画像１０１から実物体５を認識する。そして、第２画像加工部５３は、認識した実物体５に対してアシスト表示を行うための加工処理を施し、加工処理後の撮像画像１０１を第２合成部５６に出力する。アシスト表示としては、例えばピーキング表示である。アシスト表示について、詳しくは後述する。
　但し、第２画像加工部５３は、画像処理部１３から入力される撮像画像１０１に対して加工処理を施さない場合もある。このような場合には、加工処理が施されていない撮像画像１０１がそのまま第２合成部５６に出力される。
　第２合成部５４は、第２画像加工部５３から入力された撮像画像１０１と、第１画像加工部５１ｄから入力されたＣＧ画像１０２とを合成することによりモニタ用合成画像１０４を生成する。生成されたモニタ用合成画像１０４は、表示部１５及びモニタ７に出力される。
　そして、撮像装置２の表示部１５及びモニタ７には、合成されたモニタ用合成画像１０４が表示される。
［１．５．アシスト表示の説明］
　図６は、アシスト表示を説明する図である。アシスト表示は、撮像を補助するための表示であり、ピーキング表示及びテクスチャ表示が含まれる。
　ピーキング表示とは、画像における被写体のエッジのうちフォーカスが合っているエッジ部分を強調表示するものである。ピーキング表示は、合成画像１０３内の実物体５及び仮想物体６の双方に対して行うことが可能である。換言すると、ピーキング表示は、撮像画像１０１及びＣＧ画像１０２の双方に対して行うことが可能である。
　撮像画像１０１（実物体５）に対してピーキング表示を行う場合、第２画像加工部５３は、撮像画像１０１における実物体５のエッジを検出するとともに、検出したエッジのうちフォーカスが合っているエッジ部分を検出する。なお、フォーカスが合っているエッジ部分は、撮像画像１０１中の高周波成分を算出することで検出するようにしてもよく、また、撮像装置２のフォーカス位置及び被写界深度とＳＬＡＭ等により算出される実物体５までの距離とに基づいて検出するようにしてもよい。
　第２画像加工部５３は、フォーカスが合っているエッジ部分を検出すると、図６Ａに示すように、そのエッジ部分を実物体ピーキング表示１０５として強調表示した撮像画像１０１を生成する。
　強調表示の方法としては、エッジ部分を所定の色の線で表示したり、エッジ部分の輝度を高くしたりすることが考えられる。
　なお、実物体ピーキング表示１０５を行う際には、第２合成部５４は、実物体ピーキング表示１０５を行っていることを示すガイド１１０をモニタ用合成画像１０４に表示させる。ガイド１１０には、例えば「実写」と記されている。
　これにより、実物体５においてフォーカスが合っている部分をカメラマン４に容易に確認させることができる。
　ＣＧ画像１０２（仮想物体６）に対してピーキング表示を行う場合、第１画像加工部５１ｄは、ＣＧ画像１０２における仮想物体６のエッジを検出するとともに、検出したエッジのうちフォーカスが合っているエッジ部分を検出する。なお、フォーカスが合っているエッジ部分は、ＣＧ画像１０２中の高周波成分を算出することで検出するようにしてもよく、また、撮像装置２のフォーカス位置及び被写界深度と、撮像装置２（仮想カメラ）から仮想物体６までの距離とに基づいて検出するようにしてもよい。
　第１画像加工部５１ｄは、フォーカスが合っているエッジ部分を検出すると、図６Ｂに示すように、そのエッジ部分を仮想物体ピーキング表示１０６として強調表示したＣＧ画像１０２を生成する。
　強調表示の方法としては、エッジ部分を所定の色の線で表示したり、エッジ部分の輝度を高くしたりすることが考えられる。
　なお、仮想物体ピーキング表示１０６を行う際には、第２合成部５４は、仮想物体ピーキング表示１０６を行っていることを示すガイド１１１をモニタ用合成画像１０４に表示させる。ガイド１１１には、例えば「ＣＧ：エッジ」と記されている。
　これにより、仮想物体６においてフォーカスが合っている部分をカメラマン４に容易に確認させることができる。
　テクスチャ表示とは、画像における被写体を構成する面のうちフォーカスが合っているテクスチャ部分を強調表示するものである。テクスチャ表示は、合成画像１０３内の仮想物体６に対して行うことが可能である。換言すると、テクスチャ表示は、ＣＧ画像１０２に対して行うことが可能である。
　ＣＧ画像１０２（仮想物体６）に対してテクスチャ表示を行う場合、第１画像加工部５１ｄは、ＣＧ画像１０２における仮想物体６のテクスチャのうちフォーカスが合っているテクスチャ部分を検出する。
　第１画像加工部５１ｄは、フォーカスが合っているテクスチャ部分を検出すると、図６Ｃに示すように、そのテクスチャ部分を仮想物体テクスチャ表示１０７として強調表示したＣＧ画像１０２を生成する。
　強調表示の方法としては、テクスチャ部分を所定のパターン（例えばゼブラ模様、特定色、ハッチング）で表示することが考えられる。
　なお、仮想物体テクスチャ表示１０７を行う際には、第２合成部５４は、仮想物体テクスチャ表示１０７を行っていることを示すガイド１１２をモニタ用合成画像１０４に表示させる。ガイド１１２には、例えば「ＣＧ：Ｔｅｘ」と記されている。
　これにより、仮想物体６においてフォーカスが合っている部分をカメラマン４に容易に確認させることができる。
　図７は、実物体ピーキング表示１０５、仮想物体ピーキング表示１０６及び仮想物体テクスチャ表示１０７を行ったモニタ用合成画像１０４の一例を示した図である。
　上記した実物体ピーキング表示１０５、仮想物体ピーキング表示１０６及び仮想物体テクスチャ表示１０７は、同時に行うことができる。
　第２合成部５４は、実物体ピーキング表示１０５が行われた撮像画像１０１と、仮想物体ピーキング表示１０６及び仮想物体テクスチャ表示１０７が行われたＣＧ画像１０２とを合成する。これにより、例えば図７に示すような実物体ピーキング表示１０５、仮想物体ピーキング表示１０６及び仮想物体テクスチャ表示１０７が行われたモニタ用合成画像１０４が生成される。そして、生成されたモニタ用合成画像１０４が表示部１５及びモニタ７に表示される。
　このモニタ用合成画像１０４では、ガイド１１０、１１１、１１２も表示されている。
　なお、実物体ピーキング表示１０５、仮想物体ピーキング表示１０６及び仮想物体テクスチャ表示１０７のうちの任意の組み合わせの２つをモニタ用合成画像１０４に行うことも可能である。
　このように、実物体ピーキング表示１０５及び仮想物体ピーキング表示１０６を同時に行う場合には、第１画像加工部５１ｄ及び第２画像加工部５３は、図７に示したように、それぞれの線の色又は太さ（幅）を異ならせる。すなわち、実物体ピーキング表示１０５及び仮想物体ピーキング表示１０６の表示態様を異ならせる。これにより実物体５及び仮想物体６のどちらのピーキング表示かをカメラマン４に容易に把握させることができる。
　また、第１画像加工部５１ｄ及び第２画像加工部５３は、実物体ピーキング表示１０５と、仮想物体ピーキング表示１０６及び仮想物体テクスチャ表示１０７とを交互に切り替えて行うようにしてもよい。さらに、第１画像加工部５１ｄ及び第２画像加工部５３は、実物体ピーキング表示１０５と、仮想物体ピーキング表示１０６及び仮想物体テクスチャ表示１０７とが操作部２１の異なる操作に対応付けられるようにしてもよい。
　また、第１画像加工部５１ｄ及び第２画像加工部５３は、実物体ピーキング表示１０５と、仮想物体ピーキング表示１０６及び仮想物体テクスチャ表示１０７と、実物体ピーキング表示１０５、仮想物体ピーキング表示１０６及び仮想物体テクスチャ表示１０７とを交互に切り替えて行うようにしてもよい。このとき、実物体ピーキング表示１０５と、仮想物体ピーキング表示１０６及び仮想物体テクスチャ表示１０７と、実物体ピーキング表示１０５、仮想物体ピーキング表示１０６及び仮想物体テクスチャ表示１０７とを異なる表示態様で行うようにしてもよい。さらに、第１画像加工部５１ｄ及び第２画像加工部５３は、実物体ピーキング表示１０５と、仮想物体ピーキング表示１０６及び仮想物体テクスチャ表示１０７と、実物体ピーキング表示１０５、仮想物体ピーキング表示１０６及び仮想物体テクスチャ表示１０７とが操作部２１の異なる操作に対応付けられるようにしてもよい。
　ここで、実物体ピーキング表示１０５、仮想物体ピーキング表示１０６及び仮想物体テクスチャ表示１０７を行う際に、これらが行われている面積が大きいと、これらがモニタ用合成画像１０４上で大きく表示され、どこにフォーカスが合っているかをカメラマン４が分かりにくくなるおそれがある。
　そこで、第２画像加工部５３は、エッジを判定するための値が予め決められた閾値を用いて撮像画像１０１から実物体５のエッジを検出するとともに、検出したエッジのうちフォーカスが合っているエッジ部分を検出する。
　そして、第２画像加工部５３は、撮像画像１０１を複数画素単位の小グリッドに分割し、１つでもフォーカスが合っているエッジ部分の画素が含まれている小グリッドの数をカウントすることで、実物体ピーキング表示１０５が行われる面積を算出する。
　その後、実物体ピーキング表示１０５が行われる面積が所定面積以上であれば、第２画像加工部５３は、実物体ピーキング表示１０５が行われる面積が大きいものと判断し、閾値を大きな値に変更する。
　第２画像加工部５３は、変更された閾値を用いて撮像画像１０１から実物体５のエッジを検出するとともに、検出したエッジのうちフォーカスが合っているエッジ部分を検出する。そして、第２画像加工部５３は、検出したエッジ部分に対して実物体ピーキング表示１０５を行う。
　このようにして実物体ピーキング表示１０５が行われる面積が大きい場合には実物体ピーキング表示１０５が行われる面積を減らすことで、フォーカスが合っている部分をカメラマン４にわかりやすくすることができる。
　なお、第１画像加工部５１ｄは、仮想物体ピーキング表示１０６及び仮想物体テクスチャ表示１０７を行う際に、第２画像加工部５３と同様に閾値を変更することで、ＣＧ画像１０２に対してもフォーカスが合っている部分をカメラマン４にわかりやすくすることができる。
　また、第２画像加工部５３により撮像画像１０１からエッジを検出する際に用いられる閾値と、ＣＧ生成部５１によりＣＧ画像１０２からエッジを検出する際に用いられる閾値とを異ならせることが望ましい。
　実物体５はテクスチャが多く、仮想物体６はテクスチャが少ないことが一般的である。
　そのため、ＣＧ生成部５１によりＣＧ画像１０２からエッジを検出する際に用いられる閾値を、第２画像加工部５３により撮像画像１０１からエッジを検出する際に用いられる閾値よりも小さな値に設定する。
　これにより、実物体ピーキング表示１０５の面積が大きくなりすぎたり、仮想物体ピーキング表示１０６の面積が小さくなりすぎたりすることを低減することが可能となる。
　また、仮想物体６に対してボケ表現部５１ｃでボケ表現を行わない場合には、仮想物体ピーキング表示１０６及び仮想物体テクスチャ表示１０７を行わない（仮想物体６に対するアシスト表示を行わない）ようにしてもよい。
　仮想物体６にボケ表現を行わない場合は、仮想物体６にフォーカスを合わせることもないはずであるため、仮想物体６に対するアシスト表示を行わないようにすることで、カメラマン４を混乱させることを低減することができる。
　また、仮想物体６がニュース情報を表示するパネル、人の注釈又は実写動画等、ボケ表現を加える必要がない非アシスト仮想物体である場合、仮想物体６に対するアシスト表示を行わないようにしてもよい。非アシスト仮想物体である仮想物体６には、ＣＧモデルにおいて属性情報として非アシスト仮想物体であることが予め付与されている。
　また、属性情報が付与されていない場合であっても、第１画像加工部５１ｄは、仮想物体６に対して高速フーリエ変換を行い、高周波数成分を含んでいれば非アシスト仮想物体であると判定するようにしてもよい。
　第１画像加工部５１ｄは、非アシスト仮想物体である仮想物体６に対してアシスト表示を行わない。
　また、ＣＧモデルに含まれる全ての仮想物体６が撮像装置２の被写界深度内に存在する場合には、第１画像加工部５１ｄは、仮想物体６に対するアシスト表示を行わないようにしてもよい。
　ＣＧモデルに含まれる全ての仮想物体６が撮像装置２の被写界深度内に存在する場合にアシスト表示を行うと、全ての仮想物体６にアシスト表示を行うことになり、かえってモニタ用合成画像１０４が見づらくなってしまう。
　そこで、ＣＧモデルに含まれる全ての仮想物体６が撮像装置２の被写界深度内に存在する場合には仮想物体６に対するアシスト表示を行わないようにすることで、モニタ用合成画像１０４が見やすくすることができる。但し、ＣＧモデルに含まれる全ての仮想物体６が撮像装置２の被写界深度内に存在することを示すガイドを表示するようにしてもよい。
　また、実物体ピーキング表示１０５、仮想物体ピーキング表示１０６及び仮想物体テクスチャ表示１０７の色は、周囲の色に応じて変更するようにしてもよい。
　例えば仮想物体ピーキング表示１０６の色として予め決められた色と、仮想物体ピーキング表示１０６の周囲の色とが近い場合、第１画像加工部５１ｄは、仮想物体ピーキング表示１０６の色を反転させる。
　これにより、アシスト表示が見えづらくなることを低減することができる。
　また、仮想物体ピーキング表示１０６を行う際に、仮想物体ピーキング表示１０６の色として予め決められた色と、仮想物体ピーキング表示１０６の周囲の色とが近い場合、第１画像加工部５１ｄは、仮想物体ピーキング表示１０６に代えて仮想物体テクスチャ表示１０７を行うようにしてもよい。
　同様に、仮想物体テクスチャ表示１０７を行う際に、仮想物体テクスチャ表示１０７の色として予め決められた色又は模様と、仮想物体テクスチャ表示１０７の周囲の色又は模様とが近い場合、第１画像加工部５１ｄは、仮想物体テクスチャ表示１０７に代えて仮想物体ピーキング表示１０６を行うようにしてもよい。
［１．５．アシスト表示の処理の流れ］
　次に、アシスト表示の処理の流れを説明する。図８は、アシスト表示の処理の流れを示したフローチャートである。なお、図８では、第１画像加工部５１ｄ及び第２画像加工部５３が並列的に行う処理を纏めて示している。
　図８に示すように、ステップＳ１において第１画像加工部５１ｄ及び第２画像加工部５３は、カメラ情報に基づいて算出される被写界深度が所定値以内かを判定する。ここでは、被写界深度が浅く実物体５又は仮想物体６にボケが発生するかを判定している。
　被写界深度が所定値以内でない場合（ステップＳ１でＹｅｓ）、ステップＳ２において第１画像加工部５１ｄ及び第２画像加工部５３は、アシスト表示を行わない。
　被写界深度が所定値以内でない場合（ステップＳ１でＮｏ）、ステップＳ３において第１画像加工部５１ｄ及び第２画像加工部５３は、仮想物体６がボケ表現を行っているか判定する。
　仮想物体６がボケ表現を行っていない場合（ステップＳ３でＮｏ）、ステップＳ４において第１画像加工部５１ｄは、仮想物体６に対するアシスト表示（仮想物体ピーキング表示１０６、仮想物体テクスチャ表示１０７）を行わない。また、ステップＳ４において第２画像加工部５３は、実物体５に対するアシスト表示（実物体ピーキング表示１０５）を行う。
　仮想物体６がボケ表現を行っている場合（ステップＳ３でＮｏ）、ステップＳ５で第１画像加工部５１ｄ及び第２画像加工部５３は、仮想物体６が非アシスト仮想物体であるか判定する。
　仮想物体６が非アシスト仮想物体である場合（ステップＳ５でＹｅｓ）、ステップＳ６において第１画像加工部５１ｄは、仮想物体６に対する仮想物体ピーキング表示１０６を行い、仮想物体テクスチャ表示１０７を行わない。また、ステップＳ６において第２画像加工部５３は、実物体５に対するアシスト表示（実物体ピーキング表示１０５）を行う。
　仮想物体６が非アシスト仮想物体でない場合（ステップＳ５でＮｏ）、ステップＳ７において第１画像加工部５１ｄは、仮想物体６に対するアシスト表示（仮想物体ピーキング表示１０６、仮想物体テクスチャ表示１０７）を行う。また、ステップＳ７において第２画像加工部５３は、実物体５に対するアシスト表示（実物体ピーキング表示１０５）を行う。
［１．６．第１の実施形態の変形例］
　なお、第１の実施形態としては上記した具体例に限定されるものでなく、多様な変形例としての構成を採り得る。
　例えば、撮像装置２において実物体５に対するアシスト表示を行い、画像処理装置３において仮想物体６に対するアシスト表示を行うようにした。しかしながら、撮像装置２又は画像処理装置３の一方において、実物体５及び仮想物体６に対するアシスト表示を行うようにしてもよい。
　また、第１の実施形態では、アシスト表示が実物体ピーキング表示１０５、仮想物体ピーキング表示１０６及び仮想物体テクスチャ表示１０７である場合について説明した。しかしながら、アシスト表示は、これらに限らず、カメラマン４の撮像操作をアシストする表示であれば他の表示であってもよい。
　例えば、図９に示すように、第２画像加工部５３が、実物体５及び仮想物体６の明るさ（Exposure）分布１２０をアシスト表示するようにしてもよい。なお、図９Ａは実物体５及び仮想物体６の明るさが略同一であり、図９Ｂは仮想物体６の明るさが低く、図９Ｃは実物体５の明るさが低い場合を図示している。
　このように明るさ分布１２０をアシスト表示することで、カメラマン４に絞り調整を容易に行わせることができる。また、仮想物体６の明るさを落とさせることができる。
　また、図１０に示すように、第２画像加工部５３が、実物体５及び仮想物体６のカラーヒストグラム分布１２１をアシスト表示するようにしてもよい。なお、図１０Ａは実物体５及び仮想物体６の明るさが略同一であり、図１０Ｂは実物体５が白っぽく、図１０Ｃは仮想物体６が白っぽい場合を図示している。
　このようにカラーヒストグラム分布１２１をアシスト表示することで、カメラマン４にホワイトバランスの調整を容易に行わせることができる。また、仮想物体６のホワイトバランスの調整を行わせることができる。
　また、図１１に示すように、第２画像加工部５３が、実物体５及び仮想物体６の一方又は双方をアシスト表示としてフォルスカラーで表示するようにしてもよい。なお、図１１Ａは実物体５及び仮想物体６をフォルスカラーで表示しておらず、図１１Ｂは実物体５のみフォルスカラーで表示し、図１０Ｃは仮想物体６のみフォルスカラーで表示し、図１１Ｄは実物体５及び６をフォルスカラーで表示している場合を図示している。
　このようにフォルスカラーで表示することで、カメラマン４に明るさの調整を容易に行わせることができる。また、仮想物体６の明るさの調整を行わせることができる。
＜２．第２の実施形態＞
　第２の実施形態においては、大型の表示装置を設置したスタジオにおいて、表示装置に背景映像を表示させ、その前で演者が演技を行うことで、演者と背景を撮影できる所謂バーチャルプロダクション（Virtual Production）においてアシスト表示を行う。
［２．１．撮影システムの全体構成］
　図１２は、第２の実施形態としての撮影システム５００の全体構成を示した図である。図１２に示すように、撮影システム５００では、実物体５の一例である演者５１０が演技その他のパフォーマンスを行うパフォーマンスエリア５０１が設けられる。このパフォーマンスエリア５０１の少なくとも背面、さらには左右側面や上面には、大型の表示装置が配置される。表示装置のデバイス種別は限定されないが、図では大型の表示装置の一例としてＬＥＤウォール５０５を用いる例を示している。
　１つのＬＥＤウォール５０５は、複数のＬＥＤパネル５０６を縦横に連結して配置することで、大型のパネルを形成する。ここでいうＬＥＤウォール５０５のサイズは特に限定されないが、演者５１０の撮影を行うときに背景を表示するサイズとして必要な大きさ、或いは十分な大きさであればよい。
　パフォーマンスエリア５０１の上方、或いは側方などの必要な位置に、必要な数のライト５８０が配置され、パフォーマンスエリア５０１に対して照明を行う。
　パフォーマンスエリア５０１の付近には、例えば映画その他の映像コンテンツの撮像のための撮像装置２が配置される。
　撮像装置２は、パフォーマンスエリア５０１における演者５１０と、ＬＥＤウォール５０５に表示されている映像をまとめて撮像する。例えばＬＥＤウォール５０５に背景映像ｖＢとして風景が表示されることで、演者５１０が実際にその風景の場所に居て演技をしている場合と同様の動画像を撮像することができる。
　パフォーマンスエリア５０１の付近にはモニタ７が配置される。モニタ７には撮像装置２で撮像された撮像画像１０１等がリアルタイムで表示される。これにより映像コンテンツの制作を行う監督やスタッフ、カメラマン４が、撮像されている撮像画像１０１を確認することができる。
　このように、撮影スタジオにおいてＬＥＤウォール５０５を背景にした演者５１０のパフォーマンスを撮影する撮影システム５００では、グリーンバック撮影に比較して各種の利点がある。
　例えば、グリーンバック撮影の場合、演者が背景やシーンの状況を想像しにくく、それが演技に影響するということがある。これに対して背景映像ｖＢを表示させることで、演者５１０が演技しやすくなり、演技の質が向上する。また監督その他のスタッフにとっても、演者５１０の演技が、背景やシーンの状況とマッチしているか否かを判断しやすい。
　またグリーンバック撮影の場合よりも撮影後のポストプロダクションが効率化される。これは、いわゆるクロマキー合成が不要とすることができる場合や、色の補正や映り込みの合成が不要とすることができる場合があるためである。また、撮影時にクロマキー合成が必要とされた場合においても、背景用スクリーンを追加不要とされることも効率化の一助となっている。
　グリーンバック撮影の場合、演者の身体、衣装、物にグリーンの色合いが増してしまうため、その修正が必要となる。またグリーンバック撮影の場合、ガラス、鏡、スノードームなどの周囲の光景が映り込む物が存在する場合、その映り込みの画像を生成し、合成する必要があるが、これは手間のかかる作業となっている。
　これに対し、撮影システム５００で撮像する場合、グリーンの色合いが増すことはないため、その補正は不要である。また背景映像ｖＢを表示させることで、ガラス等の実際の物品への映り込みも自然に得られて撮像されているため、映り込み映像の合成も不要である。
　また、撮影システム５００は、レンダリングエンジン５２０、アセットサーバ５３０、シンクジェネレータ５４０、オペレーションモニタ５５０、カメラトラッカー５６０、ＬＥＤプロセッサ５７０、ライティングコントローラ５８１、ディスプレイコントローラ５９０を備える。
　ＬＥＤプロセッサ５７０は、各ＬＥＤパネル５０６に対応して設けられ、それぞれ対応するＬＥＤパネル５０６の映像表示駆動を行う。
　シンクジェネレータ５４０は、ＬＥＤパネル５０６による表示映像のフレームタイミングと、撮像装置２による撮像のフレームタイミングの同期をとるための同期信号を発生し、各ＬＥＤプロセッサ５７０及び撮像装置２に供給する。但し、シンクジェネレータ５４０からの出力をレンダリングエンジン５２０に供給することを妨げるものではない。
　カメラトラッカー５６０は、各フレームタイミングでの撮像装置２によるカメラ情報を生成し、レンダリングエンジン５２０に供給する。但し、カメラ情報は撮像装置２により生成されてもよい。例えばカメラトラッカー５６０はカメラ情報の１つとして、ＬＥＤウォール５０５の位置或いは所定の基準位置に対する相対的な撮像装置２の位置情報や、撮像装置２の撮影方向を検出し、これらをレンダリングエンジン５２０に供給する。
　カメラトラッカー５６０による具体的な検出手法としては、天井にランダムに反射板を配置して、それらに対して撮像装置２側から照射された赤外光の反射光から位置を検出する方法がある。また検出手法としては、撮像装置２の雲台や撮像装置２の本体に搭載されたジャイロ情報や、撮像装置２の撮像画像１０１の画像認識により撮像装置２の自己位置推定する方法もある。
　また撮像装置２からレンダリングエンジン５２０に対しては、カメラ情報として画角、焦点距離、Ｆ値、シャッタースピード、レンズ情報などが供給される場合もある。
　アセットサーバ５３０は、３Ｄモデル（３Ｄ背景データ）を記録媒体に格納し、必要に応じて３Ｄモデルを読み出すことができるサーバである。すなわち、３Ｄ背景データのＤＢ（data Base）として機能する。
　レンダリングエンジン５２０は、ＬＥＤウォール５０５に表示させる背景映像ｖＢを生成する処理を行う。このためレンダリングエンジン５２０は、アセットサーバ５３０から必要な３Ｄ背景データを読み出す。そしてレンダリングエンジン５２０は、３Ｄ背景データをあらかじめ指定された空間座標から眺めた形でレンダリングしたものとして背景映像ｖＢで用いるアウターフラスタムの映像を生成する。
　またレンダリングエンジン５２０は、１フレーム毎の処理として、カメラトラッカー５６０や撮像装置２から供給されたカメラ情報を用いて３Ｄ背景データに対する視点位置等を特定して撮影領域映像ｖＢＣ（インナーフラスタム）のレンダリングを行う。
　さらにレンダリングエンジン５２０は、予め生成したアウターフラスタムに対し、フレーム毎にレンダリングした撮影領域映像ｖＢＣを合成して１フレームの映像データとしての背景映像ｖＢを生成する。そしてレンダリングエンジン５２０は、生成した１フレームの映像データをディスプレイコントローラ５９０に送信する。
　ディスプレイコントローラ５９０は、１フレームの映像データを、各ＬＥＤパネル５０６で表示させる映像部分に分割した分割映像信号ｎＤを生成し、各ＬＥＤパネル５０６に対して分割映像信号ｎＤの伝送を行う。このときディスプレイコントローラ５９０は、表示部間の発色などの個体差／製造誤差などに応じたキャリブレーションを行ってもよい。
　なお、ディスプレイコントローラ５９０を設けず、これらの処理をレンダリングエンジン５２０が行うようにしてもよい。つまりレンダリングエンジン５２０が分割映像信号ｎＤを生成し、キャリブレーションを行い、各ＬＥＤパネル５０６に対して分割映像信号ｎＤの伝送を行うようにしてもよい。
　各ＬＥＤプロセッサ５７０が、それぞれ受信した分割映像信号ｎＤに基づいてＬＥＤパネル５０６を駆動することで、ＬＥＤウォール５０５において全体の背景映像ｖＢが表示される。その背景映像ｖＢには、その時点の撮像装置２の位置等に応じてレンダリングされた撮影領域映像ｖＢＣが含まれている。
　撮像装置２は、このようにＬＥＤウォール５０５に表示された背景映像ｖＢを含めて演者５１０のパフォーマンスを撮影することができる。撮像装置２の撮影によって得られた撮像画像１０１は、撮像装置２の内部又は図示しない外部の記録装置において記録媒体に記録される。
　オペレーションモニタ５５０では、レンダリングエンジン５２０の制御のためのオペレーション画像ｖＯＰが表示される。エンジニア５１１はオペレーション画像ｖＯＰを見ながら背景映像ｖＢのレンダリングに関する必要な設定や操作を行うことができる。
　ライティングコントローラ５８１は、ライト５８０の発光強度、発光色、照射方向などを制御する。ライティングコントローラ５８１は、例えばレンダリングエンジン５２０とは非同期でライト５８０の制御を行うものとしてもよいし、或いは撮影情報やレンダリング処理と同期して制御を行うようにしてもよい。そのためレンダリングエンジン５２０或いは図示しないマスターコントローラ等からの指示によりライティングコントローラ５８１が発光制御を行うようにしてもよい。
　また、撮影システム５００には、画像処理装置３（図中、Computerと示す）が設けられている。画像処理装置３は、第１の実施形態と同様に、３Ｄモデルに基づく仮想物体６が写るＣＧ画像１０２を生成する。そして、撮像装置２は、撮像画像１０１とＣＧ画像１０２とを合成することにより合成画像１０３を生成し表示部１５及びモニタ７に表示させる。
　図１３は、背景映像、撮像画像及びＣＧ画像を説明する図である。図１４は、合成画像を説明する図である。
　撮影システム５００では、例えば図１３Ａに示すように、仮想物体２０１が写る背景映像ｖＢがＬＥＤウォール５０５に写し出されているとする。この状態で、撮像装置２により演者５１０及びＬＥＤウォール５０５が撮像されると、図１３Ｂに示すように、背景映像ｖＢに写る仮想物体２０１の前側に演者５１０（実物体５）がいるような撮像画像１０１が得られる。
　また、画像処理装置３では、図１３Ｃに示すような仮想物体６が写るＣＧ画像１０２が生成されたとする。そうすると、図１３Ｂに示す撮像画像１０１と図１３Ｃに示すＣＧ画像１０２とが合成され、図１４に示す合成画像１０３が生成される。
　従って、第２の実施形態では、ＬＥＤウォール５０５に写し出されている背景映像ｖＢも仮想物体２０１である。そのため、仮想物体２０１に撮像装置２のフォーカスを合わせる際にはアシスト表示を行うことが有用である。
　そこで、撮影システム５００では、撮像画像１０１に写る実物体５、及び、ＣＧ画像１０２に写る仮想物体６に加え、撮像画像１０１に写る背景映像ｖＢに基づく仮想物体２０１に対してアシスト表示を行う。
［２．２．撮影システムの機能的な構成］
　図１５は、撮影システム５００の機能的構成を示した図である。ここでは、主に仮想物体２０１に対するアシスト表示に関する構成のみを示している。また、第１の実施形態と同一の構成はその説明を省略する。
　図１５に示すように、撮像装置２及び画像処理装置３の機能的な構成は第１の実施形態と同様である。撮像装置２には、本体部２Ａ、表示部１５、第２画像加工部５３及び第２合成部５４が設けられている。画像処理装置３には、ＣＧ生成部５１及び第１合成部５２が設けられている。
　撮影システム５００におけるレンダリングエンジン５２０にはカメラ情報が入力される。また、シンクジェネレータ５４０から出力される同期信号は、撮像装置２、画像処理装置３及びカメラマン４に入力され同期が取られている。
［２．３．アシスト表示の説明］
　図１６は、仮想物体２０１にアシスト表示する一例を説明する図である。仮想物体２０１に対してピーキング表示を行う場合、レンダリングエンジン５２０は、背景映像ｖＢにおける仮想物体２０１のテクスチャのうちフォーカスが合っているテクスチャ部分を検出する。なお、フォーカスはカメラ情報に基づいて算出される。
　レンダリングエンジン５２０は、フォーカスが合っているテクスチャ部分を検出すると、図１６Ａに示すように、そのテクスチャ部分が仮想物体テクスチャ表示２１０として強調表示された背景映像ｖＢを生成する。
　強調表示の方法としては、テクスチャ部分を所定のパターン（例えばゼブラ模様、特定色、ハッチング）で表示することが考えられる。
　生成された背景映像ｖＢは、ディスプレイコントローラ５９０、ＬＥＤプロセッサ５７０を介してＬＥＤウォール５０５に表示される。そして、仮想物体テクスチャ表示２１０が行われた背景映像ｖＢが撮像装置２によって撮像されることで、最終的には図１６Ｂに示すように、仮想物体２０１に仮想物体テクスチャ表示２１０が行われたモニタ用合成画像１０４が表示部１５及びモニタ７に表示されることになる。
　このとき、撮像装置２及びＬＥＤウォール５０５のフレームレートを通常の２倍にすることができるのであれば、レンダリングエンジン５２０は、例えば偶数フレームについて仮想物体テクスチャ表示２１０が行われていない背景映像ｖＢを生成し、奇数フレームについて仮想物体テクスチャ表示２１０が行われている背景映像ｖＢを生成する。すなわち、レンダリングエンジン５２０は、フレームの交互で仮想物体テクスチャ表示２１０の有無を切り替える。
　このようにして生成された背景映像ｖＢがＬＥＤウォール５０５に表示され撮像装置２に撮像されると、撮像装置２では、偶数フレームのみの撮像画像１０１と、奇数フレームのみの撮像画像１０１とに分割する。そして、撮像装置２では、偶数フレームのみの撮像画像１０１を本映像として記録する。一方、奇数フレームのみの撮像画像１０１にＣＧ画像１０２を合成してモニタ用合成画像１０４を生成する。
　これにより、一度の撮像で、本映像と、確認用のモニタ用合成画像１０４を生成することが可能となる。
［２．４．第２の実施形態の変形例］
　なお、第２の実施形態としては上記した具体例に限定されるものでなく、多様な変形例としての構成を採り得る。
　例えば、背景映像ｖＢに写る仮想物体２０１に対するアシスト表示として、背景映像ｖＢに対して仮想物体テクスチャ表示２１０を行うようにした。
　しかしながら、ＣＧ画像１０２に対して仮想物体テクスチャ表示２１０を行うようにしてもよい。
　この場合、ＣＧ生成部５１は、アセットサーバ５３０から３Ｄモデル（３Ｄ背景データ）を取得するとともに、カメラ情報に基づいて背景映像ｖＢを生成する。また、ＣＧ生成部５１は、背景映像ｖＢにおける仮想物体２０１のテクスチャのうちフォーカスが合っているテクスチャ部分を検出する。その後、ＣＧ生成部５１は、フォーカスが合っているテクスチャ部分を検出すると、図１７Ｂに示すように、そのテクスチャ部分に対応する位置に仮想物体テクスチャ表示２１０として強調表示されたＣＧ画像１０２を生成する。なお、ＬＥＤウォール５０５に表示される背景映像ｖＢには、図１７Ａに示すように仮想物体テクスチャ表示２１０は行われていない。
　その後、背景映像ｖＢが撮像装置２によって撮像されることで得られる撮像画像１０１に、図１７Ｂに示したようなＣＧ画像１０２が合成されることで、最終的には図１７Ｃに示すように、仮想物体２０１に仮想物体テクスチャ表示２１０が行われたモニタ用合成画像１０４が表示部１５及びモニタ７に表示されることになる。
＜３．実施形態のまとめ＞
　以上で説明したように実施形態としての画像処理方法は、撮像装置２により得られる撮像画像１０１に対して仮想物体６が重畳された合成画像（モニタ用合成画像１０４）を表示部（表示部１５、モニタ７）に表示し、合成画像１０３内の仮想物体６に対して撮像を補助するためのアシスト表示を行う。
　これにより、仮想物体６に例えばフォーカスを合わせる際にアシスト表示（仮想物体ピーキング表示１０６、仮想物体テクスチャ表示１０７）によりカメラマン４に容易にフォーカスが合っている部分を確認させる。
　従って、撮像時にユーザに対する合成画像の利便性を向上させることができる。
　合成画像１０３内の実物体５及び仮想物体６に対してアシスト表示を行う。
　これにより、実物体５に例えばフォーカスを合わせる際にアシスト表示（実物体ピーキング表示１０５）によりカメラマン４に容易にフォーカスが合っている部分を確認させる。
　従って、撮像時にユーザに対する合成画像の利便性を向上させることができる。
　アシスト表示として、仮想物体６のうちの撮像装置２のフォーカスが合っている部分に対してピーキング表示（仮想物体ピーキング表示１０６）を行う。
　これにより、仮想物体６においてフォーカスが合っている部分をカメラマン４に容易に確認させることができる。
　アシスト表示として、仮想物体６のうちの撮像装置２のフォーカスが合っている部分に対してテクスチャ表示（仮想物体テクスチャ表示１０７）を行う。
　これにより、仮想物体６においてフォーカスが合っている部分をカメラマン４に容易に確認させることができる。
　仮想物体６及び実物体５について撮像装置２のフォーカスが合っている部分に対してピーキング表示（実物体ピーキング表示１０５、仮想物体ピーキング表示１０６）を行う場合、仮想物体６及び実物体５に対して異なる表示態様でピーキング表示を行う。
　これにより、仮想物体６及び実物体５のどちらに対してピーキング表示を行っているか容易にわからせることができる。
　実物体５のみ、仮想物体６のみ、及び、実物体５及び仮想物体６の双方にアシスト表示を行うときに異なる表示態様でピーキング表示を行う。
　これにより、仮想物体６及び実物体５のどちらに対してピーキング表示を行っているか容易にわからせることができる。
　実物体５のみ、仮想物体６のみ、及び、実物体５及び仮想物体６の双方に対するアシスト表示が操作部２１に対する異なる操作に対応付けられている。
　これにより、カメラマン４による操作部２１の操作によって、実物体５のみ、仮想物体６のみ、及び、実物体５及び仮想物体６の双方に対するアシスト表示を切り替えることができる。
　撮像装置２の被写界深度が所定値以下でない場合、アシスト表示を行わない。
　これにより、被写界深度が深く、全て又は殆どの仮想物体６や実物体５にフォーカスが合っており、アシスト表示を行うとかえって見えにくくなってしまうことを低減することができる。
　仮想物体６に対してボケ表現を有効にしていない場合、仮想物体６に対してアシスト表示を行わない。
　仮想物体６にボケ表現を行わない場合は、仮想物体６にフォーカスを合わせることもないはずであるため、仮想物体６に対するアシスト表示を行わないようにすることで、カメラマン４を混乱させることを低減することができる。
　撮像装置２の被写界深度内に仮想物体６が全て収まっている場合、仮想物体６に対してアシスト表示を行わない。
　全ての仮想物体６にアシスト表示を行うとかえってモニタ用合成画像１０４が見づらくなってしまうため、仮想物体６に対してアシスト表示を行わないことで、モニタ用合成画像１０４を見やすくすることができる。
　ピーキング表示されている面積が所定の閾値以上である場合、ピーキング表示の感度を下げてピーキング表示を行う。
　ピーキング表示が行われる面積が大きい場合には感度を低くしてピーキング表示が行われている面積を減らすことで、フォーカスが合っている部分をカメラマン４にわかりやすくすることができる。
　アシスト表示として、実物体５及び仮想物体６の明るさ分布１２０を表示する。
　このように明るさ分布１２０をアシスト表示することで、カメラマン４に絞り調整を容易に行わせることができる。また、仮想物体６の明るさを落とさせることができる。
　アシスト表示として、実物体５及び仮想物体６のカラーヒストグラム分布１２１を表示する。
　このようにカラーヒストグラム分布１２１をアシスト表示することで、カメラマン４にホワイトバランスの調整を容易に行わせることができる。また、仮想物体６のホワイトバランスの調整を行わせることができる。
　アシスト表示として、実物体５及び仮想物体６をフォルスカラーで表示する。
　このようにフォルスカラーで表示することで、カメラマン４に明るさの調整を容易に行わせることができる。また、仮想物体６の明るさの調整を行わせることができる。
　仮想物体２０１が表示された表示装置（ＬＥＤウォール５０５）を撮像装置２により撮像されることで撮像画像１０１に仮想物体２０１が写り、アシスト表示は、表示装置で表示される画像（背景映像ｖＢ）により行われる。
　このように、所謂バーチャルプロダクションにおいてアシスト表示を行う際に、ＬＥＤウォール５０５に表示される背景映像ｖＢにアシスト表示を行わせることができる。
　アシスト表示は、表示装置（ＬＥＤウォール５０５）に表示される連続するフレームのうち、１つおきのフレームで行われる。
　これにより、一度の撮像で、本映像と、確認用のモニタ用合成画像１０４を生成することが可能となる。
　仮想物体２０１は、表示装置（ＬＥＤウォール５０５）に表示されたものであり、アシスト表示は、表示装置とは異なる画像（ＣＧ画像１０２）に行われる。
　これにより、ＬＥＤウォール５０５にアシスト表示が行われないため、撮像装置２で撮像されることで得られる撮像画像１０１にアシスト表示が映り込むことを防止することができる。
　画像処理装置３は、撮像装置２により得られる撮像画像１０１に対して仮想物体６が重畳された合成画像１０３（１０４）を表示部（表示部１５、モニタ７）に表示し、合成画像１０３内の仮想物体６に対して撮像を補助するための表示であるアシスト表示（仮想物体ピーキング表示１０６、仮想物体テクスチャ表示１０７）を行う制御部（ＣＰＵ３１）を備える。
　また、撮像装置２及び画像処理装置３を備える画像処理システム１であって、撮像装置２は、実空間を撮像することにより撮像画像１０１を得る撮像部１２を備え、画像処理装置３は、撮像装置２により得られる撮像画像１０１に対して仮想物体６が重畳された合成画像１０３（１０４）を表示部（表示部１５、モニタ７）に表示し、合成画像１０３内の仮想物体６に対して撮像を補助するための表示であるアシスト表示（仮想物体ピーキング表示１０６、仮想物体テクスチャ表示１０７）を行う制御部（ＣＰＵ３１）を備える。
　このような画像処理装置、画像処理システムによっても、上記した実施形態としての画像処理方法と同様の作用及び効果を得ることができる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
＜４．本技術＞
　本技術は以下のような構成を採ることもできる。
（１）
　撮像装置により得られる撮像画像に対して仮想物体が重畳された合成画像を表示部に表示し、前記合成画像内の前記仮想物体に対して撮像を補助するための表示であるアシスト表示を行う
　画像処理方法。
（２）
　前記合成画像内の実物体及び前記仮想物体に対してアシスト表示を行う
　（１）に記載の画像処理方法。
（３）
　前記アシスト表示として、前記仮想物体のうちの前記撮像装置のフォーカスが合っている部分に対してピーキング表示を行う
　（１）又は（２）に記載の画像処理方法。
（４）
　前記アシスト表示として、前記仮想物体のうちの前記撮像装置のフォーカスが合っている部分に対してテクスチャ表示を行う
　（１）から（３）のいずれかに記載の画像処理方法。
（５）
　前記仮想物体及び前記実物体について前記撮像装置のフォーカスが合っている部分に対してピーキング表示を行う場合、前記仮想物体及び前記実物体に対して異なる表示態様でピーキング表示を行う
　（２）に記載の画像処理方法。
（６）
　前記実物体のみ、前記仮想物体のみ、及び、前記実物体及び前記仮想物体の双方にアシスト表示を行うときに異なる表示態様でピーキング表示を行う
　（２）又は（５）に記載の画像処理方法。
（７）
　前記実物体のみ、前記仮想物体のみ、及び、前記実物体及び前記仮想物体の双方に対するアシスト表示が操作部に対する異なる操作に対応付けられている
　（２）、（５）又は（６）に記載の画像処理方法。
（８）
　前記撮像装置の被写界深度が所定値以下でない場合、前記アシスト表示を行わない
　（１）から（７）のいずれかに記載の画像処理方法。
（９）
　前記仮想物体に対してボケ表現を有効にしていない場合、前記仮想物体に対してアシスト表示を行わない
　（１）から（８）のいずれかに記載の画像処理方法。
（１０）
　前記撮像装置の被写界深度内に前記仮想物体が全て収まっている場合、前記仮想物体に対してアシスト表示を行わない
　（１）から（９）のいずれかに記載の画像処理方法。
（１１）
　ピーキング表示されている面積が所定の閾値以上である場合、前記ピーキング表示の感度を下げてピーキング表示を行う
　（３）に記載の画像処理方法。
（１２）
　前記アシスト表示として、前記実物体及び前記仮想物体の明るさ分布を表示する
　（２）に記載の画像処理方法。
（１３）
　前記アシスト表示として、前記実物体及び前記仮想物体のカラーヒストグラム分布を表示する
　（２）又は（１２）に記載の画像処理方法。
（１４）
　前記アシスト表示として、前記実物体及び前記仮想物体をフォルスカラーで表示する
　（２）、（１２）又は（１３）に記載の画像処理方法。
（１５）
　前記仮想物体が表示された表示装置が前記撮像装置により撮像されることで撮像画像に前記仮想物体が写り、
　前記アシスト表示は、前記表示装置で表示される画像により行われる
　（１）から（１４）のいずれかに記載の画像処理方法。
（１６）
　前記アシスト表示は、前記表示装置に表示される連続するフレームのうち、１つおきのフレームで行われる
　（１５）に記載の画像処理方法。
（１７）
　前記仮想物体は、表示装置に表示されたものであり、
　前記アシスト表示は、前記表示装置とは異なる画像に行われる
　（１）から（１６）のいずれかに記載の画像処理方法。
（１８）
　撮像装置により得られる撮像画像に対して仮想物体が重畳された合成画像を表示部に表示し、前記合成画像内の前記仮想物体に対して撮像を補助するための表示であるアシスト表示を行う制御部を備える
　画像処理装置。
（１９）
　撮像装置及び画像処理装置を備える画像処理システムであって、
　前記撮像装置は、実空間を撮像することにより撮像画像を得る撮像部を備え、
　前記画像処理装置は、前記撮像装置により得られる撮像画像に対して仮想物体が重畳された合成画像を表示部に表示し、前記合成画像内の前記仮想物体に対して撮像を補助するための表示であるアシスト表示を行う制御部を備える
　画像処理システム。
１　画像処理システム
２　撮像装置
３　画像処理装置
７　モニタ
１５　表示部
５１　ＣＧ生成部
５３　第２画像加工部
５４　第２合成部

Claims (19)

  1. 　撮像装置により得られる撮像画像に対して仮想物体が重畳された合成画像を表示部に表示し、前記合成画像内の前記仮想物体に対して撮像を補助するための表示であるアシスト表示を行う
    　画像処理方法。
  2. 　前記合成画像内の実物体及び前記仮想物体に対してアシスト表示を行う
    　請求項１に記載の画像処理方法。
  3. 　前記アシスト表示として、前記仮想物体のうちの前記撮像装置のフォーカスが合っている部分に対してピーキング表示を行う
    　請求項１に記載の画像処理方法。
  4. 　前記アシスト表示として、前記仮想物体のうちの前記撮像装置のフォーカスが合っている部分に対してテクスチャ表示を行う
    　請求項１に記載の画像処理方法。
  5. 　前記仮想物体及び前記実物体について前記撮像装置のフォーカスが合っている部分に対してピーキング表示を行う場合、前記仮想物体及び前記実物体に対して異なる表示態様でピーキング表示を行う
    　請求項２に記載の画像処理方法。
  6. 　前記実物体のみ、前記仮想物体のみ、及び、前記実物体及び前記仮想物体の双方にアシスト表示を行うときに異なる表示態様で行う
    　請求項２に記載の画像処理方法。
  7. 　前記実物体のみ、前記仮想物体のみ、及び、前記実物体及び前記仮想物体の双方に対するアシスト表示が操作部に対する異なる操作に対応付けられている
    　請求項２に記載の画像処理方法。
  8. 　前記撮像装置の被写界深度が所定値以下でない場合、前記アシスト表示を行わない
    　請求項１に記載の画像処理方法。
  9. 　前記仮想物体に対してボケ表現を有効にしていない場合、前記仮想物体に対してアシスト表示を行わない
    　請求項１に記載の画像処理方法。
  10. 　前記撮像装置の被写界深度内に前記仮想物体が全て収まっている場合、前記仮想物体に対してアシスト表示を行わない
    　請求項１に記載の画像処理方法。
  11. 　ピーキング表示されている面積が所定の閾値以上である場合、前記ピーキング表示の感度を下げてピーキング表示を行う
    　請求項３に記載の画像処理方法。
  12. 　前記アシスト表示として、前記実物体及び前記仮想物体の明るさ分布を表示する
    　請求項２に記載の画像処理方法。
  13. 　前記アシスト表示として、前記実物体及び前記仮想物体のカラーヒストグラム分布を表示する
    　請求項２に記載の画像処理方法。
  14. 　前記アシスト表示として、前記実物体及び前記仮想物体をフォルスカラーで表示する
    　請求項２に記載の画像処理方法。
  15. 　前記仮想物体が表示された表示装置が前記撮像装置により撮像されることで撮像画像に前記仮想物体が写り、
    　前記アシスト表示は、前記表示装置で表示される画像により行われる
    　請求項１に記載の画像処理方法。
  16. 　前記アシスト表示は、前記表示装置に表示される連続するフレームのうち、１つおきのフレームで行われる
    　請求項１５に記載の画像処理方法。
  17. 　前記仮想物体は、表示装置に表示されたものであり、
    　前記アシスト表示は、前記表示装置とは異なる画像に行われる
    　請求項１に記載の画像処理方法。
  18. 　撮像装置により得られる撮像画像に対して仮想物体が重畳された合成画像を表示部に表示し、前記合成画像内の前記仮想物体に対して撮像を補助するための表示であるアシスト表示を行う制御部を備える
    　画像処理装置。
  19. 　撮像装置及び画像処理装置を備える画像処理システムであって、
    　前記撮像装置は、実空間を撮像することにより撮像画像を得る撮像部を備え、
    　前記画像処理装置は、前記撮像装置により得られる撮像画像に対して仮想物体が重畳された合成画像を表示部に表示し、前記合成画像内の前記仮想物体に対して撮像を補助するための表示であるアシスト表示を行う制御部を備える
    　画像処理システム。
PCT/JP2024/029261 2023-09-05 2024-08-19 画像処理方法、画像処理装置、画像処理システム Pending WO2025052902A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023143851 2023-09-05
JP2023-143851 2023-09-05

Publications (1)

Publication Number Publication Date
WO2025052902A1 true WO2025052902A1 (ja) 2025-03-13

Family

ID=94923511

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/029261 Pending WO2025052902A1 (ja) 2023-09-05 2024-08-19 画像処理方法、画像処理装置、画像処理システム

Country Status (1)

Country Link
WO (1) WO2025052902A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013225245A (ja) * 2012-04-23 2013-10-31 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2015220599A (ja) * 2014-05-16 2015-12-07 キヤノン株式会社 情報処理装置、制御方法、プログラム及び記録媒体
WO2023106114A1 (ja) * 2021-12-10 2023-06-15 ソニーグループ株式会社 情報処理方法、情報処理システム、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013225245A (ja) * 2012-04-23 2013-10-31 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2015220599A (ja) * 2014-05-16 2015-12-07 キヤノン株式会社 情報処理装置、制御方法、プログラム及び記録媒体
WO2023106114A1 (ja) * 2021-12-10 2023-06-15 ソニーグループ株式会社 情報処理方法、情報処理システム、およびプログラム

Similar Documents

Publication Publication Date Title
US8208048B2 (en) Method for high dynamic range imaging
KR102338576B1 (ko) 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
US12500993B2 (en) Information processing device, video processing method, and program
CN109309796A (zh) 使用多个相机获取图像的电子装置和用其处理图像的方法
KR20130071793A (ko) 디지털 촬영 장치 및 이의 제어 방법
JPWO2009139154A1 (ja) 撮像装置及び撮像方法
GB2485036A (en) Preventing subject occlusion in a dual lens camera PIP display
US20240388787A1 (en) Information processing device, video processing method, and program
JP7424076B2 (ja) 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
JP2010041586A (ja) 撮像装置
JP2011035638A (ja) 仮想現実空間映像制作システム
US20250301099A1 (en) Information processing apparatus, information processing method, program, and information processing system
JP2013025649A (ja) 画像処理装置及び画像処理方法、プログラム
CN110944101A (zh) 摄像装置及图像记录方法
WO2023176269A1 (ja) 情報処理装置、情報処理方法、プログラム
WO2024048295A1 (ja) 情報処理装置、情報処理方法、プログラム
EP4407974A1 (en) Information processing device, image processing method, and program
US12010433B2 (en) Image processing apparatus, image processing method, and storage medium
JP3994469B2 (ja) 撮像装置、表示装置及び記録装置
KR101237975B1 (ko) 영상 처리 장치
JP2024102803A (ja) 撮像装置
JPWO2020066008A1 (ja) 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法
JP2019129474A (ja) 画像撮影装置
EP4601283A1 (en) Information processing device and program
EP4579583A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24862556

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE