WO2020162264A1 - 撮影システム、撮影箇所設定装置、撮影装置及び撮影方法 - Google Patents

撮影システム、撮影箇所設定装置、撮影装置及び撮影方法 Download PDF

Info

Publication number
WO2020162264A1
WO2020162264A1 PCT/JP2020/002949 JP2020002949W WO2020162264A1 WO 2020162264 A1 WO2020162264 A1 WO 2020162264A1 JP 2020002949 W JP2020002949 W JP 2020002949W WO 2020162264 A1 WO2020162264 A1 WO 2020162264A1
Authority
WO
WIPO (PCT)
Prior art keywords
location
shooting
image
unit
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/002949
Other languages
English (en)
French (fr)
Inventor
與那覇 誠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to CN202080013193.8A priority Critical patent/CN113396361B/zh
Priority to JP2020571115A priority patent/JP7148648B2/ja
Priority to EP20751927.3A priority patent/EP3923065B1/en
Publication of WO2020162264A1 publication Critical patent/WO2020162264A1/ja
Priority to US17/383,520 priority patent/US20210352208A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a photographing system, a photographing position setting device, a photographing device, and a photographing method, and particularly to a photographing system, a photographing position setting device, a photographing device, and a photographing method for photographing a specific photographing position set in a part of a photographing target.
  • Patent Document 1 proposes, as a technique for supporting such re-imaging work, generating support information necessary for capturing a specific portion and notifying the photographer of the generated support information.
  • the support information includes at least information on the shooting position and the shooting direction, and the photographer adjusts the shooting position and the shooting method based on the support information to perform shooting.
  • Patent Document 1 has a drawback that the shooting position and the shooting direction must be accurately measured when shooting. In addition, there is a drawback that a sophisticated measuring means is required on the side of the photographing device in order to realize it.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide an imaging system, an imaging location setting device, an imaging device, and an imaging method that can easily capture a specific location of an imaging target.
  • First display unit image capturing target image acquiring unit that acquires image of capturing target, display control unit that displays image of capturing target on first display unit, and setting capturing location in image of capturing target
  • a shooting location setting unit a location information generation unit that generates information indicating the location of the set shooting location, and an image including the periphery of the shooting location are cut out from the image of the shooting target, and a reference image generation that generates a reference image Based on the information indicating the whereabouts of the photographing location, the photographing section, a photographing section, a photographing section, a photographing information acquisition section that acquires information indicating the whereabouts of the photographing location and a reference image.
  • a first guide unit that guides shooting a reference image detection unit that detects a reference image in real time from an image shot by the shooting unit, and a shooting unit that guides shooting at a shooting location based on the detection result of the reference image detection unit.
  • An imaging system including an imaging device including a guide unit.
  • the image capturing device further includes a second display unit, and the second guide unit displays the image captured by the image capturing unit as a live view image on the second display unit in real time, and the reference image is detected.
  • the information indicating the area of the reference image is displayed so as to be superimposed on the live view image, and the imaging system according to (1) above.
  • the image capturing apparatus further includes an unmanned aerial unit equipped with an image capturing unit and a remote control unit for remotely controlling the unmanned aerial vehicle and the image capturing unit.
  • the first guide unit generates information for guiding the movement of the unmanned aerial vehicle to a position where the photographing location can be photographed based on the information indicating the location of the photographing location, and the photographing apparatus generates the information by the first guide unit.
  • the second guide unit generates information that guides the unmanned aerial vehicle at the position where the shooting location is imaged, based on the detection result of the reference image detection unit, and the imaging device is generated by the second guide unit.
  • the drone includes a shooting direction changing unit that changes a shooting direction of the shooting unit, and the second guide unit takes a position of the drone and/or shoots the shooting unit based on the detection result of the reference image detection unit.
  • the image-capturing apparatus further includes an automatic adjustment unit that generates information for guiding the direction and automatically adjusts the position of the unmanned aerial vehicle and/or the imaging direction of the imaging unit according to the guide information generated by the second guide unit.
  • the imaging system according to (7) or (8).
  • the shooting location setting device further includes a shooting location designating unit that designates a shooting location on the screen of the first display unit on which an image to be captured is displayed, and the shooting location setting unit designates the shooting location designating unit.
  • the photographing system according to any one of (1) to (10), wherein the designated portion is set as a photographing portion.
  • the imaging location setting device further includes a re-imaging location detection unit that detects a location that needs re-imaging from an image to be captured, and the imaging location setting unit captures the location detected by the re-imaging location detection unit.
  • the imaging system according to any one of (1) to (10) above, which is set at a location.
  • the location information generation unit determines the location set in the location to be captured as information indicating the location of the location to be captured.
  • the imaging system according to any one of (1) to (16) above, which generates information on an existing address.
  • the location information generation unit generates, as information indicating the location of the imaged location, information on the position of the earth set at the imaged location on the earth.
  • the image-capturing system acquired by the image-capturing target image acquisition unit is an image-capturing system according to any one of (1) to (20) above, which is a panoramic composite image of a plurality of images.
  • Second display unit image-capturing target image acquisition unit that acquires image of image-capturing target, display control unit that displays image of image-capturing target on first display unit, and image-capturing location within image of image-capturing target
  • a shooting location setting unit a location information generation unit that generates information indicating the location of the set shooting location, and an image including the periphery of the shooting location are cut out from the image of the shooting target, and a reference image generation that generates a reference image And a photographing location setting device.
  • FIG. 1st Embodiment of the imaging system which concerns on this invention.
  • Block diagram showing a schematic configuration of a computer that functions as a photographing location setting device Block diagram of the main functions of the shooting location setting device Block diagram showing the schematic configuration of a digital camera Block diagram of the configuration that realizes the guide function Perspective view of the bridge from below
  • the figure which shows an example of the photography result of division photography The figure which shows an example of the panorama synthetic image produced
  • the flowchart which shows the procedure of a process of the imaging location setting apparatus.
  • Figure showing an example of marking image Conceptual image of reference image generation Flowchart showing the procedure of processing of the digital camera when the shooting guide mode is set Flowchart showing the procedure of processing of the digital camera when the shooting guide mode is set
  • FIG which shows an example of the display of the marking image on the display The figure which shows an example of a display of a detection frame when a reference image is within the angle of view.
  • a diagram showing an example in which a shooting location is specified by enclosing a region to be a shooting location with a frame A diagram showing an example in which a shooting location is specified by enclosing a region to be a shooting location with a frame
  • Functional block diagram of shooting location setting device when shooting location is set automatically Conceptual diagram showing an example of assigning addresses to shooting targets
  • Conceptual diagram for generating location information using street address information Diagram showing an example of a guide method that uses address information
  • FIG. 1 is a diagram showing a system configuration of a first embodiment of an image capturing system according to the present invention.
  • the imaging system of the present embodiment is configured as a system for pinpointing an imaging location set in a part of the imaging target.
  • the photographing system of the present embodiment is configured as a manual photographing system.
  • the shooting system includes a shooting location setting device 10 for setting a shooting location, and a digital camera 100 for shooting the set shooting location.
  • the digital camera 100 is an example of a photographing device.
  • the photographing location setting device 10 and the digital camera 100 are configured to be able to communicate with each other.
  • Communication between the shooting location setting device 10 and the digital camera 100 is based on near field communication (for example, NFC (Near Field Communication) standard, near field communication standard such as BlueTooth (registered trademark), WiFi (Wireless Fidelity)).
  • NFC Near Field Communication
  • near field communication standard such as BlueTooth (registered trademark), WiFi (Wireless Fidelity)
  • Communication is performed via a communication network.
  • This communication network is constructed by, for example, a wireless communication network such as 3G (3rd Generation), WiMAX (Worldwide Interoperability for Microwave Access), LTE (Long Term Evolution), each base station, and the Internet.
  • the shooting location setting device 10 has a function of receiving a designation of a shooting location from a user and setting the shooting location, and a function of generating information necessary for shooting the set shooting location with the digital camera 100.
  • the photographing location setting device 10 is composed of a computer. That is, the computer functions as an imaging location setting device by executing a predetermined program (imaging location setting program).
  • FIG. 2 is a block diagram showing a schematic configuration of a computer that functions as a photographing location setting device. It should be noted that the figure shows an example in which the imaging location setting device 10 is configured by a tablet computer.
  • the imaging location setting device 10 is used as a CPU (Central Processing Unit) 11 for controlling the overall operation, a ROM (Read Only Memory) 12 storing basic input/output programs, and a work area for the CPU 11.
  • RAM Random Access Memory
  • EEPROM Electrical Erasable and Programmable ROM
  • a display 15, a touch panel 16 that detects a touch operation on a display screen
  • GPS Global Positioning Systems
  • GPS receiver 17 for receiving GPS signals including position information (latitude, longitude, and altitude) of the photographing location setting device 10 by IMES (Indoor MEsaging System) as indoor GPS
  • IMES Indoor MEsaging System
  • a camera unit 18 that includes an image sensor and that electronically captures an image
  • a microphone unit that includes a microphone
  • a microphone unit 19 that inputs voice
  • a speaker unit 20 that includes a speaker, and outputs voice, and a nearest base using the antenna 21A.
  • a communication unit 21 that wirelessly communicates with a station, a short-range wireless communication unit 22 that performs short-range wireless communication with an external device using an antenna 22A, a sensor unit 23 including various sensors such as a geomagnetic sensor, a gyro compass, and an acceleration sensor, a memory
  • a media drive 24 for reading and writing data from and to the card 25 is provided.
  • the display 15 is an example of a first display unit
  • the touch panel 16 is an example of a photographing location designating unit.
  • FIG. 3 is a block diagram of main functions of the shooting location setting device.
  • the shooting location setting device 10 includes a shooting target image acquisition unit 30A that acquires an image of a shooting target, a display control unit 30B that controls the display of the display 15, a shooting location setting unit 30C that sets a shooting location, and a shooting location that has been set.
  • a location information generation unit 30D that generates information indicating the location
  • a reference image generation unit 30E that generates a reference image
  • a photographing information transmission processing unit 30F that transmits information indicating the location of the photographing location and the reference image to the digital camera 100. It has the function of.
  • the function of each unit is realized by the CPU 11 executing a predetermined program (imaging location setting program).
  • the image-capturing target image acquisition unit 30A acquires an image to be captured. This image is a panoramic image of a shooting target. In addition, when the subject to be imaged is divided into images and panoramic composition is performed, an image after panoramic composition is acquired.
  • the imaging target image acquisition unit 30A acquires an imaging target image from an external device (for example, a server or the like) via the communication unit 21 or the short-range wireless communication unit 22. Alternatively, the image to be captured is acquired from the memory card 25 via the media drive 24.
  • the display control unit 30B controls the display on the display 15.
  • the display control unit 30B is an example of a first display unit control unit.
  • the display control unit 30B causes the display 15 to display the image of the shooting target acquired by the shooting target image acquisition unit 30A.
  • the shooting location setting unit 30C sets the shooting location within the image to be captured.
  • the set shooting location is a part of the shooting target.
  • the shooting location setting unit 30C sets the shooting location based on the input from the touch panel 16. That is, the location touched on the screen of the display 15 on which the image to be captured is displayed is set as the capture location.
  • Specify the shooting location with a point or area For example, if a relatively small area is set as the shooting location, it is designated by dots. On the other hand, when a relatively large area is designated as the shooting location, the area is designated.
  • designating by points touch the center of the area to be the shooting location (including the range recognized as the center) to designate the shooting location.
  • touch the area surrounding the area to be photographed touch the area to be photographed.
  • the location information generation unit 30D generates information indicating the location of the shooting location set by the shooting location setting unit 30C.
  • the information indicating the location of the shooting location an image in which the shooting location is marked on the image to be shot is generated.
  • the form of marking is not particularly limited. It is sufficient that the set shooting location is in a form that can be recognized in the image. For example, it is possible to adopt a form in which the set shooting location is indicated by an arrow or the set shooting location is surrounded by a frame to indicate the location of the set shooting location.
  • the reference image generation unit 30E cuts out an image including the set shooting location and its surroundings from an image to be shot, and generates a reference image. For example, when the shooting location is specified by a point, an image of a certain range centered on the specified point (for example, an image of a rectangular area of a certain size centered on the specified point) is taken from the image to be captured. It is cut out and a reference image is generated. In addition, for example, when the photographing location is designated by an area, a rectangular area surrounding the designated area is cut out from the image to be photographed to generate a reference image. In this way, the reference image is generated so as to include a normal image of the periphery (an image having a high resolution, which has been successfully captured).
  • the imaging information transmission processing unit 30F transmits, to the digital camera 100, the information indicating the location of the imaging location generated by the location information generation unit 30D and the reference image generated by the reference image generation unit 30E.
  • the imaging information transmission processing unit 30F transmits information indicating the location of the imaging location and the reference image to the digital camera 100 via the communication unit 21 or the short-range wireless communication unit 22.
  • the digital camera 100 has a function of guiding shooting of a shooting location set by the shooting location setting device 10 in addition to a normal shooting and playback function.
  • FIG. 4 is a block diagram showing a schematic configuration of a digital camera.
  • the digital camera 100 includes a taking lens 110, an image sensor 112, an analog signal processing unit 114, a digital signal processing unit 116, a media drive 118, a rear monitor 122, a short-range wireless communication unit 124, and a communication unit 126. , Strobe 128, microphone 130, speaker 132, audio signal processing unit 134, camera operation unit 136, camera microcomputer 140, and the like.
  • the taking lens 110 forms an optical image of a subject on the light receiving surface of the image sensor 112.
  • the taking lens 110 has a focus adjustment function and a zoom function.
  • the focus adjustment function and the zoom function are driven by the lens driving unit 110A to operate.
  • the taking lens 110 also has a diaphragm and a shutter.
  • the diaphragm and shutter are driven by the lens driving unit 110A to operate.
  • the lens driving unit 110A drives each unit of the taking lens 110 according to a command from the camera microcomputer 140.
  • the image sensor 112 is composed of a two-dimensional solid-state image sensor such as a CCD image sensor (CCD: Charge Coupled Device) or a CMOS image sensor (CMOS: Complementary Metal Oxide Semiconductor).
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the image sensor 112 operates by being driven by the sensor driving unit 112A.
  • the sensor driving unit 112A drives the image sensor 112 according to a command from the camera microcomputer 140.
  • the taking lens 110 and the image sensor 112 form an imaging unit.
  • the analog signal processing unit 114 takes in an analog image signal for each pixel output from the image sensor 112, performs predetermined signal processing (for example, correlated double sampling processing, amplification processing, etc.), and digitizes and outputs it.
  • predetermined signal processing for example, correlated double sampling processing, amplification processing, etc.
  • the digital signal processing unit 116 takes in the digital image signal output from the analog signal processing unit 114 and performs predetermined signal processing (for example, gradation conversion processing, white balance correction processing, gamma correction processing, synchronization processing, YC conversion). Processing, etc.) to generate image data.
  • predetermined signal processing for example, gradation conversion processing, white balance correction processing, gamma correction processing, synchronization processing, YC conversion). Processing, etc.
  • the media drive 118 reads/writes data from/to the memory card 120.
  • the media drive 118 reads/writes data from/to the memory card 120 according to a command from the camera microcomputer 140.
  • the rear monitor 122 is composed of, for example, a liquid crystal display (LCD).
  • the back monitor 122 is provided on the back of the camera body.
  • the back monitor 122 is an example of a second display unit.
  • the display on the rear monitor 122 is controlled by the camera microcomputer 140.
  • the camera microcomputer 140 controls the display on the rear monitor 122 via the monitor driver 122A.
  • the short-range wireless communication unit 124 uses the antenna 124A to perform short-range wireless communication with an external device (such as the photographing location setting device 10).
  • the communication unit 126 wirelessly communicates with the nearest base station using the antenna 126A.
  • the strobe 128 includes, for example, a xenon tube and an LED (Light Emitting Diode) as a light source, and the light source is caused to emit light to illuminate the subject with strobe light.
  • the flash 128 has its light emission controlled by the camera microcomputer 140 via the flash light emission control unit 128A.
  • the microphone 130 collects external voice.
  • the speaker 132 outputs sound to the outside.
  • the audio signal processing unit 134 subjects the audio signal input from the microphone 130 to predetermined signal processing, digitizes and outputs it. Further, the audio signal processing unit 134 performs predetermined signal processing on the audio data supplied from the camera microcomputer 140 and outputs it from the speaker 132.
  • the camera operation unit 136 includes various operation members such as a power button, a release button, a zoom key, a menu button, an OK button, a cancel button, a cross button, and a mode selection switch, and a signal processing circuit thereof, and operates each operation member. A signal based on this is output to the camera microcomputer 140.
  • the camera microcomputer 140 is a control unit that controls the overall operation of the digital camera 100.
  • the camera microcomputer 140 is composed of a microcomputer including a CPU, a ROM and a RAM, and functions as a control unit or the like of each unit by executing a predetermined program.
  • the digital camera 100 has a function of guiding shooting of a shooting location set by the shooting location setting device 10, in addition to the normal shooting and playback functions.
  • the normal shooting and reproducing functions are the same as those of a general digital camera. Therefore, here, the guide function will be described.
  • FIG. 5 is a block diagram of a configuration that realizes the guide function.
  • the guide function of the digital camera 100 mainly includes information indicating the location of a shooting location and a shooting information acquisition unit 140A that acquires a reference image and information indicating the location of a shooting location (location information).
  • a shooting information acquisition unit 140A that acquires a reference image and information indicating the location of a shooting location (location information).
  • the reference image detection unit 140C that detects the reference image in real time from the image shot by the image sensor 112 through the shooting lens 110, and the reference image detection unit 140C.
  • the second guide unit 140D that guides the shooting of the shooting location based on the detection result.
  • Each unit is realized by the camera microcomputer 140 executing a predetermined program.
  • the imaging information acquisition unit 140A acquires location information and a reference image from the imaging location setting device 10.
  • the imaging information acquisition unit 140A communicates with the imaging location setting device 10 via the communication unit 126, and acquires location information and a reference image from the imaging location setting device 10, for example.
  • short-distance wireless communication is performed with the photographing location setting device 10 via the short-distance wireless communication unit 124, and the location information and the reference image are acquired from the photographing location setting device 10.
  • the acquired location information is added to the first guide unit 140B, and the reference image is added to the reference image detection unit 140C.
  • the first guide unit 140B guides the shooting of the shooting location based on the location information.
  • the location information is composed of a predetermined marking image. That is, it is composed of an image obtained by marking the shooting location on the image to be shot.
  • the first guide unit 140B displays this marking image on the rear monitor 122 to guide the shooting of the shooting location.
  • the photographer grasps the rough position of the photographing location by looking at the marking image displayed on the rear monitor 122.
  • the reference image detection unit 140C detects in real time an area that matches the reference image from the image captured by the image sensor 112 through the imaging lens 110. Since this kind of image recognition technology is well known, detailed description thereof will be omitted (for example, by extracting feature points from the reference image and the captured image and comparing them, the region of the reference image is detected from the captured image. Various methods such as the method can be adopted.)
  • the second guide unit 140D guides the shooting of the shooting location based on the detection result of the reference image detection unit 140C.
  • the image captured by the image sensor 112 through the imaging lens 110 is displayed as a live view image on the rear monitor 122 in real time, and when the reference image is detected, the area of the reference image is indicated.
  • the shooting of the shooting location is guided. More specifically, a frame (detection frame) indicating the area of the reference image is displayed so as to be superimposed on the live view image to guide the shooting of the shooting location.
  • the second guide unit 140D changes the display mode of the frame depending on whether a part of the reference image is detected in the captured image or a case where the entire reference image is detected. More specifically, when a part of the reference image is detected in the captured image, it is displayed in a red frame. On the other hand, when the entire reference image is detected in the captured image, it is displayed in a blue frame. The photographer adjusts the photographing angle and the like so that the frame fits within the angle of view, and performs photographing. As a result, it is possible to accurately shoot the designated shooting location.
  • Figure 6 is a perspective view of the bridge as seen from below.
  • the bridge 1 of this example has a three-dimensional structure including a main girder 2, a horizontal girder 3, an anti-tilt structure 4, a lateral structure 5 and a floor slab 6, and these members are formed by bolts, rivets, welding or the like. It has a connected structure.
  • a floor slab 6 for driving a vehicle or the like is placed on the upper part of the main girder 2 and the like.
  • the floor slab 6 is generally made of reinforced concrete.
  • the main girder 2 is a member that is passed between abutments or piers and supports the load of a vehicle or the like on the floor slab 6.
  • the main girder 2 has a surface (vertical surface) orthogonal to the surface (horizontal surface) of the floor slab 6.
  • the horizontal girders 3 are members that connect the main girders 2.
  • the cross girders 3 are provided to support the load on the plurality of main girders 2.
  • the anti-tilt structure 4 and the lateral structure 5 are members that connect the main girders 2 to each other.
  • the anti-tilt structure 4 and the lateral structure 5 are provided for resisting lateral loads of wind and earthquake, respectively.
  • Photographing of the floor slab 6 for inspection is performed in units of spaces.
  • the space is a section divided by the main girder 2 and the horizontal girder 3 in the floor slab 6. Therefore, in photographing the floor slab 6 for the purpose of inspection, the gap is set as a subject to be photographed, divided in units of the gap, and panorama synthesized.
  • FIG. 7 is a diagram showing an example of a shooting procedure of a space when panoramic composition is performed.
  • the shooting target is divided into multiple areas and shot in multiple shots (so-called split shooting).
  • the broken-line frame indicated by reference symbol A is a frame indicating a single shooting range.
  • the example shown in FIG. 7 shows a state in which each region in the space 7 is photographed while sequentially moving in the y direction and the x direction (the arrow in the drawing indicates the moving direction).
  • the photographer faces the floor slab 6 and photographs from a certain distance.
  • it is basically the case that images are taken in such a manner that parts of the adjacent imaging regions overlap each other.
  • [Panorama composition] A plurality of images obtained by shooting are panorama-combined into one image. Since the technique of panorama synthesis itself is known, a detailed description thereof will be omitted. For example, corresponding points between images are detected, the images are joined together, and they are combined into one image. At this time, if necessary, each image is subjected to correction such as expansion/contraction correction, tilt correction, and rotation correction.
  • FIG. 8 is a diagram showing an example of a shooting result of divided shooting.
  • the frame of the broken line indicated by reference sign B is a frame indicating the range of the image obtained by one shot.
  • FIG. 9 is a diagram showing an example of a panoramic composite image generated based on the shooting result of FIG. In addition, in the same figure, each combined image is shown with a broken line. As shown in the figure, when there is omission of the image, an image in which the part P of the omission of the image is missing (a part of the image is missing) is generated as a panoramic composite image PI.
  • Such shooting omissions are usually found after panoramic composition. If the omission of the image is found, the part P of the omission of the image is re-photographed and the combining process is performed again.
  • a procedure for re-imaging a portion where the photographing is omitted by using the photographing system according to the present embodiment will be described.
  • the process of re-shooting is roughly divided into setting of shooting points and actual shooting.
  • the shooting location is set using the shooting location setting device 10, and the shooting is performed using the digital camera 100.
  • the shooting location setting is performed by using the shooting location setting device 10.
  • FIG. 10 is a flowchart showing the processing procedure of the photographing location setting device.
  • the image to be captured is acquired from an external device (for example, a server or the like) via the communication unit 21 or the short-range wireless communication unit 22.
  • the image to be captured is acquired from the memory card 25 via the media drive 24.
  • the image to be captured here is an image of a space, and is a panorama composite image PI obtained by dividing and capturing the space.
  • FIG. 11 is a diagram illustrating an example of a display of an image to be captured on the display.
  • the image is enlarged, reduced, and moved based on the operation of the touch panel 16. For example, it is reduced by a pinch-in operation on the screen, and enlarged by a pinch-out operation. Also, the screen is moved by swiping.
  • the designation of the shooting location is accepted on the screen of the display 15 on which the image to be shot is displayed (step S3).
  • the shooting location is specified by touching the shooting location on the screen of the display 15 with a finger.
  • the part P where the photographing was omitted is re-photographed
  • the part P where the photographing is omitted is touched on the screen to specify the photographing part.
  • the photographing portion is designated by a point. In this case, the user touches the center of the area to be taken as a shooting location (the location where the shooting was missed) with a finger to specify the shooting location.
  • the designated location is set as the shooting location (step S4).
  • the designated portion is detected by the touch panel 16. Therefore, the shooting location is set based on the detection result of the touch panel 16.
  • information indicating the location of the set shooting location is generated (step S5).
  • location information an image (marking image) in which an imaged part is marked on the image to be imaged is generated.
  • FIG. 12 is a diagram showing an example of a marking image. In this example, an image in which the set shooting location is indicated by an arrow C is generated as the marking image IM.
  • a reference image is generated (step S6).
  • the reference image is generated by cutting out an image including the set shooting location and its periphery from the image to be shot.
  • FIG. 13 is a conceptual diagram of generation of a reference image. As shown in the figure, a rectangular area of a fixed size is cut out from the image to be photographed with the set photographing location as the center, and a reference image RF is generated.
  • the shooting location setting process is completed through the above series of steps. Next, the actual shooting is performed based on the set information.
  • the shooting is performed using the digital camera 100.
  • the digital camera 100 acquires the location information (marking image in this example) and the reference image from the imaging location setting device 10, and guides the imaging of the imaging location based on the acquired information.
  • the guide is performed by setting the mode of the digital camera 100 to a predetermined mode (imaging guide mode).
  • 14 and 15 are flowcharts showing the procedure of processing of the digital camera when the shooting guide mode is set.
  • the location information and the reference image are acquired (step S11).
  • the location information and the reference image are acquired from the shooting location setting device 10.
  • the digital camera 100 communicates with the shooting location setting device 10 to acquire location information and a reference image from the shooting location setting device 10.
  • the acquired location information is displayed on the rear monitor 122 (step S12).
  • the location information is the marking image in which the shooting location is marked in the image of the shooting image
  • the marking image is displayed on the rear monitor 122.
  • FIG. 16 is a diagram showing an example of a marking image displayed on the display. The user (photographer) can understand where the photographing location is by looking at the marking image displayed on the rear monitor 122. That is, the display of the marking image guides the shooting location.
  • step S13 based on the operation input from the camera operation unit 136, it is determined whether or not there is an instruction to start shooting (step S13).
  • the instruction to start shooting is given, for example, by pressing the release button halfway.
  • the user (photographer) gives an instruction to start photographing at a position where the photographing place can be photographed.
  • step S14 live view is started.
  • the image taken by the image sensor 112 through the taking lens 110 is displayed on the rear monitor 122 in real time.
  • step S15 it is determined whether there is an instruction to end shooting.
  • an instruction to end shooting it is switched to another mode (for example, a normal shooting mode, a reproduction mode, etc.) or when the power is turned off, it is determined that the end is instructed. In this case, the shooting guide mode ends.
  • the reference image is detected in real time from the captured image (step S16). Then, based on the detection result, it is determined whether or not the reference image is detected (step S17).
  • step S18 it is determined whether the reference image is within the angle of view. That is, it is determined whether or not the entire reference image is captured.
  • FIG. 17 is a diagram showing an example of the display of the detection frame when the reference image is within the angle of view.
  • the user can confirm that the designated photographing location is within the angle of view by looking at the display on the rear monitor 122.
  • FIG. 18 is a diagram showing an example of the display of the detection frame when the reference image is not within the angle of view.
  • the user can confirm the position of the designated photographing location by looking at the display on the rear monitor 122.
  • a red detection frame FR is displayed at the lower right of the screen. Therefore, in this case, the shooting position and/or the shooting direction is adjusted so that the detection frame FR falls within the angle of view.
  • step S21 it is determined whether or not there is an instruction for actual shooting. That is, it is determined whether or not there is an instruction to capture a recording image.
  • the instruction for the actual shooting is given by pressing the release button.
  • step S22 the main shooting process is performed and the obtained image is recorded. That is, the image for recording is captured and recorded in the memory card 120. After this, the shooting guide mode ends.
  • step S23 it is determined whether or not there is an instruction for ending.
  • the shooting guide mode is ended.
  • the process returns to step S16, and the reference image is detected again.
  • the shooting is properly guided, so that it is possible to easily shoot the designated shooting location.
  • the shooting location may be designated by touching so as to surround the area of the shooting location on the screen on which the image to be shot is displayed. That is, the area to be imaged may be designated by enclosing it in a frame.
  • FIG. 19 and FIG. 20 are diagrams showing an example of a case where a shooting location is specified by enclosing a region to be a shooting location with a frame. Note that FIG. 19 shows an example of designating a shooting location by enclosing it with an elliptical frame, and FIG. 20 shows an example of designating a shooting location with a rectangular frame.
  • the position and size of the frame W indicating the designated area can be adjusted as necessary. For example, by touching and swiping in the area of the frame W, the position of the frame W can be adjusted, and by pinching in and out in the area of the frame W, the size of the frame W can be enlarged or reduced. It is preferable to be able to do so.
  • the touch panel 16 is used to specify the shooting location, but the means for designating the shooting location is not limited to this.
  • the computer constituting the photographing location setting device 10 is provided with an input device such as a mouse, a joystick, or a keyboard, the photographing location can be designated using these input devices.
  • the part to be the imaging part is not limited to this.
  • the user points out a shooting location on the screen on which the image to be shot is displayed, and sets the shooting location.
  • the shooting location is automatically set.
  • FIG. 21 is a functional block diagram of the shooting location setting device when the shooting location is automatically set.
  • the image capturing location setting device 10 of this example automatically detects a portion requiring re-capture from the image to be captured, and automatically sets the capturing location.
  • the shooting location setting device 10 of the present example automatically detects a region where an image is missing (a region where the image is insufficient) and a region where the image quality is equal to or less than a predetermined reference from the panorama-composited image, and sets the shooting location as the shooting location. It is configured as a setting device.
  • the shooting location setting device 10 of this example includes a re-shooting location detection unit 30G in addition to the configuration of the shooting location setting device 10 of the first embodiment.
  • the re-photographing location detection unit 30G analyzes the image to be photographed and detects the location where re-photographing is required. In this example, a region where the image is missing and a region where the image quality is equal to or less than a prescribed standard are detected from the panorama-combined image as a portion where re-imaging is necessary. The detection result of the re-imaging location detecting unit 30G is added to the imaging location setting unit 30C.
  • the shooting location setting unit 30C sets the shooting location based on the detection result of the re-shooting location detection unit 30G. For example, the detected area is surrounded by a rectangular frame to set a shooting location.
  • the information on the set shooting location is added to the location information generation unit 30D, the reference image generation unit 30E, and the display control unit 30B.
  • the display control unit 30B displays information indicating the set shooting location on the display 15. For example, a frame indicating a shooting location is displayed on the display 15 so as to be superimposed on the image of the shooting target.
  • the shooting location can be set automatically.
  • the user can correct the automatically set imaging location.
  • the frame indicating the shooting location is displayed so as to be superimposed on the image of the shooting target being displayed on the display 15, it is possible to correct the position, size, etc. of the frame as necessary. preferable. Further, it is preferable that a frame can be added or deleted as needed.
  • the touch panel 16 is used for correction.
  • the information indicating the location of a shooting location an image in which the shooting location is marked on the image to be shot is generated, but the form of the information indicating the location of the shooting location is not limited to this. is not. Any information can be used as long as it can identify the shooting location.
  • FIG. 22 is a conceptual diagram showing an example of allocation of addresses to photographing targets.
  • one space 7 of the floor slab 6 to be photographed is divided into 16 grids, and an address indicating the location is assigned to each divided area.
  • Each address is indicated by a combination of letters and numbers. Specifically, the position in the x direction is indicated by alphabets, the position in the y direction is indicated by numbers, and an address is assigned to each divided area. For example, in FIG. 22, the address in the upper left corner area is "A1", and the address in the area on the right is "B1".
  • FIG. 23 is a conceptual diagram of generation of location information using address information.
  • the address of the area where the designated location exists becomes the information indicating the location of the shooting location.
  • the shooting location (location P where the shooting was missed) exists at the address B3, the information indicating the location of the shooting location is “B3”.
  • GPS information location information on the earth
  • location information is used as location information. May be.
  • the GPS information is recorded in the tag information of the image (for example, the tag information of Exif (Exchangeable image file format)). Therefore, when the image to be captured is a panorama composite image in which a plurality of images are panorama composite and each image before composition has GPS information, the GPS information of each image is used to GPS information can be acquired. For example, it is possible to acquire GPS information of an image of a location designated as a shooting location or GPS information of an image in the vicinity thereof to obtain GPS information of a location designated as a shooting location. Alternatively, the GPS information of the shooting location can be obtained by calculating the GPS information of the shooting location from the GPS information of the image near the location pointed out as the shooting location.
  • GPS information can be acquired using map data and design drawing data.
  • GPS information includes at least latitude and longitude information, and may include altitude information in addition to this.
  • an image in which an image of a shooting target is marked with the shooting position is generated as information indicating the location of the shooting position
  • an image in which the image is reduced to a specified size is generated and used as a marking image. Good. This can reduce the load when transmitting the data to the digital camera 100.
  • the size to be reduced is preferably set in consideration of the resolution of the display unit included in the image capturing apparatus.
  • the digital camera 100 acquires the address information and displays it on the rear monitor 122.
  • the image to be captured may be acquired at the same time and displayed on the rear monitor 122 together with the address information.
  • FIG. 24 is a diagram showing an example of a guide method using address information. As shown in the figure, information on the address of the photographing location is displayed on the rear monitor 122. In the example shown in the figure, the image to be captured is also displayed at the same time.
  • the digital camera 100 acquires the GPS information and displays it on the rear monitor 122.
  • FIG. 25 is a diagram illustrating an example of a case where GPS information of a shooting location and GPS information of a current location are displayed.
  • the digital camera 100 has a GPS function
  • the GPS information of the current location is acquired and compared with the GPS information of the shooting location, and when both match, or a fixed range centered on the shooting location. When it reaches inside, it may be notified by sound or display.
  • the image capturing device is configured by the digital camera, but the configuration of the image capturing device is not limited to this. It can also be configured by a portable electronic device having a photographing function such as a smart phone, a tablet computer, a notebook computer, or the like.
  • FIG. 26 is a diagram showing the system configuration of the second embodiment of the image capturing system according to the present invention.
  • the image capturing system of this embodiment is different from the image capturing system of the first embodiment in the configuration of the image capturing device.
  • the image capturing system of this embodiment captures images with an unmanned aerial vehicle equipped with a digital camera.
  • the photographing device 200 is composed of an unmanned aerial vehicle 212 equipped with a digital camera 210, and a controller 214 for remotely controlling the flight of the unmanned aerial vehicle 212 and the photographing of the digital camera 210.
  • the unmanned aerial vehicle 212 is a so-called drone, and rotates a plurality of propellers 218 provided on its body 216 to fly in the atmosphere.
  • the unmanned aerial vehicle 212 is an example of an unmanned aerial vehicle.
  • the digital camera 210 is an example of a photographing unit.
  • the digital camera 210 has a pan and tilt function and can change the shooting direction.
  • the pan and tilt functions are realized by a pan/tilt mechanism (not shown).
  • the pan/tilt mechanism is an example of a photographing direction changing unit.
  • the digital camera 210 is panned and tilted by remote control by the controller 214.
  • the controller 214 wirelessly communicates with the unmanned aerial vehicle 212 and remotely controls the unmanned aerial vehicle 212 and the digital camera 210.
  • the controller 214 is an example of a remote control unit.
  • FIG. 27 is a block diagram showing the electrical configuration of the controller.
  • the controller 214 includes an operation unit 220, a controller display 222, a wireless communication unit 224, a controller microcomputer 226, and the like.
  • the operation unit 220 includes various operation members for operating the unmanned aerial vehicle 212 and the digital camera 210, and a signal processing circuit thereof, and outputs a signal based on the operation of each operation member to the controller microcomputer 226.
  • the operation members for operating unmanned aerial vehicle 212 include, for example, operation members for instructing ascent and descent of unmanned aerial vehicle 212, operation members for instructing turning of unmanned aerial vehicle 212, and the like.
  • the operation members for operating the digital camera 210 include general camera operation members (release button, zoom button, etc.), and pan and tilt operation members.
  • the controller display 222 is composed of, for example, an LCD.
  • the controller display 222 is an example of a second display unit.
  • the display on the controller display 222 is controlled by the controller microcomputer 226.
  • the controller microcomputer 226 controls the display on the controller display 222 via the display driver 222A.
  • the wireless communication unit 224 wirelessly communicates with the unmanned aerial vehicle 212 and the imaging location setting device 10 using the antenna 224A.
  • the controller microcomputer 226 is composed of a microcomputer including a CPU, ROM and RAM.
  • the controller microcomputer 226 generates a control signal according to the operation of the operation unit 220 and transmits it to the unmanned aerial vehicle 212 via the wireless communication unit 224.
  • the image of the digital camera 210, the flight state information of the unmanned aerial vehicle 212, and the like are acquired from the unmanned aerial vehicle 212 via the wireless communication unit 224 and displayed on the controller display 222.
  • the controller microcomputer 226 acquires the location information and the reference image of the shooting location from the shooting location setting device 10, and guides the shooting of the shooting location.
  • FIG. 28 is a block diagram of a configuration that realizes the guide function.
  • the guide function mainly includes a photographing information acquisition unit 226A that acquires the location information and the reference image of the photographing location, and a first guide that guides the photographing of the photographing location based on the location information of the photographing location.
  • a part 226D Each unit is realized by the controller microcomputer 226 executing a predetermined program.
  • the imaging information acquisition unit 226A acquires location information and a reference image from the imaging location setting device 10.
  • the imaging information acquisition unit 226A communicates with the imaging location setting device 10 via the wireless communication unit 224, and acquires location information and a reference image from the imaging location setting device 10.
  • the acquired location information is added to the first guide unit 226B, and the reference image is added to the reference image detection unit 226C.
  • the first guide unit 226B guides the shooting of the shooting location based on the location information.
  • the location information is made up of a marking image (an image obtained by marking a shooting location on an image of a shooting target), as in the first embodiment.
  • the first guide unit 226B displays the marking image on the controller display 222 to guide the shooting of the shooting location.
  • the photographer grasps the rough position of the photographing location by looking at the marking image displayed on the controller display 222.
  • the reference image detection unit 226C detects in real time an area that matches the reference image from the image captured by the digital camera 210.
  • the second guide unit 226D guides the shooting of the shooting location based on the detection result of the reference image detection unit 226C.
  • an image captured by the digital camera 210 is displayed as a live view image on the controller display 222 in real time, and when a reference image is detected, information indicating the area of the reference image is displayed live. By superimposing it on the view image, the shooting of the shooting location is guided. More specifically, a frame (detection frame) indicating the area of the reference image is displayed so as to be superimposed on the live view image to guide the shooting of the shooting location.
  • the processing performed by the photographing location setting device 10 is the same as that of the photographing system according to the first embodiment. Therefore, here, a photographing method using the unmanned aerial vehicle 212 will be described.
  • the controller 214 wirelessly communicates with the shooting location setting device 10 via the wireless communication unit 224, and acquires location information and a reference image from the shooting location setting device 10.
  • the location information is first displayed on the controller display 222.
  • the location information is the marking image in which the shooting location is marked in the image of the shooting image
  • the marking image is displayed on the controller display 222.
  • the user sees the marking image displayed on the controller display 222 to know where the designated photographing location is.
  • the user operates the controller 214 based on the grasped information, and moves the unmanned aerial vehicle 212 to a position where the designated photographing location can be photographed.
  • the unmanned aerial vehicle 212 transmits images captured by the digital camera 210 to the controller 214 in real time.
  • the controller 214 displays the image transmitted from the unmanned aerial vehicle 212 on the controller display 222 in real time. That is, live view display is performed.
  • the controller 214 detects the reference image in real time from the image transmitted from the unmanned aerial vehicle 212.
  • a frame detection frame
  • the reference image is displayed so as to overlap the live view image.
  • the reference image is displayed in a blue frame.
  • the reference image is not within the angle of view, that is, when only a part of the reference image is detected, it is displayed in a red frame (detection frame).
  • the user can confirm the position of the designated photographing location by looking at the display on the controller display 222. If the frame is not within the angle of view, the position and/or the shooting direction is adjusted based on the display on the controller display 222. When the frame fits within the angle of view, the image for recording is captured and the shooting ends.
  • the photographing system of the present embodiment is configured as a system for automatically photographing a designated photographing location with an unmanned aerial vehicle. It is the same as the image capturing system of the second embodiment except that the image is automatically captured. Therefore, here, only the configuration for realizing the automatic shooting will be described.
  • FIG. 29 is a block diagram of a configuration for realizing automatic shooting.
  • the automatic shooting function is realized by the controller 214. That is, the controller microcomputer 226 of the controller 214 executes a predetermined program, so that the controller 214 functions as an automatic photographing control device.
  • the controller 214 is an unmanned information acquisition unit 226A that acquires location information of a shooting location and a reference image, and an unmanned shooting location up to a shooting location based on information indicating the location of the shooting location.
  • a first guide information generation unit 226E that generates information that guides the movement (flight) of the aircraft 212, and a movement that controls the movement (flight) of the unmanned aerial vehicle 212 according to the guide information generated by the first guide information generation unit 226E.
  • the unmanned aerial vehicle is located at the position where the capturing location is captured.
  • Functions of a second guide information generation unit 226G that generates information that guides the 212, and an automatic adjustment unit 226H that automatically adjusts the position of the unmanned aerial vehicle 212 according to the guide information generated by the second guide information generation unit 226G. Have.
  • the imaging information acquisition unit 226A acquires location information and a reference image from the imaging location setting device 10.
  • the imaging information acquisition unit 226A communicates with the imaging location setting device 10 via the wireless communication unit 224, and acquires location information and a reference image from the imaging location setting device 10.
  • GPS information is acquired as location information of a shooting location.
  • the acquired location information is added to the first guide information generation unit 226E, and the reference image is added to the reference image detection unit 226C.
  • the first guide information generation unit 226E generates information that guides the unmanned aerial vehicle 212 to a position where the shooting location can be shot, based on the location information. Specifically, as the guide information, a flight route to a position where the shooting location can be shot is generated.
  • the first guide information generation unit 226E is an example of a first guide unit.
  • the movement control unit 226F controls the movement (flight) of the unmanned aerial vehicle 212 according to the guide information generated by the first guide information generation unit 226E. Specifically, a signal for controlling the flight of the unmanned aerial vehicle 212 is generated in accordance with the guide information (flight route information) generated by the first guide information generating unit 226E, and the unmanned aerial vehicle 212 is placed at a position where the shooting location can be shot. To move.
  • the reference image detection unit 226C detects in real time an area that matches the reference image from the image captured by the digital camera 210.
  • the second guide information generation unit 226G generates information that guides the unmanned aerial vehicle 212 to the position where the shooting location is captured, based on the detection result of the reference image detection unit 226C. Specifically, based on the detection result of the reference image and the current position information of the unmanned aerial vehicle 212, the moving direction and the amount of movement of the unmanned aerial vehicle 212 necessary for keeping the reference image within the angle of view are obtained, and the guide Generate information.
  • the second guide information generation unit 226G is an example of a second guide unit.
  • the automatic adjustment unit 226H automatically adjusts the position of the unmanned aerial vehicle 212 according to the guide information generated by the second guide information generation unit 226G. Specifically, according to the guide information generated by the second guide information generation unit 226G, a signal for controlling the flight of the unmanned aerial vehicle 212 is generated, and the unmanned aerial vehicle 212 is moved to a position where the shooting location is within the angle of view.
  • the processing performed by the photographing location setting device 10 is substantially the same as that of the photographing system according to the first embodiment. Therefore, here, a photographing method using the unmanned aerial vehicle 212 will be described.
  • the controller 214 wirelessly communicates with the shooting location setting device 10 via the wireless communication unit 224, and acquires location information and a reference image from the shooting location setting device 10.
  • GPS information is acquired as location information. Therefore, the imaging location setting device 10 generates GPS information as location information and transmits it to the digital camera 100.
  • the flight route to the position where the shooting location can be shot is set.
  • the flight route is set based on the location information.
  • the unmanned aerial vehicle 212 When the flight route is set, the unmanned aerial vehicle 212 flies according to the set flight route and moves the shooting location to a position where shooting is possible. During the flight, the unmanned aerial vehicle 212 transmits images captured by the digital camera 210 to the controller 214 in real time. The controller 214 displays the image transmitted from the unmanned aerial vehicle 212 on the controller display 222 in real time. That is, live view display is performed.
  • the controller 214 detects the reference image in real time from the image transmitted from the unmanned aerial vehicle 212.
  • a frame detection frame
  • the position and/or the shooting direction of the unmanned aerial vehicle 212 is automatically adjusted based on the detection result of the reference image so that the reference image fits within the angle of view.
  • the position and/or the shooting direction of the unmanned aerial vehicle 212 are automatically adjusted so that the center of the reference image is located at the center of the angle of view and the extension thereof is within the angle of view. Then, the actual shooting is performed when the reference image is within the angle of view. After the main shooting, return to the flight start point.
  • all of the movement to a place where photographing is possible and the adjustment of the photographing position and the photographing direction after movement are automatically performed, but only one of them is automatically configured.
  • the live view is displayed on the controller display 222 in order to confirm the image being captured, but the live view is not necessarily required. Therefore, in the image capturing system of this embodiment, the controller 214 does not necessarily have to include a display.
  • the shooting location setting device is configured to acquire a panorama-composited image as an image to be shot, but the image to be shot is not limited to this.
  • An image captured as one image can be acquired as an image to be captured.
  • the photographing location setting device is composed of a tablet computer, but the configuration of the photographing location setting device is not limited to this. In addition, it can be configured with a smart phone, a personal computer, or the like.
  • the image to be captured is configured to be acquired from the external device.
  • the capturing location setting device may have a panorama composition function. ..
  • the shooting location setting device acquires an image group to be panorama-combined from an external device and internally panorama-composites the acquired image group. That is, the panorama compositing unit provided inside performs a compositing process to internally generate an image to be photographed (panorama composite image).
  • Unmanned aerial vehicle In the above-described embodiment, the case where an unmanned aerial vehicle is used to capture an image has been described as an example, but the unmanned aerial vehicle usable in the present invention is not limited to this.
  • the unmanned aerial vehicle usable in the present invention is not limited to this.
  • the drone of the present invention includes the concept of a robot.
  • the hardware that realizes the imaging location setting device can be configured by various processors.
  • the various processors are processors that can change the circuit configuration after manufacturing a CPU (Central Processing Unit), an FPGA (Field Programmable Gate Array), and the like, which are general-purpose processors that execute programs and function as various processing units.
  • a dedicated electric circuit which is a processor having a circuit configuration specifically designed to execute a specific process such as a programmable logic device (PLD) and an ASIC (Application Specific Integrated Circuit), is included.
  • One processing unit configuring the inspection support device may be configured by one of the various processors described above, or may be configured by two or more processors of the same type or different types.
  • one processing unit may be configured by a plurality of FPGAs or a combination of CPU and FPGA.
  • the plurality of processing units may be configured by one processor.
  • a processor As an example of configuring a plurality of processing units with one processor, firstly, as represented by a computer such as a client or a server, one processor is configured with a combination of one or more CPUs and software. There is a form in which the processor functions as a plurality of processing units.
  • SoC system on chip
  • the various processing units are configured using one or more of the various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electrical circuit in which circuit elements such as semiconductor elements are combined.
  • the hardware that realizes the functions of the camera microcomputer in the shooting device can be configured with various processors.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

撮影対象の特定箇所を簡単に撮影できる撮影システム、撮影箇所設定装置、撮影装置及び撮影方法を提供する。撮影箇所設定装置(10)は、撮影対象の画像を取得してディスプレイ(15)に表示する。ユーザは、ディスプレイ(15)の画面上で撮影箇所を指定する。撮影箇所設定装置(10)は、指定された撮影箇所の所在を示す情報を生成する。また、撮影箇所設定装置(10)は、撮影箇所の周辺を含む画像を撮影対象の画像から切り出して、参照画像を生成する。デジタルカメラ(100)は、撮影箇所の所在を示す情報及び参照画像を取得する。デジタルカメラ(100)は、取得した撮影箇所の所在を示す情報に基づいて、撮影箇所の撮影をガイドする。また、デジタルカメラ(100)は、撮影された画像から参照画像をリアルタイムに検出し、その検出結果に基づいて、撮影箇所の撮影をガイドする。

Description

撮影システム、撮影箇所設定装置、撮影装置及び撮影方法
 本発明は、撮影システム、撮影箇所設定装置、撮影装置及び撮影方法に係り、特に撮影対象の一部に設定された特定の撮影箇所を撮影する撮影システム、撮影箇所設定装置、撮影装置及び撮影方法に関する。
 橋梁等の構造物の点検を支援する技術として、構造物の表面を撮影した画像からひび割れ等の損傷を自動で検出する技術が知られている。この場合、点検用の画像には、パノラマ合成した画像が用いられることが多い。
 パノラマ合成した画像を生成する場合、対象を漏れなく撮影する必要がある。しかし、対象が広範囲になると、撮り漏れが生じたり、一部で画質の悪い画像が撮影されたりする場合がある。このような場合は、該当領域の撮り直しが行われる。
 しかし、広大な現場で撮り直し箇所を正確に特定して撮影するのは難しい。特に、撮り直しを指示する者と、現場で実際に撮影する者とが異なる場合には、撮影者側に必要な情報を上手く伝えることが難しく、撮り直しの作業に多大な労力を要していた。
 特許文献1には、このような撮り直しの作業を支援する技術として、特定の箇所を撮影するために必要な支援情報を生成し、撮影者に通知することが提案されている。支援情報は、少なくとも撮影位置及び撮影方向の情報を含み、撮影者は、この支援情報を基に撮影位置及び撮影方法を調整して、撮影を実施する。
特開2012-160904号公報
 しかしながら、特許文献1の技術は、撮影する際に撮影位置及び撮影方向を正確に計測しながら撮影しなければならないという欠点がある。また、それを実現するために、撮影装置側に高度な計測手段が必要になるという欠点もある。
 本発明は、このような事情に鑑みてなされたもので、撮影対象の特定箇所を簡単に撮影できる撮影システム、撮影箇所設定装置、撮影装置及び撮影方法を提供することを目的とする。
 上記課題を解決するための手段は次のとおりである。
 (1)第1表示部と、撮影対象の画像を取得する撮影対象画像取得部と、撮影対象の画像を第1表示部に表示させる表示制御部と、撮影対象の画像内で撮影箇所を設定する撮影箇所設定部と、設定された撮影箇所の所在を示す情報を生成する所在情報生成部と、撮影箇所の周辺を含む画像を撮影対象の画像から切り出して、参照画像を生成する参照画像生成部と、を備えた撮影箇所設定装置と、撮影部と、撮影箇所の所在を示す情報及び参照画像を取得する撮影用情報取得部と、撮影箇所の所在を示す情報に基づいて、撮影箇所の撮影をガイドする第1ガイド部と、撮影部で撮影される画像から参照画像をリアルタイムに検出する参照画像検出部と、参照画像検出部の検出結果に基づいて、撮影箇所の撮影をガイドする第2ガイド部と、を備えた撮影装置と、を備えた撮影システム。
 (2)撮影装置は、第2表示部を更に備え、第2ガイド部は、撮影部で撮影される画像をライブビュー画像として第2表示部にリアルタイムに表示し、かつ、参照画像が検出された場合は、参照画像の領域を示す情報をライブビュー画像に重ねて表示する、上記(1)の撮影システム。
 (3)第2ガイド部は、参照画像が検出された場合に、参照画像の領域を示す枠をライブビュー画像に重ねて表示する、上記(2)の撮影システム。
 (4)第2ガイド部は、参照画像の一部が検出された場合と参照画像の全体が検出された場合とで枠の表示態様を替える、上記(3)の撮影システム。
 (5)第2ガイド部は、参照画像の一部が検出された場合と参照画像の全体が検出された場合とで枠の色を替える、上記(4)の撮影システム。
 (6)第1ガイド部は、撮影箇所の所在を示す情報を第2表示部に表示させる、上記(2)から(5)のいずれか一の撮影システム。
 (7)撮影装置は、撮影部が搭載された無人機と、無人機及び撮影部を遠隔操作する遠隔操作部と、を更に備える上記(1)から(6)のいずれか一の撮影システム。
 (8)第1ガイド部は、撮影箇所の所在を示す情報に基づいて、撮影箇所を撮影可能な位置まで無人機の移動をガイドする情報を生成し、撮影装置は、第1ガイド部で生成されるガイド情報に従って、無人機の移動を制御する移動制御部を更に備える、上記(7)の撮影システム。
 (9)第2ガイド部は、参照画像検出部の検出結果に基づいて、撮影箇所が撮影される位置に無人機をガイドする情報を生成し、撮影装置は、第2ガイド部で生成されるガイド情報に従って、無人機の位置を自動で調整する自動調整部を更に備える、上記(7)又は(8)の撮影システム。
 (10)無人機が、撮影部の撮影方向を変更する撮影方向変更部を備え、第2ガイド部は、参照画像検出部の検出結果に基づいて、無人機の位置及び/又は撮影部の撮影方向をガイドする情報を生成し、撮影装置は、第2ガイド部で生成されるガイド情報に従って、無人機の位置及び/又は撮影部の撮影方向を自動で調整する自動調整部を更に備える、上記(7)又は(8)の撮影システム。
 (11)撮影箇所設定装置は、撮影対象の画像が表示された第1表示部の画面上で撮影箇所を指定する撮影箇所指定部を更に備え、撮影箇所設定部は、撮影箇所指定部で指定された箇所を撮影箇所に設定する、上記(1)から(10)のいずれか一の撮影システム。
 (12)撮影箇所指定部は、撮影箇所とする箇所の中心を指定して、撮影箇所を指定する、上記(11)の撮影システム。
 (13)撮影箇所指定部は、撮影箇所とする箇所を囲む領域を指定して、撮影箇所を指定する、上記(11)の撮影システム。
 (14)撮影箇所設定装置は、撮影対象の画像から再撮影が必要な個所を検出する再撮影箇所検出部を更に備え、撮影箇所設定部は、再撮影箇所検出部で検出された箇所を撮影箇所に設定する、上記(1)から(10)のいずれか一の撮影システム。
 (15)再撮影箇所検出部は、画像が欠けた領域、及び/又は、画質が規定の基準以下の領域を再撮影が必要な個所として検出する、上記(14)の撮影システム。
 (16)参照画像生成部は、撮影箇所を中心として一定範囲の画像を撮影対象の画像から切り出して参照画像を生成する、上記(1)から(15)のいずれか一の撮影システム。
 (17)所在情報生成部は、撮影箇所の所在を示す情報として、撮影対象の画像に撮影箇所をマーキングした画像を生成する、上記(1)から(16)のいずれか一の撮影システム。
 (18)所在情報生成部は、撮影箇所の所在を示す情報として、撮影対象の画像に撮影箇所をマーキングし、かつ、規定のサイズに縮小した画像を生成する、上記(17)の撮影システム。
 (19)撮影対象が複数の区域に区分けされ、かつ、各区域に番地が割り当てられている場合において、所在情報生成部は、撮影箇所の所在を示す情報として、撮影箇所に設定された個所が存在する番地の情報を生成する、上記(1)から(16)のいずれか一の撮影システム。
 (20)撮影対象が構造物である場合において、所在情報生成部は、撮影箇所の所在を示す情報として、撮影箇所に設定された個所の地球上の位置の情報を生成する、上記(1)から(16)のいずれか一の撮影システム。
 (21)撮影対象画像取得部が取得する撮影対象の画像は、複数枚の画像をパノラマ合成した画像である、上記(1)から(20)のいずれか一の撮影システム。
 (22)第1表示部と、撮影対象の画像を取得する撮影対象画像取得部と、撮影対象の画像を第1表示部に表示させる表示制御部と、撮影対象の画像内で撮影箇所を設定する撮影箇所設定部と、設定された撮影箇所の所在を示す情報を生成する所在情報生成部と、撮影箇所の周辺を含む画像を撮影対象の画像から切り出して、参照画像を生成する参照画像生成部と、を備えた撮影箇所設定装置。
 (23)撮影部と、撮影対象に対して設定された撮影箇所の所在を示す情報、及び、撮影箇所の周辺を含む画像を撮影対象の画像から切り出して生成された参照画像を取得する撮影用情報取得部と、撮影箇所の所在を示す情報に基づいて、撮影箇所の撮影をガイドする第1ガイド部と、撮影部で撮影される画像から参照画像をリアルタイムに検出する参照画像検出部と、参照画像検出部の検出結果に基づいて、撮影箇所の撮影をガイドする第2ガイド部と、を備えた撮影装置。
 (24)撮影対象に対して設定された撮影箇所の所在を示す情報、及び、撮影箇所の周辺を含む画像を撮影対象の画像から切り出して生成された参照画像を取得するステップと、撮影箇所の所在を示す情報に基づいて、撮影箇所の撮影をガイドするステップと、撮影画像から参照画像をリアルタイムに検出するステップと、参照画像の検出結果に基づいて、撮影箇所の撮影をガイドするステップと、を備えた撮影方法。
 (25)撮影対象の画像を取得するステップと、撮影対象の画像内で撮影箇所を設定するステップと、設定された撮影箇所の所在を示す情報を生成するステップと、撮影箇所の周辺を含む画像を撮影対象の画像から切り出して、参照画像を生成するステップと、を更に備えた上記(24)の撮影方法。
 本発明によれば、撮影対象の特定箇所を簡単に撮影できる。
本発明に係る撮影システムの第1の実施形態のシステム構成を示す図 撮影箇所設定装置として機能するコンピュータの概略構成を示すブロック図 撮影箇所設定装置が有する主な機能のブロック図 デジタルカメラの概略構成を示すブロック図 ガイド機能を実現する構成のブロック図 橋梁を下から見た斜視図 パノラマ合成する場合の格間の撮影手順の一例を示す図 分割撮影の撮影結果の一例を示す図 図8の撮影結果に基づいて生成されるパノラマ合成画像の一例を示す図 撮影箇所設定装置の処理の手順を示すフローチャート 撮影対象の画像のディスプレイへの表示の一例を示す図 マーキング画像の一例を示す図 参照画像の生成の概念図 撮影ガイドモードに設定された場合のデジタルカメラの処理の手順を示すフローチャート 撮影ガイドモードに設定された場合のデジタルカメラの処理の手順を示すフローチャート マーキング画像のディスプレイへの表示の一例を示す図 参照画像が画角内に収まっている場合の検出枠の表示の一例を示す図 参照画像が画角内に収まっていない場合の検出枠の表示の一例を示す図 撮影箇所とする領域を枠で囲って撮影箇所を指定する場合の一例を示す図 撮影箇所とする領域を枠で囲って撮影箇所を指定する場合の一例を示す図 撮影箇所を自動設定する場合の撮影箇所設定装置の機能ブロック図 撮影対象への番地の割り当て一例を示す概念図 番地の情報を利用した所在情報の生成の概念図 番地情報を利用したガイド方法の一例を示す図 撮影箇所のGPS情報と現在地のGPS情報を表示する場合の一例を示す図 本発明に係る撮影システムの第2の実施形態のシステム構成を示す図 コントローラの電気的構成を示すブロック図 ガイド機能を実現する構成のブロック図 自動撮影を実現するための構成のブロック図
 以下、添付図面に従って本発明の好ましい実施の形態について説明する。
 [第1の実施の形態]
 [撮影システム]
 図1は、本発明に係る撮影システムの第1の実施形態のシステム構成を示す図である。
 本実施の形態の撮影システムは、撮影対象の一部に設定された撮影箇所をピンポイントで撮影するためのシステムとして構成される。特に、本実施の形態の撮影システムは、手動で撮影するシステムとして構成される。
 図1に示すように、撮影システムは、撮影箇所を設定するための撮影箇所設定装置10と、設定された撮影箇所を撮影するためのデジタルカメラ100と、を備える。デジタルカメラ100は、撮影装置の一例である。
 撮影箇所設定装置10及びデジタルカメラ100は、相互に通信可能に構成される。撮影箇所設定装置10とデジタルカメラ100との間の通信は、近距離無線通信(たとえば、NFC(Near Field Communication)規格、BlueTooth(登録商標)、WiFi(Wireless Fidelity)等の近距離無線通信規格に沿った通信)で行われる。あるいは、通信ネットワークを介して行われる。この通信ネットワークは、たとえば、3G(3rd Generation)、WiMAX(Worldwide Interoperability for Microwave Access)、LTE(Long Term Evolution)等の無線通信網及び各基地局、並びに、インターネットによって構築される。
 [撮影箇所設定装置]
 撮影箇所設定装置10は、ユーザから撮影箇所の指定を受け付けて撮影箇所を設定する機能、及び、設定された撮影箇所をデジタルカメラ100で撮影するために必要な情報を生成する機能を有する。
 撮影箇所設定装置10は、コンピュータで構成される。すなわち、コンピュータが所定のプログラム(撮影箇所設定プログラム)を実行することにより、撮影箇所設定装置として機能する。
 図2は、撮影箇所設定装置として機能するコンピュータの概略構成を示すブロック図である。なお、同図は、撮影箇所設定装置10が、タブレット型コンピュータで構成される場合の例を示している。
 同図に示すように、撮影箇所設定装置10は、全体の動作を制御するCPU(Central Processing Unit)11、基本入出力プログラム等を記憶したROM(Read Only Memory)12、CPU11のワークエリアとして使用されるRAM(Random Access Memory)13、CPU11が実行するオペレーティングシステムを含む各種プログラム及び各種データを記憶したEEPROM(Electrically Erasable and Programmable ROM)14、ディスプレイ15、ディスプレイ画面へのタッチ操作を検出するタッチパネル16、GPS(Global Positioning Systems)衛星又は屋内GPSとしてのIMES(Indoor MEssaging System)によって撮影箇所設定装置10の位置情報(緯度、経度及び高度)を含んだGPS信号を受信するGPS受信部17、撮影レンズ及びイメージセンサを含み、画像を電子的に撮影するカメラ部18、マイクロフォンを含み、音声を入力するマイク部19、スピーカを含み、音声を出力するスピーカ部20、アンテナ21Aを利用して最寄りの基地局と無線で通信する通信部21、アンテナ22Aを利用して外部機器と近距離無線通信する近距離無線通信部22、地磁気センサ、ジャイロコンパス、加速度センサ等の各種センサを含むセンサ部23、メモリカード25へのデータの読み書きを行うメディアドライブ24等を備える。
 なお、本実施の形態の撮影箇所設定装置10において、ディスプレイ15は第1表示部の一例であり、タッチパネル16は、撮影箇所指定部の一例である。
 図3は、撮影箇所設定装置が有する主な機能のブロック図である。
 撮影箇所設定装置10は、撮影対象の画像を取得する撮影対象画像取得部30A、ディスプレイ15の表示を制御する表示制御部30B、撮影箇所を設定する撮影箇所設定部30C、設定された撮影箇所の所在を示す情報を生成する所在情報生成部30D、参照画像を生成する参照画像生成部30E、及び、撮影箇所の所在を示す情報及び参照画像をデジタルカメラ100に送信する撮影用情報送信処理部30Fの機能を有する。各部の機能は、CPU11が所定のプログラム(撮影箇所設定プログラム)を実行することにより実現される。
 撮影対象画像取得部30Aは、撮影対象の画像を取得する。この画像は、撮影対象の全景の画像である。また、撮影対象を分割撮影して、パノラマ合成した場合には、パノラマ合成後の画像が取得される。撮影対象画像取得部30Aは、通信部21又は近距離無線通信部22を介して、外部機器(たとえば、サーバ等)から撮影対象の画像を取得する。あるいは、メディアドライブ24を介してメモリカード25から撮影対象の画像を取得する。
 表示制御部30Bは、ディスプレイ15の表示を制御する。表示制御部30Bは、第1表示部制御部の一例である。表示制御部30Bは、撮影対象画像取得部30Aで取得された撮影対象の画像をディスプレイ15に表示させる。
 撮影箇所設定部30Cは、撮影対象の画像内で撮影箇所を設定する。設定される撮影箇所は、撮影対象の一部分である。撮影箇所設定部30Cは、タッチパネル16からの入力に基づいて、撮影箇所を設定する。すなわち、撮影対象の画像が表示されたディスプレイ15の画面上でタッチされた箇所を撮影箇所に設定する。
 撮影箇所は点又は領域で指定する。たとえば、比較的小さな領域を撮影箇所とする場合は点で指定する。一方、比較的大きな領域を撮影箇所として指定する場合は、領域を指定する。点で指定する場合は、撮影箇所とする領域の中心(ほぼ中心と認められる範囲を含む)をタッチして、撮影箇所を指定する。領域で指定する場合は、撮影箇所とする領域の周囲を囲うようにタッチして、撮影箇所を指定する。
 所在情報生成部30Dは、撮影箇所設定部30Cで設定された撮影箇所の所在を示す情報を生成する。本実施の形態では、撮影箇所の所在を示す情報として、撮影対象の画像に撮影箇所をマーキングした画像を生成する。マーキングの形態は、特に限定されない。設定された撮影箇所が画像内で認識できる形態のものであればよい。たとえば、設定された撮影箇所を矢印で示したり、設定された撮影箇所を枠で囲ったりして、設定された撮影箇所の所在を示す形態を採用できる。
 参照画像生成部30Eは、設定された撮影箇所と、その周辺を含む画像を撮影対象の画像から切り出して、参照画像を生成する。たとえば、撮影箇所が点で指定された場合は、指定された点を中心とした一定範囲の画像(たとえば、指定された点を中心とした一定サイズの矩形領域の画像)を撮影対象の画像から切り出して、参照画像を生成する。また、たとえば、撮影箇所が領域で指定された場合は、指定された領域を囲う矩形領域を撮影対象の画像から切り出して、参照画像を生成する。このように、参照画像は、周辺の正常な画像(撮影の成功した解像度の高い画像)を含める形で生成される。
 撮影用情報送信処理部30Fは、所在情報生成部30Dで生成された撮影箇所の所在を示す情報及び参照画像生成部30Eで生成された参照画像をデジタルカメラ100に送信する。撮影用情報送信処理部30Fは、通信部21又は近距離無線通信部22を介して、撮影箇所の所在を示す情報及び参照画像をデジタルカメラ100に送信する。
 [デジタルカメラ]
 デジタルカメラ100は、通常の撮影及び再生機能に加えて、撮影箇所設定装置10で設定された撮影箇所の撮影をガイドする機能を有する。
 図4は、デジタルカメラの概略構成を示すブロック図である。
 同図に示すように、デジタルカメラ100は、撮影レンズ110、イメージセンサ112、アナログ信号処理部114、デジタル信号処理部116、メディアドライブ118、背面モニタ122、近距離無線通信部124、通信部126、ストロボ128、マイクロフォン130、スピーカ132、音声信号処理部134、カメラ操作部136、カメラマイコン140等を備える。
 撮影レンズ110は、被写体の光学像をイメージセンサ112の受光面上に結像させる。撮影レンズ110は、焦点調節機能及びズーム機能を有する。焦点調節機能及びズーム機能は、レンズ駆動部110Aに駆動されて動作する。また、撮影レンズ110は、絞り及びシャッタを有する。絞り及びシャッタは、レンズ駆動部110Aに駆動されて動作する。レンズ駆動部110Aは、カメラマイコン140からの指令に応じて、撮影レンズ110の各部を駆動する。
 イメージセンサ112は、たとえば、CCDイメージセンサ(CCD:Charge Coupled Device)、CMOSイメージセンサ(CMOS:Complementary Metal Oxide Semiconductor)等の二次元の固体撮像素子で構成される。イメージセンサ112は、センサ駆動部112Aに駆動されて動作する。センサ駆動部112Aは、カメラマイコン140からの指令に応じて、イメージセンサ112を駆動する。
 本実施の形態のデジタルカメラ100では、撮影レンズ110及びイメージセンサ112が撮影部を構成する。
 アナログ信号処理部114は、イメージセンサ112から出力される画素ごとのアナログの画像信号を取り込み、所定の信号処理(たとえば、相関二重サンプリング処理、増幅処理等)を施し、デジタル化して出力する。
 デジタル信号処理部116は、アナログ信号処理部114から出力されるデジタルの画像信号を取り込み、所定の信号処理(たとえば、階調変換処理、ホワイトバランス補正処理、ガンマ補正処理、同時化処理、YC変換処理等)を施して、画像データを生成する。
 メディアドライブ118は、メモリカード120にデータを読み書きする。メディアドライブ118は、カメラマイコン140からの指令に応じて、メモリカード120にデータを読み書きする。
 背面モニタ122は、たとえば、液晶ディスプレイ(Liquid Crystal Display;LCD)で構成される。背面モニタ122は、カメラボディの背面に備えられる。背面モニタ122は、第2表示部の一例である。背面モニタ122の表示は、カメラマイコン140で制御される。カメラマイコン140は、モニタドライバ122Aを介して、背面モニタ122の表示を制御する。
 近距離無線通信部124は、アンテナ124Aを利用して、外部機器(撮影箇所設定装置10等)と近距離無線で通信する。
 通信部126は、アンテナ126Aを利用して、最寄りの基地局と無線で通信する。
 ストロボ128は、光源として、たとえば、キセノン管、LED(Light Emitting Diode)等を備え、その光源を発光させて、被写体にストロボ光を照射する。ストロボ128は、ストロボ発光制御部128Aを介して、その発光がカメラマイコン140によって制御される。
 マイクロフォン130は、外部の音声を集音する。スピーカ132は、外部に音声を出力する。音声信号処理部134は、マイクロフォン130から入力される音声信号に所定の信号処理を施し、デジタル化して出力する。また、音声信号処理部134は、カメラマイコン140から与えられる音声データに所定の信号処理を施して、スピーカ132から出力させる。
 カメラ操作部136は、電源ボタン、レリーズボタン、ズームキー、メニューボタン、OKボタン、キャンセルボタン、十字ボタン、モード切替えスイッチ等の各種操作部材、及び、その信号処理回路を含み、各操作部材の操作に基づく信号をカメラマイコン140に出力する。
 カメラマイコン140は、デジタルカメラ100の全体の動作を統括制御する制御部である。カメラマイコン140は、CPU、ROM及びRAMを備えたマイクロコンピュータで構成され、所定のプログラムを実行することにより、各部の制御部等として機能する。
 上記のように、デジタルカメラ100は、通常の撮影及び再生機能に加えて、撮影箇所設定装置10で設定された撮影箇所の撮影をガイドする機能を有する。通常の撮影及び再生機能については、一般的なデジタルカメラが有するものと同じである。したがって、ここでは、ガイド機能について説明する。
 図5は、ガイド機能を実現する構成のブロック図である。
 同図に示すように、デジタルカメラ100のガイド機能は、主として、撮影箇所の所在を示す情報及び参照画像を取得する撮影用情報取得部140Aと、撮影箇所の所在を示す情報(所在情報)に基づいて、撮影箇所の撮影をガイドする第1ガイド部140Bと、撮影レンズ110を通してイメージセンサ112で撮影される画像から参照画像をリアルタイムに検出する参照画像検出部140Cと、参照画像検出部140Cの検出結果に基づいて、撮影箇所の撮影をガイドする第2ガイド部140Dと、で実現される。各部は、カメラマイコン140が、所定のプログラムを実行することにより実現される。
 撮影用情報取得部140Aは、撮影箇所設定装置10から所在情報及び参照画像を取得する。撮影用情報取得部140Aは、たとえば、通信部126を介して、撮影箇所設定装置10と通信し、撮影箇所設定装置10から所在情報及び参照画像を取得する。あるいは、近距離無線通信部124を介して、撮影箇所設定装置10と近距離無線通信し、撮影箇所設定装置10から所在情報及び参照画像を取得する。取得された所在情報は、第1ガイド部140Bに加えられ、参照画像は、参照画像検出部140Cに加えられる。
 第1ガイド部140Bは、所在情報に基づいて、撮影箇所の撮影をガイドする。上記のように、本実施の形態の撮影システムでは、所在情報が所定のマーキング画像で構成される。すなわち、撮影対象の画像に撮影箇所をマーキングした画像で構成される。第1ガイド部140Bは、このマーキング画像を背面モニタ122に表示させて、撮影箇所の撮影をガイドする。撮影者は、この背面モニタ122に表示されたマーキング画像を見ることにより、撮影箇所の大まかな位置を把握する。
 参照画像検出部140Cは、撮影レンズ110を通してイメージセンサ112で撮影された画像から参照画像と一致する領域をリアルタイムに検出する。この種の画像認識の技術は、公知であるので、その詳細については説明を省略する(たとえば、参照画像及び撮影画像から特徴点を抽出し、その比較により、撮影画像から参照画像の領域を検出する手法など種々の手法を採用できる。)。
 第2ガイド部140Dは、参照画像検出部140Cの検出結果に基づいて、撮影箇所の撮影をガイドする。本実施の形態では、撮影レンズ110を通してイメージセンサ112で撮影された画像をライブビュー画像として背面モニタ122にリアルタイムに表示し、かつ、参照画像が検出された場合は、その参照画像の領域を示す情報をライブビュー画像に重ねて表示することにより、撮影箇所の撮影をガイドする。より具体的には、参照画像の領域を示す枠(検出枠)をライブビュー画像に重ねて表示することにより、撮影箇所の撮影をガイドする。この際、第2ガイド部140Dは、撮影画像中に参照画像の一部が検出された場合と参照画像の全体が検出された場合とで枠の表示態様を替えて表示する。より具体的には、撮影画像中に参照画像の一部が検出された場合は、赤色の枠で表示する。一方、撮影画像中に参照画像の全体が検出された場合は、青色の枠で表示する。撮影者は、画角内に枠が収まるように、撮影アングル等を調整して、撮影を実施する。これにより、指定された撮影箇所を正確に撮影できる。
 [撮影方法]
 次に、本実施の形態の撮影システムを用いた撮影方法について説明する。
 ここでは、撮影対象を分割撮影して、パノラマ合成する場合において、一部を撮り直す場合を例に説明する。また、ここでは、橋梁の床版を撮影する場合を例に説明する。特に、点検を目的として、床版を撮影する場合を例に説明する。
 [橋梁]
 まず、橋梁について説明する。
 図6は、橋梁を下から見た斜視図である。
 本例の橋梁1は、主桁2、横桁3、対傾構4、横構5及び床版6を備えた立体的構造を有しており、これらの部材が、ボルト、リベット、溶接等で連結された構造を有している。主桁2等の上部には、車輌等が走行するための床版6が打設されている。床版6は、鉄筋コンクリート製のものが一般的である。主桁2は、橋台又は橋脚の間に渡されて、床版6上の車輌等の荷重を支える部材である。主桁2は、床版6の面(水平面)と直交する面(鉛直方向の面)を有する。横桁3は、主桁2を連結する部材である。横桁3は、荷重を複数の主桁2で支持するために備えられる。対傾構4及び横構5は、主桁2を相互に連結する部材である。対傾構4及び横構5は、それぞれ風及び地震の横荷重に抵抗するために備えられる。
 点検を目的とした床版6の撮影は、格間単位で実施される。格間は、床版6において、主桁2及び横桁3によって区分けされる一区画である。したがって、点検を目的とした床版6の撮影では、格間が撮影対象とされ、格間単位で分割撮影されて、パノラマ合成される。
 [格間の撮影]
 次に、パノラマ合成する場合の格間の撮影方法について説明する。
 図7は、パノラマ合成する場合の格間の撮影手順の一例を示す図である。
 パノラマ合成する場合は、撮影対象を複数の領域に分割し、複数回に分けて撮影する(いわゆる分割撮影)。図7において、符号Aで示す破線の枠は、一回の撮影範囲を示す枠である。図7に示す例では、y方向及びx方向に順次移動しながら、格間7内の各領域を撮影する様子を示している(図中の矢印は、移動方向を示している。)。
 撮影者(点検技術者)は、床版6に対して正対し、一定距離から撮影することを基本とする。また、隣り合う撮影領域において、互いに一部が重なり合うように撮影することを基本とする。
 [パノラマ合成]
 撮影により得られた複数枚の画像は、パノラマ合成されて1枚の画像とされる。パノラマ合成の技術自体は、公知であるので、その詳細についての説明は省略する。たとえば、画像同士の対応点を検出して、画像を繋ぎ合わせ、1枚の画像に合成する。この際、必要に応じて、各画像に拡縮補正、あおり補正及び回転補正等の補正を施す。
 図8は、分割撮影の撮影結果の一例を示す図である。同図において、符号Bで示す破線の枠は、一回の撮影で得られた画像の範囲を示す枠である。同図に示すように、本例では、撮り漏らした箇所Pが存在する。
 図9は、図8の撮影結果に基づいて生成されるパノラマ合成画像の一例を示す図である。なお、同図では、合成した各画像を破線で示している。同図に示すように、撮り漏らしがあると、撮り漏らした箇所Pが欠けた画像(一部が不足した画像)が、パノラマ合成画像PIとして生成される。
 このような撮り漏らしは、通常、パノラマ合成後に判明する。撮り漏らしが判明した場合は、撮り漏らした箇所Pを再撮影し、再度合成処理を行う。以下、本実施の形態の撮影システムを用いて、撮り漏らした箇所を再撮影する手順について説明する。
 再撮影の処理は、撮影箇所の設定と実際の撮影とに大きく分けられる。撮影箇所の設定は、撮影箇所設定装置10を用いて行われ、撮影は、デジタルカメラ100を用いて行われる。
 [撮影箇所の設定]
 上記のように、撮影箇所の設定は、撮影箇所設定装置10を用いて行われる。
 図10は、撮影箇所設定装置の処理の手順を示すフローチャートである。
 まず、撮影対象の画像を取得する(ステップS1)。撮影対象の画像は、通信部21又は近距離無線通信部22を介して、外部機器(たとえば、サーバ等)から取得する。あるいは、メディアドライブ24を介してメモリカード25から撮影対象の画像を取得する。なお、ここでの撮影対象の画像は、格間の画像であり、格間を分割撮影して得られた、パノラマ合成画像PIである。
 次に、取得した撮影対象の画像をディスプレイ15に表示する(ステップS2)。図11は、撮影対象の画像のディスプレイへの表示の一例を示す図である。画像は、タッチパネル16の操作に基づいて、拡大、縮小及び移動が行われる。たとえば、画面に対するピンチインの操作によって縮小し、ピンチアウトの操作によって拡大する。また、画面に対するスワイプの操作によって移動する。
 次に、撮影対象の画像が表示されたディスプレイ15の画面上で撮影箇所の指定を受け付ける(ステップS3)。撮影箇所の指定は、ディスプレイ15の画面上で撮影箇所とする箇所を指でタッチして指定する。本例は、撮り漏らした箇所Pを再撮影するので、撮り漏らした箇所Pを画面上でタッチして、撮影箇所を指定する。また、本例は、撮り漏らした箇所Pが小さいので、点で撮影箇所を指定する。この場合、撮影箇所(撮り漏らした箇所)とする箇所の中心を指でタッチして、撮影箇所を指定する。
 次に、指定された箇所を撮影箇所に設定する(ステップS4)。指定された箇所は、タッチパネル16で検出される。したがって、タッチパネル16の検出結果に基づいて、撮影箇所が設定される。
 次に、設定された撮影箇所の所在を示す情報(所在情報)を生成する(ステップS5)。本実施の形態では、所在情報として、撮影対象の画像に撮影箇所をマーキングした画像(マーキング画像)を生成する。図12は、マーキング画像の一例を示す図である。本例では、設定された撮影箇所を矢印Cで指し示した画像をマーキング画像IMとして生成している。
 次に、参照画像を生成する(ステップS6)。参照画像は、設定された撮影箇所と、その周辺を含む画像を撮影対象の画像から切り出して生成する。図13は、参照画像の生成の概念図である。同図に示すように、設定された撮影箇所を中心として、一定サイズの矩形領域を撮影対象の画像から切り出して、参照画像RFを生成する。
 以上一連の工程で撮影箇所の設定処理が完了する。次いで、設定された情報に基づいて、実際の撮影が行われる。
 [撮影]
 撮影は、デジタルカメラ100を用いて行われる。デジタルカメラ100は、撮影箇所設定装置10から所在情報(本例ではマーキング画像)及び参照画像を取得し、取得した情報に基づいて、撮影箇所の撮影をガイドする。ガイドは、デジタルカメラ100のモードを所定のモード(撮影ガイドモード)に設定して行われる。
 図14及び図15は、撮影ガイドモードに設定された場合のデジタルカメラの処理の手順を示すフローチャートである。
 まず、所在情報及び参照画像を取得する(ステップS11)。所在情報及び参照画像は、撮影箇所設定装置10から取得する。デジタルカメラ100は、撮影箇所設定装置10と通信して、撮影箇所設定装置10から所在情報及び参照画像を取得する。
 次に、取得した所在情報を背面モニタ122に表示する(ステップS12)。上記のように、所在情報は、撮影画像の画像中に撮影箇所をマーキングしたマーキング画像であるので、マーキング画像を背面モニタ122に表示する。図16は、マーキング画像のディスプレイへの表示の一例を示す図である。ユーザ(撮影者)は、この背面モニタ122に表示されたマーキング画像を見ることで、撮影箇所が、どこであるかを把握できる。すなわち、このマーキング画像の表示によって、撮影箇所へのガイドが行われる。
 次に、カメラ操作部136からの操作入力に基づいて、撮影開始の指示の有無を判定する(ステップS13)。撮影開始の指示は、たとえば、レリーズボタンの半押しで行われる。ユーザ(撮影者)は、撮影箇所を撮影できる位置において、撮影開始を指示する。
 撮影開始が指示された場合は、ライブビューを開始する(ステップS14)。撮影レンズ110を通してイメージセンサ112で撮影された画像を背面モニタ122にリアルタイムに表示する。
 なお、撮影開始の指示がない場合は、終了の指示の有無を判定する(ステップS15)。他のモード(たとえば、通常の撮影モード、再生モード等)に切り替えられた場合、電源がオフされた場合などは、終了が指示されたと判定する。この場合、撮影ガイドモードが終了する。
 ライブビューの開始と同時に撮影画像から参照画像をリアルタイムに検出する(ステップS16)。そして、その検出結果に基づいて、参照画像が検出されたか否かを判定する(ステップS17)。
 参照画像が検出された場合、参照画像が画角内に収まっているか否かを判定する(ステップS18)。すなわち、参照画像の全体が撮影されているか否かを判定する。
 参照画像が画角内に収まっている場合、参照画像の領域を示す青色の検出枠FBをライブビュー画像に重ねて表示する(ステップS19)。図17は、参照画像が画角内に収まっている場合の検出枠の表示の一例を示す図である。ユーザ(撮影者)は、この背面モニタ122の表示を見ることで、指定された撮影箇所が画角内に収まっていることを確認できる。
 一方、参照画像が画角内に収まっていない場合、すなわち、参照画像の一部のみが検出されている場合、参照画像の領域を示す赤色の検出枠FRをライブビュー画像に重ねて表示する(ステップS20)。図18は、参照画像が画角内に収まっていない場合の検出枠の表示の一例を示す図である。ユーザ(撮影者)は、この背面モニタ122の表示を見ることで、指定された撮影箇所の位置を確認できる。図18に示す例では、画面右下に赤色の検出枠FRが表示されている。したがって、この場合は、検出枠FRが画角内に収まるように、撮影位置及び/又は撮影方向を調整する。
 この後、本撮影の指示の有無を判定する(ステップS21)。すなわち、記録用の画像の取り込みの指示の有無を判定する。本撮影の指示は、レリーズボタンの押下で行われる。
 本撮影が指示された場合は、本撮影の処理を実施し、得られた画像を記録する(ステップS22)。すなわち、記録用の画像を取り込み、メモリカード120に記録する。この後、撮影ガイドモードを終了する。
 一方、本撮影の指示がない場合は、終了の指示の有無を判定する(ステップS23)。終了が指示されたと判定した場合は、撮影ガイドモードを終了する。一方、終了が指示されていないと判定した場合は、ステップS16に戻り、再度、参照画像の検出を実施する。
 このように、本実施の形態の撮影システムによれば、撮影が適切にガイドされるので、簡単に指定された撮影箇所を撮影できる。
 [変形例]
 [撮影箇所の指定方法の他の例]
 上記のように、撮影箇所は、撮影対象の画像が表示された画面上で、撮影箇所とする領域の周囲を囲うようにタッチして指定してもよい。すなわち、撮影対象とする領域を枠で囲って指定してもよい。
 図19及び図20は、撮影箇所とする領域を枠で囲って撮影箇所を指定する場合の一例を示す図である。なお、図19は、楕円形状の枠で囲って撮影箇所を指定する場合の一例を示しており、図20は、矩形状の枠で囲って撮影箇所を指定する場合の一例を示している。
 撮影対象とする領域を枠で囲って指定する場合は、図19及び図20に示すように、指定した領域を示す枠Wを画像に重ねて表示することが好ましい。これにより、指定した領域を明確にできる。
 また、指定した領域を示す枠Wは、必要に応じて、その位置及びサイズを調整できるようにすることが好ましい。たとえば、枠Wの領域内をタッチして、スワイプすることにより、枠Wの位置を調整したり、枠Wの領域内でピンチイン、ピンチアウトすることにより、枠Wのサイズを拡大、縮小したりできるようにすることが好ましい。
 なお、上記実施の形態では、タッチパネル16で撮影箇所を指定する構成としているが、撮影箇所を指定する手段は、これに限定されるものではない。撮影箇所設定装置10を構成するコンピュータが、マウス、ジョイスティック、キーボード等の入力デバイスを備えている場合は、これらの入力デバイス用いて、撮影箇所を指定する構成とすることもできる。
 また、上記実施の形態では、撮り漏らした箇所を撮影箇所として指定する場合を例に説明したが、撮影箇所とする箇所は、これに限定されるものではない。この他、たとえば、パノラマ合成画像では、画質が規定の基準以下の領域も撮り直しが必要になるので、当該領域を撮影箇所として指定することもできる。
 また、上記実施の形態では、撮影箇所を1つだけ設定する場合を例に説明したが、撮影箇所は、複数箇所設定することもできる。
 [撮影箇所を自動的に設定する方法]
 上記実施の形態では、撮影対象の画像が表示された画面上で撮影箇所とする箇所をユーザが指摘して、撮影箇所を設定する構成としているが、撮影箇所を自動で設定する構成とすることもできる。
 図21は、撮影箇所を自動設定する場合の撮影箇所設定装置の機能ブロック図である。
 本例の撮影箇所設定装置10は、撮影対象の画像から再撮影が必要な個所を自動で検出して、撮影箇所を自動設定する。特に、本例の撮影箇所設定装置10は、パノラマ合成された画像から画像が欠けた領域(画像が不足する領域)、及び、画質が規定の基準以下の領域を自動検出して、撮影箇所に設定する装置として構成される。
 図21に示すように、本例の撮影箇所設定装置10は、上記第1の実施の形態の撮影箇所設定装置10の構成に加えて、再撮影箇所検出部30Gを備えている。
 再撮影箇所検出部30Gは、撮影対象の画像を解析し、再撮影が必要な個所を検出する。本例では、パノラマ合成された画像から、画像が欠けた領域、及び、画質が規定の基準以下の領域を再撮影が必要な個所として検出する。再撮影箇所検出部30Gの検出結果は、撮影箇所設定部30Cに加えられる。
 撮影箇所設定部30Cは、再撮影箇所検出部30Gの検出結果に基づいて、撮影箇所を設定する。たとえば、検出された領域を矩形の枠で囲って、撮影箇所を設定する。設定された撮影箇所の情報は、所在情報生成部30D、参照画像生成部30E及び表示制御部30Bに加えられる。
 表示制御部30Bは、設定された撮影箇所を示す情報をディスプレイ15に表示する。たとえば、撮影箇所を示す枠をディスプレイ15に表示中の撮影対象の画像に重ねて表示する。
 このように、撮影箇所は、自動で設定する構成とすることもできる。なお、このように再撮影が必要な箇所を自動で検出して、撮影箇所に設定する場合、自動設定された撮影箇所をユーザが修正できるようにすることがより好ましい。たとえば、上記の例では、撮影箇所を示す枠がディスプレイ15に表示中の撮影対象の画像に重ねて表示されるので、この枠の位置、サイズ等を必要に応じて修正できるようにすることが好ましい。また、必要に応じて枠を追加、削除等できるようにすることが好ましい。修正は、タッチパネル16を利用する。
 [撮影箇所の所在を示す情報の他の例]
 上記実施の形態では、撮影箇所の所在を示す情報として、撮影対象の画像に撮影箇所をマーキングした画像を生成しているが、撮影箇所の所在を示す情報の形態は、これに限定されるものではない。撮影箇所を特定できる情報であればよい。
 (1)撮影箇所の所在を番地で示す方法
 撮影対象が複数の区域に区分けされ、かつ、各区域に番地が割り当てられている場合、その番地の情報を利用して、撮影箇所の所在を示すことができる。
 図22は、撮影対象への番地の割り当て一例を示す概念図である。
 同図に示す例では、撮影対象である床版6の1つの格間7をグリッド状に16分割し、各分割領域に所在を示す番地を割り当てている。各番地は、アルファベットと数字の組み合わせで示される。具体的には、x方向の位置をアルファベットで示し、y方向の位置を数字で示して、各分割領域に番地を割り当てている。たとえば、図22において、左上隅の領域の番地は「A1」となり、その右隣の領域の番地は「B1」となる。
 なお、パノラマ合成を目的とした撮影では、撮影対象をグリッド状に分割し、各分割領域に番地を割り当てるのが一般的である。このような場合は、撮影の際に使用した番地の情報をそのまま利用できる。
 図23は、番地の情報を利用した所在情報の生成の概念図である。
 同図に示すように、撮り漏らした箇所Pを撮影箇所として指定した場合、指定された箇所が存在する領域の番地が、撮影箇所の所在を示す情報となる。
 図23に示す例では、B3番地に撮影箇所(撮り漏らした箇所P)が存在するので、撮影箇所の所在を示す情報は「B3」となる。
 (2)GPS情報を利用して所在を示す方法
 撮影対象が、橋梁のような構造物である場合、撮影箇所として指定された箇所のGPS情報(地球上の位置の情報)を所在情報として用いてもよい。
 たとえば、GPS機能を備えたカメラで撮影した場合、その画像のタグ情報(たとえば、Exif(Exchangeable image file format)のタグ情報)にGPS情報が記録される。したがって、撮影対象の画像が、複数の画像をパノラマ合成したパノラマ合成画像であって、合成前の各画像がGPS情報を有している場合、各画像のGPS情報を利用して、撮影箇所のGPS情報を取得できる。たとえば、撮影箇所として指定された箇所の画像のGPS情報、又は、その近傍の画像のGPS情報を取得して、撮影箇所として指定された箇所のGPS情報を取得できる。あるいは、撮影箇所として指摘された箇所の近傍の画像のGPS情報から撮影箇所のGPS情報を算出して、撮影箇所のGPS情報を取得できる。
 また、橋梁のような構造物の場合、地図データ及び設計図のデータ等を利用して、GPS情報を取得することもできる。
 なお、GPS情報は、少なくとも緯度及び経度の情報を含むものとし、これに加えて高度の情報を含んでいてもよい。
 (3)その他の方法
 撮影箇所の所在を示す情報として、撮影対象の画像に撮影箇所をマーキングした画像を生成する場合、当該画像を規定のサイズに縮小した画像を生成して、マーキング画像としてもよい。これにより、デジタルカメラ100に当該データを送信等する際の負荷を軽減できる。縮小するサイズは、撮影装置に備えられる表示部の解像度等を考慮して設定することが好ましい。
 [第1ガイド部によるガイド方法の他の例]
 撮影箇所の所在を示す情報として、番地情報を使用する場合、デジタルカメラ100は、当該番地情報を取得し、背面モニタ122に表示する。この場合、撮影対象の画像も同時に取得し、番地情報と共に背面モニタ122に表示してもよい。
 図24は、番地情報を利用したガイド方法の一例を示す図である。同図に示すように、撮影箇所の番地の情報を背面モニタ122に表示する。なお、同図に示す例では、撮影対象の画像も同時に表示している。
 撮影箇所の所在を示す情報として、GPS情報を使用する場合、デジタルカメラ100は、当該GPS情報を取得し、背面モニタ122に表示する。
 なお、デジタルカメラ100が、GPS機能を備えている場合、現在地のGPS情報を取得し、撮影箇所のGPS情報と共に背面モニタ122に表示することが好ましい。図25は、撮影箇所のGPS情報と現在地のGPS情報を表示する場合の一例を示す図である。
 また、デジタルカメラ100が、GPS機能を備えている場合、現在地のGPS情報を取得して、撮影箇所のGPS情報と比較し、両者が一致した場合、あるいは、撮影箇所を中心とした一定の範囲内に到達した場合、その旨を音又は表示で告知してもよい。
 [撮影装置の他の例]
 上記実施の形態では、撮影装置をデジタルカメラで構成しているが、撮影装置の構成は、これに限定されるものではない。スマートホン、タブレット型コンピュータ、ノート型コンピュータ等の撮影機能を備えた携帯式の電子機器で構成することもできる。
 [第2の実施の形態]
 [構成]
 図26は、本発明に係る撮影システムの第2の実施形態のシステム構成を示す図である。
 本実施の形態の撮影システムは、撮影装置の構成が上記第1の実施の形態の撮影システムと相違する。本実施の形態の撮影システムは、デジタルカメラを搭載した無人航空機で撮影する。
 図26に示すように、撮影装置200は、デジタルカメラ210を搭載した無人航空機212と、その無人航空機212の飛行及びデジタルカメラ210の撮影を遠隔制御するコントローラ214と、で構成される。
 無人航空機212は、いわゆるドローンであり、その機体216に備えられた複数のプロペラ218を回転させて、大気中を飛行する。無人航空機212は、無人機の一例である。
 デジタルカメラ210は、撮影部の一例である。デジタルカメラ210は、パン及びチルト機能を有し、撮影方向を変更できる。パン及びチルトの機能は、図示しないパンチルト機構で実現される。パンチルト機構は、撮影方向変更部の一例である。デジタルカメラ210は、コントローラ214に遠隔操作されて、パン及びチルトされる。
 コントローラ214は、無人航空機212と無線で通信し、無人航空機212及びデジタルカメラ210を遠隔操作する。コントローラ214は、遠隔操作部の一例である。
 図27は、コントローラの電気的構成を示すブロック図である。
 コントローラ214は、操作部220、コントローラ用ディスプレイ222、無線通信部224及びコントローラマイコン226等を備える。
 操作部220は、無人航空機212及びデジタルカメラ210を操作するための各種操作部材、及び、その信号処理回路を含み、各操作部材の操作に基づく信号をコントローラマイコン226に出力する。無人航空機212を操作する操作部材には、たとえば、無人航空機212の上昇、下降を指示する操作部材、無人航空機212の旋回を指示する操作部材等が含まれる。デジタルカメラ210を操作する操作部材には、一般的なカメラの操作部材(レリーズボタン、ズームボタン等)の他、パン及びチルトの操作部材等が含まれる。
 コントローラ用ディスプレイ222は、たとえば、LCDで構成される。コントローラ用ディスプレイ222は、第2表示部の一例である。コントローラ用ディスプレイ222の表示は、コントローラマイコン226で制御される。コントローラマイコン226は、ディスプレイドライバ222Aを介して、コントローラ用ディスプレイ222の表示を制御する。
 無線通信部224は、アンテナ224Aを利用して、無人航空機212及び撮影箇所設定装置10と無線で通信する。
 コントローラマイコン226は、CPU、ROM、RAMを備えたマイクロコンピュータで構成される。コントローラマイコン226は、操作部220の操作に応じた制御信号を生成し、無線通信部224を介して無人航空機212に送信する。また、無線通信部224を介して無人航空機212からデジタルカメラ210の映像、及び、無人航空機212の飛行状態の情報等を取得し、コントローラ用ディスプレイ222に表示する。更に、コントローラマイコン226は、撮影箇所設定装置10から撮影箇所の所在情報及び参照画像を取得し、撮影箇所の撮影をガイドする。
 図28は、ガイド機能を実現する構成のブロック図である。
 同図に示すように、ガイド機能は、主として、撮影箇所の所在情報及び参照画像を取得する撮影用情報取得部226Aと、撮影箇所の所在情報に基づいて、撮影箇所の撮影をガイドする第1ガイド部226Bと、デジタルカメラ210で撮影される画像から参照画像をリアルタイムに検出する参照画像検出部226Cと、参照画像検出部226Cの検出結果に基づいて、撮影箇所の撮影をガイドする第2ガイド部226Dと、で実現される。各部は、コントローラマイコン226が、所定のプログラムを実行することにより実現される。
 撮影用情報取得部226Aは、撮影箇所設定装置10から所在情報及び参照画像を取得する。撮影用情報取得部226Aは、無線通信部224を介して撮影箇所設定装置10と通信し、撮影箇所設定装置10から所在情報及び参照画像を取得する。取得された所在情報は、第1ガイド部226Bに加えられ、参照画像は、参照画像検出部226Cに加えられる。
 第1ガイド部226Bは、所在情報に基づいて、撮影箇所の撮影をガイドする。なお、所在情報は、上記第1の実施の形態と同様に、マーキング画像(撮影対象の画像に撮影箇所をマーキングした画像)で構成されるものとする。第1ガイド部226Bは、マーキング画像をコントローラ用ディスプレイ222に表示させて、撮影箇所の撮影をガイドする。撮影者は、このコントローラ用ディスプレイ222に表示されたマーキング画像を見ることにより、撮影箇所の大まかな位置を把握する。
 参照画像検出部226Cは、デジタルカメラ210で撮影された画像から参照画像と一致する領域をリアルタイムに検出する。
 第2ガイド部226Dは、参照画像検出部226Cの検出結果に基づいて、撮影箇所の撮影をガイドする。本実施の形態では、デジタルカメラ210で撮影された画像をライブビュー画像としてコントローラ用ディスプレイ222にリアルタイムに表示し、かつ、参照画像が検出された場合は、その参照画像の領域を示す情報をライブビュー画像に重ねて表示することにより、撮影箇所の撮影をガイドする。より具体的には、参照画像の領域を示す枠(検出枠)をライブビュー画像に重ねて表示することにより、撮影箇所の撮影をガイドする。
 [作用]
 撮影箇所設定装置10で行われる処理については、上記第1の実施の形態の撮影システムと同じである。したがって、ここでは、無人航空機212を用いた撮影方法について説明する。
 まず、所在情報及び参照画像を取得する。コントローラ214は、無線通信部224を介して、無線で撮影箇所設定装置10と通信し、撮影箇所設定装置10から所在情報及び参照画像を取得する。
 所在情報及び参照画像が取得されると、まず、所在情報が、コントローラ用ディスプレイ222に表示される。上記のように、所在情報は、撮影画像の画像中に撮影箇所をマーキングしたマーキング画像であるので、マーキング画像がコントローラ用ディスプレイ222に表示される。ユーザ(撮影者)は、このコントローラ用ディスプレイ222に表示されたマーキング画像を見ることで、指定された撮影箇所が、どこであるかを把握する。
 ユーザ(撮影者)は、把握した情報に基づいてコントローラ214を操作し、指定された撮影箇所を撮影可能な位置に無人航空機212を移動させる。飛行中、無人航空機212は、デジタルカメラ210で撮影された画像をリアルタイムにコントローラ214に送信する。コントローラ214は、無人航空機212から送信されてくる画像をコントローラ用ディスプレイ222にリアルタイムに表示する。すなわち、ライブビュー表示する。
 また、コントローラ214は、無人航空機212から送信されてくる画像から参照画像をリアルタイムに検出する。参照画像が検出された場合は、参照画像の領域を示す枠(検出枠)をライブビュー画像に重ねて表示する。この際、参照画像が画角内に収まっている場合は、青色の枠で表示する。一方、参照画像が画角内に収まっていない場合、すなわち、参照画像の一部のみが検出されている場合は、赤色の枠(検出枠)で表示する。ユーザ(撮影者)は、このコントローラ用ディスプレイ222の表示を見ることで、指定された撮影箇所の位置を確認できる。枠が画角内に収まっていない場合は、コントローラ用ディスプレイ222の表示に基づいて、位置及び/又は撮影方向を調整する。枠が画角内の収まったところで、記録用の画像の取り込みを行い、撮影を終了する。
 このように、本実施の形態の撮影システムにおいても、撮影が適切にガイドされるので、簡単に指定された撮影箇所を撮影できる。
 [第3の実施の形態]
 [構成]
 本実施の形態の撮影システムは、指定された撮影箇所を無人航空機で自動撮影するシステムとして構成される。自動で撮影する点以外は、上記第2の実施の形態の撮影システムと同じである。したがって、ここでは、自動撮影を実現するための構成についてのみ説明する。
 図29は、自動撮影を実現するための構成のブロック図である。
 自動撮影の機能は、コントローラ214で実現される。すなわち、コントローラ214のコントローラマイコン226が、所定のプログラムを実行することにより、コントローラ214が自動撮影制御装置として機能する。
 図29に示すように、コントローラ214は、撮影箇所の所在情報及び参照画像を取得する撮影用情報取得部226Aと、撮影箇所の所在を示す情報に基づいて、撮影箇所を撮影可能な位置まで無人航空機212の移動(飛行)をガイドする情報を生成する第1ガイド情報生成部226Eと、第1ガイド情報生成部226Eで生成されるガイド情報に従って、無人航空機212の移動(飛行)を制御する移動制御部226Fと、デジタルカメラ210で撮影される画像から参照画像をリアルタイムに検出する参照画像検出部226Cと、参照画像検出部226Cの検出結果に基づいて、撮影箇所が撮影される位置に無人航空機212をガイドする情報を生成する第2ガイド情報生成部226Gと、第2ガイド情報生成部226Gで生成されるガイド情報に従って、無人航空機212の位置を自動で調整する自動調整部226Hと、の機能を有する。
 撮影用情報取得部226Aは、撮影箇所設定装置10から所在情報及び参照画像を取得する。撮影用情報取得部226Aは、無線通信部224を介して撮影箇所設定装置10と通信し、撮影箇所設定装置10から所在情報及び参照画像を取得する。なお、本実施の形態では、撮影箇所の所在情報として、GPS情報を取得する。取得された所在情報は、第1ガイド情報生成部226Eに加えられ、参照画像は、参照画像検出部226Cに加えられる。
 第1ガイド情報生成部226Eは、所在情報に基づいて、撮影箇所を撮影可能な位置まで無人航空機212をガイドする情報を生成する。具体的には、ガイド情報として、撮影箇所を撮影可能な位置までの飛行ルートを生成する。第1ガイド情報生成部226Eは、第1ガイド部の一例である。
 移動制御部226Fは、第1ガイド情報生成部226Eで生成されるガイド情報に従って、無人航空機212の移動(飛行)を制御する。具体的には、第1ガイド情報生成部226Eで生成されるガイド情報(飛行ルートの情報)に従って、無人航空機212の飛行を制御する信号を生成し、撮影箇所を撮影可能な位置に無人航空機212を移動させる。
 参照画像検出部226Cは、デジタルカメラ210で撮影された画像から参照画像と一致する領域をリアルタイムに検出する。
 第2ガイド情報生成部226Gは、参照画像検出部226Cの検出結果に基づいて、撮影箇所が撮影される位置に無人航空機212をガイドする情報を生成する。具体的には、参照画像の検出結果と、無人航空機212の現在の位置情報とに基づいて、参照画像を画角内に収めるために必要な無人航空機212の移動方向及び移動量を求め、ガイド情報を生成する。第2ガイド情報生成部226Gは、第2ガイド部の一例である。
 自動調整部226Hは、第2ガイド情報生成部226Gで生成されるガイド情報に従って、無人航空機212の位置を自動で調整する。具体的には、第2ガイド情報生成部226Gで生成されるガイド情報に従って、無人航空機212の飛行を制御する信号を生成し、撮影箇所が画角に収まる位置に無人航空機212を移動させる。
 [作用]
 撮影箇所設定装置10で行われる処理については、上記第1の実施の形態の撮影システムと実質的に同じである。したがって、ここでは、無人航空機212を用いた撮影方法について説明する。
 まず、所在情報及び参照画像を取得する。コントローラ214は、無線通信部224を介して、無線で撮影箇所設定装置10と通信し、撮影箇所設定装置10から所在情報及び参照画像を取得する。なお、上記のように、本実施の形態の撮影システムでは、所在情報としてGPS情報が取得される。したがって、撮影箇所設定装置10は、所在情報としてGPS情報を生成し、デジタルカメラ100に送信する。
 所在情報及び参照画像が取得されると、まず、撮影箇所を撮影可能な位置までの飛行ルートが設定される。飛行ルートは、所在情報に基づいて設定される。
 飛行ルートが設定されると、設定された飛行ルートに従って無人航空機212が飛行し、撮影箇所を撮影可能な位置に移動する。飛行中、無人航空機212は、デジタルカメラ210で撮影された画像をリアルタイムにコントローラ214に送信する。コントローラ214は、無人航空機212から送信されてくる画像をコントローラ用ディスプレイ222にリアルタイムに表示する。すなわち、ライブビュー表示する。
 また、コントローラ214は、無人航空機212から送信されてくる画像から参照画像をリアルタイムに検出する。参照画像が検出された場合は、参照画像の領域を示す枠(検出枠)をライブビュー画像に重ねて表示する。その一方で参照画像が画角内に収まるように、参照画像の検出結果に基づいて、無人航空機212の位置及び/又は撮影方向を自動調整する。たとえば、参照画像の中心が画角の中心に位置し、かつ、その外延が画角内に収まるように、無人航空機212の位置及び/又は撮影方向を自動調整する。そして、参照画像が画角内に収まったところで本撮影を実施する。本撮影後、飛行開始地点に復帰する。
 このように、本実施の形態の撮影システムによれば、撮影箇所を指定するだけで、指定された撮影箇所を自動で撮影できる。
 なお、本実施の形態では、撮影可能な箇所への移動、並びに、移動後の撮影位置及び撮影方向の調整を全て自動で行う構成としているが、いずれか一方のみを自動で行う構成とすることもできる。たとえば、撮影可能な位置までの移動を自動で行い、移動後の撮影位置及び撮影方向の調整を手動で行う構成とすることもできる。また、撮影可能な位置までの移動を手動で行い、移動後の撮影位置及び撮影方向の調整を自動で行う構成とすることもできる。
 また、上記実施の形態では、撮影中の画像を確認するために、コントローラ用ディスプレイ222にライブビューを表示させているが、ライブビューは必ずしも行う必要はない。したがって、本実施の形態の撮影システムでは、必ずしもコントローラ214にディスプレイを備える必要はない。
 [その他の実施の形態]
 [撮影対象の画像]
 上記実施の形態では、撮影箇所設定装置が、撮影対象の画像として、パノラマ合成した画像を取得する構成としているが、撮影対象の画像は、これに限定されるものではない。1枚の画像として撮影された画像を撮影対象の画像として取得することもできる。
 [撮影箇所設定装置]
 上記実施の形態では、撮影箇所設定装置をタブレット型コンピュータで構成しているが、撮影箇所設定装置の構成は、これに限定されるものではない。この他、スマートホン、パーソナルコンピュータ等で構成することもできる。
 また、上記実施の形態では、撮影対象の画像を外部機器から取得する構成としているが、撮影対象の画像がパノラマ合成された画像の場合、撮影箇所設定装置にパノラマ合成の機能を備えてもよい。この場合、撮影箇所設定装置は、パノラマ合成する画像群を外部機器から取得し、取得した画像群を内部でパノラマ合成する。すなわち、内部に備えられたパノラマ合成部で合成処理を行い、内部で撮影対象の画像(パノラマ合成画像)を生成する。
 [無人機]
 上記実施の形態では、無人機として、無人航空機を使用して撮影する場合を例に説明したが、本発明で使用可能な無人機は、これに限定されるものではない。無人で地上を走行する無人地上車両、無人で水上を航行する無人水上艦、無人で水中を航行する無人潜水艦、及び、無人で宇宙空間を飛行する無人宇宙機等を使用して撮影する場合にも、本発明は適用できる。また、本発明の無人機には、ロボットの概念が含まれる。
 [撮影箇所設定装置のハードウェア構成の変形例]
 撮影箇所設定装置を実現するハードウェアは、各種のプロセッサ(processor)で構成できる。各種プロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device;PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。点検支援装置を構成する1つの処理部は、上記各種プロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサで構成されてもよい。たとえば、1つの処理部は、複数のFPGA、あるいは、CPUとFPGAの組み合わせによって構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip;SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種プロセッサを1つ以上用いて構成される。更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
 撮影装置におけるカメラマイコンの機能を実現するハードウェアについても同様に、各種のプロセッサで構成できる。
1 橋梁
2 主桁
3 横桁
4 対傾構
5 横構
6 床版
7 格間
10 撮影箇所設定装置
11 CPU
15 ディスプレイ
16 タッチパネル
17 GPS受信部
18 カメラ部
19 マイク部
20 スピーカ部
21 通信部
21A アンテナ
22 近距離無線通信部
22A アンテナ
23 センサ部
24 メディアドライブ
25 メモリカード
30A 撮影対象画像取得部
30B 表示制御部
30C 撮影箇所設定部
30D 所在情報生成部
30E 参照画像生成部
30F 撮影用情報送信処理部
30G 再撮影箇所検出部
100 デジタルカメラ
110 撮影レンズ
110A レンズ駆動部
112 イメージセンサ
112A センサ駆動部
114 アナログ信号処理部
116 デジタル信号処理部
118 メディアドライブ
120 メモリカード
122 背面モニタ
122A モニタドライバ
124 近距離無線通信部
124A アンテナ
126 通信部
126A アンテナ
128 ストロボ
128A ストロボ発光制御部
130 マイクロフォン
132 スピーカ
134 音声信号処理部
136 カメラ操作部
140 カメラマイコン
140A 撮影用情報取得部
140B 第1ガイド部
140C 参照画像検出部
140D 第2ガイド部
200 撮影装置
210 デジタルカメラ
212 無人航空機
214 コントローラ
216 機体
218 プロペラ
220 操作部
222 コントローラ用ディスプレイ
222A ディスプレイドライバ
224 無線通信部
224A アンテナ
226 コントローラマイコン
226A 撮影用情報取得部
226B 第1ガイド部
226C 参照画像検出部
226D 第2ガイド部
226E 第1ガイド情報生成部
226F 移動制御部
226G 第2ガイド情報生成部
226H 自動調整部
C 設定された撮影箇所を矢印
FB 検出枠
FR 検出枠
IM マーキング画像
P 撮り漏らした箇所
PI パノラマ合成画像
RF 参照画像
W 指定した領域を示す枠
S1~S6 撮影箇所設定装置の処理の手順
S11~S23 デジタルカメラの処理の手順

Claims (25)

  1.  第1表示部と、
     撮影対象の画像を取得する撮影対象画像取得部と、
     前記撮影対象の画像を前記第1表示部に表示させる表示制御部と、
     前記撮影対象の画像内で撮影箇所を設定する撮影箇所設定部と、
     設定された前記撮影箇所の所在を示す情報を生成する所在情報生成部と、
     前記撮影箇所の周辺を含む画像を前記撮影対象の画像から切り出して、参照画像を生成する参照画像生成部と、
     を備えた撮影箇所設定装置と、
     撮影部と、
     前記撮影箇所の所在を示す情報及び前記参照画像を取得する撮影用情報取得部と、
     前記撮影箇所の所在を示す情報に基づいて、前記撮影箇所の撮影をガイドする第1ガイド部と、
     前記撮影部で撮影される画像から前記参照画像をリアルタイムに検出する参照画像検出部と、
     前記参照画像検出部の検出結果に基づいて、前記撮影箇所の撮影をガイドする第2ガイド部と、
     を備えた撮影装置と、
     を備えた撮影システム。
  2.  前記撮影装置は、第2表示部を更に備え、
     前記第2ガイド部は、前記撮影部で撮影される画像をライブビュー画像として前記第2表示部にリアルタイムに表示し、かつ、前記参照画像が検出された場合は、前記参照画像の領域を示す情報を前記ライブビュー画像に重ねて表示する、
     請求項1に記載の撮影システム。
  3.  前記第2ガイド部は、前記参照画像が検出された場合に、前記参照画像の領域を示す枠を前記ライブビュー画像に重ねて表示する、
     請求項2に記載の撮影システム。
  4.  前記第2ガイド部は、前記参照画像の一部が検出された場合と前記参照画像の全体が検出された場合とで前記枠の表示態様を替える、
     請求項3に記載の撮影システム。
  5.  前記第2ガイド部は、前記参照画像の一部が検出された場合と前記参照画像の全体が検出された場合とで前記枠の色を替える、
     請求項4に記載の撮影システム。
  6.  前記第1ガイド部は、前記撮影箇所の所在を示す情報を前記第2表示部に表示させる、
     請求項2から5のいずれか1項に記載の撮影システム。
  7.  前記撮影装置は、
     前記撮影部が搭載された無人機と、
     前記無人機及び前記撮影部を遠隔操作する遠隔操作部と、
     を更に備える請求項1から6のいずれか1項に記載の撮影システム。
  8.  前記第1ガイド部は、前記撮影箇所の所在を示す情報に基づいて、前記撮影箇所を撮影可能な位置まで前記無人機の移動をガイドする情報を生成し、
     前記撮影装置は、前記第1ガイド部で生成されるガイド情報に従って、前記無人機の移動を制御する移動制御部を更に備える、
     請求項7に記載の撮影システム。
  9.  前記第2ガイド部は、前記参照画像検出部の検出結果に基づいて、前記撮影箇所が撮影される位置に前記無人機をガイドする情報を生成し、
     前記撮影装置は、前記第2ガイド部で生成されるガイド情報に従って、前記無人機の位置を自動で調整する自動調整部を更に備える、
     請求項7又は8に記載の撮影システム。
  10.  前記無人機が、前記撮影部の撮影方向を変更する撮影方向変更部を備え、
     前記第2ガイド部は、前記参照画像検出部の検出結果に基づいて、前記無人機の位置及び/又は前記撮影部の撮影方向をガイドする情報を生成し、
     前記撮影装置は、前記第2ガイド部で生成されるガイド情報に従って、前記無人機の位置及び/又は前記撮影部の撮影方向を自動で調整する自動調整部を更に備える、
     請求項7又は8に記載の撮影システム。
  11.  前記撮影箇所設定装置は、
     前記撮影対象の画像が表示された前記第1表示部の画面上で前記撮影箇所を指定する撮影箇所指定部を更に備え、
     前記撮影箇所設定部は、前記撮影箇所指定部で指定された箇所を前記撮影箇所に設定する、
     請求項1から10のいずれか1項に記載の撮影システム。
  12.  前記撮影箇所指定部は、前記撮影箇所とする箇所の中心を指定して、前記撮影箇所を指定する、
     請求項11に記載の撮影システム。
  13.  前記撮影箇所指定部は、前記撮影箇所とする箇所を囲む領域を指定して、前記撮影箇所を指定する、
     請求項11に記載の撮影システム。
  14.  前記撮影箇所設定装置は、
     前記撮影対象の画像から再撮影が必要な個所を検出する再撮影箇所検出部を更に備え、
     前記撮影箇所設定部は、前記再撮影箇所検出部で検出された箇所を前記撮影箇所に設定する、
     請求項1から10のいずれか1項に記載の撮影システム。
  15.  前記再撮影箇所検出部は、画像が欠けた領域、及び/又は、画質が規定の基準以下の領域を前記再撮影が必要な個所として検出する、
     請求項14に記載の撮影システム。
  16.  前記参照画像生成部は、前記撮影箇所を中心として一定範囲の画像を前記撮影対象の画像から切り出して前記参照画像を生成する、
     請求項1から15のいずれか1項に記載の撮影システム。
  17.  前記所在情報生成部は、前記撮影箇所の所在を示す情報として、前記撮影対象の画像に前記撮影箇所をマーキングした画像を生成する、
     請求項1から16のいずれか1項に記載の撮影システム。
  18.  前記所在情報生成部は、前記撮影箇所の所在を示す情報として、前記撮影対象の画像に前記撮影箇所をマーキングし、かつ、規定のサイズに縮小した画像を生成する、
     請求項17に記載の撮影システム。
  19.  前記撮影対象が複数の区域に区分けされ、かつ、各区域に番地が割り当てられている場合において、
     前記所在情報生成部は、前記撮影箇所の所在を示す情報として、前記撮影箇所に設定された個所が存在する番地の情報を生成する、
     請求項1から16のいずれか1項に記載の撮影システム。
  20.  前記撮影対象が構造物である場合において、
     前記所在情報生成部は、前記撮影箇所の所在を示す情報として、前記撮影箇所に設定された個所の地球上の位置の情報を生成する、
     請求項1から16のいずれか1項に記載の撮影システム。
  21.  前記撮影対象画像取得部が取得する前記撮影対象の画像は、複数枚の画像をパノラマ合成した画像である、
     請求項1から20のいずれか1項に記載の撮影システム。
  22.  第1表示部と、
     撮影対象の画像を取得する撮影対象画像取得部と、
     前記撮影対象の画像を前記第1表示部に表示させる表示制御部と、
     前記撮影対象の画像内で撮影箇所を設定する撮影箇所設定部と、
     設定された前記撮影箇所の所在を示す情報を生成する所在情報生成部と、
     前記撮影箇所の周辺を含む画像を前記撮影対象の画像から切り出して、参照画像を生成する参照画像生成部と、
     を備えた撮影箇所設定装置。
  23.  撮影部と、
     撮影対象に対して設定された撮影箇所の所在を示す情報、及び、前記撮影箇所の周辺を含む画像を前記撮影対象の画像から切り出して生成された参照画像を取得する撮影用情報取得部と、
     前記撮影箇所の所在を示す情報に基づいて、前記撮影箇所の撮影をガイドする第1ガイド部と、
     前記撮影部で撮影される画像から前記参照画像をリアルタイムに検出する参照画像検出部と、
     前記参照画像検出部の検出結果に基づいて、前記撮影箇所の撮影をガイドする第2ガイド部と、
     を備えた撮影装置。
  24.  撮影対象に対して設定された撮影箇所の所在を示す情報、及び、前記撮影箇所の周辺を含む画像を前記撮影対象の画像から切り出して生成された参照画像を取得するステップと、
     前記撮影箇所の所在を示す情報に基づいて、前記撮影箇所の撮影をガイドするステップと、
     撮影画像から前記参照画像をリアルタイムに検出するステップと、
     前記参照画像の検出結果に基づいて、前記撮影箇所の撮影をガイドするステップと、
     を備えた撮影方法。
  25.  撮影対象の画像を取得するステップと、
     前記撮影対象の画像内で前記撮影箇所を設定するステップと、
     設定された前記撮影箇所の所在を示す情報を生成するステップと、
     前記撮影箇所の周辺を含む画像を前記撮影対象の画像から切り出して、前記参照画像を生成するステップと、
     を更に備えた請求項24に記載の撮影方法。
PCT/JP2020/002949 2019-02-07 2020-01-28 撮影システム、撮影箇所設定装置、撮影装置及び撮影方法 Ceased WO2020162264A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080013193.8A CN113396361B (zh) 2019-02-07 2020-01-28 摄影系统、摄影部位设定装置、摄影装置及摄影方法
JP2020571115A JP7148648B2 (ja) 2019-02-07 2020-01-28 撮影システム、撮影箇所設定装置、撮影装置及び撮影方法
EP20751927.3A EP3923065B1 (en) 2019-02-07 2020-01-28 Photographing system, photographing spot setting device, photographing device, and photographing method
US17/383,520 US20210352208A1 (en) 2019-02-07 2021-07-23 Photographing system, photographed-portion setting apparatus, photographing apparatus, and photographing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019020702 2019-02-07
JP2019-020702 2019-02-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/383,520 Continuation US20210352208A1 (en) 2019-02-07 2021-07-23 Photographing system, photographed-portion setting apparatus, photographing apparatus, and photographing method

Publications (1)

Publication Number Publication Date
WO2020162264A1 true WO2020162264A1 (ja) 2020-08-13

Family

ID=71947619

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/002949 Ceased WO2020162264A1 (ja) 2019-02-07 2020-01-28 撮影システム、撮影箇所設定装置、撮影装置及び撮影方法

Country Status (5)

Country Link
US (1) US20210352208A1 (ja)
EP (1) EP3923065B1 (ja)
JP (1) JP7148648B2 (ja)
CN (1) CN113396361B (ja)
WO (1) WO2020162264A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022174432A1 (en) * 2021-02-20 2022-08-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method of suggesting shooting position for electronic device and electronic device
JPWO2023089984A1 (ja) * 2021-11-19 2023-05-25
WO2023089983A1 (ja) * 2021-11-19 2023-05-25 富士フイルム株式会社 情報処理装置、情報処理方法及びプログラム
JP2023093044A (ja) * 2021-12-22 2023-07-04 キヤノン株式会社 情報処理装置、撮影システム、方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012160904A (ja) 2011-01-31 2012-08-23 Sony Corp 情報処理装置、情報処理方法、プログラム、及び撮像装置
JP2014072803A (ja) * 2012-09-28 2014-04-21 Brother Ind Ltd 作業補助システムおよびプログラム
JP2016012232A (ja) * 2014-06-28 2016-01-21 ソフトバンク株式会社 携帯端末、プログラム及び作業情報管理システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006108915A (ja) * 2004-10-01 2006-04-20 Canon Inc 画像撮影装置及び画像撮影方法
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
US8060270B2 (en) * 2008-02-29 2011-11-15 The Boeing Company System and method for inspection of structures and objects by swarm of remote unmanned vehicles
JP5511001B2 (ja) * 2009-12-14 2014-06-04 Necカシオモバイルコミュニケーションズ株式会社 撮像装置及び撮影案内システム並びにプログラム
JP2011229008A (ja) * 2010-04-21 2011-11-10 Canon Inc 画像撮影装置、及びプログラム
US20130076941A1 (en) * 2011-09-23 2013-03-28 Adobe Systems Incorporated Systems And Methods For Editing Digital Photos Using Surrounding Context
JP6103526B2 (ja) * 2013-03-15 2017-03-29 オリンパス株式会社 撮影機器,画像表示機器,及び画像表示機器の表示制御方法
JP2014232407A (ja) * 2013-05-29 2014-12-11 株式会社ゼンリンデータコム 撮影スポット案内システム、撮影スポット案内方法及びコンピュータプログラム
US10021295B1 (en) * 2013-06-03 2018-07-10 Amazon Technologies, Inc. Visual cues for managing image capture
US9185284B2 (en) * 2013-09-06 2015-11-10 Qualcomm Incorporated Interactive image composition
JP6264834B2 (ja) * 2013-10-24 2018-01-24 富士通株式会社 ガイド方法、情報処理装置およびガイドプログラム
JP2015231101A (ja) * 2014-06-04 2015-12-21 パイオニア株式会社 撮影条件推定装置及び方法、端末装置、コンピュータプログラム並びに記録媒体
US10178303B2 (en) * 2015-05-29 2019-01-08 Hover Inc. Directed image capture
CN105611170A (zh) * 2015-12-31 2016-05-25 深圳市道通智能航空技术有限公司 一种无人机及其全景拼接方法、装置和系统
CN107026973B (zh) * 2016-02-02 2020-03-13 株式会社摩如富 图像处理装置、图像处理方法与摄影辅助器材

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012160904A (ja) 2011-01-31 2012-08-23 Sony Corp 情報処理装置、情報処理方法、プログラム、及び撮像装置
JP2014072803A (ja) * 2012-09-28 2014-04-21 Brother Ind Ltd 作業補助システムおよびプログラム
JP2016012232A (ja) * 2014-06-28 2016-01-21 ソフトバンク株式会社 携帯端末、プログラム及び作業情報管理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3923065A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022174432A1 (en) * 2021-02-20 2022-08-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method of suggesting shooting position for electronic device and electronic device
JPWO2023089984A1 (ja) * 2021-11-19 2023-05-25
WO2023089983A1 (ja) * 2021-11-19 2023-05-25 富士フイルム株式会社 情報処理装置、情報処理方法及びプログラム
JPWO2023089983A1 (ja) * 2021-11-19 2023-05-25
JP2023093044A (ja) * 2021-12-22 2023-07-04 キヤノン株式会社 情報処理装置、撮影システム、方法、及びプログラム
US12604087B2 (en) 2021-12-22 2026-04-14 Canon Kabushiki Kaisha Information processing apparatus, shooting system, method, and non-transitory computer-readable storage medium that determine whether image qualities are favorable

Also Published As

Publication number Publication date
EP3923065A1 (en) 2021-12-15
CN113396361A (zh) 2021-09-14
CN113396361B (zh) 2023-04-18
JPWO2020162264A1 (ja) 2021-12-09
JP7148648B2 (ja) 2022-10-05
EP3923065A4 (en) 2022-04-06
EP3923065B1 (en) 2025-05-14
US20210352208A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
US11710205B2 (en) Image capturing method and display method for recognizing a relationship among a plurality of images displayed on a display screen
JP7148648B2 (ja) 撮影システム、撮影箇所設定装置、撮影装置及び撮影方法
US20080174679A1 (en) Portable device
JP2004318823A (ja) 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法
JP6785412B2 (ja) 無人航空機システム
JP2016012872A (ja) 撮影装置及び撮影方法
US10291835B2 (en) Information processing apparatus, imaging apparatus, information processing method, and imaging system
JP2020153873A (ja) 診断処理装置、診断システム、診断処理方法、及びプログラム
JP2011186621A (ja) 検査支援システムおよび検査支援方法
JP5750696B2 (ja) 表示装置および表示プログラム
JP2021132352A (ja) 撮像装置、撮影システム、およびその制御方法
US20080154492A1 (en) Portable device
JP5847591B2 (ja) 情報処理装置、情報処理装置の情報処理方法およびプログラム
JP6639832B2 (ja) 撮像装置,撮像方法,撮像プログラム
JP4468794B2 (ja) 表示制御装置、カメラ及び表示制御方法
JP7081198B2 (ja) 撮影システム及び撮影制御装置
JP2023134182A (ja) 情報処理装置、制御方法、プログラム及びシステム
JPWO2018180214A1 (ja) 画像処理装置、カメラ装置、および画像処理方法
JP2006174353A (ja) 撮影装置及びプログラム
JP2019024206A (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
JP6331562B2 (ja) 特定装置、特定方法及びプログラム
WO2023089983A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2016134643A (ja) 携帯機器、表示方法およびプログラム
JP2022029582A (ja) 画像処理装置、ユーザ端末、プログラム
JP2012151758A (ja) 撮影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20751927

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020571115

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020751927

Country of ref document: EP

Effective date: 20210907

WWG Wipo information: grant in national office

Ref document number: 2020751927

Country of ref document: EP