WO2021205979A1 - 撮像装置、撮像装置の制御方法およびプログラム - Google Patents

撮像装置、撮像装置の制御方法およびプログラム Download PDF

Info

Publication number
WO2021205979A1
WO2021205979A1 PCT/JP2021/014160 JP2021014160W WO2021205979A1 WO 2021205979 A1 WO2021205979 A1 WO 2021205979A1 JP 2021014160 W JP2021014160 W JP 2021014160W WO 2021205979 A1 WO2021205979 A1 WO 2021205979A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
photographer
imaging device
line
slow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/014160
Other languages
English (en)
French (fr)
Inventor
理和 三ツ木
尚将 杉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to US17/910,225 priority Critical patent/US12619302B2/en
Priority to EP21783813.5A priority patent/EP4134740A4/en
Priority to JP2022514441A priority patent/JP7697457B2/ja
Priority to CN202180026568.9A priority patent/CN115362670B/zh
Publication of WO2021205979A1 publication Critical patent/WO2021205979A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/20—Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B2213/02—Viewfinders
    • G03B2213/025—Sightline detection

Definitions

  • the present disclosure relates to an imaging device, a control method and a program of the imaging device.
  • Patent Document 1 describes a technique for monitoring whether or not a photographer is looking into a finder and stopping video recording when the photographer is not looking through the finder.
  • the present disclosure provides, for example, an image pickup apparatus, a control method and a program of the image pickup apparatus capable of performing appropriate control even when the state of the photographer has not determined the gaze target (undecided state). That is one of the purposes.
  • the present disclosure is, for example, It is provided with a control unit that executes control in a manner corresponding to the state of the photographer determined based on the line-of-sight information being the undetermined state of the gaze target. It is an imaging device.
  • control unit executes control in a manner corresponding to the state of the photographer determined based on the line-of-sight information being the undetermined state of the gaze target. This is a control method for an image pickup device.
  • the control unit executes control in a manner corresponding to the state of the photographer determined based on the line-of-sight information being the undetermined state of the gaze target.
  • This is a program that causes a computer to execute a control method for an image pickup device.
  • FIG. 1 is a block diagram for explaining a configuration example of an imaging device according to an embodiment.
  • FIG. 2 is a diagram showing a distribution example of the line-of-sight detection result.
  • FIG. 3 is a flowchart showing a flow of processing performed by the image pickup apparatus according to the embodiment.
  • 4A to 4C are diagrams for explaining an example of control performed when the state of the photographer is an unselected state of the gaze target.
  • FIG. 5 is a flowchart for explaining an example of the flow of control performed when the state of the photographer is the unselected state of the gaze target.
  • FIG. 6 is a flowchart for explaining an example of the control flow performed when the photographer's state is a slow state.
  • FIG. 1 is a block diagram for explaining a configuration example of an imaging device according to an embodiment.
  • FIG. 2 is a diagram showing a distribution example of the line-of-sight detection result.
  • FIG. 3 is a flowchart showing a flow of processing performed by the image pickup apparatus according to the
  • FIG. 7 is a flowchart for explaining another example of the control flow performed when the photographer's state is a slow state.
  • FIG. 8 is a flowchart for explaining another example of the control flow performed when the photographer's state is a slow state.
  • FIG. 9 is a flowchart for explaining another example of the control flow performed when the photographer's state is a slow state.
  • FIG. 10 is a flowchart for explaining a modified example.
  • FIG. 11 is a flowchart for explaining a modified example.
  • the image pickup device 100 includes a control unit 101, an optical image pickup system 102, a lens drive driver 103, an image sensor 104, an image signal processing unit 105, a codec unit 106, a storage unit 107, an interface 108, an input unit 109, a display unit 110, and a microphone 111. , A detection unit 112, an AF control unit 113, and a line-of-sight detection unit 114.
  • the control unit 101 includes a photographer state determination unit 101A that determines the state of the photographer based on the line-of-sight information as a functional block.
  • the control unit 101 is composed of a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.
  • the CPU executes various processes according to the program stored in the ROM and issues commands to control the entire image pickup apparatus 100 and each part in an integrated manner. Further, the control unit 101 executes control in a manner corresponding to the state of the photographer determined based on the line-of-sight information being an undetermined state of the gaze target. Details of the processing performed by the control unit 101 will be described later.
  • the optical imaging system 102 includes an imaging lens for concentrating light from a subject on an imaging element 104, a drive mechanism for moving the imaging lens to perform focusing and zooming, a shutter mechanism, an iris mechanism, and the like. There is. These are driven based on the control signals from the control unit 101 and the lens drive driver 103. The optical image of the subject obtained through the optical image pickup system 102 is imaged on the image pickup device 104.
  • the lens drive driver 103 is configured by, for example, a microcomputer or the like, and moves the imaging lens by a predetermined amount along the optical axis direction based on the focus control information supplied from the AF control unit 113 or the information processing device 200 to achieve the target. Autofocus is performed so that the subject is in focus. Further, according to the control from the control unit 101, the operation of the drive mechanism, the shutter mechanism, the iris mechanism, etc. of the optical imaging system 102 is controlled. As a result, the exposure time (shutter speed) and the aperture value (F value) are adjusted.
  • the image pickup element 104 photoelectrically converts the incident light from the subject obtained through the image pickup lens, converts it into an amount of electric charge, and outputs an image pickup signal. Then, the image sensor 104 outputs the pixel signal to the image signal processing unit 105.
  • a CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the image sensor 104 has R (Red) pixels, G (Green) pixels, B (Blue) pixels, which are normal pixels, and a phase difference detection pixel that performs phase difference detection. So-called phase difference AF (Auto Focus) can be performed using the phase difference information output from the phase difference detection pixels.
  • phase difference detection pixel functions only as a phase difference detection pixel and may not function as a normal pixel. Since one pixel is composed of two independent photodiodes, it is used for imaging and phase difference detection. It may function as a diode.
  • the phase difference detection may be performed by an AF sensor dedicated to the phase difference detection.
  • the image signal processing unit 105 is a sample hold for maintaining a good S / N (Signal / Noise) ratio by CDS (Correlated Double Sampling) processing with respect to the image pickup signal output from the image pickup element 104, and AGC (Auto Gain Control). ) Processing, A / D (Analog / Digital) conversion, etc. are performed to create an image signal. Further, the image signal processing unit 105 performs a recording process on the image signal for recording, and a display process on the image signal for display.
  • the codec unit 106 performs coding processing for recording or communication, for example, on the image signal that has been subjected to the predetermined processing.
  • the storage unit 107 is a large-capacity storage medium such as a hard disk or a flash memory.
  • the video data and image data processed by the image signal processing unit 105 and the codec unit 106 are stored in a compressed state or an uncompressed state based on a predetermined standard.
  • EXIF ExchangeableImageFileFormat
  • additional information such as information on the saved data, imaging position information indicating the imaging position, and imaging time information indicating the imaging date and time is also stored in association with the data.
  • Interface 108 is an interface between other devices and the Internet.
  • Interface 108 may include a wired or wireless communication interface. More specifically, the wired or wireless communication interface is cellular communication such as 3TTE, Wi-Fi, Bluetooth (registered trademark), NFC (Near Field Communication), Ethernet (registered trademark), HDMI (registered trademark). (High-Definition Multimedia Interface), USB (Universal Serial Bus), etc. can be included.
  • the image pickup device 100 may include a communication unit that can be connected to the Internet and other devices such as a wireless LAN (Local Area Network), WAN (Wide Area Network), and WiFi (Wireless Fidelity).
  • communication between the image pickup device 100 and an external device includes short-range wireless communication such as NFC (Near Field Communication) and ZigBee (registered trademark), WiFi tethering, USB (Universal Serial Bus) tethering, and Bluetooth (registered trademark) tethering. It may be a tethering connection such as.
  • the input unit 109 is for the photographer to give various instructions to the image pickup device 100.
  • a control signal corresponding to the input is generated and supplied to the control unit 101.
  • the control unit 101 performs various processes corresponding to the control signal.
  • the input unit 109 includes a shutter button for shutter input, a physical button for various operations, a touch panel, a touch screen integrally configured with a display as a display unit 110, and the like.
  • the display unit 110 includes a through image which is an image signal for display that has been processed for display, an image / video that has been subjected to image processing for recording and stored in the storage unit 107, a GUI (Graphical User Interface), and the like. It is a display device including a display for displaying an image and an EVF (Electronic ViewFinder) display.
  • EVF Electronic ViewFinder
  • the microphone 111 is a sound collecting device for recording voice at the time of recording.
  • the detection unit 112 executes AF detection for determining the focus position using the phase difference information supplied from the image sensor 104, and calculates the defocus amount.
  • the defocus amount is supplied to the AF control unit 113.
  • the AF control unit 113 focuses on a position within the angle of view (for example, XY coordinate information) so as to focus on the target subject based on the defocus amount calculated by the detection unit 112.
  • the lens drive driver 103 of the image pickup apparatus 100 generates focus control information indicating how much the lens is moved.
  • the focus control information is information for performing autofocus control in the image pickup apparatus 100.
  • the line-of-sight detection unit 114 detects the line of sight of the photographer and supplies the detection result to the control unit 101.
  • the line-of-sight detection unit 114 photographs the photographer's eyes and detects the line-of-sight direction of the photographer using the image of the eyes. That is, the line-of-sight detection unit 114 includes, for example, a camera unit that captures the photographer's eyes and a unit that detects the line-of-sight direction of the photographer.
  • the camera unit may include a light emitting unit that emits infrared rays or the like.
  • a known method can be applied as a method for detecting the line-of-sight direction of the photographer.
  • a corneal reflex method in which the unit that detects the line-of-sight direction detects the photographer's line-of-sight direction based on the position of the pupil by irradiating infrared light or the like from the light emitting unit and utilizing the reflection from the cornea. ..
  • a method of recognizing a point that does not move such as the inner corner of the eye or the corner of the eye by image recognition and estimating the line-of-sight direction from the position of the iris of the eye may be applied.
  • the line-of-sight detection unit 114 is provided, for example, in the EVF of the image pickup apparatus 100.
  • the line-of-sight detection unit 114 may be provided in the housing of the image pickup apparatus 100.
  • the line-of-sight detection unit 114 may be provided on the surface of the housing of the image pickup apparatus 100 on which the display unit 110 is provided.
  • the line-of-sight direction detected by the line-of-sight detection unit 114 is supplied to the control unit 101.
  • the photographer state determination unit 101A of the control unit 101 generates line-of-sight information from the line-of-sight detection result supplied from the line-of-sight detection unit 114.
  • the line-of-sight information is, for example, information indicating the distribution of the line-of-sight detection results.
  • the line-of-sight information is the distribution of the line-of-sight detection result PA, which is a portion corresponding to the line-of-sight direction detected by the line-of-sight detection unit 114.
  • the line-of-sight information is obtained for each appropriate area AR of the display unit 110.
  • the area AR may be in pixel units or in block units of M pixels ⁇ N pixels (M and N are appropriate positive numbers).
  • the photographer state determination unit 101A determines the photographer's state based on the distribution of the line-of-sight detection result PA included in the line-of-sight information.
  • the photographer state determination unit 101A determines a state in which the photographer's state is gazing at the subject, that is, a state in which the subject as the gaze target is determined based on the distribution of the line-of-sight detection result PA (hereinafter, gaze target). It is determined whether it is a state in which the gaze target has not been determined yet (hereinafter, appropriately referred to as an undecided state of the gaze target). In the present embodiment, the photographer state determination unit 101A has not selected a gaze target, which is an example of an undecided state of the gaze target (hereinafter, appropriately referred to as an unselected state of the gaze target), or a gaze target. It is determined whether the degree of concentration of the photographer in the shooting, which is another example of the undecided state of the above, is lower than the undecided state of the gaze target (hereinafter, appropriately referred to as a slow state).
  • a state in which the photographer's state determines the gaze target a state in which the photographer shoots while chasing a certain subject or shoots in focus on a desired subject can be mentioned as a specific example.
  • the state of the photographer is an unselected state of the gaze target
  • a state in which it is uncertain whether to focus on a certain subject or another subject for shooting can be mentioned.
  • the state of the photographer is slow, such as the state of the photographer who is waiting for the bird's nest while observing the bird's nest while looking through the finder, and the scene of half-time in soccer shooting and offense and defense change in baseball shooting.
  • the state of the photographer in the above is given as a specific example.
  • the photographer state determination unit 101A determines, for example, whether the photographer's state is one of the above-mentioned three states based on the distribution of the line-of-sight detection result. For example, as shown in FIG. 2, the photographer state determination unit 101A obtains a histogram of the distribution value of the line-of-sight detection result PA corresponding to both the X-axis direction and the Y-axis direction in the display unit 110, and obtains a histogram for each peak. Find the variance corresponding to. Then, when there is a peak whose variance is smaller than a predetermined value, the photographer state determination unit 101A determines that the photographer's state is the determination state of the gaze target.
  • the photographer state determination unit 101A determines that the photographer's state is an undetermined state of the gaze target when the distribution of the line-of-sight detection result does not have a peak of a variance value smaller than a predetermined value. More specifically, the photographer state determination unit 101A has only a plurality of peaks in which the distribution of the line-of-sight detection result indicated by the line-of-sight information has a variance value larger than a predetermined value, that is, the variance values of all the peaks are predetermined. If it is larger than the value of, the photographer's state is an unselected state of the gaze target, and if the distribution of the line-of-sight detection result has a variance value larger than a predetermined value, the photographer's state is a slow state. Is determined to be.
  • the photographer state determination unit 101A may determine the photographer's state based on the locus of the user's line of sight detected by the line of sight detection unit 114. For example, the photographer state determination unit 101A determines that the photographer's state is the determination state of the gaze target when the locus of the user's line of sight is within a certain range within a predetermined time. Further, the photographer state determination unit 101A reciprocates the locus of the user's line of sight within a predetermined time at a plurality of locations (for example, two locations, three or more locations) of the display image, and then the photographer status. Is determined to be in the undecided state of the gaze target.
  • a plurality of locations for example, two locations, three or more locations
  • the photographer state determination unit 101A determines that the user's state is in a slow state when the locus of the user's line of sight is irregularly distributed within a predetermined time.
  • the slow state is the state of the photographer corresponding to the wide range of the trajectory of the line-of-sight detection result indicated by the line-of-sight information as compared with the state of determining the gaze target.
  • the photographer state determination unit 101A may determine the photographer's state based on the number of peaks having a sharpness equal to or higher than a predetermined value that appears when the histogram of the distribution of the line-of-sight detection result is smoothed. For example, the photographer state determination unit 101A determines that the photographer's state is the determination state of the gaze target if the number of peaks having sharpness is one, and the number of peaks having sharpness is from two. If it is within the range of 4, it is determined that the state of the photographer is an unselected state of the gaze target, and if the number of peaks having sharpness is 5 or more, it is determined that the state of the photographer is a slow state.
  • step ST11 the photographer state determination unit 101A detects (generates) the line-of-sight information based on the line-of-sight detection result by the line-of-sight detection unit 114. Then, the process proceeds to step ST12.
  • step ST12 the photographer state determination unit 101A determines the photographer's state based on the line-of-sight information.
  • the process proceeds to step ST13. If the photographer's state is the unselected state of the gaze target, the process proceeds to step ST14. If the photographer's condition is slow, the process proceeds to step ST15.
  • step ST13 the control unit 101 controls in a manner corresponding to the state of the photographer, that is, the state of determining the gaze target.
  • a control is a control that assists according to the state of the photographer.
  • an AF pointer is displayed and the AF pointer is aligned with the subject to be gazed or AF is performed on the subject to be gazed. Control is mentioned.
  • step ST14 the control unit 101 controls in a manner corresponding to the state of the photographer, that is, the unselected state of the gaze target.
  • step ST15 the control unit 101 controls in a manner corresponding to the state of the photographer, that is, the slow state of the gaze target.
  • the control unit 101 determines the focus area so as to include the target subject when the photographer's state is the unselected state of the gaze target.
  • including the target subject means including at least a part of the target subject.
  • determining the focus area means determining a part of the area in the display unit 110 as the focus area.
  • the subject is a subject recognized by a known image recognition process.
  • the control unit 101 determines the target subject based on, for example, the shooting situation before the state of the photographer becomes the unselected state of the gaze target.
  • control unit 101 determines the target subject based on the subject that was the gaze target before the photographer's state became the unselected state of the gaze target. It should be noted that the subject occupying the largest area or the subject having the largest movement in the display image currently displayed on the display unit 110 may be determined as the target subject.
  • FIG. 4A is a diagram showing an example of a photographed image (an example of a display image displayed on the display unit 110) obtained in a state where the state of the photographer is a determined state of the gaze target.
  • the photographer gazes at the batter BH as a gaze target subject.
  • the AF control unit 113 is controlled so that the batter BH's face is in focus.
  • the AF frame 21 and the AF pointer 22 are displayed on the face of the batter BH.
  • the captured image is changed from the captured image shown in FIG. 4A to the captured image shown in FIG. 4B due to the change in the angle of view.
  • the display position of the batter BH which is the target of AF, changes as the angle of view changes.
  • the photographer is at a loss as to which subject to focus on, that is, the state of the photographer is an unselected state to be watched.
  • the control unit 101 focuses on the face of the batter BH.
  • the AF control unit 113 is controlled so as to match. According to the control, the AF frame 21 and the AF pointer 22 are displayed on the face of the batter BH as shown in FIG. 4C.
  • step ST21 the control unit 101 starts control in a manner corresponding to the case where the photographer's state is the unselected state of the gaze target. Then, the process proceeds to step ST22.
  • step ST22 it is determined whether or not the subject (target subject in this example) that was in focus when the gaze target was determined is included in the current captured image.
  • the process proceeds to step ST23.
  • step ST23 control is performed to focus on the subject that was in focus when the gaze target was determined.
  • the process from step ST22 to step ST23 is the process described with reference to FIGS. 4A to 4C described above.
  • step ST22 if the currently captured image does not include the subject that was in focus when the gaze target was determined (in the case of No), the process proceeds to step ST24.
  • step ST24 it is determined whether or not the currently captured image includes a subject of the same type as the subject that was in focus when the gaze target was determined by performing subject recognition processing or the like. If the same type of subject is included (Yes), the process proceeds to step ST25.
  • step ST25 a subject of the same type as the subject that was in focus when the gaze target is determined is determined as the target subject, and control is performed to focus on the subject.
  • step ST24 if the currently captured image does not include a subject of the same type as the object that was in focus when the gaze target was determined (in the case of No), the process proceeds to step ST26. move on.
  • step ST26 among the subjects currently displayed on the display unit 110, the subject having the largest area is determined as the target subject, and control is performed to focus on the subject.
  • step ST24 for example, in the case of shooting an image in which a plurality of human horses coexist in horse racing, when the state of the photographer becomes an unselected state to be watched, focus is taken before that.
  • the type that matches for example, the type of animal including human beings, the attribute type of human beings such as gender and race, the type of things such as desks, houses, balls, etc.
  • the type that matches is included in the current captured image. Is judged. If a person is included, control is performed to focus on the person, and if no person is included, control is performed to focus on a subject having a large area (for example, a horse).
  • control unit 101 may highlight the target subject when the photographer's state is the unselected state of the gaze target.
  • Examples of the highlighting include a display mode in which the brightness of the target subject is increased, the brightness around the target subject is decreased, the target subject is blinked, and a mark is displayed in or near the target subject.
  • control corresponding to the unselected state of the gaze target will be described.
  • control is performed to put the image pickup apparatus 100 into the power saving mode by stopping a part of the function or lowering the performance. For example, the display frame rate of the EVF display is reduced to switch the image pickup apparatus 100 to the power saving mode.
  • the photographer's condition is slow, it is assumed that the photographer is looking for the subject in sports shooting where there are many athletes, so the distance measurement range is widened to make it easier to capture the subject.
  • the focus area is automatically widened (focus wide mode).
  • the angle of view is made wider than the angle of view in the non-slow state. May be good.
  • the photographer is in a slow state with a low degree of concentration, there is a risk of missing important scenes in the slow state, so images that are continuously captured by shooting are automatically stored in the buffer memory. Control to save with (image save control) is performed.
  • image save control the control corresponding to the slow state will be described more specifically.
  • FIG. 6 is a flowchart showing a first example of the control flow corresponding to the slow state.
  • the first example is an example in which the control unit 101 selects a control method corresponding to a shooting situation from a plurality of control methods when the photographer's state is in a slow state. More specifically, a plurality of controls This is an example of selecting a control method corresponding to the shooting mode as the shooting situation from the methods. The process described below may be repeated while the line of sight is detected.
  • step ST31 the photographer state determination unit 101A determines that the photographer's state is in a slow state, and the control unit 101 starts control in a manner corresponding to the slow state. Then, the process proceeds to step ST32.
  • step ST32 control is performed to widen the ranging range and automatically widen the focus area, and the setting of the image pickup apparatus 100 is set to the focus wide mode.
  • the focus wide mode does not necessarily have to be set (the same applies to other examples), and the process proceeds to step ST33.
  • step ST33 the shooting mode of the imaging device 100 is determined.
  • the shooting mode is the program auto mode (hereinafter, appropriately referred to as P mode)
  • the process proceeds to step ST34.
  • the shooting mode is the shutter speed priority mode (hereinafter, appropriately referred to as S mode)
  • the process proceeds to step ST35.
  • the shooting mode is another mode (for example, auto mode)
  • the process proceeds to step ST36.
  • step ST34 control is performed to set an angle-of-view wide mode that widens the angle of view so that shooting is performed with a wider angle of view. Since the P mode is generally set when the photographer is a beginner or an amateur, a wide angle of view mode is set to assist such a photographer.
  • step ST35 control is performed to set a save mode in which images continuously captured by shooting are saved in a buffer memory (for example, a ring buffer).
  • a buffer memory for example, a ring buffer.
  • the save mode is set so as not to miss a decisive scene.
  • the buffer length of the ring buffer may be increased according to the time of the slow state.
  • step ST36 control is performed to set a power saving mode for reducing the power consumption of the image pickup apparatus 100.
  • the power saving mode include, in addition to the above-mentioned control, control of limiting the output band from the image sensor 104, controlling the brightness of the display unit 110, and the like.
  • FIG. 7 is a flowchart showing a second example of the control flow corresponding to the slow state.
  • the second example is an example in which the control unit 101 selects a control method corresponding to the shooting situation from a plurality of control methods when the photographer's state is in a slow state. More specifically, a plurality of controls This is an example of selecting a control method corresponding to the type of subject as a shooting situation from among the methods. The process described below may be repeated while the line of sight is detected.
  • step ST41 the photographer state determination unit 101A determines that the photographer's state is in a slow state, and the control unit 101 starts control in a manner corresponding to the slow state. Then, the process proceeds to step ST42.
  • step ST42 control is performed to widen the ranging range and automatically widen the focus area, and the setting of the image pickup apparatus 100 is set to the focus wide mode. Then, the process proceeds to step ST43.
  • step ST43 the subject is determined by performing the subject recognition process. If the subject includes a moving object (for example, a person, an animal, a vehicle, etc.), the process proceeds to step ST44. If the subject does not include a moving object (for example, only a landscape), the process proceeds to step ST45.
  • a moving object for example, a person, an animal, a vehicle, etc.
  • step ST44 since the subject includes a moving subject, the save mode is set so as not to miss a decisive scene.
  • the power saving mode is set because the moving subject is not included.
  • FIG. 8 is a flowchart showing a third example of the control flow corresponding to the slow state.
  • the third example is an example in which the control unit 101 selects a control method corresponding to the duration of the slow state from a plurality of control methods when the photographer's state is in the slow state. The process described below may be repeated while the line of sight is detected.
  • step ST51 the photographer state determination unit 101A determines that the photographer's state is in a slow state, and the control unit 101 starts control in a manner corresponding to the slow state. Then, the process proceeds to step ST52.
  • step ST52 control is performed to widen the ranging range and automatically widen the focus area, and the setting of the image pickup apparatus 100 is set to the focus wide mode. Then, the process proceeds to step ST53.
  • step ST53 it is determined whether or not the photographer's state is in a slow state for a predetermined time or longer (for example, 1 minute to several minutes). If it continues (in the case of Yes), the process proceeds to step ST54. If it is not continued (in the case of No), the process proceeds to step ST55.
  • a predetermined time or longer for example, 1 minute to several minutes.
  • step ST54 the image pickup device 100 is controlled to set the storage mode.
  • step ST55 control is performed in which the power saving mode is set in the image pickup apparatus 100.
  • the storage mode is set as if an animal that does not know when it will arrive is set.
  • the power saving mode is set as if it is not waiting.
  • FIG. 9 is a flowchart showing a fourth example of the control flow corresponding to the slow state.
  • the fourth example is an example in which the control unit 101 selects a control method corresponding to the shooting situation from a plurality of control methods when the state of the photographer is in a slow state. More specifically, a plurality of controls This is an example of selecting a control method corresponding to a change in the captured image as a shooting situation from the methods. The process described below may be repeated while the line of sight is detected.
  • step ST61 the photographer state determination unit 101A determines that the photographer's state is in a slow state, and the control unit 101 starts control in a manner corresponding to the slow state. Then, the process proceeds to step ST62.
  • step ST62 control is performed to widen the ranging range and automatically widen the focus area, and the setting of the image pickup apparatus 100 is set to the focus wide mode. Then, the process proceeds to step ST63.
  • step ST63 it is determined whether or not the change in the image is within the threshold value.
  • the change in the image is determined based on, for example, the correlation between the current frame and the past frame (for example, the frame one frame before in time). When the correlation is more than a certain value, the change in the image is within the threshold value, and when the correlation is less than a certain value, the change in the image is judged to be larger than the threshold value. If the change in the image is within the threshold value (yes), the process proceeds to step ST64. If the change in the image is larger than the threshold value, the process proceeds to step ST65.
  • step ST64 the image pickup device 100 is controlled to set the storage mode.
  • step ST65 control is performed in which the power saving mode is set in the image pickup apparatus 100.
  • the state of the photographer is an unselected state to be watched.
  • Appropriate control can be performed even in a slow state.
  • FIG. 10 is a flowchart showing the flow of processing performed in such a case. The description of the content that overlaps with the content described in FIG. 3 will be omitted as appropriate.
  • step ST71 it is determined whether or not the photographer is operating the setting of the image pickup apparatus 100.
  • the setting operation include setting operations related to shutter speed and ISO sensitivity. Whether or not the setting of the image pickup apparatus 100 is being operated can be determined based on the presence or absence of an operation signal generated in response to the operation and the sensing result by the sensor provided in the input unit 109 such as a dial. ..
  • step ST71 If the operation is in progress in step ST71 (in the case of Yes), the process proceeds to step ST72, and a series of processes is completed. If the operation is not in progress in step ST71 (if No), the process proceeds to step ST12. Since the processing after step ST12 has already been described, duplicate description will be omitted.
  • FIG. 11 is a flowchart showing a flow of processing performed in another case in which control is not performed according to the state of the photographer determined based on the line-of-sight information. After the process of step ST11, the process related to step ST81 is performed.
  • step ST81 it is determined whether or not the mode of the image pickup apparatus 100 is the manual mode (hereinafter, appropriately referred to as the M mode).
  • the mode of the image pickup apparatus 100 is the M mode (in the case of Yes)
  • the process proceeds to step ST82, and a series of processes is completed. If the mode of the image pickup apparatus 100 is not the M mode (if No), the process proceeds to step ST12. Since the processing after step ST12 has already been described, duplicate description will be omitted.
  • the photographer is an advanced person, it may not be desired that the control be performed in a manner according to the photographer's condition. In this case, the photographer can avoid the above-mentioned inconvenience by setting the mode of the image pickup apparatus 100 to the M mode. Not limited to the M mode, a dedicated mode in which control is not performed according to the state of the photographer may be set.
  • a time factor may be taken into consideration when determining the state of the photographer. For example, even if the photographer's state is determined to be in a slow state based on the line-of-sight information, control according to the slow state starts when the state continues for a predetermined time (for example, 5 seconds) or more. It may be done.
  • the photographer state determination unit 101A may determine the state of any one of the photographers.
  • a process based on machine learning that is, a process using a learning model obtained by learning performed in advance may be performed.
  • the present disclosure may also adopt the following configuration.
  • a control unit that executes control in a manner corresponding to the state of the photographer determined based on the line-of-sight information being the undetermined state of the gaze target.
  • Imaging device The undetermined state of the gaze target is a state of the photographer corresponding to the fact that the distribution of the line-of-sight detection result indicated by the line-of-sight information does not have a peak of a variance value smaller than a predetermined value.
  • the imaging device according to (1) The control unit determines the state of the photographer based on the line-of-sight information.
  • the control unit determines the focus area so as to include the target subject when the state of the photographer is the undetermined state of the gaze target and the unselected state of the gaze target.
  • the imaging device according to any one of (1) to (3).
  • the control unit determines the target subject based on the shooting situation before the state of the photographer becomes the unselected state of the gaze target.
  • the imaging device according to (4).
  • the control unit determines the target subject based on the subject that was the gaze target before the photographer's state becomes the unselected state of the gaze target.
  • the imaging device according to (5).
  • the unselected state of the gaze target is a state of the photographer corresponding to the fact that the distribution of the line-of-sight detection result indicated by the line-of-sight information has only a plurality of peaks having a variance value larger than a predetermined value.
  • the imaging device according to any one of (4) to (6).
  • the unselected state of the gaze target is a state of the photographer corresponding to the locus of the line-of-sight detection result indicated by the line-of-sight information reciprocating at a plurality of points on the displayed image.
  • the imaging device according to any one of (4) to (6).
  • the control unit widens the angle of view from the non-slow state when the photographer's state is the slow state, which is the undecided state, and changes from the non-slow state to the slow state.
  • the imaging device according to any one of (1) to (8).
  • the control unit performs power saving control when the photographer's state is a slow state, which is the undecided state.
  • the imaging device according to any one of (1) to (8).
  • the control unit performs image storage control when the photographer's state is a slow state, which is the undecided state.
  • the imaging device according to any one of (1) to (8).
  • the control unit When the photographer's state is in the slow state, which is the undecided state, and the state changes from the non-slow state to the slow state, the control unit widens the ranging range from the non-slow state.
  • the imaging device according to any one of (1) to (8).
  • the control unit selects a control method corresponding to the shooting situation from a plurality of control methods.
  • the imaging device according to any one of (1) to (8).
  • the control unit selects the control method corresponding to the shooting mode as the shooting situation from the plurality of control methods.
  • the control unit selects the control method corresponding to the type of subject as the shooting situation from the plurality of control methods.
  • the control unit selects the control method corresponding to the duration of the slow state as the shooting situation from the plurality of control methods.
  • the slow state is a state of the photographer corresponding to the distribution of the line-of-sight detection result indicated by the line-of-sight information having a variance value larger than a predetermined value.
  • the imaging device according to any one of (9) to (16).
  • the slow state is a state of the photographer corresponding to a wide range of loci of the line-of-sight detection result indicated by the line-of-sight information as compared with the state of determining the gaze target.
  • the imaging device according to any one of (9) to (16).
  • the control unit executes control in a manner corresponding to the state of the photographer determined based on the line-of-sight information being the undetermined state of the gaze target. Control method of the image pickup device.
  • the control unit executes control in a manner corresponding to the state of the photographer determined based on the line-of-sight information being the undetermined state of the gaze target.
  • Imaging device 101 Control unit 101A . Photographer state determination unit 114 . Line of sight detection unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

視線情報に基づいて決定された撮影者の状態が注視対象の未決定状態であることに対応する方式で制御を実行する制御部を備える撮像装置である。 図１

Description

撮像装置、撮像装置の制御方法およびプログラム
　本開示は、撮像装置、撮像装置の制御方法およびプログラムに関する。
　撮影者の動作に応じた制御を行う撮像装置が知られている。例えば、下記の特許文献１には、撮影者がファインダーを覗いているか否かを監視し、撮影者がファインダーを覗いていない場合に動画撮影を停止する技術が記載されている。
特開２００８－３０６５３３号公報
　特許文献１に記載されたように撮影者が所定の動作を能動的に行う状態だけでなく、その他の撮影者の状態に対しても適切な制御が行われることが望まれる。
　本開示は、例えば、撮影者の状態が注視対象を決定していない状態（未決定状態）であっても適切な制御を行うことが可能な撮像装置、撮像装置の制御方法およびプログラムを提供することを目的の一つとする。
　本開示は、例えば、
　視線情報に基づいて決定された撮影者の状態が注視対象の未決定状態であることに対応する方式で制御を実行する制御部を備える、
　撮像装置である。
　また、本開示は、例えば、
　制御部が、視線情報に基づいて決定された撮影者の状態が注視対象の未決定状態であることに対応する方式で制御を実行する、
　撮像装置の制御方法である。
　また、本開示は、例えば、
　制御部が、視線情報に基づいて決定された撮影者の状態が注視対象の未決定状態であることに対応する方式で制御を実行する、
　撮像装置の制御方法をコンピュータに実行させるプログラムである。
図１は、一実施形態に係る撮像装置の構成例を説明するためのブロック図である。 図２は、視線検出結果の分布例を示す図である。 図３は、一実施形態に係る撮像装置で行われる処理の流れを示すフローチャートである。 図４Ａ～図４Ｃは、撮影者の状態が注視対象の未選択状態である場合に行われる制御の一例を説明するための図である。 図５は、撮影者の状態が注視対象の未選択状態である場合に行われる制御の流れの一例を説明するためのフローチャートである。 図６は、撮影者の状態が緩慢状態である場合に行われる制御の流れの一例を説明するためのフローチャートである。 図７は、撮影者の状態が緩慢状態である場合に行われる制御の流れの他の例を説明するためのフローチャートである。 図８は、撮影者の状態が緩慢状態である場合に行われる制御の流れの他の例を説明するためのフローチャートである。 図９は、撮影者の状態が緩慢状態である場合に行われる制御の流れの他の例を説明するためのフローチャートである。 図１０は、変形例を説明するためのフローチャートである。 図１１は、変形例を説明するためのフローチャートである。
　以下、本開示の実施形態等について図面を参照しながらの説明がなされる。なお、説明は以下の順序で行う。
＜一実施形態＞
＜変形例＞
　以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態等に限定されるものではない。
＜一実施形態＞
［撮像装置の構成例］
　始めに図１を参照しつつ、実施形態に係る撮像装置（撮像装置１００）の構成例について説明する。撮像装置１００は、制御部１０１、光学撮像系１０２、レンズ駆動ドライバ１０３、撮像素子１０４、画像信号処理部１０５、コーデック部１０６、記憶部１０７、インターフェース１０８、入力部１０９、表示部１１０、マイクロホン１１１、検波部１１２、ＡＦ制御部１１３、視線検出部１１４を備えている。制御部１０１は、機能ブロックとして、視線情報に基づいて撮影者の状態を判定する撮影者状態判定部１０１Ａを備えている。
　制御部１０１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＣＰＵがＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置１００の全体および各部の制御を統括的に行う。また、制御部１０１は、視線情報に基づいて決定された撮影者の状態が注視対象の未決定状態であることに対応する方式で制御を実行する。制御部１０１によって行われる処理の詳細については後述する。
　光学撮像系１０２は、被写体からの光を撮像素子１０４に集光するための撮像レンズ、撮像レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッター機構、アイリス機構などから構成されている。これらは制御部１０１、レンズ駆動ドライバ１０３からの制御信号に基づいて駆動される。光学撮像系１０２を介して得られた被写体の光画像は、撮像素子１０４上に結像される。
　レンズ駆動ドライバ１０３は、例えばマイコンなどにより構成され、ＡＦ制御部１１３または情報処理装置２００から供給されたフォーカス制御情報に基づいて撮像レンズを光軸方向に沿って所定量移動させることにより、目標とする被写体に合焦するようにオートフォーカスを行う。また、制御部１０１からの制御に従い、光学撮像系１０２の駆動機構、シャッター機構、アイリス機構などの動作を制御する。これにより露光時間（シャッタースピード）の調整、絞り値（Ｆ値）などの調整がなされる。
　撮像素子１０４は、撮像レンズを通して得られた被写体からの入射光を光電変換して電荷量に変換して撮像信号を出力する。そして、撮像素子１０４は画素信号を画像信号処理部１０５に出力する。撮像素子１０４としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。
　撮像素子１０４は、通常画素であるＲ（Red）画素、Ｇ（Green）画素、Ｂ（Blue）画素と、位相差検出を行う位相差検出画素を有している。この位相差検出画素から出力される位相差情報を用いていわゆる位相差ＡＦ（Auto Focus）を行うことができる。なお、位相差検出画素は位相差検出画素としてのみ機能し、通常画素としては機能しないものでもよいし、１つの画素が独立した２つのフォトダイオードで構成されていることにより撮像用および位相差検出用として機能するものでもよい。なお、位相差検出は位相差検出専用のＡＦセンサにより行ってもよい。
　画像信号処理部１０５は撮像素子１０４から出力された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つためのサンプルホールド、ＡＧＣ（Auto Gain Control）処理、Ａ／Ｄ（Analog/Digital）変換などを行ない、画像信号を作成する。また、画像信号処理部１０５は記録用の画像信号には記録用の処理を施し、表示用の画像信号には表示用の処理を施す。
　コーデック部１０６は、所定の処理が施された画像信号について、例えば記録用や通信用の符号化処理を行う。
　記憶部１０７は、例えば、ハードディスク、フラッシュメモリなどの大容量記憶媒体である。画像信号処理部１０５およびコーデック部１０６により処理が施された映像データや画像データは所定の規格に基づいて圧縮状態または非圧縮状態で保存される。また、保存されたデータに関する情報、撮像位置を示す撮像位置情報、撮像日時を示す撮像時刻情報などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）もそのデータに対応付けられて保存される。
　インターフェース１０８は、他の装置やインターネットなどとの間のインターフェースである。インターフェース１０８は、有線または無線の通信インターフェースを含みうる。また、より具体的には、有線または無線の通信インターフェースは、３ＴＴＥなどのセルラー通信、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）、イーサネット（登録商標）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）、ＵＳＢ（Universal　Serial　Bus）などを含みうる。
　なお、撮像装置１００は、無線ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、ＷｉＦｉ（Wireless Fidelity）などインターネットおよび他の装置などと接続できる通信部を備えていてもよい。また、撮像装置１００と外部装置との通信は、ＮＦＣ（Near Field Communication）やZigBee（登録商標）などの近距離無線通信や、ＷｉＦｉテザリング、ＵＳＢ（Universal Serial Bus）テザリング、Bluetooth（登録商標）テザリングなどのテザリング接続でもよい。
　入力部１０９は、撮像装置１００に対して撮影者が各種指示など行うためのものである。入力部１０９に対して撮影者から入力がなされると、その入力に応じた制御信号が生成されて制御部１０１に供給される。そして、制御部１０１はその制御信号に対応した各種処理を行う。入力部１０９としてはシャッター入力のためのシャッターボタン、各種操作のための物理ボタンの他、タッチパネル、表示部１１０としてのディスプレイと一体に構成されたタッチスクリーンなどがある。
　表示部１１０は、表示用の処理が施された表示用の画像信号であるスルー画、記録用の画像処理が施されて記憶部１０７に保存された画像／映像、ＧＵＩ（Graphical User Interface）などを表示するディスプレイやＥＶＦ（Electronic View Finder）ディスプレイなどを含む表示デバイスである。
　マイクロホン１１１は録画の際に音声を収録するための集音デバイスである。
　検波部１１２は、撮像素子１０４から供給された位相差情報を用いてフォーカス位置を判定するＡＦ検波を実行してデフォーカス量を算出する。デフォーカス量はＡＦ制御部１１３に供給される。
　ＡＦ制御部１１３は、検波部１１２が算出したデフォーカス量に基づいて目標とする被写体に合焦するように、画角内のどこの位置（例えばＸＹの座標情報）にフォーカスを合わせるか、および、撮像装置１００のレンズ駆動ドライバ１０３がレンズをどれだけ動かすか、を示すフォーカス制御情報を生成する。フォーカス制御情報は撮像装置１００においてオートフォーカス制御を行うための情報である。
　視線検出部１１４は、撮影者の視線を検出し、検出結果を制御部１０１に供給する。
［視線情報および撮影者の状態判定について］
　次に、視線検出部１１４により行われる、ユーザである撮影者の視線を検出する処理の具体例について説明する。視線検出部１１４は、例えば、撮影者の目を撮影し、目の画像を用いて撮影者の視線方向を検出する。すなわち、視線検出部１１４は、例えば、撮影者の目を撮影するカメラユニットと、撮影者の視線方向を検出するユニットを含む。カメラユニットに赤外線等を発光する発光ユニットが含まれてもよい。
　撮影者の視線方向を検出する方法としては、公知の方法を適用することができる。例えば、発光ユニットから赤外光などを照射し角膜からの反射を利用して、視線方向を検出するユニットで瞳孔の位置を元に撮影者の視線方向検出する角膜反射法を適用することができる。また、例えば、画像認識により目頭や目じりなど動かない点を認識し、目の虹彩の位置から視線方向を推定する方法が適用されてもよい。
　視線検出部１１４は、例えば、撮像装置１００のＥＶＦ内に設けられる。視線検出部１１４は、撮像装置１００の筐体に設けられてもよい。例えば、撮像装置１００の筐体における表示部１１０が設けられる面に視線検出部１１４が設けられてもよい。
　視線検出部１１４により検出された視線方向が制御部１０１に供給される。
　制御部１０１の撮影者状態判定部１０１Ａは、視線検出部１１４から供給される視線検出結果から視線情報を生成する。視線情報は、例えば、視線検出結果の分布を示す情報である。具体的には、視線情報は、図２に示すように、視線検出部１１４により検出された視線方向に対応する箇所である視線検出結果ＰＡの分布である。視線情報は、表示部１１０の適宜な領域ＡＲ毎に求められる。領域ＡＲは、画素単位でもよいし、Ｍ画素×Ｎ画素（Ｍ、Ｎは適宜な正数）のブロック単位でもよい。撮影者状態判定部１０１Ａは、視線情報に含まれる視線検出結果ＰＡの分布に基づいて、撮影者の状態を判定する。
　撮影者状態判定部１０１Ａは、視線検出結果ＰＡの分布に基づいて、撮影者の状態が、被写体を注視している状態、すなわち、注視対象としての被写体を決定している状態（以下、注視対象の決定状態と適宜、称する）か、または、注視対象を未だ決定してしない状態（以下、注視対象の未決定状態と適宜、称する）であるかを判定する。本実施形態では、撮影者状態判定部１０１Ａは、注視対象の未決定状態の一例である注視対象を選択していない状態（以下、注視対象の未選択状態と適宜、称する）、または、注視対象の未決定状態の他の例である撮影における撮影者の集中度が注視対象の未決定状態より、より低い状態（以下、緩慢状態と適宜、称する）かを判定する。
　撮影者の状態が注視対象の決定状態としては、撮影者がある被写体を追いながら撮影したり、所望の被写体にフォーカスを合わせた撮影を行う状態が具体例として挙げられる。また、撮影者の状態が注視対象の未選択状態としては、ある被写体と他の被写体のどちらにフォーカスを合わせて撮影を行うか迷っている状態が具体例として挙げられる。撮影者の状態が緩慢状態としては、ファインダーを覗きながら鳥の巣を観察しつつ鳥の帰巣をまっている撮影者の状態や、サッカーの撮影におけるハーフタイムや野球の撮影における攻守交代のシーン時における撮影者の状態が具体例として挙げられる。
　撮影者状態判定部１０１Ａは、例えば、視線検出結果の分布に基づいて、撮影者の状態が上述した３状態の何れかであるかと判定する。例えば、撮影者状態判定部１０１Ａは、図２に示したように、表示部１１０におけるＸ軸方向およびＹ軸方向の両方に対応する視線検出結果ＰＡの分布の値のヒストグラムを求め、そのピーク毎に対応する分散を求める。そして、分散が所定の値より小さい値のピークがある場合は、撮影者状態判定部１０１Ａは、撮影者の状態が注視対象の決定状態であると判定する。
　また、撮影者状態判定部１０１Ａは、視線検出結果の分布が所定の値より小さい分散の値のピークを持たない場合は、撮影者の状態が注視対象の未決定状態であると判定する。より詳しくは、撮影者状態判定部１０１Ａは、視線情報が示す視線検出結果の分布が所定の値より大きい分散の値を有する複数のピークのみを持つ、即ち、全てのピークの分散の値が所定の値より大きい場合には、撮影者の状態が注視対象の未選択状態であり、視線検出結果の分布が所定の値よりも大きい分散の値を有する場合には、撮影者の状態が緩慢状態であると判定する。
　なお、撮影者状態判定部１０１Ａは、視線検出部１１４により検出されるユーザの視線の軌跡に基づいて、撮影者の状態を判定してもよい。例えば、撮影者状態判定部１０１Ａは、所定時間内におけるユーザの視線の軌跡が一定範囲内に収まっている場合には、撮影者の状態が注視対象の決定状態であると判定する。また、撮影者状態判定部１０１Ａは、所定時間内におけるユーザの視線の軌跡が表示画像の複数の箇所（例えば２箇所、３箇所以上でもよい）を往復している場合には、撮影者の状態が注視対象の未決定状態であると判定する。また、撮影者状態判定部１０１Ａは、所定時間内におけるユーザの視線の軌跡が不規則に分布している場合には、ユーザの状態が緩慢状態であると判定する。換言すれば、緩慢状態は、注視対象の決定状態と比較して、視線情報が示す視線検出結果の軌跡が広範囲であることに対応する撮影者の状態である。
　また、撮影者状態判定部１０１Ａは、視線検出結果の分布のヒストグラムを平滑した際に表れる所定以上の先鋭度を有するピークの数に基づいて、撮影者の状態を判定してもよい。例えば、撮影者状態判定部１０１Ａは、先鋭度を有するピークの数が１個であれば撮影者の状態が注視対象の決定状態であると判定し、先鋭度を有するピークの数が２個から４個の範囲内であれば撮影者の状態が注視対象の未選択状態であり、先鋭度を有するピークの数が５個以上であれば撮影者の状態が緩慢状態であると判定する。
［処理の流れ］
（全体の処理の流れ）
　次に、図３のフローチャートを参照しつつ、撮像装置１００で行われる処理（全体の処理）の流れについて説明する。以下に説明する処理は、例えば、撮像装置１００の電源投入時や撮影モードに移行した時から行われる。ジャイロセンサや感圧センサによる検出結果に応じて、ユーザが撮像装置１００を持ち上げ撮影を行うであろう体勢になった段階で処理が開始されてもよい。また、視線検出部１１４により視線が検出されてから処理が開始されてもよい。視線が検出されている間、処理が繰り返されるようにしてもよい。また、以下に説明する処理は特に断らない限りは、制御部１０１により行われる。他の処理の流れの説明も同様である。
　ステップＳＴ１１では、撮影者状態判定部１０１Ａが、視線検出部１１４による視線検出結果に基づいて視線情報を検出（生成）する。そして、処理がステップＳＴ１２に進む。
　ステップＳＴ１２では、撮影者状態判定部１０１Ａが視線情報に基づいて撮影者の状態を判定する。撮影者の状態が注視対象の決定状態である場合には、処理がステップＳＴ１３に進む。撮影者の状態が注視対象の未選択状態である場合には処理がステップＳＴ１４に進む。撮影者の状態が緩慢状態である場合には、処理がステップＳＴ１５に進む。
　ステップＳＴ１３では、撮影者の状態、すなわち、注視対象の決定状態に対応する方式で、制御部１０１が制御を行う。係る制御は、撮影者の状態に応じたアシストを行う制御であり、具体例としては、ＡＦポインターを表示させ、当該ＡＦポインターを注視対象の被写体に合わせたり、注視対象の被写体にＡＦしたりする制御が挙げられる。
　ステップＳＴ１４では、撮影者の状態、すなわち、注視対象の未選択状態に対応する方式で、制御部１０１が制御を行う。ステップＳＴ１５では、撮影者の状態、すなわち、注視対象の緩慢状態に対応する方式で、制御部１０１が制御を行う。
（注視対象の未選択状態に対応する制御の具体例）
　次に、注視対象の未選択状態に対応する制御の具体例について説明する。制御部１０１は、撮影者の状態が注視対象の未選択状態であるとき、目標被写体を含むようにフォーカス領域を決定する。なお、目標被写体を含むとは、目標被写体の少なくとも一部を含むことを意味する。また、フォーカス領域を決定するとは、表示部１１０の中の一部の領域をフォーカス領域に決定することを意味する。また、被写体は、公知の画像認識処理で認識された被写体である。制御部１０１は、例えば、撮影者の状態が注視対象の未選択状態となる前の撮影状況に基づいて目標被写体を決定する。一例として、制御部１０１は、撮影者の状態が注視対象の未選択状態となる前に注視対象であった被写体に基づいて目標被写体を決定する。なお、現在、表示部１１０に表示されている表示画像内で最も大きな面積を占める被写体や動きが最も大きい被写体が目標被写体として決定されてもよい。
　図４を参照して具体例について説明する。図４Ａは、撮影者の状態が注視対象の決定状態である状態で得られる撮影画像例（表示部１１０に表示される表示画像例）を示す図である。図４Ａに示すように、撮影者は、バッターＢＨを注視対象の被写体として注視している。バッターＢＨの顔にフォーカスが合うようにＡＦ制御部１１３が制御されている。バッターＢＨの顔には、ＡＦ枠２１およびＡＦポインター２２が表示されている。
　ここで、画角が変更することにより撮影画像が図４Ａから図４Ｂに示す撮影画像に変更したとする。この場合、画角の変更に伴ってＡＦの対象であるバッターＢＨの表示位置が変わる。図４Ｂに示す撮影画像において撮影者は、どの被写体にフォーカスを合わせるのか迷う状態、すなわち、当該撮影者の状態が注視対象の未選択状態となる。通常、撮影者は、それまでに注視していた対象（本例におけるバッターＢＨの顔）にフォーカスを合わせ続けたいと考えることが想定されることから、制御部１０１は、バッターＢＨの顔にフォーカスが合うようにＡＦ制御部１１３を制御する。係る制御に応じて、図４Ｃに示すように、バッターＢＨの顔にＡＦ枠２１およびＡＦポインター２２が表示される。
　次に、図５のフローチャートを参照しつつ、注視対象の未選択状態に対応する制御（処理）の流れの一例について説明する。以下に説明する処理は、例えば、撮影者状態判定部１０１Ａが、撮影者の状態が注視対象の未選択状態を判定した場合に行われる。また、以下に説明する処理は、視線が検出されている間、処理が繰り返されるようにしてもよい。
　ステップＳＴ２１では、制御部１０１が、撮影者の状態が注視対象の未選択状態である場合に対応する方式で、制御を開始する。そして、処理がステップＳＴ２２に進む。
　ステップＳＴ２２では、注視対象の決定状態のときにフォーカスが合っていた被写体（本例における目標被写体）が現在の撮影画像内に含まれているか否かが判断される。フォーカスが合っていた被写体を含む場合（Ｙｅｓの場合）には、処理がステップＳＴ２３に進む。
　ステップＳＴ２３では、注視対象の決定状態のときにフォーカスが合っていた被写体にフォーカスを合わせる制御が行われる。ステップＳＴ２２からステップＳＴ２３への処理は、上述した図４Ａ～図４Ｃを参照して説明した処理である。
　ステップＳＴ２２の判断処理において、現在の撮影画像内に注視対象の決定状態のときにフォーカスが合っていた被写体が含まれていない場合（Ｎｏの場合）には、処理がステップＳＴ２４に進む。
　ステップＳＴ２４では、被写体認識処理等が行われることにより現在の撮影画像に、注視対象の決定状態のときにフォーカスが合っていた被写体と同じ種類の被写体が含まれるか否かが判断される。同じ種類の被写体が含まれる場合（Ｙｅｓの場合）には処理がステップＳＴ２５に進む。
　ステップＳＴ２５では、注視対象の決定状態のときにフォーカスが合っていた被写体と同じ種類の被写体を目標被写体として決定し、当該被写体にフォーカスを合わせる制御が行われる。
　ステップＳＴ２４の判断処理において、現在の撮影画像に、注視対象の決定状態のときにフォーカスが合っていた対象と同じ種類の被写体が含まれない場合（Ｎｏの場合）には、処理がステップＳＴ２６に進む。
　ステップＳＴ２６では、現在、表示部１１０に表示されている被写体のうち、最も面積の大きい被写体を目標被写体として決定し、当該被写体にフォーカスを合わせる制御が行われる。
　ステップＳＴ２４に係る処理の具体例としては、例えば、競馬で複数の人馬が混在する画像の撮影の場合であって撮影者の状態が注視対象の未選択状態となった場合に、その前にフォーカスが合っていた種類（例えば人を含む動物の種類、性別や人種等の人の属性的な種類、机，家，ボール等の物の種類）が現在の撮影画像内に含まれるか否かが判断される。人が含まれていれば人に対してフォーカスを合わせる制御が行われ、人が含まれていない場合には面積の大きい被写体（例えば馬）にフォーカスを合わせる制御が行われる。
　なお、制御部１０１は、撮影者の状態が注視対象の未選択状態であるとき、目標被写体に強調表示を行ってもよい。強調表示としては、目標被写体の輝度を上げたり、目標被写体の周囲の輝度を下げたり、目標被写体を点滅させたり、目標被写体またはその近傍にマークを表示する表示態様が挙げられる。
（緩慢状態に対応する制御の具体例）
　次に、注視対象の未選択状態に対応する制御の具体例について説明する。撮影者の状態が緩慢状態であると判定された場合には、例えば、機能の一部を停止したり性能を落とすことで撮像装置１００を省電力モードにする制御が行われる。例えば、ＥＶＦディスプレイの表示フレームレートを落として撮像装置１００を省電力モードに切り替える。また、撮影者の状態が緩慢状態の場合は競技者が多いスポーツ撮影にて撮影者が被写体を探しているようなシーンも想定されることから、被写体を捉えやすくするため測距範囲を広くしてフォーカス領域を自動的にワイドにする（フォーカスワイドモード）制御が行われる。また、撮影者の状態が緩慢状態でない状態（例えば、注視対象の決定状態や注視対象の未選択状態）から緩慢状態となった場合に、画角を緩慢状態でないときの画角より広くしてもよい。また、撮影者の状態が集中度が低い緩慢状態の場合には、緩慢状態であるときに重要な場面を取り逃してしまう虞があることから、撮影により連続的に取り込まれる画像をバッファーメモリに自動で保存する制御（画像保存制御）が行われる。以下、緩慢状態に対応する制御について、より具体的に説明する。
（第１の例）
　図６は、緩慢状態に対応する制御の流れの第１の例を示すフローチャートである。第１の例は、制御部１０１が、撮影者の状態が緩慢状態であるとき、複数の制御方法の中から撮影状況に対応する制御方法を選択する例であり、より詳しくは、複数の制御方法の中から撮影状況として撮影モードに対応する制御方法を選択する例である。なお、以下に説明する処理は、視線が検出されている間、処理が繰り返されるようにしてもよい。
　ステップＳＴ３１では、撮影者状態判定部１０１Ａにより撮影者の状態が緩慢状態と判定され、制御部１０１が、緩慢状態に対応する方式で制御を開始する。そして、処理がステップＳＴ３２に進む。
　ステップＳＴ３２では、測距範囲を広くしてフォーカス領域を自動的にワイドにする制御が行われ、撮像装置１００の設定がフォーカスワイドモードに設定される。なお、必ずしもフォーカスワイドモードが設定される必要は無い（他の例でも同様である。）そして処理がステップＳＴ３３に進む。
　ステップＳＴ３３では、撮像装置１００の撮影モードが判定される。ここで、撮影モードがプログラムオートモード（以下、Ｐモードと適宜、称する）である場合には、処理がステップＳＴ３４に進む。撮影モードがシャッタースピード優先モード（以下、Ｓモードと適宜、称する）である場合には、処理がステップＳＴ３５に進む。撮影モードがその他のモード（例えば、オートモード）の場合には、処理がステップＳＴ３６に進む。
　ステップＳＴ３４では、より広い画角で撮影が行われるように画角を広くする画角ワイドモードを設定する制御が行われる。Ｐモードは、一般に撮影者が初心者やアマチュアの場合に設定されるモードなので、そのような撮影者をアシストするために画角ワイドモードが設定される。
　ステップＳＴ３５では、撮影により連続的に取り込まれる画像をバッファーメモリ（例えば、リングバッファ）に保存する保存モードを設定する制御が行われる。Ｓモードの場合は、比較的動きが速い被写体を撮影するシーンが想定されることから、決定的なシーンを逃さないために保存モードが設定される。緩慢状態の時間に応じてリングバッファのバッファ長を長くしてもよい。
　ステップＳＴ３６では、撮像装置１００における消費電力を低減する省電力モードを設定する制御が行われる。省電力モードの具体例としては、上述した制御の他に、撮像素子１０４からの出力帯域を制限したり、表示部１１０の輝度を下げる制御等が挙げられる。
（第２の例）
　図７は、緩慢状態に対応する制御の流れの第２の例を示すフローチャートである。第２の例は、制御部１０１が、撮影者の状態が緩慢状態であるとき、複数の制御方法の中から撮影状況に対応する制御方法を選択する例であり、より詳しくは、複数の制御方法の中から撮影状況として被写体の種類に対応する制御方法を選択する例である。なお、以下に説明する処理は、視線が検出されている間、処理が繰り返されるようにしてもよい。
　ステップＳＴ４１では、撮影者状態判定部１０１Ａにより撮影者の状態が緩慢状態と判定され、制御部１０１が、緩慢状態に対応する方式で制御を開始する。そして、処理がステップＳＴ４２に進む。
　ステップＳＴ４２では、測距範囲を広くしてフォーカス領域を自動的にワイドにする制御が行われ、撮像装置１００の設定がフォーカスワイドモードに設定される。そして処理がステップＳＴ４３に進む。
　ステップＳＴ４３では、被写体認識処理が行われることにより被写体が判断される。被写体に動きがあるもの（例えば、人物や動物、乗り物等）が含まれる場合には、処理がステップＳＴ４４に進む。被写体に動きがあるものが含まれない場合（例えば、風景のみ）の場合には、処理がステップＳＴ４５に進む。
　ステップＳＴ４４では、被写体に動きがあるものが含まれていることから、決定的なシーンを逃さないために保存モードが設定される制御が行われる。一方、ステップＳＴ４５では、動きがある被写体が含まれないことから省電力モードが設定される制御が行われる。
（第３の例）
　図８は、緩慢状態に対応する制御の流れの第３の例を示すフローチャートである。第３の例は、制御部１０１が、撮影者の状態が緩慢状態であるとき、複数の制御方法の中から緩慢状態の継続時間に対応する制御方法を選択する例である。なお、以下に説明する処理は、視線が検出されている間、処理が繰り返されるようにしてもよい。
　ステップＳＴ５１では、撮影者状態判定部１０１Ａにより撮影者の状態が緩慢状態と判定され、制御部１０１が、緩慢状態に対応する方式で制御を開始する。そして、処理がステップＳＴ５２に進む。
　ステップＳＴ５２では、測距範囲を広くしてフォーカス領域を自動的にワイドにする制御が行われ、撮像装置１００の設定がフォーカスワイドモードに設定される。そして処理がステップＳＴ５３に進む。
　ステップＳＴ５３では、撮影者の状態が緩慢状態である状態が所定時間以上（例えば、１分～数分）しているか否かが判断される。継続している場合（Ｙｅｓの場合）には処理がステップＳＴ５４に進む。継続していない場合には（Ｎｏの場合）には、処理がステップＳＴ５５に進む。
　ステップＳＴ５４では、撮像装置１００に保存モードが設定される制御が行われる。ステップＳＴ５５では、撮像装置１００に省電力モードが設定される制御が行われる。
　本例の具体的な状況としては、例えば、鳥や野生動物の撮影が想定される。動物を待ち伏せて張っているようなプロカメラマンの場合、ファインダーに接眼して視線があることは検出されるが、視線が集中してはいない、すなわち、緩慢状態である。緩慢状態で時間がある程度（例えば１分以上）経った場合には、いつ到来するかわからない動物を待ち構えているものとして保存モードが設定される制御が行われる。一方で緩慢状態が継続していない場合には、待ち構えていないものとして省電力モードが設定される制御が行われる。
（第４の例）
　図９は、緩慢状態に対応する制御の流れの第４の例を示すフローチャートである。第４の例は、制御部１０１が、撮影者の状態が緩慢状態であるとき、複数の制御方法の中から撮影状況に対応する制御方法を選択する例であり、より詳しくは、複数の制御方法の中から撮影状況として撮像画像の変化に対応する制御方法を選択する例である。なお、以下に説明する処理は、視線が検出されている間、処理が繰り返されるようにしてもよい。
　ステップＳＴ６１では、撮影者状態判定部１０１Ａにより撮影者の状態が緩慢状態と判定され、制御部１０１が、緩慢状態に対応する方式で制御を開始する。そして、処理がステップＳＴ６２に進む。
　ステップＳＴ６２では、測距範囲を広くしてフォーカス領域を自動的にワイドにする制御が行われ、撮像装置１００の設定がフォーカスワイドモードに設定される。そして処理がステップＳＴ６３に進む。
　ステップＳＴ６３では、画像の変化が閾値以内であるか否かが判断される。画像の変化は、例えば、現フレームと過去のフレーム（例えば、時間的に１フレーム前のフレーム）との相関に基づいて判断される。相関が一定以上である場合には画像の変化が閾値以内であり、相関が一定未満である場合には画像の変化が閾値より大きいと判断される。画像の変化が閾値以内の場合（Ｙｅｓの場合）には、処理がステップＳＴ６４に進む。また、画像の変化が閾値より大きい場合には、処理がステップＳＴ６５に進む。
　ステップＳＴ６４では、撮像装置１００に保存モードが設定される制御が行われる。ステップＳＴ６５では、撮像装置１００に省電力モードが設定される制御が行われる。
　本例の具体的な状況としては、上述した第３の例と同様に、例えば、鳥や野生動物の撮影が想定される。動物を待ち伏せて張っているようなプロカメラマンの場合、ファインダーに接眼して視線があることは検出されるが、視線が集中してはいない、すなわち、緩慢状態である。このような状況下では、一般に撮影中の風景が写っていることがほとんどであり画像の変化が少ない。従って、画像の変化が少ない場合には、決定的なシーン（例えば、動物が写り込むシーン）を逃さないために、保存モードが設定される制御が行われる。一方で、画像の変化が大きい場合には、上述した状況ではないと判断され、省電力モードが設定される制御が行われる。
　以上説明した本実施形態によれば、撮影者が所定の動作を能動的に行う状態だけでなく、その他の撮影者の状態、具体的には、撮影者の状態が、注視対象の未選択状態や緩慢状態である場合であっても適切な制御を行うことが可能となる。
＜変形例＞
　以上、本開示の一実施形態について具体的に説明したが、本開示の内容は上述した実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。
　上述した一実施形態において、視線情報に基づいて決定された撮影者の状態に応じた方式での制御が行われないケースがあってもよい。図１０は、係るケースで行われる処理の流れを示すフローチャートである。なお、図３で説明した内容と重複する内容についての説明は適宜、省略する。
　ステップＳＴ１１の処理の後、ステップＳＴ７１に係る処理が行われる。ステップＳＴ７１では、撮影者が撮像装置１００の設定の操作中であるか否かが判断される。設定の操作としては、シャッタースピードやＩＳＯ感度に関する設定の操作が挙げられる。撮像装置１００の設定の操作中であるか否かは、操作に応じて生成される操作信号の有無や、ダイヤル等の入力部１０９に設けられたセンサによるセンシング結果に基づいて判断することができる。
　ステップＳＴ７１で操作中である場合（Ｙｅｓの場合）には処理がステップＳＴ７２に進み、一連の処理が終了する。ステップＳＴ７１で操作中でない場合（Ｎｏの場合）には処理がステップＳＴ１２に進む。ステップＳＴ１２以降の処理については既に説明してあるため重複した説明を省略する。
　撮影者が能動的な設定操作を行っている際に、撮影者の状態に応じた制御が行われ、係る制御に応じた設定がなされると、撮影者が意図した設定と異なる設定になってしまう虞がある。本例では、設定に関する操作中であるか否かが判断されるようにしているため、上述した不都合を回避することができる。
　図１１は、視線情報に基づいて決定された撮影者の状態に応じた制御が行われない他のケースで行われる処理の流れを示すフローチャートである。ステップＳＴ１１の処理の後、ステップＳＴ８１に係る処理が行われる。
　ステップＳＴ８１では、撮像装置１００のモードがマニュアルモード（以下、Ｍモードと適宜、称する）であるか否かが判断される。撮像装置１００のモードがＭモードである場合（Ｙｅｓの場合）には処理がステップＳＴ８２に進み、一連の処理が終了する。撮像装置１００のモードがＭモードでない場合（Ｎｏの場合）には処理がステップＳＴ１２に進む。ステップＳＴ１２以降の処理については既に説明してあるため重複した説明を省略する。
　撮影者が上級者である場合に、撮影者の状態に応じた方式での制御が行われることを望まない場合もあり得る。この場合、撮影者は、撮像装置１００のモードをＭモードに設定することにより上述した不都合を回避することができる。なお、Ｍモードに限らず、撮影者の状態に応じた制御が行われない専用のモードが設定可能とされてもよい。
　上述した一実施形態において、撮影者の状態を判定する際に時間的な要素が考慮されてもよい。例えば、視線情報に基づいて撮影者の状態が緩慢状態であると判定された場合であっても、その状態が所定時間（例えば５秒間）以上継続した場合に、緩慢状態に応じた制御が開始されるようにしてもよい。
　なお、上述した一実施形態において、撮影者状態判定部１０１Ａが、撮影者の状態が何れか１つの状態を判定するようにしてもよい。
　上述した実施形態に係る処理において、機械学習に基づく処理、すなわち、予め行われた学習により得られる学習モデルを使用した処理が行われてもよい。
　上述の実施形態および変形例において挙げた構成、方法、工程、形状、材料および数値などはあくまでも例に過ぎず、必要に応じてこれと異なる構成、方法、工程、形状、材料および数値などを用いてもよく、公知のもので置き換えることも可能である。また、実施形態および変形例における構成、方法、工程、形状、材料および数値などは、技術的な矛盾が生じない範囲において、互いに組み合わせることが可能である。
　なお、本明細書中で例示された効果により本開示の内容が限定して解釈されるものではない。
　本開示は、以下の構成も採ることができる。
（１）
　視線情報に基づいて決定された撮影者の状態が注視対象の未決定状態であることに対応する方式で制御を実行する制御部を備える、
　撮像装置。
（２）
　前記注視対象の未決定状態は、前記視線情報が示す視線検出結果の分布が所定の値より小さい分散の値のピークを持たないことに対応する撮影者の状態である、
　（１）に記載の撮像装置。
（３）
　前記制御部は、前記視線情報に基づいて前記撮影者の状態を判定する、
　（１）または（２）に記載の撮像装置。
（４）
　前記制御部は、前記撮影者の状態が前記注視対象の未決定状態である前記注視対象の未選択状態であるとき、目標被写体を含むようにフォーカス領域を決定する、
　（１）から（３）までの何れかに記載の撮像装置。
（５）
　前記制御部は、前記撮影者の状態が前記注視対象の未選択状態であるとき、前記撮影者の状態が前記注視対象の未選択状態となる前の撮影状況に基づいて前記目標被写体を決定する、
　（４）に記載の撮像装置。
（６）
　前記制御部は、前記撮影者の状態が前記注視対象の未選択状態となる前に前記注視対象であった被写体に基づいて前記目標被写体を決定する、
　（５）に記載の撮像装置。
（７）
　前記注視対象の未選択状態は、前記視線情報が示す視線検出結果の分布が所定の値より大きい分散の値を有する複数のピークのみを持つことに対応する撮影者の状態である、
　（４）から（６）までの何れかに記載の撮像装置。
（８）
　前記注視対象の未選択状態は、前記視線情報が示す視線検出結果の軌跡が表示画像上の複数の箇所を往復することに対応する撮影者の状態である、
　（４）から（６）までの何れかに記載の撮像装置。
（９）
　前記制御部は、前記撮影者の状態が前記未決定状態である緩慢状態であるとき、前記緩慢状態でない状態から前記緩慢状態になった場合、画角を前記緩慢状態でない状態より広くする、
　（１）から（８）までの何れかに記載の撮像装置。
（１０）
　前記制御部は、前記撮影者の状態が前記未決定状態である緩慢状態であるとき、省電力制御を行う、
　（１）から（８）までの何れかに記載の撮像装置。
（１１）
　前記制御部は、前記撮影者の状態が前記未決定状態である緩慢状態であるとき、画像保存制御を行う、
　（１）から（８）までの何れかに記載の撮像装置。
（１２）
　前記制御部は、前記撮影者の状態が前記未決定状態である緩慢状態であるとき、前記緩慢状態でない状態から前記緩慢状態になった場合、測距範囲を前記緩慢状態でない状態より広くする、
　（１）から（８）までの何れかに記載の撮像装置。
（１３）
　前記制御部は、前記撮影者の状態が緩慢状態であるとき、複数の制御方法の中から撮影状況に対応する制御方法を選択する、
　（１）から（８）までの何れかに記載の撮像装置。
（１４）
　前記制御部は、前記撮影者の状態が前記緩慢状態であるとき、前記複数の制御方法の中から前記撮影状況として撮影モードに対応する前記制御方法を選択する、
　（１３）に記載の撮像装置。
（１５）
　前記制御部は、前記撮影者の状態が前記緩慢状態であるとき、前記複数の制御方法の中から前記撮影状況として被写体の種類に対応する前記制御方法を選択する、
　（１３）に記載の撮像装置。
（１６）
　前記制御部は、前記撮影者の状態が前記緩慢状態であるとき、前記複数の制御方法の中から前記撮影状況として前記緩慢状態の継続時間に対応する前記制御方法を選択する、
　（１３）に記載の撮像装置。
（１７）
　前記緩慢状態は、前記視線情報が示す視線検出結果の分布が所定の値よりも大きい分散の値を有することに対応する撮影者の状態である、
　（９）から（１６）までの何れかに記載の撮像装置。
（１８）
　前記緩慢状態は、前記注視対象の決定状態と比較して、前記視線情報が示す視線検出結果の軌跡が広範囲であることに対応する撮影者の状態である、
　（９）から（１６）までの何れかに記載の撮像装置。
（１９）
　制御部が、視線情報に基づいて決定された撮影者の状態が注視対象の未決定状態であることに対応する方式で制御を実行する、
　撮像装置の制御方法。
（２０）
　制御部が、視線情報に基づいて決定された撮影者の状態が注視対象の未決定状態であることに対応する方式で制御を実行する、
　撮像装置の制御方法をコンピュータに実行させるプログラム。
１００・・・撮像装置
１０１・・・制御部
１０１Ａ・・・撮影者状態判定部
１１４・・・視線検出部

Claims (20)

  1. 　視線情報に基づいて決定された撮影者の状態が注視対象の未決定状態であることに対応する方式で制御を実行する制御部を備える、
    　撮像装置。
  2. 　前記注視対象の未決定状態は、前記視線情報が示す視線検出結果の分布が所定の値より小さい分散の値のピークを持たないことに対応する撮影者の状態である、
    　請求項１に記載の撮像装置。
  3. 　前記制御部は、前記視線情報に基づいて前記撮影者の状態を判定する、
    　請求項１に記載の撮像装置。
  4. 　前記制御部は、前記撮影者の状態が前記注視対象の未決定状態である前記注視対象の未選択状態であるとき、目標被写体を含むようにフォーカス領域を決定する、
    　請求項１に記載の撮像装置。
  5. 　前記制御部は、前記撮影者の状態が前記注視対象の未選択状態であるとき、前記撮影者の状態が前記注視対象の未選択状態となる前の撮影状況に基づいて前記目標被写体を決定する、
    　請求項４に記載の撮像装置。
  6. 　前記制御部は、前記撮影者の状態が前記注視対象の未選択状態となる前に前記注視対象であった被写体に基づいて前記目標被写体を決定する、
    　請求項５に記載の撮像装置。
  7. 　前記注視対象の未選択状態は、前記視線情報が示す視線検出結果の分布が所定の値より大きい分散の値を有する複数のピークのみを持つことに対応する撮影者の状態である、
    　請求項４に記載の撮像装置。
  8. 　前記注視対象の未選択状態は、前記視線情報が示す視線検出結果の軌跡が表示画像上の複数の箇所を往復することに対応する撮影者の状態である、
    　請求項４に記載の撮像装置。
  9. 　前記制御部は、前記撮影者の状態が前記未決定状態である緩慢状態であるとき、前記緩慢状態でない状態から前記緩慢状態になった場合、画角を前記緩慢状態でない状態より広くする、
    　請求項１に記載の撮像装置。
  10. 　前記制御部は、前記撮影者の状態が前記未決定状態である緩慢状態であるとき、省電力制御を行う、
    　請求項１に記載の撮像装置。
  11. 　前記制御部は、前記撮影者の状態が前記未決定状態である緩慢状態であるとき、画像保存制御を行う、
    　請求項１に記載の撮像装置。
  12. 　前記制御部は、前記撮影者の状態が前記未決定状態である緩慢状態であるとき、前記緩慢状態でない状態から前記緩慢状態になった場合、測距範囲を前記緩慢状態でない状態より広くする、
    　請求項１に記載の撮像装置。
  13. 　前記制御部は、前記撮影者の状態が緩慢状態であるとき、複数の制御方法の中から撮影状況に対応する制御方法を選択する、
    　請求項１に記載の撮像装置。
  14. 　前記制御部は、前記撮影者の状態が前記緩慢状態であるとき、前記複数の制御方法の中から前記撮影状況として撮影モードに対応する前記制御方法を選択する、
    　請求項１３に記載の撮像装置。
  15. 　前記制御部は、前記撮影者の状態が前記緩慢状態であるとき、前記複数の制御方法の中から前記撮影状況として被写体の種類に対応する前記制御方法を選択する、
    　請求項１３に記載の撮像装置。
  16. 　前記制御部は、前記撮影者の状態が前記緩慢状態であるとき、前記複数の制御方法の中から前記撮影状況として前記緩慢状態の継続時間に対応する前記制御方法を選択する、
    　請求項１３に記載の撮像装置。
  17. 　前記緩慢状態は、前記視線情報が示す視線検出結果の分布が所定の値よりも大きい分散の値を有することに対応する撮影者の状態である、
    　請求項９に記載の撮像装置。
  18. 　前記緩慢状態は、前記注視対象の決定状態と比較して、前記視線情報が示す視線検出結果の軌跡が広範囲であることに対応する撮影者の状態である、
    　請求項９に記載の撮像装置。
  19. 　制御部が、視線情報に基づいて決定された撮影者の状態が注視対象の未決定状態であることに対応する方式で制御を実行する、
    　撮像装置の制御方法。
  20. 　制御部が、視線情報に基づいて決定された撮影者の状態が注視対象の未決定状態であることに対応する方式で制御を実行する、
    　撮像装置の制御方法をコンピュータに実行させるプログラム。
PCT/JP2021/014160 2020-04-09 2021-04-01 撮像装置、撮像装置の制御方法およびプログラム Ceased WO2021205979A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/910,225 US12619302B2 (en) 2020-04-09 2021-04-01 Imaging apparatus, method of controlling imaging apparatus, and program
EP21783813.5A EP4134740A4 (en) 2020-04-09 2021-04-01 IMAGING DEVICE, METHOD FOR CONTROLLING THE IMAGING DEVICE AND PROGRAM
JP2022514441A JP7697457B2 (ja) 2020-04-09 2021-04-01 撮像装置、撮像装置の制御方法およびプログラム
CN202180026568.9A CN115362670B (zh) 2020-04-09 2021-04-01 成像装置、控制成像装置的方法和程序产品

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020070162 2020-04-09
JP2020-070162 2020-04-09

Publications (1)

Publication Number Publication Date
WO2021205979A1 true WO2021205979A1 (ja) 2021-10-14

Family

ID=78024112

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/014160 Ceased WO2021205979A1 (ja) 2020-04-09 2021-04-01 撮像装置、撮像装置の制御方法およびプログラム

Country Status (4)

Country Link
EP (1) EP4134740A4 (ja)
JP (1) JP7697457B2 (ja)
CN (1) CN115362670B (ja)
WO (1) WO2021205979A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023074669A1 (ja) * 2021-10-27 2023-05-04 キヤノン株式会社 撮像装置、画像処理装置、および方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05210040A (ja) * 1991-06-28 1993-08-20 Nikon Corp 視線検出装置を有するカメラ
JP2002301030A (ja) * 2001-04-09 2002-10-15 Canon Inc 視線検出機能付き機器
JP2008306533A (ja) 2007-06-08 2008-12-18 Fujifilm Corp 動画撮影自動停止方法およびこれを用いた動画撮影装置
JP2012065311A (ja) * 2010-08-20 2012-03-29 Panasonic Corp 撮像装置および撮像方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5758201A (en) * 1991-06-28 1998-05-26 Nikon Corporation Camera having line of sight detecting device
JPH089237A (ja) * 1994-06-17 1996-01-12 Canon Inc 画像信号処理装置
JPH08136798A (ja) * 1994-11-08 1996-05-31 Canon Inc 自動焦点カメラ
JP2001201680A (ja) * 2000-11-30 2001-07-27 Nikon Corp 視線検出装置を有するカメラ
JP4283268B2 (ja) * 2005-12-12 2009-06-24 株式会社リコー 撮像装置
JP2007310454A (ja) * 2006-05-16 2007-11-29 Nippon Hoso Kyokai <Nhk> 画像評価装置および被験者集中度算出装置、並びに、画像評価プログラムおよび被験者集中度算出プログラム
WO2018016209A1 (ja) * 2016-07-20 2018-01-25 富士フイルム株式会社 注目位置認識装置、撮像装置、表示装置、注目位置認識方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05210040A (ja) * 1991-06-28 1993-08-20 Nikon Corp 視線検出装置を有するカメラ
JP2002301030A (ja) * 2001-04-09 2002-10-15 Canon Inc 視線検出機能付き機器
JP2008306533A (ja) 2007-06-08 2008-12-18 Fujifilm Corp 動画撮影自動停止方法およびこれを用いた動画撮影装置
JP2012065311A (ja) * 2010-08-20 2012-03-29 Panasonic Corp 撮像装置および撮像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4134740A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023074669A1 (ja) * 2021-10-27 2023-05-04 キヤノン株式会社 撮像装置、画像処理装置、および方法

Also Published As

Publication number Publication date
CN115362670A (zh) 2022-11-18
CN115362670B (zh) 2025-10-21
JPWO2021205979A1 (ja) 2021-10-14
EP4134740A4 (en) 2023-09-06
JP7697457B2 (ja) 2025-06-24
US20230131361A1 (en) 2023-04-27
EP4134740A1 (en) 2023-02-15

Similar Documents

Publication Publication Date Title
JP4196714B2 (ja) デジタルカメラ
JP7346654B2 (ja) 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体
US7430369B2 (en) Image capture apparatus and control method therefor
JP4182117B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP5251215B2 (ja) デジタルカメラ
JP4900014B2 (ja) 撮像装置及びそのプログラム
JP4819001B2 (ja) 撮影装置および方法並びにプログラム、画像処理装置および方法並びにプログラム
JP2004317699A (ja) デジタルカメラ
JP2004320286A (ja) デジタルカメラ
JP2007010898A (ja) 撮像装置及びそのプログラム
WO2019124055A1 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2009033491A (ja) 撮像装置および撮像方法
JP5166370B2 (ja) 撮像装置及び撮像方法
US7796163B2 (en) System for and method of taking image based on objective body in a taken image
JP2004320285A (ja) デジタルカメラ
JP7342883B2 (ja) 撮像制御装置、撮像装置、撮像制御方法
JP7697457B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
US11662809B2 (en) Image pickup apparatus configured to use line of sight for imaging control and control method thereof
JP5448868B2 (ja) 撮像装置および撮像装置の制御方法
US12619302B2 (en) Imaging apparatus, method of controlling imaging apparatus, and program
JP3985005B2 (ja) 撮像装置、画像処理装置、撮像装置の制御方法、およびこの制御方法をコンピュータに実行させるためのプログラム
JP5293769B2 (ja) 撮像装置及びそのプログラム
JP5375943B2 (ja) 撮像装置及びそのプログラム
JP2007215086A (ja) 動画撮影可能なカメラ
US11922857B2 (en) Imaging device with display switching determination period setting according to relevance between imaging setting and display item

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21783813

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022514441

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021783813

Country of ref document: EP

Effective date: 20221109

WWW Wipo information: withdrawn in national office

Ref document number: 2021783813

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 202180026568.9

Country of ref document: CN