WO2012144526A1 - 情報表示装置、制御方法、及びプログラム - Google Patents

情報表示装置、制御方法、及びプログラム Download PDF

Info

Publication number
WO2012144526A1
WO2012144526A1 PCT/JP2012/060479 JP2012060479W WO2012144526A1 WO 2012144526 A1 WO2012144526 A1 WO 2012144526A1 JP 2012060479 W JP2012060479 W JP 2012060479W WO 2012144526 A1 WO2012144526 A1 WO 2012144526A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
face
display
vertical direction
change amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/060479
Other languages
English (en)
French (fr)
Inventor
吉岡　健治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Casio Mobile Communications Ltd
Original Assignee
NEC Casio Mobile Communications Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Casio Mobile Communications Ltd filed Critical NEC Casio Mobile Communications Ltd
Priority to EP12774769.9A priority Critical patent/EP2701046A4/en
Priority to JP2013511022A priority patent/JPWO2012144526A1/ja
Priority to US14/112,025 priority patent/US20140043231A1/en
Publication of WO2012144526A1 publication Critical patent/WO2012144526A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored

Definitions

  • the present invention relates to an information display device, a control method, and a program.
  • the present invention relates to an information display device that switches and displays information on a screen according to the orientation of a person's face, a control method for controlling the information display device, and a program for the information display device.
  • Smartphones can display various contents such as websites, photos, and documents. Such content is classified into content that is easier to view if it is displayed vertically and content that is easier to view if it is displayed horizontally. For example, when a long text is written on a Web site where the long side direction of a rectangular display is displayed in the vertical direction, the scroll width in the vertical direction increases because the number of characters that can fit in the horizontal width of the display is small. Therefore, when displaying a Web site with a long sentence written, if the font size is reduced, the number of characters that can be accommodated in the horizontal width of the display increases, so that the vertical scrolling is shortened. However, such a method of reducing the font sacrifices visibility.
  • the vertical direction of the smartphone body is specified by the direction of gravitational acceleration detected by an acceleration sensor.
  • FIG. 4 shows a state where the user U is holding the smartphone 900 in an attempt to visually recognize the long side direction of the rectangular display 940 of the smartphone 900 as the vertical direction.
  • the smartphone 900 shown in the balloon of FIG. 4 is in a state viewed from the direction in which the user is viewing the display 940.
  • the smartphone 900 receives the gravitational acceleration G in substantially the same direction as the direction of the long side direction of the display 940. Therefore, the smartphone 900 performs screen display with the long side direction H1 of the display 940 as the vertical direction.
  • FIG. 5 shows a state in which the user U is holding the smartphone 900 in an attempt to visually recognize the short side direction of the rectangular display 940 of the smartphone 900 as the vertical direction.
  • the smartphone 900 shown in the balloon of FIG. 5 is in a state viewed from the direction in which the user is viewing the display 940.
  • the smartphone 900 receives the gravitational acceleration G in the same direction as the direction of the short side direction of the display 940. Therefore, the smartphone 900 performs screen display with the short side direction of the display 940 as the vertical direction. That is, when the smartphone 900 is changed from the state shown in FIG. 4 to the state shown in FIG. 5, the display of the display 940 is shortened from the screen display with the long side direction H ⁇ b> 1 of the display 940 in the vertical direction.
  • the screen display orientation is switched to the screen display in which the side direction H2 is the vertical direction.
  • FIG. 6 shows a state where the user U is lying down while holding the smartphone 900.
  • the smartphone 900 receives the gravitational acceleration G in substantially the same direction as the direction of the long side direction of the display 940. Therefore, the smartphone 900 performs screen display with the long side direction of the display 940 as the vertical direction. That is, when the user's posture changes from the state shown in FIG. 5 to the state shown in FIG. 6, the smartphone 900 changes the screen 940 from the screen display with the short side direction H ⁇ b> 2 of the display 940 in the vertical direction.
  • the screen display orientation is switched to the screen display in which the side direction H3 is the vertical direction.
  • the user can easily visually recognize the information displayed on the screen when the screen is displayed with the same direction E1 as the vertical direction of the neck from the top of the face to the vertical direction of the display 940.
  • FIG. 7 shows a state in which the user U places the smartphone 900 on the desk D so as to visually recognize the short side direction of the rectangular display 940 of the smartphone 900 as the vertical direction.
  • the smartphone 900 receives the gravitational acceleration G in the same direction as the direction of the short side direction of the display 940. Therefore, immediately before the smartphone 900 is placed on the desk D, the smartphone 900 performs screen display with the short-side direction H4 of the display 940 as the vertical direction. Then, after being placed on the desk D, the smartphone 900 receives a gravitational acceleration G in a direction from the front side to the back side of the display 940. Accordingly, the smartphone 900 is not subject to the gravitational acceleration G in the same direction as the short side or the long side direction of the display 940. Display.
  • FIG. 8 shows a state in which the user U is placing the smartphone 900 on the desk D so as to visually recognize the long side direction of the rectangular display 940 of the smartphone 900 as the vertical direction.
  • the smartphone 900 receives the gravitational acceleration G in the direction from the front side to the back side of the display 940. Therefore, even if the smartphone 900 changes its orientation from the state shown in FIG. 7 to the state shown in FIG. Screen display is performed with the short side direction H4 as the vertical direction.
  • the user can easily view the information displayed on the screen when the screen is displayed with the same direction E2 as the vertical direction of the neck from the top of the face to the vertical direction of the display 940.
  • Patent Document 1 and Patent Document 2 disclose portable terminal devices that can solve the above-described problems.
  • the mobile terminal device described in Patent Literature 1 captures a user and acquires image information.
  • the mobile terminal device recognizes the face structure of the user from the acquired image information and acquires face information.
  • the portable terminal device detects the orientation of the casing of the portable terminal device with respect to the user in use based on the acquired user face information.
  • the portable terminal device switches display of video content on the display unit based on the detected orientation of the housing.
  • the mobile terminal device described in Patent Document 1 appropriately grasps the orientation of the mobile terminal device with respect to the user in use, can switch the screen display without performing a notification operation, and is displayed in real time.
  • the screen display can be arbitrarily switched while viewing the video content.
  • the screen switching device described in Patent Document 2 photographs a face.
  • the screen switching device displays the captured face image on a rectangular display unit.
  • the screen switching device determines an axis that uses one of the horizontal side and the vertical side of the display unit as a reference for the display direction.
  • the screen switching device authenticates the face displayed on the display unit.
  • the screen switching device switches to a screen determined based on the direction in which the axis of the display unit on which the authenticated face is displayed faces.
  • the screen switching device performs display including a television image and a television telephone image on the switched screen.
  • the screen switching device described in Patent Literature 2 can switch the screen regardless of the state of the mobile phone provided with the display unit by detecting the relative position between the display unit and the user's face. Become. This screen switching device is expected to improve user convenience by performing an appropriate screen display.
  • Patent Documents 1 and 2 are techniques for switching the orientation of the screen displayed on the display in accordance with the orientation of the user's face taken by the camera. However, if the techniques described in Patent Documents 1 and 2 are used, the screen display direction can be switched to a direction that is easy for the user to visually recognize. End up. For this reason, it is difficult to say that the techniques described in Patent Documents 1 and 2 are suitable for a portable information terminal such as a smartphone that is required to be driven by a battery for a long time.
  • An information display device includes an attitude change amount calculation unit that calculates a change amount of a posture state detected by an attitude detection unit, and an information display device that is calculated by the attitude change amount calculation unit.
  • a posture change amount determination unit that determines whether or not the amount of change in posture state is greater than or equal to a threshold value, and the posture change amount determination unit that determines whether or not the amount of change in posture state of the information display device is greater than or equal to a threshold value Is detected, the imaging unit control unit that activates the imaging unit, a face detection unit that detects a human face in an image obtained by imaging by the imaging unit, and the face detection unit detects
  • the face direction specifying unit for specifying the vertical direction of the face of the person who has performed the image, the vertical direction of the screen display displayed on the display unit, and the vertical direction of the face of the person specified by the face direction specifying unit are the same
  • a display direction determination unit that determines whether or not the direction is displayed, and the display direction display unit When the display direction determination unit determines
  • the control method includes a step of calculating a change amount of the posture state detected by the posture detection unit, and a change amount of the posture state of the information display device calculated in the calculation step. Is determined in the step of determining whether or not the change amount of the posture state of the information display device is equal to or greater than the threshold value, Activating the imaging unit, detecting a person's face in an image obtained by the imaging unit, and specifying a vertical direction of the person's face detected in the detecting step Determining whether the vertical direction of the screen display displayed on the display unit is the same as the vertical direction of the face of the person specified in the specifying step; On the screen displayed on the display When the display direction is determined that the orientation of the human face and the vertical direction of the human face are not the same orientation, the vertical orientation of the screen display displayed on the display unit is determined as the human face. And switching to the same orientation as the up and down directions.
  • the program according to the third embodiment of the present invention includes an information display device that includes an attitude change amount calculation unit that calculates an amount of change in posture state detected by the posture detection unit, and information calculated by the posture change amount calculation unit.
  • a posture change amount determining unit for determining whether or not a change amount of the posture state of the display device is equal to or greater than a threshold value; and the posture change when the change amount of the posture state of the information display device is equal to or greater than the threshold value.
  • an imaging unit control unit that activates the imaging unit, a face detection unit that detects a human face in an image obtained by the imaging unit, and the face detection Direction identifying unit that identifies the vertical direction of the person's face detected by the unit, the vertical direction of the screen display displayed on the display unit, and the vertical direction of the person's face identified by the face direction identifying unit Display direction determination unit for determining whether or not the same direction, and the display
  • the display direction determination unit determines that the vertical direction of the screen display displayed on the screen is not the same as the vertical direction of the human face
  • the vertical direction of the screen display displayed on the display unit It functions as a display direction switching unit that switches the direction to the same direction as the vertical direction of the human face.
  • the present invention uses the power consumption of the information display device having the function of switching the screen display direction according to the vertical direction of the person's face when the technology of the related technology is used. In comparison, it can be greatly reduced.
  • FIG. 1 It is a figure which shows an example of the hardware constitutions of the smart phone concerning embodiment of this invention. It is a figure which shows an example of the block configuration of CPU shown in FIG. It is a figure which shows an example of the operation
  • FIG. 1 shows an example of a hardware configuration of a smartphone 100 according to an embodiment of the present invention.
  • the smartphone 100 is a mobile phone having the functions of a personal mobile computer. More specifically, the smartphone 100 is a device in which a mobile phone and a communication function are integrated into a related-art portable information terminal.
  • the smartphone 100 according to the present embodiment has a function of switching and displaying the screen display direction of information according to the direction of the person's face.
  • the smartphone 100 may be an example of an “information display device” in this embodiment.
  • the smartphone 100 includes a CPU (Central Processing Unit) 110, a digital camera 130, an acceleration sensor 140, a geomagnetic sensor 150, a memory 160, and a touch screen 170.
  • CPU Central Processing Unit
  • the CPU 110 is one of the components that make up the smartphone 100.
  • the CPU 110 is a device that controls the digital camera 130, the acceleration sensor 140, the geomagnetic sensor 150, the memory 160, and the touch screen 170, calculates data, and processes the data. More specifically, the CPU 110 is a device that executes a program stored in the memory 160.
  • the CPU 110 receives data from the digital camera 130, the acceleration sensor 140, the geomagnetic sensor 150, the memory 160, and the touch screen 170, calculates and processes the data, and outputs the data to the memory 160 and the touch screen 170.
  • the CPU 110 may be an example of a “control unit” in this embodiment.
  • the digital camera 130 is a device that converts an image into an electric signal using a semiconductor element that reacts to light, such as a CCD (Charge Coupled Devices) or a CMOS (Complementary Metal Oxide Semiconductor), and stores it in the memory 160 as digital data.
  • a semiconductor element that reacts to light such as a CCD (Charge Coupled Devices) or a CMOS (Complementary Metal Oxide Semiconductor), and stores it in the memory 160 as digital data.
  • the digital camera 130 may be an example of an “imaging unit” in this embodiment.
  • the acceleration sensor 140 is a device that is used to detect the direction of gravity acceleration and measure the vertical rotation angle of the smartphone 100.
  • the geomagnetic sensor 150 is a device used to detect the direction of geomagnetism and calculate the horizontal rotation angle of the smartphone 100.
  • the acceleration sensor 140 and the geomagnetic sensor 150 may be an example of a “posture detection unit” in this embodiment.
  • the memory 160 is a device that stores data and programs in the smartphone 100.
  • the touch screen 170 may be an example of a “display unit” in this embodiment.
  • the touch screen 170 is a display on which the smartphone 100 can be operated by touching the screen with a finger or a dedicated pen.
  • the smartphone 100 includes one CPU 110 for the purpose of preventing the description from becoming complicated.
  • the smartphone 100 may include a plurality of CPUs 110.
  • FIG. 2 shows an example of the block configuration of the CPU 110.
  • the CPU 110 includes a posture change amount calculation unit 113, a posture change amount determination unit 114, an imaging unit control unit 115, a face detection unit 117, a face direction identification unit 118, a display direction determination unit 119, and a display direction switching unit 120.
  • the posture change amount calculation unit 113 calculates the change amount of the direction of gravity acceleration. Further, the posture change amount calculation unit 113 calculates the change amount of the geomagnetic direction. For example, the posture change amount calculation unit 113 calculates the amount of change in the direction of gravity acceleration based on data received over time from the acceleration sensor 140. Further, for example, the posture change amount calculation unit 113 calculates the change amount of the geomagnetism direction based on data received over time from the geomagnetic sensor 150.
  • the direction of gravitational acceleration and the direction of geomagnetism may be an example of the “posture state” in this embodiment.
  • the posture change amount determination unit 114 determines whether or not the change amount of the direction of gravitational acceleration is equal to or greater than a threshold value. In addition, the posture change amount determination unit 114 determines whether or not the change amount of the geomagnetic direction is equal to or greater than a threshold value. For example, the posture change amount determination unit 114 determines whether or not the amount of change in the direction of gravity acceleration calculated by the posture change amount calculation unit 113 is equal to or greater than a threshold value. Further, for example, the posture change amount determination unit 114 determines whether or not the change amount of the geomagnetism direction calculated by the posture change amount calculation unit 113 is a threshold value.
  • the posture change amount determination unit 114 after the amount of change in the direction of gravitational acceleration calculated by the posture change amount calculation unit 113 becomes equal to or greater than a threshold value, the transition of the change amount falls below a predetermined range. In this case, it is determined that the amount of change in the direction of gravity acceleration calculated by the posture change amount calculation unit 113 is greater than or equal to a threshold value.
  • the posture change amount determination unit 114 has a change in the change amount that is equal to or less than a predetermined range after the change amount of the geomagnetic direction calculated by the posture change amount calculation unit 113 is equal to or greater than a threshold value. In this case, it is determined that the change amount of the geomagnetic direction calculated by the posture change amount calculation unit 113 is equal to or greater than the threshold value.
  • the imaging unit control unit 115 activates the digital camera 130 when the direction of gravitational acceleration changes. Further, the imaging unit control unit 115 activates the digital camera 130 when the direction of geomagnetism changes. For example, the imaging unit control unit 115 activates the digital camera 130 when the posture change amount determination unit 114 determines that the amount of change in the direction of gravitational acceleration is equal to or greater than a threshold value. For example, the imaging unit control unit 115 activates the digital camera 130 when the posture change amount determination unit 114 determines that the amount of change in the direction of geomagnetism is equal to or greater than a threshold value.
  • the face detection unit 117 detects the face of a person shown in the image obtained by the digital camera 130. For example, the face detection unit 117 detects the face of a person shown in the image indicated by the imaging data received from the digital camera 130.
  • the face direction identification unit 118 identifies the vertical direction of the person's face. For example, the face direction identification unit 118 identifies the vertical direction of the human face detected by the face detection unit 117.
  • the vertical direction of the human face is the vertical direction when the top of the head is up and the chin is down. Therefore, as shown in FIG. 6, even when the person is lying down, the vertical direction of the human face is specified as the vertical direction when the top of the head is up and the chin is down.
  • the display direction determination unit 119 determines whether the vertical direction of the screen display displayed on the touch screen 170 is the same as the vertical direction of the human face. In other words, the display direction determination unit 119 determines whether the vertical direction of the screen display displayed on the touch screen 170 is different from the vertical direction of the human face. For example, the display direction determination unit 119 determines whether the vertical direction of the screen display displayed on the touch screen 170 is the same as the vertical direction of the face of the person specified by the face direction specification unit 118. judge.
  • the display direction switching unit 120 switches the vertical direction of the screen display displayed on the touch screen 170 to the same direction as the vertical direction of the human face. For example, when the display direction determination unit 119 determines that the vertical direction of the screen display displayed on the touch screen 170 is not the same as the vertical direction of the human face, The vertical direction of the screen display displayed on the touch screen 170 is switched to the same direction as the vertical direction of the human face. In other words, when the display direction determining unit 119 determines that the vertical direction of the screen display displayed on the touch screen 170 is different from the vertical direction of the human face, The vertical direction of the screen display displayed on the touch screen 170 is switched to the same direction as the vertical direction of the human face.
  • FIG. 3 shows an example of the operation flow of the CPU 110. This operation flow refers to both FIG. 1 and FIG.
  • the acceleration sensor 140 outputs data indicating the direction of gravity acceleration to the CPU 110 over time. Further, the geomagnetic sensor 150 outputs data indicating the direction of geomagnetism to the CPU 110 over time.
  • the posture change amount calculation unit 113 of the CPU 110 sequentially receives data indicating the direction of gravity acceleration from the acceleration sensor 140 (S101), the posture change amount calculation unit 113 calculates a change amount of the direction of gravity acceleration based on the data (S102). Then, the posture change amount calculation unit 113 sends data indicating the calculated change amount of the direction of gravity acceleration to the posture change amount determination unit 114.
  • the posture change amount calculation unit 113 sequentially receives data indicating the direction of geomagnetism from the geomagnetic sensor 150 (S101), the change amount of geomagnetic direction is calculated based on the data (S102). Then, the posture change amount calculation unit 113 sends data indicating the calculated change amount of the geomagnetism direction to the posture change amount determination unit 114.
  • posture change amount determination unit 114 of CPU 110 receives data indicating the change amount of the direction of gravity acceleration from posture change amount calculation unit 113, whether or not the change amount of the direction of gravity acceleration is greater than or equal to a threshold value. Is determined (S103). In that case, after the amount of change in the direction of gravitational acceleration calculated by the posture change amount calculation unit 113 becomes equal to or greater than the threshold value, the posture change amount determination unit 114 becomes less than a predetermined range. In this case, it may be determined that the amount of change in the direction of gravity acceleration calculated by the posture change amount calculation unit 113 has changed by a threshold value or more.
  • the posture change amount determination unit 114 determines whether or not the change amount of the geomagnetism direction is equal to or greater than a threshold value. Determine (S103). In that case, the posture change amount determination unit 114, when the change amount of the geomagnetism direction calculated by the posture change amount calculation unit 113 becomes equal to or greater than a threshold value, and then the change amount of the change becomes a predetermined range or less. In addition, it may be determined that the amount of change in the geomagnetic direction calculated by the posture change amount calculation unit 113 is equal to or greater than a threshold value.
  • the CPU 110 repeats the processing from step S101 to step S103.
  • the imaging unit control unit 115 of the CPU 110 activates the digital camera 130 (S104). ).
  • the imaging unit control unit 115 of the CPU 110 activates the digital camera 130 (S104).
  • the digital camera 130 is activated and outputs image data obtained by being imaged by an imaging element such as a CCD or CMOS to the CPU 110.
  • an imaging element such as a CCD or CMOS
  • the face detection unit 117 of the CPU 110 receives the image data from the digital camera 130 (S105), the face detection unit 117 detects the face of the person shown in the image indicated by the image data (S106).
  • the face detection unit 117 detects the face of a person in the image (S106: Yes)
  • the face detection unit 117 sends data indicating the position of the detected person's face image to the face direction identification unit 118.
  • the face detection unit 117 does not perform any processing when the face of a person shown in the image is not detected (S106: No).
  • the face direction specifying unit 118 of the CPU 110 receives data indicating the position in the detected human face image from the face detecting unit 117
  • the face direction specifying unit 118 specifies the vertical direction of the human face (S107).
  • the face direction identification unit 118 sends data indicating the vertical direction of the identified person's face to the display direction determination unit 119.
  • the display direction determination unit 119 of the CPU 110 receives data indicating the vertical orientation of the person's face from the face direction specifying unit 118, the vertical orientation of the person's face indicated by the data is displayed on the touch screen 170. It is determined whether or not the vertical direction of the screen display is the same (S108). Then, the display direction determination unit 119 sends data indicating the determination result to the display direction switching unit 120.
  • the display direction switching unit 120 of the CPU 110 receives data indicating the determination result from the display direction determination unit 119.
  • the display direction switching unit 120 indicates that the determination result indicated by the data is a determination result that the vertical direction of the human face and the vertical direction of the screen display displayed on the touch screen 170 are not the same direction. If there is (S108: No), the vertical direction of the screen display displayed on the touch screen 170 is switched to the same direction as the vertical direction of the human face (S109).
  • the display direction switching unit 120 determines that the determination result indicated by the data received from the display direction determination unit 119 indicates the vertical orientation of the human face and the vertical orientation of the screen display displayed on the touch screen 170. If the determination results indicate that they are in the same direction (S108: Yes), no processing is performed.
  • the smartphone 100 starts imaging by activating the digital camera 130 after the horizontal or vertical rotation angle of the smartphone 100 main body changes beyond the threshold value. Then, the smartphone 100 switches the screen display direction so that the vertical direction of the face of the person shown in the image obtained by imaging is the same as the vertical direction of the screen display of the touch screen 170. .
  • the power consumption of the information display device having a function of switching the screen display direction according to the vertical direction of the human face is compared with the case of using the technology of the related technology, It can be greatly reduced.
  • the program provided to the smartphone 100 may be installed in the memory 160 via a network and executed by the CPU 110, for example.
  • a program installed in the memory 160 and executed by the CPU 110 includes a posture change amount calculation unit 113, a posture change amount determination unit 114, an imaging unit control unit 115, a face detection unit 117, a face direction specification unit 118, and a display direction determination unit. 119 and the display direction switching unit 120.
  • the program provided to the smartphone 100 may be provided to the smartphone 100 via a network from a storage device such as a hard disk or a RAM (Random Access Memory) provided in a server system connected to a dedicated communication network or the Internet.
  • a storage device such as a hard disk or a RAM (Random Access Memory) provided in a server system connected to a dedicated communication network or the Internet.
  • the program provided to the smartphone 100 includes an optical recording medium such as a flexible disk, a CD-ROM (Compact Disk Read Only Memory), a DVD (Digital Versatile Disk), and a PD (Phase-Change Dual), a tape medium, and an IC (Integrated Citric ) It may be stored in an external storage medium such as a semiconductor memory such as a card.
  • an optical recording medium such as a flexible disk, a CD-ROM (Compact Disk Read Only Memory), a DVD (Digital Versatile Disk), and a PD (Phase-Change Dual)
  • a tape medium such as a tape
  • an IC Integrated Citric
  • the information display device may be a portable game device or a notebook computer.
  • the display device may be a liquid crystal display or the like.
  • the posture change amount calculation unit 113 the posture change amount determination unit 114, the imaging unit control unit 115, the face detection unit 117, the face direction identification unit 118, the display direction determination unit 119, and the display direction switching unit 120 are used.
  • the CPU 110 functions the present invention is not limited to this case.
  • a GPU Graphics Processing Unit
  • DSP Digital Signal Processor
  • the present invention can be applied to an information display device, a control method for controlling the information display device, and a program for the information display device.
  • Smartphone 110 CPU 113 posture change calculation unit 114 posture change determination unit 115 imaging unit control unit 117 face detection unit 118 face direction identification unit 119 display direction determination unit 120 display direction switching unit 130 digital camera 140 acceleration sensor 150 geomagnetic sensor 160 memory 170 touch screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephone Function (AREA)

Abstract

　情報表示装置は、姿勢検出部が検出した姿勢の状態の変化量を算出する姿勢変化量算出部と、前記姿勢変化量算出部が算出した情報表示装置の姿勢の状態の変化量がしきい値以上であるか否かを判定する姿勢変化量判定部と、情報表示装置の姿勢の状態の変化量がしきい値以上であると前記姿勢変化量判定部が判定した場合に、前記撮像部を起動させる撮像部制御部と、前記撮像部が撮像して得られた画像に写っている人の顔を検出する顔検出部と、前記顔検出部が検出した人の顔の上下の向きを特定する顔方向特定部と、表示部に表示されている画面表示の上下の向きと、前記顔方向特定部が特定した人の顔の上下の向きとが同じ向きであるか否かを判定する表示方向判定部と、前記表示部に表示されている画面表示の上下の向きと、人の顔の上下の向きとが同じ向きではないと前記表示方向判定部が判定した場合に、表示部に表示されている画面表示の上下の向きを、人の顔の上下の向きと同じ向きに切替える表示方向切替部とを備える。

Description

情報表示装置、制御方法、及びプログラム
　本発明は、情報表示装置、制御方法、及びプログラムに関する。特に、本発明は、人の顔の向きに応じて、情報の画面表示の向きを切替えて表示する情報表示装置、その情報表示装置を制御する制御方法、並びにその情報表示装置用のプログラムに関する。
　スマートフォンは、Ｗｅｂサイトや写真、ドキュメント等の様々なコンテンツを表示することができる。このようなコンテンツは、その形状や情報量によって、縦長に表示した方が閲覧し易いコンテンツと、横長に表示した方が閲覧し易いコンテンツとに分けられる。例えば、長文の文章が書かれたＷｅｂサイトは、長方形のディスプレイの長辺方向を上下方向として表示する場合、ディスプレイの横幅に収まる文字数が少ないため、上下方向のスクロール幅が大きくなってしまう。そこで、長文の文章が書かれたＷｅｂサイトを表示する場合は、フォントサイズを小さくすれば、ディスプレイの横幅に収まる文字数が増えるため、上下方向のスクロールが短くなる。しかしながら、このようにフォントを小さくする手法は、視認性を犠牲にすることになる。
　多くのスマートフォンは、上述したような問題に対処するため、ディスプレイに表示される画面表示の向きを、スマートフォン本体の上下の向きと同じ向きに切替えるようにしている。一般に、スマートフォン本体の上下の向きは、加速度センサーによって検出された重力加速度の向きによって特定される。
　図４から図８は、関連技術のスマートフォン９００の使用状態の一例を示す。図４は、スマートフォン９００の長方形のディスプレイ９４０の長辺方向を上下方向として視認しようとして、ユーザＵがスマートフォン９００を把持している様子を示している。図４の吹き出しの中に示されているスマートフォン９００は、ユーザがディスプレイ９４０を視認している方向から視た状態である。この例の場合、スマートフォン９００は、ディスプレイ９４０の長辺方向の向きとほぼ同じ向きに、重力加速度Ｇを受ける。したがって、スマートフォン９００は、ディスプレイ９４０の長辺方向Ｈ１を上下方向として画面表示を行う。
　図５は、スマートフォン９００の長方形のディスプレイ９４０の短辺方向を上下方向として視認しようとして、ユーザＵがスマートフォン９００を把持している様子を示している。図５の吹き出しの中に示されているスマートフォン９００は、ユーザがディスプレイ９４０を視認している方向から視た状態である。この例の場合、スマートフォン９００は、ディスプレイ９４０の短辺方向の向きとほぼ同じ向きに、重力加速度Ｇを受ける。したがって、スマートフォン９００は、ディスプレイ９４０の短辺方向を上下方向として画面表示を行う。即ち、スマートフォン９００は、図４に示すような状態から図５に示すような状態に持ち方を変えられた場合、ディスプレイ９４０の長辺方向Ｈ１を上下方向とした画面表示から、ディスプレイ９４０の短辺方向Ｈ２を上下方向とした画面表示に画面表示の向きを切替えることになる。
　図６は、ユーザＵがスマートフォン９００を把持した状態で寝転がっている様子を示している。この例の場合、スマートフォン９００は、ディスプレイ９４０の長辺方向の向きとほぼ同じ向きに、重力加速度Ｇを受ける。したがって、スマートフォン９００は、ディスプレイ９４０の長辺方向を上下方向として画面表示を行う。即ち、スマートフォン９００は、図５に示すような状態から図６に示すような状態にユーザの体勢が変化した場合、ディスプレイ９４０の短辺方向Ｈ２を上下方向とした画面表示から、ディスプレイ９４０の長辺方向Ｈ３を上下方向とした画面表示に画面表示の向きを切替えることになる。しかしながら、この例においては、ユーザは、顔の頭頂部から首部の上下方向と同じ向きＥ１をディスプレイ９４０の上下方向として画面表示されている方が画面表示されている情報を視認し易い。一方で、その方向とは角度が９０°異なる長編方向Ｈ３を上下方向として画面表示されている情報は視認し難い。
　図７は、スマートフォン９００の長方形のディスプレイ９４０の短辺方向を上下方向として視認しようとして、ユーザＵがスマートフォン９００を机Ｄの上に置いた様子を示している。この例の場合、スマートフォン９００は、机Ｄに置かれる直前に、ディスプレイ９４０の短辺方向の向きとほぼ同じ向きに重力加速度Ｇを受ける。したがって、スマートフォン９００は、机Ｄに置かれる直前に、ディスプレイ９４０の短辺方向Ｈ４を上下方向として画面表示を行う。そして、スマートフォン９００は、机Ｄに置かれた後、ディスプレイ９４０の表側から裏側へ向かう向きに、重力加速度Ｇを受ける。したがって、スマートフォン９００は、ディスプレイ９４０の短辺又は長辺方向と同じ向きに重力加速度Ｇがかからなくなるため、机Ｄに置かれる前と変わらず、ディスプレイ９４０の短辺方向Ｈ４を上下方向として画面表示を行う。
　図８は、スマートフォン９００の長方形のディスプレイ９４０の長辺方向を上下方向として視認しようとして、ユーザＵがスマートフォン９００を机Ｄの上に置いている様子を示している。この状態の場合、スマートフォン９００は、ディスプレイ９４０の表側から裏側へ向かう向きに重力加速度Ｇを受ける。したがって、スマートフォン９００は、図７に示すような状態から図８に示すような状態に、机Ｄの上に置かれたまま向きを変えられても、向きが変えられる前と同じく、ディスプレイ９４０の短辺方向Ｈ４を上下方向として画面表示を行う。しかしながら、この例においては、ユーザは、顔の頭頂部から首部の上下方向と同じ向きＥ２をディスプレイ９４０の上下方向として画面表示されている方が画面表示されている情報を視認し易い。一方で、その方向とは角度が９０°異なる長編方向Ｈ４を上下方向として画面表示されている情報は視認し難い。
　特許文献１、及び特許文献２は、上述したような問題を解決し得る携帯端末装置を開示している。特許文献１に記載の携帯端末装置は、ユーザを撮像し画像情報を取得する。携帯端末装置は、取得された画像情報からユーザの顔面構造を認識して顔情報を取得する。携帯端末装置は、取得されたユーザの顔情報に基づいて、利用中のユーザに対する携帯端末装置の筐体の向きを検知する。携帯端末装置は、検知された筐体の向きに基づいて、表示部への映像コンテンツの表示を切替える。
　このように、特許文献１に記載の携帯端末装置は、利用中のユーザに対する携帯端末装置の向きを適切に把握し、通知操作を行うことなく画面表示の切り替えができ、リアルタイムに表示されている映像コンテンツの視聴中に任意に画面表示を切り替えることができる。
　特許文献２に記載の画面切替装置は、顔を撮影する。画面切替装置は、撮影された顔の画像を長方形の表示部に表示する。画面切替装置は、表示部の横辺又は縦辺の一方を表示方向の基準とする軸を定める。画面切替装置は、表示部に表示される顔の認証を行う。画面切替装置は、認証された顔が表示される表示部の軸が向く方向に基づき定めた画面に切り替える。画面切替装置は、切り替えた画面にテレビジョン映像及びテレビジョン電話映像を含む表示を行う。
　このように、特許文献２に記載の画面切替装置は、表示部とユーザの顔の相対位置を検出することにより、表示部が設けられている携帯電話機の状態によらず、画面切替が可能になる。この画面切替装置は、適切な画面表示を行うことで、ユーザの利便性が向上することが期待される。
日本国特開２００９－１３０８１６号公報 日本国特開２００９－１７１２５９号公報
　特許文献１、２に記載の技術は、カメラによって撮影されたユーザの顔の向きに応じて、ディスプレイに表示されている画面表示の向きを切替える技術である。しかしながら、特許文献１、２に記載の技術を用いれば、画面表示の向きをユーザが視認し易い向きに切替えることはできるが、カメラを常に起動していなければならず、消費電力が大きくなってしまう。そのため、特許文献１、２に記載の技術は、バッテリーによる長時間の駆動が求められるスマートフォン等の携帯情報端末に適しているとは言い難い。
　本発明の第１の実施態様にかかる情報表示装置は、姿勢検出部が検出した姿勢の状態の変化量を算出する姿勢変化量算出部と、前記姿勢変化量算出部が算出した情報表示装置の姿勢の状態の変化量がしきい値以上であるか否かを判定する姿勢変化量判定部と、情報表示装置の姿勢の状態の変化量がしきい値以上であると前記姿勢変化量判定部が判定した場合に、前記撮像部を起動させる撮像部制御部と、前記撮像部が撮像して得られた画像に写っている人の顔を検出する顔検出部と、前記顔検出部が検出した人の顔の上下の向きを特定する顔方向特定部と、表示部に表示されている画面表示の上下の向きと、前記顔方向特定部が特定した人の顔の上下の向きとが同じ向きであるか否かを判定する表示方向判定部と、前記表示部に表示されている画面表示の上下の向きと、人の顔の上下の向きとが同じ向きではないと前記表示方向判定部が判定した場合に、表示部に表示されている画面表示の上下の向きを、人の顔の上下の向きと同じ向きに切替える表示方向切替部とを備える。
　本発明の第２の実施態様にかかる制御方法は、姿勢検出部が検出した姿勢の状態の変化量を算出する段階と、前記算出する段階において算出された情報表示装置の姿勢の状態の変化量がしきい値以上であるか否かを判定する段階と、情報表示装置の姿勢の状態の変化量がしきい値以上であると前記姿勢の変化量を判定する段階において判定された場合に、前記撮像部を起動させる段階と、前記撮像部が撮像して得られた画像に写っている人の顔を検出する段階と、前記検出する段階において検出された人の顔の上下の向きを特定する段階と、表示部に表示されている画面表示の上下の向きと、前記特定する段階において特定された人の顔の上下の向きとが同じ向きであるか否かを判定する段階と、前記表示部に表示されている画面表示の上下の向きと、人の顔の上下の向きとが同じ向きではないと前記表示方向を判定する段階において判定された場合に、表示部に表示されている画面表示の上下の向きを、人の顔の上下の向きと同じ向きに切替える段階とを備える。
　本発明の第３の実施態様にかかるプログラムは、情報表示装置を、姿勢検出部が検出した姿勢の状態の変化量を算出する姿勢変化量算出部と、前記姿勢変化量算出部が算出した情報表示装置の姿勢の状態の変化量がしきい値以上であるか否かを判定する姿勢変化量判定部と、情報表示装置の姿勢の状態の変化量がしきい値以上であると前記姿勢変化量判定部が判定した場合に、前記撮像部を起動させる撮像部制御部と、前記撮像部が撮像して得られた画像に写っている人の顔を検出する顔検出部と、前記顔検出部が検出した人の顔の上下の向きを特定する顔方向特定部と、表示部に表示されている画面表示の上下の向きと、前記顔方向特定部が特定した人の顔の上下の向きとが同じ向きであるか否かを判定する表示方向判定部と、前記表示部に表示されている画面表示の上下の向きと、人の顔の上下の向きとが同じ向きではないと前記表示方向判定部が判定した場合に、表示部に表示されている画面表示の上下の向きを、人の顔の上下の向きと同じ向きに切替える表示方向切替部として機能させる。
　上記のように発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。
　以上の説明から明らかなように、この発明は、人の顔の上下の向きに応じて画面表示の向きを切替える機能を持った情報表示装置の消費電力を、関連技術の技術を利用した場合と比較して、大幅に低減させることができる。
本発明の実施形態にかかるスマートフォンのハードウェア構成の一例を示す図である。 図１に示すＣＰＵのブロック構成の一例を示す図である。 図１に示すＣＰＵの動作フローの一例を示す図である。 関連技術のスマートフォンの使用状態の一例を示す図である。 関連技術のスマートフォンの使用状態の一例を示す図である。 関連技術のスマートフォンの使用状態の一例を示す図である。 関連技術のスマートフォンの使用状態の一例を示す図である。 関連技術のスマートフォンの使用状態の一例を示す図である。
　以下、発明の実施の形態を説明するが、以下の実施形態は、請求の範囲にかかる発明を限定しない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、本発明の実施形態にかかるスマートフォン１００のハードウェア構成の一例を示す。スマートフォン１００は、個人用の携帯コンピュータの機能を併せ持った携帯電話である。より具体的に説明すると、スマートフォン１００は、関連技術の携帯情報端末に携帯電話、通信機能を統合した装置である。特に、本実施形態のスマートフォン１００は、人の顔の向きに応じて、情報の画面表示の向きを切替えて表示する機能を有する。スマートフォン１００は、この実施形態における「情報表示装置」の一例であってよい。
　スマートフォン１００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１０、デジタルカメラ１３０、加速度センサー１４０、地磁気センサー１５０、メモリ１６０、及びタッチスクリーン１７０を備える。
　ＣＰＵ１１０は、スマートフォン１００を構成する部品の一つである。ＣＰＵ１１０は、デジタルカメラ１３０、加速度センサー１４０、地磁気センサー１５０、メモリ１６０、及びタッチスクリーン１７０の制御やデータの計算、加工を行う装置である。より具体的に説明すると、ＣＰＵ１１０は、メモリ１６０に記憶されたプログラムを実行する装置である。ＣＰＵ１１０は、デジタルカメラ１３０、加速度センサー１４０、地磁気センサー１５０、メモリ１６０、及びタッチスクリーン１７０からデータを受け取り、そのデータを演算、加工した上で、メモリ１６０やタッチスクリーン１７０に出力する。ＣＰＵ１１０は、この実施形態における「制御部」の一例であってよい。
　デジタルカメラ１３０は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅｓ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の光に反応する半導体素子を使って映像を電気信号に変換し、デジタルデータとしてメモリ１６０に記憶する装置である。なおまた、デジタルカメラ１３０は、この実施形態における「撮像部」の一例であってよい。
　加速度センサー１４０は、重力加速度の向きを検知し、スマートフォン１００の垂直方向の回転角度を計測するために利用する装置である。地磁気センサー１５０は、地磁気の向きを検知し、スマートフォン１００の水平方向の回転角度を算出するために利用する装置である。加速度センサー１４０、及び地磁気センサー１５０は、この実施形態における「姿勢検出部」の一例であってよい。
　メモリ１６０は、スマートフォン１００内でデータやプログラムを記憶する装置である。タッチスクリーン１７０は、この実施形態における「表示部」の一例であってよい。
　タッチスクリーン１７０は、指や専用のペンで画面に触れることで、スマートフォン１００の操作を行うことができるディスプレイである。
　本実施形態においては、説明が煩雑になることを防ぐことを目的として、スマートフォン１００が一のＣＰＵ１１０を備える構成について説明する。しかしながら、スマートフォン１００は、複数のＣＰＵ１１０を備えてよい。
　図２は、ＣＰＵ１１０のブロック構成の一例を示す。ＣＰＵ１１０は、姿勢変化量算出部１１３、姿勢変化量判定部１１４、撮像部制御部１１５、顔検出部１１７、顔方向特定部１１８、表示方向判定部１１９、及び表示方向切替部１２０を有する。以下、各構成要素の機能及び動作を説明する。
　姿勢変化量算出部１１３は、重力加速度の向きの変化量を算出する。また、姿勢変化量算出部１１３は、地磁気の向きの変化量を算出する。例えば、姿勢変化量算出部１１３は、加速度センサー１４０から入力を経時的に受け付けたデータに基づいて、重力加速度の向きの変化量を算出する。また、例えば、姿勢変化量算出部１１３は、地磁気センサー１５０から入力を経時的に受け付けたデータに基づいて、地磁気の向きの変化量を算出する。重力加速度の向き、及び地磁気の向きは、この実施形態における「姿勢の状態」の一例であってよい。
　姿勢変化量判定部１１４は、重力加速度の向きの変化量がしきい値以上であるか否かを判定する。また、姿勢変化量判定部１１４は、地磁気の向きの変化量がしきい値以上であるか否かを判定する。例えば、姿勢変化量判定部１１４は、姿勢変化量算出部１１３が算出した重力加速度の向きの変化量がしきい値以上であるか否かを判定する。また、例えば、姿勢変化量判定部１１４は、姿勢変化量算出部１１３が算出した地磁気の向きの変化量がしきい値であるか否かを判定する。また、例えば、姿勢変化量判定部１１４は、姿勢変化量算出部１１３が算出した重力加速度の向きの変化量がしきい値以上となった後に、その変化量の推移が所定の範囲以下となった場合に、姿勢変化量算出部１１３が算出した重力加速度の向きの変化量がしきい値以上であると判定する。また、例えば、姿勢変化量判定部１１４は、姿勢変化量算出部１１３が算出した地磁気の向きの変化量がしきい値以上となった後に、その変化量の推移が所定の範囲以下となった場合に、姿勢変化量算出部１１３が算出した地磁気の向きの変化量がしきい値以上であると判定する。
　撮像部制御部１１５は、重力加速度の向きが変化した場合に、デジタルカメラ１３０を起動させる。また、撮像部制御部１１５は、地磁気の向きが変化した場合に、デジタルカメラ１３０を起動させる。例えば、撮像部制御部１１５は、重力加速度の向きの変化量がしきい値以上であると姿勢変化量判定部１１４が判定した場合に、デジタルカメラ１３０を起動させる。また、例えば、撮像部制御部１１５は、地磁気の向きの変化量がしきい値以上であると姿勢変化量判定部１１４が判定した場合に、デジタルカメラ１３０を起動させる。
　顔検出部１１７は、デジタルカメラ１３０が撮像して得られた画像に写っている人の顔を検出する。例えば、顔検出部１１７は、デジタルカメラ１３０から入力を受け付けた撮像データによって示される画像に写っている人の顔を検出する。
　顔方向特定部１１８は、人の顔の上下の向きを特定する。例えば、顔方向特定部１１８は、顔検出部１１７が検出した人の顔の上下の向きを特定する。ここで、人の顔の上下の向きとは、頭頂部を上、顎部を下としたときの上下の向きである。したがって、図６に示すように、人が寝転がっている状態においても、人の顔の上下の向きは、頭頂部を上、顎部を下としたときの上下の向きと特定される。
　表示方向判定部１１９は、タッチスクリーン１７０に表示されている画面表示の上下の向きと、人の顔の上下の向きとが同じ向きであるか否かを判定する。言い換えると、表示方向判定部１１９は、タッチスクリーン１７０に表示されている画面表示の上下の向きと、人の顔の上下の向きとが異なっているか否かを判定する。例えば、表示方向判定部１１９は、タッチスクリーン１７０に表示されている画面表示の上下の向きと、顔方向特定部１１８が特定した人の顔の上下の向きとが同じ向きであるか否かを判定する。
　表示方向切替部１２０は、タッチスクリーン１７０に表示されている画面表示の上下の向きを、人の顔の上下の向きと同じ向きに切替える。例えば、表示方向切替部１２０は、タッチスクリーン１７０に表示されている画面表示の上下の向きと、人の顔の上下の向きとが同じ向きではないと表示方向判定部１１９が判定した場合に、タッチスクリーン１７０に表示されている画面表示の上下の向きを、人の顔の上下の向きと同じ向きに切替える。言い換えると、表示方向切替部１２０は、タッチスクリーン１７０に表示されている画面表示の上下の向きと、人の顔の上下の向きとが異なっていると表示方向判定部１１９が判定した場合に、タッチスクリーン１７０に表示されている画面表示の上下の向きを、人の顔の上下の向きと同じ向きに切替える。
　図３は、ＣＰＵ１１０の動作フローの一例を示す。この動作フローは、図１及び図２を共に参照する。
　加速度センサー１４０は、重力加速度の向きを示すデータを、ＣＰＵ１１０へ経時的に出力する。また、地磁気センサー１５０は、地磁気の向きを示すデータを、ＣＰＵ１１０へ経時的に出力する。
　ＣＰＵ１１０の姿勢変化量算出部１１３は、重力加速度の向きを示すデータを、加速度センサー１４０から順次受け取ると（Ｓ１０１）、そのデータに基づいて、重力加速度の向きの変化量を算出する（Ｓ１０２）。そして、姿勢変化量算出部１１３は、算出した重力加速度の向きの変化量を示すデータを、姿勢変化量判定部１１４へ送る。
　同様に、姿勢変化量算出部１１３は、地磁気の向きを示すデータを、地磁気センサー１５０から順次受け取ると（Ｓ１０１）、そのデータに基づいて、地磁気の向きの変化量を算出する（Ｓ１０２）。そして、姿勢変化量算出部１１３は、算出した地磁気の向きの変化量を示すデータを、姿勢変化量判定部１１４へ送る。
　ＣＰＵ１１０の姿勢変化量判定部１１４は、重力加速度の向きの変化量を示すデータを、姿勢変化量算出部１１３から受け取ると、その重力加速度の向きの変化量がしきい値以上であるか否かを判定する（Ｓ１０３）。その場合、姿勢変化量判定部１１４は、姿勢変化量算出部１１３が算出した重力加速度の向きの変化量がしきい値以上となった後に、その変化量の推移が所定の範囲以下となった場合に、姿勢変化量算出部１１３が算出した重力加速度の向きの変化量がしきい値以上変化したと判定するようにしてもよい。
　同様に、姿勢変化量判定部１１４は、地磁気の向きの変化量を示すデータを、姿勢変化量算出部１１３から受け取ると、その地磁気の向きの変化量がしきい値以上であるか否かを判定する（Ｓ１０３）。その場合、姿勢変化量判定部１１４は、姿勢変化量算出部１１３が算出した地磁気の向きの変化量がしきい値以上となった後に、その変化量の推移が所定の範囲以下となった場合に、姿勢変化量算出部１１３が算出した地磁気の向きの変化量がしきい値以上であると判定するようにしてもよい。
　重力加速度の向き、及び地磁気の向きの変化量がしきい値以上ではないと姿勢変化量判定部１１４が判定した場合（Ｓ１０３：Ｎｏ）、ＣＰＵ１１０は、ステップＳ１０１からステップＳ１０３の処理を繰り返す。
　一方、重力加速度の向きの変化量がしきい値以上であると姿勢変化量判定部１１４が判定した場合（Ｓ１０３：Ｙｅｓ）、ＣＰＵ１１０の撮像部制御部１１５は、デジタルカメラ１３０を起動させる（Ｓ１０４）。同様に、地磁気の向きの変化量がしきい値以上であると姿勢変化量判定部１１４が判定した場合（Ｓ１０３：Ｙｅｓ）、ＣＰＵ１１０の撮像部制御部１１５は、デジタルカメラ１３０を起動させる（Ｓ１０４）。
　このようにして、デジタルカメラ１３０は、起動して、ＣＣＤやＣＭＯＳ等の撮像素子によって撮像されることによって得られた画像データを、ＣＰＵ１１０へ出力する。
　ＣＰＵ１１０の顔検出部１１７は、撮像データをデジタルカメラ１３０から受け取ると（Ｓ１０５）、その撮像データによって示される画像に写っている人の顔を検出する（Ｓ１０６）。顔検出部１１７は、画像に写っている人の顔を検出した場合（Ｓ１０６：Ｙｅｓ）、検出した人の顔の画像における位置を示すデータを、顔方向特定部１１８へ送る。一方、顔検出部１１７は、画像に写っている人の顔を検出しなかった場合（Ｓ１０６：Ｎｏ）、何ら処理を行わない。
　そして、ＣＰＵ１１０の顔方向特定部１１８は、検出した人の顔の画像における位置を示すデータを顔検出部１１７から受け取ると、人の顔の上下の向きを特定する（Ｓ１０７）。そして、顔方向特定部１１８は、特定した人の顔の上下の向きを示すデータを、表示方向判定部１１９へ送る。
　ＣＰＵ１１０の表示方向判定部１１９は、人の顔の上下の向きを示すデータを顔方向特定部１１８から受け取ると、そのデータによって示される人の顔の上下の向きと、タッチスクリーン１７０に表示されている画面表示の上下の向きとが同じ向きであるか否かを判定する（Ｓ１０８）。そして、表示方向判定部１１９は、その判定結果を示すデータを、表示方向切替部１２０へ送る。
　ＣＰＵ１１０の表示方向切替部１２０は、判定結果を示すデータを表示方向判定部１１９から受け取る。表示方向切替部１２０は、そのデータによって示される判定結果が、人の顔の上下の向きと、タッチスクリーン１７０に表示されている画面表示の上下の向きとが同じ向きではないとする判定結果であった場合（Ｓ１０８：Ｎｏ）、タッチスクリーン１７０に表示されている画面表示の上下の向きを、人の顔の上下の向きと同じ向きに切替える（Ｓ１０９）。一方、表示方向切替部１２０は、表示方向判定部１１９から受け取ったデータによって示される判定結果が、人の顔の上下の向きと、タッチスクリーン１７０に表示されている画面表示の上下の向きとが同じ向きであるとする判定結果であった場合（Ｓ１０８：Ｙｅｓ）、何ら処理を行わない。
　以上説明したように、スマートフォン１００は、スマートフォン１００本体の水平方向や垂直方向の回転角度がしきい値を超えて変化した後に、デジタルカメラ１３０を起動して撮像を開始する。そして、スマートフォン１００は、撮像して得られる画像に写っている人の顔の上下の向きと、タッチスクリーン１７０の画面表示の上下の向きとが同じ向きになるように、画面表示の向きを切替える。
　このように、この実施形態は、人の顔の上下の向きに応じて画面表示の向きを切替える機能を持った情報表示装置の消費電力を、関連技術の技術を利用した場合と比較して、大幅に低減させることができる。
　スマートフォン１００に提供されるプログラムは、例えば、ネットワークを介してメモリ１６０にインストールされ、ＣＰＵ１１０において実行されてもよい。メモリ１６０にインストールされて実行されるプログラムは、ＣＰＵ１１０を、姿勢変化量算出部１１３、姿勢変化量判定部１１４、撮像部制御部１１５、顔検出部１１７、顔方向特定部１１８、表示方向判定部１１９、及び表示方向切替部１２０として機能させる。
　スマートフォン１００に提供されるプログラムは、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の記憶装置から、ネットワークを介してスマートフォン１００に提供されてもよい。
　スマートフォン１００に提供されるプログラムは、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）やＰＤ（Ｐｈｅｓｅ－ｃｈａｎｇｅ　Ｄｕａｌ）等の光学記録媒体、テープ媒体、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）カード等の半導体メモリ等の外部の記憶媒体に格納されてもよい。
　上述した実施形態は、情報表示装置がスマートフォン１００である場合について説明したが、この場合に限られない。情報表示装置は携帯型ゲーム用装置やノートパソコン等であってもよい。
　上述した実施形態は、表示装置がタッチスクリーン１７０である場合について説明したが、この場合に限られない。表示装置は液晶ディスプレイ等であってもよい。
　上述した実施形態は、姿勢変化量算出部１１３、姿勢変化量判定部１１４、撮像部制御部１１５、顔検出部１１７、顔方向特定部１１８、表示方向判定部１１９、及び表示方向切替部１２０としてＣＰＵ１１０が機能する例について説明したが、この場合に限られない。ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）がこれら各処理部のうち、一部又は全部の機能を有するようにしてもよい。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１１年４月２０日に出願された日本出願特願２０１１－０９３８１１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、情報表示装置、その情報表示装置を制御する制御方法、並びにその情報表示装置用のプログラムに適用できる。
１００　スマートフォン
１１０　ＣＰＵ
１１３　姿勢変化量算出部
１１４　姿勢変化量判定部
１１５　撮像部制御部
１１７　顔検出部
１１８　顔方向特定部
１１９　表示方向判定部
１２０　表示方向切替部
１３０　デジタルカメラ
１４０　加速度センサー
１５０　地磁気センサー
１６０　メモリ
１７０　タッチスクリーン

Claims (4)

  1. 　姿勢検出部が検出した姿勢の状態の変化量を算出する姿勢変化量算出部と、
    　前記姿勢変化量算出部が算出した情報表示装置の姿勢の状態の変化量がしきい値以上であるか否かを判定する姿勢変化量判定部と、
    　情報表示装置の姿勢の状態の変化量がしきい値以上であると前記姿勢変化量判定部が判定した場合に、前記撮像部を起動させる撮像部制御部と、
    　前記撮像部が撮像して得られた画像に写っている人の顔を検出する顔検出部と、
    　前記顔検出部が検出した人の顔の上下の向きを特定する顔方向特定部と、
    　表示部に表示されている画面表示の上下の向きと、前記顔方向特定部が特定した人の顔の上下の向きとが同じ向きであるか否かを判定する表示方向判定部と、
    　前記表示部に表示されている画面表示の上下の向きと、人の顔の上下の向きとが同じ向きではないと前記表示方向判定部が判定した場合に、表示部に表示されている画面表示の上下の向きを、人の顔の上下の向きと同じ向きに切替える表示方向切替部と
    を備える情報表示装置。
  2. 　前記姿勢変化量判定部は、前記姿勢変化量算出部が算出した姿勢の状態の変化量がしきい値以上となった後に、前記変化量の推移が所定の範囲以下となった場合に、前記姿勢変化量算出部が算出した姿勢の状態の変化量がしきい値以上であると判定する
    請求項１に記載の情報表示装置。
  3. 　姿勢検出部が検出した姿勢の状態の変化量を算出する段階と、
    　前記算出する段階において算出された情報表示装置の姿勢の状態の変化量がしきい値以上であるか否かを判定する段階と、
    　情報表示装置の姿勢の状態の変化量がしきい値以上であると前記姿勢の変化量を判定する段階において判定された場合に、前記撮像部を起動させる段階と、
    　前記撮像部が撮像して得られた画像に写っている人の顔を検出する段階と、
    　前記検出する段階において検出された人の顔の上下の向きを特定する段階と、
    　表示部に表示されている画面表示の上下の向きと、前記特定する段階において特定された人の顔の上下の向きとが同じ向きであるか否かを判定する段階と、
    　前記表示部に表示されている画面表示の上下の向きと、人の顔の上下の向きとが同じ向きではないと前記表示方向を判定する段階において判定された場合に、表示部に表示されている画面表示の上下の向きを、人の顔の上下の向きと同じ向きに切替える段階と
    を備える制御方法。
  4. 　情報表示装置を、
    　姿勢検出部が検出した姿勢の状態の変化量を算出する姿勢変化量算出部と、
    　前記姿勢変化量算出部が算出した情報表示装置の姿勢の状態の変化量がしきい値以上であるか否かを判定する姿勢変化量判定部と、
    　情報表示装置の姿勢の状態の変化量がしきい値以上であると前記姿勢変化量判定部が判定した場合に、前記撮像部を起動させる撮像部制御部と、
    　前記撮像部が撮像して得られた画像に写っている人の顔を検出する顔検出部と、
    　前記顔検出部が検出した人の顔の上下の向きを特定する顔方向特定部と、
    　表示部に表示されている画面表示の上下の向きと、前記顔方向特定部が特定した人の顔の上下の向きとが同じ向きであるか否かを判定する表示方向判定部と、
    　前記表示部に表示されている画面表示の上下の向きと、人の顔の上下の向きとが同じ向きではないと前記表示方向判定部が判定した場合に、表示部に表示されている画面表示の上下の向きを、人の顔の上下の向きと同じ向きに切替える表示方向切替部
    として機能させるプログラム。
PCT/JP2012/060479 2011-04-20 2012-04-18 情報表示装置、制御方法、及びプログラム Ceased WO2012144526A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP12774769.9A EP2701046A4 (en) 2011-04-20 2012-04-18 DISPLAY CONTROL DEVICE, METHOD AND PROGRAM
JP2013511022A JPWO2012144526A1 (ja) 2011-04-20 2012-04-18 情報表示装置、制御方法、及びプログラム
US14/112,025 US20140043231A1 (en) 2011-04-20 2012-04-18 Information display device, control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-093811 2011-04-20
JP2011093811 2011-04-20

Publications (1)

Publication Number Publication Date
WO2012144526A1 true WO2012144526A1 (ja) 2012-10-26

Family

ID=47041632

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/060479 Ceased WO2012144526A1 (ja) 2011-04-20 2012-04-18 情報表示装置、制御方法、及びプログラム

Country Status (4)

Country Link
US (1) US20140043231A1 (ja)
EP (1) EP2701046A4 (ja)
JP (1) JPWO2012144526A1 (ja)
WO (1) WO2012144526A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014155748A1 (ja) * 2013-03-29 2014-10-02 楽天株式会社 端末装置、端末装置の制御方法、プログラム、及び情報記憶媒体
EP2713242A3 (en) * 2012-08-28 2015-04-22 Samsung Electronics Co., Ltd Smart screen rotation based on user orientation
CN104981755A (zh) * 2013-03-15 2015-10-14 英特尔公司 自动装置显示定向检测

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11716300B2 (en) * 2013-02-13 2023-08-01 Guy Ravine Techniques for optimizing the display of videos
WO2016085830A1 (en) * 2014-11-25 2016-06-02 Horvath Jon Patrik Movement and distance triggered image recording system
US10088866B2 (en) 2015-03-18 2018-10-02 Motorola Mobility Llc Controlling the orientation of a device display based on usage context
US10055818B2 (en) * 2016-09-30 2018-08-21 Intel Corporation Methods, apparatus and articles of manufacture to use biometric sensors to control an orientation of a display
US20190238746A1 (en) * 2018-01-27 2019-08-01 Lenovo (Singapore) Pte. Ltd. Capturing Images at Locked Device Responsive to Device Motion
KR102532746B1 (ko) 2018-02-21 2023-05-16 삼성전자주식회사 전자 장치 및 그 제어 방법
US11381805B2 (en) * 2019-02-06 2022-07-05 Loop Now Technologies, Inc. Audio and video stream rendering modification based on device rotation metric
US11659219B2 (en) * 2019-02-06 2023-05-23 Loop Now Technologies, Inc. Video performance rendering modification based on device rotation metric

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100084A (ja) * 2003-09-25 2005-04-14 Toshiba Corp 画像処理装置及び方法
JP2009130816A (ja) 2007-11-27 2009-06-11 Nec Saitama Ltd 携帯端末装置、画面表示切替方法、プログラム、コンピュータ読み取り可能な記録媒体
JP2009171259A (ja) 2008-01-16 2009-07-30 Nec Corp 顔認証による画面切替装置、方法、プログラム及び携帯電話機
JP2011041067A (ja) * 2009-08-12 2011-02-24 Fujitsu Toshiba Mobile Communications Ltd 携帯端末
JP2011138449A (ja) * 2010-01-04 2011-07-14 Nec Corp 表示制御装置、表示装置、電子装置および表示制御方法
JP2011203860A (ja) * 2010-03-24 2011-10-13 Ntt Docomo Inc 情報端末及び表示切替方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7688306B2 (en) * 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US20090262074A1 (en) * 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
US8896632B2 (en) * 2008-09-12 2014-11-25 Qualcomm Incorporated Orienting displayed elements relative to a user
JP5042183B2 (ja) * 2008-09-29 2012-10-03 京セラ株式会社 携帯端末
US8441441B2 (en) * 2009-01-06 2013-05-14 Qualcomm Incorporated User interface for mobile devices
US9305232B2 (en) * 2009-07-22 2016-04-05 Blackberry Limited Display orientation change for wireless devices
JP2011033489A (ja) * 2009-08-03 2011-02-17 Aichi Micro Intelligent Corp モーションキャプチャ用のマーカ
CN101989126B (zh) * 2009-08-07 2015-02-25 深圳富泰宏精密工业有限公司 手持式电子装置及其屏幕画面自动旋转方法
US8593558B2 (en) * 2010-09-08 2013-11-26 Apple Inc. Camera-based orientation fix from portrait to landscape

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100084A (ja) * 2003-09-25 2005-04-14 Toshiba Corp 画像処理装置及び方法
JP2009130816A (ja) 2007-11-27 2009-06-11 Nec Saitama Ltd 携帯端末装置、画面表示切替方法、プログラム、コンピュータ読み取り可能な記録媒体
JP2009171259A (ja) 2008-01-16 2009-07-30 Nec Corp 顔認証による画面切替装置、方法、プログラム及び携帯電話機
JP2011041067A (ja) * 2009-08-12 2011-02-24 Fujitsu Toshiba Mobile Communications Ltd 携帯端末
JP2011138449A (ja) * 2010-01-04 2011-07-14 Nec Corp 表示制御装置、表示装置、電子装置および表示制御方法
JP2011203860A (ja) * 2010-03-24 2011-10-13 Ntt Docomo Inc 情報端末及び表示切替方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2701046A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2713242A3 (en) * 2012-08-28 2015-04-22 Samsung Electronics Co., Ltd Smart screen rotation based on user orientation
CN104981755A (zh) * 2013-03-15 2015-10-14 英特尔公司 自动装置显示定向检测
EP2972719A4 (en) * 2013-03-15 2016-10-26 Intel Corp DETECTION OF THE ALIGNMENT OF THE DISPLAY OF AN AUTOMATIC DEVICE
CN104981755B (zh) * 2013-03-15 2019-02-22 英特尔公司 自动装置显示定向检测
WO2014155748A1 (ja) * 2013-03-29 2014-10-02 楽天株式会社 端末装置、端末装置の制御方法、プログラム、及び情報記憶媒体
JP5799179B2 (ja) * 2013-03-29 2015-10-21 楽天株式会社 端末装置、端末装置の制御方法、プログラム、及び情報記憶媒体

Also Published As

Publication number Publication date
JPWO2012144526A1 (ja) 2014-07-28
EP2701046A4 (en) 2014-10-29
US20140043231A1 (en) 2014-02-13
EP2701046A1 (en) 2014-02-26

Similar Documents

Publication Publication Date Title
WO2012144526A1 (ja) 情報表示装置、制御方法、及びプログラム
CN105247466B (zh) 显示控制装置，显示控制方法和记录介质
US10019147B2 (en) Tilting to scroll
US9337926B2 (en) Apparatus and method for providing dynamic fiducial markers for devices
US9423941B2 (en) Tilting to scroll
JP5184570B2 (ja) 情報端末及び表示切替方法
US20150062178A1 (en) Tilting to scroll
CN103970259B (zh) 屏幕模式切换的方法和终端设备
KR20130141670A (ko) 컨텐츠를 디스플레이하는 시스템 및 방법
CN103116400B (zh) 一种屏幕显示状态的控制方法及电子设备
KR20140143526A (ko) 카메라에 기반한 전자 장치의 제어 방법, 저장 매체 및 전자 장치
CN107748648A (zh) 防止指纹传感器误触发的方法和终端设备
US10635892B2 (en) Display control method and apparatus
JP2014137646A (ja) 表示装置、表示装置の制御方法、および、記録媒体
WO2016011649A1 (zh) 终端设备屏幕显示模式的切换方法、装置及终端设备
US20150106769A1 (en) Display device, display method, and program
KR20140104220A (ko) 투명 디스플레이를 이용하는 전자장치에서 화면전환 방법 및 장치
US9552043B2 (en) Handheld electronic device and operation method of the same
JP6229720B2 (ja) 端末装置、撮影部起動方法及び撮影部起動プログラム
CN106506806A (zh) 一种移动终端的使用提醒方法和装置
US11036287B2 (en) Electronic device, control method for electronic device, and non-transitory computer readable medium
JP2013009115A (ja) 画面レイアウト制御装置、画面レイアウト制御方法、画面レイアウトの制御プログラム、及びコンピュータ読取可能記録媒体
US9874947B2 (en) Display control apparatus and control method therefor, and imaging apparatus and control method therefor
CN105739677A (zh) 数据显示方法及系统
CN115145664A (zh) 一种阅读显示的控制方法、系统、移动终端和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12774769

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013511022

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2012774769

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012774769

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14112025

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE