WO2016199488A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2016199488A1
WO2016199488A1 PCT/JP2016/061277 JP2016061277W WO2016199488A1 WO 2016199488 A1 WO2016199488 A1 WO 2016199488A1 JP 2016061277 W JP2016061277 W JP 2016061277W WO 2016199488 A1 WO2016199488 A1 WO 2016199488A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
information processing
recognition
processing apparatus
recognition process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/061277
Other languages
English (en)
French (fr)
Inventor
慎司 稲本
鍋田　将臣
篤史 小原
研二 小川
健一 瀬田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of WO2016199488A1 publication Critical patent/WO2016199488A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 discloses an example of recognition processing based on face recognition technology as an example of recognition processing.
  • the present disclosure proposes an information processing apparatus, an information processing method, and a program capable of operating a plurality of processes including a recognition process in a more preferable manner depending on a situation.
  • an acquisition unit that acquires first information that changes according to a situation in which a predetermined recognition process is executed, and at least the recognition process that is set in advance based on the predetermined second information
  • An information processing apparatus includes a control unit that controls the operation of the recognition process based on the priority between a plurality of processes and the acquired first information.
  • the first information that changes according to a situation in which the predetermined recognition process is executed, and the processor is set in advance based on the predetermined second information An information processing method is provided that includes controlling the operation of the recognition process based on the priority between the plurality of processes including the recognition process and the acquired first information.
  • the computer acquires the first information that changes according to a situation in which the predetermined recognition process is executed, and at least the predetermined information set based on the predetermined second information
  • a program is provided that executes controlling the operation of the recognition process based on the priority between the plurality of processes including the recognition process and the acquired first information.
  • an information processing apparatus capable of operating a plurality of processes including a recognition process in a more preferable aspect according to a situation. .
  • FIG. 2 is an explanatory diagram for describing an example of a schematic system configuration of an information processing system according to an embodiment of the present disclosure.
  • FIG. It is explanatory drawing for demonstrating an example of the process which recognizes the user in an image based on a face recognition technique. It is the block diagram which showed an example of the function structure of the information processing system which concerns on the embodiment. It is explanatory drawing for demonstrating static information. It is the flowchart shown about an example of the flow of a series of processes of the information processing apparatus which concerns on the embodiment. It is the flowchart shown about an example of the flow of a process of the information processing apparatus which concerns on the embodiment. It is the figure which showed an example of the hardware constitutions of the information processing apparatus which concerns on the embodiment.
  • Example 4.1 Example 1: Control of load balance 4.2.
  • Example 2 Example of processing related to update of setting contents 4.3.
  • Example 3 Example of control according to processing phase 4.4.
  • Example 4 Example in which processing other than recognition processing is controlled 4.5.
  • Example 5 Application example Hardware configuration Summary
  • FIG. 1 is an explanatory diagram for describing an example of a schematic system configuration of the information processing system according to the present embodiment.
  • the information processing system according to the present embodiment is configured as a so-called conference recording system that records, for example, the content of a conference as video (for example, still images or moving images) or audio data. .
  • the information processing system 1 includes an information processing device 10, imaging devices 20a and 20b, a sound collecting device 20d, a sound output device 20c, and a display device 20e.
  • the imaging devices 20a and 20b are configured to be able to capture moving images and still images (hereinafter sometimes simply referred to as “images”) like so-called cameras and the like, and images of subjects (for example, users) The image information of the subject is acquired.
  • the imaging devices 20a and 20b may be configured as a so-called infrared (IR) camera.
  • the sound collecting device 20d is configured to collect sound and sound like a so-called microphone, and for example, obtains sound information by collecting sound emitted by the user.
  • the display device 20e is configured to output image information such as a still image or a moving image, like a so-called display.
  • the sound output device 20c is configured to output sound information such as voice and sound, like a so-called speaker.
  • the devices indicated by reference numerals 20a to 20e may have functions of other devices.
  • the sound output device 20c may have a function as a sound collection device.
  • the display device 20e may have a function as a sound output device.
  • the information processing apparatus 10 is connected to an external device (for example, an electronic device that connects different devices such as the Internet, a dedicated line, a LAN (Local Area Network), or a WAN (Wide Area Network).
  • the information processing apparatus 10 may be configured to be able to transmit and receive information.
  • the information processing apparatus 10 includes image information (still images and moving images) indicating the status of the conference acquired by the imaging device 20a, and acoustic information (voice and sound) indicating the content of the conference acquired by the sound collection device 20d. ) As data.
  • the information processing apparatus 10 may be configured to be able to output image information and acoustic information recorded as data via the display device 20e and the acoustic output device 20c.
  • the information processing apparatus 10 is configured to be operable based on NUI technology using gestures, voices, and the like.
  • the information processing apparatus 10 recognizes a user captured in the image by performing image analysis based on a face recognition technique or the like on the image captured by the imaging apparatus 20b, and the user It recognizes the movement of a predetermined part such as the arm. Then, the information processing apparatus 10 recognizes the instruction content from the user based on the recognized recognition result of the movement (that is, gesture) of the part. Further, when the collected information (ie, acoustic information) is recorded, the information processing apparatus 10 provides information (for example, information such as a name) indicating the speaker based on the recognition result based on the face recognition technology or the like. It may be acquired and recorded in association with the sound. Based on such a configuration, for example, the information processing apparatus 10 may be able to selectively output only the content uttered by a specific user.
  • the information processing apparatus 10 converts the collected sound into character information by performing acoustic analysis based on the voice recognition technology on the sound collected by the sound collecting apparatus 20d. . Then, the information processing apparatus 10 performs analysis processing based on natural language processing techniques such as syntax analysis, lexical analysis, and semantic analysis on the character information obtained by converting the speech, so that the content indicated by the speech, Recognize the contents of instructions from the user.
  • natural language processing techniques such as syntax analysis, lexical analysis, and semantic analysis
  • the information processing device 10 determines that the directivity of the sound collection device 20d is directed to the user based on the recognition result of the user's position. You may control as follows. More specifically, the information processing apparatus 10 recognizes the position of the user based on the result of image analysis based on face recognition technology or the like for the image captured by the imaging apparatus 20a or 20b, and determines the position of the recognized user. The directivity of the sound collecting device 20d may be controlled so as to face the direction.
  • processing for recognizing operation details based on various recognition processes such as image recognition and voice recognition, such as NUI, requires a larger amount of processing than when recognizing operation details via an input device such as a button or a touch panel. Tend to be larger.
  • FIG. 2 is an explanatory diagram for explaining an example of processing for recognizing a user in an image based on the face recognition technology.
  • the information processing apparatus 10 acquires an image to be analyzed (for example, an image captured by the imaging device 20a or 20b) (S10).
  • the information processing apparatus 10 sets a region as indicated by the reference symbol w11, and scans the image to be analyzed by the region w11, and from the partial image in the region w11, the human face
  • the user's face is recognized by extracting the features (for example, shape features).
  • the information processing apparatus 10 recognizes a face having the same size as the region w11 from the analysis target image (S11).
  • the information processing apparatus 10 changes the size of the area for scanning the image to be analyzed, as indicated by reference numeral w12. Then, the information processing apparatus 10 recognizes the user's face by extracting a human face feature from the partial image in the area w12 while scanning the image to be analyzed by the area w12 after the size change. In this case, the information processing apparatus 10 recognizes a face having the same size as the area w12 (that is, a face having a size smaller than the area w11) from the analysis target image (S12). Similarly, the information processing apparatus 10 changes the size of the area to be scanned with the analysis target image as indicated by reference numeral w13, and scans the analysis target image with the area w13 after the size change. A face having the same size as w13 (that is, a face smaller than the area w12) is recognized (S13).
  • the information processing apparatus 10 extracts, for example, the features of a human face while sequentially scanning the image to be analyzed for each size to be extracted, whereby the user's face captured in the image is extracted. Recognize By such processing, the information processing apparatus 10 can recognize the user's faces of various sizes captured in the image to be analyzed.
  • the process of recognizing the operation content based on the results of various recognition processes is performed via an input device such as a button or a touch panel due to the characteristics of the processes described above (for example, various analysis processes).
  • the processing amount is relatively large and tends to consume more computer resources.
  • a plurality of recognition processes for example, image recognition and voice recognition
  • the processing load of the entire system tends to be higher than when the NUI is not used.
  • the amount of various recognition processes may vary depending on the permissible recognition accuracy. For example, in the case of the example shown in FIG. 2, when a face having a size smaller than the size of the region w13 is recognized as shown by reference numeral v11, the target image is scanned by the region having a smaller size. However, the user's face of the size is recognized. As a result, the number of times the image to be analyzed is scanned and the number of processes for extracting the facial features of the person while performing the scanning increase, resulting in an increase in the amount of recognition processing.
  • the recognition accuracy required for various types of recognition processing is not necessarily constant, and the recognition processing is executed as in the operation status of a function (application) that uses the result of the recognition processing. It may be assumed that the situation changes depending on the situation.
  • a function application
  • the above-described various processes for recognizing the face v11 are executed. This increases the overhead for realizing the function.
  • FIG. 3 is a block diagram illustrating an example of a functional configuration of the information processing system 1 according to the present embodiment.
  • the information processing system 1 includes an information processing apparatus 10, an input unit 23, an output unit 25, and a storage unit 31.
  • the information processing system 1 may include a detection unit 21.
  • the detection unit 21 acquires various types of information for recognizing the state or situation of the environment (external environment) around the information processing apparatus 10. Examples of a more specific configuration of the detection unit 21 include various sensors such as an illuminance sensor 211 for detecting the illuminance of external light and a temperature sensor 213 for detecting the temperature of the external environment. Is mentioned. The detection unit 21 outputs the acquired various types of information to the information processing apparatus 10.
  • the input unit 23 corresponds to an input interface for a user to instruct the information processing apparatus 10.
  • the input unit 23 can correspond to a configuration for acquiring various types of information for realizing NUI (in other words, information (data) that is a target of various types of recognition processing).
  • an imaging unit 231 that captures an image of a subject based on the detection result of light in the visible light region, and an infrared imaging that captures an image of the subject based on the detection result of infrared rays
  • a sound collecting unit 235 that collects voice and sound.
  • the sound collection unit 235 may include a plurality of sound collection devices such as a microphone array, for example.
  • the input unit 23 outputs the acquired various information to the information processing apparatus 10.
  • the input unit 23 is configured to be able to update various settings for acquiring various information based on instructions from the information processing apparatus 10.
  • the input unit 23 may update the setting of a sampling rate for acquiring various types of information and a delay amount allowed for acquiring various types of information.
  • the imaging unit 231 and the infrared imaging unit 233 may update the resolution (number of pixels) of the acquired image.
  • the sound collection unit 235 may update the number of quantization bits when the analog sound signal is AD-converted into digital sound data.
  • the setting to be updated is not particularly limited as long as it can be updated based on an instruction from the information processing apparatus 10 as long as it is a setting for acquiring various types of information.
  • the timing which the detection part 21 and the input part 23 acquire the various information used as object is not specifically limited.
  • the detection unit 21 and the input unit 23 may acquire information that is symmetric at each predetermined timing.
  • the detection unit 21 and the input unit 23 may acquire target information using the execution of the process as a trigger.
  • the detection unit 21 may acquire target information using the detection of the change as a trigger.
  • the output unit 25 corresponds to an output interface for the information processing apparatus 10 to present various information to the user.
  • Examples of a more specific configuration of the output unit 25 include, for example, a display unit 251 that displays display information, and an acoustic output unit 253 that outputs acoustic information such as voice.
  • the storage unit 31 is configured to temporarily or permanently store various data for the information processing apparatus 10 to execute various functions.
  • various applications that is, various functions
  • a preset value is set between various processes that operate by executing the application.
  • Management information indicating the priority is stored.
  • the management information may be referred to as “static information”.
  • FIG. 4 is an explanatory diagram for explaining static information, and shows an example of static information for each application.
  • “recognition process A (image recognition process)” and “recognition process C” are executed by executing “application 1”.
  • “Voice recognition processing” "operates.
  • the static information corresponding to the “application 1” includes information indicating a priority set in advance between “recognition process A” and “recognition process C”. More specifically, it is assumed that “application 1” uses “recognition process A” for gesture authentication and “recognition process C” for voice authentication. At this time, regarding the gesture authentication, when the recognition process with higher accuracy is not required, the recognition process C has a higher priority than the recognition process A in the static information corresponding to “application 1”. Will be set.
  • the priority setting target based on static information is not necessarily limited to the recognition process.
  • “application 2” in the example shown in FIG. 4, “recognition process A”, “recognition process B”, and “display process” operate by executing “application 2”. To do.
  • “Application 2” the priority of “display processing” is the highest, followed by “recognition processing B (image recognition processing)” and “recognition processing A (image recognition processing)”.
  • the static information corresponding to the “application 2” includes information indicating the priority set between “recognition process A”, “recognition process B”, and “display process”. It may be.
  • the information processing apparatus 10 includes a monitoring unit 11, a setting control unit 12, a recognition process management unit 13, an application management unit 14, an output device management unit 15, and a computer resource management unit 16. including.
  • the computer resource management unit 16 acquires information on the use status of computer resources for the information processing apparatus 10 to execute various processes, and outputs the acquired information to the monitoring unit 11.
  • Examples of computer resources include various resources such as a CPU and a memory. Note that information about these resources can be acquired by, for example, an OS (Operating System) system call.
  • the computer resource management unit 16 provides information on the usage status of resources (for example, communication bands) for the communication. May be acquired and output to the monitoring unit 11.
  • resources for example, communication bands
  • the computer resource management unit 16 may control allocation of various computer resources based on an instruction from the setting control unit 12 described later.
  • the computer resource management unit 16 may include at least one of a CPU resource control unit 161, a memory resource control unit 163, and a communication bandwidth control unit 165.
  • the CPU resource control unit 161 controls allocation of CPU resources to various functions (for example, various applications) operating in the information processing apparatus 10. Further, the memory resource control unit 163 controls allocation of memory resources to various functions that operate in the information processing apparatus 10. Similarly, the communication band control unit 165 controls allocation of a communication band for various functions operating in the information processing apparatus 10 to communicate with an external apparatus.
  • the recognition process management unit 13 is configured to manage the operation of various recognition processes.
  • the various recognition processes for example, there are an image recognition process in which input image information is an analysis target, a voice recognition process in which input acoustic information is an analysis target, and the like.
  • the recognition result of the object by these recognition processes may be utilized by the various applications which operate
  • the recognition process management unit 13 updates settings related to operations of various recognition processes to be managed based on instructions from the setting control unit 12 described later. In other words, when various settings are updated by the recognition process management unit 13, the target recognition process will operate based on the updated settings.
  • examples of the setting to be updated include a sampling rate, an allowable delay amount, the number of processing pixels, and the number of target images ( In other words, the number of imaging units that are acquisition sources), the range of recognition targets, and the like.
  • the range of the recognition target for example, a range in the image for recognizing the target (for example, a range in the depth direction), or a range of candidates to be recognized among the target candidates in the image (for example, Range of the size of the object).
  • a setting indicating a range of the size of the face to be recognized in the case of recognizing a user's face based on the face recognition technique.
  • settings such as the number of scans and a scan range for recognizing the target may be an update target.
  • the setting to be updated includes, for example, a sampling rate, an allowable delay amount, the number of quantization bits, a frequency band, and the number of channels. (In other words, the number of sound collecting units as acquisition sources).
  • the example of the setting to be updated as described above is merely an example, and the type is not particularly limited as long as the setting is related to the operation of the target recognition process.
  • the recognition process management unit 13 may notify the monitoring unit 11 of information indicating the operation status of each recognition process. As a specific example, the recognition process management unit 13 may notify the monitoring unit 11 whether various recognition processes have succeeded in recognizing a target.
  • the application management unit 14 is configured to manage operations of various functions (applications) that operate in the information processing apparatus 10.
  • the application management unit 14 updates settings related to operations of various applications to be managed based on an instruction from the setting control unit 12 described later. That is, when various settings are updated by the application management unit 14, the target application will operate based on the updated settings.
  • the application management unit 14 may monitor the operation of each application, and may output information regarding the application to the monitoring unit 11 when the characteristics of the application change.
  • the application management unit 14 updates the operation mode or information indicating the updated operation mode. May be notified to the monitoring unit 11.
  • the application management unit 14 determines that the process phase has changed when the process phase of the application has changed. Information indicating the processing phase after the change may be notified to the monitoring unit 11.
  • the monitoring unit 11 is configured to acquire information that changes in accordance with various states and situations (particularly, states and situations in which various recognition processes operate).
  • information that changes according to various states and situations may be referred to as “dynamic information”.
  • the monitoring unit 11 acquires various information for recognizing the state or status of the external environment of the information processing apparatus 10 from the detection unit 21.
  • the monitoring unit 11 acquires, from the computer resource management unit 16, information related to the usage status of computer resources for the information processing apparatus 10 to execute various processes.
  • the monitoring unit 11 may acquire information related to the application from the application management unit 14.
  • the monitoring unit 11 may acquire information indicating the operation status of each recognition process from the recognition process management unit 13.
  • the monitoring unit 11 may acquire information for recognizing various situations and states from the information acquired by the input unit 23 from the input unit 23. For example, the monitoring unit 11 may acquire acoustic information indicating the environmental sound of the external environment collected by the sound collection unit 235. From the acoustic information acquired in this way, it is possible to recognize, for example, the magnitude (for example, SN ratio) of noise in the external environment.
  • the monitoring unit 11 collects dynamic information that changes according to various states and situations, and outputs the collected dynamic information to the setting control unit 12.
  • the setting control unit 12 is configured to control settings related to the operation of the input unit 23 and settings related to the operation of various processes in the information processing device 10 according to the operation status of the information processing device 10.
  • the setting control unit 12 reads static information corresponding to the application being executed from the storage unit 31, and based on the read static information, priorities among various processes that operate along with the execution of the application. To decide.
  • the various processes may include a recognition process (that is, a recognition process used for realizing a function) that operates in accordance with the execution of the application.
  • the setting control unit 12 acquires from the monitoring unit 11 a collection result of dynamic information that changes according to various states and situations. And the setting control part 12 updates the setting for various processes to operate
  • the setting control unit 12 when the setting control unit 12 recognizes that the processing load of the entire information processing apparatus 10 is high and that there is no room for computer resources, recognition with lower priority among recognition processes in operation.
  • the recognition process management unit 13 is instructed to reduce the recognition accuracy of the process.
  • the processing amount of the recognition process decreases, so that at least a part of the computer resources used for the recognition process is released.
  • the setting control unit 12 updates the setting for operating the process so that the released computer resource is allocated to another process with higher priority (for example, another recognition process). May be.
  • the setting control unit 12 manages settings related to the operation of the corresponding processing among the input unit 23, the recognition processing management unit 13, the application management unit 14, the output device management unit 15, and the computer resource management unit 16. It is only necessary to instruct the configuration to be updated to update the setting.
  • a configuration for controlling the operation of each process based on static information and dynamic information that is, based on the setting control unit 12 and the settings updated by the setting control unit 12.
  • the configuration for controlling various operations corresponds to an example of a “control unit”.
  • the configuration for controlling various operations based on the settings updated by the setting control unit 12 includes, for example, the input unit 23, the recognition process management unit 13, the application management unit 14, the output device management unit 15, and the computer resource management unit 16. Can correspond.
  • the output device management unit 15 is configured to control the operation of the output unit 25 and manage settings related to the operation of the output unit 25.
  • the output device management unit 15 may include a display control unit 151 and an acoustic control unit 153.
  • the display control unit 151 is configured to control the operation of the display unit 251.
  • the display control unit 151 acquires display information to be displayed from various applications, and causes the display unit 251 to display the acquired display information. Further, the display control unit 151 may update the setting related to the display information display on the display unit 251 based on an instruction from the setting control unit 12. Examples of such settings include resolution, number of colors, presence / absence of various image processing such as up-conversion, allowable delay amount, and the like.
  • the sound control unit 153 is a configuration for controlling the operation of the sound output unit 253.
  • the acoustic control unit 153 acquires acoustic information (for example, voice or music) to be output from various applications, and causes the acoustic output unit 253 to output the acquired acoustic information. Further, the sound control unit 153 may update the setting related to the output of the sound information to the sound output unit 253 based on the instruction from the setting control unit 12. Examples of such settings include the number of quantization bits, frequency band, number of channels, presence / absence of various acoustic processing such as up-conversion, allowable delay amount, and the like.
  • the output device management unit 15 becomes an output target for, for example, a device instructed by the application when there are a plurality of candidates for the device to be output (for example, the display unit 251 and the sound output unit 253). Information may be output. As another example, the output device management unit 15 may output information to be output to a device specified in advance by setting related to an output destination.
  • an example of the functional configuration of the information processing system 1 according to the present embodiment has been described, particularly focusing on the mechanism configuration of the information processing apparatus 10.
  • the example described with reference to FIG. 3 is merely an example, and the functional configuration of the information processing system 1 is not necessarily limited to the example illustrated in FIG. 3 as long as each function described above can be realized.
  • at least a part of the configuration of the detection unit 21, the input unit 23, the output unit 25, and the storage unit 31 may be provided in the information processing apparatus 10.
  • at least a part of each configuration of the information processing apparatus 10 is connected to an external apparatus (for example, another apparatus that operates in cooperation with the information processing apparatus 10 or a network). Server) or the like.
  • FIG. 5 is a flowchart illustrating an example of a flow of a series of processes of the information processing apparatus 10 according to the present embodiment.
  • Step S201 First, when the information processing apparatus 10 is activated, the information processing apparatus 10 starts to operate based on default settings.
  • the recognition process management unit 13 of the information processing apparatus 10 operates each recognition process (for example, the recognition processes A to C shown in FIG. 3) based on default settings.
  • Step S203 the monitoring unit 11 of the information processing apparatus 10 uses, for example, a detection unit 21, an input unit 23, an application management unit 14, and computer resource management information that changes according to various states and situations (that is, dynamic information). Collected from each component of the unit 16. Then, the monitoring unit 11 outputs the collected dynamic information to the setting control unit 12.
  • Step S300 The setting control unit 12 determines the content of the settings related to various processing operations in the information processing apparatus 10 based on the static information corresponding to the application being executed and the dynamic information collected by the monitoring unit 11.
  • FIG. 6 is a flowchart illustrating an example of the flow of processing for determining the contents of settings related to various processing operations by the information processing apparatus 10 according to the present embodiment.
  • Steps S301 and S303 First, the setting control unit 12 reads static information corresponding to the function (application) being executed from the storage unit 31 (S303). Based on the read static information, the setting control unit 12 determines priorities between various processes that operate in accordance with the execution of the application (S303). Note that the various processes may include a recognition process that operates in accordance with the execution of the application.
  • Step S305 the setting control unit 12 acquires from the monitoring unit 11 a collection result of dynamic information that changes according to various states and situations. Based on the acquired dynamic information, the setting control unit 12 recognizes the operation status of the information processing apparatus 10 such as the use status of computer resources in the information processing apparatus 10.
  • Step S307 The setting control unit 12 determines, based on the acquired dynamic information, whether or not a computer resource is allocated to each of the various processes according to the priority between the various processes determined based on the static information. To do.
  • Step S309 When computer resources are allocated according to the priority between the various processes (S307, YES), the setting control unit 12 uses the computer resources in the information processing apparatus 10 based on the acquired dynamic information. It is determined whether or not the amount is within a predetermined range. When the total usage amount of computer resources in the information processing apparatus 10 is within a predetermined range (S309, YES), the setting control unit 12 does not need to update the setting contents.
  • the setting control unit 12 updates settings related to the operation of various processes in accordance with the operation status of the information processing apparatus 10.
  • Step S313 For example, when there is a surplus in computer resources (S311: YES), the setting control unit 12 further allocates computer resources to a process with higher priority among various processes that operate in accordance with the execution of the application. Update the settings as follows. As a more specific example, the setting control unit 12 may update the setting content of the recognition process so as to improve the recognition accuracy of the recognition process having a high priority. As a result, it is possible to improve the recognition accuracy by allocating a surplus of computer resources to the recognition process. As a result, it is possible to improve the recognition accuracy of the recognition process and shorten the delay of the recognition process. It becomes possible.
  • an upper limit value may be provided for the recognition accuracy of various recognition processes.
  • the setting control unit 12 sets the recognition process so that the recognition accuracy of the recognition process is further improved within a range that does not exceed the upper limit set for the target recognition process.
  • the content may be updated.
  • Step S315) If the computer resources are not sufficient (S311: NO), the setting control unit 12 secures the computer resources by restricting the operation of some processes.
  • Step S317) For example, when it is possible to reduce the recognition accuracy of a recognition process with a lower priority (S315, YES), the setting control unit 12 is limited to reduce the recognition accuracy of the recognition process (in other words, limited). As such, the setting contents of the recognition process are updated. As a result, the processing amount of the recognition processing is reduced, and it is possible to secure computer resources corresponding to the reduced amount of the processing amount.
  • the situation where it is difficult to reduce the recognition accuracy includes, for example, a situation where the recognition rate of the target recognition process is lower than the recognition rate permitted by the application using the recognition result of the recognition process. That is, the lower limit value of the recognition accuracy in each recognition process may be set in advance for each application that uses the recognition result of the recognition process according to the recognition accuracy allowed in the application.
  • Step S319) When it is difficult to lower the recognition accuracy of the recognition process with lower priority (S311: NO), the setting control unit 12 reduces the recognition accuracy of other recognition processes with higher priority. Then, the setting content of the other recognition process is updated. As a result, the recognition rate of recognition processing with high priority may be reduced, but it is possible to prevent the occurrence of a situation in which processing of the entire system fails.
  • the setting control unit 12 sets the settings related to the operations of various processes in the information processing apparatus 10 based on the static information corresponding to the application being executed and the dynamic information collected by the monitoring unit 11. Determine the contents.
  • the setting control unit 12 relates to the operation of the corresponding process among the input unit 23, the recognition process management unit 13, the application management unit 14, the output device management unit 15, and the computer resource management unit 16 according to the determined setting content. Instructs the configuration managing the setting to update the setting.
  • Step S207 The configuration instructed to update the setting from the setting control unit 12 updates the setting related to the operation of the corresponding process according to the content of the instruction.
  • the recognition process management unit 13 is configured based on an instruction from the setting control unit 12 for setting of an operation of the instructed recognition process among various recognition processes to be managed (for example, a sampling rate and an allowable value). Update delay amount).
  • the computer resource management unit 16 controls allocation of computer resources to various functions based on an instruction from the setting control unit 12. As a result, the process that is the target of the setting update operates based on the updated setting contents.
  • Step S209 the information processing apparatus 10 sequentially executes each process described above until an instruction to end a series of processes (NO in S209).
  • the operation status of the information processing apparatus 10 as a whole for example, the total usage of computer resources
  • the setting control unit 12 updates the setting contents regarding the operation of various processes as necessary. It becomes.
  • the information processing apparatus 10 can perform control so that computer resources are dynamically allocated to various processes in a more preferable manner according to the operation status. .
  • the end of the series of processing is instructed (S209, YES)
  • the information processing apparatus 10 ends the series of processing related to the collection of the dynamic information and the update of the setting content described above.
  • Example> As an example of the present embodiment, an example of processing in which the information processing apparatus 10 updates the setting content according to the operation status will be described in more detail below along with a specific example.
  • Example 1 Control of load balance
  • the information processing apparatus 10 is configured in various settings according to the operation status, taking as an example the case where the information processing system according to the present embodiment is configured as a conference recording system as shown in FIG. An example in the case of controlling the load balance between various processes during operation by updating the contents will be described.
  • the application 1 for meeting recording is controlled so that the user is recognized by the image recognition processing A based on the face recognition technology and the directivity of the sound collection unit 235 is directed to the recognized user.
  • this processing is referred to as “directivity control processing”.
  • the application 1 is configured to recognize the user's instruction content by recognizing a gesture by the user's arm or the like by the image recognition processing B.
  • the application 1 is configured to be able to display display information indicating the recording status on the display unit 251 (hereinafter, the process is referred to as “display process”).
  • the “directivity control process” and the “image recognition process A” are set to have higher priority, and the “image recognition process B” and the “display process” are set. It is assumed that the priority is set to be lower.
  • the CPU usage rate in the information processing apparatus 10 is 99%.
  • the information processing apparatus 10 determines that there is no allowance for the total use amount of the computer resource based on the dynamic information collection result regarding the computer resource.
  • the information processing apparatus 10 recognizes that the priority of the “image recognition process B” is lower based on the static information of the application 1 being executed, and recognizes the accuracy of the “image recognition process B” ( That is, computer resources may be secured by lowering the gesture recognition accuracy.
  • the information processing apparatus 10 may recognize that the priority of “display processing” is lower, and secure computer resources by limiting the resolution and frame rate in “display processing”. .
  • the information processing apparatus 10 checks the usage status of the computer resource that has changed based on the operation of each updated process. If the total usage of the computer resource is still not sufficient, the information processing apparatus 10 again.
  • Computer resources are secured by restricting the operation of some processes (for example, other processes with low priority).
  • the “information recognition processing A” or “directivity control” is performed.
  • surplus computer resources may be allocated to processing with higher priority.
  • the information processing apparatus 10 may change the setting related to the operation of the “image recognition process A” so that the recognition accuracy of the “image recognition process A” is further improved. Thereby, it is possible to allocate the surplus computer resources to the “image recognition processing A”.
  • the information processing apparatus 10 sequentially repeats the above-described control so that more computer resources are allocated to processing with higher priority according to the operation status (particularly, the operation status of various applications). In addition, it is possible to efficiently use limited computer resources. That is, according to the information processing apparatus 10 according to the present embodiment, it is possible to operate various processes (for example, a recognition process) that operate in accordance with the execution of the application in a more preferable mode according to the situation. .
  • various processes for example, a recognition process
  • the information processing apparatus 10 has been described with respect to an example in which the load balance between various types of processing during operation is controlled by updating various setting contents according to the operation status. .
  • Example 2 Example of processing related to setting content update
  • Example 2 an example of a process in which the information processing apparatus 10 updates the setting contents according to the operation status will be described below together with a specific example of the operation status.
  • the information processing apparatus 10 may limit the operation of at least some of the various processes being operated so that the usage rate of the CPU becomes lower.
  • the information processing apparatus 10 may change the threshold value for determining whether or not the computer resource has a margin according to the detection result of the CPU temperature.
  • the information processing apparatus 10 can reduce the total use amount of the computer resources by lowering the threshold value for determining whether or not the computer resources have room under a situation where the CPU temperature is higher. You may control so that it may fall. Under such control, the information processing apparatus 10 can restrict the operation of various processes so that the total use amount of computer resources is less than the changed threshold value, and thus can lower the CPU temperature.
  • the information processing apparatus 10 may change a threshold value for determining whether or not the computer resources have room according to the detection result of the temperature (air temperature) of the surrounding environment. As a more specific example, when the temperature (air temperature) of the surrounding environment is high, the information processing apparatus 10 reduces the threshold for determining whether or not the computer resource has room, thereby reducing the computer resource. You may control so that the total usage amount falls more.
  • the information processing apparatus 10 may limit the operation of at least a part of the various processes being operated according to the setting of the operation mode such as the power saving mode. For example, when the power saving mode is set, the information processing apparatus 10 may limit the use of computer resources related to devices and functions that can consume more power, such as a CPU and a display.
  • the information processing apparatus 10 may control the allocation of computer resources to various processes according to the preset designated by the user. More specifically, for example, operation modes such as “accuracy priority”, “processing amount reduction priority”, and “recommended setting” may be provided, and presets may be associated with each operation mode. For example, in the preset corresponding to the “accuracy priority” mode, a criterion (for example, a threshold) for determining the usage status of computer resources is set so that the accuracy of various processes is improved by using more computer resources. May be.
  • a criterion for example, a threshold
  • the computer resources are allocated to various processes to the minimum, and the total amount of the computer resources used is further reduced.
  • the priority between the recognition processes may be directly set regardless of the application being executed.
  • operation modes such as “voice recognition accuracy priority”, “image recognition accuracy priority”, “face recognition accuracy priority”, “person identification priority” are provided, and the information processing apparatus 10
  • the priority between various recognition processes may be determined according to the mode.
  • static information may be generated in advance for each operation mode, and the static information may be stored in the storage unit 31.
  • the information processing apparatus 10 may update the setting content related to various processing operations in accordance with changes in the external environment. For example, in the image recognition process, it can be assumed that the illuminance of the surrounding environment affects the recognition accuracy of the target. Therefore, the information processing apparatus 10 may control computer resources allocated to various recognition processes according to the detection result of illuminance.
  • the information processing apparatus 10 updates the settings related to the operation of each recognition process including the image recognition process so that the recognition accuracy of the image recognition process is further improved. May be.
  • the information processing apparatus 10 when performing image recognition processing based on a so-called IR image captured by an infrared imaging unit, it may be difficult to recognize a target if the ambient environment has high illuminance. Therefore, the information processing apparatus 10 relates to the operation of each recognition process including the image recognition process so that the recognition accuracy of the image recognition process based on the IR image is further improved when the illuminance detection result is higher than the threshold value. Settings may be updated.
  • the information processing apparatus 10 may control computer resources assigned to various recognition processes according to the detection result of the environmental sound.
  • the information processing apparatus 10 when the environmental sound detection result is higher than the threshold (for example, when the volume of the environmental sound is higher than the threshold), the information processing apparatus 10 further improves the recognition accuracy of the voice recognition processing. As such, the settings regarding the operation of each recognition process including the voice recognition process may be updated.
  • the information processing apparatus 10 may update the setting content regarding the operation of various recognition processes according to the success or failure of the recognition in the various recognition processes. More specifically, by limiting the recognition accuracy of the recognition process, it may be assumed that the recognition rate of the recognition process is lower than the recognition rate required by the function (application) that uses the recognition process. In addition, the recognition rate of each recognition process may change depending on the state of the external environment. Even if a high recognition rate can be maintained in one environment, the same recognition rate is maintained in other environments. Sometimes it is difficult to do. In such a case, for example, the information processing apparatus 10 may change the lower limit value of the recognition accuracy in the recognition process according to the success or failure of the recognition in each recognition process. That is, the information processing apparatus 10 reduces the recognition rate of the recognition process by changing the lower limit value of the recognition accuracy of the recognition process to be higher in an environment where the recognition rate of the recognition process can be lowered. May be prevented.
  • Example 3 Example of control according to processing phase
  • Example 3 of the present disclosure will be described.
  • the priority between the processes that operate according to the execution of the application is set for each application, that is, an example in which static information is provided for each application has been described.
  • the priority among the processing may be different for each processing phase.
  • an example will be described in which priority between processes is set for each process phase, and settings related to the operation of each process are controlled according to the priority for each process phase.
  • the priority of the image recognition process for recognizing the gesture is higher. There is a case.
  • the priority of the image recognition process for recognizing the gesture is low. There is a case.
  • the monitoring unit 11 of the information processing apparatus 10 acquires information indicating the processing phase after the change from the application management unit 14 and performs setting control on the acquired information.
  • the unit 12 may be notified.
  • the setting control unit 12 can recognize the changed processing phase when the processing phase of the running application changes.
  • the setting control part 12 should just determine the priority between each process based on the content of the part corresponding to the process phase after the change in the static information corresponding to the said application.
  • the subsequent processing is the same as that of the information processing apparatus 10 according to the above-described embodiment.
  • the information processing apparatus 10 can perform each process (for example, recognition process) in a more preferable manner in accordance with the process phase after the change even when the process phase of the application being executed is changed.
  • the operation can be controlled.
  • the third embodiment an example has been described in which priority between processes is set for each process phase, and settings related to the operation of each process are controlled according to the priority for each process phase.
  • the example described above is merely an example, and the trigger for the information processing apparatus 10 to update the setting and the unit for managing the setting are not particularly limited.
  • the information processing apparatus 10 may set priorities among a plurality of processes including various recognition processes as the entire system. In this case, for example, the information processing apparatus 10 may apply the priority set as the entire system when the priority between various processes is not set for the application being executed.
  • Example 4 Example in which processing other than recognition processing is controlled
  • the information processing apparatus 10 is configured to control the load balance between the processes that operate in accordance with the execution of the application by using processes other than the recognition process as control targets.
  • the apparatus is configured as a playback apparatus configured to be capable of playback will be described as an example.
  • the application 2 for playing back video content increases the resolution of the video content to be played back to, for example, “4K UHD (3840 ⁇ 2160)” or “8K UHD (7680 ⁇ 4320)”. It is assumed that the data is converted and output (hereinafter, this processing is referred to as “display control processing”).
  • the application 2 is configured to be able to recognize the operation contents related to the reproduction of the moving image content such as “fast forward” and “volume adjustment” by recognizing the gesture by the user's arm or the like by the image recognition processing. It shall be.
  • the static information corresponding to the application 2 is set so that the priority of the “display control process” is higher, and the priority of the “image recognition process” for recognizing the gesture is lower. It is set to be.
  • the information processing apparatus 10 first recognizes a low-priority gesture so that the reproduction of the moving image content is not affected under a situation where computer resources are insufficient. Attempts to secure computer resources by reducing the recognition accuracy of the "image recognition process".
  • the information processing apparatus 10 restricts at least a part of the operation of the “display control process”. To secure computer resources. As a more specific example, the information processing apparatus 10 updates the setting content related to the operation of the “display control process” so that the up-conversion process is switched to a process using an algorithm with a smaller processing amount. Reserve resources.
  • Example 5 Application example
  • Example 5 an application example of the information processing system 1 according to the present embodiment will be described.
  • the information processing system 1 can be applied to a so-called in-vehicle system.
  • the information processing apparatus 10 acquires, as dynamic information, information indicating the traveling state of the vehicle detected by various sensors and information indicating the state and situation of the passenger, and acquires the acquired dynamic Depending on the information, priority between a plurality of processes including the recognition process may be controlled.
  • the application 3 for confirming various types of information such as a map is configured to recognize a user's instruction content by recognizing a gesture with a user's finger or the like through image recognition processing. Shall. Further, it is assumed that the application 3 is configured to be able to recognize the content designated by the user by voice through voice recognition processing.
  • the user operates the information processing apparatus 10 by gesture input using a finger or the like, and displays various information such as a map.
  • a case of confirmation can be assumed.
  • the information processing apparatus 10 can perform complicated gesture input or improve the recognition accuracy of the image recognition processing for recognizing the gesture, and shorten the delay. The response to this may be improved.
  • the information processing apparatus 10 may secure computer resources for improving the recognition accuracy of the image recognition processing by reducing the recognition accuracy of the speech recognition processing.
  • the information processing apparatus 10 may be able to recognize only a simple gesture input by reducing the recognition accuracy of the image recognition process. At this time, the information processing apparatus 10 may improve the recognition accuracy of the speech recognition process by allocating computer resources secured by a decrease in the recognition accuracy of the image recognition process to the speech recognition process.
  • Example 5 an example in which the information processing system 1 according to the present embodiment is applied to an in-vehicle system has been described.
  • the application example described above is merely an example, and does not limit the application range of the information processing system 1 according to the present embodiment.
  • the information processing system 1 according to the present embodiment may be applied to a so-called smart home system in which various devices in a house such as various home appliances are connected via a home network.
  • a device that is subject to operation control by the information processing apparatus 10 can be installed in a house such as a television receiver, a recorder such as a moving image, various audio devices, a projector (short focus projector, etc.), a lighting fixture, etc. Equipment.
  • recognition processing can also be an object of operation control by the information processing apparatus 10.
  • FIG. 7 is a diagram illustrating an example of a hardware configuration of the information processing apparatus 10 according to an embodiment of the present disclosure.
  • the information processing apparatus 10 includes a processor 901, a memory 903, a storage 905, an operation device 907, a notification device 909, a detection device 911, a communication device 915, A sound collection device 917 and a bus 919 are included. Further, the information processing apparatus 10 may include an imaging device 913.
  • the processor 901 may be, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a DSP (Digital Signal Processor), or a SoC (System on Chip), and executes various processes of the information processing apparatus 10.
  • the processor 901 can be configured by, for example, an electronic circuit for executing various arithmetic processes.
  • the monitoring unit 11, the setting control unit 12, the recognition process management unit 13, the application management unit 14, the output device management unit 15, and the computer resource management unit 16 described above can be realized by the processor 901.
  • the memory 903 includes RAM (Random Access Memory) and ROM (Read Only Memory), and stores programs and data executed by the processor 901.
  • the storage 905 can include a storage medium such as a semiconductor memory or a hard disk.
  • the storage unit 31 described above can be realized by at least one of the memory 903 and the storage 905 or a combination of both.
  • the operation device 907 has a function of generating an input signal for a user to perform a desired operation.
  • the operation device 907 can be configured as a touch panel, for example.
  • the operation device 907 generates an input signal based on an input by the user, such as buttons, switches, and a keyboard, and an input for the user to input information, and supplies the input signal to the processor 901. It may be composed of a control circuit or the like. Note that at least a part of the configuration of the input unit 23 described above may be realized by the operation device 907.
  • the notification device 909 is an example of an output device, and may be a device such as a liquid crystal display (LCD) device or an organic EL (OLED: Organic Light Emitting Diode) display, for example. In this case, the notification device 909 can notify the user of predetermined information by displaying the screen. Further, the notification device 909 may be a device that notifies a user of predetermined information by outputting a predetermined acoustic signal, such as a speaker.
  • a predetermined acoustic signal such as a speaker.
  • the example of the notification device 909 described above is merely an example, and the aspect of the notification device 909 is not particularly limited as long as predetermined information can be notified to the user.
  • the notification device 909 may be a device that notifies the user of predetermined information using a lighting or blinking pattern, such as an LED (Light Emitting Diode).
  • the output unit 25 described above can be realized by the notification device 909.
  • the detection device 911 is a device for detecting various states.
  • the detection device 911 may be configured by a sensor for detecting various states such as a touch sensor, a pressure sensor, an illuminance sensor, and a humidity sensor.
  • the detection device 911 may be configured by a sensor for detecting contact or proximity of a predetermined target, such as an electrostatic sensor. Further, the detection device 911 may be configured by a sensor for detecting a change in the position or orientation of a predetermined housing, such as an acceleration sensor or an angular velocity sensor. Further, the detection device 911 may be configured by a sensor for detecting a predetermined target, such as a so-called optical sensor.
  • the detection device 911 may be configured by a sensor for detecting the state of the external environment, such as a so-called illuminance sensor or temperature sensor. Note that at least a part of the configuration of the detection unit 21 described above can be realized by the detection device 911.
  • the imaging device 913 includes an imaging element that captures a subject and obtains digital data of the captured image, such as a CMOS (Complementary Metal-Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor. That is, the imaging device 913 has a function of capturing a still image or a moving image via an optical system such as a lens in accordance with the control of the processor 901.
  • the imaging device 913 may store the captured image in the memory 903 or the storage 905. Note that the above-described imaging unit 231 and infrared imaging unit 233 can be realized by the imaging device 913.
  • the sound collection device 917 is a device such as a microphone that collects the sound emitted from the user and the sound of the surrounding environment and acquires it as acoustic information (acoustic signal).
  • the sound collection device 917 may acquire data indicating an analog sound signal indicating the collected sound or sound as sound information, or convert the analog sound signal into a digital sound signal and perform conversion. Data indicating a later digital acoustic signal may be acquired as acoustic information. Note that the above-described sound collection unit 235 can be realized by the sound collection device 917.
  • the communication device 915 is a communication unit included in the information processing apparatus 10 and communicates with an external apparatus via a network.
  • the communication device 915 is a wired or wireless communication interface.
  • the communication device 915 may include a communication antenna, an RF (Radio Frequency) circuit, a baseband processor, and the like.
  • the communication device 915 has a function of performing various kinds of signal processing on a signal received from an external device, and can supply a digital signal generated from the received analog signal to the processor 901.
  • the bus 919 connects the processor 901, the memory 903, the storage 905, the operation device 907, the notification device 909, the detection device 911, and the communication device 915 to each other.
  • the bus 919 may include a plurality of types of buses.
  • the information processing apparatus 10 sets priorities among a plurality of processes including a recognition process according to a function (application) being executed, and the priority and the plurality of The operation of at least one of the plurality of processes is controlled according to the recognition result of the situation in which the process operates. Based on such a configuration, for example, the information processing apparatus 10 secures computer resources by restricting operations of lower priority processes according to the operation status, and assigns the secured computer resources to higher priority. Assign to high processing. As a result, the information processing apparatus 10 according to the present embodiment uses more limited computer resources without causing the entire operation of the information processing apparatus 10 to fail even in a situation where a plurality of processes including a recognition process operate. It becomes possible to assign to processing with high priority.
  • An acquisition unit that acquires first information that changes according to a situation in which a predetermined recognition process is executed; Control for controlling the operation of the recognition process based on the priority between a plurality of processes including at least the recognition process and the acquired first information set in advance based on predetermined second information
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the control unit controls a processing amount of the recognition processing based on the first information and the priority. (3) The information processing apparatus according to (2), wherein the control unit restricts execution of processing relating to recognition accuracy among the recognition processing based on the first information and the priority.
  • the recognition process is an image recognition process for recognizing a predetermined target in an input image, The information processing apparatus according to (3), wherein the control unit restricts execution of processing related to recognition accuracy of the predetermined target.
  • the information processing apparatus according to (4) wherein the control unit limits the number of scans of the input image for recognizing the predetermined target.
  • the information processing apparatus according to (4) or (5) wherein the control unit limits a resolution of the input image.
  • the recognition process is a voice recognition process for recognizing a voice in the collected sound, The information processing apparatus according to (3), wherein the control unit restricts execution of processing related to recognition accuracy of the voice.
  • the plurality of processes for which the priority is set include a plurality of the recognition processes, The information processing apparatus according to any one of (1) to (8), wherein the control unit controls a plurality of operations of the recognition processing based on the first information and the priority. (10) The control unit controls the operation of at least one process different from the recognition process among the plurality of processes for which the priority is set based on the first information and the priority.
  • the acquisition unit according to any one of (1) to (11), wherein the acquisition unit acquires information about a resource according to an operation status of a series of processes including the plurality of processes for which the priority is set.
  • Information processing device (13) The second information is set according to a function that uses the recognition process, The control unit controls the operation of the recognition process based on the priority based on the second information according to the function to be executed and the first information.
  • the information processing apparatus according to any one of 12).
  • (14) Obtaining first information that changes according to a situation in which a predetermined recognition process is executed; The processor performs the operation of the recognition process based on the priority between the plurality of processes including at least the recognition process and the acquired first information set in advance based on the predetermined second information.
  • Control and Including an information processing method (15) On the computer, Obtaining first information that changes according to a situation in which a predetermined recognition process is executed; Controlling the operation of the recognition process based on the priority between the plurality of processes including at least the recognition process, which is set in advance based on the predetermined second information, and the acquired first information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】認識処理を含む複数の処理を、状況に応じてより好適な態様で動作させることを可能とする。 【解決手段】所定の認識処理が実行される状況に応じて変化する第１の情報を取得する取得部と、所定の第２の情報に基づきあらかじめ設定された、少なくとも前記認識処理を含む複数の処理間の優先度と、取得された前記第１の情報と、に基づき、当該認識処理の動作を制御する制御部と、を備える、情報処理装置。

Description

情報処理装置、情報処理方法、及びプログラム
　本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
　ＰＣ（Personal　Computer）等のような情報処理装置の操作方法として、リモートコントローラ、キーボード、及びマウス等のような入力デバイスを利用した操作方法が挙げられる。また、近年では、顔認識技術や音声認識技術等に基づく各種認識処理を利用することで、ジェスチャや音声等により情報処理装置を操作可能とする、ＮＵＩ（Natural　User　Interface）と呼ばれる技術も提案されている。例えば、特許文献１には、認識処理の一例として、顔認識技術に基づく認識処理の例が開示されている。
特開２００８－２５７４２５号公報
　一方で、ＮＵＩを利用可能な情報処理装置においては、当該ＮＵＩを実現するための各種認識処理以外にも、当該認識処理とは異なる他の処理が並行して動作している場合が想定され得る。また、各種認識処理と並行して動作する処理や、当該処理の処理内容や処理量等は、常に一定とは限らず、状況に応じて変化する場合もある。
　そこで、本開示では、認識処理を含む複数の処理を、状況に応じてより好適な態様で動作させることが可能な、情報処理装置、情報処理方法、及びプログラムを提案する。
　本開示によれば、所定の認識処理が実行される状況に応じて変化する第１の情報を取得する取得部と、所定の第２の情報に基づきあらかじめ設定された、少なくとも前記認識処理を含む複数の処理間の優先度と、取得された前記第１の情報と、に基づき、当該認識処理の動作を制御する制御部と、を備える、情報処理装置が提供される。
　また、本開示によれば、所定の認識処理が実行される状況に応じて変化する第１の情報を取得することと、プロセッサが、所定の第２の情報に基づきあらかじめ設定された、少なくとも前記認識処理を含む複数の処理間の優先度と、取得された前記第１の情報と、に基づき、当該認識処理の動作を制御することと、を含む、情報処理方法が提供される。
　また、本開示によれば、コンピュータに、所定の認識処理が実行される状況に応じて変化する第１の情報を取得することと、所定の第２の情報に基づきあらかじめ設定された、少なくとも前記認識処理を含む複数の処理間の優先度と、取得された前記第１の情報と、に基づき、当該認識処理の動作を制御することと、を実行させる、プログラムが提供される。
　以上説明したように本開示によれば、認識処理を含む複数の処理を、状況に応じてより好適な態様で動作させることが可能な、情報処理装置、情報処理方法、及びプログラムが提供される。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの概略的なシステム構成の一例について説明するための説明図である。 顔認識技術に基づき画像中のユーザを認識する処理の一例について説明するための説明図である。 同実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。 静的情報について説明するための説明図である。 同実施形態に係る情報処理装置の一連の処理の流れの一例について示したフローチャートである。 同実施形態に係る情報処理装置の処理の流れの一例について示したフローチャートである。 同実施形態に係る情報処理装置のハードウェア構成の一例を示した図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．概要
　２．機能構成
　３．処理
　４．実施例
　　４．１．実施例１：負荷バランスの制御
　　４．２．実施例２：設定内容の更新に係る処理の例
　　４．３．実施例３：処理フェーズに応じた制御の例
　　４．４．実施例４：認識処理以外の他の処理を制御対象とする場合の例
　　４．５．実施例５：適用例
　５．ハードウェア構成
　６．まとめ
　＜１．概要＞
　まず、本開示の一実施形態に係る情報処理システムの概略的なシステム構成の一例について説明し、その後、本実施形態に係る情報処理システムの課題について整理する。例えば、図１は、本実施形態に係る情報処理システムの概略的なシステム構成の一例について説明するための説明図である。図１に示す例では、本実施形態に係る情報処理システムは、例えば、会議の内容を映像（例えば、静止画像や動画像）や音声のデータとして記録する、所謂会議記録システムとして構成されている。
　例えば、図１に示す例では、情報処理システム１は、情報処理装置１０と、撮像装置２０ａ及び２０ｂと、集音装置２０ｄと、音響出力装置２０ｃと、表示装置２０ｅとを含む。撮像装置２０ａ及び２０ｂは、所謂カメラ等のように動画像や静止画像（以降では、総じて単に「画像」と称する場合がある）を撮像可能に構成されており、被写体（例えば、ユーザ）の画像を撮像することで、当該被写体の画像情報を取得する。なお、撮像装置２０ａ及び２０ｂのうち少なくとも一部が、所謂赤外線（ＩＲ）カメラとして構成されていてもよい。また、集音装置２０ｄは、所謂マイクロフォン等のように音声や音響を集音可能に構成されており、例えば、ユーザが発した音声を集音することで、音声情報として取得する。また、表示装置２０ｅは、所謂ディスプレイ等のように、静止画像や動画像のような画像情報を出力可能に構成されている。また、音響出力装置２０ｃは、所謂スピーカ等のように、音声や音響等のような音響情報を出力可能に構成されている。
　なお、参照符号２０ａ～２０ｅで示された各装置のうち、少なくとも一部の装置が、他の装置の機能を備えていてもよい。具体的な一例として、音響出力装置２０ｃは、集音装置としての機能を備えていてもよい。また、表示装置２０ｅは、音響出力装置としての機能を備えていてもよい。また、情報処理装置１０は、インターネット、専用線、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、または、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）のように、異なる装置間を接続する電子的なネットワークを介して、外部装置（例えば、他の情報処理装置１０）と情報を送受信可能に構成されていてもよい。
　情報処理装置１０は、例えば、撮像装置２０ａにより取得された会議の状況を示す画像情報（静止画像や動画像）や、集音装置２０ｄにより取得された会議の内容を示す音響情報（音声や音響）をデータとして記録する。また、情報処理装置１０は、データとして記録された画像情報や音響情報を、表示装置２０ｅや音響出力装置２０ｃを介して出力可能に構成されていてもよい。
　また、情報処理装置１０は、ジェスチャや音声等を利用したＮＵＩ技術に基づき、操作可能に構成されている。具体的な一例として、情報処理装置１０は、撮像装置２０ｂにより撮像された画像に対して、顔認識技術等に基づく画像解析を施すことで、画像中に撮像されたユーザを認識し、当該ユーザの腕等の所定の部位の動きを認識する。そして、情報処理装置１０は、認識した当該部位の動き（即ち、ジェスチャ）の認識結果に基づき、当該ユーザからの指示内容を認識する。また、情報処理装置１０は、集音された音声（即ち、音響情報）を記録する際に、顔認識技術等に基づく認識結果を基に発話者を示す情報（例えば、名前等の情報）を取得し、当該音声に関連付けて記録してもよい。このような構成に基づき、情報処理装置１０は、例えば、特定のユーザが発話した内容のみを選択的に出力できてもよい。
　また、他の一例として、情報処理装置１０は、集音装置２０ｄにより集音された音響に対して、音声認識技術に基づく音響解析を施すことで、集音された音声を文字情報に変換する。そして、情報処理装置１０は、音声が変換された文字情報に対して、構文解析、字句解析、及び意味解析等の自然言語処理技術に基づき解析処理を施すことで、当該音声が示す内容、即ち、ユーザからの指示内容を認識する。
　また、集音装置２０ｄが指向性を制御可能に構成されている場合には、情報処理装置１０は、ユーザの位置の認識結果に基づき、集音装置２０ｄの指向性が当該ユーザの方向を向くように制御してもよい。より具体的には、情報処理装置１０は、撮像装置２０ａまたは２０ｂにより撮像された画像に対する、顔認識技術等に基づく画像解析の結果を基にユーザの位置を認識し、認識したユーザの位置の方向を向くように、集音装置２０ｄの指向性を制御してもよい。
　以上、図１を参照して、本実施形態に係る情報処理システムの概略的なシステム構成の一例について説明した。
　一方で、ＮＵＩのように、画像認識や音声認識等の各種認識処理に基づき操作内容を認識する処理は、ボタンやタッチパネル等の入力デバイスを介した操作内容を認識する場合に比べて、処理量が大きくなる傾向にある。
　ここで、図２を参照して、顔認識技術の等の画像認識処理に基づき当該画像中のユーザを認識する処理の一例について説明する。図２は、顔認識技術に基づき画像中のユーザを認識する処理の一例について説明するための説明図である。
　まず、情報処理装置１０は、解析対象となる画像（例えば、撮像装置２０ａまたは２０ｂにより撮像された画像）を取得する（Ｓ１０）。解析対象となる画像を取得すると、情報処理装置１０は、参照符号ｗ１１として示すような領域を設定し、当該領域ｗ１１により解析対象の画像を走査しながら、領域ｗ１１中の部分画像から人の顔の特徴（例えば、形状特徴）を抽出することで、ユーザの顔を認識する。この場合には、情報処理装置１０は、領域ｗ１１と同程度のサイズの顔を、解析対象の画像から認識することとなる（Ｓ１１）。
　次いで、情報処理装置１０は、参照符号ｗ１２に示すように、解析対象の画像を走査する領域のサイズを変更する。そして、情報処理装置１０は、サイズ変更後の領域ｗ１２により解析対象の画像を走査しながら、領域ｗ１２中の部分画像から人の顔の特徴を抽出することで、ユーザの顔を認識する。この場合には、情報処理装置１０は、領域ｗ１２と同程度のサイズの顔（即ち、領域ｗ１１よりも小さいサイズ顔）を、解析対象の画像から認識することとなる（Ｓ１２）。同様にして、情報処理装置１０は、参照符号ｗ１３に示すように、解析対象の画像を走査する領域のサイズを変更し、サイズ変更後の領域ｗ１３により解析対象の画像を走査しながら、当該領域ｗ１３と同程度のサイズの顔（即ち、領域ｗ１２よりも小さいサイズ顔）を認識する（Ｓ１３）。
　このように、情報処理装置１０は、例えば、抽出対象となるサイズごとに、解析対象の画像を逐次走査しながら人の顔の特徴を抽出することで、当該画像中に撮像されたユーザの顔を認識する。このような処理により、情報処理装置１０は、解析対象となる画像中に撮像された様々なサイズのユーザの顔をそれぞれ認識することが可能となる。
　一方で、ＮＵＩのように、各種認識処理の結果に基づき操作内容を認識する処理は、上記に説明した処理（例えば、各種解析処理）の特性から、ボタンやタッチパネル等の入力デバイスを介した操作内容を認識する場合に比べて、処理量が比較的大きく、より多くの計算機資源を消費する傾向にある。また、ＮＵＩを実現するために、複数の認識処理（例えば、画像認識及び音声認識）を並行して動作させる場合もあり、さらに多くの計算機資源を要する場合も想定され得る。このように、ＮＵＩを利用可能なシステムでは、ＮＵＩを利用しない場合に比べて、システム全体の処理負荷が高くなる傾向にある。
　特に、ＮＵＩを利用可能なシステムでは、ＮＵＩを実現するための認識処理以外にも、他の処理（例えば、認識された操作内容に応じた処理等）が並行して動作している場合もあり、各種処理の処理内容や処理量等は、常に一定とは限らず、状況に応じて変化する場合もある。このような状況下においては、ＮＵＩを実現するための認識処理が、当該認識処理とは異なる他の処理の実行を阻害する場合も想定され得る。
　また、各種認識処理の処理量は、許容される認識精度に応じて変化する場合がある。例えば、図２に示す例の場合には、参照符号ｖ１１に示すように、領域ｗ１３のサイズよりもさらに小さいサイズの顔を認識する場合には、さらにサイズの小さい領域により対象となる画像を走査しながら、当該サイズのユーザの顔を認識することとなる。これにより、解析対象の画像を走査する回数や、当該走査をしながら人の顔の特徴を抽出する処理の回数が増大し、結果として認識処理の処理量が増大する。
　また、よりサイズの小さい顔の特徴を抽出する場合には、画像中の当該特徴を識別できる程度の解像度が必要となり、サイズの大きい顔の特徴を抽出する場合に比べて、より高い解像度が必要となる場合がある。なお、解析対象の画像の解像度が高くなると、当該画像のデータ量も増大することとなり、解像度の低い画像を解析する場合に比べて、より多くの計算機資源が必要となる場合がある。
　これに対して、各種認識処理に要求される認識精度は、必ずしも一定とは限らず、当該認識処理の結果を利用する機能（アプリケーション）の動作状況等のように、当該認識処理が実行される状況に応じて変化する場合も想定され得る。具体的な一例として、図２に示す例において、参照符号ｖ１１で示された顔を認識対象とする必要が無い機能にとっては、上述した当該顔ｖ１１を認識するための各種処理を実行した場合には、当該機能を実現するためのオーバヘッドが大きくなることとなる。
　以上を踏まえ、本開示では、認識処理を含む複数の処理が動作する状況（特に、当該認識処理が動作する状況）に応じて、当該複数の処理（ひいては、当該複数の処理が動作するシステム全体）をより好適な態様で動作させることが可能な仕組みを提案する。以降では、本実施形態に係る情報処理システム１の詳細について説明する。
　＜２．機能構成＞
　図３を参照して、本実施形態に係る情報処理システム１の機能構成の一例について、特に、情報処理装置１０の機構構成に着目して説明する。図３は、本実施形態に係る情報処理システム１の機能構成の一例を示したブロック図である。
　図３に示すように、本実施形態に係る情報処理システム１は、情報処理装置１０と、入力部２３と、出力部２５と、記憶部３１とを含む。また、情報処理システム１は、検知部２１を含んでもよい。
　検知部２１は、情報処理装置１０の周囲の環境（外部環境）の状態または状況を認識するための各種情報を取得する。検知部２１の、より具体的な構成の一例としては、例えば、外光の照度を検知するための照度センサ２１１、及び、外部環境の温度を検知するための温度センサ２１３等のような各種センサが挙げられる。検知部２１は、取得した各種情報を、情報処理装置１０に出力する。
　入力部２３は、ユーザが情報処理装置１０に対して指示を行うための入力インタフェースに相当する。特に、本実施形態に係る情報処理システム１では、入力部２３は、ＮＵＩを実現するための各種情報（換言すると、各種認識処理の対象となる情報（データ））を取得する構成に相当し得る。入力部２３の、より具体的な構成の一例として、例えば、可視光領域の光の検出結果に基づき被写体の画像を撮像する撮像部２３１、赤外線の検出結果に基づき被写体の画像を撮像する赤外線撮像部２３３、及び、音声や音響を集音する集音部２３５等が挙げられる。なお、集音部２３５は、例えば、マイクロフォンアレイのように、複数の集音デバイスを含んでもよい。入力部２３は、取得した各種情報を、情報処理装置１０に出力する。
　また、入力部２３は、情報処理装置１０からの指示に基づき、各種情報を取得するための各種設定を更新可能に構成されている。例えば、入力部２３は、各種情報を取得するためのサンプリングレートや、各種情報を取得するために許容される遅延量の設定を更新してもよい。また、より具体的な例に着目した場合に、撮像部２３１や赤外線撮像部２３３は、取得する画像の解像度（ピクセル数）を更新してもよい。また、集音部２３５は、アナログの音響信号をデジタルの音響データにＡＤ変換する際の量子化ビット数を更新してもよい。もちろん、上記に示した例は一例であり、情報処理装置１０からの指示に基づき更新可能であれば、各種情報を取得するための設定であれば、更新の対象となる設定は特に限定されない。
　なお、検知部２１及び入力部２３が、対象となる各種情報を取得するタイミングは特に限定されない。具体的な一例として、検知部２１及び入力部２３は、所定のタイミングごとに対称となる情報を取得してもよい。また、他の一例として、検知部２１及び入力部２３は、所定の処理が実行された場合に、当該処理の実行をトリガとして、対象となる情報を取得してもよい。また、検知部２１は、検知対象となる状態または状況に変化が生じた場合に、当該変化の検出をトリガとして、対象となる情報を取得してもよい。
　出力部２５は、情報処理装置１０が、ユーザに対して各種情報を提示するための出力インタフェースに相当する。出力部２５の、より具体的な構成の一例として、例えば、表示情報を表示する表示部２５１、及び、音声等のような音響情報を出力する音響出力部２５３等が挙げられる。
　記憶部３１は、情報処理装置１０が各種機能を実行するための各種データを一時的または恒久的に記憶するための構成である。特に、本実施形態に係る記憶部３１には、情報処理装置１０内で動作する各種アプリケーション（即ち、各種機能）ごとに、当該アプリケーションが実行されることで動作する各種処理間においてあらかじめ設定された優先度を示す管理情報が記憶されている。なお、以降の説明では、当該管理情報を「静的情報」と称する場合がある。
　例えば、図４は、静的情報について説明するための説明図であり、アプリケーションごとの静的情報の一例が示されている。具体的な一例として、「アプリケーション１」に着目した場合には、図４に示す例では、「アプリケーション１」が実行されることで、「認識処理Ａ（画像認識処理）」及び「認識処理Ｃ（音声認識処理）」が動作する。この場合には、当該「アプリケーション１」に対応する静的情報には、「認識処理Ａ」と「認識処理Ｃ」との間であらかじめ設定された優先度を示す情報が含まれている。より具体的には、「アプリケーション１」が、ジェスチャ認証のために「認識処理Ａ」を使用し、音声認証のために「認識処理Ｃ」を使用しているものとする。このとき、ジェスチャ認証については、より高い精度での認識処理が求められない場合には、「アプリケーション１」に対応する静的情報においては、認識処理Ａよりも認識処理Ｃの優先度がより高く設定されることとなる。
　また、静的情報による優先度の設定対象は、必ずしも認識処理のみには限定されない。例えば、「アプリケーション２」に着目した場合には、図４に示す例では、「アプリケーション２」が実行されることで、「認識処理Ａ」、「認識処理Ｂ」、及び「表示処理」が動作する。また、「アプリケーション２」においては、「表示処理」の優先度が最も高く、次いで、「認識処理Ｂ（画像認識処理）」、「認識処理Ａ（画像認識処理）」の順に優先度が低くなるものとする。この場合には、当該「アプリケーション２」に対応する静的情報には、「認識処理Ａ」、「認識処理Ｂ」、及び「表示処理」の間に設定された優先度を示す情報が含まれていてもよい。
　次いで、情報処理装置１０に含まれる各構成について説明する。図３に示すように、情報処理装置１０は、監視部１１と、設定制御部１２と、認識処理管理部１３と、アプリケーション管理部１４と、出力デバイス管理部１５と、計算機資源管理部１６とを含む。
　計算機資源管理部１６は、情報処理装置１０が各種処理の実行を実現するための計算機資源の使用状況に関する情報を取得し、取得した情報を監視部１１に出力する。計算機資源としては、例えば、ＣＰＵ、メモリ等の各種リソースが挙げられる。なお、これらのリソースの情報は、例えば、ＯＳ（Operating　System）のシステムコール等により取得することが可能である。また、情報処理装置１０が、ネットワークを介して外部装置と通信可能に構成されている場合には、計算機資源管理部１６は、当該通信のためのリソース（例えば、通信帯域）の使用状況に関する情報を取得して、監視部１１に出力してもよい。なお、以降の説明では、単に「計算機資源」と称する場合には、当該通信のためのリソースについても含み得るものとする。
　また、計算機資源管理部１６は、後述する設定制御部１２からの指示に基づき、各種計算機資源の割り当てを制御してもよい。より具体的な構成の一例として、計算機資源管理部１６は、ＣＰＵリソース制御部１６１、メモリリソース制御部１６３、及び通信帯域制御部１６５のうち、少なくともいずれかを含んでもよい。
　ＣＰＵリソース制御部１６１は、情報処理装置１０内で動作する各種機能（例えば、各種アプリケーション）に対する、ＣＰＵリソースの割り当てを制御する。また、メモリリソース制御部１６３は、情報処理装置１０内で動作する各種機能に対する、メモリリソースの割り当てを制御する。同様に、通信帯域制御部１６５は、情報処理装置１０内で動作する各種機能が、外部装置と通信を行うための通信帯域の割り当てを制御する。
　認識処理管理部１３は、各種認識処理の動作を管理するための構成である。各種認識処理の一例としては、例えば、入力された画像情報を解析対象とした画像認識処理や、入力された音響情報を解析対象とした音声認識処理等が挙げられる。なお、これらの認識処理による対象の認識結果は、例えば、情報処理装置１０内で動作する各種アプリケーションにより利用されてもよい。認識処理管理部１３は、後述する設定制御部１２からの指示に基づき、管理対象となる各種認識処理の動作に関する設定を更新する。即ち、対象となる認識処理は、認識処理管理部１３により各種設定が更新された場合には、以降は、更新後の設定に基づき動作することとなる。
　具体的な一例として、対象となる認識処理が画像認識処理の場合には、更新対象となる設定としては、例えば、サンプリングレート、許容される遅延量、処理ピクセル数、対象とする画像の数（換言すると、取得元となる撮像部の数）、認識対象の範囲等が挙げられる。また、認識対象の範囲の一例としては、例えば、対象を認識する画像中の範囲（例えば、奥行き方向の範囲）や、画像中における対象の候補のうち認識の対象とする候補の範囲（例えば、対象の大きさの範囲）等が挙げられる。より具体的な一例としては、前述したように、顔認識技術に基づきユーザの顔を認識する場合には、認識対象となる顔のサイズの範囲を示す設定が挙げられる。また、対象を認識するための走査回数や走査範囲等の設定が更新対象となっていてもよい。
　また、他の一例として、対象となる認識処理が音声認識処理の場合には、更新対象となる設定としては、例えば、サンプリングレート、許容される遅延量、量子化ビット数、周波数帯域、チャンネル数（換言すると、取得元となる集音部の数）等が挙げられる。
　もちろん、上記に挙げた、更新の対象となる設定の例はあくまで一例であり、対象となる認識処理の動作に関する設定であれば、その種別は特に限定されない。
　また、認識処理管理部１３は、各認識処理の動作状況を示す情報を監視部１１に通知してもよい。具体的な一例として、認識処理管理部１３は、各種認識処理が、対象の認識に成功したか否かを監視部１１に通知してもよい。
　アプリケーション管理部１４は、情報処理装置１０内で動作する各種機能（アプリケーション）の動作を管理するための構成である。アプリケーション管理部１４は、後述する設定制御部１２からの指示に基づき、管理対象となる各種アプリケーションの動作に関する設定を更新する。即ち、対象となるアプリケーションは、アプリケーション管理部１４により各種設定が更新された場合には、以降は、更新後の設定に基づき動作することとなる。
　また、アプリケーション管理部１４は、各アプリケーションの動作を監視し、アプリケーションの特性が変化した場合には、当該アプリケーションに関する情報を監視部１１に出力してもよい。具体的な一例として、アプリケーション管理部１４は、アプリケーションの動作モード（例えば、省電力モード等）が更新された場合には、当該動作モードが更新されたことや、更新後の動作モードを示す情報を監視部１１に通知してもよい。また、複数の処理フェーズにより構成される一連の処理を実行するアプリケーションを対象とする場合には、アプリケーション管理部１４は、当該アプリケーションの処理フェーズが変化した場合に、当該処理フェーズが変化したことや、変化後の処理フェーズを示す情報を監視部１１に通知してもよい。
　監視部１１は、各種状態や状況（特に、各種認識処理が動作する状態や状況）に応じて変化する情報を取得するための構成である。なお、以降の説明では、各種状態や状況に応じて変化する情報を、「動的情報」と称する場合がある。
　例えば、監視部１１は、情報処理装置１０の外部環境の状態または状況を認識するための各種情報を、検知部２１から取得する。また、監視部１１は、情報処理装置１０が各種処理の実行を実現するための計算機資源の使用状況に関する情報を、計算機資源管理部１６から取得する。また、監視部１１は、アプリケーションに関する情報を、アプリケーション管理部１４から取得してもよい。また、監視部１１は、各認識処理の動作状況を示す情報を、認識処理管理部１３から取得してもよい。
　また、監視部１１は、入力部２３により取得された情報のうち、各種状況や状態を認識するための情報を、当該入力部２３から取得してもよい。例えば、監視部１１は、集音部２３５により集音された、外部環境の環境音を示す音響情報を取得してもよい。このようにして取得された音響情報からは、例えば、外部環境の騒音の大きさ（例えば、ＳＮ比）等を認識することが可能である。
　以上のようにして、監視部１１は、各種状態や状況に応じて変化する動的情報を収集し、収集した動的情報を設定制御部１２に出力する。
　設定制御部１２は、情報処理装置１０の動作状況に応じて、入力部２３の動作に関する設定や、当該情報処理装置１０内の各種処理の動作に関する設定を制御するための構成である。
　具体的には、設定制御部１２は、実行中のアプリケーションに対応する静的情報を記憶部３１から読み出し、読み出した当該静的情報に基づき、アプリケーションの実行に伴い動作する各種処理間の優先度を決定する。なお、当該各種処理には、アプリケーションの実行に伴い動作する認識処理（即ち、機能の実現のために利用される認識処理）も含まれ得る。また、設定制御部１２は、各種状態や状況に応じて変化する動的情報の収集結果を監視部１１から取得する。そして、設定制御部１２は、監視部１１から取得した動的情報と、静的情報に基づき決定した各種処理間の優先度とに基づき、各種処理が動作するための設定を更新する。
　具体的な一例として、設定制御部１２は、情報処理装置１０全体の処理負荷が高く、計算機資源に余裕がないと認識した場合には、動作中の認識処理のうち、より優先度の低い認識処理の認識精度を低下させるように、認識処理管理部１３に指示する。これにより、当該認識処理の処理量が低下するため、当該認識処理に使用されていた計算機資源の少なくとも一部が開放される。なお、このとき設定制御部１２は、解放される計算機資源が、より優先度の高い他の処理（例えば、他の認識処理）に割り当てられるように、当該処理が動作するための設定を更新してもよい。この場合には、設定制御部１２は、入力部２３、認識処理管理部１３、アプリケーション管理部１４、出力デバイス管理部１５、及び計算機資源管理部１６のうち、対応する処理の動作に関する設定を管理する構成に対して、当該設定の更新を指示すればよい。
　なお、設定制御部１２による、各種処理が動作するための設定の更新に係る処理の詳細については、具体的な例とあわせて別途後述する。また、情報処理装置１０の各構成のうち、静的情報及び動的情報に基づき各処理の動作を制御する構成、即ち、設定制御部１２と、当該設定制御部１２により更新された設定に基づき各種動作を制御する構成とが、「制御部」の一例に相当する。なお、設定制御部１２により更新された設定に基づき各種動作を制御する構成は、例えば、入力部２３、認識処理管理部１３、アプリケーション管理部１４、出力デバイス管理部１５、及び計算機資源管理部１６が相当し得る。
　出力デバイス管理部１５は、出力部２５の動作の制御や、当該出力部２５の動作に関する設定を管理するための構成である。より具体的な構成の一例として、出力デバイス管理部１５は、表示制御部１５１や、音響制御部１５３を含んでもよい。
　表示制御部１５１は、表示部２５１の動作を制御するための構成である。表示制御部１５１は、各種アプリケーションから表示対象となる表示情報を取得し、取得した表示情報を表示部２５１に表示させる。また、表示制御部１５１は、設定制御部１２からの指示に基づき、表示部２５１への表示情報の表示に関する設定を更新してもよい。当該設定の一例としては、例えば、解像度、色数、アップコンバート等の各種画像処理の有無、許容される遅延量等が挙げられる。
　音響制御部１５３は、音響出力部２５３の動作を制御するための構成である。音響制御部１５３は、各種アプリケーションから出力対象となる音響情報（例えば、音声や音楽等）を取得し、取得した音響情報を音響出力部２５３に出力させる。また、音響制御部１５３は、設定制御部１２からの指示に基づき、音響出力部２５３への音響情報の出力に関する設定を更新してもよい。当該設定の一例としては、例えば、量子化ビット数、周波数帯域、チャンネル数、アップコンバート等の各種音響処理の有無、許容される遅延量等が挙げられる。
　なお、出力デバイス管理部１５は、出力先となるデバイス（例えば、表示部２５１や音響出力部２５３）の候補が複数存在する場合には、例えば、アプリケーションから指示されたデバイスに、出力対象となる情報を出力させてもよい。また、他の一例として、出力デバイス管理部１５は、出力先に関する設定によりあらかじめ指定されたデバイスに、出力対象となる情報を出力させてもよい。
　以上、図３を参照して、本実施形態に係る情報処理システム１の機能構成の一例について、特に、情報処理装置１０の機構構成に着目して説明した。なお、図３を参照して説明した例はあくまで一例であり、上記に説明した各機能を実現可能であれば、情報処理システム１の機能構成は、必ずしも図３に示す例には限定されない。具体的な一例として、検知部２１、入力部２３、出力部２５、記憶部３１のうち、少なくとも一部の構成が、情報処理装置１０内に設けられていてもよい。また、他の一例として、情報処理装置１０の各構成のうち、少なくとも一部の構成が、外部装置（例えば、情報処理装置１０と連携して動作する他の装置や、ネットワークを介して接続されたサーバ等）に設けられていてもよい。
　＜３．処理＞
　次に、図５を参照して、本実施形態に係る情報処理装置１０の一連の処理の流れの一例について説明する。図５は、本実施形態に係る情報処理装置１０の一連の処理の流れの一例について示したフローチャートである。
　（ステップＳ２０１）
　まず、情報処理装置１０は、起動すると、まずデフォルトの設定に基づき動作を開始する。より具体的な一例として、情報処理装置１０の認識処理管理部１３は、各認識処理（例えば、図３に示しいた認識処理Ａ～Ｃ）を、デフォルトの設定に基づき動作させる。
　（ステップＳ２０３）
　次いで、情報処理装置１０の監視部１１は、各種状態や状況に応じて変化する情報（即ち、動的情報）を、例えば、検知部２１、入力部２３、アプリケーション管理部１４、及び計算機資源管理部１６の各構成から収集する。そして、監視部１１は、収集した動的情報を設定制御部１２に出力する。
　（ステップＳ３００）
　設定制御部１２は、実行中のアプリケーションに対応する静的情報と、監視部１１により収集された動的情報とに基づき、情報処理装置１０内の各種処理の動作に関する設定の内容を決定する。ここで、図６を参照して、設定制御部１２による、各種処理の動作に関する設定の内容を決定する処理の流れの一例について説明する。図６は、本実施形態に係る情報処理装置１０による、各種処理の動作に関する設定の内容を決定する処理の流れの一例について示したフローチャートである。
　（ステップＳ３０１、Ｓ３０３）
　設定制御部１２は、まず、実行中の機能（アプリケーション）に対応する静的情報を記憶部３１から読み出す（Ｓ３０３）。設定制御部１２は、読み出した当該静的情報に基づき、アプリケーションの実行に伴い動作する各種処理間の優先度を決定する（Ｓ３０３）。なお、当該各種処理には、アプリケーションの実行に伴い動作する認識処理も含まれ得る。
　（ステップＳ３０５）
　また、設定制御部１２は、各種状態や状況に応じて変化する動的情報の収集結果を監視部１１から取得する。設定制御部１２は、取得した動的情報に基づき、例えば、情報処理装置１０内における計算機資源の使用状況等のような、当該情報処理装置１０の動作状況を認識する。
　（ステップＳ３０７）
　設定制御部１２は、静的情報に基づき決定した各種処理間の優先度に応じて、当該各種処理のそれぞれに対して計算機資源が割り当てられているか否かを、取得した動的情報に基づき判定する。
　（ステップＳ３０９）
　各種処理間の優先度に応じて計算機資源が割り当てられている場合には（Ｓ３０７、ＹＥＳ）、設定制御部１２は、取得した動的情報に基づき、情報処理装置１０内における計算機資源の総使用量が所定の範囲内か否かを判定する。なお、情報処理装置１０内における計算機資源の総使用量が所定の範囲内の場合には（Ｓ３０９、ＹＥＳ）、設定制御部１２は、設定内容の更新は行わなくてもよい。
　一方で、各種処理間の優先度に応じて計算機資源が割り当てられていない場合（Ｓ３０７、ＮＯ）や、情報処理装置１０内における計算機資源の総使用量が所定の範囲内ではない場合（Ｓ３０９、ＮＯ）には、設定制御部１２は、情報処理装置１０の動作状況に応じて各種処理の動作に関する設定を更新する。
　（ステップＳ３１３）
　例えば、計算機資源に余裕がある場合には（Ｓ３１１、ＹＥＳ）、設定制御部１２は、アプリケーションの実行に伴い動作する各種処理のうち、より優先度の高い処理に対して計算機資源がさらに割り当てられるように設定内容を更新する。より具体的な一例として、設定制御部１２は、優先度の高い認識処理の認識精度を向上させるように、当該認識処理の設定内容を更新してもよい。これにより、当該認識処理に対して、余剰分の計算機資源を割り当てて認識精度を向上させることが可能となり、ひいては、当該認識処理の認識精度の向上や、当該認識処理の遅延を短縮することが可能となる。
　一方で、ある認識精度を超えると、認識精度がより向上するように設定したとしても、認識率の向上や遅延の短縮等のような、当該認識精度の向上に伴う効果が得られなくなる、または、得られる効果が小さくなる場合がある。そのため、各種認識処理の認識精度に対して上限値が設けられていてもよい。このような場合には、設定制御部１２は、対象となる認識処理に対して設定された上限値を超えない範囲で、当該認識処理の認識精度がより向上するように、当該認識処理の設定内容を更新してもよい。
　（ステップＳ３１５）
　また、計算機資源に余裕がない場合には（Ｓ３１１、ＮＯ）、設定制御部１２は、一部の処理の動作を制限することで計算機資源を確保する。
　（ステップＳ３１７）
　例えば、優先度のより低い認識処理の認識精度を下げることが可能な場合には（Ｓ３１５、ＹＥＳ）、設定制御部１２は、当該認識処理の認識精度を低下させるように（換言すると、制限されるように）、当該認識処理の設定内容を更新する。これにより、当該認識処理の処理量が低下するため、当該処理量の低下分に相当する計算機資源を確保することが可能となる。なお、認識精度を下げることが困難な状況としては、例えば、対象となる認識処理の認識率が、当該認識処理の認識結果を利用するアプリケーションが許容する認識率を下回るような状況が挙げられる。即ち、各認識処理における認識精度の下限値については、当該認識処理による認識結果を利用するアプリケーションごとに、当該アプリケーションにおいて許容される認識精度に応じて、あらかじめ設定しておくとよい。
　（ステップＳ３１９）
　また、優先度のより低い認識処理の認識精度を下げることが困難な場合には（Ｓ３１１、ＮＯ）、設定制御部１２は、優先度のより高い他の認識処理の認識精度を低下させるように、当該他の認識処理の設定内容を更新する。これにより、優先度の高い認識処理の認識率が低下する場合があるが、システム全体としての処理が破綻するといった事態の発生を防止することが可能となる。
　以上のようにして、設定制御部１２は、実行中のアプリケーションに対応する静的情報と、監視部１１により収集された動的情報とに基づき、情報処理装置１０内の各種処理の動作に関する設定の内容を決定する。
　（ステップＳ２０５、Ｓ２０７）
　ここで、改めて図５を参照して、以降の処理について説明する。設定制御部１２は、決定した設定内容に応じて、入力部２３、認識処理管理部１３、アプリケーション管理部１４、出力デバイス管理部１５、及び計算機資源管理部１６のうち、対応する処理の動作に関する設定を管理する構成に対して、設定の更新を指示する。
　（ステップＳ２０７）
　設定制御部１２から設定の更新を指示された構成は、当該指示内容に応じて、対応する処理の動作に関する設定を更新する。具体的な一例として、認識処理管理部１３は、設定制御部１２からの指示に基づき、管理対象となる各種認識処理のうち、指示された認識処理の動作に関する設定（例えば、サンプリングレートや許容される遅延量等）を更新する。また、他の一例として、計算機資源管理部１６は、設定制御部１２からの指示に基づき、各種機能に対する計算機資源の割り当てを制御する。これにより、設定更新の対象となる処理は、更新後の設定内容に基づき動作することとなる。
　（ステップＳ２０９）
　そして、情報処理装置１０は、一連の処理の終了が指示されるまで（Ｓ２０９、ＮＯ）、上記に説明した各処理を逐次実行する。なお、このときアプリケーションが実行されることで動作する各種処理の設定内容が変更されることで、情報処理装置１０全体の動作状況（例えば、計算機資源の総使用量等）も変化する。そのため、以降は、当該動作状況に応じた動的情報が監視部１１により収集され、当該動的情報に基づき、設定制御部１２が、必要に応じて各種処理の動作に関する設定内容を更新することとなる。以上のような処理が逐次実行されることで、情報処理装置１０は、動作状況に応じて動的に、より好適な態様で計算機資源が各種処理に割り当てられるように制御することが可能となる。そして、一連の処理の終了が指示されると（Ｓ２０９、ＹＥＳ）、情報処理装置１０は、上述した動的情報の収集や設定内容の更新に係る一連の処理を終了する。
　以上、図５及び図６を参照して、本実施形態に係る情報処理装置１０の一連動作の流れの一例について説明した。
　＜４．実施例＞
　次に、本実施形態の実施例として、情報処理装置１０が動作状況に応じて設定内容を更新する処理の一例について、以下に、具体的な例とあわせてより詳細に説明する。
　［４．１．実施例１：負荷バランスの制御］
　まず、実施例１として、本実施形態に係る情報処理システムが、図１に示すような、会議記録システムとして構成されている場合を例に、情報処理装置１０が、動作状況に応じて各種設定内容を更新することで、動作中の各種処理間の負荷バランスを制御する場合の一例について説明する。
　なお、本説明では、会議記録のためのアプリケーション１は、顔認識技術に基づく画像認識処理Ａによりユーザを認識し、集音部２３５の指向性が認識したユーザの方向を向くように制御するものとする（以降では、同処理を「指向性制御処理」と称する）。また、アプリケーション１は、画像認識処理Ｂにより、ユーザの腕等によるジェスチャを認識することで、当該ユーザの指示内容を認識可能に構成されているものとする。また、アプリケーション１は、表示部２５１に対して、記録状況を示す表示情報を表示可能に構成されているものとする（以降では、同処理を「表示処理」と称する）。
　なお、アプリケーション１に対応する静的情報では、「指向性制御処理」及び「画像認識処理Ａ」の優先度がより高くなるように設定されており、「画像認識処理Ｂ」及び「表示処理」については、優先度がより低くなるように設定されているものとする。
　上記に説明した前提のもと、例えば、情報処理装置１０において、ＣＰＵの使用率が９９％となったものとする。この場合には、情報処理装置１０は、計算機資源に関する動的情報の収集結果に基づき、計算機資源の総使用量に余裕がないものと判断する。
　このとき、情報処理装置１０は、例えば、実行中のアプリケーション１の静的情報に基づき、「画像認識処理Ｂ」の優先度がより低いことを認識し、「画像認識処理Ｂ」の認識精度（即ち、ジェスチャの認識精度）を下げることで計算機資源を確保してもよい。また、他の一例として、情報処理装置１０は、「表示処理」の優先度がより低いことを認識し、「表示処理」における解像度やフレームレートを制限することで計算機資源を確保してもよい。
　なお、設定内容を更新すると、情報処理装置１０は、更新後の各処理の動作に基づき変化した計算機資源の使用状況を確認し、依然として計算機資源の総使用量に余裕がない場合には、改めて一部の処理（例えば、優先度の低い他の処理）の動作を制限することで、計算機資源を確保する。
　また、情報処理装置１０は、優先度の低い処理の動作を制限することで計算機資源の総使用量に余裕ができたことを認識した場合には、「画像認識処理Ａ」や「指向性制御処理」のように、優先度のより高い処理に余剰分の計算機資源を割り当ててもよい。より具体的な一例として、情報処理装置１０は、「画像認識処理Ａ」の認識精度がより向上するように、当該「画像認識処理Ａ」の動作に関する設定を変更してもよい。これにより、余剰分の計算機資源を、「画像認識処理Ａ」に割り当てることが可能となる。
　情報処理装置１０は、以上のような制御を逐次繰り返すことで、動作状況（特に、各種アプリケーションの動作状況）に応じて、より優先度の高い処理に対してより多くの計算機資源が割り当てられるように、限られた計算機資源を効率的に利用することが可能となる。即ち、本実施形態に係る情報処理装置１０に依れば、アプリケーションの実行に伴い動作する各種処理（例えば、認識処理等）を、状況に応じてより好適な態様で動作させることが可能となる。
　以上、実施例１として、本実施形態に係る情報処理装置１０が、動作状況に応じて各種設定内容を更新することで、動作中の各種処理間の負荷バランスを制御する場合の一例について説明した。
　［４．２．実施例２：設定内容の更新に係る処理の例］
　次に、実施例２として、情報処理装置１０が、動作状況に応じて設定内容を更新する処理の一例について、当該動作状況の具体的な例とあわせて以下に説明する。
　（温度の変化に応じた制御）
　情報処理装置１０は、ＣＰＵ温度が閾値よりも高い場合には、ＣＰＵの使用率がより低くなるように、動作中の各種処理のうち少なくとも一部の処理の動作を制限してもよい。この場合には、例えば、情報処理装置１０は、計算機資源に余裕があるか否かを判定するための閾値を、ＣＰＵ温度の検出結果に応じて変更すればよい。より具体的な一例として、情報処理装置１０は、ＣＰＵ温度がより高い状況下では、計算機資源に余裕があるか否かを判定するための閾値を下げることで、計算機資源の総使用量がより低下するように制御してもよい。このような制御のもと、情報処理装置１０は、計算機資源の総使用量が変更後の閾値を下回るように各種処理の動作を制限し、ひいてはＣＰＵ温度を低下させることが可能となる。
　また、周囲の環境の温度（気温）の変化は、ＣＰＵ等のように発熱量の多いデバイスや、温度変化の影響を受けやすいデバイスの動作に影響を与える場合がある。そのため、情報処理装置１０は、周囲の環境の温度（気温）の検知結果に応じて、計算機資源に余裕があるか否かを判定するための閾値を変更してもよい。より具体的な一例として、情報処理装置１０は、周囲の環境の温度（気温）が高い場合には、計算機資源に余裕があるか否かを判定するための閾値を下げることで、計算機資源の総使用量がより低下するように制御してもよい。
　（動作モードに応じた制御）
　また、情報処理装置１０は、省電力モード等の動作モードの設定に応じて、動作中の各種処理のうち少なくとも一部の処理の動作を制限してもよい。例えば、情報処理装置１０は、省電力モードが設定された場合には、ＣＰＵやディスプレイ等のように、より多くの電力を消費し得るデバイスや機能に関する計算機資源の利用を制限してもよい。
　また、処理負荷の観点であらかじめプリセットを設けておくことで、情報処理装置１０は、ユーザにより指定されたプリセットに応じて、各種処理への計算機資源の割り当てを制御してもよい。より具体的には、例えば、「精度優先」、「処理量軽減優先」、「推奨設定」等の動作モードを設け、当該動作モードごとにプリセットを関連付けておくとよい。例えば、「精度優先」のモードに対応するプリセットでは、計算機資源がより多く使用することで各種処理の精度が向上するように、計算機資源の利用状況の判定に関する基準（例えば、閾値）を設定してもよい。また、他の一例として、「処理量軽減優先」のモードに対応するプリセットでは、各種処理への計算機資源の割り当てを最低限に留め、計算機資源の総使用量がより低下するように、当該計算機資源の利用状況の判定に関する基準（例えば、閾値）を設定してもよい。
　また、上記ではアプリケーションごとに、各認識処理間の優先度が決定される例について説明したが、実行中のアプリケーションに関わらず、各認識処理間の優先度が直接設定できてもよい。より具体的な一例として、「音声認識精度優先」、「画像認識精度優先」、「顔認識精度優先」、「人物特定優先」等の動作モードを設け、情報処理装置１０は、設定された動作モードに応じて、各種認識処理間の優先度を決定してもよい。この場合には、例えば、動作モードごとに静的情報をあらかじめ生成しておき、当該静的情報を記憶部３１に記憶させておいてもよい。
　（照度の変化に応じた制御）
　また、情報処理装置１０は、外部環境の変化に応じて、各種処理の動作に関する設定内容を更新してもよい。例えば、画像認識処理においては、周囲の環境の照度が、対象の認識精度に影響する場合が想定され得る。そのため、情報処理装置１０は、照度の検知結果に応じて、各種認識処理に対して割り当てる計算機資源を制御してもよい。
　より具体的な一例として、撮像部により撮像された画像（より具体的には、可視光領域の光の検出結果に基づく画像）に基づき画像認識処理を実行する場合には、周囲の環境の照度が低いと、対象を認識しにくくなる場合がある。そのため、情報処理装置１０は、照度の検知結果が閾値よりも高い場合には、画像認識処理の認識精度がより向上するように、当該画像認識処理を含む各認識処理の動作に関する設定を更新してもよい。
　また、他の一例として、赤外線撮像部により撮像された所謂ＩＲ画像に基づき画像認識処理を実行する場合には、周囲の環境の照度が高いと、対象を認識しにくくなる場合がある。そのため、情報処理装置１０は、照度の検知結果が閾値よりも高い場合には、ＩＲ画像に基づく画像認識処理の認識精度がより向上するように、当該画像認識処理を含む各認識処理の動作に関する設定を更新してもよい。
　（環境音（騒音）の大きさに応じた制御）
　また、他の一例として、音声認識処理においては、環境音（雑音）の大きさが、対象の認識精度に影響する場合が想定され得る。そのため、情報処理装置１０は、環境音の検知結果に応じて、各種認識処理に対して割り当てる計算機資源を制御してもよい。より具体的な一例として、情報処理装置１０は、環境音の検知結果が閾値よりも高い場合（例えば、環境音のボリュームが閾値よりも高い場合）には、音声認識処理の認識精度がより向上するように、当該音声認識処理を含む各認識処理の動作に関する設定を更新してもよい。
　（認識の成否に応じた制御）
　また、情報処理装置１０は、各種認識処理における認識の成否に応じて、各種認識処理の動作に関する設定内容を更新してもよい。より具体的には、認識処理の認識精度を制限することにより、当該認識処理の認識率が、当該認識処理を利用する機能（アプリケーション）が要求する認識率よりも低下する場合が想定され得る。また、各認識処理の認識率は、外部環境の状態に応じて変化する場合もあり、ある環境下では高い認識率を維持できたとしても、他の環境下においては、同様の認識率を維持することが困難な場合もある。このような場合には、例えば、情報処理装置１０は、各認識処理における認識の成否に応じて、当該認識処理における認識精度の下限値を変更してもよい。即ち、情報処理装置１０は、ある認識処理の認識率が低下し得る環境下では、当該認識処理の認識精度の下限値がより高くなるように変更することで、当該認識処理の認識率の低下を防止してもよい。
　以上、実施例２として、情報処理装置１０が、動作状況に応じて設定内容を更新する処理の一例について、当該動作状況の具体的な例とあわせて説明した。
　［４．３．実施例３：処理フェーズに応じた制御の例］
　次に、本開示の実施例３について説明する。上述した例では、アプリケーションの実行に応じて動作する各処理間の優先度が、当該アプリケーションごとに設定されている場合の一例、即ち、アプリケーションごとに静的情報が設けられている例について説明した。一方で、アプリケーションが複数の処理フェーズを含む場合には、処理フェーズごとに各処理間の優先度が異なる場合がある。そこで、実施例３では、処理フェーズごとに各処理間の優先度を設定し、当該処理フェーズごとの優先度に応じて、各処理の動作に関する設定を制御する場合の一例について説明する。
　例えば、ユーザが腕などを用いたジェスチャにより情報処理装置１０を操作するような状況下（即ち、ジェスチャ入力を受け付ける処理フェーズ）では、当該ジェスチャを認識するための画像認識処理の優先度がより高くなる場合がある。これに対して、ユーザがジェスチャにより情報処理装置１０を操作していない状況下（即ち、ジェスチャ入力を受け付けていない処理フェーズ）では、当該ジェスチャを認識するための画像認識処理の優先度は低くなる場合がある。
　このような場合には、複数の処理フェーズを含むアプリケーションについては、例えば、対応する静的情報に対して、処理フェーズごとに、当該アプリケーションの実行により動作する各処理間の優先度を設定しておくとよい。
　また、情報処理装置１０の監視部１１は、実行中のアプリケーションの処理フェーズが変化した場合には、変化後の処理フェーズを示す情報をアプリケーション管理部１４から取得し、取得した当該情報を設定制御部１２に通知するとよい。これにより、設定制御部１２は、動作中のアプリケーションの処理フェーズが変化した場合に、変化後の処理フェーズを認識することが可能となる。
　そして、設定制御部１２は、当該アプリケーションに対応する静的情報中の変化後の処理フェーズに対応する部分の内容に基づき、各処理間の優先度を決定すればよい。なお、以降の処理については、前述した実施形態に係る情報処理装置１０と同様である。以上のような制御により、情報処理装置１０は、実行中のアプリケーションの処理フェーズが変化した場合においても、変化後の処理フェーズに応じて、より好適な態様で各処理（例えば、認識処理）の動作を制御することが可能となる。
　以上、実施例３として、処理フェーズごとに各処理間の優先度を設定し、当該処理フェーズごとの優先度に応じて、各処理の動作に関する設定を制御する場合の一例について説明した。なお、上記に説明した例はあくまで一例であり、情報処理装置１０が設定を更新する契機や、当該設定を管理する単位は特に限定されない。具体的な一例として、情報処理装置１０は、システム全体として、各種認識処理等を含む複数の処理間に優先度を設定してもよい。この場合には、例えば、情報処理装置１０は、実行中のアプリケーションに対して、各種処理間の優先度が設定されていない場合には、システム全体として設定した優先度を適用してもよい。
　［４．４．実施例４：認識処理以外の他の処理を制御対象とする場合の例］
　実施例１では、主に、認識処理の認識精度を制御することで、アプリケーションの実行に応じて動作する各処理間の負荷バランスを制御する例について説明した。実施例４では、認識処理以外の他の処理を制御対象とすることで、アプリケーションの実行に応じて動作する各処理間の負荷バランスを制御する場合の例について、情報処理装置１０が、動画コンテンツを再生可能に構成された再生装置として構成されている場合を例に説明する。
　なお、本説明では、動画コンテンツを再生するためのアプリケーション２は、再生対象となる動画コンテンツの解像度を、例えば、「４Ｋ　ＵＨＤ（３８４０×２１６０）」や「８Ｋ　ＵＨＤ（７６８０×４３２０）」にアップコンバートして出力するものとする（以降では、同処理を「表示制御処理」と称する）。また、アプリケーション２は、画像認識処理により、ユーザの腕等によるジェスチャを認識することで、「早送り」や「音量調整」等のような動画コンテンツの再生に係る操作内容を認識可能に構成されているものとする。
　このような情報処理装置１０においては、例えば、高品質の動画を出力することが重要であり、ジェスチャ入力の精度向上や遅延量を低下させることは、高品質の動画を出力することよりも重要度が低い。そのため、アプリケーション２に対応する静的情報では、「表示制御処理」の優先度がより高くなるように設定されており、ジェスチャを認識するための「画像認識処理」については、優先度がより低くなるように設定されている。
　上記に説明した前提のもと、情報処理装置１０は、計算機資源が不足するような状況下では、動画コンテンツの再生に影響が出ないように、まず、優先度の低い、ジェスチャを認識するための「画像認識処理」の認識精度を低下させることで、計算機資源の確保を試みる。
　また、「画像認識処理」の認識精度を下限値に設定しても、依然として計算機資源が不足している場合には、情報処理装置１０は、「表示制御処理」の動作の少なくとも一部を制限することで計算機資源を確保する。より具体的な一例として、情報処理装置１０は、アップコンバート処理が、より処理量の小さいアルゴリズムを利用した処理に切り替わるように、「表示制御処理」の動作に関する設定内容を更新することで、計算機資源を確保する。
　もちろん上記に説明した例はあくまで一例であり、制御対象となる認識処理以外の他の処理は、必ずしも上記に説明したような「表示制御処理」には限定されず、その制御内容についても限定されないことは言うまでもない。
　以上、実施例４として、認識処理以外の他の処理を制御対象とすることで、アプリケーションの実行に応じて動作する各処理間の負荷バランスを制御する場合の例について説明した。
　［４．５．実施例５：適用例］
　次に、実施例５として、本実施位形態に係る情報処理システム１の適用例について説明する。
　例えば、本実施形態に係る情報処理システム１は、所謂車載システムに適用することも可能である。このような場合には、例えば、情報処理装置１０は、各種センサにより検知された車の走行状況を示す情報や、搭乗者の状態や状況示す情報を動的情報として取得し、取得した動的情報に応じて、認識処理を含む複数の処理間の優先度を制御してもよい。
　なお、本説明では、地図などの各種情報を確認するためのアプリケーション３は、画像認識処理により、ユーザの指等によるジェスチャを認識することで、当該ユーザの指示内容を認識可能に構成されているものとする。また、当該アプリケーション３は、音声認識処理により、ユーザが音声により指示した内容を認識可能に構成されているものとする。
　上記に説明した前提のもと、例えば、車が走行していない状態（非走行状態）では、ユーザは、指等を用いたジェスチャ入力により情報処理装置１０を操作し、地図等の各種情報を確認する場合が想定され得る。このような状況下では、例えば、情報処理装置１０は、ジェスチャを認識するための画像認識処理の認識精度の向上や遅延の短縮を図ることで、複雑なジェスチャ入力を可能としたり、当該ジェスチャ入力対するレスポンスを向上させてもよい。また、このとき情報処理装置１０は、音声認識処理の認識精度を低下させることで、画像認識処理の認識精度を向上させるための計算機資源を確保してもよい。
　また、他の一例として、車が走行している状態（走行状態）では、運転手が、ジェスチャ入力のようにディスプレイの確認を伴う操作が行われることは好ましくない。このような状況下では、例えば、情報処理装置１０は、画像認識処理の認識精度を低下させて、単純なジェスチャ入力のみを認識可能としてもよい。また、このとき情報処理装置１０は、画像認識処理の認識精度の低下により確保される計算機資源を音声認識処理に割り当てることで、当該音声認識処理の認識精度を向上させてもよい。
　以上、実施例５として、本実施形態に係る情報処理システム１を、車載システムに適用した場合の一例について説明した。なお、上記に説明した適用例はあくまで一例であり、本実施形態に係る情報処理システム１の適用範囲を限定するものではない。具体的な一例として、本実施形態に係る情報処理システム１は、所謂スマートホームと呼ばれる、各種家電等のような住宅内の各種機器がホームネットワークを介して接続されたシステムに適用してもよい。この場合には、情報処理装置１０による動作制御の対象となるデバイスは、テレビ受像機、動画像等のレコーダ、各種オーディオ機器、プロジェクタ（短焦点プロジェクタ等）、照明器具等、住宅内に設置可能な機器が挙げられる。また、これらの機器が、ジェスチャ入力、音声認識、視線認識、顔認識等の各種技術に基づき操作可能な場合には、これらの操作を実現するための各種認識処理（例えば、画像認識処理や音声認識処理）も、情報処理装置１０による動作制御の対象となり得る。
　＜５．ハードウェア構成＞
　次に、図７を参照して、本開示の一実施形態に係る情報処理装置１０のハードウェア構成の一例について説明する。図７は、本開示の一実施形態に係る情報処理装置１０のハードウェア構成の一例を示した図である。
　図７に示すように、本実施形態に係る情報処理装置１０は、プロセッサ９０１と、メモリ９０３と、ストレージ９０５と、操作デバイス９０７と、報知デバイス９０９と、検知デバイス９１１と、通信デバイス９１５と、集音デバイス９１７と、バス９１９とを含む。また、情報処理装置１０は、撮像デバイス９１３を含んでもよい。
　プロセッサ９０１は、例えばＣＰＵ（Central　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）、ＤＳＰ（Digital　Signal　Processor）又はＳｏＣ（System　on　Chip）であってよく、情報処理装置１０の様々な処理を実行する。プロセッサ９０１は、例えば、各種演算処理を実行するための電子回路により構成することが可能である。なお、前述した監視部１１、設定制御部１２、認識処理管理部１３、アプリケーション管理部１４、出力デバイス管理部１５、及び計算機資源管理部１６は、プロセッサ９０１により実現され得る。
　メモリ９０３は、ＲＡＭ（Random　Access　Memory）及びＲＯＭ（Read　Only　Memory）を含み、プロセッサ９０１により実行されるプログラム及びデータを記憶する。ストレージ９０５は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。例えば、前述した記憶部３１は、メモリ９０３及びストレージ９０５の少なくともいずれか、もしくは、双方の組み合わせにより実現され得る。
　操作デバイス９０７は、ユーザが所望の操作を行うための入力信号を生成する機能を有する。操作デバイス９０７は、例えば、タッチパネルとして構成され得る。また、他の一例として、操作デバイス９０７は、例えばボタン、スイッチ、及びキーボードなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、プロセッサ９０１に供給する入力制御回路などから構成されてよい。なお、前述した入力部２３のうち少なくとも一部の構成が、操作デバイス９０７により実現されていてもよい。
　報知デバイス９０９は、出力デバイスの一例であり、例えば、液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）装置、有機ＥＬ（ＯＬＥＤ：Organic　Light　Emitting　Diode）ディスプレイなどのデバイスであってよい。この場合には、報知デバイス９０９は、画面を表示することにより、ユーザに対して所定の情報を報知することができる。また、報知デバイス９０９は、スピーカ等のように、所定の音響信号を出力することで、所定の情報をユーザに報知するデバイスであってもよい。
　なお、上記に示した報知デバイス９０９の例はあくまで一例であり、ユーザに対して所定の情報を報知可能であれば、報知デバイス９０９の態様は特に限定されない。具体的な一例として、報知デバイス９０９は、ＬＥＤ（Light　Emitting　Diode）のように、点灯又は点滅のパターンにより、所定の情報をユーザに報知するデバイスであってもよい。なお、前述した出力部２５は、報知デバイス９０９により実現され得る。
　検知デバイス９１１は、各種状態を検知するためのデバイスである。検知デバイス９１１は、例えば、タッチセンサ、圧力センサ、照度センサ、湿度センサ等のような各種状態を検知するためのセンサにより構成され得る。また、検知デバイス９１１は、静電センサ等のように、所定の対象の接触や近接を検知するためのセンサにより構成されていてもよい。また、検知デバイス９１１は、加速度センサや角速度センサ等のように、所定の筐体の位置や向きの変化を検出するためのセンサにより構成されていてもよい。また、検知デバイス９１１は、所謂光学センサ等のように、所定の対象を検知するためのセンサにより構成されていてもよい。また、検知デバイス９１１は、所謂照度センサや温度センサ等のように、外部環境の状態を検知するためのセンサにより構成されていてもよい。なお、前述した検知部２１のうち少なくとも一部の構成は、検知デバイス９１１により実現され得る。
　撮像デバイス９１３は、ＣＭＯＳ（Complementary　Metal-Oxide　Semiconductor）イメージセンサやＣＣＤ（Charge　Coupled　Device）イメージセンサ等の、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子を含む。即ち、撮像デバイス９１３は、プロセッサ９０１の制御に従い、レンズ等の光学系を介して静止画像又は動画像を撮影する機能を有する。撮像デバイス９１３は、撮像した画像をメモリ９０３やストレージ９０５に記憶させてもよい。なお、前述した撮像部２３１や赤外線撮像部２３３は、撮像デバイス９１３により実現され得る。
　集音デバイス９１７は、マイクロフォン等のような、ユーザから発せられた音声や周囲の環境の音響を集音し、音響情報（音響信号）として取得するためのデバイスである。また、集音デバイス９１７は、集音された音声や音響を示すアナログの音響信号を示すデータを音響情報として取得してもよいし、当該アナログの音響信号をデジタルの音響信号に変換し、変換後のデジタルの音響信号を示すデータを音響情報として取得してもよい。なお、なお、前述した集音部２３５は、集音デバイス９１７により実現され得る。
　通信デバイス９１５は、情報処理装置１０が備える通信手段であり、ネットワークを介して外部装置と通信する。通信デバイス９１５は、有線または無線用の通信インタフェースである。通信デバイス９１５を、無線通信インタフェースとして構成する場合には、当該通信デバイス９１５は、通信アンテナ、ＲＦ（Radio　Frequency）回路、ベースバンドプロセッサなどを含んでもよい。
　通信デバイス９１５は、外部装置から受信した信号に各種の信号処理を行う機能を有し、受信したアナログ信号から生成したデジタル信号をプロセッサ９０１に供給することが可能である。
　バス９１９は、プロセッサ９０１、メモリ９０３、ストレージ９０５、操作デバイス９０７、報知デバイス９０９、検知デバイス９１１、及び通信デバイス９１５を相互に接続する。バス９１９は、複数の種類のバスを含んでもよい。
　また、コンピュータに内蔵されるプロセッサ、メモリ、及びストレージなどのハードウェアを、上記した情報処理装置１０が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、当該プログラムを記録した、コンピュータに読み取り可能な記憶媒体も提供され得る。
　＜６．まとめ＞
　以上説明したように、本実施形態に係る情報処理装置１０は、実行中の機能（アプリケーション）に応じて認識処理を含む複数の処理間において優先度を設定し、当該優先度と、当該複数の処理が動作する状況の認識結果とに応じて、当該複数の処理のうち少なくともいずれの処理の動作を制御する。このような構成に基づき、情報処理装置１０は、例えば、動作状況に応じて、より優先度の低い処理の動作を制限することで計算機資源を確保し、確保した当該計算機資源をより優先度の高い処理に割り当てる。これにより、本実施形態に係る情報処理装置１０は、認識処理を含む複数の処理が動作する状況下においても、当該情報処理装置１０全体の動作を破綻させることなく、限られた計算機資源をより優先度の高い処理に割り当てることが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　所定の認識処理が実行される状況に応じて変化する第１の情報を取得する取得部と、
　所定の第２の情報に基づきあらかじめ設定された、少なくとも前記認識処理を含む複数の処理間の優先度と、取得された前記第１の情報と、に基づき、当該認識処理の動作を制御する制御部と、
　を備える、情報処理装置。
（２）
　前記制御部は、前記第１の情報と前記優先度とに基づき、前記認識処理の処理量を制御する、前記（１）に記載の情報処理装置。
（３）
　前記制御部は、前記第１の情報と前記優先度とに基づき、前記認識処理のうち、認識精度に関する処理の実行を制限する、前記（２）に記載の情報処理装置。
（４）
　前記認識処理は、入力画像中の所定の対象を認識する画像認識処理であり、
　前記制御部は、前記所定の対象の認識精度に関する処理の実行を制限する、前記（３）に記載の情報処理装置。
（５）
　前記制御部は、前記所定の対象を認識するための前記入力画像の走査回数を制限する、前記（４）に記載の情報処理装置。
（６）
　前記制御部は、前記入力画像の解像度を制限する、前記（４）または（５）に記載の情報処理装置。
（７）
　前記認識処理は、集音された音響中の音声を認識する音声認識処理であり、
　前記制御部は、前記音声の認識精度に関する処理の実行を制限する、前記（３）に記載の情報処理装置。
（８）
　前記制御部は、前記音声を認識するための前記音響のサンプリングレートを制限する、前記（７）に記載の情報処理装置。
（９）
　前記優先度が設定された前記複数の処理には、複数の前記認識処理が含まれ、
　前記制御部は、前記第１の情報と前記優先度とに基づき、複数の前記認識処理の動作を制御する、前記（１）～（８）のいずれか一項に記載の情報処理装置。
（１０）
　前記制御部は、前記第１の情報と前記優先度とに基づき、当該優先度が設定された前記複数の処理のうち、前記認識処理とは異なる少なくとも１つの処理の動作を制御する、前記（１）～（９）のいずれか一項に記載の情報処理装置。
（１１）
　前記取得部は、所定の検知部による外部環境の検知結果を、前記第１の情報として取得する、前記（１）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記取得部は、前記優先度が設定された前記複数の処理を含む一連の処理の動作状況に応じたリソースに関する情報を取得する、前記（１）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記第２の情報は、前記認識処理を利用する機能に応じて設定され、
　前記制御部は、実行される前記機能に応じた前記第２の情報に基づく前記優先度と、前記第１の情報と、に基づき、前記認識処理の動作を制御する、前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　所定の認識処理が実行される状況に応じて変化する第１の情報を取得することと、
　プロセッサが、所定の第２の情報に基づきあらかじめ設定された、少なくとも前記認識処理を含む複数の処理間の優先度と、取得された前記第１の情報と、に基づき、当該認識処理の動作を制御することと、
　を含む、情報処理方法。
（１５）
　コンピュータに、
　所定の認識処理が実行される状況に応じて変化する第１の情報を取得することと、
　所定の第２の情報に基づきあらかじめ設定された、少なくとも前記認識処理を含む複数の処理間の優先度と、取得された前記第１の情報と、に基づき、当該認識処理の動作を制御することと、
　を実行させる、プログラム。
１　　　情報処理システム
１０　　情報処理装置
１１　　監視部
１２　　設定制御部
１３　　認識処理管理部
１４　　アプリケーション管理部
１５　　出力デバイス管理部
１５１　表示制御部
１５３　音響制御部
１６　　計算機資源管理部
１６１　リソース制御部
１６３　メモリリソース制御部
１６５　通信帯域制御部
２１　　検知部
２１１　照度センサ
２１３　温度センサ
２３　　入力部
２３１　撮像部
２３３　赤外線撮像部
２３５　集音部
２５　　出力部
２５１　表示部
２５３　音響出力部
３１　　記憶部

Claims (15)

  1. 　所定の認識処理が実行される状況に応じて変化する第１の情報を取得する取得部と、
    　所定の第２の情報に基づきあらかじめ設定された、少なくとも前記認識処理を含む複数の処理間の優先度と、取得された前記第１の情報と、に基づき、当該認識処理の動作を制御する制御部と、
    　を備える、情報処理装置。
  2. 　前記制御部は、前記第１の情報と前記優先度とに基づき、前記認識処理の処理量を制御する、請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記第１の情報と前記優先度とに基づき、前記認識処理のうち、認識精度に関する処理の実行を制限する、請求項２に記載の情報処理装置。
  4. 　前記認識処理は、入力画像中の所定の対象を認識する画像認識処理であり、
    　前記制御部は、前記所定の対象の認識精度に関する処理の実行を制限する、請求項３に記載の情報処理装置。
  5. 　前記制御部は、前記所定の対象を認識するための前記入力画像の走査回数を制限する、請求項４に記載の情報処理装置。
  6. 　前記制御部は、前記入力画像の解像度を制限する、請求項４に記載の情報処理装置。
  7. 　前記認識処理は、集音された音響中の音声を認識する音声認識処理であり、
    　前記制御部は、前記音声の認識精度に関する処理の実行を制限する、請求項３に記載の情報処理装置。
  8. 　前記制御部は、前記音声を認識するための前記音響のサンプリングレートを制限する、請求項７に記載の情報処理装置。
  9. 　前記優先度が設定された前記複数の処理には、複数の前記認識処理が含まれ、
    　前記制御部は、前記第１の情報と前記優先度とに基づき、複数の前記認識処理の動作を制御する、請求項１に記載の情報処理装置。
  10. 　前記制御部は、前記第１の情報と前記優先度とに基づき、当該優先度が設定された前記複数の処理のうち、前記認識処理とは異なる少なくとも１つの処理の動作を制御する、請求項１に記載の情報処理装置。
  11. 　前記取得部は、所定の検知部による外部環境の検知結果を、前記第１の情報として取得する、請求項１に記載の情報処理装置。
  12. 　前記取得部は、前記優先度が設定された前記複数の処理を含む一連の処理の動作状況に応じたリソースに関する情報を取得する、請求項１に記載の情報処理装置。
  13. 　前記第２の情報は、前記認識処理を利用する機能に応じて設定され、
    　前記制御部は、実行される前記機能に応じた前記第２の情報に基づく前記優先度と、前記第１の情報と、に基づき、前記認識処理の動作を制御する、請求項１に記載の情報処理装置。
  14. 　所定の認識処理が実行される状況に応じて変化する第１の情報を取得することと、
    　プロセッサが、所定の第２の情報に基づきあらかじめ設定された、少なくとも前記認識処理を含む複数の処理間の優先度と、取得された前記第１の情報と、に基づき、当該認識処理の動作を制御することと、
    　を含む、情報処理方法。
  15. 　コンピュータに、
    　所定の認識処理が実行される状況に応じて変化する第１の情報を取得することと、
    　所定の第２の情報に基づきあらかじめ設定された、少なくとも前記認識処理を含む複数の処理間の優先度と、取得された前記第１の情報と、に基づき、当該認識処理の動作を制御することと、
    　を実行させる、プログラム。
PCT/JP2016/061277 2015-06-11 2016-04-06 情報処理装置、情報処理方法、及びプログラム Ceased WO2016199488A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-118202 2015-06-11
JP2015118202 2015-06-11

Publications (1)

Publication Number Publication Date
WO2016199488A1 true WO2016199488A1 (ja) 2016-12-15

Family

ID=57503155

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/061277 Ceased WO2016199488A1 (ja) 2015-06-11 2016-04-06 情報処理装置、情報処理方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2016199488A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014463A (ja) * 1999-06-25 2001-01-19 Toshiba Corp コンピュータシステム、コンピュータシステムの個人認証方法、及び画像処理方法
JP2002158982A (ja) * 2000-11-20 2002-05-31 Canon Inc 画像処理方法、装置及びコンピュータ可読媒体
JP2005219460A (ja) * 2004-02-09 2005-08-18 Canon Inc 画像形成装置および画像形成装置の制御方法およびプログラム
JP2013527947A (ja) * 2010-03-19 2013-07-04 ディジマーク コーポレイション 直観的コンピューティング方法及びシステム
JP2015002553A (ja) * 2013-06-18 2015-01-05 キヤノン株式会社 情報処理システムおよびその制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014463A (ja) * 1999-06-25 2001-01-19 Toshiba Corp コンピュータシステム、コンピュータシステムの個人認証方法、及び画像処理方法
JP2002158982A (ja) * 2000-11-20 2002-05-31 Canon Inc 画像処理方法、装置及びコンピュータ可読媒体
JP2005219460A (ja) * 2004-02-09 2005-08-18 Canon Inc 画像形成装置および画像形成装置の制御方法およびプログラム
JP2013527947A (ja) * 2010-03-19 2013-07-04 ディジマーク コーポレイション 直観的コンピューティング方法及びシステム
JP2015002553A (ja) * 2013-06-18 2015-01-05 キヤノン株式会社 情報処理システムおよびその制御方法

Similar Documents

Publication Publication Date Title
EP4064284B1 (en) Voice detection method, prediction model training method, apparatus, device, and medium
US20220214894A1 (en) Command execution method, apparatus, and device
US20200012418A1 (en) Video encoding method and electronic device adapted thereto
KR102496225B1 (ko) 영상 인코딩 방법 및 이를 지원하는 전자 장치
CN103309437B (zh) 基于摄像机的姿势的缓存机制
CN111405199B (zh) 一种图像拍摄方法和电子设备
CN112866773A (zh) 一种显示设备及多人场景下摄像头追踪方法
CN106227350B (zh) 基于手势进行操作控制的方法及智能设备
US10922846B2 (en) Method, device and system for identifying light spot
CN107205125A (zh) 一种图像处理方法、装置、终端及计算机可读存储介质
WO2017134935A1 (ja) 情報処理装置、情報処理方法、及びプログラム
EP3419020A1 (en) Information processing device, information processing method and program
WO2021078032A1 (zh) 用户界面的显示方法及电子设备
CN113744736B (zh) 命令词识别方法、装置、电子设备及存储介质
US20230244507A1 (en) Method and Apparatus for Processing Interaction Event
CN113885973A (zh) 翻译结果显示方法、装置及电子设备
CN114125143B (zh) 一种语音交互方法及电子设备
CN113391775A (zh) 一种人机交互方法及设备
WO2023061054A1 (zh) 非接触式手势控制方法和电子设备
CN119585694A (zh) Vsync信号的控制方法、电子设备、存储介质及芯片
CN118118778A (zh) 手势感知方法、设备及存储介质
WO2023005844A1 (zh) 设备唤醒方法、相关装置及通信系统
CN111031492B (zh) 呼叫需求响应方法、装置及电子设备
CN115079822B (zh) 隔空手势交互方法、装置、电子芯片及电子设备
KR102160736B1 (ko) 디스플레이 장치 및 디스플레이 장치의 표시 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16807195

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 16807195

Country of ref document: EP

Kind code of ref document: A1