WO2022065074A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2022065074A1
WO2022065074A1 PCT/JP2021/033273 JP2021033273W WO2022065074A1 WO 2022065074 A1 WO2022065074 A1 WO 2022065074A1 JP 2021033273 W JP2021033273 W JP 2021033273W WO 2022065074 A1 WO2022065074 A1 WO 2022065074A1
Authority
WO
WIPO (PCT)
Prior art keywords
temperature
cooking object
cooking
information processing
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/033273
Other languages
English (en)
French (fr)
Inventor
忠義 村上
大三 志賀
純輝 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to US18/042,601 priority Critical patent/US20240027275A1/en
Priority to EP21872205.6A priority patent/EP4220106A4/en
Priority to JP2022551879A priority patent/JP7754099B2/ja
Publication of WO2022065074A1 publication Critical patent/WO2022065074A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0003—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiant heat transfer of samples, e.g. emittance meter
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • A47J36/32—Time-controlled igniting mechanisms or alarm devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00—Stoves or ranges heated by electric energy
    • F24C7/08—Arrangement or mounting of control or safety devices
    • F24C7/082—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F24C7/083—Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on tops, hot plates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/025—Interfacing a pyrometer to an external device or network; User interface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00—Investigating or analyzing materials by the use of thermal means
    • G01N25/18—Investigating or analyzing materials by the use of thermal means by investigating thermal conductivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/08—Thermal analysis or thermal optimisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/17—Mechanical parametric or variational design
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, and more particularly to an information processing device, an information processing method, and a program capable of appropriately estimating the internal temperature of a food material being heated.
  • Patent Document 1 sensors for measuring the shape and surface temperature of an object are arranged on the top surface and side surfaces of a cooking device, and a three-dimensional model is constructed based on the shape of the object to form a boundary.
  • a technique for estimating the internal temperature of an object by heat conduction analysis by the element method has been proposed.
  • Patent Document 1 it is not assumed that the temperature on the bottom surface side, which cannot be directly detected by the temperature sensor, is measured (estimated). Therefore, the technique described in Patent Document 1 is not suitable for cooking in a frying pan or the like.
  • This technology was made in view of such a situation, and makes it possible to appropriately estimate the internal temperature of the foodstuff being heated.
  • the information processing device on one aspect of the present technology constructs a three-dimensional model representing the shape and temperature distribution of the cooking object based on the sensor data acquired by the sensor that measures the state of the cooking utensil and the cooking object. It is provided with a construction unit and an internal temperature estimation unit that estimates the temperature inside the cooking object by performing heat conduction analysis based on the three-dimensional model.
  • a three-dimensional model representing the shape and temperature distribution of the cooking object is constructed based on the sensor data acquired by the sensor that measures the state of the cooking utensil and the cooking object.
  • the temperature inside the cooking object is estimated by performing heat conduction analysis based on the three-dimensional model.
  • FIG. 1 It is a figure which shows the configuration example of the cooking support system which concerns on one Embodiment of this technique. It is a block diagram which shows the structure of a cooking support system. It is a block diagram which shows the functional structure example of a calculation part. It is a flowchart explaining the processing of an information processing apparatus. It is a flowchart explaining the position shape recognition process performed in step S2 of FIG. It is a figure which shows the example of contour extraction. It is sectional drawing which shows the example of the method of constructing the 3D model of a cooking object. It is sectional drawing which shows the example of the method of constructing the 3D model of a cooking object. It is a flowchart explaining the surface temperature extraction process performed in step S3 of FIG.
  • the present technology assists in appropriately controlling the heating state of a cooking object in a cooking method in which the object to be cooked is brought into contact with a heating medium and heated by heat conduction.
  • FIG. 1 is a diagram showing a configuration example of a cooking support system according to an embodiment of the present technology.
  • the cooking support system of the present technology is used, for example, in a situation where a cook U1 uses a frying pan as a cooking utensil 11 to bake steak meat as a cooking object 12.
  • the cooking support system of FIG. 1 is composed of a heating device 1, a stereo camera 2, a thermography camera 3, a processor module 4, a network device 5, a server 6, an information terminal 7, and an air conditioner 8.
  • the heating device 1 is composed of a stove for heating the cooking utensil 11, an IH cooker, and the like.
  • the heating device 1 is installed in a work area where the cooking object 12 is cooked by the cooking utensil 11.
  • the camera sensor including the stereo camera 2 and the thermography camera 3 is installed above the work area, for example, as a position where the work area including the cooking utensil 11 and the cooking object 12 can be seen.
  • the camera sensor is mounted near a ventilation port installed at the top of the heating device 1.
  • the stereo camera 2 captures a work area and acquires a visible image including depth information.
  • the thermography camera 3 captures a work area and acquires a thermal image.
  • the camera sensor is connected to the processor module 4 installed in a predetermined place such as in the same kitchen environment by a high-speed interface, and data is transmitted and received in real time between the processor module 4 and the processor module 4.
  • the processor module 4 is connected to the server 6 via the network device 5.
  • the processor module 4 estimates the internal temperature of the cooking object 12 by performing information processing in cooperation with the server 6. Further, the processor module 4 automatically adjusts the thermal power of the heating device 1, automatically adjusts the air conditioning by the air conditioning device 8, and presents information to the cook U1 by the information terminal 7 according to the heating state of the cooking object 12. ..
  • data transmission / reception between the processor module 4 and each of the heating device 1, the network device 5, the information terminal 7, and the air conditioning device 8 is performed by, for example, wireless communication.
  • Server 6 is a server on the intranet or the Internet.
  • the information terminal 7 is composed of a smartphone or tablet terminal having a display such as an LCD (Liquid Crystal Display).
  • the information terminal 7 placed in the vicinity of the cook U1 detects the operation of the cook U1 and accepts the input of the information.
  • the information terminal 7 presents information to the cook U1 according to the control of the processor module 4.
  • the air conditioner 8 adjusts the air conditioning of the kitchen environment according to the control by the processor module 4.
  • FIG. 2 is a block diagram showing a configuration of a cooking support system.
  • the cooking support system of FIG. 2 is composed of a sensor unit 21, an information processing device 22, and an effector unit 23.
  • processing unit shown in FIG. 2 shows the logical configuration of the function, and does not limit the physical device configuration.
  • One processing unit may include a plurality of physical devices. Further, one physical device may constitute a plurality of processing units.
  • the specific configuration of the interface connecting the inside of each processing unit and the interface connecting between the processing units is not limited.
  • the communication path between the processing units may be configured by wire or wireless, or the communication path may include the Internet.
  • the sensor unit 21 includes a temperature sensor 31, a distance sensor 32, and an image sensor 33.
  • the temperature sensor 31, the distance sensor 32, and the image sensor 33 are composed of a camera sensor including a stereo camera 2 and a thermography camera 3.
  • the temperature sensor 31 is a sensor that measures the surface temperature distribution of an object.
  • the distance sensor 32 is a sensor that measures the three-dimensional shape of an object.
  • the image sensor 33 is a sensor that captures an image of an object in the visible light region.
  • Each sensor of the sensor unit 21 is treated separately as a logical function, but it is not always composed of the corresponding three physical devices.
  • these three sensors are collectively referred to as a basic sensor group as appropriate.
  • Each sensor of the basic sensor group measures the state of the object in a non-contact and non-destructive manner, and transmits the measurement result as time-series data to the information processing apparatus 22.
  • the internal parameters and external parameters of each sensor are calculated by so-called camera calibration, and it is possible to associate the pixels between the sensors with each other by coordinate conversion.
  • the data measured by the basic sensor group can be represented by a common three-dimensional coordinate system (world coordinates) in the information processing apparatus 22.
  • the information processing device 22 includes a calculation unit 41 and a storage unit 42.
  • the information processing device 22 is composed of a processor module 4.
  • the arithmetic unit 41 is composed of, for example, a general-purpose arithmetic unit such as a CPU, GPU, and DSP, and a dedicated arithmetic unit specialized in AI-related processing.
  • the calculation unit 41 estimates the three-dimensional shape, surface temperature, and heat conduction characteristics of the cooking object 12 based on the information measured by the sensor unit 21 and the known information held in the storage unit 42, and is tertiary.
  • the internal temperature of the cooking object 12 is estimated by heat conduction analysis using the original model.
  • the storage unit 42 is composed of a storage device such as a memory or a storage.
  • the storage unit 42 holds known information such as a database representing the heat conduction characteristics of the cooking object 12.
  • the information processing device 22 may be configured by a combination of a local processor module 4 and a server 6 on the network.
  • the effector unit 23 is a peripheral device controlled by the information processing device 22 in order to control the cooking state.
  • the effector unit 23 also includes an input device related to input of information by the cook, an information terminal used by a user at a remote location away from the work area, and the like, which are not included in the sensor unit 21.
  • the effector unit 23 includes, for example, a UI device 51, a heating device 1, and an air conditioner 8.
  • the UI device 51 is composed of the information terminal 7 and the PC shown in FIG.
  • the effector unit 23 automatically controls the heating operation and presents information to the user.
  • FIG. 3 is a block diagram showing a functional configuration example of the calculation unit 41.
  • the sensor data input unit 101 As shown in FIG. 3, in the calculation unit 41, the sensor data input unit 101, the position shape recognition unit 102, the surface temperature extraction unit 103, the process status recognition unit 104, the heat conduction characteristic estimation unit 105, the internal temperature estimation unit 106, And the effector control unit 107 is realized.
  • the process status recognition unit 104 As shown in FIG. 3, the sensor data input unit 101, the position shape recognition unit 102, the surface temperature extraction unit 103, the process status recognition unit 104, the heat conduction characteristic estimation unit 105, the internal temperature estimation unit 106, And the effector control unit 107 is realized.
  • the details of the functions of each processing unit will be described later.
  • the sensor data input unit 101 receives the sensor data transmitted from the sensor unit 21 and outputs it to the position shape recognition unit 102, the surface temperature extraction unit 103, the process status recognition unit 104, and the heat conduction characteristic estimation unit 105.
  • the position and shape recognition unit 102 recognizes the position and shape of the cooking object 12 based on the sensor data supplied from the sensor data input unit 101. For example, the position shape recognition unit 102 detects the occlusion of the visual field due to the cooking work of the cook.
  • the position shape recognition unit 102 detects the cooking utensil 11 and the cooking object 12 and extracts the contour.
  • the position shape recognition unit 102 recognizes the shape of the cooking object 12 and builds a three-dimensional model.
  • the three-dimensional model of the cooking object 12 is a model representing the shape and temperature distribution of the cooking object 12.
  • the recognition result by the position shape recognition unit 102 is supplied to the surface temperature extraction unit 103, the process situation recognition unit 104, the heat conduction characteristic estimation unit 105, and the internal temperature estimation unit 106.
  • the surface temperature extraction unit 103 of the cooking object 12 and the heating medium is based on the sensor data supplied from the sensor data input unit 101 and the contour information of the cooking object 12 and the heating medium supplied from the position shape recognition unit 102. Extract the surface temperature.
  • the surface temperature extraction result by the surface temperature extraction unit 103 is supplied to the process situation recognition unit 104, the heat conduction characteristic estimation unit 105, and the internal temperature estimation unit 106.
  • the process status recognition unit 104 has the sensor data supplied from the sensor data input unit 101, the position shape of the cooking object 12 supplied from the position shape recognition unit 102, and the surface temperature supplied from the surface temperature extraction unit 103. Recognize the status of the cooking process based on the extraction results. Specifically, the process situation recognition unit 104 detects the input, removal, shape change, position / posture change, and the like of the cooking object 12. The recognition result by the process situation recognition unit 104 is supplied to the heat conduction characteristic estimation unit 105 and the internal temperature estimation unit 106.
  • the heat conduction characteristic estimation unit 105 receives the sensor data supplied from the sensor data input unit 101 and the cooking object supplied from the position shape recognition unit 102 according to the cooking process status recognized by the process status recognition unit 104.
  • the heat conduction characteristics of the cooking object 12 are estimated based on the position and shape of the twelve. Specifically, the heat conduction characteristic estimation unit 105 estimates the physical property values of the cooking object 12.
  • the heat conduction characteristic estimation unit 105 determines the cooking object 12 and the heating medium based on the contour information of the cooking object 12 supplied from the position shape recognition unit 102 and the surface temperature extraction result by the surface temperature extraction unit 103. Estimate the contact thermal resistance between. Information representing the contact thermal resistance estimated by the heat conduction characteristic estimation unit 105 is supplied to the internal temperature estimation unit 106.
  • the internal temperature estimation unit 106 estimates the temperature of the heated portion of the cooking object 12 based on the information supplied from the heat conduction characteristic estimation unit 105.
  • the internal temperature of the cooking object 12 is estimated based on the three-dimensional model of the cooking object 12 in which the temperature of the heated portion is set according to the cooking process status recognized by the process status recognition unit 104.
  • the estimation result of the internal temperature by the internal temperature estimation unit 106 is supplied to the effector control unit 107.
  • the effector control unit 107 controls the effector unit 23 based on the estimation result of the internal temperature by the internal temperature estimation unit 106.
  • the effector control unit 107 controls the heating device 1, controls the presentation of information to the cook, and the like.
  • FIG. 4 shows the main processing contents in series as one embodiment. The processing of each step is not necessarily executed in the order shown in FIG. Some processing is performed only under certain conditions.
  • step S1 the sensor data input unit 101 receives input of sensor data from each sensor of the sensor unit 21.
  • a thermal image representing the surface temperature is input from the temperature sensor 31, and an RGB image as a visible image is input from the distance sensor 32. Further, a depth image as depth information is input from the image sensor 33.
  • Each sensor data is time-series data captured in real time, and is input to the sensor data input unit 101 at an arbitrary timing. For the sake of simplicity, in the following, it is assumed that all sensor data are input in synchronization at a fixed cycle.
  • step S2 the position shape recognition unit 102 performs the position shape recognition process.
  • the position shape recognition process the cooking work of the cook is detected, and the position, contour, and shape of the cooking object 12 are recognized. Further, a three-dimensional model of the cooking object 12 is constructed based on the recognition result of the position and shape of the cooking object 12. The details of the position shape recognition process will be described later with reference to the flowchart of FIG.
  • step S3 the surface temperature extraction unit 103 performs a surface temperature extraction process.
  • the surface temperatures of the cooking object 12 and the heating medium are extracted. The details of the surface temperature extraction process will be described later with reference to the flowchart of FIG.
  • step S4 the process situational awareness unit 104 recognizes the state of the cooking process based on the information obtained up to the process of step S4. The details of recognizing the status of the cooking process will be described later.
  • step S5 the heat conduction characteristic estimation unit 105 performs the heat conduction characteristic estimation process.
  • the heat conduction property estimation process the heat conduction property of the cooking object 12 is estimated. The details of the heat conduction characteristic estimation process will be described later with reference to the flowchart of FIG.
  • step S6 the internal temperature estimation unit 106 performs the internal temperature estimation process.
  • the temperature of the heated portion of the cooking object 12 is estimated, and the internal temperature is estimated based on the estimation result of the temperature of the heated portion. The details of the internal temperature estimation process will be described later with reference to the flowchart of FIG.
  • step S7 the effector control unit 107 controls the effector unit 23 based on the estimation result of the internal temperature of the cooking object 12 by the internal temperature estimation unit 106.
  • An example of control of the effector unit 23 will be described later.
  • step S7 After the effector unit 23 is controlled in step S7, the process ends. Each time the sensor data is input, the above series of processes is executed.
  • step S21 Detection of visual field occlusion by cook's operation
  • the position shape recognition unit 102 detects the visual field occlusion of the camera sensor due to the cooking work of the cook.
  • the object includes a cooking object 12 such as steak meat and a cooking utensil 11 such as a frying pan. If the subsequent processing is performed in such a state, the processing accuracy may decrease.
  • the position shape recognition unit 102 detects that the cook's hand is inserted in the field of view (within the shooting range) of the camera sensor by image recognition for the RGB image and the depth image, and recognizes the position of the hand. If the important object is shielded by the cooking work of the cook, the subsequent processing related to the recognition of the object is skipped. By skipping the processing after step S22, it is possible to prevent a decrease in the accuracy of the processing.
  • step S22 the position shape recognition unit 102 detects whether or not the cooking utensil 11 and the cooking object 12 are present in the field of view by image processing. do.
  • the position shape recognition unit 102 extracts the contours of the cooking utensil 11 and the cooking object 12 on the image of the basic sensor group. Extracting the contour means identifying the contour of the object.
  • FIG. 6 is a diagram showing an example of contour extraction.
  • FIG. 6 shows an RGB image obtained by imaging a state of grilling steak meat as a cooking object 12 using a frying pan as a cooking utensil 11.
  • the position shape recognition unit 102 extracts the contour of the container (main body) of the cooking utensil 11 and the contour of the cooking object 12 from the RGB image, respectively, as shown by being surrounded by the thick line in FIG.
  • contour extraction methods using image processing technology based on sensor data acquired by the basic sensor group. Regardless of which method is used, if the contour can be specified on the image acquired by one sensor, the contour can be specified on the image acquired by another sensor by the coordinate conversion between the sensors.
  • the contour of the cooking utensil 11 is extracted by, for example, the following method.
  • (C) Example of using a marker embedded in the cooking utensil 11
  • the three-dimensional shape of the cooking utensil 11 and a marker such as a feature pattern embedded in a specific area of the cooking utensil 11 are known information in the position shape recognition unit 102. If prepared, the presence or absence of a marker and the position and orientation on the RGB image are detected using known information. Based on the position and orientation of the marker, the position and orientation of the cooking utensil 11 is specified, and the contour on the RGB image is extracted.
  • the position shape recognition unit 102 detects the presence / absence of the cooking utensil 11 and extracts the contour by the method as described above, and then detects the presence / absence of the cooking object 12 and the contour with the inside of the contour of the cooking utensil 11 as the region of interest. Is extracted.
  • a solid substance that can specify the overall shape and the shape of the heated portion is assumed.
  • solids such as chunks of meat, fish (one fish or fillets), pancakes, and omelets are treated as cooking objects 12.
  • a plurality of cooking objects 12 may be put on the cooking utensil 11, or different kinds of cooking objects 12 may be put together.
  • the presence or absence of the cooking object 12 and the extraction of the contour are performed by, for example, the following method.
  • step S23 Shape recognition of the cooking object 12 and construction of a three-dimensional model
  • the position shape recognition unit 102 constructs a three-dimensional model of the cooking object 12.
  • the position shape recognition unit 102 functions as a construction unit that constructs a three-dimensional model of the cooking object 12 based on sensor data.
  • the position shape recognition unit 102 constructs a three-dimensional model based on the shape information representing the shape of the cooking object 12.
  • the position / shape recognition unit 102 reconstructs the three-dimensional model.
  • the point cloud data represents the three-dimensional shape of the cooking object 12 with respect to the exposed surface on which the distance sensor 32 can detect the distance.
  • the three-dimensional shape and position / orientation of the cooking utensil 11 (particularly, the heating surface in contact with the cooking object 12) as the heating medium are recognized.
  • the three-dimensional shape and position / orientation of the cooking utensil 11 serve as a reference for the three-dimensional model of the cooking object 12.
  • FIGS. 7 and 8 are cross-sectional views showing an example of a method for constructing a three-dimensional model of the cooking object 12. Although the two-dimensional cross sections are shown in FIGS. 7 and 8, the processing is actually performed so as to construct a three-dimensional model.
  • the position shape recognition unit 102 generates point cloud data for the cooking object 12 based on the depth image.
  • the point cloud data based on the depth image represents the exposed surface of the cooking object 12 included in the angle of view of the distance sensor 32 installed above the cooking utensil 11. Generated.
  • the position shape recognition unit 102 performs mesh division of the space on the cooking utensil 11 including the cooking object 12 with the heating surface of the cooking utensil 11 as a reference.
  • the space on the cooking utensil 11 is divided by voxels.
  • the setting parameters representing the shape and fineness of the mesh are appropriately set according to the type, size, shape, and the like of the cooking object 12.
  • the position shape recognition unit 102 determines the voxel containing the point cloud data of the cooking object 12 as a component of the three-dimensional model.
  • the position shape recognition unit 102 is the lower part of the voxel (relative to the heating surface of the cooking utensil 11) determined as a component of the three-dimensional model based on the point cloud data. All voxels in the direction vertically away from the distance sensor 32) are also determined as components of the three-dimensional model.
  • the position shape recognition unit 102 constructs a three-dimensional model of the cooking object 12 by using a set of voxels determined as constituent elements as the shape structure of the three-dimensional model of the cooking object 12.
  • the above procedure for building a 3D model is an example.
  • a three-dimensional model of the cooking object 12 is constructed so as to have an expression format suitable for heat conduction analysis.
  • the accuracy of the contour extraction performed in step S22 and the construction of the three-dimensional model performed in step S23 is determined based on the estimation accuracy of the internal temperature required as a result of the heat conduction analysis.
  • step S23 After the three-dimensional model of the cooking object 12 is constructed in step S23, the process returns to step S2 in FIG. 4 and the subsequent processing is performed.
  • step S31 the surface temperature extracting unit 103 extracts the surface temperature of the cooking object 12 based on the thermal image acquired by the temperature sensor 31, and positions the cooking object 12. It maps to the three-dimensional model of the cooking object 12 constructed by the shape recognition unit 102. Extracting the temperature means detecting the temperature.
  • the position on the surface of the cooking object 12 where the temperature can be extracted based on the thermal image is called the "temperature extraction point”.
  • the temperature extraction points are represented by three-dimensional coordinates.
  • temperature definition point the position where the temperature is defined on the 3D model is called the "temperature definition point”.
  • the temperature definition points are set according to the method of constructing the three-dimensional model. For example, temperature definition points are set at the vertices and center points of each voxel.
  • the surface temperature extraction unit 103 determines the temperature of the temperature definition point based on the temperature value of the temperature extraction point in the vicinity of the temperature definition point. For example, the surface temperature extraction unit 103 determines the temperature of the temperature extraction point closest to the temperature definition point as the temperature of the temperature definition point, with the region within a certain distance from the temperature definition point as the vicinity region. ..
  • General sampling such as applying filtering to the thermal image when there is a lot of noise at the temperature extraction point, or linearly complementing the temperature at the temperature definition point when the temperature gradient is large near the temperature definition point.
  • the treatment may be used to determine the temperature at the temperature definition point.
  • the temperature definition point of the voxel shown by the diagonal line in FIG. 10 is determined.
  • the voxels shown with diagonal lines correspond to the voxels containing the point cloud data of the cooking object 12.
  • the voxel at which the temperature definition point is determined does not have to match the voxel containing the point cloud data of the cooking object 12.
  • step S32 Extraction of Surface Temperature of Heating Medium
  • the surface temperature extracting unit 103 extracts the surface temperature of the heating medium based on the thermal image acquired by the temperature sensor 31.
  • the contours of the cooking utensil 11 and the cooking object 12 on the thermal image are extracted.
  • the thermal image obtained by imaging the state of baking steak meat using a frying pan is subjected to image processing, so that B of FIG. 11 is outlined.
  • the contours of the cooking utensil 11 and the cooking object 12 are extracted.
  • the surface temperature extraction unit 103 of the heating medium is based on the temperature of the region as shown by the shaded line A in FIG. 12, excluding the inside of the contour of the cooking object 12 from the inside of the contour of the cooking utensil 11. Extract the surface temperature.
  • the heating medium whose temperature is actually measured is, for example, oil or water charged in the cooking utensil 11.
  • the temperature distribution of the heating medium becomes uneven depending on how the fats and oils accumulate on the frying pan.
  • the surface temperature extraction unit 103 obtains the enlarged contour of the cooking object 12, and is a neighborhood region which is a region excluding the inside of the contour of the cooking object 12 from the inside of the enlarged contour. Pay attention to.
  • the enlarged contour is a contour obtained by expanding the contour of the cooking object 12 to the outside, and is set to be included inside the contour of the cooking utensil 11.
  • the shaded area in B in FIG. 12 is the neighborhood area.
  • the surface temperature extraction unit 103 extracts the average temperature of the neighboring region of the entire region of the heating medium as the surface temperature T heat of the heating medium.
  • step S32 After the surface temperature T heat of the heating medium is calculated in step S32, the process returns to step S3 in FIG. 4 and the subsequent processing is performed.
  • step S2 and S3 By the processing of steps S2 and S3, the number of cooking objects 12 put into the cooking utensil 11 and their respective positions, contours, shapes, and surface temperatures are recognized.
  • the timing at which the cooking work is performed by the cook is also recognized as auxiliary information.
  • Auxiliary information is information for assisting the recognition of the situation of the cooking process.
  • the occurrence or removal of the cooking object 12 ((A) or (B) above) is recognized when the number of cooking objects 12 changes before and after the cooking work is performed by the cook. ..
  • a weight sensor When a weight sensor is provided as a sensor constituting the sensor unit 21, it is recognized that the cooking object 12 has been added or removed according to the detection of the discontinuous weight change by the weight sensor. You may. When there are a plurality of cooking objects 12, it is necessary to identify the identity of the individual as the cooking object 12 and appropriately maintain the association with the three-dimensional model.
  • the change in the position and orientation of the cooking object 12 ((C) above) is based on the change in the position, contour, shape, surface temperature, surface image, etc. of the cooking object 12 regardless of the presence or absence of the number change. Is recognized. In particular, it is recognized that the portion (heated portion) of the cooking object 12 in contact with the heating medium, such as the meat being baked or the inside out of the fish, has changed significantly.
  • the shape of the object to be cooked 12 may change during the cooking process. For example, pancakes and hamburgers as cooking objects 12 swell by heating.
  • the posture and shape of the cooking object 12 change during the cooking process and the deviation from the three-dimensional model becomes large, it is necessary to reconstruct the three-dimensional model.
  • the reconstruction of the three-dimensional model will be described later.
  • step S41 the heat conduction characteristic estimation unit 105 determines whether or not the input of the cooking object 12 is detected based on the recognition result of the process status by the process status recognition unit 104.
  • the heat conduction characteristic estimation unit 105 estimates the heat conduction characteristic of the cooking object 12 charged into the cooking utensil 11.
  • Heat conduction properties are parameters required for heat conduction analysis and include, for example, the thermal conductivity, specific heat, density, and heat diffusion coefficient of an object. The thermal diffusivity is calculated based on the thermal conductivity, specific heat, and density of an object.
  • the heat conduction characteristic estimation unit 105 identifies the food characteristics representing the type, part, quality, etc. of the food as the cooking object 12, and various known measurement data of the heat conduction characteristics corresponding to the food characteristics. Ask using. Ingredient characteristics are specified, for example, by the methods described below.
  • Example of a cook selecting recipe data The cook selects recipe data using the UI function provided in the effector unit 23. For example, when performing a cooking operation according to navigation by an application installed on the information terminal 7, the cook selects recipe data of the dish to be prepared.
  • the heat conduction characteristic estimation unit 105 identifies the food characteristic by directly acquiring the food characteristic information included in the recipe data selected by the cook or by acquiring the food characteristic information from the database.
  • a cook directly inputs food characteristics using a UI function. For example, when there is a difference between the ingredient characteristics of the ingredients presented by the recipe data and the ingredient characteristics of the ingredients actually used for cooking, the cook inputs information on the ingredient characteristics that the recipe data does not hold.
  • the type of food may be set by using a button on the main body of the cooking utensil 11 such as a microwave oven.
  • the heat conduction characteristic estimation unit 105 recognizes the cooking object 12 based on the information acquired by the sensor unit 21, such as an RGB image of the cooking object 12. Identify the characteristics of the ingredients. For the characteristics of foodstuffs such as the fat content of meat in which individual differences of foodstuffs appear, image recognition for an image showing an actual cooking object 12 is effective.
  • the heat conduction characteristic estimation unit 105 can specify the volume of the input cooking object 12 based on the three-dimensional model of the cooking object 12.
  • the sensor unit 21 includes a weight sensor and can individually measure the weight of the cooking object 12, the heat conduction characteristic estimation unit 105 specifies the density based on the volume and weight of the cooking object 12.
  • the density is specified by the method (C) above, by using the density as known information, it is possible to narrow down more probable candidates for the foodstuff characteristics.
  • the heat conduction characteristics of the cooking object 12 are estimated.
  • step S41 determines whether the input of the cooking object 12 is not detected. If it is determined in step S41 that the input of the cooking object 12 is not detected, the process proceeds to step S43.
  • step S43 the heat conduction characteristic estimation unit 105 determines whether or not the shape change of the cooking object 12 is detected based on the process status recognition result by the process status recognition unit 104.
  • the heat conduction characteristic estimation unit 105 updates the heat conduction characteristic of the cooking object 12 in step S44.
  • the heat conduction characteristics of the cooking object 12 generally change during the heating process. Therefore, it is desirable that the heat conduction characteristics are updated at any time not only at the time of charging but also after charging.
  • the heat conduction characteristic estimation unit 105 repeatedly updates the heat conduction characteristics in a cooking process such as a heating process.
  • the heat conduction characteristic estimation unit 105 updates the density estimation value based on the state of the cooking object 12.
  • Meat and fish lose water when heated. Since the specific heat of water is high, the water content of the cooking object 12 has a great influence on the heat conduction characteristics. Therefore, it is also useful to detect changes in water content.
  • the heat conduction characteristic estimation unit 105 is based on the weight change of the cooking object 12.
  • the water content can be estimated.
  • the water content is contained by using a database constructed by machine learning so as to input the RGB image acquired by the image sensor 33 and output the food characteristics and the water content of the cooking object 12.
  • the amount may be detected. In this case, the estimation accuracy equivalent to that of a skilled chef visually judging the state of the cooking object 12 can be expected.
  • a database is constructed by machine learning using not only RGB images but also thermal images (surface temperature of cooking object 12) obtained by imaging the cooking object 12, internal temperature estimated in the subsequent processing, and the like. You may do so.
  • the change in water content may be obtained based on the infrared radiation spectrum of the cooking object 12 measured by the near-infrared spectrometer. In this way, the water content may be directly measured.
  • step S43 if it is determined in step S43 that the shape change of the cooking object 12 is not detected, the process proceeds to step S45.
  • step S45 the heat conduction characteristic estimation unit 105 determines whether or not the posture change of the cooking object 12 is detected based on the process status recognition result by the process status recognition unit 104.
  • the heat conduction characteristic estimation unit 105 estimates the contact thermal resistance between the cooking object 12 and the heating medium in step S46.
  • FIG. 14 is a diagram showing an example of thermal images before and after turning over the steak meat baked in a frying pan.
  • the surface of the cooking object 12 has not been heated yet and maintains a temperature close to normal temperature.
  • the fact that the surface of the cooking object 12 is shown in a blackish color indicates that the surface temperature is lower than the temperature of the surrounding heating medium or the like.
  • the surface of the cooking object 12 becomes hot due to being heated.
  • the fact that the surface of the cooking object 12 is shown in a whitish color indicates that the temperature of the surface is as high as the temperature of the surrounding heating medium or the like.
  • the temperature of the cooking object 12 and the temperature of the heating medium in the vicinity of the cooking object 12 are extracted by the processing of steps S2 and S3 of FIG.
  • the posture of the cooking object 12 changes based on the temperature of the cooking object 12 and the heating medium, and the heated portion on the back surface of the cooking object 12 is exposed on the surface, that is, the cooking object 12 is exposed. It is determined that it has been turned inside out.
  • the process situation recognition unit 104 determines that the cooking object 12 has been turned inside out based on the following equations (1) and (2).
  • T before represents the surface temperature of the cooking object 12 before the posture change
  • T after represents the surface temperature of the cooking object 12 after the posture change
  • T heat represents the temperature of the heating medium in the vicinity of the cooking object 12 after the posture change.
  • T flip represents the threshold value of the temperature difference at which it is determined that the inside out has occurred
  • T gap represents the threshold value of the temperature difference of the contact surface where it is determined that the cooking object 12 has been in contact with the heating medium for a sufficient time.
  • the condition defined by the equation (1) is that the change in the surface temperature of the cooking object 12 is larger than the threshold value before and after the posture change, that is, the surface of the cooking object 12 exposed by turning over is sufficiently sufficient. It means that it is heated.
  • condition defined by the equation (2) is that the difference between the temperature of the heating medium and the surface temperature of the cooking object 12 after the posture change is smaller than the threshold value, that is, the cooking object exposed by turning over. It means that the surface of the object 12 is sufficiently heated to a temperature close to the temperature of the heating medium.
  • the surface temperature T after when it is determined that the heated portion of the sufficiently heated cooking object 12 has just been exposed to the surface while satisfying the conditions defined by the formulas (1) and (2) is the temperature. It can be regarded as a temperature equal to the temperature of the heated portion that was in contact with the heating medium of T heat .
  • the contact thermal resistance R contact on the contact surface between the heating medium and the cooking object 12 is defined by the following equation (3).
  • A represents the area of the contact surface where heat conduction occurs
  • k represents the heat conductivity of the cooking object 12.
  • z represents the direction in which heat is transferred.
  • z represents the vertical upward direction from the contact surface.
  • T is the temperature of the cooking object 12 and is represented by a function of z.
  • the area A is obtained based on the contour of the cooking object 12 extracted by the position shape recognition process in step S2 of FIG.
  • the thermal conductivity k is obtained as a part of the thermal conductivity characteristics estimated by the thermal conductivity characteristic estimation process in step S5.
  • the heat flow rate Q is estimated by the equation (4).
  • the temperature gradient inside the cooking object 12 becomes a relatively monotonous gradient from the contact surface toward the center (along the z direction). You can expect it.
  • L represents the thickness of the cooking object 12 in the z direction, and is obtained based on the three-dimensional model constructed by the process of step S2.
  • T center represents the temperature of the center of the cooking object 12, which is located above the contact surface by a distance L / 2.
  • the value of the temperature T center at the center is not exactly known, but when the equation (1) holds, the values of T center and T before can be approximated as the same value. Assuming that the exposed surface before the attitude change has not been directly heated and the temperature of the exposed surface is close to normal temperature (the temperature before the start of heating), the temperature at the center remains at the same level. Conceivable.
  • the contact thermal resistance R contact can be approximately obtained by the following equation (6).
  • the contact thermal resistance R contact thus obtained is used for estimating the internal temperature. After the contact thermal resistance is estimated in step S46, the process returns to step S5 in FIG. 4 and the subsequent processing is performed.
  • step S42 After the heat conduction property is obtained in step S42, after the heat conduction property is updated in step S44, or when it is determined in step S45 that the posture change of the cooking object 12 is not detected. Returning to step S5 in FIG. 4, subsequent processing is performed.
  • step S61 Estimating the temperature of the heated portion
  • the internal temperature estimating unit 106 estimates the temperature of the heated portion in contact with the heating medium and maps it to the three-dimensional model of the cooking object 12. For example, the temperature of the heated portion is mapped to the temperature definition point of the voxel shown by the dots in FIG.
  • r is a dimensionless constant.
  • the contact thermal resistance R contact is caused by the roughness, hardness, pressing pressure, etc. of the contact surface. It is considered that the contact thermal resistance R contact does not change abruptly when the heated portion of the cooking object 12 is heated to some extent by uniformly interposing oils and fats as a heating medium on the contact surface.
  • the temperature T heat of the heating medium the temperature T top of the exposed surface of the cooking object 12, and the constant r obtained from the known parameters are used.
  • the temperature T bottom of the heated portion of the cooking object 12 can be estimated.
  • step S62 the internal temperature estimation unit 106 estimates the internal temperature of the cooking object 12. By the processing up to the previous stage, the temperatures of the surface portion and the heated portion of the cooking object 12 are mapped to the three-dimensional model.
  • the inside of the cooking object 12 is a part corresponding to the region of the three-dimensional model to which the temperature is not mapped.
  • the internal temperature is estimated by a different method for each of the following conditions.
  • the internal temperature estimation unit 106 obtains the average value of the surface temperature of the cooking object 12 and maps it to the voxel corresponding to the inside of the cooking object 12 as the internal temperature. This corresponds to the initial conditions of heat conduction analysis.
  • the representative value of the surface temperature of the cooking object 12 is estimated as the internal temperature.
  • the representative value of the surface temperature of the cooking object 12 includes a value obtained based on the surface temperature of the cooking object 12, such as an average value or a median value of the surface temperature of the cooking object 12.
  • step S4 When a change in the position / orientation or shape of the cooking object 12 is detected When the change in the position / orientation or shape of the cooking object 12 is recognized in step S4, the three-dimensional model is reconstructed.
  • FIG. 16 is a cross-sectional view showing an example of reconstruction of a three-dimensional model.
  • the posture and shape of the cooking object 12 change. As shown on the left side of the upper part of FIG. 16, before the posture and shape change, the bottom surface temperature of the cooking object 12 is high and the surface temperature is low. On the other hand, as shown on the right side, after the posture and shape have changed, the surface temperature of the cooking object 12 is high and the bottom surface temperature is low.
  • the three-dimensional model is reconstructed according to the change in the posture and shape of the cooking object 12.
  • the voxels of the cooking object 12 and the extraction of the temperature at the temperature definition point on the surface portion of the three-dimensional model shown with dots are steps S2 and S3. It is performed in the same manner as the processing of.
  • the bottom surface temperature when the posture and shape of the cooking object 12 changes is specified by the process of step S61 and is mapped to the voxels indicated by dots.
  • the other voxels excluding the surface and heated parts ideally have the temperature distribution estimated before reconstruction in order to continue the heat conduction analysis. It is desirable to be reproduced.
  • the temperature of the temperature definition point of the three-dimensional model corresponding to the inside of the cooking object 12 is mapped by the following method.
  • the internal temperature estimation unit 106 obtains the internal energy U all (total heat amount held by the cooking object 12) of the cooking object 12 based on the following formula (9) based on the temperature distribution before the reconstruction.
  • Equation (9) the sum of the internal energies of all the temperature definition points of the three-dimensional model before reconstruction can be obtained.
  • the specific heat c is generally not uniform in the whole foodstuff and has temperature dependence, but is treated as a constant here.
  • the calculation may be performed using the accurate value of the specific heat c instead of treating it as a constant.
  • the internal temperature estimation unit 106 obtains the internal energy U bound of the portion where the temperature can be specified in the reconstructed three-dimensional model.
  • the subscript j represents the temperature definition point. From equation (10), the sum of the internal energies of the temperature definition points of the region corresponding to the surface portion from which the temperature is extracted and the portion to be heated in the reconstructed three-dimensional model can be obtained.
  • the internal temperature estimation unit 106 obtains the temperature T bulk by the following equation (11), where N bulk is the total number of temperature definition points for which the temperature is not specified in the reconstructed three-dimensional model.
  • the internal temperature estimation unit 106 maps the temperature T bulk as the temperature value of the temperature definition point where the temperature is not specified in the reconstructed three-dimensional model.
  • the three-dimensional model is reconstructed so that the sum of the internal energies is preserved before and after the reconstruction, and after the reconstruction, the three-dimensional model is reconstructed.
  • the temperature T bulk is estimated as the internal temperature. This makes it possible to substantially maintain the estimation accuracy of the internal temperature before and after the reconstruction of the 3D model.
  • the internal temperature estimation unit 106 performs heat conduction analysis by numerical analysis such as the finite element method.
  • the heat conduction model which is a mathematical model of heat conduction, is represented by a three-dimensional unsteady heat conduction equation as shown in the following equation (12).
  • T (x, y, z, t) represents the temperature of the cooking object 12 expressed as a function of time and space.
  • the arguments x, y, and z representing the spatial coordinates are omitted.
  • the heat conduction model is shown in FIG.
  • the temperature distribution mapped to the three-dimensional model corresponds to the temperature distribution T (0) under the initial condition.
  • the reconstruction of the three-dimensional model performed by the method (B) above is performed at the timing of time t> 0, but it substantially means the resetting of the initial conditions.
  • the temperature distribution T top (t) of the surface temperature measured by the temperature sensor 31 and the temperature distribution T bottom (t) of the bottom surface temperature estimated in step S61 are given.
  • the temperature inside the cooking object 12, which is not bound as a boundary condition, is obtained by numerical calculation based on the governing equation in which the equation (12) is discretized.
  • the temperature distribution T top (t) is based on the time-series data of the measured values until the heating is stopped. is expected.
  • FIG. 18 is a diagram showing an example of the measurement result of the temperature change of the exposed surface after the steak meat baked in the frying pan is turned inside out.
  • the vertical axis represents the temperature of the exposed surface, and the horizontal axis represents the elapsed time.
  • the temperature of the exposed surface after being turned inside out continues to decrease monotonically. As the temperature of the exposed surface decreases and approaches room temperature, the temperature change becomes a gentle linear shape. Therefore, if the slope of the temperature change at the time when the heating is stopped is obtained and the temperature change of the temperature distribution T top (t) after the heating is stopped is predicted by simple extrapolation, the temperature distribution T with sufficient accuracy is used. You get top (t).
  • the temperature distribution T bottom (t) is predicted based on the prediction result of the temperature change of the heating medium after the heating is stopped.
  • FIG. 19 is a diagram showing an example of the measurement result of the temperature change of the frying pan after the heating is stopped.
  • the vertical axis represents the temperature of the frying pan, and the horizontal axis represents the elapsed time.
  • the temperature of the frying pan after the heating is stopped continues to decrease monotonically. As the temperature of the frying pan decreases and approaches room temperature, the temperature change becomes gentle and linear. However, the speed of temperature decrease depends on the heat conduction characteristics of a heating medium such as a frying pan. Mainly, the heat capacity affects the speed of temperature decrease.
  • the heat conduction characteristics of the cooking utensil 11 actually used are required.
  • the heat conduction characteristics of the cooking utensil 11 are calculated based on physical property values related to heat conduction such as the material, specific heat, volume, and surface area of the cooking utensil 11.
  • the method of estimating the heat conduction characteristics of the cooking utensil 11 actually used and predicting the temperature change of the heating medium based on the heat conduction characteristics is not a realistic method because it is not versatile.
  • the cook puts only the cooking utensil 11 actually used on the stove, heats it until it reaches a sufficiently high temperature, turns off the heat, and leaves it naturally.
  • the temperature sensor 31 By measuring the temperature of the cooking utensil 11 in the cooling process by the temperature sensor 31, a curve showing the temperature change as shown in FIG. 19 is obtained. Along with the temperature of the cooking utensil 11, the room temperature is also measured.
  • the internal temperature estimation unit 106 holds the inclination of the temperature decrease of the cooking utensil 11 as the characteristic value of the cooking utensil 11, which is determined according to the difference between the temperature of the cooking utensil 11 and the room temperature. After the calibration, the internal temperature estimation unit 106 can predict the temperature change of the cooking utensil 11 based on the measured value of the temperature of the cooking utensil 11 and the measured value of the room temperature at the time when the heating is stopped in the cooking process. ..
  • the internal temperature estimation unit 106 can predict the temperature change of the temperature distribution T bottom (t) based on the above-mentioned equation (8) based on the temperature change of the cooking utensil 11.
  • step S62 After the internal temperature of the cooking object 12 is estimated in step S62, the process returns to step S6 in FIG. 4 and the subsequent processing is performed.
  • the effector control unit 107 communicates with the information terminal 7 of FIG. 1 and presents the heating status of the cooking object 12 to the cook.
  • the display of the information terminal 7 displays information that visualizes the temperature distribution of the cooking object 12 and the cooking utensil 11.
  • the effector control unit 107 displays the surface temperature and the internal temperature of the cooking object 12 in real time from a free viewpoint based on the three-dimensional model.
  • the display of the surface temperature and the internal temperature is displayed in the same way as the result of the heat conduction analysis is displayed on the screen by the CAE (Computer Aided Engineering) tool installed in the PC using CG.
  • CAE Computer Aided Engineering
  • the heat flow may be visualized in the same way as the vector field is visualized with the CAE tool.
  • Cooking may proceed in the work area while being in a remote location and receiving judgment and guidance from a skilled chef who has seen the presentation by the information terminal 7.
  • the information terminal 7 constituting the cooking support system is connected to the information processing device 22 via an intranet or the Internet.
  • the effector control unit 107 communicates with the heating device 1 of FIG. 1 to automatically adjust the thermal power. In order to perform even heating, it is desirable to keep the temperature of the heating medium constant according to the cooking content. For example, the effector control unit 107 adjusts the thermal power of the heating device 1 by feedback control according to the temperature of the heating medium extracted in step S3.
  • the effector control unit 107 controls the operation setting of the air conditioner 8 so that the periphery of the cooking object 12 becomes an appropriate condition as feedback control based on the temperature information measured by the thermography camera 3.
  • auxiliary sensor including a sensor built in a device other than the basic sensor group such as the heating device 1 may be used.
  • a thermometer or a hygrometer installed at a position where the vicinity of the cooking object 12 can be measured is provided as an auxiliary sensor.
  • the scent sensor may be provided as an auxiliary sensor. When making dishes where aroma is important, it is essential to control the finish by removing unnecessary offensive odors from the environment with air conditioning.
  • the effector control unit 107 controls at least one of the heating device 1, the information terminal 7, and the air conditioner 8, for example.
  • Sensor data measured by the sensor unit 21 and information estimated by the information processing device 22 may be stored in the storage unit 42 for post-analysis. That is, applications such as estimation results by the information processing apparatus 22 are not limited to real-time heating control.
  • the physical configuration of the storage unit 42 is arbitrary so that it may be included in the processor module 4 or provided in the server 6.
  • the sensor unit 21 has a temperature sensor that can accurately measure the internal temperature of the cooking object 12.
  • a cooking thermometer using a thermocouple probe is provided as a component of the cooking utensil 11.
  • the information processing apparatus 22 acquires the data measured by the cooking thermometer and stores it together with other sensor data in association with the information of the estimation result. Referencing this information as Ground Truth information for internal temperature estimation is useful for developing technical methods to improve the internal temperature estimation accuracy.
  • the temperature of the heated portion of the cooking object 12 which is important for heat conduction analysis, is based on the thermal image acquired by the temperature sensor 31 without destroying the cooking object 12. Is required accurately.
  • the cooking support system can estimate the internal temperature with high accuracy.
  • the cooking support system it is recognized based on the sensor data acquired by the sensor unit 21 that the heated portion of the cooking object 12 is exposed, and it is heated based on the thermal image acquired immediately after the exposure. The contact thermal resistance between the moiety and the heating medium is estimated.
  • the cooking support system can improve the estimation accuracy of the temperature of the heated part and estimate the internal temperature with high accuracy.
  • a three-dimensional model of the cooking object 12 is constructed based on the sensor data acquired by the distance sensor 32, and the boundary condition of the heat conduction analysis and the temperature information which is the initial condition are mapped to the three-dimensional model. Will be done.
  • the cooking support system can estimate the internal temperature with high accuracy.
  • the cooking support system can also use the same three-dimensional model to simulate the temperature change after the heating is stopped.
  • FIG. 20 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the input / output interface 205 is further connected to the bus 204.
  • An input unit 206 including a keyboard, a mouse, and the like, and an output unit 207 including a display, a speaker, and the like are connected to the input / output interface 205.
  • the input / output interface 205 is connected to a storage unit 208 composed of a hard disk, a non-volatile memory, or the like, a communication unit 209 composed of a network interface, and a drive 210 for driving the removable media 211.
  • the CPU 201 loads the program stored in the storage unit 208 into the RAM 203 via the input / output interface 205 and the bus 204 and executes the above-mentioned series of processes. Is done.
  • the program executed by the CPU 201 is recorded on the removable media 211, or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and installed in the storage unit 208.
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in the present specification, in parallel, or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can take a cloud computing configuration in which one function is shared by multiple devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a construction unit that builds a three-dimensional model that represents the shape and temperature distribution of the cooking object based on the sensor data acquired by the sensor that measures the state of the cooking utensil and the cooking object.
  • An information processing device including an internal temperature estimation unit that estimates the temperature inside the cooking object by performing heat conduction analysis based on the three-dimensional model.
  • the construction unit constructs the three-dimensional model when the cooking object is put into the cooking utensil.
  • the construction unit reconstructs the three-dimensional model when any one of the shape, volume, and posture of the cooking object changes in the cooking process.
  • the information processing apparatus according to any one of (1) to (3), further comprising a heat conduction characteristic estimation unit that estimates the heat conduction characteristics of the cooking object based on the sensor data, which is used for the heat conduction analysis. .. (5) The information processing apparatus according to (4) above, wherein the heat conduction characteristics include thermal conductivity, specific heat, density, and thermal diffusivity. (6) The information processing apparatus according to (4) or (5), wherein the heat conduction characteristic estimation unit repeatedly updates the heat conduction characteristics in the cooking process. (7) The information processing apparatus according to any one of (4) to (6), further comprising an extraction unit that extracts the surface temperature of the cooking object and the temperature of the heating medium based on the sensor data.
  • the information processing apparatus according to (7) above, wherein the extraction unit extracts the temperature of a region near the cooking object in the entire heating medium as the temperature of the heating medium.
  • the internal temperature estimation unit sets the temperature of the heating medium as the temperature of the heated portion of the cooking object in the three-dimensional model, and estimates the temperature inside the cooking object (7) or (8). ).
  • the information processing device (10) When the posture of the cooking object changes, the heat conduction characteristic estimation unit determines the cooking object and the heating medium based on the surface temperature of the cooking object and the temperature of the heating medium after the posture change. Estimate the contact thermal resistance that occurs between The information processing apparatus according to (7) or (8), wherein the internal temperature estimation unit estimates the temperature inside the cooking object by using the contact thermal resistance.
  • the internal temperature estimation unit uses the temperature obtained based on the contact heat resistance, the surface temperature of the cooking object, and the temperature of the heating medium as the temperature of the heated portion of the cooking object as the three-dimensional model.
  • the information processing apparatus according to (10) above which is set to the above and estimates the temperature inside the cooking object.
  • (12) When the change in the surface temperature of the cooking object is larger than the threshold value and the difference between the temperature of the heating medium and the surface temperature of the cooking object after the change is smaller than the threshold value, the change in the posture of the cooking object is as a change.
  • the internal temperature estimation unit estimates the representative value of the surface temperature of the cooking object as the temperature inside the cooking object at the time of the first construction of the three-dimensional model. Any of the above (1) to (12). Information processing device described in Crab. (14) The internal temperature estimation unit estimates the temperature inside the cooking object based on the internal energy in the three-dimensional model before the reconstruction when the three-dimensional model is reconstructed (1) to (13). The information processing device described in any of. (15) The internal temperature estimation unit estimates the temperature inside the cooking object based on the heat conduction equation represented by the heat diffusion coefficient and a function representing the temperature of each position on the three-dimensional model. 5) The information processing apparatus according to any one of (12).
  • the information processing apparatus according to any one of (1) to (15), further comprising a control unit that controls peripheral devices based on the estimation result of the temperature inside the cooking object.
  • the control unit is at least one of a heating device for heating the cooking object, an information terminal for presenting the heating state of the cooking object, and an air conditioning device installed in a space where cooking for the cooking object is performed.
  • the information processing apparatus according to (16) above, which controls any of the above.
  • a three-dimensional model representing the shape and temperature distribution of the cooking object is constructed. An information processing method for estimating the temperature inside the cooking object by performing heat conduction analysis based on the three-dimensional model.
  • thermography camera 1 heating device, 2 stereo camera, 3 thermography camera, 4 processor module, 5 network equipment, 6 server, 7 information terminal, 8 air conditioning device, 21 sensor section, 22 information processing device, 23 effector section, 31 temperature sensor, 32 distance Sensor, 33 image sensor, 41 calculation unit, 42 storage unit, 51 UI equipment, 101 sensor data input unit, 102 position shape recognition unit, 103 surface temperature extraction unit, 104 process status recognition unit, 105 heat conduction characteristic estimation unit, 106 Internal temperature estimation unit, 107 effector control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Food Science & Technology (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本技術は、加熱中の食材の内部温度を適切に推定することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。 本技術の情報処理装置は、調理器具と調理対象物との状態を計測するセンサにより取得されたセンサデータに基づいて、調理対象物の形状と温度分布を表す三次元モデルを構築する構築部と、三次元モデルに基づく熱伝導解析を行うことにより調理対象物の内部の温度を推定する内部温度推定部とを備える。本技術は、調理者による調理作業を支援する調理支援システムに適用することができる。

Description

情報処理装置、情報処理方法、およびプログラム
　本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、加熱中の食材の内部温度を適切に推定することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
　ステーキ肉などの塊肉をフライパンで加熱調理する際、食材内部の焼け具合を正確にコントロールすることは非常に難しい。熟練のシェフは、加熱中に肉を指で押して内部の焼き加減を判断するスキルを身につけているが、個体差の大きい食材に対して必ずしも完璧な判断ができず、狙い通りに焼けない場合もある。
　最近の調理器具の中には、温度計のプローブを肉に挿した状態で加熱して温度制御を行う機能を有するものがあるが、衛生面でのリスクや肉汁が漏れることがあり、好ましくない。肉に限らず、加熱調理中に食材内部の温度を非破壊で計測する技術に対するニーズは高く、そのような技術は、アマチュア料理家や、正確な仕上がりを追求するプロのシェフにも強く求められている。
　このような背景の下、食材の内部温度を加熱中に推定する技術が多数提案されている。例えば、特許文献１には、対象物の形状および表面温度を計測するセンサを加熱調理器の庫内の天面と側面に配置し、対象物の形状に基づいて三次元モデルを構成し、境界要素法による熱伝導解析によって対象物の内部温度を推定する技術が提案されている。
特開平８－１５０３７号公報 特表２０１０－５０８４９３号公報 特開２０１５－２０６５０２号公報 特開２０１９－２００００２号公報
　特許文献１の技術においては、温度センサが直接検出することができない底面側の温度を測定（推定）することは想定されていない。したがって、特許文献１に記載の技術は、フライパン等での加熱調理に適さない。
　本技術はこのような状況に鑑みてなされたものであり、加熱中の食材の内部温度を適切に推定することができるようにするものである。
　本技術の一側面の情報処理装置は、調理器具と調理対象物との状態を計測するセンサにより取得されたセンサデータに基づいて、前記調理対象物の形状と温度分布を表す三次元モデルを構築する構築部と、前記三次元モデルに基づく熱伝導解析を行うことにより前記調理対象物の内部の温度を推定する内部温度推定部とを備える。
　本技術の一側面においては、調理器具と調理対象物との状態を計測するセンサにより取得されたセンサデータに基づいて、前記調理対象物の形状と温度分布を表す三次元モデルが構築され、前記三次元モデルに基づく熱伝導解析を行うことにより前記調理対象物の内部の温度が推定される。
本技術の一実施形態に係る調理支援システムの構成例を示す図である。 調理支援システムの構成を示すブロック図である。 演算部の機能構成例を示すブロック図である。 情報処理装置の処理について説明するフローチャートである。 図４のステップＳ２において行われる位置形状認識処理について説明するフローチャートである。 輪郭抽出の例を示す図である。 調理対象物の三次元モデルを構築する方法の例を示す断面図である。 調理対象物の三次元モデルを構築する方法の例を示す断面図である。 図４のステップＳ３において行われる表面温度抽出処理について説明するフローチャートである。 調理対象物の三次元モデルの例を示す図である。 加熱媒体の温度抽出の例を示す図である。 加熱媒体の温度抽出の例を示す図である。 図４のステップＳ５において行われる熱伝導特性推定処理について説明するフローチャートである。 フライパンで焼いているステーキ肉を裏返す前後の熱画像の例を示す図である。 図４のステップＳ６において行われる内部温度推定処理について説明するフローチャートである。 三次元モデルの再構築の例を示す断面図である。 熱伝導モデルの例を示す図である。 フライパンで焼かれているステーキ肉が裏返された後における露出面の温度変化の計測結果の例を示す図である。 加熱を止めた後におけるフライパンの温度変化の計測結果の例を示す図である。 コンピュータのハードウェアの構成例を示すブロック図である。
＜本技術の概要＞
　本技術は、調理対象物を加熱媒体に接触させて熱伝導により加熱する調理手法において、調理対象物の加熱状態を適切にコントロールすることを支援するものである。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．調理支援システム
　２．各機器の構成
　３．情報処理装置の動作
　４．その他
＜＜１．調理支援システム＞＞
　図１は、本技術の一実施形態に係る調理支援システムの構成例を示す図である。
　本技術の調理支援システムは、例えば、調理者Ｕ１が、調理器具１１としてのフライパンを用いて、調理対象物１２としてのステーキ肉を焼く場面で用いられる。
　図１の調理支援システムは、加熱装置１、ステレオカメラ２、サーモグラフィカメラ３、プロセッサモジュール４、ネットワーク機器５、サーバ６、情報端末７、および空調装置８により構成される。
　加熱装置１は、調理器具１１を加熱するコンロ、IH調理器などにより構成される。加熱装置１は、調理器具１１で調理対象物１２の加熱調理を行う作業エリアに設置される。
　ステレオカメラ２とサーモグラフィカメラ３を含むカメラセンサは、調理器具１１と調理対象物１２を含む作業エリアを見通せるポジションとして、例えば、作業エリアの上方に設置される。一般的なキッチン環境では、例えば、カメラセンサは、加熱装置１の上部に設置されている換気口の付近に取り付けられる。
　ステレオカメラ２は、作業エリアを撮像し、深度情報を含む可視画像を取得する。サーモグラフィカメラ３は、作業エリアを撮像し、熱画像を取得する。カメラセンサは、同じキッチン環境内などの所定の場所に設置されるプロセッサモジュール４と高速インタフェースで接続され、プロセッサモジュール４との間で、データの送受信をリアルタイムに行う。
　プロセッサモジュール４は、ネットワーク機器５を介してサーバ６と接続される。プロセッサモジュール４は、サーバ６と連携して情報処理を行うことにより、調理対象物１２の内部温度を推定する。また、プロセッサモジュール４は、調理対象物１２の加熱状態に応じて、加熱装置１の火力の自動調整、空調装置８による空調の自動調整、情報端末７による調理者Ｕ１への情報提示などを行う。
　破線で示すように、プロセッサモジュール４と、加熱装置１、ネットワーク機器５、情報端末７、および空調装置８のそれぞれとの間のデータの送受信は、例えば無線通信により行われる。
　サーバ６は、イントラネットやインターネット上のサーバである。
　情報端末７は、LCD(Liquid Crystal Display)などのディスプレイを有するスマートフォンやタブレット端末などにより構成される。調理者Ｕ１の近傍などに置かれた情報端末７は、調理者Ｕ１の操作を検出し、情報の入力を受け付ける。情報端末７は、プロセッサモジュール４による制御に従って、調理者Ｕ１に対して情報提示などを行う。
　空調装置８は、プロセッサモジュール４による制御に従って、キッチン環境の空調を調整する。
＜＜２．各機器の構成＞＞
　図２は、調理支援システムの構成を示すブロック図である。
　図２の調理支援システムは、センサ部２１、情報処理装置２２、およびエフェクタ部２３により構成される。
　なお、図２に示す処理部は、機能の論理構成を示しており、物理的なデバイス構成を限定するものではない。１つの処理部が複数の物理デバイスを含むようにしてもよい。また、１つの物理デバイスが複数の処理部を構成するようにしてもよい。各処理部の内部を接続するインタフェース、および、処理部の間を接続するインタフェースの具体的な構成も限定されるものではない。処理部の間の通信路が有線や無線により構成されるようにしてもよいし、通信路にインターネットが含まれるようにしてもよい。
　センサ部２１は、温度センサ３１、距離センサ３２、および画像センサ３３を備える。例えば、温度センサ３１、距離センサ３２、および画像センサ３３は、ステレオカメラ２とサーモグラフィカメラ３を含むカメラセンサにより構成される。
　温度センサ３１は、物体の表面温度分布を計測するセンサである。距離センサ３２は、物体の三次元形状を計測するセンサである。画像センサ３３は、物体の画像を可視光領域で撮像するセンサである。
　センサ部２１の各センサは、論理機能として区別して扱うが、対応する３つの物理デバイスにより構成されるとは限らない。以下、適宜、これらの３つのセンサをまとめて基本センサ群という。
　基本センサ群の各センサは、いずれも非接触かつ非破壊的に対象物の状態を計測し、計測結果を時系列データとして情報処理装置２２に送信する。いわゆるカメラキャリブレーションにより各センサの内部パラメータと外部パラメータが算出されており、座標変換により、センサ間の画素を互いに対応付けることが可能とされている。言い換えると、基本センサ群で計測されたデータは、情報処理装置２２において共通の三次元座標系（ワールド座標）で表現することが可能とされる。
　情報処理装置２２は、演算部４１と記憶部４２を備える。例えば、情報処理装置２２は、プロセッサモジュール４により構成される。
　演算部４１は、例えば、CPU，GPU，DSPなどの汎用演算機、AI関連処理などに特化した専用演算機により構成される。演算部４１は、センサ部２１により計測された情報と、記憶部４２に保持された既知情報とに基づいて、調理対象物１２の三次元形状、表面温度、および熱伝導特性を推定し、三次元モデルを用いた熱伝導解析により、調理対象物１２の内部温度を推定する。
　記憶部４２は、メモリやストレージなどの記憶装置により構成される。記憶部４２には、調理対象物１２の熱伝導特性を表すデータベースなどの既知情報が保持される。
　なお、情報処理装置２２がローカルのプロセッサモジュール４とネットワーク上のサーバ６の組み合わせによって構成されるようにしてもよい。
　エフェクタ部２３は、調理状態をコントロールするために情報処理装置２２により制御される周辺機器である。なお、センサ部２１に含まれず、調理者による情報の入力に関わる入力機器、作業エリアから離れた遠隔地にいるユーザが使用する情報端末などもエフェクタ部２３に含まれる。
　エフェクタ部２３は、例えば、UI機器５１、加熱装置１、空調装置８を備える。UI機器５１は、図１の情報端末７やPCなどにより構成される。エフェクタ部２３は、加熱操作の自動制御やユーザに対する情報提示を行う。
　図３は、演算部４１の機能構成例を示すブロック図である。
　図３に示すように、演算部４１においては、センサデータ入力部１０１、位置形状認識部１０２、表面温度抽出部１０３、プロセス状況認識部１０４、熱伝導特性推定部１０５、内部温度推定部１０６、およびエフェクタ制御部１０７が実現される。各処理部が有する機能の詳細については後述する。
　センサデータ入力部１０１は、センサ部２１から送信されてきたセンサデータを受信し、位置形状認識部１０２、表面温度抽出部１０３、プロセス状況認識部１０４、および熱伝導特性推定部１０５に出力する。
　位置形状認識部１０２は、センサデータ入力部１０１から供給されたセンサデータに基づいて、調理対象物１２の位置と形状を認識する。例えば、位置形状認識部１０２は、調理者の調理作業による視野の遮蔽を検出する。
　また、位置形状認識部１０２は、調理器具１１と調理対象物１２の検出と輪郭抽出を行う。位置形状認識部１０２は、調理対象物１２の形状認識と三次元モデルの構築を行う。調理対象物１２の三次元モデルは、調理対象物１２の形状と温度分布を表すモデルである。位置形状認識部１０２による認識結果は、表面温度抽出部１０３、プロセス状況認識部１０４、熱伝導特性推定部１０５、および内部温度推定部１０６に供給される。
　表面温度抽出部１０３は、センサデータ入力部１０１から供給されたセンサデータと位置形状認識部１０２から供給された調理対象物１２と加熱媒体の輪郭情報に基づいて、調理対象物１２と加熱媒体の表面温度を抽出する。表面温度抽出部１０３による表面温度の抽出結果は、プロセス状況認識部１０４、熱伝導特性推定部１０５、および内部温度推定部１０６に供給される。
　プロセス状況認識部１０４は、センサデータ入力部１０１から供給されたセンサデータと、位置形状認識部１０２から供給された調理対象物１２の位置形状と、表面温度抽出部１０３から供給された表面温度の抽出結果とに基づいて、調理プロセスの状況を認識する。具体的には、プロセス状況認識部１０４は、調理対象物１２の投入、除去、形状変化、位置姿勢変化などを検出する。プロセス状況認識部１０４による認識結果は、熱伝導特性推定部１０５、および内部温度推定部１０６に供給される。
　熱伝導特性推定部１０５は、プロセス状況認識部１０４により認識された調理プロセスの状況に応じて、センサデータ入力部１０１から供給されたセンサデータと、位置形状認識部１０２から供給された調理対象物１２の位置形状に基づいて、調理対象物１２の熱伝導特性を推定する。具体的には、熱伝導特性推定部１０５は、調理対象物１２の物性値を推定する。
　また、熱伝導特性推定部１０５は、位置形状認識部１０２から供給された調理対象物１２の輪郭情報と、表面温度抽出部１０３による表面温度の抽出結果に基づいて、調理対象物１２と加熱媒体の間の接触熱抵抗を推定する。熱伝導特性推定部１０５により推定された接触熱抵抗を表す情報は、内部温度推定部１０６に供給される。
　内部温度推定部１０６は、熱伝導特性推定部１０５から供給された情報に基づいて、調理対象物１２の被加熱部分の温度を推定する。プロセス状況認識部１０４により認識された調理プロセスの状況に応じて、被加熱部分の温度を設定した調理対象物１２の三次元モデルに基づいて、調理対象物１２の内部温度を推定する。内部温度推定部１０６による内部温度の推定結果は、エフェクタ制御部１０７に供給される。
　エフェクタ制御部１０７は、内部温度推定部１０６による内部温度の推定結果に基づいて、エフェクタ部２３の制御を行う。エフェクタ制御部１０７は、加熱装置１の制御、調理者に対する情報提示の制御などを行う。
＜＜３．情報処理装置の動作＞＞
＜全体の処理＞
　図４のフローチャートを参照して、以上のような構成を有する情報処理装置２２の処理について説明する。
　図４のフローチャートは、主要な処理内容を１つの実施形態として直列化して示すものである。各ステップの処理は、必ずしも図４に示す順序で実行されるものではない。一部の処理は、特定の条件下でのみ実行される。
　ステップＳ１において、センサデータ入力部１０１は、センサ部２１の各センサからのセンサデータの入力を受け付ける。温度センサ３１からは表面温度を表す熱画像が入力され、距離センサ３２からは可視画像としてのRGB画像が入力される。また、画像センサ３３からは深度情報としてのデプス画像が入力される。
　それぞれのセンサデータは、リアルタイムにキャプチャされる時系列データであり、任意のタイミングでセンサデータ入力部１０１に入力される。説明を簡単にするため、以下では、全てのセンサデータが一定の周期で同期して入力されるものとする。
　なお、図４のフローチャートを参照して説明する一連の処理は、新しいセンサデータが受信される毎に、周期的に繰り返し実行される。例えば、センサデータのフレームレートが30fpsである場合、一連の処理はおよそ33ms以内に完了する。
　ステップＳ２において、位置形状認識部１０２は、位置形状認識処理を行う。位置形状認識処理においては、調理者の調理作業が検出され、調理対象物１２の位置、輪郭、および形状が認識される。また、調理対象物１２の位置と形状の認識結果に基づいて、調理対象物１２の三次元モデルが構築される。位置形状認識処理の詳細については、図５のフローチャートを参照して後述する。
　ステップＳ３において、表面温度抽出部１０３は、表面温度抽出処理を行う。表面温度抽出処理においては、調理対象物１２と加熱媒体の表面温度が抽出される。表面温度抽出処理の詳細については、図９のフローチャートを参照して後述する。
　ステップＳ４において、プロセス状況認識部１０４は、ステップＳ４の処理までに得られた情報に基づいて、調理プロセスの状況を認識する。調理プロセスの状況の認識の詳細については後述する。
　ステップＳ５において、熱伝導特性推定部１０５は、熱伝導特性推定処理を行う。熱伝導特性推定処理においては、調理対象物１２の熱伝導特性が推定される。熱伝導特性推定処理の詳細については、図１３のフローチャートを参照して後述する。
　ステップＳ６において、内部温度推定部１０６は、内部温度推定処理を行う。内部温度推定処理においては、調理対象物１２の被加熱部分の温度が推定され、被加熱部分の温度の推定結果に基づいて、内部温度が推定される。内部温度推定処理の詳細については、図１５のフローチャートを参照して後述する。
　ステップＳ７において、エフェクタ制御部１０７は、内部温度推定部１０６による調理対象物１２の内部温度の推定結果に基づいて、エフェクタ部２３の制御を行う。エフェクタ部２３の制御の例については後述する。
　エフェクタ部２３の制御がステップＳ７において行われた後、処理は終了する。センサデータが入力される毎に、以上の一連の処理が実行される。
＜位置形状認識処理＞
　ここで、図５のフローチャートを参照して、図４のステップＳ２において行われる位置形状認識処理について説明する。
（２－１）調理者の操作による視野の遮蔽の検出
　ステップＳ２１において、位置形状認識部１０２は、調理者の調理作業によるカメラセンサの視野の遮蔽を検出する。
　調理者が調理対象物１２を操作しているとき、人間の手指やトングなどがカメラセンサの視野に入り、位置と形状を認識する対象物を遮蔽してしまうことがある。対象物には、ステーキ肉などの調理対象物１２と、フライパンなどの調理器具１１が含まれる。そのような状態で後段の処理を行うと、処理の精度が低下してしまう場合がある。
　位置形状認識部１０２は、RGB画像およびデプス画像に対する画像認識により、カメラセンサの視野内（撮影範囲内）に調理者の手が挿入されていることを検出し、手の位置を認識する。重要な対象物が調理者の調理作業により遮蔽されている場合、対象物の認識に関わる以降の処理がスキップされる。ステップＳ２２以降の処理がスキップされることにより、処理の精度の低下を防ぐことが可能となる。
（２－２）調理器具１１と調理対象物１２の検出および輪郭抽出
　ステップＳ２２において、位置形状認識部１０２は、調理器具１１と調理対象物１２が視野内に存在するかどうかを画像処理により検出する。位置形状認識部１０２は、調理器具１１と調理対象物１２が視野内に存在する場合、基本センサ群の画像上における調理器具１１と調理対象物１２の輪郭を抽出する。輪郭を抽出することは、対象物の輪郭を特定することを意味する。
　図６は、輪郭抽出の例を示す図である。
　図６には、調理器具１１としてのフライパンを用いて、調理対象物１２としてのステーキ肉を焼いている様子を撮像して得られたRGB画像が示されている。位置形状認識部１０２は、図６の太線で囲んで示すように、調理器具１１の器（本体）の部分の輪郭と、調理対象物１２の輪郭をそれぞれRGB画像から抽出する。
　基本センサ群により取得されたセンサデータに基づく画像処理技術を用いた輪郭抽出の手法として、様々な手法が考えられる。どの手法を用いる場合であっても、あるセンサにより取得された画像上で輪郭を特定できれば、センサ間の座標変換により、他のセンサにより取得された画像上でも輪郭を特定することができる。
　調理器具１１の輪郭抽出は、例えば以下の方法で行われる。
（Ａ）機械学習によるデータベースを利用する例
　機械学習により生成されたデータベース（推論モデル）を利用して、調理器具１１の物体検出と、調理器具１１の輪郭抽出が行われる。RGB画像を入力情報とすると、データベースからは、調理器具１１の輪郭を表す情報が出力情報として得られる。
（Ｂ）既知情報を利用する例
　調理器具１１の三次元形状を表す三次元モデルなどの既知情報が位置形状認識部１０２に用意される場合、既知情報を利用して、調理器具１１の輪郭抽出が行われる。例えば、デプス画像に基づいて生成された、シーン点群に対する三次元モデルのレジストレーション処理により、調理器具１１の有無と位置姿勢が検出される。検出された位置姿勢と三次元モデルに基づいて、RGB画像上での調理器具１１の輪郭が抽出される。
（Ｃ）調理器具１１に埋め込まれたマーカを利用する例
　調理器具１１の三次元形状と、調理器具１１の特定領域に埋め込まれた特徴パターンなどのマーカとが既知情報として位置形状認識部１０２に用意される場合、既知情報を利用して、RGB画像上におけるマーカの有無と位置姿勢が検出される。マーカの位置姿勢に基づいて、調理器具１１の位置姿勢が特定され、RGB画像上における輪郭が抽出される。
　位置形状認識部１０２は、上述したような手法により調理器具１１の有無の検出と輪郭の抽出を行った後、調理器具１１の輪郭内を注目領域として、調理対象物１２の有無の検出と輪郭の抽出を行う。
　本技術が提案する手法で扱える調理対象物１２としては、全体の形状、および、被加熱部分の形状を特定できる固形物が想定される。例えば、塊肉、魚（１尾または切り身）、パンケーキ、オムレツなどの固形物が、調理対象物１２として扱われる。調理器具１１上に複数の調理対象物１２が投入されるようにしてもよいし、種類が異なる調理対象物１２が混在して投入されるようにしてもよい。
　調理対象物１２の有無の検出と輪郭の抽出は、例えば以下の方法で行われる。
（Ｄ）機械学習によるデータベースを利用する例
　機械学習により生成されたデータベースを利用して、調理対象物１２の物体検出と、調理対象物１２の輪郭抽出が行われる。RGB画像を入力情報とすると、データベースからは、調理対象物１２の輪郭を表す情報が出力情報として得られる。
（Ｅ）背景差分処理を利用する例
　調理器具１１の三次元形状が既知であり、上記（Ｂ）または（Ｃ）の手法で調理器具１１の位置姿勢が検出された場合、調理器具１１だけが写るデプス画像が生成される。調理器具１１だけが写るデプス画像を背景として、ステレオカメラ２により実際に撮像されたデプス画像に対して背景差分処理を行うことにより、調理対象物１２のデプス画像が前景として抽出される。これにより、デプス画像上における調理対象物１２の輪郭が抽出される。
（２－３）調理対象物１２の形状認識と三次元モデル構築
　図５の説明に戻り、ステップＳ２３において、位置形状認識部１０２は、調理対象物１２の三次元モデルの構築を行う。位置形状認識部１０２は、調理対象物１２の三次元モデルをセンサデータに基づいて構築する構築部として機能する。
　調理器具１１に調理対象物１２が投入された場合、位置形状認識部１０２は、調理対象物１２の形状を表す形状情報に基づいて三次元モデルの構築を行う。
　また、調理対象物１２の形状、体積、および位置姿勢のいずれかが調理過程で変化した場合、位置形状認識部１０２は、三次元モデルの再構築を行う。
　デプス画像上における調理対象物１２の輪郭がステップＳ２２の処理により抽出されているため、調理対象物１２の点群データを作成することが可能となる。点群データは、距離センサ３２が距離を検出可能な露出面に関する、調理対象物１２の三次元形状を表す。なお、加熱媒体となる調理器具１１（特に、調理対象物１２と接する加熱面）の三次元形状と位置姿勢が認識されている。調理器具１１の三次元形状と位置姿勢は、調理対象物１２の三次元モデルの基準となる。
　図７、図８は、調理対象物１２の三次元モデルを構築する方法の例を示す断面図である。図７、図８には二次元の断面が示されているが、実際には、三次元のモデルを構築するようにして処理が行われる。
　図７のＡに示すように、調理対象物１２としてのステーキ肉が調理器具１１に置かれているものとする。位置形状認識部１０２は、デプス画像に基づいて、調理対象物１２の点群データを生成する。
　図７のＢの破線で示すように、デプス画像に基づく点群データは、調理器具１１の上方に設置された距離センサ３２の画角に含まれる、調理対象物１２の露出面を表すように生成される。
　図７のＣに示すように、位置形状認識部１０２は、調理器具１１の加熱面を基準として、調理対象物１２を含む、調理器具１１上の空間のメッシュ分割を行う。図７のＣにおいて、調理器具１１上の空間はボクセルで分割される。メッシュの形状や細かさを表す設定パラメータは、調理対象物１２の種類、大きさ、形状などに応じて適宜設定される。
　図８のＡの濃く塗り潰されたボクセルで示すように、位置形状認識部１０２は、調理対象物１２の点群データを含むボクセルを三次元モデルの構成要素として確定する。
　図８のＢの薄く塗り潰されたボクセルで示すように、位置形状認識部１０２は、点群データに基づいて三次元モデルの構成要素として確定したボクセルの下部（調理器具１１の加熱面に対して垂直に距離センサ３２から遠ざかる方向）にある全てのボクセルについても、三次元モデルの構成要素として確定する。
　位置形状認識部１０２は、構成要素として確定したボクセルの集合を、調理対象物１２の三次元モデルの形状構造とすることによって、調理対象物１２の三次元モデルを構築する。
　以上のような三次元モデルの構築手順は一例である。距離センサ３２により計測された調理対象物１２の形状情報に基づいて、熱伝導解析に適した表現形式となるように、調理対象物１２の三次元モデルが構築される。ステップＳ２２において行われる輪郭抽出やステップＳ２３において行われる三次元モデルの構築の精度は、熱伝導解析の結果として必要とされる内部温度の推定精度に基づいて決まる。
　調理対象物１２の三次元モデルがステップＳ２３において構築された後、図４のステップＳ２に戻り、それ以降の処理が行われる。
＜表面温度抽出処理＞
　図９のフローチャートを参照して、図４のステップＳ３において行われる表面温度抽出処理について説明する。
（３－１）調理対象物１２の表面温度の抽出
　ステップＳ３１において、表面温度抽出部１０３は、温度センサ３１により取得された熱画像に基づいて、調理対象物１２の表面温度を抽出し、位置形状認識部１０２により構築された調理対象物１２の三次元モデルにマッピングする。温度を抽出することは、温度を検出することを意味する。
　調理対象物１２の表面上において、熱画像に基づいて温度を抽出できる位置を「温度抽出点」という。温度抽出点は三次元座標で表される。
　また、三次元モデル上で温度が定義される位置を「温度定義点」という。温度定義点は、三次元モデルの構成方法に応じて設定される。例えば、温度定義点は、各ボクセルの頂点や中心点に設定される。
　表面温度抽出部１０３は、温度定義点の近傍にある温度抽出点の温度値に基づいて当該温度定義点の温度を決定する。例えば、表面温度抽出部１０３は、温度定義点から一定の距離内の領域を近傍の領域として、温度定義点に最も近接している温度抽出点の温度を、当該温度定義点の温度として決定する。
　温度抽出点のノイズが多い場合には熱画像にフィルタ処理を適用したり、温度定義点の近傍で温度勾配が大きい場合には温度定義点の温度を線形補完したりするなどの一般的なサンプリング処理を用いて、温度定義点の温度が決定されるようにしてもよい。
　例えば、図１０の斜線を付して示すボクセルの温度定義点が決定される。斜線を付して示すボクセルは、調理対象物１２の点群データを含むボクセルと一致する。なお、温度定義点が決定されるボクセルは、調理対象物１２の点群データを含むボクセルと一致しなくてもよい。
（３－２）加熱媒体の表面温度の抽出
　ステップＳ３２において、表面温度抽出部１０３は、温度センサ３１により取得された熱画像に基づいて、加熱媒体の表面温度を抽出する。
　図４のステップＳ２における位置形状認識処理により、熱画像上における、調理器具１１と調理対象物１２の輪郭が抽出されている。例えば、図１１のＡに示すような、フライパンを用いてステーキ肉を焼いている様子を撮像して得られた熱画像に対して画像処理が行われることにより、図１１のＢに白抜きの太線で囲んで示すように、調理器具１１と調理対象物１２の輪郭が抽出される。
　表面温度抽出部１０３は、調理器具１１の輪郭の内側から調理対象物１２の輪郭の内側を除いた、図１２のＡに斜線を付して示すような領域の温度に基づいて、加熱媒体の表面温度を抽出する。温度が実際に計測されている加熱媒体は、例えば、調理器具１１に投入されている油脂や水分である。
　図１１のＡの熱画像に示すように、フライパン上での油脂の溜まり方によって、加熱媒体の温度分布にはムラが生じる。調理対象物１２に対する熱伝導に直接寄与する加熱媒体の温度を得るためには、調理対象物１２の近傍の領域に注目することが好ましい。
　そこで、図１２のＢに示すように、表面温度抽出部１０３は、調理対象物１２の拡大輪郭を求め、拡大輪郭の内側から、調理対象物１２の輪郭の内側を除いた領域である近傍領域に注目する。拡大輪郭は、調理対象物１２の輪郭を外側に拡大した輪郭であり、調理器具１１の輪郭の内側に含まれるように設定される。図１２のＢにおいて斜線を付して示す領域が近傍領域となる。
　表面温度抽出部１０３は、加熱媒体の領域全体のうちの近傍領域の平均温度を、加熱媒体の表面温度Ｔheatとして抽出する。
　加熱媒体の表面温度ＴheatがステップＳ３２において算出された後、図４のステップＳ３に戻り、それ以降の処理が行われる。
＜調理プロセスの状況認識＞
　図４のステップＳ４において行われる調理プロセスの状況の認識の詳細について説明する。例えば、以下の状況が起きたことがプロセス状況認識部１０４により認識される。
（Ａ）調理器具１１への調理対象物１２の投入
（Ｂ）調理器具１１からの調理対象物１２の除去
（Ｃ）調理器具１１内での調理対象物１２の位置姿勢変化
（Ｄ）調理器具１１内での調理対象物１２の形状変化
　基本センサ群により取得されたセンサデータに基づく画像認識技術を用いた状況認識の手法として様々な認識手法が考えられる。以下において一例を説明する。
　ステップＳ２，Ｓ３の処理により、調理器具１１に投入されている調理対象物１２の個数、それぞれの位置、輪郭、形状、表面温度が認識されている。また、調理者による調理作業が行われたタイミングも補助情報として認識されている。補助情報は、調理プロセスの状況の認識を補助するための情報である。
　調理対象物１２の投入または除去（上記（Ａ）または（Ｂ））が起きたことは、調理者による調理作業が行われた前後で、調理対象物１２の個数が変化した場合に認識される。
　センサ部２１を構成するセンサとして重量センサが設けられる場合、不連続な重量変化が重量センサにより検出されたことに応じて、調理対象物１２の投入または除去が起きたことが認識されるようにしてもよい。調理対象物１２が複数ある場合、調理対象物１２としての個体の同一性が特定され、三次元モデルとの対応付けが適切に維持される必要がある。
　調理対象物１２の位置姿勢の変化（上記（Ｃ））が起きたことは、個数変化の有無に関わらず、調理対象物１２の位置、輪郭、形状、表面温度、表面画像などの変化に基づいて認識される。特に、焼いている肉や魚の裏返しなど、加熱媒体と接触している調理対象物１２の部分（被加熱部分）が大きく変化したことが認識される。
　ステーキ肉を裏返す例においては、ステーキ肉の位置、輪郭、形状などに大きな変化がない場合があるため、これらの情報を参照しながら、後述するように調理対象物１２の表面温度の変化に基づいて、ステーキ肉の位置姿勢の変化が判断されることが好ましい。
　調理対象物１２の形状が調理過程で変化することがある。例えば、調理対象物１２としてのパンケーキやハンバーグは加熱により膨らむ。調理対象物１２の姿勢や形状が調理過程で変化して、三次元モデルとの乖離が大きくなった場合、三次元モデルの再構築が必要となる。三次元モデルの再構築については後述する。
＜熱伝導特性推定処理＞
　図１３のフローチャートを参照して、図４のステップＳ５において行われる熱伝導特性推定処理について説明する。
・熱伝導特性の生成
　ステップＳ４１において、熱伝導特性推定部１０５は、プロセス状況認識部１０４によるプロセス状況の認識結果に基づいて、調理対象物１２の投入が検出されたか否かを判定する。
　調理対象物１２の投入が検出されたとステップＳ４１において判定した場合、ステップＳ４２において、熱伝導特性推定部１０５は、調理器具１１に投入された調理対象物１２の熱伝導特性を推定する。熱伝導特性は、熱伝導解析に必要なパラメータであり、例えば、物体の熱伝導率、比熱、密度、および熱拡散係数を含む。熱拡散係数は、物体の熱伝導率、比熱、密度に基づいて算出される。
　具体的には、熱伝導特性推定部１０５は、調理対象物１２としての食材の種類、部位、品質などを表す食材特性を特定し、食材特性に対応する熱伝導特性を様々な既知の計測データを利用して求める。食材特性は、例えば、以下に説明する方法で特定される。
（Ａ）調理者がレシピデータを選択する例
　調理者は、エフェクタ部２３が備えるUI機能を用いて、レシピデータを選択する。例えば、情報端末７にインストールされたアプリケーションによるナビゲーションに従って調理作業を行う際、調理者は、作る料理のレシピデータを選択する。
　熱伝導特性推定部１０５は、調理者により選択されたレシピデータに含まれる食材特性情報を直接取得するか、または、データベースから食材特性情報を取得することによって、食材特性を特定する。
（Ｂ）調理者が食材特性を入力する例
　上記（Ａ）の方法の補助手段として、調理者が、UI機能を用いて食材特性を直接入力する。例えば、レシピデータが提示する食材の食材特性と、実際に調理に用いられる食材の食材特性とに差分がある場合、調理者は、レシピデータが保持していない食材特性の情報を入力する。電子レンジなどの調理器具１１の本体のボタンを用いて、食材の種類が設定されるようにしてもよい。
（Ｃ）画像認識により食材特性を特定する例
　熱伝導特性推定部１０５は、調理対象物１２が写るRGB画像などの、センサ部２１により取得された情報に基づく画像認識により、調理対象物１２の食材特性を特定する。食材の個体差が現れる肉の脂肪含有量などの食材特性については、実際の調理対象物１２が写る画像に対する画像認識が有効となる。
（Ｄ）密度を特定する例
　熱伝導特性推定部１０５は、調理対象物１２の三次元モデルに基づいて、投入された調理対象物１２の体積を特定することができる。センサ部２１が重量センサを備え、調理対象物１２の重量を個々に計測できる場合、熱伝導特性推定部１０５は、調理対象物１２の体積と重量に基づいて密度を特定する。上記（Ｃ）の方法で食材特性を特定する場合、密度を既知情報とすることにより、より確からしい食材特性の候補を絞り込むことができる。
　以上のようにして特定された食材特性に基づいて、調理対象物１２の熱伝導特性が推定される。
・熱伝導特性の更新
　一方、調理対象物１２の投入が検出されていないとステップＳ４１において判定された場合、処理はステップＳ４３に進む。
　ステップＳ４３において、熱伝導特性推定部１０５は、プロセス状況認識部１０４によるプロセス状況の認識結果に基づいて、調理対象物１２の形状変化が検出されたか否かを判定する。
　調理対象物１２の形状変化が検出されたとステップＳ４３において判定した場合、ステップＳ４４において、熱伝導特性推定部１０５は、調理対象物１２の熱伝導特性を更新する。
　調理対象物１２の熱伝導特性は、一般的に、加熱過程で変化する。そのため、投入時に限らず、投入後においても、熱伝導特性の更新が随時行われることが望ましい。熱伝導特性推定部１０５は、熱伝導特性の更新を加熱過程などの調理過程において繰り返し行う。
　パンケーキなどの、加熱過程で密度が大きく変化する食材もある。そのような密度の変化は熱伝導特性に影響する。加熱過程において調理対象物１２の体積が大きく変化した場合、熱伝導特性推定部１０５は、調理対象物１２の状態に基づいて、密度の推定値を更新する。
　肉や魚は、加熱によって水分が失われていく。水分の比熱が高いため、調理対象物１２の水分含有量は熱伝導特性に大きな影響を与える。そのため、水分含有量の変化を検出することも有用である。
　例えば特許文献４に記載されているように、調理対象物１２の重量変化が水分蒸発によるものであると仮定される場合、熱伝導特性推定部１０５は、調理対象物１２の重量変化に基づいて、水分含有量を推定することができる。
　また、別の方法として、画像センサ３３により取得されたRGB画像を入力とし、調理対象物１２の食材特性と水分含有量を出力とするように機械学習によって構築されたデータベースを用いて、水分含有量が検出されるようにしてもよい。この場合、熟練のシェフが調理対象物１２の状態を見た目で判断するのと同等の推定精度が期待できる。
　RGB画像に限らず、調理対象物１２を撮像して得られた熱画像（調理対象物１２の表面温度）、後段の処理において推定される内部温度などを用いた機械学習によって、データベースが構築されるようにしてもよい。
　センサ部２１に近赤外分光計が設けられる場合、近赤外分光計により計測された調理対象物１２の赤外線放射スペクトルに基づいて水分含有量の変化が求められるようにしてもよい。このように、水分含有量が直接的に計測されるようにしてもよい。
・接触熱抵抗の推定
　一方、調理対象物１２の形状変化が検出されていないとステップＳ４３において判定された場合、処理はステップＳ４５に進む。
　ステップＳ４５において、熱伝導特性推定部１０５は、プロセス状況認識部１０４によるプロセス状況の認識結果に基づいて、調理対象物１２の姿勢変化が検出されたか否かを判定する。
　調理対象物１２の姿勢変化が検出されたとステップＳ４５において判定した場合、ステップＳ４６において、熱伝導特性推定部１０５は、調理対象物１２と加熱媒体の間の接触熱抵抗の推定を行う。
　図１４は、フライパンで焼いているステーキ肉を裏返す前後の熱画像の例を示す図である。
　図１４の上段に示すように、調理対象物１２としてのステーキ肉を裏返す前においては、調理対象物１２の表面はまだ加熱されておらず、常温に近い温度を維持している。図１４の上段において、調理対象物１２の表面が黒っぽい色で示されることは、表面温度が、周囲の加熱媒体などの温度と比べて低いことを表す。
　一方、図１４の下段に示すように、調理対象物１２を裏返した後においては、調理対象物１２の表面は、加熱されたことにより高温になる。図１４の下段において、調理対象物１２の表面が白っぽい色で示されることは、表面の温度が、周囲の加熱媒体などの温度と同様に高温になっていることを表す。
　調理対象物１２の温度と、調理対象物１２の近傍にある加熱媒体の温度が図４のステップＳ２，Ｓ３の処理により抽出されている。調理対象物１２と加熱媒体の温度に基づいて、調理対象物１２の姿勢が変化して、調理対象物１２の裏面であった被加熱部分が表面に露出したこと、すなわち、調理対象物１２が裏返されたことが判断される。
　例えば、下式（１）、（２）で定義される条件を満たす場合、調理対象物１２が裏返されたと判断される。なお、下式（１）、（２）に基づく、調理対象物１２が裏返されたことの判断はプロセス状況認識部１０４により行われる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　Ｔbeforeは姿勢変化前の調理対象物１２の表面温度を表し、Ｔafterは姿勢変化後の調理対象物１２の表面温度を表す。Ｔheatは姿勢変化後の調理対象物１２近傍の加熱媒体の温度を表す。
　また、Ｔflipは裏返しが起きたと判断される温度差の閾値を表し、Ｔgapは調理対象物１２が加熱媒体に十分な時間接触したと判断される接触面の温度差の閾値を表す。
　式（１）で定義される条件を満たすことは、調理対象物１２の表面温度の変化が、姿勢変化の前後において閾値より大きいこと、すなわち、裏返しによって露出した調理対象物１２の表面が十分に加熱されていることを意味する。
　また、式（２）で定義される条件を満たすことは、加熱媒体の温度と、姿勢変化後の調理対象物１２の表面温度との差が閾値より小さいこと、すなわち、裏返しによって露出した調理対象物１２の表面が、加熱媒体の温度に近い温度まで十分に加熱されていることを意味する。
　式（１）、（２）で定義される条件を満たし、十分に加熱された調理対象物１２の被加熱部分が表面に露出した直後であると判断されるときの表面温度Ｔafterは、温度Ｔheatの加熱媒体に接触していた被加熱部分の温度と等しい温度としてみなすことができる。
　図１４の下段の熱画像に示すように、被加熱部分の温度が反映されている表面温度Ｔafterと、加熱媒体の温度Ｔheatには差があり、一般的に、加熱媒体の温度Ｔheatの方が、表面温度Ｔafterよりも高い温度になる。これは、加熱媒体と調理対象物１２の接触面に生じる接触熱抵抗によるものである。
　加熱媒体と調理対象物１２の接触面における接触熱抵抗Ｒcontactは、下式（３）により定義される。
Figure JPOXMLDOC01-appb-M000003
　Ｑは加熱媒体から調理対象物１２に伝わる熱流量を表す。定常熱伝導の場合、熱流量Ｑは、下式（４）により表現される。
Figure JPOXMLDOC01-appb-M000004
　Ａは熱伝導が生じる接触面の面積を表し、ｋは調理対象物１２の熱伝導率を表す。ｚは熱が伝わる方向を表す。ここでは、ｚは接触面から垂直上方向を表す。Ｔは調理対象物１２の温度であり、ｚの関数で表される。
　面積Ａは、図４のステップＳ２の位置形状認識処理により抽出された調理対象物１２の輪郭に基づいて求められる。熱伝導率ｋは、ステップＳ５の熱伝導特性推定処理により推定された熱伝導特性の一部として求められる。
　したがって、∂Ｔ/∂ｚが決まれば、式（４）により、熱流量Ｑが推定される。加熱媒体の温度が安定し、十分な時間加熱した状況においては、調理対象物１２の内部の温度勾配は、接触面から中心部に向かって（ｚ方向に沿って）比較的単調な勾配になると期待できる。
　直線的な温度勾配が生じる場合、∂Ｔ/∂ｚは下式（５）で表される値に近似できる。
Figure JPOXMLDOC01-appb-M000005
　Ｌは調理対象物１２のｚ方向の厚みを表し、ステップＳ２の処理により構築された三次元モデルに基づいて求められる。Ｔcenterは、接触面から距離Ｌ/２だけ上方に位置する、調理対象物１２の中心部の温度を表す。
　中心部の温度Ｔcenterの値は、正確には未知であるが、式（１）が成り立つ場合、ＴcenterとＴbeforeの値は同じ値として近似することができる。姿勢変化前の露出面がまだ直接加熱されておらず、露出面の温度が常温（加熱開始前の温度）に近い状態を想定すると、中心部の温度も、同程度の温度に留まっていると考えられる。
　したがって、接触熱抵抗Ｒcontactは下式（６）で近似的に求められる。
Figure JPOXMLDOC01-appb-M000006
　このようにして求められた接触熱抵抗Ｒcontactが、内部温度の推定に用いられる。接触熱抵抗がステップＳ４６において推定された後、図４のステップＳ５に戻り、それ以降の処理が行われる。
　ステップＳ４２において熱伝導特性が求められた後、ステップＳ４４において熱伝導特性が更新された後、または、調理対象物１２の姿勢変化が検出されていないとステップＳ４５において判定された場合も同様に、図４のステップＳ５に戻り、それ以降の処理が行われる。
＜内部温度推定処理＞
　図１５のフローチャートを参照して、図４のステップＳ６において行われる内部温度推定処理について説明する。
（６－１）被加熱部分の温度の推定
　ステップＳ６１において、内部温度推定部１０６は、加熱媒体と接触する被加熱部分の温度を推定し、調理対象物１２の三次元モデルにマッピングする。例えば、図１０のドットを付して示すボクセルの温度定義点に対して、被加熱部分の温度がマッピングされる。
　式（６）において、表面温度Ｔafterを被加熱部分（底面）の温度Ｔbottomに置き換え、表面温度Ｔbeforeを露出面（表面）の温度Ｔtopに置き換えて変形することにより、被加熱部分の温度Ｔbottomを表す下式（７）が得られる。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　式（８）に示すように、ｒは無次元の定数となる。接触熱抵抗Ｒcontactは、接触面の粗さ、硬さ、押し付け圧力などに起因する。加熱媒体となる油脂等が接触面で均一に介在し、調理対象物１２の被加熱部分がある程度加熱された状態においては、接触熱抵抗Ｒcontactが急激に変化することはないと考えられる。
　したがって、一度算出された接触熱抵抗Ｒcontactを定数として扱うことにより、加熱媒体の温度Ｔheat、調理対象物１２の露出面の温度Ｔtop、および、既知パラメータにより求められる定数ｒに基づいて、調理対象物１２の被加熱部分の温度Ｔbottomを推定することができる。
　接触熱抵抗Ｒcontactが未知である場合、内部温度推定部１０６は、接触熱抵抗Ｒcontact＝０とみなし、調理対象物１２の被加熱部分の温度Ｔbottomとして、加熱媒体の温度Ｔheatをマッピングする。
（６－２）内部温度の推定
　ステップＳ６２において、内部温度推定部１０６は、調理対象物１２の内部温度を推定する。前段までの処理により、調理対象物１２の表面部分と被加熱部分の温度は、三次元モデルにマッピングされている。
　ここで、調理対象物１２の内部は、温度がマッピングされていない３次元モデルの領域に対応する部分である。内部温度は、以下の条件毎に異なる方法で推定される。
（Ａ）調理対象物１２の三次元モデルを最初に構築したとき
　調理対象物１２が調理器具１１に投入され、加熱が開始された初期状態においては、調理対象物１２の内部温度は均一であると仮定される。すなわち、内部温度は、温度センサ３１により計測される表面温度に近い温度であると考えられる。
　この場合、内部温度推定部１０６は、調理対象物１２の表面温度の平均値を求め、調理対象物１２の内部に対応するボクセルに内部温度としてマッピングする。これは、熱伝導解析の初期条件に対応する。
　このように、調理対象物１２の三次元モデルを最初に構築したときには、調理対象物１２の表面温度の代表値が内部温度として推定される。調理対象物１２の表面温度の代表値は、調理対象物１２の表面温度の平均値や中央値などの、調理対象物１２の表面温度に基づいて求められる値を含む。
（Ｂ）調理対象物１２の位置姿勢や形状の変化を検出したとき
　調理対象物１２の位置姿勢や形状の変化がステップＳ４において認識された場合、三次元モデルの再構築が行われる。
　図１６は、三次元モデルの再構築の例を示す断面図である。
　図１６の上段に示すように、調理対象物１２が例えば裏返されることにより、調理対象物１２の姿勢と形状が変化する。図１６の上段の左側に示すように、姿勢と形状が変化する前においては、調理対象物１２の底面温度が高く、表面温度が低い。一方、右側に示すように、姿勢と形状が変化した後においては、調理対象物１２の表面温度が高く、底面温度が低い。
　調理対象物１２の姿勢と形状が変化したことに応じて、図１６の下段に示すように、三次元モデルの再構築が行われる。
　調理対象物１２の姿勢と形状が変化した場合、調理対象物１２のボクセルの作成と、ドットを付して示す三次元モデルの表面部分における温度定義点の温度の抽出とが、ステップＳ２，Ｓ３の処理と同様にして行われる。
　調理対象物１２の姿勢と形状が変化した場合の底面温度は、ステップＳ６１の処理により特定され、ドットを付して示すボクセルにマッピングされる。
　三次元モデルを構成するボクセルのうち、表面部分と被加熱部分を除いた他のボクセルについては、理想的には、熱伝導解析を継続するために、再構築前に推定されていた温度分布が再現されることが望ましい。
　しかし、調理者による調理作業の前後で調理対象物１２の姿勢と形状がどのように変化したのかを特定することは一般的に難しい。よって、三次元モデルの温度分布をボクセル単位で対応付けて、再構築前の三次元モデルから再構築後の三次元モデルに写像することは容易ではない。
　そこで、以下のような方法により、調理対象物１２の内部に対応する三次元モデルの温度定義点の温度がマッピングされる。
　はじめに、内部温度推定部１０６は、再構築前の温度分布に基づいて、調理対象物１２の内部エネルギーＵall（調理対象物１２が保持する総熱量）を下式（９）に基づいて求める。
Figure JPOXMLDOC01-appb-M000009
　ｃは比熱を表し、Ｔｉは温度を表す。Ｔ０は基準温度を表す。添字ｉは温度定義点を表す。式（９）により、再構築前の三次元モデルの全ての温度定義点についての内部エネルギーの和が求められる。
　なお、比熱ｃは、一般的には食材全体で均一ではなく、温度依存性もあるが、ここでは定数として扱われる。食材の部位や温度に対する依存性を含む比熱ｃの正確な値がステップＳ５において得られる場合、定数として扱うのではなく、比熱ｃの正確な値を用いて計算が行われるようにしてもよい。
　次に、内部温度推定部１０６は、下式（１０）に示すように、再構築後の三次元モデルにおいて温度が特定できている部分の内部エネルギーＵboundを求める。
Figure JPOXMLDOC01-appb-M000010
　添字ｊは温度定義点を表す。式（１０）により、再構築後の三次元モデルにおいて温度が抽出されている表面部分と被加熱部分に対応する領域の温度定義点についての内部エネルギーの和が求められる。
　内部温度推定部１０６は、再構築後の三次元モデルにおいて温度が特定されていない温度定義点の総数をＮbulkとして、下式（１１）により温度Ｔbulkを求める。
Figure JPOXMLDOC01-appb-M000011
　内部温度推定部１０６は、再構築後の三次元モデルにおいて温度が特定されていない温度定義点の温度値として、温度Ｔbulkをマッピングする。
　このように、調理対象物１２の位置姿勢や形状の変化が認識されたときには、再構築の前後で内部エネルギーの和が保存されるように三次元モデルの再構築が行われ、再構築後の三次元モデルに基づいて、温度Ｔbulkが内部温度として推定される。これにより、三次元モデルの再構築の前後で、内部温度の推定精度を実質的に維持することが可能となる。
（Ｃ）その他のとき
　上記（Ａ）または（Ｂ）の方法で構成された三次元モデルを用いて、内部温度推定部１０６は、有限要素法などの数値解析によって熱伝導解析を行う。熱伝導の数理モデルである熱伝導モデルは、下式（１２）のような三次元の非定常熱伝導方程式で表される。
Figure JPOXMLDOC01-appb-M000012
　κは熱拡散係数を表し、ｔは時間を表す。Ｔ(x,y,z,t)は、時間と空間の関数として表される調理対象物１２の温度を表す。以下、空間座標を表す引数ｘ，ｙ，ｚは省略する。熱伝導モデルは図１７に示すものとなる。
　非定常熱伝導方程式の初期条件として、時刻ｔ＝０においての温度分布Ｔ(０)が与えられる。時刻ｔ＝０は、調理対象物１２が調理器具１１に投入された時刻である。上記（Ａ）の方法において、三次元モデルにマッピングされた温度分布が初期条件の温度分布Ｔ(０)に対応する。なお、上記（Ｂ）の方法において行われる三次元モデルの再構築は、時刻ｔ＞０のタイミングで行われるが、実質的には、初期条件の再設定を意味する。
　時刻ｔ＞０での境界条件として、温度センサ３１により計測された表面温度の温度分布Ｔtop(t)と、ステップＳ６１で推定された底面温度の温度分布Ｔbottom(t)が与えられる。
　境界条件として束縛されない、調理対象物１２の内部の温度は、式（１２）を離散化した支配方程式に基づく数値計算により求められる。
　ところで、調理対象物１２の仕上がりを適切にコントロールするためには、加熱を止めた後の余熱過程での調理対象物１２の内部温度の変化を予測することが重要になる。特に、調理対象物１２のボリュームが大きい場合、調理対象物１２の中心温度は、余熱過程で大きく変化する。
　内部温度推定部１０６は、上述した熱伝導モデルを応用して、余熱過程における調理対象物１２の温度変化の予測を行う。例えば、時刻ｔ＝ｔstopにおいて加熱を止めた場合、内部温度推定部１０６は、時刻ｔ＝ｔstop以降の表面温度の温度分布Ｔtop(t)と底面温度の温度分布Ｔbottom(t)の時間変化を予測して境界条件として用いて、同様の数値解析を実時間に先行して実行する。
　まず、温度分布Ｔtop(t)の予想方法を考える。上述したように、調理対象物１２の露出面の温度が温度センサ３１により常に計測されているため、温度分布Ｔtop(t)は、加熱を停止するまでの計測値の時系列データに基づいて予測される。
　図１８は、フライパンで焼かれているステーキ肉が裏返された後における露出面の温度変化の計測結果の例を示す図である。縦軸は露出面の温度を表し、横軸は経過時間を表す。
　図１８に示すように、裏返された後の露出面の温度は単調減少を続ける。露出面の温度が低下して室温に近づくにつれて、温度変化は緩やかな直線状になる。したがって、加熱を止めた時点での温度変化の傾きを求め、単純な外挿により加熱停止後の温度分布Ｔtop(t)の温度変化を予測する方法を用いれば、十分な精度の温度分布Ｔtop(t)が得られる。
　次に、温度分布Ｔbottom(t)の予測方法を考える。温度分布Ｔbottom(t)の予測は、加熱停止後の加熱媒体の温度変化の予測結果に基づいて行われる。
　図１９は、加熱を止めた後におけるフライパンの温度変化の計測結果の例を示す図である。縦軸はフライパンの温度を表し、横軸は経過時間を表す。
　図１９に示すように、加熱を止めた後のフライパンの温度は単調減少を続ける。フライパンの温度が低下して室温に近づくにつれて、温度変化は緩やかな直線状になる。ただし、温度低下の速さはフライパンなどの加熱媒体の熱伝導特性によって異なる。主に、熱容量が温度低下の速さに影響を与える。
　したがって、加熱媒体の温度変化を正確に予測するためには、実際に用いられる調理器具１１の熱伝導特性が必要となる。調理器具１１の熱伝導特性は、調理器具１１の材質、比熱、体積、表面積などの熱伝導に関わる物性値に基づいて計算される。実際に使用する調理器具１１の熱伝導特性を推定し、熱伝導特性に基づいて加熱媒体の温度変化を予測する方法は、汎用性がないため、現実的な方法ではない。
　加熱媒体の温度変化を予測するために、例えば、実際に使用する調理器具１１についてのキャリブレーションを初期設定として行うことが効果的な方法となる。
　例えば、調理者は、実際に使用する調理器具１１だけをコンロに置き、十分な高温になるまで加熱してから火を止めて自然放置する。冷却過程における調理器具１１の温度が温度センサ３１により計測されることにより、図１９に示すような温度変化を表す曲線が得られる。調理器具１１の温度とともに、室温も計測される。
　内部温度推定部１０６は、調理器具１１の温度と室温の差に応じて決まる、調理器具１１の温度低下の傾きを、調理器具１１の特性値として保持する。キャリブレーション後において、内部温度推定部１０６は、調理過程において加熱を停止した時点の調理器具１１の温度の計測値と室温の計測値に基づいて、調理器具１１の温度変化を予測することができる。
　内部温度推定部１０６は、調理器具１１の温度変化に基づいて、上述した式（８）に基づいて温度分布Ｔbottom(t)の温度変化を予測することができる。
　調理対象物１２の内部温度がステップＳ６２において推定された後、図４のステップＳ６に戻り、それ以降の処理が行われる。
＜エフェクタ制御＞
　図４のステップＳ７において行われるエフェクタ部２３の制御の詳細について説明する。エフェクタ部２３の制御の内容が、調理者に対する価値の提供に繋がる。エフェクタ部２３の制御に関する代表的なアプリケーションの例を以下で説明する。
（Ａ）加熱状況の情報提示
　エフェクタ制御部１０７は、図１の情報端末７と通信を行い、調理対象物１２の加熱状態を調理者に対して提示する。例えば、情報端末７のディスプレイには、調理対象物１２と調理器具１１の温度分布を可視化した情報が表示される。
　例えば、エフェクタ制御部１０７は、三次元モデルに基づいて、調理対象物１２の表面温度と内部温度を、自由な視点で、リアルタイムに表示させる。表面温度と内部温度の表示は、CGを用いて、PCにインストールされたCAE(Computer Aided Engineering)ツールで熱伝導解析の結果を画面に表示するのと同様にして表示される。
　ある時刻の温度分布だけでなく、熱流（時間方向の温度勾配）を可視化することにも強いニーズがある。CAEツールでベクトル場を可視化するのと同様に、熱流が可視化されるようにしてもよい。現在の温度分布に加え、食材に熱が通る速さが提示されることによって、調理者は、調理対象物１２の変化を予測することが可能となる。調理支援システムは、理想の仕上がりを得るための適切な加熱制御が可能となるように調理者を支援する。
　下記（Ｂ）において説明するような自動調整機能が今後進化していくと思われるが、人間のスキルが優位な場面も多い。遠隔地にいて、情報端末７による提示を見た熟練のシェフによる判断や指導を受けながら、作業エリアにおける調理が進められるようにしてもよい。調理支援システムを構成する情報端末７は、イントラネットやインターネットを介して情報処理装置２２に接続される。
（Ｂ）火力の自動調整
　エフェクタ制御部１０７は、図１の加熱装置１と通信を行い、火力を自動調整する。ムラのない加熱を行うためには、調理内容に応じて、加熱媒体の温度を一定に保つことが望ましい。例えば、エフェクタ制御部１０７は、ステップＳ３において抽出された加熱媒体の温度に応じて、加熱装置１の火力をフィードバック制御によって調整する。
　また、後述するように、余熱過程のシミュレーションにより、調理対象物１２の中心温度が狙い通りになると期待できるタイミングで加熱を自動的に止める機能も有用である。
（Ｃ）空調の制御
　調理環境の温度や湿度などの環境条件は、料理の仕上がりに大きな影響を及ぼす場合がある。肉や魚の調理では、食材の温度を常温に戻す作業が下準備として行われる。過熱開始時に食材の温度にムラがあると焼き加減のムラに直結するため、常温（室内の気温）を一定に保つことが重要である。
　余熱過程でも、肉を置く場所の気温によって中心温度の変化は異なる。料理の再現性を追求して加熱条件を正確にコントロールするには、調理環境に特化した専用装置での空調制御が有効であると思われる。
　エフェクタ制御部１０７は、サーモグラフィカメラ３により計測された温度情報に基づくフィードバック制御として、調理対象物１２の周辺が適切な条件になるように空調装置８の動作設定をコントロールする。
　加熱装置１などの、基本センサ群以外の他機器に内蔵されているセンサを含む補助的なセンサにより計測されたデータが利用されるようにしてもよい。例えば、調理対象物１２の近傍を計測できる位置に設置された温度計や湿度計が補助的なセンサとして設けられる。
　香りセンサが補助センサとして設けられるようにしてもよい。香りが重要な料理を作る場合、環境の余計な異臭を空調で取り除くことが仕上がりのコントロールには欠かせない。
　以上のように、エフェクタ制御部１０７は、例えば、加熱装置１、情報端末７、および空調装置８のうちの少なくともいずれかの制御を行う。
（Ｄ）認識データの記憶
　センサ部２１により計測されたセンサデータや情報処理装置２２により推定された情報が、事後解析のために記憶部４２に記憶されるようにしてもよい。すなわち、情報処理装置２２による推定結果などの用途は、リアルタイムでの加熱制御に限定されるものではない。プロセッサモジュール４に内包されたり、サーバ６に設けられたりするように、記憶部４２の物理構成は任意である。
　調理対象物１２の内部温度を正確に計測できる温度センサをセンサ部２１が有する場合は効果的である。例えば、熱電対プローブを用いた調理用温度計が調理器具１１の構成要素として設けられる。情報処理装置２２は、調理用温度計により計測されたデータを取得し、他のセンサデータとともに、推定結果の情報に関連付けて記憶する。これらの情報を内部温度の推定のGround Truth情報として参照することは、内部温度の推定精度を改善する技術手法の開発に役立つ。
　また、熱伝導特性推定部１０５による調理対象物１２の熱伝導特性の推定結果と併せて画像センサ３３により取得されたRGB画像を記憶することは、推定結果の妥当性を検証するために有用であり、精度改善のための技術開発に役立つ。
　以上の処理により、調理支援システムにおいては、熱伝導解析に重要な調理対象物１２の被加熱部分の温度が、調理対象物１２を破壊することなく、温度センサ３１により取得された熱画像に基づいて正確に求められる。
　正確に求められた被加熱部分の温度を内部温度の推定に用いることにより、調理支援システムは、内部温度を高精度に推定することが可能となる。
　また、調理支援システムにおいては、調理対象物１２の被加熱部分が露出したことがセンサ部２１により取得されたセンサデータに基づいて認識され、露出直後に取得された熱画像に基づいて、被加熱部分と加熱媒体の間の接触熱抵抗が推定される。
　接触熱抵抗を被加熱部分の温度の推定に用いることにより、調理支援システムは、被加熱部分の温度の推定精度を向上させ、内部温度を高精度に推定することが可能となる。
　調理支援システムにおいては、調理対象物１２の三次元モデルが距離センサ３２により取得されたセンサデータに基づいて構築され、熱伝導解析の境界条件と初期条件となる温度の情報が三次元モデルにマッピングされる。
　調理対象物１２の実際の形状を反映した三次元モデルに基づいて熱伝導解析を行うことにより、調理支援システムは、内部温度を高精度に推定することが可能となる。また、調理支援システムは、同じ三次元モデルを利用して、加熱を止めた後の温度変化をシミュレーションすることもできる。
＜＜４．その他＞＞
・コンピュータの構成例
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　CPU(Central Processing Unit)２０１、ROM(Read Only Memory)２０２、RAM(Random Access Memory)２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続される。また、入出力インタフェース２０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、リムーバブルメディア２１１を駆動するドライブ２１０が接続される。
　以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを入出力インタフェース２０５およびバス２０４を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　CPU２０１が実行するプログラムは、例えばリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部２０８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
・構成の組み合わせ例
　本技術は、以下のような構成をとることもできる。
（１）
　調理器具と調理対象物との状態を計測するセンサにより取得されたセンサデータに基づいて、前記調理対象物の形状と温度分布を表す三次元モデルを構築する構築部と、
　前記三次元モデルに基づく熱伝導解析を行うことにより前記調理対象物の内部の温度を推定する内部温度推定部と
　を備える情報処理装置。
（２）
　前記構築部は、前記調理対象物が前記調理器具に投入された場合、前記三次元モデルを構築する
　前記（１）に記載の情報処理装置。
（３）
　前記構築部は、前記調理対象物の形状、体積、姿勢のいずれかが調理過程で変化した場合、前記三次元モデルの再構築を行う
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記熱伝導解析に用いられる、前記調理対象物の熱伝導特性を前記センサデータに基づいて推定する熱伝導特性推定部をさらに備える
　前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
　前記熱伝導特性は、熱伝導率、比熱、密度、および熱拡散係数を含む
　前記（４）に記載の情報処理装置。
（６）
　前記熱伝導特性推定部は、前記熱伝導特性の更新を調理過程において繰り返し行う
　前記（４）または（５）に記載の情報処理装置。
（７）
　前記調理対象物の表面温度と、加熱媒体の温度とを前記センサデータに基づいて抽出する抽出部をさらに備える
　前記（４）乃至（６）のいずれかに記載の情報処理装置。
（８）
　前記抽出部は、前記加熱媒体全体のうち、前記調理対象物の近傍の領域の温度を前記加熱媒体の温度として抽出する
　前記（７）に記載の情報処理装置。
（９）
　前記内部温度推定部は、前記加熱媒体の温度を前記調理対象物の被加熱部分の温度として前記三次元モデルに設定し、前記調理対象物の内部の温度を推定する
　前記（７）または（８）に記載の情報処理装置。
（１０）
　前記熱伝導特性推定部は、前記調理対象物の姿勢が変化した場合、姿勢変化後の前記調理対象物の表面温度と前記加熱媒体の温度とに基づいて、前記調理対象物と前記加熱媒体との間に生じる接触熱抵抗を推定し、
　前記内部温度推定部は、前記接触熱抵抗を用いて、前記調理対象物の内部の温度を推定する
　前記（７）または（８）に記載の情報処理装置。
（１１）
　前記内部温度推定部は、前記接触熱抵抗、前記調理対象物の表面温度、および、前記加熱媒体の温度に基づいて求められた温度を前記調理対象物の被加熱部分の温度として前記三次元モデルに設定し、前記調理対象物の内部の温度を推定する
　前記（１０）に記載の情報処理装置。
（１２）
　前記調理対象物の表面温度の変化が閾値より大きく、前記加熱媒体の温度と変化後の前記調理対象物の表面温度との差が閾値より小さい場合に、前記調理対象物の姿勢の変化として、前記調理対象物が裏返されたことを認識する認識部をさらに備える
　前記（１０）または（１１）に記載の情報処理装置。
（１３）
　前記内部温度推定部は、前記三次元モデルの最初の構築時、前記調理対象物の表面温度の代表値を、前記調理対象物の内部の温度として推定する
　前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　前記内部温度推定部は、前記三次元モデルの再構築時、再構築前の前記三次元モデルにおける内部エネルギーに基づいて、前記調理対象物の内部の温度を推定する
　前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
　前記内部温度推定部は、前記熱拡散係数と、前記三次元モデル上の各位置の温度を表す関数により表される熱伝導方程式に基づいて、前記調理対象物の内部の温度を推定する
　前記（５）乃至（１２）のいずれかに記載の情報処理装置。
（１６）
　前記調理対象物の内部の温度の推定結果に基づいて、周辺機器の制御を行う制御部をさらに備える
　前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　前記制御部は、前記調理対象物を加熱する加熱装置、前記調理対象物の加熱状態を提示する情報端末、および、前記調理対象物に対する調理が行われる空間に設置された空調装置のうちの少なくともいずれかの制御を行う
　前記（１６）に記載の情報処理装置。
（１８）
　調理器具と調理対象物との状態を計測するセンサにより取得されたセンサデータに基づいて、前記調理対象物の形状と温度分布を表す三次元モデルを構築し、
　前記三次元モデルに基づく熱伝導解析を行うことにより前記調理対象物の内部の温度を推定する
　情報処理方法。
（１９）
　コンピュータに、
　調理器具と調理対象物との状態を計測するセンサにより取得されたセンサデータに基づいて、前記調理対象物の形状と温度分布を表す三次元モデルを構築し、
　前記三次元モデルに基づく熱伝導解析を行うことにより前記調理対象物の内部の温度を推定する
　処理を実行させるためのプログラム。
　１　加熱装置，　２　ステレオカメラ，　３　サーモグラフィカメラ，　４　プロセッサモジュール，　５　ネットワーク機器，　６　サーバ，　７　情報端末，　８　空調装置，　２１　センサ部，　２２　情報処理装置，　２３　エフェクタ部，　３１　温度センサ，　３２　距離センサ，　３３　画像センサ，　４１　演算部，　４２　記憶部，　５１　UI機器，　１０１　センサデータ入力部，　１０２　位置形状認識部，　１０３　表面温度抽出部，　１０４　プロセス状況認識部，　１０５　熱伝導特性推定部，　１０６　内部温度推定部，　１０７　エフェクタ制御部

Claims (19)

  1. 　調理器具と調理対象物との状態を計測するセンサにより取得されたセンサデータに基づいて、前記調理対象物の形状と温度分布を表す三次元モデルを構築する構築部と、
    　前記三次元モデルに基づく熱伝導解析を行うことにより前記調理対象物の内部の温度を推定する内部温度推定部と
    　を備える情報処理装置。
  2. 　前記構築部は、前記調理対象物が前記調理器具に投入された場合、前記三次元モデルを構築する
    　請求項１に記載の情報処理装置。
  3. 　前記構築部は、前記調理対象物の形状、体積、姿勢のいずれかが調理過程で変化した場合、前記三次元モデルの再構築を行う
    　請求項１に記載の情報処理装置。
  4. 　前記熱伝導解析に用いられる、前記調理対象物の熱伝導特性を前記センサデータに基づいて推定する熱伝導特性推定部をさらに備える
    　請求項１に記載の情報処理装置。
  5. 　前記熱伝導特性は、熱伝導率、比熱、密度、および熱拡散係数を含む
    　請求項４に記載の情報処理装置。
  6. 　前記熱伝導特性推定部は、前記熱伝導特性の更新を調理過程において繰り返し行う
    　請求項４に記載の情報処理装置。
  7. 　前記調理対象物の表面温度と、加熱媒体の温度とを前記センサデータに基づいて抽出する抽出部をさらに備える
    　請求項４に記載の情報処理装置。
  8. 　前記抽出部は、前記加熱媒体全体のうち、前記調理対象物の近傍の領域の温度を前記加熱媒体の温度として抽出する
    　請求項７に記載の情報処理装置。
  9. 　前記内部温度推定部は、前記加熱媒体の温度を前記調理対象物の被加熱部分の温度として前記三次元モデルに設定し、前記調理対象物の内部の温度を推定する
    　請求項７に記載の情報処理装置。
  10. 　前記熱伝導特性推定部は、前記調理対象物の姿勢が変化した場合、姿勢変化後の前記調理対象物の表面温度と前記加熱媒体の温度とに基づいて、前記調理対象物と前記加熱媒体との間に生じる接触熱抵抗を推定し、
    　前記内部温度推定部は、前記接触熱抵抗を用いて、前記調理対象物の内部の温度を推定する
    　請求項７に記載の情報処理装置。
  11. 　前記内部温度推定部は、前記接触熱抵抗、前記調理対象物の表面温度、および、前記加熱媒体の温度に基づいて求められた温度を前記調理対象物の被加熱部分の温度として前記三次元モデルに設定し、前記調理対象物の内部の温度を推定する
    　請求項１０に記載の情報処理装置。
  12. 　前記調理対象物の表面温度の変化が閾値より大きく、前記加熱媒体の温度と変化後の前記調理対象物の表面温度との差が閾値より小さい場合に、前記調理対象物の姿勢の変化として、前記調理対象物が裏返されたことを認識する認識部をさらに備える
    　請求項１０に記載の情報処理装置。
  13. 　前記内部温度推定部は、前記三次元モデルの最初の構築時、前記調理対象物の表面温度の代表値を、前記調理対象物の内部の温度として推定する
    　請求項１に記載の情報処理装置。
  14. 　前記内部温度推定部は、前記三次元モデルの再構築時、再構築前の前記三次元モデルにおける内部エネルギーに基づいて、前記調理対象物の内部の温度を推定する
    　請求項１に記載の情報処理装置。
  15. 　前記内部温度推定部は、前記熱拡散係数と、前記三次元モデル上の各位置の温度を表す関数により表される熱伝導方程式に基づいて、前記調理対象物の内部の温度を推定する
    　請求項５に記載の情報処理装置。
  16. 　前記調理対象物の内部の温度の推定結果に基づいて、周辺機器の制御を行う制御部をさらに備える
    　請求項１に記載の情報処理装置。
  17. 　前記制御部は、前記調理対象物を加熱する加熱装置、前記調理対象物の加熱状態を提示する情報端末、および、前記調理対象物に対する調理が行われる空間に設置された空調装置のうちの少なくともいずれかの制御を行う
    　請求項１６に記載の情報処理装置。
  18. 　調理器具と調理対象物との状態を計測するセンサにより取得されたセンサデータに基づいて、前記調理対象物の形状と温度分布を表す三次元モデルを構築し、
    　前記三次元モデルに基づく熱伝導解析を行うことにより前記調理対象物の内部の温度を推定する
    　情報処理方法。
  19. 　コンピュータに、
    　調理器具と調理対象物との状態を計測するセンサにより取得されたセンサデータに基づいて、前記調理対象物の形状と温度分布を表す三次元モデルを構築し、
    　前記三次元モデルに基づく熱伝導解析を行うことにより前記調理対象物の内部の温度を推定する
    　処理を実行させるためのプログラム。
PCT/JP2021/033273 2020-09-25 2021-09-10 情報処理装置、情報処理方法、およびプログラム Ceased WO2022065074A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/042,601 US20240027275A1 (en) 2020-09-25 2021-09-10 Information processing apparatus, information processing method, and program
EP21872205.6A EP4220106A4 (en) 2020-09-25 2021-09-10 Information processing device, information processing method, and program
JP2022551879A JP7754099B2 (ja) 2020-09-25 2021-09-10 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-161384 2020-09-25
JP2020161384 2020-09-25

Publications (1)

Publication Number Publication Date
WO2022065074A1 true WO2022065074A1 (ja) 2022-03-31

Family

ID=80846575

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/033273 Ceased WO2022065074A1 (ja) 2020-09-25 2021-09-10 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US20240027275A1 (ja)
EP (1) EP4220106A4 (ja)
JP (1) JP7754099B2 (ja)
WO (1) WO2022065074A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN121657789A (zh) * 2026-02-09 2026-03-13 四川公路桥梁建设集团有限公司 路面沥青混合料摊铺温度场智能调控方法、系统、计算机设备及计算机可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20250089987A (ko) * 2023-12-12 2025-06-19 삼성전자주식회사 조리 장치 및 그 제어 방법

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0815037A (ja) 1994-06-27 1996-01-19 Sharp Corp 加熱調理器
JP2008251193A (ja) * 2007-03-29 2008-10-16 Matsushita Electric Ind Co Ltd 加熱調理器およびそのプログラム
JP2009140638A (ja) * 2007-12-04 2009-06-25 Panasonic Corp 加熱調理器
JP2010508493A (ja) * 2006-11-02 2010-03-18 エレクトロラクス ホーム プロダクツ コーポレーション エヌ ヴィ 調理すべきアイテム内部の温度検出装置および温度検出方法
JP2015206502A (ja) 2014-04-18 2015-11-19 パナソニックＩｐマネジメント株式会社 収納庫
JP2017517322A (ja) * 2014-06-06 2017-06-29 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 調理装置、及び、食品コア温度の予測に基づく食品調理方法
WO2019059209A1 (ja) * 2017-09-25 2019-03-28 パナソニックＩｐマネジメント株式会社 加熱調理器
JP2019200002A (ja) 2018-05-17 2019-11-21 パナソニックＩｐマネジメント株式会社 加熱調理装置
JP2020091217A (ja) * 2018-12-06 2020-06-11 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 三次元計測装置および加熱調理器
JP2020139866A (ja) * 2019-02-28 2020-09-03 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 温度計測装置、加熱調理器、および温度計測方法
US20200292392A1 (en) * 2019-03-13 2020-09-17 Midea Group Co., Ltd. Calibration of a thermal imaging device for a surface cooking appliance

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5893051A (en) * 1994-09-27 1999-04-06 Matsushita Electric Industrial Co., Ltd. Method of estimating temperature inside material to be cooked and cooking apparatus for effecting same
DE102007039027A1 (de) * 2007-08-17 2009-02-26 Rational Ag Verfahren zur Bestimmung der Kerntemperatur eines Garguts und Gargerät zur Durchführung solch eines Verfahrens
AU2016370628A1 (en) * 2015-12-16 2018-05-31 Mbl Limited Robotic kitchen including a robot, a storage arrangement and containers therefor
WO2020116814A1 (en) * 2018-12-06 2020-06-11 Samsung Electronics Co., Ltd. Heating cooker including three dimensional measuring device
JP7257224B2 (ja) * 2019-04-02 2023-04-13 東京瓦斯株式会社 温度推定の方法、システム、プログラムおよび機器
JP7213750B2 (ja) * 2019-05-10 2023-01-27 株式会社 ゼンショーホールディングス 調理指示装置、調理システム、及び調理指示方法
JP2022023297A (ja) * 2020-07-27 2022-02-08 三菱電機株式会社 加熱調理器

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0815037A (ja) 1994-06-27 1996-01-19 Sharp Corp 加熱調理器
JP2010508493A (ja) * 2006-11-02 2010-03-18 エレクトロラクス ホーム プロダクツ コーポレーション エヌ ヴィ 調理すべきアイテム内部の温度検出装置および温度検出方法
JP2008251193A (ja) * 2007-03-29 2008-10-16 Matsushita Electric Ind Co Ltd 加熱調理器およびそのプログラム
JP2009140638A (ja) * 2007-12-04 2009-06-25 Panasonic Corp 加熱調理器
JP2015206502A (ja) 2014-04-18 2015-11-19 パナソニックＩｐマネジメント株式会社 収納庫
JP2017517322A (ja) * 2014-06-06 2017-06-29 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 調理装置、及び、食品コア温度の予測に基づく食品調理方法
WO2019059209A1 (ja) * 2017-09-25 2019-03-28 パナソニックＩｐマネジメント株式会社 加熱調理器
JP2019200002A (ja) 2018-05-17 2019-11-21 パナソニックＩｐマネジメント株式会社 加熱調理装置
JP2020091217A (ja) * 2018-12-06 2020-06-11 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 三次元計測装置および加熱調理器
JP2020139866A (ja) * 2019-02-28 2020-09-03 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 温度計測装置、加熱調理器、および温度計測方法
US20200292392A1 (en) * 2019-03-13 2020-09-17 Midea Group Co., Ltd. Calibration of a thermal imaging device for a surface cooking appliance

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4220106A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN121657789A (zh) * 2026-02-09 2026-03-13 四川公路桥梁建设集团有限公司 路面沥青混合料摊铺温度场智能调控方法、系统、计算机设备及计算机可读存储介质
CN121657789B (zh) * 2026-02-09 2026-04-21 四川公路桥梁建设集团有限公司 路面沥青混合料摊铺温度场智能调控方法、系统、计算机设备及计算机可读存储介质

Also Published As

Publication number Publication date
JP7754099B2 (ja) 2025-10-15
JPWO2022065074A1 (ja) 2022-03-31
EP4220106A4 (en) 2024-03-06
EP4220106A1 (en) 2023-08-02
US20240027275A1 (en) 2024-01-25

Similar Documents

Publication Publication Date Title
CN113194792B (zh) 训练烹饪器具、定位食物以及确定烹饪进度的系统和方法
US11618155B2 (en) Multi-sensor array including an IR camera as part of an automated kitchen assistant system for recognizing and preparing food and related methods
US11058132B2 (en) System and method for estimating foodstuff completion time
US10819905B1 (en) System and method for temperature sensing in cooking appliance with data fusion
US20170332841A1 (en) Thermal Imaging Cooking System
CN110780628B (zh) 烹饪设备的控制方法、装置、烹饪设备及存储介质
AU2016295396B2 (en) Food preparation control system
JP6704125B2 (ja) 加熱調理器
Goñi et al. Prediction of cooking times and weight losses during meat roasting
DE112015005709T5 (de) Nahrungsmittelzubereitungsführungs-system
CN110806699A (zh) 烹饪设备的控制方法、装置、烹饪设备及存储介质
JP7001991B2 (ja) 情報処理装置および情報処理方法
JP7754099B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2021063608A (ja) 加熱調理システム
CN113436159A (zh) 食材的熟度检测方法和装置、存储介质及电子装置
US20240180361A1 (en) Electronic device and method for controlling same
WO2022202410A1 (ja) 判定装置、学習装置、判定システム、判定方法、学習方法、及び、プログラム
CN114049933A (zh) 生成用餐报告的方法、系统、装置、电子设备及存储介质
US20250160372A1 (en) Profiling, modeling and monitoring temperature and heat flow in meat or food items in a cooking process
CN118891477A (zh) 信息处理装置、信息处理方法和程序
JP2021103038A (ja) 調理機器
WO2021082284A1 (zh) 烘焙模具规格检测的方法及装置、厨电设备
CN114839894A (zh) 基于成熟度的食材烹饪曲线的获取方法及其智能烹饪器具
JP2020169865A (ja) 温度推定の方法、システム、プログラムおよび機器
JP6829788B1 (ja) 調理評価の方法、システム、プログラム、記録媒体、および調理機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21872205

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022551879

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18042601

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021872205

Country of ref document: EP

Effective date: 20230425