CN1223391A - 控制方法 - Google Patents

Abstract

一种控制方法,用于监视人的特性和基于监视结果,按预定的控制内容去控制待控制的设备,另外监视所述人的环境和还利用这些结果执行所述控制。

Description

控制方法

本发明涉及一种基于人的手势、姿势、和状态操作设备、处理信息、或控制环境的技术。

某些用于检测人的手势操作设备的常规技术识别人的手势来操作电视机(日本专利申请公开No.8-315154和No.8-211979)。日本专利申请公开No.8-315154利用一个摄象机检测人的手掌的位置和他的或她的手势，以便操作电视机。

日本专利申请公开No.8-211979利用通过摄象机检测的人手的位置和形状输入其特征到便携个人计算机。

但是，这些常规的方法基本上要求一个人和一个由该人操作的设备以便有一对一的相对应基础，和如果在该人附近存在着多个电视机或个人计算机，或者如果存在着多个操作者，则令人满意的操作是困难的。

一般，经常在家庭、办公室或户外存在有多个设备和人，这样如果这个设备利用人的手势进行控制，则该人必须是单独地与该设备相联系。例如，如果多个电视机被同时进行操作，则常规的设备不允许一个电视机被进行操作或者被区分开进行操作。另外，如果在房间中有几个人，常规的设备不能确定谁正在改变电视机的频道或谁能够改变电视机的频道。

鉴于常规设备的这些问题，本发明的目的是提供一种不管在附近有多个设备和人也能够确定各个设备和人之间的对应关系的控制方法，利用人的手势、姿势、和状态配合默契地操作各个设备。

本发明提供一种控制方法，其特征在于，一个或多个人的特性被连续或间断地进行监视，基于各个人的预定特性控制预定的设备。本发明还提供一种控制方法，其特征在于，对于一个控制目标和控制内容的各候选项是基于各个人的预定特性进行确定的，和在于，一个控制目标和控制内容是基于对一个控制目标和控制内容的各个候选项进行确定的。再有，本发明提供一种控制方法，其特征在于基于几个人的特性的检测，对于一个控制目标和控制内容的各候选项是对应每个人进行确定的，和在于，控制目标和控制内容是基于对一个控制目标和控制内容的各个候选项进行确定的。

图1是表示本发明的第一实施例的方框图；

图2是表示本发明的第二实施例的方框图；

图3是表示本发明的第三实施例的方框图；

图4是表示本发明的第四实施例的方框图；

图5是表示本发明的第五实施例的方框图；

图6是表示本发明的第六实施例的方框图；

图7是表示本发明的第七实施例的方框图；

图8是表示本发明的第八实施例的方框图；

图9表示人的手或手指的各种手势的说明；

图10表示人的手或手指的各种手势的说明。

下面结合各附图描述本发明的各个实施例。图1表示本发明的第一实施例的方框图。在这个图中，1是监视部分，2是操作者选择部分，3是控制目标候选项确定部分，4是控制内容候选项确定部分，和5是控制目标和内容确定部分。

在图1中，监视部分1连续地监视各个人的各种特性。人的特性包括：人的位置、姿势、脸、表情、眼睛或头的方向、手势、声音、生理状态、标记、形状、体重、性别、年龄、身体和精神上的障碍、和各种附属物。身体和精神上的障碍包括：视觉、身体、声音、和听觉障碍和不懂的语言的障碍。各种附属物包括衣服、帽子、眼镜、包、和鞋子。

监视装置包括：摄象机(即感测可见光或红外线)、麦克风、压力传感器、超声传感器、振动传感器、化学传感器、和光传感器。其它的传感器也可以利用。摄象机可以被用作以非接触的方式监视各个人的位置、姿势、脸、表情、手势、形状和各种附属物。

如果人位置被摄象机监视，则该人所存在的位置被假设是一个呈现肉色的图象区域。一个人所存在的位置可以是一个包含不同颜色或亮度的图象区域，或者如果还利用红外图象的话，还是被检测到主要由人辐射的3-5μm或者8-12μm波长的红外线图象区域。如果人的姿势、形状或者手势被摄象机所监视，则一种类似于检测人的位置的方法被利用，提取人粗略外型，以便基于该外型监视他或她的手势或者形状，同时监视在姿势上瞬间变化，以监视他或她的手势。

例如，为了确定该人是站着还是坐着，或者他或她伸手的方向，相应的各种姿势的代表性外型可以被事先寄存和与该人的图象进行比较。如果该人的脸或表情，或者他或她的头或眼的方向被摄象机进行监视，则基于上述外型位于他或她的身体的上部的头可以被检测，和他或她的表情可以与寄存的他或她的包括各种表情的脸的图象进行比较，以便监视他或她的脸和表情。头或眼的方向可以通过检测从利用上面程序检测的头的图象的眼的位置进行确定。如果眼的位置相对于头对称，则头可以被确定为脸正朝摄象机，否则如果眼偏右或者左，则头可以被确定为脸朝右或左。眼的位置可以通过检测一种椭圆形或在脸中无光的脸的平面面积进行检测。另外，眼的方向可以通过检测整个眼中心的虹膜的圆面积和确定该圆面积中心与眼的整个面积中心之间的偏移进行检测。如果人的附属物通过摄象机进行检测，则对于利用上述程序检测的人的面积的附属物可以被确定为在人体的一部分年存在着一个附属物，其中检测出一种与当他或她没有衣服所检测到的人的颜色不同的颜色。通过事先寄存具有具体颜色的附属物也可以进行确定。当脸和眼睛的位置利用上述程序被进行检测时，眼镜可以通过在眼睛的周围是否存在一个框形的轮廓进行识别。另外，麦克风可以被用于以非接触的方式监视人的语言或眼他或她的手势所产生的声音(当人拍他或她的手或者跺他或她的脚发出的声音)。再有，诸如心跳的声音之类的生理状态可以从接近或接触的位置进行测量。压力传感器可以被用于监视与人的手势有关的接触，或者可以被安装在地面以监视他或她的质量或走路的模式。另外，超声传感器可以用于基于到他或她的距离的变化，监视到人的距离或者他或她的手势。超声波能监视人的位置，即使光线明显变化或者没有光的情况下也是如此。

另外，振动传感器可以用于监示由人的手势产生的振动。生理状况可以利用用于测量化学物质的量的化学传感器进行监视，上述化学物质诸如离子浓度或在分泌物、体液、身体的液体中的糖和荷尔蒙的量，或者用于测量人体发射的光谱分布的光传感器。再有，基于通过摄象机获得的诸如脸或人体手势的信息，通过麦克风获得的语音特征，或者通过压力传感器获得的体重，可以假设出该人的身份、性别、年龄、或身体和心理上的缺陷。例如，如果一个具体人的脸的特征，和他或她的重量、形状、性别、年龄、和身体和心理上的缺陷被事先寄存和如果各个特征之一(例如，重量)被用于识别这个人，其它诸如性别的各个特征是已知的。

另外，多个不同视角的摄象机可以被用于三维地确定该人的位置、姿势、和手势，以改善精度和扩宽监视范围。同样，多个不同性质的传感器可以被组合在一起，以改善该人的位置、姿势、或手势的检测精度和可靠性。

人和他的环境可以被间歇地进行监视，并且当该人的特性无明显的变化或者该控制目标不要求快速控制时，该间歇监视可以减少控制操作序列的通过量和因此减少计算资源和能量消耗。

在图1中，操作者选择部分2基于由监视部分1的监视结果选择一个操作者。假设该监视部分监视三个人。操作者选择部分2基于由监视部分1所监视的一个人的预定的特性，从这三个人中选择一个人。基于预定特性的选择涉及最接近一个预定位置(例如，房间的中央)的人；已经假设一个预定姿势或已经作出的手势(例如，抬起他或她的手)的人；基于预定的各个人的优先级(例如，在一个家庭中，父、母、和孩子的次序)(优先级可以基于体重、性别、年龄、生理条件、或身体和心理上的缺陷)的最高优先级的人；已经讲出一个特定的词(例如，“是”或一个设备的名称)的人；具有特殊附属物(例如，在他或她手中的红色的球)的人；或者他或她的眼睛或头朝着一个特定的位置(例如，一个装饰物)的人进行选择。再有，操作者选择部分2基于一种基于人的特性的预定的估计方法对于每个人可以确定一个估计值，以便选择一个具有估计值大于一个参考值和该值也是最大的的人。在这种情况下，各种人的特性都可以被考虑进去。该估计方法可以利用当该人说出“是”时的语音强度和在该人抬起他或她的手时的速度的加权和。

接下来，操作者选择部分2对被选择的人提供信息。例如，如果被选择的人的姓名可以被识别时，该姓名可以被显示在一个显示屏或作为语音输出，或者音乐、声音，或者与该人相联系的事先存储的全名可以进行输出，或者事先存储的与该人相联系的一个符号或者字符可以被显示在显示屏上，或者一个信号可以被发射到由该人携带到一个装置上。由该人携带的装置通过振动或者输出声光信息可以提供一个信息给该人。另外一种情况下，一束光可以被照射到被选择的人上，或者一个诸如显示器之类的装置可以进行旋转并指向被选择的人，或者由摄象机拍摄的被选择的图象可以显示在显示屏上。在他或她发声或作手势后，说“您需要什么？”的语音，或声光信息可以仅输出到被选择的人，以便通知该被选择的人。

虽然，在上述的例子中，操作者选择部分2从三个人中选择出一个，但几个人(例如，2个)也可以被选择，或者如果预定的特性没有被监视的话，没有人可以被选择。

在图1中，3是基于由操作者选择部分2选择的人的预定特性和他或她的周围环境，对于一个控制目标的控制目标候选项确定部分。控制目标可以包括设备(包括室内的空调、电视机、视频设备、电灯、洗衣机、个人电脑、游戏机、或电动小玩具；室外的电梯或汽车)或信息或用于信息设备的显示内容(显示在显示屏上的字符或图形)。被选择的人的预定特性包括：他或她的手指、注视、或头的姿势、发出的特定的词、符号语言、或持有特定的物品。如果利用指示人的手指、注视、或头的姿势，对于一个控制的各候选项将是所指示的位置或者显示在显示屏上的内容的附件。周围环境可以包括温度、湿度、亮度、音量、空气流通状态、空气中特定气体的浓度(二氧化碳)、或时间。如果室外的温度或湿度高，则控制目标可以是空调、电扇、或去湿器。如果室内的亮度低或特定时间(傍晚前)已到来，则控制目标可以是照明。如果空气流通很长时间没变或空气中的二氧化碳超标，则控制目标电扇或窗户。如果室外的声音超标，则控制目标可以是电视或窗户。

可以有一个或者几个候选项。例如，如果作为操作者的所选择的人指向空调和电视，则这两者将被控制。如果说出的词或符号语言被用作一种预定的特性，则该设备的名称可以被指示，或者预定的词可以被说出。例如，说出的词“电视”，则使得一个电视(或多个电视)将被作为控制候选项使用，和说出的词“热”，则使得电扇或空调将被作为控制候选项使用。如果特定物品的持有被用作一种特定的特性、设备和各条款在处理之前可以被相互联系。例如，通过红球与空调相联系和兰球与电视相联系，则兰球的持有使得电视将被用作一个控制目标的候选项。

接下来，控制目标候选项确定部分3从外部提供信息确定控制目标的候选项。为了提供信息，指示一个控制目标的名称可以作为语音或声音被输出，或者对于一个控制目标的名称可以被显示在显示屏上。另外一种方案，包括在一个是控制目标的候选项的设备中的灯光可以被接通，或者包括在一个是控制目标的候选项的设备中的扬声器可以输出语音或声音。

在图1中，控制内容候选项确定部分4基于由操作者选择部分2所选择的人的预定特性和他或她的周围环境确定候选项。控制内容可以包括接通和关断设备、改变设备的操作参数(音量、风量或方向、频道、或亮度)、开和关门或窗、移动或修改信息设备的显示的目标、改变目标的颜色、或编辑一个文件。

预定的特性可以包括在；利用语音或符号语言来指示控制内容(例如，说出用于接通的词“接通”、说出用于关断的词“关断”、说出用于打开的词“热”)或者预定的手势可以与事先规定的控制内容相关联(拍手一次用于接通和拍手两次用于关断)。还可以有一个或几个候选项。如果作为选择为操作者的人说出词“提高”，则候选项可以是增加电视机的音量或设置空调的温度，或者移动显示在信息设备的显示器上一个目标的信息。

周围环境可以包括：温度、湿度、亮度、音量、空气流的状态、空气中特定气体的(二氧化碳)的浓度、或者时间。如果室内的温度或湿度高了，则控制内容的候选项可以是接通和增加空调、电风扇、或去湿器的操作的力度。如果空气流长时间不变化或者空气中的二氧化碳超标，则控制内容的候选项可以是接通和电风扇或者打开窗户。如果室外的声音超标，则控制内容的候选项可以是增加电视机的音量或者关上窗户。

接下来，控制内容候选项确定部分4对该控制内容确定的候选项提供信息。为了提供信息，可以作为语音或声音或者在显示屏上显示的方式输出指示控制内容的名称。

在图1中，控制目标和内容确定部分5基于由控制目标候选项确定部分3确定的一个控制目标的候选项和由控制内容候选项确定部分4确定的控制内容候选项，确定控制目标和控制内容，和然后实施所确定的控制到所确定的控制目标上。控制目标和控制内容利用控制目标和控制内容的各个候选项进行限制。为了限制各个候选项，对于一个控制目标和控制内容的各个候选项的预定组合进行选择。例如，如果对于一个控制目标的各候选项是电视机和空调，并且控制内容的候选项是“增加温度”以及如果这个内容提供给电视机，而且提供给空调，则控制目标将是空调和控制内容将是增加对空调的温度设置。此外，当按照各候选项的限制，基于人的指示手势空调被选择为控制目标的候选项，和基于人说出词“增加”空调增加温度被选择为控制内容的候选项，如果作出手势的时间T1和说出词“增加”的时间T2之间的时间间隔等于或大于一个参考值(例如3秒)，则控制目标和控制内容不用进行选择。同样，如果时间T2在时间T1之前，则控制目标和控制内容不用进行选择。按这样的方式，各个候选项可以通过考虑到讲话的时间间隔或者时间T1和T2的次序进行限制。这种技术可以减少由于这种指示手势的偶然发生和在谈话期间偶然说出这个词的组合所引起的误判率。另外，即使指示手势的持续期小于参考值(例如等于或者大于1秒)控制目标也不用选择。如果这种指示手势作为日常手势偶然作出，则也可以减少误判率。当不存在限制的必要时，这种限制可以不提供(如果，例如仅存在一个候选项或者多个控制目标被同时进行控制)。

接下来，控制目标和控制内容确定部分5对已确定的控制目标和控制内容提供信息。已确定的控制目标和控制内容可以被作为对控制目标和控制内容的各候选项提供。

另外，控制目标和控制内容确定部分5可以指示确认、指示需要重新“输入”、或者提供诸如候选项选择和不可能确定的控制目标的信息。利用信息的指示，对于通过说出的词“OK”确定的控制目标和控制内容的执行被证实，将其显示在显示屏上，或者输出一个预定的声音。如果控制目标和控制内容不能被容易地确定(例如，人的预定特性不明确)，则通过说出“重新输入数据”，用于对需要重新“输入”和不可能确定的控制目标的重新“输入”的指示，并显示这些词在显示屏上，或输出一个预定的声音。具有候选项选择，如果存在着多个控制目标和控制内容，则这些选择被显示在显示屏上以供选择。

另外，在控制目标和内容确定部分5已经提供信息后，监视部分1监视操作者的特性，和控制目标和内容确定部分5限制对于一个控制目标和控制内容的候选项，确定控制目标和控制内容，和再次提供信息。基于信息的显示和显示以后对人的特性的监视，可以重复控制目标和控制内容的减少。这种重复存在可以减少候选项的数量。控制目标和内容确定部分5已经提供信息后为了执行证实，监视说出的词“是”作为操作者的特性去控制该控制目标。如果在显示屏上显示各个候选项的选择，则它们被进行编号和监视说出的指示这些号的词去控制该控制目标。控制目标确定部分3和内容确定部分4可以促使从各个候选项中选择。在这种情况下，因为该人从各个候选项中选择了一个特定的目标和内容，控制目标和内容确定部分5基于这个选择动作确定控制目标和控制内容。

下面描述按照上述方式构成的本发明的第一实施例。假设在房间里有三个人A、B、和C，和在这个房间里有空调、电视、和电扇。监视部分1不断地监视各个人的特性和他们的周围环境。如果A和B指电视，则操作者选择部分2认为在A之前指电视的B将是操作者和作为一个声音输出B的名字。然后，认为A不能操作电视，而B能够操作电视，使得各个设备可以在不受存在几个人的干扰情况下进行控制。

除了作为声音输出B的名字外，操作者选择部分2可以通过在显示屏上显示被选人的名字、输出音乐、声音、或者作为声音说出事先存储的与该人有关的声音、在显示屏上显示一个符号或事先存储的与该人有关的字符、或发射一个信号到该人携带的装置上提供操作者信息。由操作者携带的装置通过振动或者输出声光选操作者提供信息。另外一种方案，一束光可以射向被选择的人，或诸如显示器之类的装置可以进行旋转和指向被选择的人，或利用摄象机拍摄的被选择的人的图象可以被显示在显示屏上。在他或她说出话或者作出手势后，说出的“您需要什么？”语音，或仅可以输出声音或光到被选择的人，以便通知被选择的人。通过以这种方式通知被选择的人，他们知道谁可以操作这些设备，和即使几个人都试图进行操作也可以避免混淆。

控制目标候选项确定部分3基于由操作者选择部分2选择的预定的人的特性或者他或她的周围环境，为控制目标确定各候选项。如果B指电视和空调的相邻处，则电视和空调被确定为一个控制目标的候选项。即使空调远离B正在指的位置，如果为一种周围环境的室温高的话，空调也作为控制目标的一个候选项。接下来，控制目标候选项确定部分3对一个控制目标的确定的各候选项提供信息。该信息可以通过作为语音或声音或者显示它们在显示屏上输出控制目标的名字进行提供。另外一种方案，包括在作为控制目标的候选设备中的一个灯可以被点亮、或从包括在作为控制目标的候选设备中的一个扬声器可以发出声音或语音。对控制目标的候选项的信息的提供能使操作者检查是否所期望的目标被包括在各个候选项中。多个候选项的选择能使期望的控制目标容易地包括在各个候选项中。

控制内容候选项确定部分4基于由操作者选择部分2选择的人的预定特性或者他或她的周围环境确定控制内容的候选项。如果B说“加强”，而同时指向某个位置，则对于控制内容的候选项将是增加风力、制冷或制暖性能、或亮度。

接下来，控制内容候选项确定部分4对被确定的控制内容的各个候选项提供信息。信息可以通过作为语音或声音或显示它们在显示屏的方式输出控制目标的内容的名字进行提供。对控制内容的候选项的信息提供能使操作者检查是否所期望的内容被包括在各个候选项中了。多个候选项的选择能使所期望的控制内容将被容易地包括在候选项中。

如果存在着大量的控制目标和控制内容，则不需要提供它们所有的信息。

控制目标和内容确定部分5基于由控制目标确定部分3确定的控制目标的各个候选项和由控制内容确定部分4确定的控制内容的各个候选项确定控制目标和控制内容，和然后对所确定的控制目标实现所确定的控制。下面所描述的方法可以用于从它们的各个候选项中确定控制目标和控制内容。即，仅采纳对于一个控制目标的候选项和对于控制内容的一个候选项的一种预定组合。在上述情况下，如果对于一个控制目标的各个候选项是电视和空调和对于控制内容存在着4个候选项，即，风力增加、制冷和制暖性能、和亮度，而电视不能被与该控制内容相组合，使得空调被选为控制目标和可以与空调进行组合的控制内容被限制为增加风力和制冷和制暖性能上。再有，通过监视温度或作为人们周围环境的季节，如果温度超过30℃或者如果是在夏天，则在加热性能的增加可以被包括作为控制内容。此外，通过事先记录人们控制的历史，以前已经被使用过的控制目标和控制内容的组合可以被执行。

按照这种方式，控制目标和内容确定部分5基于它们的候选项和周围环境确定控制目标和控制内容，使得控制目标和控制内容可以被更容易地进行识别，即使仅从人的预定特性分别识别它们是困难的情况下也是如此。具体地讲，如果使用诸如他或她的手势或姿势之类的人的不明确的特性，即使非常精确的识别，确定也是困难的。但是，本发明的方法，利用人的日常的手势或姿势，而不需要苛求他或她作出清楚的手势，就能使所期望的控制目标和所期望的控制内容得到选择。

接下来，控制目标和内容确定部分5提供所确定的控制目标和控制内容的信息。所确定的控制目标和控制内容对于控制目标和控制内容的候选项的表示进行提供。控制目标和控制内容的提供能使操作者检查是否所期望的控制目标和所期望的控制内容已经被选择。

另外，控制目标和内容确定部分5可以指示证实，即指示重新输入的需要、或提供诸如候选项选择和不可能确定的控制目标的信息。利用证实的指示，通过说出词“OK”、显示OK在显示屏、或输出预定的声音，对于确定的控制目标和控制内容证实执行了。证实可以防止误控制。如果控制目标和控制内容不能被容易地确定，需要重新输入和确定该目标不可能的指示促使重新输入。在这种情况下，通过说出“再次输入数据”语句、显示该语句在显示屏、或输出预定的声音或在显示屏上显示各种选择促使重新选择。在上述情况下，操作者被再次提示以可闻的指示，是否增加空调的风的强度或其制冷性能。然后，在控制目标和内容确定部分5已经提供信息后，监视部分1监视操作者的特性，和控制目标和内容确定部分5限制对于一个控制目标和控制内容的候选项，确定控制目标和控制内容，和再次提供信息。在上述情况下，当该人说出“风”时，控制目标和内容确定部分5按照增加空调的风力来确定控制内容，和然后在发射控制信号到空调的同时，可闻地指示将增加空调的风力。基于信息的提供和在提供信息后人的特性的监视，可以重复控制目标和控制内容的减少。

按照这种方式，如果控制目标或控制内容不能被识别，利用指示需要重新输入可以防止由于强行判断引起的误判断，和利用诸如他们的手势或姿势之类的人的特性，同时允许这种特性不明确的情况下，可以平稳地控制设备或信息。

与此同时，在上述实施例中，当从人的重新输入被监视时，语音可以被用作人的特性，但是其它特性(特定的手势等)或其组合也可以使用。例如，当由控制目标和内容确定部分5确定的控制目标和控制内容被提供人们促使人进行确定时，人利用手臂、手或者手指作此圆的形状(见图9(1)-(4))，挑起大姆指(见图9(5))和然后控制目标和内容确定部分5确定表示的事由作为控制目标和控制内容。再有当该人利用手臂或手指作出“×”形(见图9(6)、(7))，或使他们的手作出垂直形(见图9(8))。控制目标和内容确定部分5不能判断作为控制目标和控制内容所表示的事由，但是促使重新输入。

虽然在上述的例子中，手势或姿势被用作在确定一个操作者和对于控制目标的人的特性，还可以利用其它的各种特性(其它的指示动作，诸如眼睛或头的方向和语音，或者不同的指示动作的手势或姿势)。例如，如果该人的位置被用作他的特性，则诸如在另一个房间的他不涉及电视操作的一个人可以防止被误选择为操作者。例如，人的姿势作为特性的使用能使站着的人将赋予最高的优先级和防止一个恰巧通过该房间的一个人的偶然动作引起的误选择。另外，利用人的脸、表情、身份、或年龄作为他们的特性、被限制使用电视或者不恰当地操作电视的那些人可以被从操作者的候选项中排除(例如，在下午9点以后小孩不能操作电视)。利用人的身体和心理的缺陷、性别、或生理条件作为他们的特性，基于这种特性，一个正常人在操作中可以给予最高的优先级。利用人的附属物，一个普通的物品可以起到遥控器的作用(例如，拿着一个红球表示电视)，用户可以容易使用的手势或用户的合适的手势可以被用作选择电视，和几个人中(首先拿着一个红球的人)最高优先级用于操作电视可以被可视表示出。

另外，多个特性(语音和眼睛的方向)的组合能使随便被平稳地操作。而不苛求人作出特别的手势。例如，通过组合说出的词“电视”和眼睛的方向看着电视，可以避免由于偶然动作(在谈话期间说出“电视”这个词)而产生误操作。

操作者还可以通过组合人的特性和其周围环境适当地进行选择。例如，如果电扇可以将被操作和如果在空气中的特定气体(二氧化碳)的浓度作为人的周围环境被监视，作为操作者一个适当的人可以基于人对环境的敏感(当二氧化碳的浓度过高时，人已经感到头痛)对电扇进行选择。在空调的操作中，通过监视作为人的周围环境的温度、湿度、或空气流通状态和事先寄存的他们对于环境的感觉(他们感到热或冷和在风中他们的皮肤或许感到干燥)，如果温度和湿度过高和存在着少量室内空气流，在操作空调中感到热的人被赋予最高的优先级。如果将要对电视的音量进行控制和如果人的周围环境的室外的声音太响，则一个适当的人可以基于人对环境(他对所听的声音感到不舒服)的敏感被选作电视的操作者。当灯的亮度要被改变时，室内和室外的亮度作为人周围环境被进行监视，基于人对环境(当黑暗时他在阅读文字时感到不舒服)的敏感，能使一个适当的人将被选作灯的操作者。如果时间作为周围环境被监视时，取决于人利用的时间可以被进行限制。例如，在下午9点以后可以防止小孩操作电视。

同样，虽然上述的例子在确定控制目标的候选项中，使用声音作为人的特性，但也可以使用其它的特性(其它的手势或姿势)及其组合。例如，通过利用一种手势作为人的特性，当与人谈话时，自然地也可以控制设备。这样的手势的例子包括将食指放在嘴前面(见图10(1)或捂住耳朵(见图10(2)和(3))来减少电视的音量，和将手放在相应的耳朵旁(见图10(4))增加电视的音量。再有，利用双手作“T”状(见图10(5))使电视等信号的重放被暂时停止或者利用表示“再见”的摇手(见图10(6))关掉电视。

另外，虽然在上述的实施例中，用于确定控制目标的候选项的特性不同于用于确定控制内容的特性，但只有一个特性可以用于确定控制目标和控制内容两者的候选项。下面表示一些例子。假设在房间中有几个人和在房间中有一个空调、一个电视、一个风扇、一个空气清新机、一个电话、一个桌子和一个床。

当一个人作出将食指放在嘴前或者将手放在耳朵旁时，控制目标确定部分3确定电视的输出音量为控制目标，和控制内容候选项确定部分4确定减少音量为控制内容为候选项。当一个人挑选电视机时，控制目标候选项确定部分3确定电视的输出音量作为候选项，和控制内容候选项确定部分4确定音量减少作为空制内容。当一个人利用手扇脸或者身体(见图10(7))或说出“热”时，控制目标候选项确定部分3确定涉及空气调整的空调、窗户或电扇作为候选项，和控制内容候选项确定部分4确定打开、减少设置的温度、开窗户、打开电扇的开关、和增大开窗量作为控制内容。另外，人捏住鼻子(见图10(8))使控制目标候选项确定部分3确定空气清新机或窗户作为候选项，和控制内容候选项确定部分4接通空气清新机的开关或打开窗户。当在谈话期间一个说“再见”或“拜拜”时，控制目标候选项确定部分3确定电话作为候选项，和控制内容候选项确定部分4确定断开电话线路作为控制内容的候选项。当一个坐在椅子和打开书或者写什么东西时，控制目标候选项确定部分3确定室内的亮度和安装在桌子上的灯作为候选项，和控制内容候选项确定部分4确定打开开关作为控制内容的候选项。当一个已经在床上睡了一段规定的时间时，控制目标候选项确定部分3确定室内的亮度作为候选项，和控制内容候选项确定部分4确定将开关关断诸如为控制内容的候选项。再有，当该人通过抬起他的手或闭上一只眼睛(见图10(9))关掉一个灯时，或者当该人作光线晃眼的表示，或他说出“晃眼”，则控制目标候选项确定部分3确定室内的光源作为候选项和控制内容候选项确定部分4确定使光线变暗或关掉作为候选项。

如上所述，本发明的第一实施例能使人日常特性将被用作平稳地控制设备，而不使用遥控器。另外，即使有几个人或设备的情况下，这个实施例可以减少误判断和不需要复杂的指示手势就能够执行控制。

图2是表示本发明的第二实施例的方框图。在这个图中，这个实施例的构成和每个部分的操作是和第一实施例相同的。但是，按照第二实施例，控制目标候选项确定部分3、控制内容候选项确定部分4、控制目标和内容确定部分5是设置在被控制的设备中的。例如，如果一个电视包括每个这些设备，则控制目标候选项确定部分3确定是否电视是一个候选项，基于人预定的特性，例如，说出词“转换频道”，控制内容候选项确定部分4确定频道的转换作为控制内容的候选项，和因为频道的转换包含在对电视的控制内容中，所以控制目标和内容确定部分5转换频道。

因此，本发明的第二实施例不仅提供了和第一实施例一样的作用，而且还仅要求该设备的控制目标候选项确定部分3确定是否该设备已经被选择，因此与第一实施例比较，减少了所要求确定控制目标的候选项的处理数量。另外还有优点的地方在于，不管该设备的任意移动，由该设备执行的处理以确定控制目标的候选项则不需要改变。

图3是表示本发明的第三实施例的方框图。在这个图中，将被进行控制的设备1、2、和3和每个部分的操作是和在第二实施例(控制目标1、2、和3例如分别是一个电视、一个空调、和一个电扇)中的将被控制的设备一样的。但是，第三实施例包括将被进行控制的多个设备。监视设备1输出被监视的内容到一个通信网络，操作者选择部分2输出对被选择的人的特性到通信网络，控制目标候选项确定部分3输出对于一个控制目标(是否这部分所属的设备是一个候选项或者这个设备被认为是一个候选项的程度)的确定信息到通信网络，控制内容候选项确定部分4输出对被确定的控制内容到到通信网络，和控制目标和内容确定部分5输出对控制目标和控制内容的信息到通信网络。

操作者选择部分2基于从通信网络获得的信息和从监视部分1获得的信息选择一个操作者，以便对操作者提供信息，和控制目标候选项确定部分3基于从通信网络获得的信息和从监视部分1获得的信息确定控制目标的候选项，以便对控制目标的候选项提供信息。控制内容候选项确定部分4基于从通信网络获得的信息和从监视部分1获得的信息确定控制内容的候选项，以便对控制内容的候选项提供信息，和控制目标和内容确定部分5基于从通信网络和由控制目标候选项确定部分3确定的控制目标的候选项和由控制内容候选项确定部分4确定的控制内容候选项获得的信息对控制目标提供信息，和然后作用控制到控制目标上。这个实施例不同于第二实施例的地方在于，由于存在着多个控制设备，当每个设备单独确定一个控制目标和控制内容时，可以由操作者提供无意识的控制。例如，如果应该人指向电视(控制目标1)和空调(控制目标2)之间的中间点，和说出“开”，则电视(控制目标1)和空调(控制目标2)两者都被打开，即使是仅电视(控制目标1)将被操作时也是如此。

在这种情况下，通过获得对其它被控设备的控制目标和控制内容的各个候选项的信息，控制目标和控制内容的候选项可以被按照第一实施例的方式进行限制。例如，当电视(控制目标1)的控制目标候选项确定部分输出“电视”到通信网络作为用于控制目标的候选项和空调(控制目标2)的控制目标候选项确定部分输出“空调”到通信网络作为用于控制目标的候选项，电视(控制目标1)的控制目标和内容确定部分5确定应该控制目标和基于通过通信网络获得的对于电视的控制目标候选项的信息和对于空调的控制目标的候选项的信息提供相应的信息。在这种情况下，电视和空调两者都是候选项，使得电视提供提示重新输入的信息。空调(控制目标2)的控制目标和内容确定部分执行类似的处理。通过输出信息到通信网络，不仅对于一个控制目标的候选项，而且一个该设备被认为是一个候选项(例如：电视：10空调：5)的程度的信息，被控制的设备1和2的控制目标和内容确定部分比较哪个设备被认为是一个候选项的程度，以便确定具有较大程度(在这个情况下是电视)作为控制目标设备。对于控制内容的候选项通过交换各个不同被控设备之间的信息类似地进行处理。

另外，通过从通信网络获得对操作者的信息，仅离操作者最近的设备可以进行响应，不会引起多个设备响应一个人的手势(例如指的手势)。例如，如果来自通信网络的由电视(控制目标1)的操作者选择部分所选择的操作者与由空调(控制目标2)的操作者选择部分所选择的操作者是相同的，则执行上述程序确定是电视(控制目标1)还是空调(控制目标2)作为控制目标。另外，如果操作者是不同的，则电视(控制目标1)或者空调(控制目标2)可以仅基于各自所选择的操作者的特性执行处理。再有，由电视(控制目标1)的监视部分输出的信息可以被控制目标候选项确定部分、控制内容候选项确定部分、或者空调(控制目标2)的操作者选择部分进行利用。这样具有一种提供不能仅利用空调(在盲点上信息)进行监视的信息的作用。另外，由空调(控制目标2)的控制目标和内容确定部分输出的信息可以由电视(控制目标1)进行显示。在这种情况下，每个被控设备的输出装置(图象、声音、或光)可以在各个被控设备中进行共享。

通信网络可以是有线的(经网络、电话、或电力线)或者无线的(利用诸如电磁波、红外线、或超声波之类的通信媒体)，或者可以是有线与无线网络的混合网络。

因此，本发明第三实施例不仅提供第一和第二实施例的作用，而且还基于人的预定特性始终如一的和平稳地控制设备，即使是每个被控设备包括一种个别确定操作者、控制目标和控制内容的机制。

图4是表示本发明的第四实施例的方框图。在这个图中，每个部分的操作地3是类似第一实施例的。但是，这个实施例不包括操作者选择部分2，和对于所有的人确定控制目标和控制内容的候选项。例如，如果存在着N个人，则对于控制目标的候选项的确定和对于控制内容的候选项的确定被执行N次(可以是同时地执行)。控制目标和内容确定部分5基于对所有的人的确定的控制目标和控制内容的候选项确定控制目标和控制内容，以便执行控制。主要规则被用于确定控制目标和控制内容。例如，如果存在着N个人和如果这些人的多半都发出了降低空调的温度的指令，则提供控制使得空调的温度被降低。另外，如果对于各个人的控制目标和控制内容是同时的，则相应的控制可以同时提供。因此，本发明的第四实施例不仅提供第一实施例的作用，而且还可以将几个人同时考虑进去进行操作设备。为了执行类似于利用遥控器的处理，各个人必须始终准备由每个人必须进行操作的那么多个遥控器。本发明能使设备或者信息按照这样一种方式被进行控制，以至于不使用大量的遥控器，就能从几个人发出指令。

图5是表示本发明的第五实施例的方框图。在这个图中，每个部分的操作类似于第四实施例。但是，在第五实施例中，监视部分1、控制目标候选项确定部分3、控制内容候选项确定部分4、和控制目标和内容确定部分5被安装到一个被控设备(例如，空调)上。利用这种构型，本发明的第五实施例不仅提供了但是实施例的作用，而且还要求每个设备的控制目标候选项确定部分3仅确定是否该设备已经被选上，因此与但是实施例相比较，减少了对于一个控制目标确定候选项所要求的处理量。这个实施例还有优点之处在于：不管该设备的位置的自由移动，对于该设备的控制目标确定候选项的处理没有必要改变。

图6是表示本发明的第六实施例的方框图。在这个图中，每个部分的操作是类似于第一实施例的。但是，按照第六实施例，控制目标候选项确定部分3确定对于所有人的控制目标的候选项，和控制内容候选项确定部分4确定对于所有人的控制内容的候选项。例如，如果存在着N个人，则对于控制目标的候选项的确定和对于控制内容的候选项的确定要执行N次(可以同时执行)。

操作者选择部分2确定基于对于N个人的控制目标和控制内容的候选项确定一个操作者。控制目标和内容确定部分5基于由操作者选择部分2所选择的操作者的控制目标和控制内容的候选项确定控制目标和控制内容。

本发明的第六实施例的构成可以提供类似于第一实施例的那些作用。另外，在已经确定控制目标和控制内容的候选项以后通过选择操作者，基于控制目标和控制内容的程序可以例如通过避免选择由于它们的预定特性(例如，指示的手势)不清楚对控制目标和控制内容不能被确定的候选项来执行。

图7是本发明的第七实施例的方框图。在这个图中，每个部分的操作类似于第六实施例。但是，在第七实施例中，监视部分1、控制目标候选项确定部分3、控制内容候选项确定部分4、操作选择部分2、和控制目标和内容确定部分5被安装到一个被控设备(例如，空调)上。利用这种构成，本发明的第七实施例不仅提供了第六实施例的作用，而且还要求每个设备的控制目标候选项确定部分3仅确定是否该设备已经被选上，因此与第六实施例相比较，减少了对于一个控制目标确定候选项所要求的处理量。这个实施例还有优点之处在于，不管该设备的位置自由移动，对该设备的控制目标确定候选项的处理不需要改变。

图8是本发明的第八实施例的方框图。在这个图中，每个部分的操作几乎是与第一实施例相似的。但是，按照第七实施例，控制目标候选项确定部分3对所有的人的控制目标确定候选项，和控制内容候选项确定部分4对所有的人的控制内容确定候选项。例如，如果存在着N个人，则控制目标的候选项的确定和控制内容的候选项的确定被执行N次(可以同时执行)。控制目标和控制内容确定部分5从由操作者选择部分2选择的操作者的控制目标和控制内容的候选项中确定控制目标和控制内容。在本发明的第八实施例所表示的构形可以提供类似于第一实施例的作用。

虽然第到第八实施例已经通过假设该方法是在室内实现的进行了描述，但是它们可以适用于设备的室外操作。除了设备的操作外，这些实施例还可以适合信息的操纵，诸如显示屏上的目标的操纵或者显示屏的控制。

本发明可以利用硬件、或计算机软件、或者其混合来实现。

本发明还可以是一种存储在用于存储这种程序的媒介中的程序，该程序被利用来实现按照上述描述的本发明的控制方法的全部或部分操作。

正如从上面的描述所显而易见的那样，本发明是一种利用人日常特性就能使设备将被平稳地进行控制的控制方法，而并不苛求该人作出复杂的预定手势，仅通过计及存在几个人或多个设备，和不至于由于利用人的特性使得人的手势和姿势的变得模糊。

另外，基于人的预定特性和利用对于控制目标的候选项信息和限制候选项的总数量的控制内容两者，控制目标和控制内容通过确定多个对于控制目标和控制内容的候选项可以可靠被识别。

进而，所要求的信息可以提供给该人，同时通过提供给人以操作者的信息和由设备确定的候选项内容，和如果控制目标和控制内容不能被确定的情况下提示重新输入和进一步明确该人的特性，控制目标和控制内容可以被平稳地确定。

再有，按照本发明，信息可以通过一种声音装置以及显示屏来提供，即使存在于视觉障碍的人和声音障碍的人，他们也能够证实信息。因此，本发明对于福利工作也是有帮助的。

另外，当间断地进行监视时，可以大大地降低功耗。因此，本发明有助于地球的环境保护。

Claims (54)

1．一种控制方法，用于监视人的特性和基于监视的结果按预定的控制内容控制将要被控制的设备。

2．按照权利要求1的控制方法，其特征在于：监视所述人的周围环境并且还利用这些结果执行所述控制。

3．按照权利要求1或2的控制方法，其特征在于：所述监视是连续地或间断地执行的。

4．按照权利要求1、2或3的控制方法，其特征在于：基于所述监视的结果，选择一个操作者，接着选择将要被控制的目标和控制内容。

5．按照权利要求4的控制方法，其特征在于：如果所述控制目标、所述操作者、或所述控制内容不能被确定，则提供不能被确定的这样的结果信息。

6．按照权利要求5的控制方法，其特征在于：光、字符、语音、声音、或振动的至少一种被利用提供结果信息。

7．按照权利要求1、2或3的控制方法，其特征在于：基于所述监视的结果，首先选择将被控制的目标的候选项，并且还在于然后选择操作者，接着确定将被控制的目标和控制内容。

8．按照权利要求1、2或3的控制方法，其特征在于：同时监视几个人。

9．按照权利要求1、2、3或4的控制方法，其特征在于：所述设备包括多个设备。

10．按照权利要求1到9的任何一个权利要求的控制方法，其特征在于：向所述人提供所述监视结果的信息和基于由响应了提供信息的所述人发出的响应和指令执行所述控制。

11．按照权利要求10的控制方法，其特征在于：所述提供的信息至少是对于所述人的候选项信息、对于所述目标设备候选项信息、和控制内容的信息之一。

12．按照权利要求1、2或3的控制方法，其特征在于：在自动地执行所述控制同时，向所述人简单表达所述监视结果信息。

13．按照权利要求1、2或3的控制方法，其特征在于：在自动地执行所述控制同时，不向所述人简单表达所述监视结果信息。

14．按照权利要求12或13的控制方法，其特征在于：作为所述监视结果的信息，对于人、设备、和控制内容中的至少一个提供多个候选项，并且基于各个候选项，所述控制自动地被执行。

15．按照权利要求1、2或3的控制方法，其特征在于：用于执行所述控制的控制装置是被安装到目标设备中的。

16．按照权利要求15的控制方法，其特征在于：所述控制装置被安装到多个设备的每个设备中，和在于多个控制装置利用一个通信路径交换各种信息，基于该信息交换的结果，使得所述控制被执行。

17．按照权利要求16的控制方法，其特征在于：所述控制装置通过发送其自身的监视结果到其它控制装置，同时增加通过所述通信路径从其它控制装置获得的内容执行所述控制。

18．按照权利要求1到17的任何一个权利要求的控制方法，其特征在于：所述人的特性是他们的手势。

19．按照权利要求1到18的任何一个权利要求的控制方法，其特征在于：所述控制包括改变目标设备的控制参数或者接通或关断它们。

20．按照权利要求1的控制方法，其特征在于：作为人的预定特性，该方法检测他们将食指放在其嘴上的一种手势，在于目标设备基于所述手势输出声音，和在于当控制参数值变化时所述设备的音量被减小。

21．按照权利要求1的控制方法，其特征在于：作为人的预定特性，该方法检测他们将耳朵塞上的一种手势，在于目标设备包括基于所述手势输出声音的设备和基于所述手势控制音量的设备，和在于当控制参数值变化时，所述设备的音量被减小。

22．按照权利要求1的控制方法，其特征在于：作为人的预定特性，该方法检测他们将手放在其耳朵附近的一种手势，在于目标设备包括基于所述手势输出声音的设备和基于所述手势控制音量的设备，和在于当控制参数值变化时，所述设备的音量被增大。

23．按照权利要求1的控制方法，其特征在于：作为人的预定特性，该方法检测他们利用他们的手扇他们的脸或他们的身体的的某一部分的一种手势，在于目标设备包括基于所述手势和一个窗口控制空气主状态的设备，和在于按照控制参数值的改变，所述设备的音量被减小。

24．按照权利要求1的控制方法，其特征在于：连续或间断地监视单个或多个人的特性，基于人的预定特性的检测，确定控制目标和内容的候选项，和基于控制目标和内容的所述候选项，确定控制目标和内容。

25．按照权利要求1的控制方法，其特征在于：连续或间断地监视单个或多个人的特性和他们周围环境，基于人的预定特性和他们周围环境的检测，确定控制目标和控制内容，基于所述控制目标和内容的候选项确定控制目标和内容。

26．按照权利要求25的控制方法，其特征在于：周围环境至少包括温度、湿度、亮度、空气流、时间或声音。

27．按照权利要求24到26中的任何一个权利要求的的控制方法，其特征在于：通过所述监视获得的信息输出到通信网络，和/或对于控制目标和控制内容的候选项输出到通信网络，和/或对于控制目标和控制内容输出到通信网络。

28．按照权利要求27的控制方法，其特征在于：连续或间断地监视所述通信网络，和基于来自通信网络的信息和人的预定特性的检测，确定控制目标和控制内容的候选项。

29．按照权利要求27或28的控制方法，其特征在于：连续或间断地监视所述通信网络，和基于来自通信网络的信息和控制目标和控制内容的候选项确定控制目标和控制内容。

30．按照权利要求24到29的任何一个权利要求的控制方法，其特征在于：对于控制目标的所述候选项被用作控制目标和在于对于控制内容的候选项被用作控制内容。

31．按照权利要求24到30的任何一个权利要求的控制方法，其特征在于：基于几个人的特性的检测，对每个人进行确定控制目标和控制内容的候选项，和在于：基于所述控制目标和控制内容的候选项，确定控制目标和控制内容。

32．按照权利要求31的控制方法，其特征在于：利用对于每个人确定的控制目标和控制内容，基于主要规则确定控制目标和控制内容。

33．按照权利要求24到30的任何一个权利要求的控制方法，其特征在于：基于人的预定特性的检测、确定对于控制目标和控制内容的操作者和候选项，和在于：基于对于控制目标和控制内容的所述操作者和所述候选项，确定控制目标和控制内容。

34．按照权利要求33的控制方法，其特征在于：基于几个人的特性的检测，确定对于每个所述人的控制目标和控制内容候选项，在于：基于对于控制目标和控制内容的所述候选项，选择操作者，和在于：基于所选择的操作者的特性，确定控制目标和控制内容的候选项。

35．按照权利要求24到30的任何一个权利要求的控制方法，其特征在于：基于人的预定特性的检测，选择操作者，和在于：基于所选择的操作者的特性，确定控制目标和控制内容的候选项。

36．按照权利要求33到35的任何一个权利要求的控制方法，其特征在于：对于所选择的操作者的信息被输出到通信网络。

37．按照权利要求27到29和36的任何一个权利要求的控制方法，其特征在于：通信网络包括无线或有线的通信网络。

38．按照权利要求33到36的任何一个权利要求的控制方法，其特征在于：所选择的操作者被提供作为信息。

39．按照权利要求24到38的任何一个权利要求的控制方法，其特征在于：基于控制目标和控制内容的候选项提供信息。

40．按照权利要求39的控制方法，其特征在于：提供至少控制目标的候选项、控制目标、控制内容的候选项、控制内容、证实指示、重新输入指示、候选项的选择、或禁止确定一个目标之一。

41．按照权利要求38到40的任何一个权利要求的控制方法，其特征在于：至少光、字符、声音、或振动之一被用作提供信息。

42．按照权利要求38到41的任何一个权利要求的控制方法，其特征在于：在提供信息以后，基于人的特性的监视的结果，控制目标的候选项可以被减少和/或控制内容的候选项可以被减少和/或控制目标被确定和/或控制内容被确定和/或信息被提供。

43．按照权利要求24到42的任何一个权利要求的控制方法，其特征在于：基于预定的参考，对于控制目标的候选项被减少和/或控制内容的候选项被减少和/或控制目标被确定和/或控制内容被确定。

44．按照权利要求43的控制方法，其特征在于：基于对于控制目标的候选项和对于控制内容的候选项的相干性，控制目标的候选项被减少和/或控制内容的候选项被减少和/或控制目标被确定和/或控制内容被确定。

45．按照权利要求43或44的控制方法，其特征在于：利用至少第一时间和第二时间之间的时间间隔，在该第一时间上，用于确定控制目标的候选项的预定特性被进行检测，在该第二时间上，用于确定控制内容的候选项的预定特性被进行检测；所述第一和第二时间的暂时次序；或者所述预定特性的检测的持续期；对于控制目标的候选项被减少和/或控制内容的候选项被减少和/或控制目标被确定和/或控制内容被确定。

46．按照权利要求24到45的控制方法，其特征在于：控制内容是操作设备和/或管理信息。

47．按照权利要求24到46的任何一个权利要求的控制方法，其特征在于：至少一个人的位置、姿势、表情、手势、语音、生理状态、身份、形状、体重、性别、年龄、身体和精神上的缺陷、或携带物被用作人的特性。

48．按照权利要求24到47的控制方法，其特征在于：用于确定控制目标的候选项的人的特性不同于用于确定控制内容的候选项的人的特性。

49．按照权利要求24到47的控制方法，其特征在于：用于确定控制目标的候选项的人的特性相同于用于确定控制内容的候选项的特性。

50．按照权利要求49的控制方法，其特征在于：该方法检测他们将其食指放在他们的嘴上的手势作为人的特性，在于：控制目标的候选项包括基于所述手势输出声音的设备和基于所述手势控制音量的设备，和在于：控制内容的候选项包括用于减小音量的控制。

51．按照权利要求49的控制方法，其特征在于：该方法检测他们塞住他们的耳朵的手势作为人的特性，在于：控制目标的候选项包括基于所述手势设备输出声音和基于所述手势控制音量，和在于：控制内容的候选项包括减小音量的控制。

52．按照权利要求49的控制方法，其特征在于：该方法检测他们用他们的手扇他们的脸或他们身体的部分的手势作为人的特性，在于：控制目标的候选项包括基于所述手势控制空气调节和窗户的设备，和在于控制内容的候选项包括降低温度的设置或通风。

53．按照权利要求49的控制方法，其特征在于：该方法检测他们将他们的手放在耳朵附近的手势作为人的特性，在于：控制目标的候选项包括设备基于所述的手势输出声音，和基于所述手势设备控制音量，和在于：控制内容的候选项包括音量。

54．用于存储诸如被利用来实现按照权利要求1到53中任何一个权利要求的控制方法的所有或部分操作的程序的存储介质。

Images