CN111052017A - 作业辅助系统 - Google Patents

作业辅助系统 Download PDF

Info

Publication number
CN111052017A
CN111052017A CN201880055627.3A CN201880055627A CN111052017A CN 111052017 A CN111052017 A CN 111052017A CN 201880055627 A CN201880055627 A CN 201880055627A CN 111052017 A CN111052017 A CN 111052017A
Authority
CN
China
Prior art keywords
unit
information
operator
processing device
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880055627.3A
Other languages
English (en)
Inventor
安部洋一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ishida Co Ltd
Original Assignee
Ishida Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ishida Co Ltd filed Critical Ishida Co Ltd
Publication of CN111052017A publication Critical patent/CN111052017A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Program-control systems
    • G05B19/02Program-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4184Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by fault tolerance, reliability of production system
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/32Operator till task planning
    • G05B2219/32014Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Factory Administration (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种作业辅助系统,其具备:显示部(11),具有可搬运性,显示向作业员提供的信息;识别部(22),识别被认为作业员正在视觉确认的处理装置;以及显示控制部(23),对显示部所显示的信息的内容进行控制,在判定为由识别部识别出的处理装置为一台的情况下,显示控制部使与由识别部识别出的处理装置相关的信息显示,在判定为由识别部识别出的处理装置为两台以上的情况下,显示控制部使显示部显示与包括由识别部识别出的处理装置在内的生产线(30)相关的信息。

Description

作业辅助系统
技术领域
本公开的一个方面涉及一种作业辅助系统。
背景技术
已知使用AR(Augmented Reality:增强现实)来辅助工厂内等的作业员的作业的作业辅助系统。例如,在专利文献1中公开了一种作业辅助系统,其配置于作业员的眼前,通过覆盖作业员的视野的眼镜型的映像显示部来显示针对作业对象的作业说明信息等附加信息。
现有技术文献
专利文献
专利文献1:日本特开2016-208331号公报
发明内容
在这样的系统中,能够向作业员提供各种信息。然而,就提高作业员的作业效率而言,在各个方面还是有改进空间的。
为此,本公开的一个方面的目的在于提供一种能够提高作业员的作业效率的作业辅助系统。
本公开的一个方面所涉及的作业辅助系统对在配备有由多个处理装置形成的生产线的工厂中进行作业的作业员进行辅助,该作业辅助系统具备:显示部,具有可搬运性,显示向作业员提供的信息;识别部,识别被认为作业员正在视觉确认的处理装置;以及显示控制部,对显示部所显示的信息的内容进行控制,在判定为由识别部识别出的处理装置为一台的情况下,显示控制部使与由识别部识别出的处理装置相关的信息显示,在判定为由识别部识别出的处理装置为两台以上的情况下,显示控制部使显示部显示与包括由识别部识别出的处理装置在内的生产线相关的信息。
在该结构的作业辅助系统中,基于在作业员想要得到与一台处理装置相关的信息的状况下应该会对该一台处理装置进行视觉确认且在作业员想要得到与生产线整体相关的信息的状况下应该会对多台处理装置进行视觉确认这样的推测,根据作业员的状态(是对一台处理装置进行视觉确认的状态还是对多台处理装置进行视觉确认的状态)来改变使显示部显示的信息的内容。具体地说,在由识别部识别的处理装置的台数为一台时(作业员处于对一台处理装置进行视觉确认的状态时),显示控制部使显示部显示与由识别部识别出的处理装置相关的信息。另一方面,在由识别部识别的处理装置的台数为两台以上时(作业员处于对两台以上的处理装置进行视觉确认的状态时),使显示部显示与包括由识别部识别出的处理装置在内的生产线相关的信息。由此,能够基于作业员的状态在恰当的时机下提供向作业员提供的信息(与处理装置相关的信息或者与生产线相关的信息)。其结果为,能够提高作业员的作业效率。
在本公开的一个方面所涉及的作业辅助系统中,也可以是,在由识别部识别出的处理装置被判定为0台的情况下,显示控制部使显示部显示与生产线相关的信息。在该结构的作业辅助系统中,在作业员想要观察与生产线相关的信息时,例如通过观察铅垂方向上方这样的动作便能够容易观察与生产线相关的信息。
在本公开的一个方面所涉及的作业辅助系统中,也可以是,显示部使工厂内的实际空间与同处理装置相关的信息或者同生产线相关的信息重合显示。在该结构的作业辅助系统中,由于与处理装置或者生产线相关的信息以与工厂内的实际空间(例如一个处理装置)重合的状态被显示,所以能够使作业员直观地理解显示部所显示的信息是什么信息。
在本公开的一个方面所涉及的作业辅助系统中,也可以是,该作业辅助系统还具备拍摄部,该拍摄部具有可搬运性并拍摄工厂内的实际空间,识别部基于由拍摄部拍摄到的图像来识别被认为作业员正在视觉确认的处理装置。在该结构的作业辅助系统中,能够使识别部容易识别被认为作业员正在视觉确认的处理装置。
在本公开的一个方面所涉及的作业辅助系统中,也可以是,处理装置分别设有标识部,识别部基于由拍摄部拍摄到的图像所包括的标识部来识别处理装置。在该结构的作业辅助系统中,能够使识别部更容易识别被认为作业员正在视觉确认的处理装置。
在本公开的一个方面所涉及的作业辅助系统中,也可以是,该作业辅助系统还具备:存储部,将位置信息与处理装置的标识信息建立关联而存储;以及位置信息获取部,具有可搬运性,获取作业员的位置,识别部通过从存储部提取与同作业员的位置一致的位置信息建立了关联的处理装置的标识信息来识别处理装置。在该结构的作业辅助系统中,能够容易识别被认为作业员正在视觉确认的处理装置。
在本公开的一个方面所涉及的作业辅助系统中,也可以是,该作业辅助系统还具备方向确定部,该方向确定部具有可搬运性并确定被认为作业员正在视觉确认的方向,存储部将位置信息、方向信息和处理装置的标识信息建立关联而存储,识别部通过从存储部提取与同作业员的位置以及被认为作业员正在视觉确认的方向一致的位置信息以及方向信息建立了关联的处理装置的标识信息来识别处理装置。在该结构的作业辅助系统中,能够高精度地识别被认为作业员正在视觉确认的处理装置。
在本公开的一个方面所涉及的作业辅助系统中,也可以是,显示控制部若变更了显示部的显示内容,则将显示部的状态维持规定时间。在该结构的作业辅助系统中,能够防止所显示的信息以较短的时间连续切换。
在本公开的一个方面所涉及的作业辅助系统中,也可以是,该作业辅助系统还具备切换部,该切换部基于作业员的操作来切换使显示部显示与处理装置相关的信息还是使显示部显示与生产线相关的信息。在该结构的作业辅助系统中,作业员能够通过自身的操作而使显示部显示所期望的信息。
根据本公开的一个方面,能够提高作业员的作业效率。
附图说明
图1是表示一实施方式所涉及的作业辅助系统的结构的图。
图2是表示在使用了图1的作业辅助系统的工厂中配备的生产线的整体的立体图。
图3是表示在使用了图1的作业辅助系统的工厂中配备的生产线的主视图。
图4是表示管理服务器所管理的信息的画面的一例的图。
图5是通过头戴式显示器从下方向观察图3的组合计量装置时的图。
图6是通过头戴式显示器从正面观察图4的制袋包装装置、密封检查装置以及X射线检查装置时的图。
图7的(A)是表示与组合计量装置相关的信息的显示例的图,图7的(B)是表示与生产线相关的信息的显示例的图。
图8是表示在使用了变形例所涉及的作业辅助系统的工厂中配备的生产线以及发送器的主视图。
图9是表示包括变形例所涉及的显示部在内的PC平板的主视图。
具体实施方式
下面,参照附图详细说明本公开的一个方面的优选实施例。此外,在附图的说明中,对相同或者相应的要素标注相同的附图标记,省略重复的说明。
本实施方式的作业辅助系统1是对在配备有多个处理装置的工厂中进行作业的作业员进行辅助的系统。在本实施方式中,以在配备有如图2所示的三条(L1~L3)生产线30(参照图3)的工厂中使用的作业辅助系统1为例进行说明,该生产线30具备作为处理装置的搬运装置35、组合计量装置40、制袋包装装置70、密封检查装置75、X射线检查装置80、金属检测机85、重量检查装置90以及装箱装置95。
搬运装置35是将物品从供给部搬运至组合计量装置40并将物品向组合计量装置40的投入滑槽供给的装置。组合计量装置40是将物品分量为规定重量的装置。制袋包装装置70是一边制作包装物品的袋一边包装被组合计量装置40分量后的物品的装置。密封检查装置75是检测由制袋包装装置70制作包装而成的袋的异常的装置。X射线检查装置80是检查内包于袋的物品的状态或者是否有异物混入的装置。金属检测机85是检查是否有金属混入到内包于袋中的物品的装置。重量检查装置90是检查内包有物品的商品的重量的装置。装箱装置95是将商品装入纸箱的装置。
如图3所示,构成生产线30的处理装置分别设有标识部9。标识部9例如是包含有用于对各部件的信息进行标识的二维码。
如图1所示,作业辅助系统1具备管理服务器20和具有可搬运性的眼镜型的头戴式显示器(以下,称为“HMD”)10。HMD10具有显示部11、拍摄部15、输入部16以及通信部17。
显示部11显示向作业员提供的信息。显示部11使工厂内的实际空间与向作业员提供的信息重合而显示(重叠显示)。在本实施方式中,使工厂内的实际空间和与处理装置相关的信息或者与生产线30相关的信息重合而显示。显示部11中的重叠显示例如是通过由半反射镜构成显示部11或者将由拍摄部15拍摄到的图像投影到显示部11来实现的。
拍摄部15拍摄工厂内的实际空间。拍摄部15被设为佩戴了HMD10的作业员进行视觉确认的实际空间与由拍摄部15拍摄的实际空间大致一致。即,拍摄部15是拍摄作业员的视线方向上的前方视野图像的视野同步相机。拍摄部15使拍摄到的数据显示于显示部11。另外,拍摄部15将拍摄到的数据发送至管理服务器20。
输入部16具有分别选择上下左右的键和确定输入的键。作业员通过对输入部16进行操作而能够选择在显示部11中显示的菜单或者确定菜单。本实施方式的输入部16作为将显示部11所显示的信息在与后段详细描述的处理装置相关的信息(参照图7的(A))和与后段详细描述的生产线30相关的信息(参照图7的(B))之间切换的第二切换部而发挥功能。
通信部17是用于与管理服务器20交换数据的接口。与管理服务器20的通信既可以是无线的,也可以是有线的。
管理服务器20构成为包括CPU(Central Processing Unit,中央处理器)、RAM(Random Access Memory,随机存取存储器)以及ROM(Read Only Memory,只读存储器)等主存储部、硬盘、以闪存等为示例的辅助存储部、键盘以及鼠标等输入部、显示画面等输出部等的计算机系统。管理服务器20具备通信部21、识别部22以及显示控制部23。在后段详细描述的识别部22以及显示控制部23中的各功能是通过在CPU、主存储部等硬件上读入规定的计算机软件而在CPU的控制下执行的。
管理服务器20通过通信部21分别与搬运装置35、组合计量装置40、制袋包装装置70、密封检查装置75、X射线检查装置80、金属检测机85、重量检查装置90以及装箱装置95连接。管理服务器20与各处理装置既可以通过无线来连接,也可以通过有线来连接。另外,管理服务器20通过通信部21与HMD10以能够通信的方式连接。
管理服务器20监视构成生产线30的各种装置的动作。管理服务器20基于从各处理装置发送来的信息,例如,监视每个处理装置的状态(状况)、应对方法、直到成为下一个状况为止的剩余时间,或者监视每条生产线的运转率,或者监视全部生产线总的运转率。管理服务器20也可以将这些监视信息作为例如图4所示的监视信息画面7而显示在管理服务器20的显示画面等上。监视信息画面7例如也可以具有显示每个处理装置的状态(状况)、应对方法、直到成为下一个状况为止的剩余时间的部分7A、以及显示每条生产线的运转率或者全部生产线总的运转率等的部分7B。
识别部22识别被认为作业员正在视觉确认的处理装置。在本实施方式中,识别部22基于由HMD10的拍摄部15拍摄到的实际空间来识别被认为作业员正在视觉确认的处理装置。即,从由HMD10的拍摄部15拍摄到的实际空间中提取设于处理装置的标识部9,通过获取提取出的标识部9所包含的信息来识别被认为作业员正在视觉确认的处理装置。由此,识别部22能够获取被认为作业员正在识别的处理装置的种类、数量等。此外,由HMD10的拍摄部15拍摄到的实际空间与佩戴了HMD10的作业员进行视觉确认的实际空间同步。
显示控制单元23控制在HMD10的显示部11中显示的信息的内容。在基于识别部22针对处理装置的识别状况而判定为被认为作业员正在视觉确认的处理装置为一台的情况下,显示控制部23使与由识别部22识别出的处理装置相关的信息显示,在基于识别部22针对处理装置的识别状况而判定为被认为作业员正在视觉确认的处理装置为两台以上的情况下,显示控制部23使与包括由识别部22识别出的处理装置在内的生产线30相关的信息显示。
与处理装置相关的信息的例子中包括例如显示上述管理服务器20所管理的信息且与处理装置各部的动作状况(动作参数)相关的信息的处理装置信息显示画面12A(参照图7的(A))。即,能够通过HMD10的显示部11看到与管理服务器20所管理的各处理装置相关的信息。在与生产线30相关的信息的例子中包括显示上述管理服务器20所管理的信息且与每个处理装置的状态(状况)、应对方法、直到成为下一个状况为止的剩余时间、每条生产线的运转率或者全部生产线总的运转率相关的信息等的生产线信息显示画面12B(参照图7的(B))。即,能够通过HMD10的显示部11看到与管理服务器20所管理的生产线30相关的信息。
在本实施方式中,显示控制部23基于识别部22所识别的处理装置的种类或者数量等信息,判定被认为作业员正在视觉确认的处理装置的数量。例如,在识别部22识别出组合计量装置40以及制袋包装装置70的情况下,显示控制部23能够判定为被认为作业员正在视觉确认的处理装置为两台。例如,在识别部22识别出两台处理装置的情况下,显示控制部23能够直接使用该信息来判定为被认为作业员正在视觉确认的处理装置为两台。而且,在基于识别部22针对处理装置的识别状况而判定为被认为作业员正在视觉确认的处理装置为0台的情况下,本实施方式的显示控制部23使与生产线30相关的信息显示。显示控制部23若变更了显示部11中的显示内容,则将该状态维持规定时间。
接下来,如图5所示,说明佩戴了HMD10的作业员对配置于架台65的组合计量装置40进行了视觉确认的情况。由于作业员进行视觉确认的实际空间与拍摄部15拍摄的实际空间大致一致,所以在HMD10的显示部11中显示从台架65的下方拍摄到的组合计量装置40。作业员能够通过HMD10的显示部11如同实际空间一样以从架台65的下方观察的方式观察组合计量装置40。
拍摄部15将从台架65的下方拍摄到的组合计量装置40的数据发送至管理服务器20。识别部22基于从拍摄部15发送来的数据,识别被认为作业员正在视觉确认的处理装置。在本实施方式中,识别部22从发送来的数据中提取被附加于组合计量装置40的标识部9,识别出所拍摄的处理装置是生产线L1所配备的组合计量装置40。
显示控制部23基于由识别部22识别出的处理装置是生产线L1所配备的组合计量装置40这样的信息,判定为被认为作业员正在视觉确认的处理装置是一台。接着,由于显示控制部23判定为被认为作业员正在视觉确认的处理装置是一台,所以使显示部11显示处理装置信息显示画面12A(参照图5以及图7的(A))而作为与该组合计量装置40相关的信息。
在处理装置信息显示画面12A中,例如显示组合计量装置40的处理速度、目标速度、目标重量、上限值、以及平均重量等。另外,在显示部11中一次显示的信息量是确定的。作业员能够操作分别选择输入部16的上下左右的键而使在显示部11中显示的信息滚动。
接着,如图6所示,说明佩戴了HMD10的作业员对制袋包装装置70、密封检查装置75以及X射线检查装置80进行了视觉确认的情况。由于作业员进行视觉确认的实际空间与拍摄部15拍摄的实际空间大致一致,所以在HMD10的显示部11中显示制袋包装装置70、密封检查装置75以及X射线检查装置80。作业员能够通过HMD10的显示部11看到与实际空间相同的制袋包装装置70、密封检查装置75以及X射线检查装置80。
拍摄部15将拍摄制袋包装装置70、密封检查装置75以及X射线检查装置80所得的数据发送至管理服务器20。识别部22基于从拍摄部15发送来的数据,识别被认为作业员正在视觉确认的处理装置。在本实施方式中,识别部22从发送来的数据中提取分别被附加于制袋包装装置70、密封检查装置75以及X射线检查装置80的标识部9,识别出所拍摄的处理装置是生产线L1所配备的制袋包装装置70、密封检查装置75以及X射线检查装置80。
显示控制部23基于由识别部22识别出的处理装置是生产线L1所配备的制袋包装装置70、密封检查装置75以及X射线检查装置80这样的信息,判定为被认为作业员正在视觉确认的处理装置是三台。接着,由于显示控制部23判定为被认为作业员正在视觉确认的处理装置是两台以上,所以使显示部11显示生产线信息显示画面12B(参照图6以及图7的(B))而作为与包括制袋包装装置70、密封检查装置75以及X射线检查装置80在内的生产线30相关的信息。
在生产线信息显示画面12B中显示各处理装置的状况信息等。关于生产线信息显示画面12B,也与处理装置信息显示画面12A相同,作业员能够操作分别选择输入部16的上下左右的键而使在显示部11中显示的信息滚动。
接着,如图6所示,说明佩戴了HMD10的作业员对处理装置以外的、例如工厂的顶棚151进行了视觉确认的情况。由于作业员进行视觉确认的实际空间与拍摄部15拍摄的实际空间大致一致,所以在HMD10的显示部11中显示工厂的顶棚151。作业员能够通过HMD10的显示部11看到与实际空间相同的工厂的顶棚151。
拍摄部15将拍摄工厂的顶棚151所得的数据发送至管理服务器20。识别部22基于从拍摄部15发送来的数据,识别被认为作业员正在视觉确认的处理装置。在本实施方式中,识别部22识别出在发送来的数据中不包含标识部9。
显示控制部23基于没有由识别部22识别出的处理装置这样的信息,判定为被认为作业员正在视觉确认的处理装置是0台。接着,由于显示控制部23判定为被认为作业员正在视觉确认的处理装置是0台,所以使显示部11显示上述生产线信息显示画面12B(参照图6以及图7的(B))而作为与生产线30相关的信息。此处显示的与生产线30相关的信息是与全部生产线L1~L3相关的信息。
如上所述,即使在显示控制部23基于被认为作业员正在视觉确认的处理装置而使显示部11显示处理装置信息显示画面12A或者生产线信息显示画面12B的情况下,也会有作业员想要看到与在显示部11中显示的画面不同的其它画面的情况。例如,在显示了处理装置信息显示画面12A后,为了确认生产线30的状态而想要看到生产线信息显示画面12B。在该情况下,作业员通过操作HMD10的输入部16而能够从处理装置信息显示画面12A切换为生产线信息显示画面12B。即,能够使显示部11显示作业员所期望的信息。另外,显示控制部23若变更了显示部11的显示内容,则将该状态维持规定时间(例如5秒)。由此,能够防止所显示的信息以较短的时间连续切换。
接着,说明上述实施方式的作业辅助系统1的作用效果。在上述实施方式的作业辅助系统1中,当基于识别部22针对处理装置的识别状况由显示控制部23判定为被认为作业员正在视觉确认的处理装置是一台时,使处理装置信息显示画面12A显示而作为与由识别部22识别出的处理装置相关的信息,当判定为两台以上时,使生产线信息显示画面12B显示而作为与包含由识别部22识别出的处理装置在内的生产线30相关的信息。由此,能够基于作业员的状态在恰当的时机下提供向作业员提供的信息(与处理装置相关的信息或者与生产线相关的信息)。其结果为,能够提高作业员的作业效率。
在上述实施方式中,显示控制部23在基于由识别部22识别出的处理装置而判定为被认为作业员正在视觉确认的处理装置为0台的情况下,使与生产线30相关的信息显示。因此,当作业员想要看到与生产线30相关的信息时,通过观察上方这样的动作,能够容易看到与生产线30相关的信息。
在上述实施方式中,HMD10的显示部11使工厂内的实际空间与处理装置信息显示画面12A或者生产线信息显示画面12B重合而显示。因此,以与工厂内的实际空间(例如,一个组合计量装置40)重合的状态显示处理装置信息显示画面12A或者生产线信息显示画面12B,因此能够使作业员直观地理解在显示部11中显示的信息是什么信息。
在上述实施方式中,还具备拍摄部15,该拍摄部15具有可搬运性并拍摄工厂内的实际空间,识别部22基于由拍摄部15拍摄到的图像来识别被认为作业员正在视觉确认的处理装置。因此,能够使识别部22容易识别被认为作业员正在视觉确认的处理装置。
在上述实施方式中,处理装置分别设有标识部9,识别部22基于由拍摄部15拍摄到的图像所包含的标识部9来识别处理装置。因此,能够使识别部22更容易地识别被认为作业员正在视觉确认的处理装置。
上文中说明了一个实施方式,但是本公开的一个方面并不局限于上述实施方式,能够在不脱离本公开的主旨的范围内进行各种变更。
<变形例1>
在上述实施方式中,以在各处理装置中安装有标识部9且识别部22从由拍摄部15拍摄到的数据中提取标识部9从而识别处理装置为例进行了说明,但是并不局限于此。处理装置的识别例如也可以通过由拍摄部15拍摄到的数据、即图像的匹配等来进行。即,也可以通过基于拍摄到的图像与预先存储的每个处理装置的图像的匹配的方法来确定。
<变形例2>
在上述实施方式或者变形例1中,以识别部22使用由拍摄部15拍摄的数据来识别处理装置为例进行了说明。即,即使是不具备拍摄部15的结构,识别部22也能够识别被认为作业员正在视觉确认的处理装置。下面说明其中一例。
即,作业辅助系统1也可以不具备HMD10的拍摄部15或者不使用拍摄部15的功能,而是如图1所示地具备:存储部24,将位置信息与处理装置的标识信息建立关联而存储;以及位置信息获取部18,具有可搬运性并获取作业员的位置。
位置信息获取部18的例子是GPS(Global Positioning System,全球定位系统)。由此,能够获取佩戴了HMD10的作业员的位置。由此,识别部22从存储部24提取与同作业员的位置一致的位置信息建立了关联的处理装置的标识信息,并基于提取出的标识信息来识别处理装置。
在该变形例2所涉及的作业辅助系统1中,即使HMD10不具备拍摄部15或者不使用拍摄部15的功能,也能够容易识别被认为作业员正在视觉确认的处理装置,并且能够容易判定被认为正在识别的处理装置的台数。
<变形例3>
在变形例2中,作为位置信息获取部18,以搭载于HMD10的GPS为例进行了说明,但是并不局限于此。例如,能够使用能够在无法接收GPS的电波的室内等规定区域中确定佩戴了HMD10的作业员的位置的定位系统。该定位系统构成为具备发送器153(参照图8)和作为搭载于HMD10的位置信息获取部18的接收器。发送器153发送能够被HMD10接收的无线信号。无线信号的例子包括BLE(Bluetooth(注册商标)Low Energy,低功耗蓝牙)信号、光BLE信号、WiFi(Wireless Fidelity,行动热点)(注册商标)信号、以及光无线信号等。
发送器153预先设置在HMD10能够接收无线信号的范围内。如图8所示,例如设置于工厂的顶棚151或者柱子等。在由发送器153送出的无线信号中含有唯一地确定发送器153的信息以及表示信号的接收强度的信息。作为唯一地确定发送器153的信息,能够使用在各发送器153中预先设定的MAC地址等。另外,作为表示信号的接收强度的信息,例如能够使用RSSI(Received Signal Strength Indication Indicator,接收的信号强度指示)。在工厂内的各位置,预先测量表示来自各发送器153的无线信号的接收强度的接收强度,测量出的信息被存储于存储部24(参照图1)。因此,只要搭载有HMD10的位置信息获取部18能够在工厂内获取发送器153的MAC地址以及接收强度,就能够确定工厂内的位置。
在该变形例3所涉及的作业辅助系统1中,即使HMD10不具备拍摄部15或者不使用拍摄部15的功能,也能够容易识别被认为作业员正在视觉确认的处理装置,并且能够容易判定被认为正在识别的处理装置的台数。此外,在采用了该定位系统的情况下,有时会发生从相邻的各个发送器153连续且交替地接收无线信号的现象(所谓的振荡(chattering)现象)。在该情况下,即使在HMD10停留在相同位置的情况下,也会确定为在短时间内位置发生了变化。在本变形例3中,当位置信息像这样发生变化时,识别部22所识别的处理装置的对象也发生改变,从而有可能导致在显示部11中显示的信息也发生切换。为此,如在上述实施方式中说明的那样,显示控制部23若变更了显示部11的显示内容,则将该状态维持规定时间(例如5秒)的做法是有效的解决手段。由此,能够防止所显示的信息以较短的时间连续切换。
<变形例4>
在上述变形例2以及变形例3的结构的基础上,还可以具备方向确定部19,该方向确定部19具有可搬运性并确定被认为作业员正在视觉确认的方向。方向确定部19的例子是电子罗盘。方向确定部19被设为佩戴了HMD10的作业员进行视觉确认的方向与由方向确定部19获取的方向大致一致。即,方向确定部19获取作业员的视线方向上的方向。另外,方向确定部19将拍摄所得的数据发送至管理服务器20。在该情况下,存储部24将位置信息、方向信息和处理装置的标识信息建立关联而存储,识别部22能够从存储部24提取与同作业员的位置以及被认为作业员正在视觉确认的方向一致的位置信息以及方向信息建立了关联的处理装置的标识信息,并基于提取出的标识信息来识别处理装置。
在该变形例4所涉及的作业辅助系统1中,若将佩戴HMD10的作业员的位置与被认为作业员正在视觉确认的处理装置建立关联,则认为能够以规定的精度识别被认为作业员正在视觉确认的处理装置。然而,即使位于规定位置,也无法严密地确定作业员进行视觉确认的方向。关于这一点,由于在变形例4所涉及的作业辅助系统1中,能够获取作业员的视线方向上的方向,所以能够高精度地获取作业员正在视觉确认的方向。
<变形例5>
在上述实施方式或者变形例中,作为具备显示部11和拍摄部15的装置,以采用了具有可搬运性的眼镜型的HMD10为例进行了说明,但是例如也可以是具备如图9所示的显示部111和拍摄部115的平板PC110。由于在该情况下,也能够使通过拍摄部115拍摄而显示于显示部111的图像与供作业员进行视觉确认的图像一致,所以能够获得与上述实施方式相同的效果。但是,在平板PC110中,作业员必须用手进行保持,但是相反地,在作为可佩戴终端之一的HMD10中,作业员的手是自由的。因此,在采用HMD10的情况下,作业性优异。
<其它变形例>
在上述实施方式或者变形例中,以将与组合计量装置40相关的处理装置信息显示画面12A显示于显示部11为例进行了说明,但是也可以将与组合计量装置40以外的处理装置、即搬运装置35、制袋包装装置70、密封检查装置75、X射线检查装置80、金属检测机85、重量检查装置90、以及装箱装置95相关的处理装置信息显示画面显示于显示部11。
附图标记说明
1、作业辅助系统;7、监视信息画面;9、标识部;11、111、显示部;12A、处理装置信息显示画面;12B、生产线信息显示画面;15、115、拍摄部;16、输入部(切换部);17、通信部;18、位置信息获取部;19、方向确定部;20、管理服务器;21、通信部;22、识别部;23、显示控制部;24、存储部;30、生产线(L1~L3);35、搬运装置;40、组合计量装置;110、平板PC;151、天井;153、发送器。

Claims (9)

1.一种作业辅助系统,对在配备有由多个处理装置形成的生产线的工厂中进行作业的作业员进行辅助,所述作业辅助系统具备:
显示部,具有可搬运性,显示向所述作业员提供的信息;
识别部,识别被认为所述作业员正在视觉确认的处理装置;以及
显示控制部,对所述显示部所显示的信息的内容进行控制,
在判定为由所述识别部识别出的处理装置为一台的情况下,所述显示控制部使与由所述识别部识别出的处理装置相关的信息显示;在判定为由所述识别部识别出的处理装置为两台以上的情况下,所述显示控制部使所述显示部显示与包括由所述识别部识别出的所述处理装置在内的所述生产线相关的信息。
2.根据权利要求1所述的作业辅助系统,其中,
在由所述识别部识别出的处理装置被判定为0台的情况下,所述显示控制部使所述显示部显示与所述生产线相关的信息。
3.根据权利要求1或2所述的作业辅助系统,其中,
所述显示部使所述工厂内的实际空间与同所述处理装置相关的信息或者所述工厂内的实际空间与同所述生产线相关的信息重合而显示。
4.根据权利要求1~3中任一项所述的作业辅助系统,其中,
所述作业辅助系统还具备拍摄部,所述拍摄部具有可搬运性并拍摄所述工厂内的实际空间,
所述识别部基于由所述拍摄部拍摄到的实际空间来识别被认为所述作业员正在视觉确认的处理装置。
5.根据权利要求4所述的作业辅助系统,其中,
所述处理装置分别设有标识部,
所述识别部基于由所述拍摄部拍摄到的图像所包括的所述标识部来识别被认为所述作业员正在视觉确认的处理装置。
6.根据权利要求1~3中任一项所述的作业辅助系统,其中,
所述作业辅助系统还具备:
存储部,将位置信息与所述处理装置的标识信息建立关联而存储;以及
位置信息获取部,具有可搬运性,获取所述作业员的位置,
所述识别部通过从所述存储部提取与同所述作业员的位置一致的所述位置信息建立了关联的所述处理装置的标识信息来识别被认为所述作业员正在视觉确认的处理装置。
7.根据权利要求6所述的作业辅助系统,其中,
所述作业辅助系统还具备方向确定部,所述方向确定部具有可搬运性并确定被认为所述作业员正在视觉确认的方向,
所述存储部将所述位置信息、方向信息和所述处理装置的标识信息建立关联而存储,
所述识别部通过从所述存储部提取与同所述作业员的位置以及被认为所述作业员正在视觉确认的方向一致的所述位置信息以及所述方向信息建立了关联的所述处理装置的标识信息来识别被认为所述作业员正在视觉确认的处理装置。
8.根据权利要求1~7中任一项所述的作业辅助系统,其中,
所述显示控制部若变更了所述显示部的显示内容,则将所述显示部的状态维持规定时间。
9.根据权利要求1~8中任一项所述的作业辅助系统,其中,
所述作业辅助系统还具备切换部,所述切换部基于所述作业员的操作来切换使所述显示部显示与所述处理装置相关的信息还是使所述显示部显示与所述生产线相关的信息。
CN201880055627.3A 2017-08-31 2018-08-01 作业辅助系统 Pending CN111052017A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017167370A JP2019046067A (ja) 2017-08-31 2017-08-31 作業支援システム
JP2017-167370 2017-08-31
PCT/JP2018/028922 WO2019044346A1 (ja) 2017-08-31 2018-08-01 作業支援システム

Publications (1)

Publication Number Publication Date
CN111052017A true CN111052017A (zh) 2020-04-21

Family

ID=65527303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880055627.3A Pending CN111052017A (zh) 2017-08-31 2018-08-01 作业辅助系统

Country Status (5)

Country Link
US (1) US20200258305A1 (zh)
EP (1) EP3677973A4 (zh)
JP (1) JP2019046067A (zh)
CN (1) CN111052017A (zh)
WO (1) WO2019044346A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI808669B (zh) * 2022-03-04 2023-07-11 國眾電腦股份有限公司 多點同步指導偕同作業系統及其方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12386489B2 (en) * 2020-03-12 2025-08-12 Maxell, Ltd. Information terminal device and application operation mode control method of same

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008003781A (ja) * 2006-06-21 2008-01-10 Konica Minolta Holdings Inc 作業監視システム
WO2013094366A1 (ja) * 2011-12-22 2013-06-27 村田機械株式会社 産業機械システムおよび産業機械システム用情報処理機器
WO2014030256A1 (ja) * 2012-08-24 2014-02-27 富士機械製造株式会社 電気回路製造ライン支援システム
US20160125654A1 (en) * 2013-05-22 2016-05-05 Kawasaki Jukogyo Kabushiki Kaisha Component assembly work support system and component assembly method
CN106101470A (zh) * 2015-04-28 2016-11-09 京瓷办公信息系统株式会社 信息处理装置及对图像处理装置的作业指示方法
JP2017049916A (ja) * 2015-09-04 2017-03-09 株式会社東芝 眼鏡型電子機器、作業管理システムおよび情報管理サーバ

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016208331A (ja) 2015-04-24 2016-12-08 三菱電機エンジニアリング株式会社 作業支援システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008003781A (ja) * 2006-06-21 2008-01-10 Konica Minolta Holdings Inc 作業監視システム
WO2013094366A1 (ja) * 2011-12-22 2013-06-27 村田機械株式会社 産業機械システムおよび産業機械システム用情報処理機器
WO2014030256A1 (ja) * 2012-08-24 2014-02-27 富士機械製造株式会社 電気回路製造ライン支援システム
US20160125654A1 (en) * 2013-05-22 2016-05-05 Kawasaki Jukogyo Kabushiki Kaisha Component assembly work support system and component assembly method
CN106101470A (zh) * 2015-04-28 2016-11-09 京瓷办公信息系统株式会社 信息处理装置及对图像处理装置的作业指示方法
JP2017049916A (ja) * 2015-09-04 2017-03-09 株式会社東芝 眼鏡型電子機器、作業管理システムおよび情報管理サーバ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI808669B (zh) * 2022-03-04 2023-07-11 國眾電腦股份有限公司 多點同步指導偕同作業系統及其方法

Also Published As

Publication number Publication date
WO2019044346A1 (ja) 2019-03-07
JP2019046067A (ja) 2019-03-22
EP3677973A1 (en) 2020-07-08
US20200258305A1 (en) 2020-08-13
EP3677973A4 (en) 2021-05-19

Similar Documents

Publication Publication Date Title
US9154742B2 (en) Terminal location specifying system, mobile terminal and terminal location specifying method
EP3246660B1 (en) System and method for referencing a displaying device relative to a surveying instrument
JP6364952B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法
JP7811700B2 (ja) 電磁波可視化装置
JP6895598B2 (ja) 設備点検システム、サーバ、設備点検方法、及び制御プログラム
US10254748B2 (en) Inspection work support device, inspection work support system, and inspection work support method
US10649096B2 (en) Wearable terminal for displaying navigation information, navigation device and display method therefor
JP2015102880A (ja) 作業支援システム
US11403826B2 (en) Management system and management method using eyewear device
CN111052017A (zh) 作业辅助系统
WO2019106847A1 (ja) カメラ撮影画像を用いる位置情報システム、及びそれに用いるカメラ付き情報機器
US20210318173A1 (en) Measurement system, measurement device, measurement method, and program
US9689673B2 (en) Target determining method and system
JP5543870B2 (ja) カメラ、カメラの制御方法、及びプログラム
JP5514062B2 (ja) 電子機器、情報付き撮像画面表示方法及びプログラム
WO2021002263A1 (ja) ガス検出端末装置
KR102363216B1 (ko) 물체 식별 시스템
KR20210112551A (ko) 휴대용 단말기를 이용한 건설 분야 시공 관리 시스템 및 방법
JP6300979B2 (ja) 測定結果表示装置、測定システムおよび測定結果表示用プログラム
JP6541704B2 (ja) 仮想物体を表示する端末装置とサーバ装置とを含むシステム
JP6098659B2 (ja) 携帯端末及びプログラム
JP7250499B2 (ja) 設備位置管理システム
JP2015197429A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2019158810A (ja) 放射線量分布表示装置及び放射線量分布表示方法
HK1196988B (zh) 信息处理终端、信息处理方法和信息处理程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200421

WD01 Invention patent application deemed withdrawn after publication