KR20200094941A - 생산 라인에서의 작업자 위치 인식 방법 및 그 장치 - Google Patents

Abstract

본 발명은 생산 라인에서의 작업자 위치 인식 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 자동화된 생산 라인에서 작업자의 위치를 정확하게 인식하고, 상기 인식한 작업자의 위치를 참조하여, 작업자가 보유한 영상표시장치(예를 들어, HMD)를 통해 공정기계와 작업자 사이에 가상현실(VR) 또는 증강현실(AR)로 표시되는 이미지를 회전시키거나 크기를 조절함으로써, 현장의 작업자에게 작업에 필요한 각종 정보의 전달을 용이하게 수행하고, 작업 숙련도를 향상시킬 수 있는 방법 및 그 장치에 관한 것이다.

Description

생산 라인에서의 작업자 위치 인식 방법 및 그 장치{METHOD FOR RECOGNIZING WORKER POSITION IN MANUFACTURING LINE AND APPARATUS THEREOF}

본 발명은 생산 라인에서의 작업자 위치 인식 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 자동화된 생산 라인에서 작업자의 위치를 정확하게 인식하고, 상기 인식한 작업자의 위치를 참조하여, 작업자가 보유한 영상표시장치(예를 들어, HMD(Head Mounted Display))를 통해 고정 구조물과 작업자 사이에 가상현실(VR, Virtual Reality) 또는 증강현실(AR, Augmented Reality)로 표시되는 이미지를 회전시키거나 크기를 조절함으로써, 현장의 작업자에게 작업에 필요한 각종 정보의 전달을 용이하게 수행하고, 작업 숙련도를 향상시킬 수 있는 방법 및 그 장치에 관한 것이다.

최근 들어 자동화된 공정 라인에 IoT(Internet of Things) 디바이스를 부착하여 실시간으로 단위 공정별 동작상태, 공정정보, 제품정보 등을 추출하고, 상기 추출한 정보를 원격의 중앙관제시스템으로 전달하여 공정에 포함되는 각종 기계의 동작을 효율적으로 관리하고, 공장에서 생산하는 제품의 품질을 향상시킬 수 있는 스마트 팩토리에 대한 관심이 높아지고 있다.

상기 스마트 팩토리는 공장의 설비와 공정이 지능화되어 생산네트워크로 연결되고 모든 생산 데이터와 정보가 실시간으로 공유 활용되어 최적화된 생산을 위한 운영이 가능한 공장을 말한다.

특히 CPS(Cyber Physical System) 기반 스마트 팩토리는 실제 공장이 가상화되어 현실에 존재하는 공장과 동기화되는 사이버 모델을 구성한 후 실시간으로 수집된 데이터를 사이버 모델에 적용하여 제조 시스템의 효율적인 운영을 수행하는 것으로 이를 통해 주문, 변경, 설비 고장 등의 상황 변경에 자율적으로 인지하여 대응할 수 있도록 한다.

한편 최근 들어 어떤 특정한 환경이나 상황을 컴퓨터로 만들어, 이를 이용하는 사람이 직접 체험하지 않고서도 마치 실제 주변 상황이나 환경과 상호작용을 하는 것처럼 보여주고 조작할 수 있게 해주는 가상현실 기술이나 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 증강현실 기술이 활발하게 사용되고 있다. 상기 가상현실 또는 증강현실의 기술을 이용하기 위한 가장 대표적인 영상표시장치로 사용자가 머리에 장착하는 HMD가 있다.

이와 같이 상기 가상현실이나 증강현실 기술을 스마트 팩토리에 적용하여, 관리자나 작업자가 HMD 등의 영상표시장치를 통해 생산품의 제조 진행 상황, 생산 장비의 동작상태 정보 등을 가상의 이미지로 확인할 수 있는 환경이 구축되면, 관리자의 의사결정의 정확성을 높일 수 있고, 작업자의 작업효율을 향상시킬 수 있을 것으로 예상된다.

하지만, 현재 스마트 팩토리의 각 공정에서 가상현실이나 증강현실 기술을 사용하여 가상의 이미지로 해당 공정에 필요한 작업 정보를 전달하는 기술이 사용되고 있지 않으며, 가상의 이미지로 작업 정보를 제공하는 경우에도 단순히 사용자의 시선 방향으로 제공하는 기술에 그치고 있을 뿐, 작업자의 위치 인식을 기반으로 가상의 이미지를 작업자가 이동하는 방향으로 회전시키거나 크기를 조절하여 제공하지 못하는 문제점이 있었다.

따라서 본 발명에서는 자동화된 생산 라인에서 마커를 이용하여 작업자의 위치를 정확하게 인식하고, 상기 인식한 작업자의 위치를 참조하여, 작업자가 보유한 HMD 등의 영상표시장치를 통해 가상현실 또는 증강현실로 표시되는 이미지를 회전시키거나 크기를 조절할 수 있도록 함으로써, 현장의 작업자가 작업에 필요한 각종 정보를 용이하게 전달받을 수 있는 방안을 제시하고자 한다.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.

먼저 한국공개특허공보 제2017-0021689호(2017.02.28.)는 증강현실을 이용한 해양 구조물 설계/생산 지원 시스템 및 방법에 관한 것으로, 촬영부를 통해 촬영된 해양 구조물 영상에 그 해양 구조물의 설계도면을 증강현실을 이용하여 화면에 표시하는 시스템 및 방법에 관한 것이다.

즉 상기 선행기술은 증강현실을 구현하는 3차원 디스플레이 장치를 이용하여 생산중인 해양 구조물의 설계도면을 해당 해양 구조물의 영상에 오버레이하여 표시함으로써, 해양 구조물의 실제 모습을 보면서 설계를 보완할 수 있도록 하는 시스템 및 방법에 대하여 기재하고 있다.

또한 한국등록특허 제1285360호(2013.07.11.)는 증강현실을 이용한 관심 지점 표시 장치 및 방법에 관한 것으로, 소정 방식의 측위모듈로부터 관심 지점 표시 장치의 현재 위치를 측정하고, 가속도 센서, 지자기 센서 및 자이로 센서 중 적어도 하나를 이용하여 관심 지점 표시 장치의 자세를 측정하여 해당 장치의 위치에서 지도 정보를 바탕으로 소정 범위의 검색 영역을 선정하고, 선정된 검색 영역에서 카메라 모듈이 촬영하는 시야각 내에 존재하는 소정 개수의 관심 지점을 선정하여 각 지점들의 위치를 선정하고, 관심 지점에 상응하는 추가 정보를 추출하여 관심 지점과 추가 정보를 합성하여 사용자에게 제공하는 것을 기술적 특징으로 한다.

즉 상기 선행기술은 증강현실을 기반으로 관심 지점의 위치뿐만 아니라 해당 지점에 상응하는 추가 정보를 제공할 수 있는 장치 및 방법을 기재하고 있다.

이상에서 선행기술들을 검토한 결과, 대부분의 선행기술들은 생산중인 해양 구조물의 설계도면을 해당 해양 구조물의 영상에 오버레이하여 표시하는 구성, 증강현실을 이용하여 관심 지점의 위치 및 추가정보를 제공하는 구성에 대한 기술적 개념만을 기재하고 있을 뿐이다.

이에 반하여 본 발명은 자동화된 생산 라인에서 마커를 이용하여 작업자의 위치를 정확하게 인식하고, 이를 토대로 작업자가 보유한 HMD 등의 영상표시장치를 통해 표시되는 이미지를 회전시키거나 크기를 조절할 수 있으므로, 현장의 작업자가 작업에 필요한 각종 정보를 용이하게 전달받으며, 결과적으로 작업 숙련도를 향상시킬 수 있도록 하는 것이다. 따라서 상기 선행기술들은 본 발명의 이러한 기술적 특징을 기재하거나 시사하고 있지 않다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 자동화된 생산 라인에서 고정 구조물(예: 공정기계)에 복수 개의 마커를 부착하고, 상기 복수 개의 마커를 이용하여 작업자의 위치를 정확하게 인식함으로써, 현장의 작업자에게 해당 공정에 필요한 작업 정보를 정확하게 전달할 수 있는 방법 및 그 장치를 제공하는 것을 목적으로 한다.

또한 본 발명은 자동화된 생산 라인에서 작업자의 위치를 정확하게 인식하고, 상기 인식한 작업자의 위치를 참조하여, 작업자가 보유한 영상표시장치를 통해 고정 구조물과 작업자 사이에 가상현실 또는 증강현실로 표시되는 이미지를 회전시키거나 크기를 조절함으로써, 작업에 필요한 정보의 전달을 용이하게 수행하고, 이를 통해 작업 숙련도를 향상시킬 수 있는 방법 및 그 장치를 제공하는 것을 다른 목적으로 한다.

또한 본 발명은 현장의 작업자에게 제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 또는 이들의 조합을 포함한 정보를 가상현실 또는 증강현실 이미지로 제공함으로써, 작업에 필요한 다양한 정보를 손쉽게 확인할 수 있는 방법 및 그 장치를 제공하는 것을 또 다른 목적으로 한다.

또한 본 발명은 작업자와 고정 구조물 사이의 정확한 거리와 각도를 계산하는 것이 아니고, 작업자의 위치를 고정 구조물과의 상대적 거리와 각도를 근사화해서 계산함으로써, 작업자의 위치나 시선이동에 빠르게 대응하여 가상의 이미지를 처리할 수 있는 방법 및 그 장치를 제공하는 것을 또 다른 목적으로 한다.

본 발명의 일 실시예에 따른 생산 라인에서의 작업자 위치 인식 방법은, 영상표시장치에서, 카메라로 촬영한 영상으로부터 특정 고정 구조물에 부착된 복수의 마커를 추출하는 마커 추출 단계, 및 상기 영상표시장치에서, 현재 작업자 위치에서 상기 추출한 복수의 마커와의 각도 및 상기 복수의 마커 간의 상대적 거리를 산출하고, 상기 산출한 각도 및 상대적 거리를 사전 등록된 기준 작업자 위치에서 촬영한 영상으로부터 측정한 상기 기준 작업자 위치와 복수의 마커와의 각도 및 상기 복수의 마커 간의 상대적 거리와 비교하여, 작업자의 위치를 인식하는 위치 인식 단계를 포함하며, 상기 기준 작업자 위치는, 상기 고정 구조물의 정면에서 상기 고정 구조물의 가상 중심점과 작업자를 직선으로 연결하였을 때 설계자에 의해 결정되는 어느 하나의 지점인 것을 특징으로 한다.

또한 상기 작업자 위치 인식 방법은, 상기 영상표시장치에서, 상기 인식한 작업자의 위치를 토대로, 가상현실이나 증강현실로 표시되는 작업에 필요한 정보를 회전시키거나 크기를 조절하여 출력하는 가상 이미지 출력 단계를 더 포함하며, 상기 작업에 필요한 정보는, 제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 또는 이들의 조합을 포함한 정보인 것을 특징으로 한다.

또한 상기 마커 추출 단계에서 추출되는 복수의 마커 중 어느 하나는 기준 마커로 사용되며, 상기 기준 마커는 상기 카메라를 통해 어느 방향에서도 촬영이 가능하도록 특정 고정 구조물의 가상 중심점에 부착되는 것을 특징으로 한다.

또한 상기 위치 인식 단계는, 기 저장되어 있는 기준 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커 간의 상대적 거리와 현재 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커 간의 상대적 거리의 비율을 계산하고, 상기 계산한 각 마커별 비율값을 참조하여 작업자의 위치가 기준 마커의 왼쪽 또는 오른쪽으로 이동하였는지의 수평 이동여부를 확인하는 거리 근사화 단계, 기 저장되어 있는 기준 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커와의 각도와 상기 현재 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커와의 각도의 비율을 계산하고, 상기 계산한 각 마커별 비율값을 토대로 작업자의 위치가 기준 마커에 가까워지는지 또는 멀어지는지의 수직 이동여부를 확인하거나, 또는 작업자의 위치가 상기 기준 마커의 왼쪽 또는 오른쪽으로 이동하였는지의 수평 이동여부를 확인하는 각도 근사화 단계, 및 상기 거리 근사화 단계에서 확인한 기준 마커를 기준으로 한 작업자의 수평 이동여부와 상기 각도 근사화 단계에서 확인한 기준 마커를 기준으로 한 작업자의 수직 및 수평 이동여부를 토대로 작업자의 위치를 확인하는 위치 확인 단계를 더 포함하는 것을 특징으로 한다.

아울러, 본 발명의 일 실시예에 따른 생산 라인에서의 작업자 위치 인식 장치는, 카메라로 촬영한 영상으로부터 특정 고정 구조물에 부착된 복수의 마커를 추출하는 영상처리부, 및 현재 작업자 위치에서 상기 추출한 복수의 마커와의 각도 및 상기 복수의 마커 간의 상대적 거리를 산출하고, 상기 산출한 각도 및 상대적 거리를 사전 등록된 기준 작업자 위치에서 촬영한 영상으로부터 측정한 상기 기준 작업자 위치와 복수의 마커와의 각도 및 상기 복수의 마커 간의 상대적 거리와 비교하여, 작업자의 위치를 인식하는 위치 인식부를 포함하며, 상기 기준 작업자 위치는, 상기 고정 구조물의 정면에서 상기 고정 구조물의 가상 중심점과 작업자를 직선으로 연결하였을 때 설계자에 의해 결정되는 어느 하나의 지점인 것을 특징으로 한다.

또한 상기 작업자 위치 인식 장치는, 상기 인식한 작업자의 위치를 토대로, 가상현실이나 증강현실로 표시되는 작업에 필요한 정보를 회전시키거나 크기를 조절하여 출력하는 가상 이미지 출력부를 더 포함하며, 상기 작업에 필요한 정보는, 제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 또는 이들의 조합을 포함한 정보인 것을 특징으로 한다.

또한 상기 복수의 마커 중 어느 하나는 기준 마커로 사용되며, 상기 기준 마커는 상기 카메라를 통해 어느 방향에서도 촬영이 가능하도록 특정 고정 구조물의 가상 중심점에 부착되는 것을 특징으로 한다.

또한 상기 복수의 마커는, 각 마커별로 색상을 다르게 적용하여 구성하거나 적외선 발광 소자를 포함하여 구성할 수 있는 것을 특징으로 한다.

또한 상기 복수의 마커는, 직사각형 형태의 비정형 마커를 사용하며, 상기 고정 구조물에 교차 배치되는 것을 특징으로 한다.

또한 상기 위치 인식부는, 기 저장되어 있는 기준 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커 간의 상대적 거리와 현재 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커 간의 상대적 거리의 비율을 계산하고, 상기 계산한 각 마커별 비율값을 참조하여 작업자의 위치가 기준 마커의 왼쪽 또는 오른쪽으로 수평 이동하였는지의 여부를 확인하는 거리 근사화부, 및 기 저장되어 있는 기준 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커와의 각도와 상기 현재 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커와의 각도의 비율을 계산하고, 상기 계산한 각 마커별 비율값을 토대로 작업자의 위치가 기준 마커에 가까워지는지 또는 멀어지는지의 여부를 확인하거나, 또는 상기 기준 마커의 왼쪽 또는 오른쪽으로 수평 이동하였는지의 여부를 확인하는 각도 근사화부를 포함하는 것을 특징으로 한다.

이상에서와 같이 본 발명의 생산 라인에서의 작업자 위치 인식 방법 및 그 장치에 따르면, 자동화된 생산 라인에서 고정 구조물에 부착된 마커를 이용하여 작업자의 위치를 정확하게 인식하고, 상기 인식한 작업자의 위치에 따라 작업자의 영상표시장치를 통해 고정 구조물과 작업자 사이에 가상현실 또는 증강현실로 표시되는 이미지를 회전시키거나 크기를 조절함으로써, 제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 등을 포함한 각종 정보를 현장의 작업자에게 정확하게 전달할 수 있으며, 이를 토대로 작업자가 작업을 진행할 수 있어 숙련도를 크게 향상시킬 수 있는 효과가 있다.

또한 본 발명은 작업자의 위치 인식을 기반으로 가상현실 또는 증강현실로 가상의 이미지를 제공할 때, 작업자와 고정 구조물 사이의 정확한 거리와 각도를 계산하는 것이 아니고, 작업자와 고정 구조물의 상대적 거리와 각도를 근사화하여 계산하고, 이를 토대로 작업자의 위치를 인식함으로써, 작업자의 위치나 시선이동에 빠르게 대응하여 가상의 이미지를 처리할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 생산 라인에서의 작업자 위치 인식 장치를 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 영상표시장치의 구성을 개략적으로 나타낸 도면이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 사용되는 각종 변수 및 가상 이미지의 현재 작업자 위치에 따른 회전과 크기 조절에 대한 개념을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서의 마커 부착을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 사전 등록되는 기준 작업자 위치를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 사전 등록되는 기준 작업자 위치에서 보이는 각 마커들의 위치정보를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 사전 등록되는 기준 작업자 위치와 각 마커들 사이의 각도정보를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 사전 등록되는 기준 작업자 위치에서 확인된 각 마커들 사이의 상대적 거리정보를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 작업자의 촬영위치 이동에 따른 각 마커들의 수평방향 위치 변화를 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 정형 마커와 비정형 마커 사용을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 작업자의 수평이동에 따른 각 마커들의 각도 변화를 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 작업자의 수직이동과 대각선이동에 따른 각 마커들의 각도 변화를 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 따른 생산 라인에서의 작업자 위치 인식 방법의 동작과정을 상세하게 나타낸 순서도이다.

이하, 첨부한 도면을 참조하여 본 발명의 생산 라인에서의 작업자 위치 인식 방법 및 그 장치에 대한 바람직한 실시 예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.

도 1은 본 발명의 일 실시예에 따른 생산 라인에서의 작업자 위치 인식 장치를 설명하기 위한 개념도이다.

도 1에 도시된 바와 같이, 본 발명은 영상표시장치(100), 고정 구조물(200), 복수의 마커(300), 생산 라인 관리서버(400), 데이터베이스(500) 등을 포함하여 구성된다.

상기 영상표시장치(100)는 생산 라인에 위치한 작업자가 신체에 착용한 상태에서 가상현실이나 증강현실 이미지를 확인할 수 있는 HMD, 소정의 애플리케이션 프로그램을 실행한 작업자가 손에 들고 있는 상태에서 가상현실이나 증강현실 이미지를 확인할 수 있는 스마트폰 등의 통신기기이다.

이때 상기 영상표시장치(100)를 통해 현장의 작업자에게 가상현실이나 증강현실 이미지로 제공되는 정보는, 해당 공정에서의 생산품 제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 또는 이들의 조합을 포함한 각 생산 라인에서 필요한 다양한 작업정보로서, 상기 영상표시장치(100)와 공정기계가 위치한 상기 고정 구조물(200) 사이에 투영된다. 예를 들어 텍스트로 구성된 정보의 경우 평면상에 투영할 수 있으며, 그래픽으로 구성된 정보의 경우 상기 고정 구조물(200)을 화면상에 표시한 상태에서 가상의 이미지를 중첩하는 형태로 투영할 수 있는 것이다.

또한 상기 영상표시장치(100)는 각 생산 라인에서 필요한 작업정보를 사전에 저장해 놓은 상태에서, 필요시 현장의 작업자에게 가상의 이미지를 투영하는 방식을 적용하는 것이 가장 바람직하지만, 그 이외에 각 생산 라인에서 필요한 작업정보를 상기 생산 라인 관리서버(400)로부터 실시간으로 전송받아 상기 영상표시장치(100)를 통해 가상의 이미지를 투영하는 방식을 사용할 수도 있다.

또한 상기 영상표시장치(100)는 상기 고정 구조물(200) 사이에 생산 공정의 작업과 관련된 각종 정보를 가상의 이미지로 투영할 때, 작업자의 위치를 고려하여 표현할 수 있다.

즉 상기 영상표시장치(100)에서 자체적으로 구비된 카메라로 복수의 마커(300)가 부착된 상기 고정 구조물(200)을 촬영한 후 실시간 영상처리를 통해 현재 작업자 위치에서 상기 복수의 마커(300)와의 각도 및 상기 복수의 마커(300) 간의 상대적 거리를 계산하고, 이를 사전 등록된 기준 작업자 위치에서의 각도 및 상대적 거리와 비교하여 작업자의 위치를 인식하고, 상기 인식한 작업자의 위치를 참조하여 가상의 이미지를 적절하게 회전시키거나 크기를 조절함으로써, 작업과 관련된 정보를 제공받는 작업자의 가시성과 편의성을 향상시키도록 한 것이다.

특히 본 발명은 상기 영상표시장치(100)에서 작업자와 상기 고정 구조물(200) 사이의 정확한 거리와 각도를 계산하는 것이 아니고, 작업자와 상기 고정 구조물(200)의 상대적 거리와 각도를 근사화하여 계산하고, 이를 토대로 작업자의 위치를 인식하기 때문에, 작업자의 위치나 시선이동에 빠르게 대응하여 가상의 이미지를 처리할 수 있다.

한편 상기 영상표시장치(100)는 자체적으로 구비된 카메라를 이용하는 것 이외에, 생산 라인 상에 구비된 카메라에서 촬영한 영상을 네트워크를 통해 직접 전송받거나 상기 생산 라인 관리서버(400)를 통해 전송받아 작업자 위치 인식에 활용할 수도 있다.

상기 고정 구조물(200)은 상기 영상표시장치(100)를 통해 현장의 작업자에게 해당 생산 공정에서 필요한 작업 정보와 관련된 가상의 이미지를 투영하는 대상이 되는 공장 자동화 장비로서, 스마트 팩토리의 각 단위 공정을 수행하는 스테이션에서 사용하는 공정 기계가 설치되는 부분이다.

여기서 상기 공장 자동화 장비는 통상적으로 고정 구조물(200)과 이동 구조물로 구성된다. 예를 들어 상기 고정 구조물(200)은 프로파일(profile)이라 불리는 알루미늄 재질의 육각 바 형태의 기둥을 수평 또는 수직으로 연결하여 형성한 구조물일 수 있는데, 자동화 장비에는 프로파일뿐 아니라 작업 로봇의 베이스 구조물가 반송장치의 일부 등도 고정 구조물이라 할 수 있다. 그리고 이러한 고정 구조물 사이를 이동하는 제품이나 부품, 로봇 팔과 같이 지속적으로 움직이는 것은 이동 구조물이라 할 수 있다.

상기 마커(300)는 현장에 위치한 작업자가 착용하거나 소지한 상기 영상표시장치(100)에서 작업자와 가상 이미지가 투영되는 상기 고정 구조물(200) 사이의 상대적 각도와 거리를 측정하는데 사용되며, 각 생산 라인에서 공정기계가 위치하는 상기 고정 구조물(200)에 부착된다.

즉 상기 마커(300)는 상기 영상표시장치(100)에 구비된 카메라로 촬영 가능한 표식을 말하는 것으로서, 상대적 거리 및 각도 측정을 위해서 기준 마커를 포함하여 최소한 2개 이상을 부착하여야 하며, 측정의 정확도를 높이기 위해서 3개 이상을 사용하는 것이 바람직하다.(도 6 참조) 이때 상기 마커(300)의 부착 위치는 스테이션의 형태나 고정 구조물의 위치와 형태에 따라 결정되며, 상기 영상표시장치(100)에서 마커들의 각도와 위치를 가장 효율적으로 알아내기 위하여 수행한 다양한 실험결과를 토대로 결정하는 것이 바람직하다.

또한 상기 마커(300)는 촬영을 통해 인식할 수 있다면 어떠한 재질을 사용하여도 무방하며, 적외선 방식의 마커를 사용할 수도 있다. 즉 상기 마커(300)는 일반적인 컬러 테이프를 사용하여 각 마커별로 색상을 다르게 적용하여 구성하거나, 또는 적외선 발광 소자를 구비하거나 적외선 발광이 가능한 물질을 도포하여 사용할 수 있는 것이다. 이때 상기 복수의 마커(300) 모두를 동일한 색상으로 적용하는 경우에는 기준 마커를 정의(예를 들어 좌측 상단의 첫 번째 마커)한 후 상대적 위치 정보(예를 들어 일정 방향으로 스캔하면서 인덱싱하는 방법)를 결정하여 사용할 수 있다.

또한 상기 마커(300) 중 기준 마커는 상기 영상표시장치(100)에 구비된 카메라를 통해 어느 방향에서도 촬영이 가능하도록 특정 고정 구조물(200)의 가상 중심점에 부착하여야 한다. 이때 상기 기준 마커는 유일한 색상(예: 빨간색)으로 지정하여 사용하는 것이 바람직하다.

또한 상기 마커(300)는 상기 영상표시장치(100)에서 촬영한 영상으로부터 마커의 상대 위치에 따라 거리와 각도를 계산하기 때문에 원형이나 정사각형과 같은 대칭형 구조로 제작하지 않는 것이 좋다. 즉 상기 마커(300)는 직사각형 형태의 비정형 마커를 사용하여 상기 고정 구조물(200)에 교차로 배치하는 것이 바람직하며, 이 경우 마커가 중첩되어 촬영되는 것을 방지할 수 있다.

상기 생산 라인 관리서버(400)는 제품 생산을 위한 생산 라인을 운영하는 사업자가 운영하는 컴퓨터로서, 각 생산 라인의 구동 및 제어를 총괄적으로 수행하며, 각각의 생산 공정에서 필요한 제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 또는 이들의 조합을 포함한 작업관련 정보를 구축하여 상기 데이터베이스(500)에 저장하여 관리한다. 이때 상기 작업관련 정보는 상기 영상표시장치(100)를 통해 가상현실이나 증강현실 이미지로 투영되는 정보이다.

또한 상기 생산 라인 관리서버(400)는 현장의 작업자가 자신이 보유한 상기 영상표시장치(100)에 각 생산 공정에 따른 작업관련 정보를 사전에 다운로드받아 저장하도록 하며, 만일 상기 작업관련 정보가 업데이트되거나 현장의 작업장에게 실시간으로 제공할 필요성이 있다면, 네트워크를 통해 현장의 작업자가 보유한 상기 영상표시장치(100)로 상기 작업관련 정보를 제공한다.

상기 데이터베이스(500)는 각 생산 라인의 공정 순서, 생산 계획 등을 저장하여 관리하고, 각각의 생산 공정별 제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 또는 이들의 조합을 포함한 작업관련 정보를 저장하여 관리한다.

또한 상기 데이터베이스(500)는 작업관련 정보를 가상의 이미지로 투영하는 상기 영상표시장치(100)의 동작 프로그램 및 작업관련 정보의 업데이트 내용을 저장하여 관리한다. 그 이외에 상기 데이터베이스(500)는 각 생산라인에 배치된 공정기계에서 사용하는 각종 동작프로그램 및 업데이트 정보를 저장하여 관리한다.

도 2는 본 발명의 일 실시예에 따른 영상표시장치의 구성을 개략적으로 나타낸 도면이다.

도 2에 도시된 바와 같이, 상기 영상표시장치(100)는 카메라(110), 영상처리부(120), 위치 인식부(130), 가상 이미지 출력부(140), 통신부(150), 저장부(160) 등을 포함하여 구성된다.

또한 상기 영상표시장치(100)는 도면에 도시하지는 않았지만, 각 구성 부분에 동작전원을 공급하는 전원부, 각종 기능에 대한 데이터 입력을 위한 입력부, 작업자의 이동, 자세, 속도 등을 감지하기 위한 각종 센서, 각종 동작프로그램의 업데이트를 관리하는 업데이트 관리부 등을 추가로 포함할 수 있다.

상기 카메라(110)는 컬러 촬영이 가능한 일반적인 카메라로서, 상기 고정 구조물(200)에 부착된 복수의 마커(300)가 적외선 마커인 경우 적외선 카메라를 사용한다.

또한 상기 카메라(110)는 특정 생산 라인에 위치한 작업자의 조작을 토대로 현재 위치에서 상기 고정 구조물(200)을 촬영하고, 상기 촬영한 영상을 상기 영상처리부(120)로 출력한다. 즉 상기 위치 인식부(130)에서 상기 고정 구조물(200)에 부착된 복수 개의 마커(300)를 인식하여 작업자가 상기 고정 구조물(200)로부터 어느 방향이나 거리에 위치하고 있는지를 확인할 수 있도록, 상기 고정 구조물(200)을 촬영하는 것이다.

상기 영상처리부(120)는 상기 카메라(110)로 촬영한 영상으로부터 특정 고정 구조물(200)에 부착된 복수의 마커(300)를 추출하고, 상기 추출한 복수의 마커(300)에 대한 정보(예를 들어 현재 작업자 위치에서 보이는 각 마커들의 위치 정보)를 상기 위치 인식부(130)로 출력한다.

이때 상기 영상처리부(120)는 상기 카메라(110)로부터 입력되는 촬영영상에 포함된 각 마커(300)의 인식(즉 각 마커별 색상 인식)을 위한 컬러변환을 수행하는 컬러변환부(121)와, 상기 컬러변환된 영상의 품질 개선을 위해 노이즈를 제거하는 노이즈 제거부(122)와, 상기 노이즈를 제거한 영상에서 각 마커(300)가 포함된 관심영역을 추출하는 관심영역 추출부(123)와, 상기 추출한 관심영역에서 마커(300) 부분을 추출하는 특징점 추출부(124)로 구성된다.

상기 위치 인식부(130)는 상기 영상처리부(120)에서 추출한 복수의 마커(300)에 대한 위치 정보를 토대로, 현재 작업자 위치에서 상기 추출한 복수의 마커(300)와의 각도와 기준 마커를 중심으로 한 상기 복수의 마커(300) 간의 상대적 거리를 산출한다.

또한 상기 위치 인식부(130)는 현재 작업자 위치에서 산출한 각 마커(300)와의 각도 및 각 마커(300) 간의 상대적 거리를 상기 저장부(160)에 기 저장되어 있는 기준 작업자 위치에서 촬영한 영상으로부터 측정한 상기 기준 작업자 위치와 복수의 마커(300)와의 각도와 기준 마커를 중심을 한 상기 복수의 마커(300) 간의 상대적 거리와 비교하고, 비교결과를 토대로 작업자의 위치를 인식한다.

여기서 상기 기준 작업자 위치는 상기 고정 구조물(200)의 정면에서 상기 고정 구조물(200)의 가상 중심점과 작업자를 직선으로 연결하였을 때 설계자에 의해 결정되는 어느 하나의 지점을 말하며, 가상 이미지의 종류와 응용 분야에 따라 달라질 수 있다.(도 4 및 도 5 참조)

즉 상기 위치 인식부(130)는 현재 작업자 위치가 기준 작업자 위치에서 어느 정도 각도로 어느 방향(시계방향 또는 반시계 방향)으로 떨어져 있는지를 알아내기 위한 것이다.

이때 상기 위치 인식부(130)는 거리 근사화부(131), 각도 근사화부(132), 위치 확인부(133)로 구성된다.

상기 거리 근사화부(131)는 상기 저장부(160)에 기 저장되어 있는 기준 작업자 위치에서 촬영한 영상으로부터 측정한 기준 마커를 중심으로 한 각 마커(300) 간의 상대적 거리와 상기 영상처리부(120)로부터 입력받은 현재 작업자 위치에서 촬영한 영상으로부터 측정한 기준 마커를 중심으로 한 각 마커(300) 간의 상대적 거리의 비율을 계산한다.

또한 상기 거리 근사화부(131)는 상기 계산한 각 마커별 비율값을 참조하여 작업자의 위치가 기준 마커의 왼쪽 또는 오른쪽으로 이동하였는지의 수평 이동여부를 확인한다.(도 11 참조)

상기 각도 근사화부(132)는 상기 저장부(160)에 기 저장되어 있는 기 저장되어 있는 기준 작업자 위치에서 촬영한 영상으로부터 측정한 상기 기준 작업자 위치에서 바라본 복수의 마커(300)와의 각도와 상기 영상처리부(120)로부터 입력받은 상기 현재 작업자 위치에서 촬영한 영상으로부터 측정한 상기 현재 작업자 위치에서 바라본 복수의 마커(300)와의 각도의 비율을 계산한다.

또한 상기 각도 근사화부(132)는 상기 계산한 각 마커별 비율값을 토대로 작업자의 위치가 기준 마커에 가까워지는지 또는 멀어지는지의 수직 이동여부를 확인하거나, 또는 작업자의 위치가 상기 기준 마커의 왼쪽 또는 오른쪽으로 이동하였는지의 수평 이동여부를 확인한다. 예를 들어, 상기 각도 근사화부(132)는 상기 계산한 비율을 토대로 상기 비율이 1보다 크면 작업자의 위치가 기준 마커에 가까워지는 것으로 확인하고, 상기 비율이 1보다 작으면 작업자의 위치가 기준 마커로부터 멀어지는 것으로 확인한다.(도 13 및 도 14 참조)

상기 위치 확인부(133)는 상기 거리 근사화부(131)에서 확인한 기준 마커를 기준으로 한 작업자의 수평 이동여부와 상기 각도 근사화부(132)에서 확인한 기준 마커를 기준으로 한 작업자의 수직 및 수평 이동여부를 토대로 작업자의 위치를 확인하고, 확인한 작업자의 위치를 상기 가상 이미지 출력부(140)로 출력한다.

한편 작업자가 기준 작업자 위치에서 전후로 이동하거나 수평으로 이동하는 경우 이외에 대각선으로 이동할 수 있다. 이 경우 상기 위치 인식부(130)는 기 저장되어 있는 상기 기준 작업자 위치에서 바라본 각 마커(300)와의 각도와 현재 작업자 위치에서 측정한 상기 현재 작업자 위치에서 바라본 각 마커(300)와의 각도의 비율만으로는 작업자의 이동경로를 추적하는데 한계가 있다. 그러므로 상기 위치 인식부(130)는 작업자의 위치가 기준 마커의 왼쪽 또는 오른쪽인지를 확인하는 거리 근사화부(131)의 결과와 작업자의 위치가 기준 작업자 위치로부터 왼쪽 또는 오른쪽으로 수평 이동되는지를 확인하는 각도 근사화부(132)의 결과를 모두 참조하고, 수평 이동이나 수직 이동에 따른 상대적 거리 및 각도의 변화를 반복적으로 처리함으로써, 작업자가 대각선으로 이동한 위치를 확인할 수 있도록 한다.(도 14의 (b) 참조)

상기 가상 이미지 출력부(140)는 상기 위치 인식부(130)에서 인식한 작업자의 위치를 토대로, 가상현실이나 증강현실로 표시되는 작업에 필요한 정보를 회전시키거나 크기를 조절하여 출력한다. 이때 가상현실이나 증강현실 이미지로 출력되는 상기 작업에 필요한 정보는, 제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 또는 이들의 조합을 포함한 정보이다.

상기 통신부(150)는 상기 영상표시장치(100)와 상기 생산 라인 관리서버(400) 사이에 이루어지는 데이터 통신을 처리한다. 즉 상기 영상표시장치(100)에서 상기 가상 이미지 출력부(140)를 통해 출력할 각 생산 공정에 따른 작업관련 정보를 상기 생산 라인 관리서버(400)로부터 수신하거나, 상기 생산 라인 관리서버(400)로부터 상기 작업관련 정보의 실시간 수신을 처리하는 것이다.

상기 저장부(160)는 상기 영상표시장치(100)에서 사용하는 각종 동작프로그램과 각 생산 공정에 따른 작업관련 정보를 저장하고 있다. 이때 상기 동작프로그램 및 각 생산 공정에 따른 작업관련 정보는 상기 통신부(150)를 통해 상기 생산 라인 관리서버(400)로부터 제공받는다.

또한 상기 저장부(160)는 상기 위치 인식부(130)에서 현재 작업자 위치를 정확하게 인식하는데 사용되는 기준 작업자 위치에서 알아낸 정보를 사전 등록하여 저장하고 있다. 이때 사전 등록되는 정보는 기준 작업자 위치에서 보이는 각 마커(300)들의 위치 정보, 기준 작업자 위치와 각 마커(300)들의 각도 정보, 각 마커(300)들 사이의 상대적 거리 정보, 상기 고정 구조물(200)의 가상 중심점과 기준 작업자 위치 사이의 거리 정보 등이다.(도 7 내지 도 10 참조)

다음에는, 이와 같이 구성된 본 발명의 일 실시예에 따른 상기 영상표시장치에서의 비정형 마커를 기반으로 한 상대적 거리 및 각도 근사화 방법에 대하여 도 3 내지 도 14를 참조하여 보다 구체적으로 설명한다.

도 3 내지 도 5는 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 사용되는 각종 변수 및 가상 이미지의 현재 작업자 위치에 따른 회전과 크기 조절에 대한 개념을 설명하기 위한 도면이다.

먼저 도 3에 나타낸 바와 같이, 본 발명은 상기 영상표시장치(100)에서 가상 이미지(V)를 상기 고정 구조물(200)인 특정 대상 물체(T)에 투영하는 것으로서, 상기 가상 이미지(V)는 텍스트로 구현되는 평면적 형태나 그래픽으로 구현되는 입체적 형태가 될 수 있다.

상기 가상 이미지(V)는 투영하고자 하는 특정 대상 물체(T)의 가상 중심점(CT)에서 가상 중심점(CT)과 가상 이미지(V) 사이의 거리(RV) 만큼 떨어진 위치에 형성되는 가상의 원(AV) 상에 표현된다.

상기 가상 중심점(CT)과 가상 이미지(V) 사이의 거리(RV)와 가상 중심점(CT)과 작업자 위치(U) 사이의 거리(RU)는 표현하고자 하는 가상 이미지의 종류와 응용분야에 따라 달라질 수 있으며, 설계자에 의해 결정된다.

투영하고자 하는 가상 이미지(V)를 중심점(VT)을 기준으로 정확하게 표시하기 위해서는, 대상 물체(T)의 가상 중심점(CT)과 작업자 위치(U)에 대한 정보, 즉 가상 중심점(CT)과 작업자 위치(U) 사이의 거리(RU)와 각도 정보를 정확하게 알아야 한다.

또한 상기 가상 이미지(V)는 투영하고자 하는 대상 물체의 가상 중심점(CT)과 작업자 위치(U)를 연결하는 가상선(VL)에 수직으로 표현하는 것이 일반적이다. 즉 도 4에 나타낸 바와 같이, 대상 물체의 가상 중심점(CT)과 기준 작업자 위치(UR)를 연결하는 가상선(VL), 또는 대상 물체의 가상 중심점(CT)과 현재 작업자 위치(UC)를 연결하는 가상선(VL)과 수직으로 상기 가상 이미지(V)가 표현되도록 하는 것이 본 발명의 주요 목표인 것이다.

이처럼 대상 물체의 가상 중심점(CT)과 작업자 위치(U)를 연결하는 가상선(VL)에 수직으로 가상 이미지(V)를 표현하기 위해서는, 기준 작업자 위치(UR)와 기준 이미지를 정의한 후, 생산라인 상에서 이동되는 현재 작업자 위치(UC)와 기준 작업자 위치(UR)와의 사잇각(AU)과 대상 물체의 가상 중심점(CT)에서 현재 작업자 위치(UC) 사이의 거리(RUC)를 알아야 한다.

그리고 현재 작업자 위치(UC)와 기준 작업자 위치(UR)와의 사잇각(AU)과 대상 물체의 가상 중심점(CT)에서 현재 작업자 위치(UC) 사이의 거리(RUC)가 정해지면, 상기 영상표시장치(100)는 가상 이미지(V)를 현재 작업자 위치(UC)와 기준 작업자 위치(UR)와의 사잇각(AU) 만큼 회전하여 표현하면 된다.

또한 상기 영상표시장치(100)는 도 5에 나타낸 바와 같이, 현재 작업자 위치(UC)와 대상 물체의 가상 중심점(CT) 사이의 거리(RUC)를 고려하여 가상 이미지(V)의 크기를 축소하거나 확대할 수 있으며, 이처럼 상기 가상 이미지(V)의 크기를 조절하여 표현되도록 하는 것이 본 발명의 또 다른 주요 목표이다. 이때 거리에 따른 가상 이미지(V)의 확대 또는 축소 여부는 표현하고자 하는 이미지의 종류나 증강현실을 적용하고자 하는 응용 분야의 특성에 따라 결정될 수 있다.

또한 기준 작업자 위치(UR)는 투영하고자 하는 대상 물체의 정면으로 가정하며, 이때 투영되는 가상 이미지는 기준 가상 이미지가 된다.

도 6은 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서의 마커 부착을 설명하기 위한 도면이다.

도 6에 나타낸 바와 같이, 본 발명은 현재 작업자 위치를 정확하게 인식하여 가상 이미지를 출력할 수 있도록 상기 고정 구조물(200)에 복수 개의 마커(300)를 부착한다.

예를 들어, 대상 물체(T)의 가상 중심점에 빨간색의 기준 마커를 배치하고, 상기 기준 마커 좌우에 파란색, 보라색, 노란색, 녹색 등의 복수의 마커를 배치함으로써, 작업자 위치 확인의 정확도를 높일 수 있도록 한다.

이때 상기 마커(300)가 부착되는 위치와 각도는 해당 고정 구조물을 대상으로 한 실험결과를 토대로 결정하는 것이 가장 효율적이며, 특히 기준 마커는 카메라를 통해 어느 방향에서도 촬영이 가능한 위치에 부착되어야 한다.

한편, 도 6에 나타낸 것과 같이 상기 고정 구조물(200)에 기준 마커를 포함한 복수의 마커(300)를 부착한 이후, 상기 영상표시장치(100)는 현장의 작업자가 촬영하는 촬영 영상을 토대로 작업자의 현재 위치를 정확하게 인식하여야 한다.

이때 상기 영상표시장치(100)는 기준 작업자 위치에서 촬영한 영상을 토대로 측정한 상기 기준 작업자 위치와 복수의 마커와의 각도, 상기 복수의 마커 간의 상대적 거리 등을 사전에 등록해 놓아야 한다.

도 7 내지 도 10은 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 사전 등록되는 기준 작업자 위치, 기준 작업자 위치에서 보이는 각 마커들의 위치정보, 기준 작업자 위치와 각 마커들 사이의 각도정보, 기준 작업자 위치에서 확인된 각 마커들 사이의 상대적 거리정보를 각각 설명하기 위한 도면이다.

본 발명에 적용되는 상기 영상표시장치(100)는 기준 작업자 위치(UR)에서 촬영한 영상을 토대로 대상 물체(T)의 가상 중심점과 기준 작업자 위치(UR) 사이의 거리정보, 기준 작업자 위치(UR)에서 보이는 각 마커들의 위치정보, 기준 작업자 위치(UR)와 각 마커들 사이의 각도정보, 기준 작업자 위치에서 확인된 각 마커들 사이의 상대적 거리정보 등을 사전 등록하여야 한다. 사전 등록하는 정보는 현재 작업자 위치와 기준 작업자 위치 사이의 상대적 거리와 각도를 근사화하는데 활용되는 매우 중요한 정보이다.

도 7은 기준 작업자 위치(UR)의 설정을 설명한 것으로서, 상기 고정 구조물(200)인 대상 물체(T)의 정면에서 상기 고정 구조물의 가상 중심점과 작업자를 직선으로 연결하였을 때 설계자에 의해 결정되는 어느 하나의 지점이다.

상기 영상표시장치(100)는 상기 기준 작업자 위치(UR)에서 상기 대상 물체(T)를 촬영한 영상으로부터 각 마커(M0 내지 M4)의 상대 위치를 인식할 수 있다. 이때 M0은 기준 마커이다.

도 8은 대상 물체(T)의 가상 중심점과 기준 작업자 위치(UR) 사이의 거리정보와, 기준 작업자 위치(UR)에서 보이는 각 마커(M0 내지 M4)의 위치정보를 설명한 것으로서, 상기 고정 구조물(200)에 부착되는 각 마커들의 위치가 사전에 결정되어 있으므로 상기 영상표시장치(100)에서는 각 마커들의 위치정보를 손쉽게 확인할 수 있다.

즉 기준 작업자 위치(UR)에서 실측을 토대로 상기 대상 물체의 가상 중심점과 상기 기준 작업자 위치(UR) 사이의 거리정보를 사전에 등록함과 동시에, 상기 기준 작업자 위치(UR)에서 상기 대상 물체를 촬영한 영상을 토대로 각 마커들의 위치 정보인 M0(x0,y0), M1(x1,y1), M2(x2,y2), M3(x3,y3), M4(x4,y4)를 등록해 두는 것이다.

도 9는 기준 작업자 위치(UR)와 각 마커들 사이의 각도정보를 설명한 것으로서, 상기 고정 구조물(200)에 부착되는 각 마커(M0 내지 M4)의 위치가 사전에 결정되어 있으므로 상기 영상표시장치(100)에서는 기준 작업자 위치(UR)와 각 마커들의 각도정보를 손쉽게 확인할 수 있다.

즉 상기 영상표시장치(100)는 상기 기준 작업자 위치(UR)에서 상기 대상 물체를 촬영한 영상을 토대로 상기 기준 작업자 위치(UR)와 각 마커들의 각도정보인 A1(M0과 M1 사이의 각도), A2(M0과 M2 사이의 각도), A3(M0과 M3 사이의 각도), A4(M0과 M4 사이의 각도)를 등록해 두는 것이다.

도 10은 기준 작업자 위치(UR)에서 확인된 각 마커들 사이의 상대적 거리정보를 설명한 것으로서, 상기 고정 구조물(200)에 부착되는 각 마커(M0 내지 M4)의 위치가 사전에 결정되어 있으므로 상기 영상표시장치(100)에서는 기준 작업자 위치(UR)에서 확인된 각 마커들의 상대적 거리정보를 손쉽게 확인할 수 있다.

즉 상기 영상표시장치(100)는 상기 기준 작업자 위치(UR)에서 상기 대상 물체를 촬영한 영상을 토대로 상기 기준 작업자 위치(UR)에서 확인된 각 마커들의 상대적 거리정보(즉 수평방향의 직선거리)인 D1(M0과 M1 사이의 거리), D2(M0과 M2 사이의 거리), D3(M0과 M3 사이의 거리), D4(M0과 M4 사이의 거리)를 등록해 두는 것이다.

도 11은 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 작업자의 촬영위치 이동에 따른 각 마커들의 수평방향 위치 변화를 설명하기 위한 도면이다.

특정 생산 라인에 위치한 현장의 작업자가 기준 작업자 위치에서 수평으로 이동할 경우, 촬영된 영상에서 측정된 각 마커들 사이의 상대적 거리는 작업자가 이동한 거리나 방향에 따라 달라진다.

즉 도 11a에 나타낸 바와 같이, 작업자의 위치 이동에 따라 촬영위치-A, 촬영위치-B, 촬영위치-C에서 각각 촬영한 영상에 나타나는 각 마커들의 수평방향 위치가 변화된다. 이때 촬영위치-A는 작업자가 기준 작업자 위치에서 촬영한 것이고, 촬영위치-B는 작업자가 기준 작업자 위치에서 좌측으로 이동한 상태에서 촬영한 것이며, 촬영위치-C는 작업자가 기준 작업자 위치에서 우측으로 이동한 상태에서 촬영한 것이다.

도 11b는 촬영위치-A, 촬영위치-B, 촬영위치-C 각각의 위치에 따라 각 마커들의 상대적 위치가 달라지는 것을 나타낸 것으로서, 각 마커들 사이의 간격이 달라지는 것을 확인할 수 있다.

또한 도 11c를 참조하면, 도 11b에 나타낸 각 마커들 사이의 상대적 거리를 활용하여 현장에 위치한 작업자의 촬영위치(즉 작업자 시선방향)가 기준 작업자 위치에서 왼쪽인지 아니면 오른쪽인지를 판단하고, 기준 작업자 위치에서 어느 정도 떨어져 있는지를 예상할 수 있다.

우선 사전에 기준 작업자 위치(즉 촬영위치-A)에서 촬영한 영상에서 측정한 기준 마커를 기준으로 한 다른 마크와의 상대적 거리 D1, D2, D3 값과 현재 작업자 위치(예를 들어 촬영위치-B)에서 측정한 D1', D2', D3'값의 비율을 구하여 판단한다. 즉 R1=D1'/D1, R2=D2'/D2, R3=D3'/D3 각각의 비율을 계산하여 (R1,R2,R3) 벡터를 구한 후, 해당 벡터값의 크기를 토대로 현재 작업자 위치가 기준 마커의 왼쪽인지 아니면 오른쪽인지를 판단하고, 그 거리를 알 수 있는 것이다.

이때 상기 계산한 각 마커별 벡터값이 실험적으로 결정된 문턱(Threshold) 벡터(R1_th,R2_th,R3_th)를 초과하면 기준벡터와 일정거리(실험적으로 결정된 값)에 있다고 판단한다. 즉 상기 계산한 벡터값이 문턱 벡터값을 초과하는 경우에는 사전에 결정된 특정 상수값으로 보는 것이다.

또한 도 12는 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 정형 마커와 비정형 마커 사용을 설명하기 위한 도면이다.

도 12의 (a)에 나타낸 바와 같이, 동일한 정형의 마커를 배치한 경우, 극단적인 경우 빨간색 마커가 노란색 마커에 의해 중첩되어 식별이 불가능한 상태가 될 수 있다.

따라서 본 발명에서는 도 12의 (b)에 나타낸 바와 같이 비정형의 마커를 교차로 배치함으로써, 도 12의 (a)에서와 같이 빨간색 마커가 노란색 마커에 의해 중첩되더라도 식별이 가능한 상태가 되도록 할 수 있다.

한편 도 13은 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 작업자의 수평이동에 따른 각 마커들의 각도 변화를 설명하기 위한 도면이다.

특정 생산 라인에 위치한 현장의 작업자가 기준 작업자 위치에서 수평으로 이동할 경우, 촬영된 영상에서 측정된 기준 작업자 위치에서 바라본 각 마커와의 각도는 작업자가 이동한 거리나 방향에 따라 달라진다.

도 13의 (a)는 기준 작업자 위치(UR)에서 촬영한 영상을 토대로 측정한 상기 기준 작업자 위치(UR)에서 바라본 각 마커와의 각도 (A1,A2,A3)를 계산하여 사전에 등록해 둔 정보이다.

또한 도 13의 (b)는 현장의 작업자가 현재 작업자 위치(UC)로 수평 이동하였을 때, 현재 작업자 위치(UC)에서 촬영한 영상을 토대로 측정한 상기 현재 작업자 위치(UC)에서 바라본 각 마커와의 각도 (A1',A2',A3')를 계산한 정보이다.

그러면 상기 영상표시장치(100)는 기준 작업자 위치(UR)에서 확인한 각 마커와의 각도 (A1,A2,A3)와 현재 작업자 위치(UC)에서 확인한 각 마커와의 각도(A1',A2',A3')의 비율값을 계산(R1=A1'/A1, R2=A2'/A2, R3=A3'/A3)하고, 상기 계산한 결과 촬영 중심선을 기준으로 좌측에 있는 마커들의 비율값이 1보다 큰 경우에는 작업자의 현재 위치가 기준 작업자 위치에서 좌측으로 이동되었음을 확인한다. 또한 상기 영상표시장치(100)는 상기 설명과 반대로 우측에 있는 마커들의 비율값이 1보다 큰 경우에는 작업자의 현재 위치가 기준 작업자 위치에서 우측으로 이동되었음을 확인한다.

즉 사전에 등록해 놓은 비율값(예를 들어, 이동한 거리가 10, 20, 30, 40cm 등으로 이동했을 경우 값)을 룩업 테이블 형태로 저장해 두고, 실제 측정된 값을 대입하여 근사치 거리를 추측할 수 있다. 이와 같이 수행하는 경우 가상 이미지를 대상 물체에 투영할 경우, 정확한 값 대신, 근사값을 사용해도 충분한 효과를 얻을 수 있다.

도 14는 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 작업자의 수직이동과 대각선이동에 따른 각 마커들의 각도 변화를 설명하기 위한 도면이다.

도 14의 (a)는 현장의 작업자가 기준 작업자 위치(UR)에서 현재 작업자 위치(UC)로 수직으로 상하 이동하였을 때, 현재 작업자 위치(UC)에서 촬영한 영상을 토대로 측정한 상기 현재 작업자 위치(UC)에서 바라본 각 마커와의 각도 (A1",A2",A3")를 계산한 정보이다.

그리고 상기 영상표시장치(100)는 기준 작업자 위치(UR)에서 확인한 각 마커와의 각도 (A1,A2,A3)와 현재 작업자 위치(UC)에서 확인한 각 마커와의 각도(A1",A2",A3")의 비율값을 계산(R1=A1"/A1, R2=A2"/A2, R3=A3"/A3)하고, 상기 계산한 결과를 보면 현재 작업자의 위치가 대상 물체에 가까워지면 1보다 커지고, 현재 작업자의 위치가 대상 물체로부터 멀어지면 1보다 작은 값이 된다.

이에 따라 상기 영상표시장치(100)는 상기 비율값의 계산을 토대로 현재 사용자가 기준 위치보다 가까워지거나 멀어지는 정도를 확인할 수 있다. 이때 물체가 상하로만 이동한 경우, 즉 수평이동이 없는 경우에는 이 비율값의 증가 또는 감소량이 균일하지만, 수평이동과 수직이동이 동시에 일어난 경우에는 균일하게 발생하지 않는다.

또한 도 14의 (b)는 현장의 작업자가 대각선으로 이동하였을 때를 설명하기 위한 도면으로서, 현재 작업자 위치(UC)에서 촬영한 영상을 토대로 측정한 상기 현재 작업자 위치(UC)에서 바라본 각 마커와의 각도 (A1*,A2*,A3*)를 계산한 정보만으로는 작업자의 이동경로를 추적할 수 없다.

이 경우 상기 영상표시장치(100)는 도 11에서 설명한 각 마커 간의 상대적 거리정보를 토대로 작업자의 위치가 기준 마커의 왼쪽 또는 오른쪽인지를 확인한 정보와 도 13과 도 14의 (a)에서 설명한 현재 작업자 위치에서 바라본 각 마커와의 각도정보를 토대로 작업자의 위치가 기준 작업자 위치로부터 왼쪽 또는 오른쪽의 수평이동인지 상하의 수직이동인지를 확인한 정보를 모두 참조하여, 수평이동 및 수직이동에 따른 상대적 거리 및 각도의 변화를 반복적으로 처리하여 대각선으로 이동한 위치를 확인할 수 있도록 한다.

다음에는, 이와 같이 구성된 본 발명에 따른 생산 라인에서의 작업자 위치 인식 방법의 일 실시예를 도 15를 참조하여 상세하게 설명한다. 이때 본 발명의 방법에 따른 각 단계는 사용 환경이나 당업자에 의해 순서가 변경될 수 있다.

도 15는 본 발명의 일 실시예에 따른 생산 라인에서의 작업자 위치 인식 방법의 동작과정을 상세하게 나타낸 순서도이다.

우선, 스마트 팩토리의 운영 및 관리를 수행하는 운영자(즉 사업자, 관리자, 현장 작업자 등)가 각 생산 라인의 고정 구조물(200)에 기준 마커를 포함한 복수의 마커(300)를 부착한다(S100).

상기 S100 단계를 통해 기준 마커를 포함한 복수의 마커(300)를 상기 고정 구조물(200)에 부착한 이후, 운영자가 기준 작업자 위치에서 카메라로 촬영한 상기 고정 구조물(200)의 촬영 영상으로부터 각 마커(300)를 추출하고, 기준 작업자 위치와 각 마커들 사이의 각도정보, 기준 작업자 위치에서 확인된 각 마커들 사이의 상대적 거리정보 등을 사전에 등록한다(S200). 이때 사전 등록되는 정보에는 기준 작업자 위치와 기준 작업자 위치, 기준 작업자 위치에서 보이는 각 마커들의 위치정보 등이 추가로 포함될 수 있다.

이제, 특정 생산 라인에 위치한 작업자가 자신이 착용하거나 소유한 HMD, 스마트폰 등의 영상표시장치(100)를 통해 각종 작업에 필요한 정보를 가상현실이나 증강현실 이미지로 확인하고자 하는 작업자가 카메라로 자신의 시선방향에 위치한 특정 고정 구조물(200)을 촬영한다(S300). 이때 작업에 필요한 정보로는 제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 등이 있다.

상기 S300 단계를 통해 작업자가 상기 영상표시장치(100)에 구비된 카메라를 통해 특정 고정 구조물(200)을 촬영하면, 상기 영상표시장치(100)는 상기 고정 구조물(200)의 촬영 영상으로부터 상기 고정 구조물(200)에 부착된 기준 마커를 포함한 복수의 마커(300)를 추출한다(S400).

또한 상기 영상표시장치(100)는 현재 작업자 위치에서 상기 S400 단계에서 추출한 복수의 마커(300)와의 각도정보와, 현재 작업자 위치에서 바라본 상기 복수의 마커(300) 간의 상대적 거리를 확인한다(S500).

이후 상기 영상표시장치(100)는 상기 S500 단계에서 확인한 현재 사용자 위치에서의 복수의 마커(300)와의 각도 및 복수의 마커(300) 간의 상대적 거리를 상기 S200 단계를 통해 사전 등록해 놓은 기준 작업자 위치에서 촬영한 영상으로부터 측정한 상기 기준 작업자 위치와 복수의 마커와의 각도 및 상기 복수의 마커 간의 상대적 거리와 비교하여, 작업자의 위치를 인식한다(S600).

그러면 상기 영상표시장치(100)는 상기 S600 단계를 통해 인식한 작업자의 현재 위치를 토대로, 가상현실이나 증강현실로 표시되는 작업에 필요한 정보(즉 가상 이미지)를 회전시키거나 크기를 조절하여 출력한다(S700).

그리고 상기 영상표시장치(100)는 작업자에 의한 가상 이미지 이용이 종료되는지를 판단하여(S700), 가상 이미지 이용이 종료될 때까지 상기 S300 단계 이후를 반복하여 수행한다.

이처럼, 본 발명은 자동화된 생산 라인에서 작업자의 위치를 정확하게 인식하고, 이를 토대로 작업자의 영상표시장치를 통해 고정 구조물과 작업자 사이에 가상현실 또는 증강현실로 표시되는 이미지를 회전시키거나 크기를 조절할 수 있기 때문에, 제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 등을 포함한 각종 정보를 현장의 작업자에게 정확하게 전달할 수 있으며, 이를 통해 작업자가 작업 숙련도를 향상시킬 수 있다.

또한 본 발명은 작업자의 위치 인식을 기반으로 가상의 이미지를 제공할 때, 작업자와 고정 구조물 사이의 정확한 거리와 각도를 계산하는 것이 아닌, 작업자와 고정 구조물의 상대적 거리와 각도를 근사화하여 계산하고, 이를 토대로 작업자의 위치를 인식하기 때문에, 작업자의 위치나 시선이동에 빠르게 대응하여 가상의 이미지를 처리할 수 있다.

이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.

100 : 영상표시장치 110 : 카메라
120 : 영상처리부 121 : 컬러변환부
122 : 노이즈 제거부 123 : 관심영역 추출부
124 : 특징점 추출부 130 : 위치 인식부
131 : 거리 근사화부 132 : 각도 근사화부
133 : 위치 확인부 140 : 가상 이미지 출력부
150 : 통신부 160 : 저장부
200 : 고정 구조물 300 : 마커
400 : 생산 라인 관리서버 500 : 데이터베이스

Claims (7)

1. 영상표시장치에서, 카메라로 촬영한 영상으로부터 특정 고정 구조물에 부착된 복수의 마커를 추출하는 마커 추출 단계; 및
   상기 영상표시장치에서, 현재 작업자 위치에서 상기 추출한 복수의 마커와의 각도 및 상기 복수의 마커 간의 상대적 거리를 산출하고, 상기 산출한 각도 및 상대적 거리를 사전 등록된 기준 작업자 위치에서 촬영한 영상으로부터 측정한 상기 기준 작업자 위치와 복수의 마커와의 각도 및 상기 복수의 마커 간의 상대적 거리와 비교하여, 작업자의 위치를 인식하는 위치 인식 단계;를 포함하며,
   상기 기준 작업자 위치는,
   상기 고정 구조물의 정면에서 상기 고정 구조물의 가상 중심점과 작업자를 직선으로 연결하였을 때 설계자에 의해 결정되는 어느 하나의 지점인 것을 특징으로 하는 생산 라인에서의 작업자 위치 인식 방법.
2. 청구항 1에 있어서,
   상기 작업자 위치 인식 방법은,
   상기 영상표시장치에서, 상기 인식한 작업자의 위치를 토대로, 가상현실이나 증강현실로 표시되는 작업에 필요한 정보를 회전시키거나 크기를 조절하여 출력하는 가상 이미지 출력 단계;를 더 포함하며,
   상기 작업에 필요한 정보는,
   제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 또는 이들의 조합을 포함한 정보인 것을 특징으로 하는 생산 라인에서의 작업자 위치 인식 방법.
3. 청구항 1에 있어서,
   상기 마커 추출 단계에서 추출되는 복수의 마커 중 어느 하나는 기준 마커로 사용되며,
   상기 기준 마커는 상기 카메라를 통해 어느 방향에서도 촬영이 가능하도록 특정 고정 구조물의 가상 중심점에 부착되는 것을 특징으로 하는 생산 라인에서의 작업자 위치 인식 방법.
4. 청구항 1에 있어서,
   상기 위치 인식 단계는,
   기 저장되어 있는 기준 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커 간의 상대적 거리와 현재 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커 간의 상대적 거리의 비율을 계산하고, 상기 계산한 각 마커별 비율값을 참조하여 작업자의 위치가 기준 마커의 왼쪽 또는 오른쪽으로 이동하였는지의 수평 이동여부를 확인하는 거리 근사화 단계;
   기 저장되어 있는 기준 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커와의 각도와 상기 현재 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커와의 각도의 비율을 계산하고, 상기 계산한 각 마커별 비율값을 토대로 작업자의 위치가 기준 마커에 가까워지는지 또는 멀어지는지의 수직 이동여부를 확인하거나, 또는 작업자의 위치가 상기 기준 마커의 왼쪽 또는 오른쪽으로 이동하였는지의 수평 이동여부를 확인하는 각도 근사화 단계; 및
   상기 거리 근사화 단계에서 확인한 기준 마커를 기준으로 한 작업자의 수평 이동여부와 상기 각도 근사화 단계에서 확인한 기준 마커를 기준으로 한 작업자의 수직 및 수평 이동여부를 토대로 작업자의 위치를 확인하는 위치 확인 단계;를 더 포함하는 것을 특징으로 하는 생산 라인에서의 작업자 위치 인식 방법.
5. 카메라로 촬영한 영상으로부터 특정 고정 구조물에 부착된 복수의 마커를 추출하는 영상처리부; 및
   현재 작업자 위치에서 상기 추출한 복수의 마커와의 각도 및 상기 복수의 마커 간의 상대적 거리를 산출하고, 상기 산출한 각도 및 상대적 거리를 사전 등록된 기준 작업자 위치에서 촬영한 영상으로부터 측정한 상기 기준 작업자 위치와 복수의 마커와의 각도 및 상기 복수의 마커 간의 상대적 거리와 비교하여, 작업자의 위치를 인식하는 위치 인식부;를 포함하며,
   상기 기준 작업자 위치는,
   상기 고정 구조물의 정면에서 상기 고정 구조물의 가상 중심점과 작업자를 직선으로 연결하였을 때 설계자에 의해 결정되는 어느 하나의 지점인 것을 특징으로 하는 생산 라인에서의 작업자 위치 인식 장치.
6. 청구항 5에 있어서,
   상기 작업자 위치 인식 장치는,
   상기 인식한 작업자의 위치를 토대로, 가상현실이나 증강현실로 표시되는 작업에 필요한 정보를 회전시키거나 크기를 조절하여 출력하는 가상 이미지 출력부;를 더 포함하며,
   상기 작업에 필요한 정보는,
   제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 또는 이들의 조합을 포함한 정보인 것을 특징으로 하는 생산 라인에서의 작업자 위치 인식 장치.
7. 청구항 5에 있어서,
   상기 복수의 마커 중 어느 하나는 기준 마커로 사용되며,
   상기 기준 마커는 상기 카메라를 통해 어느 방향에서도 촬영이 가능하도록 특정 고정 구조물의 가상 중심점에 부착되며,
   상기 복수의 마커는, 각 마커별로 색상을 다르게 적용하여 구성하거나 적외선 발광 소자를 포함하여 구성할 수 있고, 직사각형 형태의 비정형 마커를 사용하며, 상기 고정 구조물에 교차 배치되는 것을 특징으로 하는 생산 라인에서의 작업자 위치 인식 장치.

Images