KR20220170102A - Wi-Fi 기반 행동 감지 장치 및 이를 이용한 모니터링 방법 - Google Patents

Abstract

Wi-Fi 기반 행동 감지 장치의 동작 방법으로서, Wi-Fi 기반 행동 감지 장치의 동작 방법으로서, 매칭된 Wi-Fi 단말로부터 사용자의 행동에 따라 변하는 채널 상태 정보가 포함된 패킷을 수신하는 단계, 패킷 중에서 행동 추정 구간을 선별하고, 행동 추정 구간의 채널 상태 정보를 주파수 도메인 영역으로 변환하는 단계, 변환된 채널 상태 정보를 다수개의 시퀀스로 분할하고, 시퀀스마다 학습이 완료된 행동 감지 AI 모델에 입력하여 행동에 대한 확률 값을 확보하는 단계, 그리고 전체 시퀀스의 행동별로 확률 값들에 기초하여 가장 높은 확률 값을 가지는 최종 행동을 결정하고, 결정된 최종 행동에 대한 데이터를 연동되는 모니터링 서버로 전송하는 단계를 포함한다.

Description

Wi-Fi 기반 행동 감지 장치 및 이를 이용한 모니터링 방법{APPARATUS FOR BEHAVIOR DETECTION BASED ON Wi-Fi AND METHOD FOR MONITORING USING THE SAME}

본 발명은 Wi-Fi 기반 행동 감지 기술에 관한 것이다.

고령화 사회와 더불어 1인 가구의 증가에 따라 개인의 건강과 안전 문제가 대두되고 있어 공간 내에서 사고 발생이나 위급 상황 발생을 감지하기 위한 다양한 기술이 연구되고 있다.

예를 들어, 스마트 밴드나 스마트 목걸이와 같이 신체에 부착하는 장치를 통해 위급 상황이 발생한 경우 사용자가 버튼을 누르는 방식으로 외부로 상황을 알리거나 CCTV와 같은 카메라를 집안에 설치하여 영상을 모니터링하여 위급 상황을 외부로 알리는 기술들이 있다.

다만 이러한 경우에는 장치를 몸에 항상 부착해야 하기 때문에 편의성이 떨어지며, 착용하지 않은 경우에는 모니터링하기 어렵고, 카메라의 경우에는 항상 집안의 상황이 노출하게 되기 때문에 프라이버시 문제가 발생한다.

그러므로 별도로 장치를 부착하지 않고도 사용자의 행동 중에서 위급 상황에 따른 행동을 감지하면서 프라이버시 문제를 해결할 수 있는 기술이 요구된다.

해결하고자 하는 과제는, Wi-Fi 기반으로 사용자의 행동에 기초하여 변경된 채널 상태 정보를 보간 및 노이즈를 제거한 후, 학습된 행동 감지 AI 모델에 입력하여 추정된 사용자의 행동을 통해 낙상과 같은 위험 상황을 감지하는 행동 감지 장치 및 이를 이용한 모니터링 방법을 제공하는 것이다.

한 실시예에 따르면, Wi-Fi 기반 행동 감지 장치의 동작 방법으로서, 매칭된 Wi-Fi 단말로부터 사용자의 행동에 따라 변하는 채널 상태 정보가 포함된 패킷을 수신하는 단계, 패킷 중에서 행동 추정 구간을 선별하고, 행동 추정 구간의 채널 상태 정보를 주파수 도메인 영역으로 변환하는 단계, 변환된 채널 상태 정보를 다수개의 시퀀스로 분할하고, 시퀀스마다 학습이 완료된 행동 감지 AI 모델에 입력하여 행동에 대한 확률 값을 확보하는 단계, 그리고 전체 시퀀스의 행동별로 확률 값들에 기초하여 가장 높은 확률 값을 가지는 최종 행동을 결정하고, 결정된 최종 행동에 대한 데이터를 연동되는 모니터링 서버로 전송하는 단계를 포함한다.

Wi-Fi 단말이 설치된 실내 공간에서 사용자가 위치하지 않는 일정 시간동안 채널 상태 정보를 포함한 패킷을 수신하고, 수신된 패킷에 대한 신호의 평균 값을 기준 값으로 설정하는 단계를 더 포함할 수 있다.

변환하는 단계는, 패킷에 대해 상기 기준 값을 제거하고, 제거된 신호가 임계치 이상이면 이벤트 시작 지점으로 추정하고, 제거된 신호가 임계치 이하이면 이벤트 종료 지점으로 추정하여 이벤트 구간을 추정할 수 있다.

변환하는 단계는, 패킷 손실이 발생하면, 손실된 패킷 전후의 정상 수신된 패킷의 파라미터에 기초하여 선형적으로 손실된 패킷의 파라미터를 보간할 수 있다.

확보하는 단계는, 변환된 주파수 도메인을 설정된 오버랩 비율을 적용하여 다수 개의 시퀀스로 분할하고, 분할된 시퀀스를 각각 행동 감지 AI 모델에 입력할 수 있다.

본 발명의 실시예에 따르면, 실내 공간에서 사용자의 움직임에 따른 변화된 채널 상태 정보를 시간-주파수 도메인으로 변환하고, 일부 구간마다 오버랩된 시퀀스를 학습된 인공지능 모델에 사용자의 순간적인 행동을 보다 정확하게 감지할 수 있다.

본 발명의 실시예에 따르면, 낙상이나 혼절 등과 같은 응급 상황이 발생한 경우, 자동으로 사용자의 행동을 판단하여 관련 기관 또는 외부 단말로 알림을 제공함으로써 응급 상황을 빠르게 인식하고 그에 따른 신속한 대처 방안을 제공할 수 있다.

도 1은 한 실시예에 따른 행동 감지 모니터링 시스템을 나타낸 예시도이다.
도 2는 한 실시예에 따른 행동 감지 장치와 모니터링 서버를 나타낸 구성도이다.
도 3은 한 실시예에 따른 행동 감지 모니터링 방법을 나타낸 순서도이다.
도 4는 한 실시예에 따른 노이즈 제거하는 과정과 행동에 따른 프리퀀시 도메인을 나타낸 예시도이다.
도 5는 한 실시예에 따른 행동 감지 AI 모델을 통해 이벤트 데이터를 생성하는 예시도이다.

아래에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 네트워크를 구성하는 장치들은 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

또한, 명세서에 기재된 "……부", "……기", "……모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

본 발명에서 설명하는 장치들은 적어도 하나의 프로세서, 메모리 장치, 통신 장치 등을 포함하는 하드웨어로 구성되고, 지정된 장소에 하드웨어와 결합되어 실행되는 프로그램이 저장된다. 하드웨어는 본 발명의 방법을 실행할 수 있는 구성과 성능을 가진다. 프로그램은 도면들을 참고로 설명한 본 발명의 동작 방법을 구현한 명령어(instructions)를 포함하고, 프로세서와 메모리 장치 등의 하드웨어와 결합하여 본 발명을 실행한다.

본 명세서에서 "전송 또는 제공"은 직접적인 전송 또는 제공하는 것뿐만 아니라 다른 장치를 통해 또는 우회 경로를 이용하여 간접적으로 전송 또는 제공도 포함할 수 있다.

본 명세서에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.

본 명세서에서, 제1, 제2 등과 같이 서수를 포함하는 용어들은 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

본 명세서에서 도면을 참고하여 설명한 흐름도에서, 동작 순서는 변경될 수 있고, 여러 동작들이 병합되거나, 어느 동작이 분할될 수 있고, 특정 동작은 수행되지 않을 수 있다.

도 1은 한 실시예에 따른 행동 감지 모니터링 시스템을 나타낸 예시도이다.

도 1에 도시한 바와 같이, 모니터링 시스템은 Wi-Fi 단말기(100)와 Wi-Fi 단말기(100)로부터 수신된 신호에 기초하여 사용자 행동을 감지하는 이벤트 데이터를 생성하는 행동 감지 장치(200) 그리고 이벤트 데이터를 수신받아 사용자 행동을 모니터링 하는 모니터링 서버(300)를 포함한다.

Wi-Fi 단말기(100), 행동 감지 장치(200)와 모니터링 서버(300)는 네트워크에 연결되어 서로 데이터를 송수신한다.

여기서, 네트워크는 유선 네트워크, 근거리 또는 원거리 무선 통신 네트워크, 이들이 혼합된 네트워크 등 데이터를 전달하는 모든 형태의 통신 네트워크를 포함할 수 있다.

Wi-Fi 단말기(100)는 미리 설정된 주기 마다 패킷을 전송하거나 행동 감지 장치(200)로부터 패킷 전송 요청을 받으면 해당 패킷을 전송할 수 있다.

Wi-Fi 단말기(100)는 실내에 하나 이상의 단말이 설치될 수 있으며, 다수 개의 단말이 설치된 경우, 고유 ID를 포함하여 패킷을 전송할 수 있다.

여기서, 패킷은 Wi-Fi 단말기(100)에서 전송하는 Wi-Fi 전파 신호를 나타내며, Wi-Fi 단말기(100)는 초당 10~1000개의 정보의 패킷을 전송할 수 있다.

일반 실내 환경에서 전파 신호는 하나의 LOS(Line-Of-Sight)와 하나 이상의NLOS(Non-Line-Of-Sight)를 통해 전파되면서 둘 이상의 경로를 가진다. NLOS(Non-Line-Of-Sight)은 벽과 바닥, 장식장 등과 같은 장애물 맞고 반사되거나 굴절되어 하나 이상의 경로를 가질 수 있다.

이와 같은 다 경로 전파 현상에 기초하여 사용자의 움직임에 따라 새로운 전파 경로가 생성되며, 행동 감지 장치(200)는 기존의 전파 경로와는 상이한 전파 경로를 감지할 수 있다.

여기서, 다중 경로에 대한 흐름은 모두 채널 상태 정보 (Channel State Information, CSI)에 담기게 되며, 역으로 사람의 움직임에 대한 패턴을 파악하는 데 사용될 수 있다.

이처럼 행동 감지 장치(200)는 Wi-Fi 단말기(100)로부터 패킷을 수신하여 분석하고, 그에 따른 이벤트 데이터를 생성하여 모니터링 서버(300)로 전송한다.

공간 내에서 사람이 있을 때와 없을 때의 패킷 신호는 상이하게 변동되기 때문에 패킷 신호를 학습이 완료된 행동 감지 AI 모델에 입력하여 사용자의 행동을 감지할 수 있다.

이처럼 행동 감지 장치(200)는 감지된 사용자 행동에 따른 이벤트 데이터를 생성하여 실시간으로 연동되는 모니터링 서버(300)로 전송할 수 있다.

모니터링 서버(300)는 수신한 이벤트 데이터의 이벤트 로그를 이벤트 로그 DB에 저장하고, 이벤트 데이터에 대응되는 이벤트 처리 작업을 수행한 후, 이벤트 로그와 연계하여 이벤트 데이터를 모니터링한다. 모니터링 서버(300)는 각 이벤트 데이터의 카테고리마다 매칭된 이벤트 처리 작업을 처리하며, 모니터링한 결과를 연동되는 관리자 단말 등에 제공할 수 있다.

예를 들어, 모니터링 서버(300)는 이벤트 데이터가 낙상과 같은 특정 이벤트에 해당되는 경우, 이벤트 처리 작업으로 연동되는 단말, 외부 기관 단말 등으로 즉시 알림 메시지를 제공할 수 있다.

도 2는 한 실시예에 따른 행동 감지 장치와 모니터링 서버를 나타낸 구성도이다.

행동 감지 장치(200)는 수신 모듈(210), 전처리 모듈(220), 그리고 행동 감지 모듈(230)을 포함하고, 모니터링 서버(300)는 수신 모듈(310), 이벤트 처리 모듈(320), 모니터링 모듈(330), 그리고 모델 학습 모듈(340)을 포함한다.

설명을 위해 수신 모듈(210), 전처리 모듈(220), 그리고 행동 감지 모듈(230)로 명명하여 부르나, 이들은 적어도 하나의 프로세서에 의해 동작할 수 있다. 여기서, 수신 모듈(210), 전처리 모듈(220), 그리고 행동 감지 모듈(230)는 별도의 컴퓨팅 장치에 분산되어 구현될 수 있으며, 분산 구현되는 경우에는 통신 인터페이스를 통해 서로 통신할 수 있다. 이와 동일하게 모니터링 서버(300)의 내부 모듈도 별도의 컴퓨팅 장치로 분산되어 구현될 수 있으며, 행동 감지 장치(200)와 행동 감지 장치(200)와 모니터링 서버(300)를 별도로 도시하였지만, 적용되는 상황에 따라 하나의 장치로 구현될 수 있다.

수신 모듈(210)은 연동되는 Wi-Fi 단말기(100)의 전송 채널 및 주파수 대역 및 MAC주소를 확인하고 매핑한다.

그리고 수신 모듈(210)은 Wi-Fi 단말기(100)로부터 사람 행동 변화에 따른 변경되는 채널 상태 정보를 포함하는 무선 신호를 수신한다.

여기서, 채널상태 정보는 OFDM 부 반송파별 채널 주파수 응답 특성을 나타내며, 송·수신단 사이 신호의 감쇠, 회절, 반사와 같은 변형에 대한 정보를 포함하며 다음 수학식 1과 같이 나타낼 수 있다.

[수학식 1]

여기서 Y는 수신된 Wi-Fi signal이며, X는 전송신호, N는 노이즈, H는 채널값이다. N는 수신안테나의 수, M은 송신안테나의 수, K는 sub-carrier의 수, T는 packet의 수이다. 그리고 H는 Amplitude와 phase값으로 나타낼 수 있다.

전처리 모듈(220)은 일정 시간(T)동안 수집된 데이터를 이용하여 평균 값을 산출하고, 산출된 평균값을 기준 값(S_gth)으로 설정할 수 있다.

그리고 전처리 모듈(220)은 수집하는 시간대를 달리하여 시간대별로 기준 값을 설정할 수 있다.

[수학식 2]

이 후에 전처리 모듈(220)은 수학식 2에서와 같이, 수집된 데이터(S(t)에서 기준 값(S_gth)을 제거함으로써, Wi-Fi 단말기(100)로부터 수신된 데이터의 잡음 환경 및 배치된 집안 가구 및 장애물에 따른 전파 채널 상태를 확인하고 조절이 가능하다.

그리고 전처리 모듈(220)은 데이터 s_c(t)는 일정한 윈도우 크기만큼의 데이터를 버퍼에 쌓아서 에너지 값으로 변환한다. 여기서 윈도우 크기는 환경에 따라 달라질 수 있다.

다음 수학식 3과 같이, 전처리 모듈(220)은 설정된 임계치 이상이 되면 이벤트가 시작되었다고 추정하며 다시 임계치 이하로 내려오면 이벤트가 종료되었다고 추정할 수 있다. 여기서 임계치 l_th는 환경에 따라 달라질 수 있다.

[수학식 3]

여기서 A는 이벤트 시작 구간이며, B는 이벤트 종료 구간이다. 따라서 해당 분석구간 신호는

과 같이 나타낼 수 있다.

이와 같이, 전처리 모듈(220)은 이벤트가 발생되지 않은 구간은 제외하고 이벤트 시작 부분과 이벤트 종료 부분을 기준으로 이벤트 발생 구간을 추출하여 분석할 수 있다.

한편, 전처리 모듈(220)은 Wi-Fi 데이터 특성상 완전한 데이터가 들어오지 않거나 중간중간에 패킷 손실이 일어나서 데이터가 일정하지 않은 경우가 발생하는 경우, 파라미터를 보간할 수 있다.

전처리 모듈(220)은 손실된 패킷의 전파 채널 정보를 추정할 때 정상적으로 수신된 패킷의 전파 채널 정보에 기초하여 다음 수학식 4와 같이 추정될 수 있다.

다시 말해, 정상적으로 수신된 패킷의 채널 정보 간의 직선 거리에 따라 선형적으로 결정한다. 두 전파 채널 정보 x_e,1, x_e,2에서의 데이터 값이 각각　

,

일 때, x_e,1, x_e,2사이의 임의의 전파 채널 정보

에서의 데이터 값

를 추정한다.

[수학식 4]

단, d₁은　x에서 x_e,1,까지의 거리,d₂는 x에서 x_e,2까지의 거리이다.

이때 거리의 비를 합이 1이 되도록 정규화한다. 즉,　

　라 잡으면 해당 분석구간 신호는 다음 수학식 5와 같이 나타낼 수 있다

.

[수학식 5]

이후 전처리 모듈(220)은 보간 처리된 신호를 저주파 성분(approximation)과 고주파 성분(detail)으로 분할하면 다음 수학식 6과 같다.

[수학식 6]

여기서 k는 signal, M 과 N은 LPF와 HPF의 크기를 의미하고, L 은 필터 탭의 길이이다. 두 개의 필터들은 홀수 인덱스로 서로 교차되는 역 버전으로 (-1)ⁿ에 의해 LPF에서 HPF로 전환된다. 한 단계 위의 스케일 함수는 한 단계 아래의 스케일 함수와 웨이블릿 함수의 합성으로 표현할 수 있으며, 이는 low영역을 다시 high영역과 low영역으로 분해할 수 있다.

이 중에서 high 영역의 신호는 잡음과 같은 신호를 나타내게 된다. 따라서, 원신호를 작은 수의 웨이블릿 계수(저주파, 고주파 성분)로 거의 비슷하게 나타낼 수 있기 때문에, 이러한 과정으로 얻어진 계수들의 절대값을 가지는 성분을 잡음으로 추정하여 제거한다. 이때, 원신호는 잡음의 영향만큼 축소시키거나 유지하여 재구성하게 된다. 이처럼 원신호에서 잡음은 아주 작은 진폭을 가지므로, 데이터 손실 없이 노이즈를 제거할 수 있다.

다시 말해, 전처리 모듈(220)은 행동 추정 구간의 채널 상태 정보에 대해서 손실된 채널 정보를 추정하여 보간하고, 노이즈를 제거한 후, 주파수 도메인 영역으로 변환한다.

그리고 행동 감지 모듈(230)은 주파수 도메인으로 변환된 행동 추정 구간의 채널 상태 정보를 시퀀스 오버랩 프로세싱하고, 이후 학습된 행동 감지 AI 모델에 입력한다.

다시 말해, 시퀀스 오버랩 프로세싱은 행동 감지 모듈(230)이 주파수 도메인으로 변환된 채널 상태 정보인 데이터에 시퀀스 단위의 윈도우를 약 50% 오버랩을 적용하는 과정을 나타낸다. 여기서 50%로 적용되는 오버랩 비율은 추후에 관리자에 의해 용이하게 변경 및 설정 가능하다. 이처럼 시퀀스를 오버랩되도록 설정함으로써 순차적으로 발생되는 사용자의 행동 패턴 전반을 분석할 수 있다.

상세하게는, 행동 감지 AI 모델은 두 개의 LSTM 모델을 Concatenate하여 만든 BLSTM 모델을 사용할 수 있다. LSTM은 시퀀스 형태로 입력이 들어가며, 데이터 하나를 한 번에 넣는 것이 아니라 각 데이터의 행렬(matrix)가 입력으로 들어 간다. 이때, 행렬은 전처리 모듈(220)을 통해 원신호(row)에서 윈도우 크기의 약 50%의 오버랩이 적용된 다수개의 시퀀스 형태를 가진다. 예를 들어, 행렬의 길이(T)가 10이고 윈도우 크기가 2라고 가정할 경우, (1,2), (2,3), (3,4),(4,5) (5,6), (6,7),(7,8),(8,9),(9,10)으로 총 9 개의 시퀀스가 각각 입력된다(X₀,…,X₉)

행동 감지 AI 모델의 입력 X0는 [window*subcarriers]의 행렬로 이루어진 데이터를 나타내고, 출력 Y0는 실제 이벤트(일어나기, 눕기, 앉기, 걷기, 달리기, 낙상)를 의미하는 길이(length)값이 6 인 벡터 값(vector)을 나타낸다. 벡터 값은 각 이벤트에 대한 확률값을 의미한다.

상세하게는 입력 시퀀스 X₀의 타임스텝(time step)이 X₀부터 X_t까지 있다고 가정할 때 Forward LSTM model에서는 타임스텝이 0일때부터　t　까지 순차적으로 입력값을 입력하여 결과값을 출력한다. 반대로 Backward LSTM model에서 t　일때부터 0까지 입력값을　입력하여 결과값을 출력한다 이 때, 각 forward LSTM 모델과 backward LSTM 모델에서 들어오는 가중치(weight)값을 받을 변수를 설정한다. 이는 출력값(Output)이 2개의 LSTMStateTuple 로 이루어져 있으므로 각 출력값에 가중치를 더해서 하나의 값으로 만들어주기 위해서이다. 이 과정을 통해 타임스텝마다 두 모델에서 나온 2개의 Hidden vector는 학습된 가중치를 통해 하나의 출력 y가 출력된다. 그리고 출력 Y가 합쳐져 입력된 시퀀스에 대한 결과 Y_O가 도출된다.

이와 동일한 방법으로 입력된 (X₀,…X₉)의 시퀀스에 대한 결과 값(Y₀,…Y₉)가 도출된다.

다시 말해, 행동 감지 모듈(230)은 학습된 행동 감지 AI 모델로부터 각 시퀀스마다 추정되는 행동들의 확률값으로 나오게 되며 시퀀스의 수만큼 값이 출력된다.

앞서 설명한 바와 같이, 학습된 행동 감지 AI 모델은 사용자의 행동과 시퀀스가 매칭된 학습 데이터를 통해 학습이 완료된 인공지능 모델로 Bidirectional LSTM 모델을 나타내지만 반드시 이에 한정하는 것은 아니다.

또한, 행동 감지 모듈(230)은 다수개의 시퀀스의 개수에 대응하여 다수개의 행동 감지 AI 모델을 이용하여 빠르게 시퀀스마다의 결과 값을 획득할 수 있다.

행동 감지 모듈(230)은 다음 수학식 7과 같이 시퀀스마다 출력된 행동 별 확률 값을 더하고 난 뒤 더 가장 높은 확률을 가진 결과를 최종 이벤트로 결정한다.

[수학식 7]

여기서

는 k번째의 이벤트를 나타내며 K는 총 이벤트의 수이다.

는 입력

에 대한 i번째 sequence를 나타내고

는 i번째 sequence 입력값에 대한 k번째의 이벤트의 확률값을 나타낸다.

다시 말해, 각 시퀀스 입력에 대한 출력값 Y는 k개의 이벤트에 대해 각 확률값으로 나오게 된다. 이벤트가 6 가지로 분류된다고 가정하면, 입력된 시퀀스 는 ([일어나기, 눕기, 앉기, 걷기, 달리기, 낙상])의 6개 이벤트에 대해서 합이 1을 만족하는 확률로 출력된다. 예를 들어 출력값이 [0.95, 0.01, 0.01, 0.01, 0.01, 0.01]로 나오게 되며, 이러한 시퀀스마다의 출력값을 다 더한 뒤에 argmax를 취하면 6개의 이벤트 중 가장 높은 확률값을 가지는 최종 이벤트가 선택되고 이벤트 데이터로 [1,0,0,0,0,0]과 같이 도출될 수 있다.

행동 감지 모듈(230)은 최종 이벤트로 결정된 이벤트 데이터를 연동되는 모니터링 서버(300)로 전송한다.

이하에서는 모니터링 서버(300)에 대해서 상세하게 설명한다.

수신 모듈(310)은 행동 감지 장치(200)로부터 수신한 이벤트 데이터의 로그를 이벤트 로그 데이터베이스에 저장하고, 이벤트 처리 모듈(320)로 전송한다.

이벤트 처리 모듈(320)은 이벤트 데이터를 분석하여 연속적인 사용자 행동에 기초하여 현재 상황을 추정한다.

예를 들어, 일반적인 사용자 행동으로 걷기, 일어나기 등과 같이 일반 상황인지, 낙상과 같은 긴급 상황인지 낙상 후에 일정 시간 움직임이 감지되지 않는 등의 응급 상황인지를 추정할 수 있다.

다시 말해 이벤트 처리 모듈(320)은 이벤트 데이터를 분석함에 있어 n 개의 시점에서의 이벤트 데이터를 누적하여 분석함으로써 사용자의 상황을 추정한다.

이때 이벤트 처리 모듈(320)은 긴급 또는 응급 상황으로 추정되는 경우 이벤트 플래그를 포함하여 모니터링 모듈(330)로 전달할 수 있다.

모니터링 모듈(330)은 이벤트 로그 데이터베이스에 저장된 이벤트 로그와 이벤트 처리 모듈(320)에서 분석한 상황 및 이벤트 플래그를 이용하여 알림 메시지를 생성하여 연동되는 단말에 전송한다.

여기서 모니터링 모듈(330)은 상황에 따라 설정된 단계별로 알림 메시지를 전송하는 단말의 개수를 달리 설정할 수 있다.

예를 들어, 긴급 상황인 경우 연동되는 보호자 단말에 알림 메시지를 전송하여 낙상 이력을 전송하여 사용자의 상태를 알리거나 응급 상황인 경우에는 보호자 단말 이외에 병원과 같은 기관 단말로 알림 메시지를 전송하도록 설정할 수 있다.

그리고 모델 학습 모듈(340)은 행동 감지 AI 모델을 학습 데이터를 통해 학습시키고, 학습이 완료된 행동 감지 AI 모델을 행동 감지 장치(200)로 전송한다.

모델 학습 모듈(340)은 일정한 상황을 추정 가능한 사용자의 행동(걷기, 달리기, 일어나기, 쓰러짐 등)에 대해서 임계치 이상의 정확성이 확보되도록 행동 감지 AI 모델을 학습시킬 수 있다. 또한 모델 학습 모듈(340)은 학습이 완료된 행동 감지 AI 모델을 일정 주기 또는 관리자의 요청 시점에 맞춰 재 학습하고 재 학습이 완료된 행동 감지 AI 모델을 행동 감지 장치(200)로 전송할 수 있다.

도 3은 한 실시 예에 따른 행동 감지 모니터링 방법을 나타낸 순서도이다.

도 3에 도시한 바와 같이, 모니터링 서버(300)는 학습 데이터를 통해 행동 감지 AI 모델을 학습한다(S110).

모니터링 서버(300)는 입력되는 시퀀스와 결과로 도출된 행동을 매칭하여 학습데이터를 확보한 후, 학습 데이터를 이용하여 행동 감지 AI 모델을 학습시킨다.

행동 감지 AI 모델은 분석하고자 하는 사용자의 행동들을(일어나기, 눕기, 앉기, 걷기, 달리기, 낙상 등) 기준으로 입력된 시퀀스가 어떤 행동을 나타내는지에 대한 확률값이 도출된다.

모니터링 서버(300)은 학습된 행동 감지 AI 모델의 일정 이상의 정확도가 확보되면 학습을 완료한다.

그리고 모니터링 서버(300)는 학습된 행동 감지 AI 모델을 행동 감지 장치(200)로 전송한다(S120).

그러면, 행동 감지 장치(200)는 행동 감지 AI 모델을 저장한다(S130).

행동 감지 장치(200)는 일정 시간의 주기 또는 설정된 시간 동안 매칭된 Wi-Fi 단말기(100)로 패킷 요청을 할 수 있다.

다음으로 행동 감지 장치(200)는 Wi-Fi 신호를 수신한다(S140).

행동 감지 장치(200)는 채널 상태 정보를 수신하면, 수신된 신호 중에서 이벤트 시작 또는 종료 구간을 추출할 수 있다.

그리고 행동 감지 장치(200)는 수신된 Wi-Fi 신호를 보간하고, 해당 신호에서 노이즈를 제거한다(S150).

행동 감지 장치(200)는 추출된 구간에서 수신된 신호의 손실이 발견되면, 손실된 신호의 직전 신호와 직후 신호를 이용하여 보간한다.

다시 말해, 손실되지 않은 두 신호 사이의 손실된 신호를 보간하기 위해 두 신호의 직선 거리에 따라 선형적으로 손실된 신호를 보간한다.

그리고 행동 감지 장치(200)는 보간된 신호에 대해서 잡음으로 간주된 성분을 제거한다.

다음으로 행동 감지 장치(200)는 시퀀스 오버랩 윈도우를 행동 감지 AI 모델에 입력하여 감지된 행동에 따른 확률값을 획득한다(S160).

행동 감지 장치(200)는 확률값들에 기초하여 이벤트 데이터 생성하고(S170) 모니터링 서버(300)에 전송한다(S180).

행동 감지 장치(200)는 시퀀스마다 행동의 확률값들을 모두 더하여 가장 확률값이 큰 행동을 최종 이벤트로 결정할 수 있다.

그러면 모니터링 서버(300)는 수신한 이벤트 데이터를 분석하여 상황을 추정하고(S190), 상황에 따른 알림 메시지 전송한다(S200).

모니터링 서버(300)는 사용자의 행동에 따른 일반 상황, 긴급 상황 또는 위험 상황을 추정하여 알림 메시지를 생성하고, 추정된 상황에 따라 연동된 단말로 알림 메시지를 전송할 수 있다.

도 4는 한 실시예에 따른 노이즈 제거하는 과정과 행동에 따른 프리퀀시 도메인을 나타낸 예시도이다.

도 4의 (a)는 원신호에서 데이터 손실 없이 노이즈를 제거한 예시도이다.

앞서 도 2에서 설명한 바와 같이, 원신호를 저주파 성분인 approximation과 고주파 성분인 detail로 분할하며, 저주파 영역을 다시 high영역과 low영역으로 분해할 수 있다. 그 중에서 high 영역의 신호는 잡음과 같은 신호를 나타내게 된다.

다시 말해, 원신호를 작은 수의 웨어블릿 계수(저주파, 고주파 성분)로 거의 비슷하게 나타낼 수 있기 그 과정으로 얻어진 계수들의 절대값을 가지고 잡음이라고 간주된 성분은 제거하고 원신호는 잡음의 영향만큼 축소시키거나 유지하여 재구성하게 되므로 데이터 손실없이 노이즈를 제거할 수 있다.

그리고 도 4의 (b)는 사용자의 행동에 따른 신호와 주파수 도메인을 나타낸 예시도이다.

도 4에 도시한 바와 같이, 사용자의 행동에 따라 Wi-Fi 신호의 채널 상태 정보가 상이하게 확보된다.

도 5는 한 실시예에 따른 행동 감지 AI 모델을 통해 이벤트 데이터를 생성하는 예시도이다.

도 5에 도시한 바와 같이, 수집된 신호의 레이어는 일정 부분이 오버랩되는 방식으로 시퀀스를 분할하고, 각 시퀀스를 행동 감지 AI 모델에 입력하여 시퀀스마다 나타내는 행동들을 확률값으로 도출한다.

이를 통해 행동 감지 장치(200)는 시퀀스의 수만큼 분석가능한 행동들의 확률값을 얻게 되고, 행동별로 확률값을 모두 더한 후, 최종적으로 가장 높은 확률값을 가지는 행동을 최종 이벤트로 결정할 수 있다.

본 발명에 따르면, 실내 공간에서 사용자의 움직임에 따른 변화된 채널 상태 정보를 시간-주파수 도메인으로 변환하고, 일부 구간마다 오버랩된 시퀀스를 학습된 인공지능 모델에 사용자의 순간적인 행동을 보다 정확하게 감지할 수 있다.

또한, 낙상이나 혼절 등과 같은 응급 상황이 발생한 경우, 자동으로 사용자의 행동을 판단하여 관련 기관 또는 외부 단말로 알림을 제공함으로써 응급 상황을 빠르게 인식하고 그에 따른 신속한 대처 방안을 제공할 수 있다.

이상에서 설명한 본 개시의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 개시의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.

이상에서 본 개시의 실시예에 대하여 상세하게 설명하였지만 본 개시의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 개시의 권리범위에 속하는 것이다.

Claims (5)

1. Wi-Fi 기반 행동 감지 장치의 동작 방법으로서,
   매칭된 Wi-Fi 단말로부터 사용자의 행동에 따라 변하는 채널 상태 정보가 포함된 패킷을 수신하는 단계,
   상기 패킷 중에서 행동 추정 구간을 선별하고, 상기 행동 추정 구간의 채널 상태 정보를 주파수 도메인 영역으로 변환하는 단계,
   변환된 채널 상태 정보를 다수개의 시퀀스로 분할하고, 시퀀스마다 학습이 완료된 행동 감지 AI 모델에 입력하여 행동에 대한 확률 값을 확보하는 단계, 그리고
   전체 시퀀스의 행동별로 확률 값들에 기초하여 가장 높은 확률 값을 가지는 최종 행동을 결정하고, 결정된 최종 행동에 대한 데이터를 연동되는 모니터링 서버로 전송하는 단계,
   를 포함하는 동작 방법.
2. 제1항에서,
   상기 Wi-Fi 단말이 설치된 실내 공간에서 사용자가 위치하지 않는 일정 시간동안 채널 상태 정보를 포함한 패킷을 수신하고, 수신된 패킷에 대한 신호의 평균 값을 기준 값으로 설정하는 단계를 더 포함하는 동작 방법.
3. 제2항에서,
   상기 변환하는 단계는,
   상기 패킷에 대해 상기 기준 값을 제거하고, 제거된 신호가 임계치 이상이면 이벤트 시작 지점으로 추정하고, 제거된 신호가 임계치 이하이면 이벤트 종료 지점으로 추정하여 이벤트 구간을 추정하는 동작 방법.
4. 제1항에서,
   상기 변환하는 단계는,
   패킷 손실이 발생하면, 손실된 패킷 전후의 정상 수신된 패킷의 파라미터에 기초하여 선형적으로 손실된 패킷의 파라미터를 보간하는 동작 방법.
5. 제4항에서,
   상기 확보하는 단계는,
   상기 변환된 주파수 도메인을 설정된 오버랩 비율을 적용하여 다수 개의 시퀀스로 분할하고, 분할된 시퀀스를 각각 행동 감지 AI 모델에 입력하는 동작 방법.
   

Images