KR20210061141A

KR20210061141A - 자연어 처리 방법 및 장치

Info

Publication number: KR20210061141A
Application number: KR1020190148984A
Authority: KR
Inventors: 김미숙; 유상현; 박정훈; 전재훈; 한규범
Original assignee: 삼성전자주식회사
Priority date: 2019-11-19
Filing date: 2019-11-19
Publication date: 2021-05-27
Also published as: US20210150155A1; US11487953B2; EP3825895A1; CN112905735A

Abstract

자연어 처리 방법 및 장치가 개시된다. 개시된 자연어 처리 방법은 사용자의 입력 문장 및 데이터베이스에 저장된 제1 쿼리 문장 간 제1 유사도를 결정하는 단계, 상기 제1 유사도가 제1 임계치보다 낮으면, 상기 입력 문장의 일부와 상기 데이터베이스에 저장된 제2 쿼리 문장 간 제2 유사도를 결정하는 단계 및 상기 제2 유사도가 제2 임계치보다 높으면, 상기 데이터베이스에서 상기 제2 쿼리 문장에 대응하는 응답 문장을 상기 입력 문장의 응답으로 출력하는 단계를 포함한다.

Description

자연어 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSIMG NATURAL LANGUAGES}

아래 실시예들은 자연어 처리 방법 및 장치에 관한 것이다.

챗봇 시스템(chatbot system)은 사용자가 입력한 문장에 대응한 응답 문장을 출력하는 시스템으로, 탐색 모델(retrieval model) 기반 챗봇 시스템, 생성 모델(generation model) 기반 챗봇 시스템이 존재한다. 다만, 탐색 모델 기반 챗봇 시스템은 데이터베이스에 저장된 데이터를 기반하기에 데이터베이스에 없는 입력 문장에 대해서는 적절한 응답 문장을 출력하기 어렵다. 또한, 생성 모델 기반 챗봇 시스템은 다양한 응답을 생성할 수 있지만, 문법에 맞지 않은 응답을 하거나, 같은 질문에도 다른 응답을 생성하기도 하여 일관성을 갖기 어렵다.

일실시예에 따른 자연어 처리 방법은 사용자의 입력 문장 및 데이터베이스에 저장된 제1 쿼리 문장 간 제1 유사도를 결정하는 단계; 상기 제1 유사도가 제1 임계치보다 낮으면, 상기 입력 문장의 일부와 상기 데이터베이스에 저장된 제2 쿼리 문장 간 제2 유사도를 결정하는 단계; 및 상기 제2 유사도가 제2 임계치보다 높으면, 상기 데이터베이스에서 상기 제2 쿼리 문장에 대응하는 응답 문장을 상기 입력 문장의 응답으로 출력하는 단계를 포함한다.

일실시예에 따른 자연어 처리 방법에서 상기 입력 문장의 일부는 상기 입력 문장에 포함된 성분들 중 어느 하나일 수 있다.

일실시예에 따른 자연어 처리 방법에서 상기 입력 문장의 일부는 상기 입력 문장에 포함된 동사일 수 있다

일실시예에 따른 자연어 처리 방법에서 상기 입력 문장의 일부는 상기 입력 문장을 처리하는 태스크(task)의 종류에 대응하는 것으로 선택된 문장 성분일 수 있다.

일실시예에 따른 자연어 처리 방법에서 상기 태스크의 종류는 챗봇, 검색을 포함할 수 있다.

일실시예에 따른 자연어 처리 방법에서 상기 입력 문장의 일부는 상기 입력 문장에 형태소 분석을 수행하여 선택될 수 있다.

일실시예에 따른 자연어 처리 방법은 상기 제1 유사도가 제1 임계치보다 높으면, 상기 데이터베이스에서 상기 제1 쿼리 문장에 대응하는 응답 문장을 상기 음성 신호의 응답으로 출력하는 단계를 더 포함할 수 있다.

일실시예에 따른 자연어 처리 방법은 상기 제2 유사도가 상기 제2 임계치보다 낮으면, 생성 모델에서 상기 입력 문장에 대응하는 응답 문장을 생성하여 출력하는 단계를 더 포함할 수 있다.

일실시예에 따른 자연어 처리 방법에서 상기 사용자의 입력 문장은 상기 사용자가 발화한 음성 신호 또는 상기 사용자가 입력한 텍스트 데이터로부터 획득될 수 있다.

일실시예에 따른 자연어 처리 방법은 사용자의 입력 문장에 포함된 성분들 중 어느 하나를 선택하는 단계; 상기 선택된 성분과 데이터베이스에 저장된 쿼리 문장 간 유사도를 결정하는 단계; 및 상기 유사도가 임계치보다 높으면, 상기 데이터베이스에서 상기 쿼리 문장에 대응하는 응답 문장을 상기 입력 문장의 응답으로 출력하는 단계를 포함한다.

일실시예에 따른 자연어 처리 방법에서 상기 성분들 중 어느 하나를 선택하는 단계는 상기 성분들 중에서 상기 입력 문장을 처리하는 태스크의 종류에 대응하는 어느 하나를 선택할 수 있다.

일실시예에 따른 자연어 처리 방법에서 상기 성분들 중 어느 하나를 선택하는 단계는 상기 입력 문장에 형태소 분석을 수행하여 상기 성분들 중 어느 하나를 선택할 수 있다.

일실시예에 따른 자연어 처리 방법은 상기 유사도가 상기 임계치보다 낮으면, 생성 모델에서 상기 입력 문장에 대응하는 응답 문장을 획득하여 출력하는 단계를 더 포함할 수 있다.

일실시예에 따른 자연어 처리 장치는 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는 사용자의 입력 문장 및 데이터베이스에 저장된 제1 쿼리 문장 간 제1 유사도를 결정하고, 상기 제1 유사도가 제1 임계치보다 낮으면, 상기 입력 문장의 일부와 상기 데이터베이스에 저장된 제2 쿼리 문장 간 제2 유사도를 결정하며, 상기 제2 유사도가 제2 임계치보다 높으면, 상기 데이터베이스에서 상기 제2 쿼리 문장에 대응하는 응답 문장을 상기 입력 문장의 응답으로 출력한다.

도 1은 일실시예에 따른 탐색 모델로 응답 문장을 결정하는 과정을 설명하기 위한 도면이다.
도 2 및 도 3은 일실시예에 따른 탐색 모델과 생성 모델을 이용하여 응답 문장을 결정하는 과정을 설명하기 위한 도면이다.
도 4 및 도 5는 일실시예에 따라 결정된 응답 문장의 예시들을 나타낸 도면이다.
도 6 및 도 7은 일실시예에 따른 자연어 처리 방법을 나타낸 도면이다.
도 8은 일실시예에 따른 자연어 처리 장치를 나타낸 도면이다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 실시예들을 설명하기 위한 목적으로 예시된 것으로, 실시예의 범위가 본문에 설명된 내용에 한정되는 것으로 해석되어서는 안된다. 관련 기술 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타내며, 공지된 기능 및 구조는 생략하도록 한다.

일실시예에 따른 자연어 처리 장치는 사용자로부터 입력된 문장에 대한 응답 문장을 결정할 수 있으며, 예를 들어, 챗봇 시스템 등을 포함할 수 있다. 자연어 처리 장치에서 응답 문장을 결정할 때, 탐색 모델 및/또는 생성 모델이 이용될 수 있다. 탐색 모델은 쿼리 문장과 응답 문장의 여러 쌍(pair)이 저장된 데이터베이스에서 사용자의 입력 문장과 가장 유사한 쿼리 문장을 검색하고, 검색된 쿼리 문장에 대응하는 응답 문장을 입력 문장의 응답으로 출력할 수 있다. 생성 모델은 많은 양의 데이터로 미리 학습되어 사용자로부터 입력된 문장에 대해 가장 적절한 응답 문장을 생성할 수 있다. 이하, 자연어 처리 장치에서 응답 문장을 결정하기 위해 탐색 모델 및/또는 생성 모델을 이용하는 과정에 대해 상세히 설명한다.

도 1은 일실시예에 따른 탐색 모델로 응답 문장을 결정하는 과정을 설명하기 위한 도면이다.

도 1을 참조하면, 일실시예에 따른 학습(pretrain), 인덱싱(indexing), 추론(inference) 과정이 도시된다.

학습 과정에서, 다양한 코퍼스 데이터(corpus data)에 기반하여 인코더 및 디코더가 학습될 수 있다. 예를 들어, 학습에 이용되는 코퍼스 데이터가 wiki 데이터인 경우, 현재 문장(present sentence), 다음 문장(next sentence)이 하나의 학습 데이터 쌍으로 구성될 수 있다. 현재 문장이 인코더에 입력되면, 인코더는 현재 문장의 임베딩 벡터를 컨텍스트 정보로 출력하고, 디코더는 이러한 컨텍스트 정보를 이용하여 다음 문장이 출력되도록, 인코더와 디코더가 학습될 수 있다. 또한, 학습에 이용되는 코퍼스 데이터가 질문, 답변 형태인 경우에는 질문, 답변이 하나의 학습 데이터 쌍으로 구성될 수 있다. 마찬가지로, 질문이 인코더에 입력되었을 때 디코더에서 답변이 출력되도록, 인코더 및 디코더가 학습될 수 있다.

인덱싱 과정에서, 기 학습된 인코더를 이용한 임베딩 벡터 변환이 수행될 수 있다. 문장 데이터베이스는 쿼리 문장과 응답 문장의 여러 쌍을 저장할 수 있다. 여기서, 쿼리 문장이 입력된 인코더로부터 해당 쿼리 문장의 임베딩 벡터가 획득될 수 있다. 임베딩 데이터베이스는 쿼리 임베딩 벡터와 응답 문장의 여러 쌍을 저장할 수 있다.

추론 과정에서, 사용자로부터 입력된 문장은 앞서 설명한 인코더를 통해 입력 임베딩 벡터로 변환될 수 있다. 입력 임베딩 벡터와 임베딩 데이터베이스에 저장된 복수의 쿼리 임베딩 벡터들 각각 사이의 유사도가 결정될 수 있다. 입력 임베딩 벡터와 가장 유사도가 높은 쿼리 임베딩 벡터가 결정되고, 결정된 쿼리 임베딩 벡터에 대응하는 응답 문장이 사용자의 입력 문장에 대한 응답으로 출력될 수 있다.

이처럼 사용자로부터 문장이 입력되면, 입력 문장의 전체와 데이터베이스에 저장된 쿼리 문장 간 유사도에 기초하여 응답 문장이 결정될 수 있다. 다만, 만약 결정된 유사도가 제1 임계치보다 낮다면 입력 문장이 임베딩 데이터베이스에서 탐색된 쿼리 문장과 유사하지 않다는 것이고, 이 경우 쿼리 문장에 대응하는 응답 문장이 입력 문장의 응답으로 적합하지 않게 된다. 따라서, 다른 기준으로 유사도를 결정하여 데이터베이스에서 적절한 응답 문장을 탐색하거나, 생성 모델을 통해 응답 문장을 생성할 필요가 있다. 자세한 내용은 도 2 내지 도 3을 통해 후술한다.

도 2 및 도 3은 일실시예에 따른 탐색 모델과 생성 모델을 이용하여 응답 문장을 결정하는 과정을 설명하기 위한 도면이다.

도 2를 참조하면, 일실시예에 따른 자연어 처리 장치가 응답 문장을 결정하는 과정을 설명하기 위한 플로우차트가 도시된다.

단계(210)에서, 자연어 처리 장치는 사용자로부터 입력 문장을 수신할 수 있다. 예를 들어, 입력 문장은 사용자가 발화한 음성 신호로부터 획득되거나, 또는 사용자가 입력한 텍스트 데이터로부터 획득될 수 있다. 자연어 처리 장치는 사용자가 발화한 음성 신호를 수신하여 입력 문장을 결정할 수 있다. 또는, 자연어 처리 장치는 텍스트 입력을 통해 사용자로부터 입력 문장을 수신할 수 있다.

단계(220)에서, 자연어 처리 장치는 사용자의 입력 문장 전체와 탐색 모델의 데이터베이스에 저장된 복수의 쿼리 문장들 각각 사이의 유사도를 결정할 수 있다. 예를 들어, 유사도는 입력 문장 전체에 대한 임베딩 벡터와 각 쿼리 문장의 임베딩 벡터 간 코사인 유사도(cosine similarity)일 수 있다. 이 때, 가장 높은 유사도를 가지는 제1 쿼리 문장이 식별될 수 있고, 해당 유사도가 제1 유사도로 결정될 수 있다.

단계(230)에서, 자연어 처리 장치는 제1 유사도가 제1 임계치보다 높은지 여부를 판단할 수 있다. 만약 제1 유사도가 제1 임계치보다 높다면 단계(240)가 이어서 수행될 수 있고, 반대로 제1 유사도가 제1 임계치보다 낮다면 단계(250)가 이어서 수행될 수 있다. 제1 유사도가 제1 임계치와 동일한 경우는 실시예에 따라 단계(240) 또는 단계(250)가 이어서 수행될 수 있다.

단계(240)에서, 자연어 처리 장치는 데이터베이스에서 제1 쿼리 문장에 대응하는 제1 응답 문장을 선택하여 입력 문장의 응답으로 출력할 수 있다. 예를 들어, 자연어 처리 장치는 제1 응답 문장을 오디오 형태로 스피커를 통해 재생하거나, 또는 텍스트 형태로 디스플레이에 표시할 수 있다.

단계(250)에서, 자연어 처리 장치는 입력 문장에 형태소 분석을 수행하여 입력 문장의 일부를 추출할 수 있다.

형태소 분석을 통해, 입력 문장이 최소의 의미 단위인 형태소로 나누어져, 하나 이상의 문장 성분들로 구분될 수 있다. 예를 들어, 입력 문장 "월드컵 끝나서 슬퍼"는 형태소 분석을 통해 "월드컵/NNG", "끝/NNG", "나/NP", "서/JKB", "슬퍼/VA+EC"로 구분될 수 있다. NNG는 일반 명사를 나타내고, NP는 대명사를 나타내고, JKB는 부사격 조사를 나타내고, VA는 형용사를 나타내며, EC는 연결 어미를 나타낸다. 다른 예시로, 입력 문장 "바지가 안 들어가"는 형태소 분석을 통해 "바지/NNG", "가/JKS", "안/MAG", "들어가/VV+EC"로 구분될 수 있다. JKS는 주격 조사를 나타내고, MAG는 일반 부사를 나타내며, VV는 동사를 나타낸다.

입력 문장에 포함된 성분들 중 어느 하나가 입력 문장의 일부로 추출될 수 있다. 입력 문장의 일부는 입력 문장을 처리하는 태스크의 종류에 대응하는 문장 성분일 수 있다. 예를 들어, 태스크의 종류는 챗봇, 검색을 포함할 수 있다. 목적 지향적 대화 또는 일상 대화를 수행하는 챗봇 태스크의 경우, 입력 문장에 포함된 성분들 중 동사가 입력 문장의 일부로 추출될 수 있다. 또는, 검색 엔진을 이용한 검색 태스크의 경우, 입력 문장에 포함된 성분들 중 명사가 입력 문장의 일부로 추출될 수 있다.

또는, 입력 문장에 포함된 성분들 중에서 미리 정해진 순서로 어느 하나의 성분이 추출될 수 있다. 예를 들어, 추출 순서가 동사, 명사, 형용사/부사인 경우, 입력 문장에 포함된 성분들 중 동사를 먼저 추출하고, 만약 동사가 추출되지 않으면 명사를 추출하고, 만약 명사도 추출되지 않으면 형용사 및/또는 부사가 차례로 추출될 수도 있다.

단계(260)에서, 자연어 처리 장치는 사용자의 입력 문장 일부와 탐색 모델의 데이터베이스에 저장된 복수의 쿼리 문장들 각각 사이의 유사도를 결정할 수 있다. 예를 들어, 유사도는 입력 문장 일부에 대한 임베딩 벡터와 각 쿼리 문장의 임베딩 벡터 간 코사인 유사도일 수 있다. 이 때, 가장 높은 유사도를 가지는 제2 쿼리 문장이 식별될 수 있고, 해당 유사도가 제2 유사도로 결정될 수 있다. 이 때, 제2 쿼리 문장은 입력 문장 전체와 가장 유사한 제1 쿼리 문장과 동일 또는 상이할 수 있다.

단계(270)에서, 자연어 처리 장치는 제2 유사도가 제2 임계치보다 높은지 여부를 판단할 수 있다. 만약 제2 유사도가 제2 임계치보다 높다면 단계(280)가 이어서 수행될 수 있고, 반대로 제2 유사도가 제2 임계치보다 낮다면 단계(290)가 이어서 수행될 수 있다. 제2 유사도가 제2 임계치와 동일한 경우는 실시예에 따라 단계(280) 또는 단계(290)가 이어서 수행될 수 있다.

도 2에서는 도시되지 않았으나, 단계(270)에서 추가적으로 입력 문장 전체와 제2 쿼리 문장 간 제3 유사도가 제3 임계치보다 높은지 여부가 판단될 수 있다. 만약 입력 문장 일부와 가장 유사한 제2 쿼리 문장이 입력 문장 전체와 유사하지 않다면, 제2 쿼리 문장에 대응하는 제2 응답 문장이 적절한 응답이 될 수 없고, 이 경우 단계(290)이 이어서 수행될 수 있다.

단계(280)에서, 자연어 처리 장치는 데이터베이스에서 제2 쿼리 문장에 대응하는 제2 응답 문장을 선택하여 입력 문장의 응답으로 출력할 수 있다.

단계(290)에서, 자연어 처리 장치는 입력 문장 전체가 입력된 생성 모델로부터 입력 문장에 대응하는 응답 문장을 획득하여 출력할 수 있다.

도 3을 참조하면, 일실시예에 따라 자연어 처리 장치에서 이용되는 탐색 모델(310, 320), 생성 모델(330), 선택 모델(340)이 도시된다. 탐색 모델(310)은 입력 문장 전체와 가장 유사한 쿼리 문장을 데이터베이스에서 검색함으로써 응답 문장을 결정할 수 있다. 탐색 모델(320)은 입력 문장 일부와 가장 유사한 쿼리 문장을 데이터베이스에서 검색함으로써 응답 문장을 결정할 수 있다. 생성 모델(330)은 입력 문장 전체를 고려하여 이에 대응하는 응답 문장을 생성할 수 있다. 선택 모델(340)은 탐색 모델(310, 320), 생성 모델(330) 중 어느 하나에서 결정된 응답 문장을 선택할 수 있다.

일례로, 입력 문장 "인절미가 제일 좋아"의 경우, 탐색 모델(310)에서는 해당 입력 문장 전체와 가장 유사한 것으로 제1 쿼리 문장 "떡 좋아해"이 식별될 수 있다. 다만, 입력 문장 "인절미가 제일 좋아"와 제1 쿼리 문장 "떡 좋아해" 간 제1 유사도 0.694가 미리 정해진 임계치 0.85보다 낮으므로, 탐색 모델(320)이 이어서 이용될 수 있다. 탐색 모델(320)에서는 해당 입력 문장 일부(예컨대, 동사 성분인 "제일 좋아")와 가장 유사한 것으로 제2 쿼리 문장 "제일 좋아"가 식별될 수 있다. 입력 문장 일부 "제일 좋아"와 제2 쿼리 문장 "제일 좋아" 간 제2 유사도 1.000이 미리 정해진 제2 임계치 0.9보다 높으므로, 제2 쿼리 문장 "제일 좋아"에 대응하는 응답 문장 "저도요!"가 응답으로 선택되어 출력될 수 있다.

다른 일례로, 입력 문장 "오늘 미세먼지 심하대"의 경우, 탐색 모델(310)에서는 해당 입력 문장 전체와 가장 유사한 것으로 제1 쿼리 문장 "오늘 미세먼지 어때"가 식별될 수 있으나, 그에 따른 제1 유사도 0.825가 제1 임계치 0.85보다 낮으므로, 탐색 모델(320)이 이어서 이용될 수 있다. 탐색 모델(520)에서는 해당 입력 문장 일부(예컨대, 동사 성분인 "심하대")와 가장 유사한 것으로 제2 쿼리 문장 "오늘 혼났어"가 식별될 수 있으나, 그에 따른 제2 유사도 0.838가 제2 임계치 0.9보다 낮으므로, 생성 모델(330)이 이어서 이용될 수 있다. 생성 모델(330)에서 입력 문장 "오늘 미세먼지 심하대"에 대응하여 생성된 응답 문장 "마스크 쓰세요"가 응답으로 선택되어 출력될 수 있다.

도 4 및 도 5는 일실시예에 따라 결정된 응답 문장의 예시들을 나타낸 도면이다.

도 4를 참조하면, 입력 문장 전체에 매칭되는 쿼리 문장 및 응답 문장, 입력 문장 일부에 매칭되는 쿼리 문장 및 응답 문장의 예시들이 도시된다. 도 4에서는 설명의 편의를 위해 동사 성분이 입력 문장의 일부로 선택되는 경우를 가정한다. 예를 들어, 입력 문장 "월드컵 끝나서 슬퍼"의 경우, 데이터베이스에 모든 입력 문장들이 저장될 수 없기 때문에 입력 문장 전체와 가장 유사한 것으로 쿼리 문장 "월드컵 하는구나"가 선택될 수 있다. 입력 문장 "월드컵 끝나서 슬퍼"와 쿼리 문장 "월드컵 하는구나" 사이의 유사도가 충분하지 않기 때문에(예컨대, 제1 임계치 이하), 쿼리 문장 "월드컵 하는구나"에 대응하는 응답 문장 "과연 이번에는 어떤 나라가 우승할지 궁금하네요"가 입력 문장 "월드컵 끝나서 슬퍼"의 응답으로 적절하지 않다. 반면, 입력 문장의 일부 "슬퍼"와 가장 유사한 것으로 쿼리 문장 "슬퍼"가 데이터베이스에서 선택될 수 있다. 입력 문장의 일부 "슬퍼"와 쿼리 문장 "슬퍼" 사이의 유사도가 충분하기 때문에(예컨대, 제2 임계치 이상), 쿼리 문장 "슬퍼"에 대응하는 응답 문장 "그것 참 속한 말이네요"가 입력 문장 "월드컵 끝나서 슬퍼"의 응답으로 출력될 수 있으며, 사용자는 자연스러운 챗봇 대화를 경험할 수 있다. 이처럼 도 4의 예시들에서 확인할 수 있듯이, 입력 문장 전체에 기반한 유사도가 충분하지 않은 경우에는 입력 문장 일부에 매칭되는 쿼리 문장을 이용하여 응답 문장을 결정하는 것이 정확한 응답을 기대할 수 있다.

도 5를 참조하면, "문장 전체 기반 탐색 모델", "문장 전체/일부 기반 탐색 모델", "선택 모델(탐색 모델 + 생성 모델)"을 통해 각 입력 문장에 대해 결정된 응답 문장의 예시들이 도시된다. 탐색 모델이 이용하는 데이터베이스에는 유한 개수의 쿼리 문장, 응답 문장의 쌍이 저장되기 때문에, 특정 입력 문장 전체에 대해서는 높은 유사도를 갖는 쿼리 문장이 검색되지 않을 수 있고, 그래서 적절하지 않은 응답 문장이 출력될 수 있다. 이 경우, 입력 문장에서 중요 의미를 가지는 일부 문장 성분을 기준으로 하면 데이터베이스에서 높은 유사도를 가지는 쿼리 문장이 검색될 수 있고, 이를 통해 적절한 응답 문장을 출력할 수 있다. 만약 입력 문장의 일부에 대해서도 높은 유사도를 갖는 쿼리 문장이 검색되지 않은 경우에는 생성 모델을 이용하여 응답 문장이 결정되고 출력될 수 있다.

일례로, 입력 문장 "난 친구가 없어"의 경우, 문장 전체 기반 탐색 모델은 입력 문장 전체와 가장 유사한 쿼리 문장을 검색하고, 검색된 쿼리 문장에 대응한 응답 문장 "빅스비에게 열광하는 수많은 친구가 있답니다"를 출력하게 된다. 탐색 모델이 참조하는 데이터베이스에 가능한 모든 쿼리 문장을 저장하기 어렵기 때문에 입력 문장과 유사도가 높지 않은 쿼리 문장이 검색될 경우, 사용자가 느끼기에 다소 엉뚱한 응답 문장이 출력될 수 있다.

반면, 문장 전체/일부 기반 탐색 모델은 입력 문장 전체에 기반하여 검색된 쿼리 문장이 입력 문장 전체와의 유사도가 충분하지 않다면, 입력 문장 일부에 기반하여 쿼리 문장 검색을 다시 수행할 수 있다. 입력 문장 전체보다는 입력 문장 일부를 기준으로 높은 유사도를 가지는 쿼리 문장을 찾기가 상대적으로 쉽기 때문에, 입력 문장 일부와 가장 유사한 것으로 검색된 쿼리 문장의 응답 문장 "친해지고 싶은 사람에게 먼저 다가가 마음을 전해보세요"가 입력 문장의 자연스러운 응답으로 출력될 수 있다.

다른 일례로, 입력 문장 "바홈쿠헨 먹어봤니"의 경우처럼, 입력 문장 전체뿐만 아니라 입력 문장 일부를 이용한 탐색 모델의 출력 응답이 입력 문장의 응답으로 적절하지 않을 수 있다. 이 경우, 선택 모델(탐색 모델 + 생성 모델)은 생성 모델에서 생성된 응답 문장 "아니요. 기회가 되면 꼭 먹어보고 싶네요"를 입력 문장의 자연스러운 응답으로 선택하여 출력할 수 있다.

도 6 및 도 7은 일실시예에 따른 자연어 처리 방법을 나타낸 도면이다.

도 6을 참조하면, 일실시예에 따른 자연어 처리 장치에 구비된 프로세서에서 수행되는 자연어 처리 방법이 도시된다.

단계(610)에서, 자연어 처리 장치는 사용자의 입력 문장 및 데이터베이스에 저장된 제1 쿼리 문장 간 제1 유사도를 결정한다. 사용자의 입력 문장은 사용자가 발화한 음성 신호 또는 사용자가 입력한 텍스트 데이터로부터 획득될 수 있다.

자연어 처리 장치는 제1 유사도가 제1 임계치보다 높으면, 데이터베이스에서 제1 쿼리 문장에 대응하는 응답 문장을 음성 신호의 응답으로 출력할 수 있다.

단계(620)에서, 자연어 처리 장치는 제1 유사도가 제1 임계치보다 낮으면 입력 문장의 일부와 데이터베이스에 저장된 제2 쿼리 문장 간 제2 유사도를 결정한다. 입력 문장의 일부는 입력 문장에 포함된 성분들 중 어느 하나일 수 있다. 입력 문장의 일부는 입력 문장에 포함된 동사일 수 있다. 입력 문장의 일부는 입력 문장을 처리하는 태스크의 종류에 대응하는 것으로 선택된 문장 성분일 수 있다. 태스크의 종류는 챗봇, 검색을 포함할 수 있다. 입력 문장의 일부는 입력 문장에 형태소 분석을 수행하여 선택될 수 있다.

단계(630)에서, 자연어 처리 장치는 제2 유사도가 제2 임계치보다 높으면, 데이터베이스에서 제2 쿼리 문장에 대응하는 응답 문장을 입력 문장의 응답으로 출력한다.

자연어 처리 장치는 제2 유사도가 제2 임계치보다 낮으면, 생성 모델에서 입력 문장에 대응하는 응답 문장을 생성하여 출력할 수 있다.

도 7을 참조하면, 다른 일실시예에 따른 자연어 처리 장치에 구비된 프로세서에서 수행되는 자연어 처리 방법이 도시된다.

단계(710)에서, 자연어 처리 장치는 사용자의 입력 문장에 포함된 성분들 중 어느 하나를 선택한다. 자연어 처리 장치는 성분들 중에서 입력 문장을 처리하는 태스크의 종류에 대응하는 어느 하나를 선택할 수 있다. 자연어 처리 장치는 입력 문장에 형태소 분석을 수행하여 성분들 중 어느 하나를 선택할 수 있다.

단계(720)에서, 자연어 처리 장치는 선택된 성분과 데이터베이스에 저장된 쿼리 문장 간 유사도를 결정한다.

단계(730)에서, 자연어 처리 장치는 유사도가 임계치보다 높으면, 데이터베이스에서 쿼리 문장에 대응하는 응답 문장을 입력 문장의 응답으로 출력한다.

자연어 처리 장치는 유사도가 임계치보다 낮으면 생성 모델에서 입력 문장에 대응하는 응답 문장을 획득하여 출력할 수 있다.

도 6 및 도 7에 도시된 각 단계들에는 도 1 내지 도 5를 통하여 전술한 사항들이 그대로 적용되므로, 보다 상세한 설명은 생략한다.

도 8은 일실시예에 따른 자연어 처리 장치를 나타낸 도면이다.

도 8를 참조하면, 일실시예에 따른 자연어 처리 장치(800)는 메모리(810), 프로세서(820) 및 입출력 인터페이스(830)를 포함한다. 메모리(810), 프로세서(820) 및 입출력 인터페이스(830)는 버스(bus)(840)를 통하여 서로 통신할 수 있다.

메모리(810)는 컴퓨터에서 읽을 수 있는 명령어를 포함할 수 있다. 프로세서(820)는 메모리(810)에 저장된 명령어가 프로세서(820)에서 실행됨에 따라 앞서 언급된 동작들을 수행할 수 있다. 메모리(810)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.

프로세서(820)는 명령어들, 혹은 프로그램들을 실행하거나, 자연어 처리 장치(800)를 제어하는 장치로서, 예를 들어, CPU(Central Processing Unit) 및/또는 GPU(Graphic Processing Unit)을 포함할 수 있다. 자연어 처리 장치(800)는 입출력 인터페이스(830)를 통하여 외부 장치(예를 들어, 마이크로폰, 키보드)에 연결되어, 사용자의 입력 문장을 수신하거나, 응답 문장을 출력할 수 있다. 자연어 처리 장치(800)는 스마트 폰, 웨어러블 장치, PDA, 태블릿 컴퓨터, 랩톱 컴퓨터, 스마트 텔레비전 등 스마트 가전 기기, 스마트 자동차, 키오스크 등 다양한 컴퓨팅 장치의 일부로 구현될 수 있다. 그 밖에, 자연어 처리 장치(800)에 관해서는 상술된 동작을 처리할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims

사용자의 입력 문장 및 데이터베이스에 저장된 제1 쿼리 문장 간 제1 유사도를 결정하는 단계;
상기 제1 유사도가 제1 임계치보다 낮으면, 상기 입력 문장의 일부와 상기 데이터베이스에 저장된 제2 쿼리 문장 간 제2 유사도를 결정하는 단계; 및
상기 제2 유사도가 제2 임계치보다 높으면, 상기 데이터베이스에서 상기 제2 쿼리 문장에 대응하는 응답 문장을 상기 입력 문장의 응답으로 출력하는 단계
를 포함하는
자연어 처리 방법.
제1항에 있어서,
상기 입력 문장의 일부는
상기 입력 문장에 포함된 성분들 중 어느 하나인,
자연어 처리 방법.
제2항에 있어서,
상기 입력 문장의 일부는
상기 입력 문장에 포함된 동사인,
자연어 처리 방법.
제1항에 있어서,
상기 입력 문장의 일부는
상기 입력 문장을 처리하는 태스크의 종류에 대응하는 것으로 선택된 문장 성분인,
자연어 처리 방법.
제4항에 있어서,
상기 태스크의 종류는 챗봇, 검색을 포함하는,
자연어 처리 방법.
제1항에 있어서,
상기 입력 문장의 일부는
상기 입력 문장에 형태소 분석을 수행하여 선택되는,
자연어 처리 방법.
제1항에 있어서,
상기 제1 유사도가 제1 임계치보다 높으면, 상기 데이터베이스에서 상기 제1 쿼리 문장에 대응하는 응답 문장을 상기 음성 신호의 응답으로 출력하는 단계
를 더 포함하는,
자연어 처리 방법.
제1항에 있어서,
상기 제2 유사도가 상기 제2 임계치보다 낮으면, 생성 모델에서 상기 입력 문장에 대응하는 응답 문장을 생성하여 출력하는 단계
를 더 포함하는,
자연어 처리 방법.
제1항에 있어서,
상기 사용자의 입력 문장은
상기 사용자가 발화한 음성 신호 또는 상기 사용자가 입력한 텍스트 데이터로부터 획득되는,
자연어 처리 방법.
사용자의 입력 문장에 포함된 성분들 중 어느 하나를 선택하는 단계;
상기 선택된 성분과 데이터베이스에 저장된 쿼리 문장 간 유사도를 결정하는 단계; 및
상기 유사도가 임계치보다 높으면, 상기 데이터베이스에서 상기 쿼리 문장에 대응하는 응답 문장을 상기 입력 문장의 응답으로 출력하는 단계
를 포함하는
자연어 처리 방법.
제10항에 있어서,
상기 성분들 중 어느 하나를 선택하는 단계는
상기 성분들 중에서 상기 입력 문장을 처리하는 태스크의 종류에 대응하는 어느 하나를 선택하는,
자연어 처리 방법.
제10항에 있어서,
상기 성분들 중 어느 하나를 선택하는 단계는
상기 입력 문장에 형태소 분석을 수행하여 상기 성분들 중 어느 하나를 선택하는,
자연어 처리 방법.
제10항에 있어서,
상기 유사도가 상기 임계치보다 낮으면, 생성 모델에서 상기 입력 문장에 대응하는 응답 문장을 획득하여 출력하는 단계
를 더 포함하는,
자연어 처리 방법.
제1항 내지 제13항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 저장 매체.
하나 이상의 프로세서를 포함하고,
상기 하나 이상의 프로세서는
사용자의 입력 문장 및 데이터베이스에 저장된 제1 쿼리 문장 간 제1 유사도를 결정하고,
상기 제1 유사도가 제1 임계치보다 낮으면, 상기 입력 문장의 일부와 상기 데이터베이스에 저장된 제2 쿼리 문장 간 제2 유사도를 결정하며,
상기 제2 유사도가 제2 임계치보다 높으면, 상기 데이터베이스에서 상기 제2 쿼리 문장에 대응하는 응답 문장을 상기 입력 문장의 응답으로 출력하는,
자연어 처리 장치.
제15항에 있어서,
상기 입력 문장의 일부는
상기 입력 문장에 포함된 성분들 중 어느 하나인,
자연어 처리 장치.
제16항에 있어서,
상기 입력 문장의 일부는
상기 입력 문장에 포함된 동사인,
자연어 처리 장치.
제15항에 있어서,
상기 입력 문장의 일부는
상기 입력 문장을 처리하는 태스크의 종류에 대응하는 것으로 선택된 문장 성분인,
자연어 처리 장치.
제18항에 있어서,
상기 태스크의 종류는 챗봇, 검색을 포함하는,
자연어 처리 장치.
제15항에 있어서,
상기 입력 문장의 일부는
상기 입력 문장에 형태소 분석을 수행하여 선택되는,
자연어 처리 장치.