본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다.
대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
이하에서는 첨부한 도면을 참고하여 본 개시에 따른 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 개시의 하나 이상의 실시 예에 따른 전자 장치(100)의 구성을 간략하게 나타내는 블록도이다. 그리고, 도 2는 본 개시의 하나 이상의 실시 예에 따른 복수의 신경망 모델과 입출력 데이터를 간략하게 나타내는 블록도이다.
도 1에 도시된 바와 같이, 전자 장치(100)는 메모리(110) 및 프로세서(120)를 포함할 수 있다.
본 개시에 따른 '전자 장치(100)'는 사용자 요청이 불명확한 경우 사용자 요청을 수정하고 수정된 사용자 요청에 대한 응답을 제공할 수 있다. 예를 들어, 전자 장치(100)는 서버 장치로 구현될 수도 있으나, 이에 국한되는 것은 아니며 스마트폰, PC 등과 같은 장치로 구현될 수도 있다.
메모리(110)에는 전자 장치(100)에 관한 적어도 하나의 인스트럭션(instruction)이 저장될 수 있다. 그리고, 메모리(110)에는 전자 장치(100)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(110)에는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션이 저장될 수도 있다. 그리고, 메모리(110)는 플래시 메모리(Flash Memory) 등과 같은 반도체 메모리나 하드디스크(Hard Disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.
구체적으로, 메모리(110)에는 본 개시의 다양한 실시 예에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 모듈이 저장될 수 있으며, 프로세서(120)는 메모리(110)에 저장된 각종 소프트웨어 모듈을 실행하여 전자 장치(100)의 동작을 제어할 수 있다. 즉, 메모리(110)는 프로세서(120)에 의해 액세스되며, 프로세서(120)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.
한편, 본 개시에서 메모리(110)라는 용어는 메모리(110), 프로세서(120) 내 롬, 램 또는 전자 장치(100)에 장착되는 메모리 카드(예를 들어, micro SD 카드, 메모리 스틱)를 포함하는 의미로 사용될 수 있다.
하나 이상의 실시 예에 있어서, 메모리(110)는 사용자 요청, 복수의 API에 대한 데이터베이스, 복수의 후보 API, 수정된 사용자 요청, 사용자 요청에 대한 응답에 대한 정보를 저장할 수 있다. 또한, 메모리(110)는 본 개시에 따른 신경망 모델에 대한 각종 데이터를 저장할 수 있다. 그 밖에도 본 개시의 목적을 달성하기 위한 범위 내에서 필요한 다양한 정보가 메모리(110)에 저장될 수 있으며, 메모리(110)에 저장된 정보는 외부 장치로부터 수신되거나 사용자에 의해 입력됨에 따라 갱신될 수도 있다.
프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 프로세서(120)는 메모리(110)를 포함하는 전자 장치(100)의 구성과 연결되며, 상술한 바와 같은 메모리(110)에 저장된 적어도 하나의 인스트럭션을 실행함으로써, 전자 장치(100)의 동작을 전반적으로 제어할 수 있다.
프로세서(120)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(120)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다. 한편, 본 개시에서 프로세서(120)라는 용어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 및 MPU(Micro Processor Unit)등을 포함하는 의미로 사용될 수 있다.
하나 이상의 실시 예에 있어서, 프로세서(120)는 신경망 모델을 이용하여, 불명확한 사용자 요청을 수정하고 수정된 사용자 요청에 대한 응답을 제공할 수 있다
도 2에 도시된 바와 같이, 본 개시에 따른 복수의 신경망 모델은 API 검색 모델, 재작성 모델 및 언어 모델을 포함할 수 있다. 이하에서는 설명의 편의 상 전자 장치(100)가 복수의 신경망 모델을 모두 포함하는 것을 전제로 설명할 것이지만, 본 개시가 이에 국한되는 것은 아니다. 복수의 신경망 모델은 하나의 통합된 모델로 구현될 수도 있으며, 다만 이하에서는 설명의 명확성을 위해 신경망 모델이 복수의 신경망 모델을 포함하는 것을 전제로 설명한다.
프로세서(120)는 음성 또는 텍스트를 포함하는 사용자 요청을 획득할 수 있다. 구체적으로, 프로세서(120)는 사용자 단말과 같은 외부 장치(예: 스마트폰, PC)로부터 사용자 요청을 수신할 수도 있고, 전자 장치(100)에 직접 입력되는 사용자 요청을 수신할 수도 있다.
'사용자 요청'은 사용자의 의도가 포함된 사용자 입력을 총칭한다. 구체적으로, 사용자 요청은 신경망 모델을 이용하여 정보를 획득하기 위한 사용자 질의를 포함할 수 있다. 또한, 사용자 요청은 신경망 모델을 이용하여 사용자 단말을 제어하기 위한 사용자 명령을 포함할 수도 있다. 예를 들어, 사용자 요청은 "내일 날씨 알려줘"라는 사용자 질의를 나타내는 텍스트일 수 있으며, "30분 후 알람"라는 사용자 명령을 나타내는 텍스트일 수도 있다.
사용자 요청이 음성(즉, 사용자 음성)을 포함하는 경우는 사용자 요청이 사용자의 발화에 기초하여 음성 신호로 획득되는 경우를 말하며, 이 경우 프로세서(120)는 획득된 음성 신호를 음성 인식 모델에 입력하여 음성 신호에 대응되는 텍스트를 획득함으로써, 텍스트를 포함하는 사용자 요청을 획득할 수 있다.
프로세서(120)는 사용자 요청에 대한 응답을 제공하기 위해 기 정의된 복수의 API(application programming interface)에 대한 데이터베이스에 기초하여, 사용자 요청에 관련된 복수의 후보 API에 대한 정보를 획득할 수 있다.
'API'는 서로 다른 시스템이나 어플리케이션이 데이터를 교환하고 기능을 사용할 수 있도록 하는 인터페이스(프로토콜 또는 메커니즘)을 말한다. 특히, 본 개시에 따른 API는 신경망 모델이 다양한 데이터, 시스템 또는 어플리케이션을 이용하여 사용자 요청에 대한 응답을 제공하기 위해 정의될 수 있다. 복수의 API 각각은 신경망 모델에 의해 수행될 수 있는 다양한 기능들에 대응될 수 있다.
'API에 대한 데이터베이스(API 데이터베이스)'는 API에 대한 각종 데이터를 총칭하기 위한 용어이다. 구체적으로, API에 대한 데이터베이스는 복수의 API에 대한 리스트와 함께 각 API에 대한 설명을 포함하는 문서를 포함할 수 있다. 서비스가 대상으로 하는 API 목록이 달라진다면, 프로세서(120)는 업데이트된 API에 대한 데이터베이스에 기초하여 후보 API를 식별할 수 있다.
예를 들어, API에 대한 데이터베이스에 포함된 복수의 API는, 복수의 API 각각의 명칭에 대한 정보, 복수의 API 각각의 파라미터들에 대한 정보 및 복수의 API 각각의 설명에 대한 정보를 포함할 수 있다. 또한, API에 대한 데이터베이스에는 파라미터들의 타입, 예제 등을 포함할 수 있다.
'API에 대한 파라미터'는 각각의 API를 특정하는 요소로서, API 호출 시 특정 동작을 수행하거나 원하는 데이터를 얻기 위해 입력으로 제공되는 값을 말한다. API를 호출하기 위해서는 해당 API에 관련된 파라미터들에 대응되는 슬롯이 채워질 것이 요구된다. 예를 들어, API가 "날씨 API"인 경우 그에 관련된 파라미터는 "날짜" 및 "위치"일 수 있다. 이 경우, 만약 사용자 요청에 "서울"과 "12월 18일"이라는 정보가 포함된 경우, "날짜=12월 1일", "위치=서울"로 슬롯이 채워질 때 API를 호출할 수 있게 된다.
도 2에 도시된 바와 같이, 프로세서(120)는 사용자 요청을 학습된 API 검색 모델에 입력하여, API에 대한 데이터베이스로부터 복수의 후보 API에 대한 정보를 획득할 수 있다.
'API 검색 모델'은 입력된 사용자 요청을 분석하여 API에 대한 데이터베이스로부터 복수의 후보 API의 리스트를 추출하도록 학습된 신경망 모델을 말한다. 구체적으로, API 검색 모델은 입력된 사용자 요청에 포함된 의미를 분석하여 사용자 요청에 대응되는 복수의 후보 API를 식별하고, API에 대한 데이터베이스에서 복수의 후보 API 각각에 대한 정보를 획득할 수 있다.
복수의 후보 API에 대한 정보는 API에 대한 데이터베이스에서 추출된 것이므로, 복수의 API에 대한 정보와 마찬가지로, 복수의 후보 API에 대한 정보는 사용자 요청에 관련된 복수의 후보 API 각각의 명칭에 대한 정보, 복수의 후보 API 각각의 파라미터들에 대한 정보 및 복수의 후보 API 각각의 설명에 대한 정보를 포함할 수 있다.
예를 들어, API 검색 모델은 대규모 언어 모델(Large Language Model, LLM)일 수 있으며, 분류 모델 또는 검색 엔진의 방식으로 구현될 수도 있다. 이상에서는 복수의 후보 API에 대한 정보는 통계적 방식 또는 키워드 매칭 등의 룰 기반으로(rule-based) 획득될 수도 있다. API 검색 모델은 상대적으로 간단한 작업을 수행하므로 후술하는 재작성 모델 및 언어 모델에 비해 모델의 크기가 작도록 구현하는 것이 바람직할 수 있다.
복수의 후보 API 중 사용자 요청에 대응되는 하나 이상의 API가 식별되지 않으면, 프로세서(120)는 사용자 요청, 사용자 요청에 대한 히스토리 정보 및 복수의 후보 API에 대한 정보에 기초하여, 수정된 사용자 요청에 대한 정보를 획득할 수 있다.
여기서, '히스토리 정보'는 획득된 사용자 요청과 관련되며 그 사용자 요청이 입력되기 전에 획득된 정보들을 총칭할 수 있다. 히스토리 정보는 사용자 요청이 획득되기 전 임계 시간 이내에 획득된 다양한 정보들을 포함할 수 있다.
구체적으로, 히스토리 정보는 사용자 요청이 획득되기 전에 획득된 다른 사용자 요청들, 본 개시에 따라 수정된 사용자 요청, 본 개시에 따라 획득된 응답 등에 대한 정보를 포함할 수 있으며, 도 2에 도시된 바와 같이, 이들 각각의 정보가 획득될 때마다 업데이트될 수 있다. 예를 들어, 히스토리 정보는 연속적인 사용자 요청들과 그에 대한 응답들을 포함하는 대화(conversation)에 대한 정보를 포함할 수 있다.
프로세서(120)는 복수의 후보 API 중 사용자 요청에 대응되는 API가 존재하는지 여부를 식별할 수 있다. 복수의 후보 API 중 사용자 요청에 대응되는 하나 이상의 API가 식별되면, 프로세서(120)는 하나 이상의 API에 대한 정보에 기초하여 사용자 요청에 대한 응답을 제공할 수 있다. 다시 말해, 복수의 후보 API 중 사용자 요청에 대응되는 하나 이상의 API가 식별되면, 그 식별된 하나 이상의 API를 호출하는 것에 기초하여 사용자 요청에 대한 응답을 제공할 수 있으므로, 기 정의된 API에 대응되도록 사용자 요청을 수정할 필요가 없다.
반대로, 복수의 후보 API 중 사용자 요청에 대응되는 하나 이상의 API가 식별되지 않으면, 사용자 요청 및 복수의 후보 API에 대한 정보를 학습된 재작성 모델에 입력하여, 수정된 사용자 요청에 대한 정보를 획득할 수 있다. 다시 말해, 복수의 후보 API 중 사용자 요청에 대응되는 하나 이상의 API가 식별되지 않으면, API를 호출할 수 없으므로, 기 정의된 API에 대응되도록 사용자 요청을 수정할 필요가 있다.
복수의 후보 API 중 사용자 요청에 대응되는 하나 이상의 API가 식별되지 않으면, 도 2에 도시된 바와 같이, 프로세서(120)는 사용자 요청 및 복수의 후보 API에 대한 정보를 학습된 재작성 모델에 입력하여, 수정된 사용자 요청에 대한 정보를 획득할 수 있다.
'재작성 모델(rewrite model)'은 입력된 복수의 후보 API 중 적어도 하나에 대응되도록 사용자 요청을 재작성(또는 수정, 변경, 보충)하도록 학습된 신경망 모델을 말한다. 복수의 후보 API 중 하나 이상의 API가 식별되지 않는 경우 재작성 모델을 이용하므로, 재작성 모델은 복수의 후보 API 중 하나 이상의 API가 식별되도록 사용자 요청을 재작성하는 모델이라고 할 수 있다.
사용자 요청의 문법적 오류를 수정하거나 메모리(110)에 저장된 정보(예: 현재 시간)를 이용하여 사용자 요청을 수정할 수 있는 경우이면, 재작성 모델은 히스토리 정보를 이용하지 않고 사용자 요청을 수정할 수도 있다. 한편, 재작성 모델이 복수의 후보 API 중 수정된 사용자 요청에 대응되는 API를 식별하는 과정까지 수행하도록 구현할 수도 있다.
구체적으로, 재작성 모델은 복수의 후보 API 중 적어도 하나의 후보 API에 관련된 적어도 하나의 파라미터에 대한 정보를 포함하도록 사용자 요청을 수정함으로써, 수정된 사용자 요청에 대한 정보를 획득할 수 있다. 수정된 사용자 요청에 대한 정보는 사용자 요청에 포함되는 제1 텍스트를 수정함에 따른 제2 텍스트를 포함할 수 있다. 즉, 재작성 모델의 출력은 텍스트 정보일 수 있으며, 다만 이에 국한되지 않으며, API 호출을 위한 모든 정보를 포함할 수도 있다.
예를 들어, 사용자 요청이 "저녁 약속 잡아줘"인 경우, 프로세서(120)는 API에 대한 데이터베이스에 기초하여, 복수의 후보 API로서 "MakeReservation" 및 "MakeAppointment"를 식별할 수 있다. 이 경우, "MakeReservation"은 "명칭", "날짜", "시간" 및 "장소"라는 파라미터들에 관련될 수 있으며, "MakeAppointment"는 "명칭", "날짜", "시간", "장소" 및 "참석자"라는 파라미터들에 관련될 수 있다. 프로세서(120)는 히스토리 정보에 기초하여, "철수와 2024년 09월 11일 오후 5시 AAA 식당 예약 잡아줘."라는 수정된 사용자 요청을 획득할 수 있다.
프로세서(120)는 수정된 사용자 요청에 대한 정보에 기초하여, 복수의 후보 API 중 수정된 사용자 요청에 대응되는 API를 식별할 수 있다. 그리고, 프로세서(120)는 식별된 API에 대한 정보에 기초하여, 사용자 요청에 대한 응답을 제공할 수 있다.
도 2에 도시된 바와 같이, 프로세서(120)는 수정된 사용자 요청에 대한 정보를 학습된 언어 모델에 입력하여, 수정된 사용자 요청에 대응되는 API를 식별하고(소위 API selection 과정), 식별된 API를 호출하기 위한 적어도 하나의 파라미터 별 세부 정보를 설정할 수 있다(소위 slot filling 과정). 그리고, 프로세서(120)는 설정된 세부 정보에 기초하여, 식별된 API를 호출함으로써 식별된 API에 대한 호출 결과를 획득할 수 있다.
'언어 모델(language model)'은 사용자 요청을 이해하고 사용자 요청에 대한 응답을 획득하도록 학습된 신경망 모델을 말한다. 구체적으로, 언어 모델은 사용자 요청 또는 수정된 사용자 요청에 대한 자연어 이해를 수행하고, 사용자 요청에 대응되는 API를 식별하고, 그 식별된 API에 대한 호출 결과를 획득하며, 호출 결과에 기초하여 사용자 요청에 대한 응답을 제공할 수 있다. 언어 모델은 API selection과 slot filling을 모두 수행할 수도 있으나, API selection 과정은 재작성 모델에 의해 수행될 수도 있다.
예를 들어, 언어 모델은 소위 대규모 언어 모델(LLM)이라고 지칭되는 신경망 모델일 수도 있고, 소위 인공 지능 비서(artificial intelligence assistant)로 지칭되는 신경망 모델일 수도 있다. 다만 언어 모델이 특정 유형에 국한되는 것은 아니다.
여기서, API에 대한 '호출 결과'는 API를 호출(실행)하여 획득된 데이터/정보 등을 총칭할 수 있다. 예를 들어, 호출 결과는 JSON(JavaScript Object Notation), XML(eXtensible Markup Language) 등의 구조화된 형태의 데이터일 수 있다.
하나 이상의 실시 예에 있어서, 사용자 요청이 사용자 질의를 포함하면, 프로세서(120)는 호출 결과에 기초하여 사용자 질의에 대한 텍스트 응답을 획득하고, 텍스트 응답을 제공함으로써 사용자 요청에 대한 응답을 제공할 수 있다.
하나 이상의 실시 예에 있어서, 사용자 요청이 사용자 단말에 대한 제어 요청을 포함하면, 프로세서(120)는 호출 결과에 기초하여 사용자 요청에 대응되는 제어 명령을 획득하고, 제어 명령에 대한 정보를 제공함으로써 사용자 요청에 대한 응답을 제공할 수 있다. 예를 들어, 프로세서(120)는 사용자 단말에 관한 프로토콜(protocol)에 부합하는 방식으로, 호출 결과를 제어 명령으로 변환한 후, 변환된 제어 명령을 사용자 단말로 전송할 수 있다.
이하에서는 이상에서 상술한 실시 예에 대해 구체적인 예시를 들어 설명한다. 예를 들어, "내일 치과 예약 오전 10시 만들어."라는 제1 사용자 요청이 획득되면, 프로세서(120)는 재작성 모델을 이용하여 "2024년 09월 11일 오전 10시 치과 예약 일정을 생성함."라는 수정된 제1 사용자 요청을 획득할 수 있다. 이 예시에서 "내일"이라는 단어를 "2024년 09월 11일"로 변경하는 것과 같은 수정은 사용자 요청에 대한 히스토리 정보 없이도 수행될 수 있다. 수정된 제1 사용자 요청이 획득되면, 프로세서(120)는 수정된 제1 사용자 요청에 기초하여 "내일 치과 예약 일정을 생성했습니다."라는 제1 응답을 획득할 수 있다.
위와 같은 제1 사용자 요청, 수정된 제1 사용자 요청 및 제1 응답이 히스토리 정보에 저장된 후 "아, 10시 말고 11시."라는 제2 사용자 요청이 획득되면, 프로세서(120)는 복수의 후보 API에 대한 정보에 기초하여, "일정 예약"에 관련된 복수의 후보 API 중 적어도 하나의 API가 '날짜', '시간' 및 '장소'라는 파라미터에 관련된다는 것을 식별할 수 있다.
그리고, 프로세서(120)는 히스토리 정보에 기초하여, "2024년 11월 10일 오전 10시 치과예약 일정을 삭제하고, 2024년 11월 10일 오전 11시 치과예약 일정을 생성함."이라는 수정된 제2 사용자 요청을 획득할 수 있다. 이 예시는 "일정 변경"이라는 API는 정의되지 않고 "일정 추가" 및 "일정 삭제"에 관련된 API만 정의되었음을 전제로 한 것으로서, 어떠한 API가 정의되었는지에 따라 예시로 든 제2 사용자 요청과 다른 제2 사용자 요청이 획득될 수 있음은 물론이다.
수정된 제2 사용자 요청이 획득되면, 프로세서(120)는 후에 상술하는 바와 같은 과정을 수행함으로써, 수정된 제2 사용자 요청에 기초하여 "내일 치과 예약 일정을 수정했습니다."라는 제2 응답을 획득할 수 있다.
이상에서 도 1 및 도 2를 참조하여 상술한 실시 예들에 따르면, 전자 장치(100)는 불명확한 사용자 요청을 수정함으로써, 사용자의 의도에 부합하는 응답을 제공할 수 있다. 구체적으로, 전자 장치(100)는 대화의 배경 정보 및 맥락 정보를 반영하여 사용자 요청을 수정함으로써, 신경망 모델이 사용자의 의도를 효율적이고도 정확하게 식별하도록 할 수 있다.
신경망 모델의 업데이트는 어려운 문제이지만 그에 비해 API 데이터베이스의 업데이트는 상대적으로 용이한 편이다. 그런데, 본 개시에 따라 API 데이터베이스에 기초하여 후보 API의 식별 과정 및 사용자 요청의 수정 과정을 수행하면, 효율적인 방식으로 API의 변경을 서비스에 반영할 수 있게 된다.
도 3은 본 개시의 하나 이상의 실시 예에 따른 복수의 신경망 모델과 입출력 데이터를 상세하게 나타내는 블록도이다.
도 3에 도시된 바와 같이, 본 개시에 따른 언어 모델은 자연어 이해 모델(natural language understanding model, NLU model) 및 자연어 생성 모델(natural language generation model, NLG model)을 포함할 수 있다.
도 3에 도시된 바와 같이, 프로세서(120)는 수정된 사용자 요청에 대한 정보를 자연어 이해 모델에 입력하여, 수정된 사용자 요청에 대한 자연어 이해를 수행하고, 수정된 사용자 요청에 대응되는 API에 대한 호출 결과(API 응답 또는 함수 응답)를 획득할 수 있다. 프로세서(120)는 호출 결과를 자연어 생성 모델에 입력하여, 사용자 요청에 대한 텍스트 응답을 획득할 수 있다.
하나 이상의 실시 예에 있어서, 프로세서(120)는 호출 결과에 포함된 일부 정보를 텍스트로 변환함으로써 텍스트 응답을 획득할 수 있다. 호출 결과는 전술한 바와 같이 구조화된 형태의 데이터로서 다양한 정보를 포함할 수 있으나, 사용자에게 제공되는 텍스트 응답은 호출 결과보다 더 간소화하는 것이 바람직할 수 있다. 따라서, 프로세서(120)는 호출 결과에 포함된 전체 정보를 텍스트로 변환하지 않고, 일부 정보만을 텍스트로 변환함으로써, 텍스트 응답을 획득할 수 있다.
도 1에서 예로 든 예시에서, "2024년 11월 10일 오전 10시 치과예약 일정을 삭제하고, 2024년 11월 10일 오전 11시 치과예약 일정을 생성함."이라는 수정된 제2 사용자 요청이 획득되는 경우, 그에 기초하여 API를 호출한 결과는 수정된 제2 사용자 요청과 같이 다양한 정보를 포함할 수 있으나, 프로세서(120)는 자연어 생성 모듈을 이용하여 "내일 치과 예약 일정을 수정했습니다."와 같이 간소화된 텍스트 응답을 획득하고 사용자에게 제공할 수 있다.
하나 이상의 실시 예에 있어서, 자연어 이해 모델을 통해 획득된 호출 결과가 기 설정된 유형에 대응되는지 여부에 따라 호출 결과를 수정(재작성)할 수도 있다. 프로세서(120)는 자연어 이해 모델을 통해 획득된 호출 결과가 기 설정된 유형에 대응되면, 도 3에 도시된 바와 같이, 호출 결과를 재작성 모델에 입력하여, 수정된 호출 결과를 획득할 수 있다. 그리고, 프로세서(120)는 수정된 호출 결과를 자연어 생성 모델에 입력하여, 수정된 호출 결과에 대응되는 텍스트 응답을 사용자 요청에 대한 응답으로 획득할 수 있다.
여기서, 기 설정된 유형은 호출 결과가 언어 모델의 자체적인 응답(예: 사용자 요청에 대한 거절)에 관한 것임을 나타내는 유형 및 호출 결과가 추가적인 파라미터에 대한 정보가 필요하다는 것을 나타내는 유형을 포함할 수 있다.
예를 들어, 호출 결과가 텍스트, 숫자 등을 포함하는 단순한 데이터인 경우에는 호출 결과를 수정할 필요가 없다. 그러나, 호출 결과가 사용자 요청에 대한 거절 등과 같은 자체적인 응답에 관한 것이거나, 추가적인 파라미터에 대한 정보가 필요하다는 것을 나타내는 경우, 프로세는 하나 이상의 후보 API에 대응되도록 호출 결과를 수정하고, 수정된 호출 결과에 대응되는 텍스트 응답을 사용자 요청에 대한 응답으로 획득할 수 있다.
한편, 프로세서(120)는 수정된 사용자 요청 및 응답에 기초하여, API 검색 모델, 재작성 모델 및 언어 모델을 학습시킬 수 있다. 언어 모델이 자연어 이해 모델 및 자연어 생성 모델을 포함하는 경우, 프로세서(120)는 수정된 사용자 요청 및 응답에 기초하여 자연어 이해 모델 및 자연어 생성 모델을 학습시킬 수 있다. 학습 방법이 특별한 예에 국한되는 것은 아니며, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning) 등을 포함할 수 있다.
한편, 이상에서는 API 검색 모델, 재작성 모델 및 언어 모델(자연어 이해 모델 및 자연어 생성모델) 각각에 대해 설명하였으나, 이 모델들 중 적어도 두 개의 모델은 하나의 통합된 모델로 구현될 수도 있다.
이상에서 도 3을 참조하여 상술한 실시 예들에 따르면, 전자 장치(100)는 사용자의 편의를 고려하여 간소화된 텍스트 응답을 제공할 수 있으며, API에 대한 호출 결과를 수정하여 사용자의 의도에 부합하는 텍스트 응답을 제공할 수 있다.
또한, 전자 장치(100)는 히스토리 정보에 기초하여 신경망 모델들을 학습시킴으로써 신경망 모델들의 성능을 향상시킬 수 있으며, 이러한 효과는 입력되는 사용자 요청의 개수가 늘어나고, 그에 따라 히스토리 정보가 지속적으로 업데이트될수록 더욱 향상될 수 있다.
도 4는 본 개시의 하나 이상의 실시 예에 따라 제공되는 사용자 인터페이스를 설명하기 위한 도면이다.
도 4에 도시된 바와 같이, 본 개시에 따른 사용자 인터페이스는 사용자에 의해 입력된 사용자 요청과 전자 장치(100)에 의해 제공되는 응답을 표시하는 채팅 인터페이스일 수 있다. 전자 장치(100)가 사용자 요청에 대한 응답을 제공하기 위한 서버이고, 사용자 입력이 사용자 단말을 통해 입력되는 경우, 사용자 인터페이스는 사용자 단말을 통해 제공될 수 있다.
도 4의 메시지들은 입력 또는 제공된 순서에 따라 표시된 것이다. 도 4의 사용자 X의 메시지들(410, 430)은 사용자 요청에 대응되는 텍스트를 나타내며, 도 4의 챗봇 Y의 메시지들(420, 450)은 전자 장치(100)에 의해 제공되는 응답을 나타낸다. 도 4의 챗봇 Y의 메시지(440)은 사용자에게 제공되지 않을 수 있다.
도 4에 도시된 바와 같이, "내일 A 미술관 영업 시간 알려줘(410)"라는 제1 사용자 요청이 획득되는 경우, 프로세서(120)는 "내일 A 미술관 영업 시간은 오전 9시부터 오후 6시까지입니다(420)"라는 제1 응답을 제공할 수 있다. 이 경우, 제1 사용자 요청은 복수의 후보 API 중 하나 이상의 API에 대응될 수 있으며, 따라서 프로세서(120)는 제1 사용자 요청에 대한 수정 없이 제1 응답을 제공할 수 있다.
제1 응답이 제공된 후, "날씨 알려줘(430)."라는 제2 사용자 요청이 획득될 수 있다. 이 경우, 제2 사용자 요청은 복수의 후보 API 중 하나 이상의 API에 대응되지 않을 수 있으며, 따라서 프로세서(120)는 제2 사용자 요청에 대한 수정을 수행할 수 있다.
"날씨 알려줘(430)"라는 제2 사용자 요청이 획득되는 경우, 프로세서(120)는 API 검색 모델을 통해, "날씨"에 관련된 복수의 후보 API를 식별하고, 식별된 후보 API에 대한 정보를 획득할 수 있다. 프로세서(120)는 재작성 모델을 통해, 후보 API가 "날짜" 및 "장소"라는 파라미터를 필요로 한다는 점에 기초하여, "내일 서울 날씨 알려줘(440)"라는 수정된 제2 사용자 요청)을 획득할 수 있다. 그리고, 프로세서(120)는 수정된 제2 사용자 요청을 언어 모델에 입력하여, "예상 기온은 20도에서 25도이며, 강수 확률은 90%입니다(450)"라는 제2 응답을 획득하고 사용자에게 제공할 수 있다.
한편, 복수의 후보 API에 대한 정보와 수정된 제2 사용자 요청을 사용자 인터페이스에 표시할 것인지 여부는 실시 예에 따라 달라질 수 있다. 특히, 수정된 사용자 요청은 언어 모델을 더 잘 이해시키기 위한 내부적인 데이터에 불과하므로, 수정된 사용자 요청까지 사용자에게 제공할 것인 것인지 여부는 서비스 구성에 따라 달라질 수 있다. 도 4에서는 수정된 제2 사용자 요청을 표시하지 않는 경우임을 나타내기 위해 메시지(440)를 점선으로 나타낸 것이다.
도 4에 도시하지는 않았으나, 제2 응답이 제공된 후 "아니, 내일 말고 오늘"이라는 제3 사용자 요청이 획득되는 경우, 프로세서(120)는 제3 사용자 요청을 수정하여 "내일 서울 날씨 알려줘"라는 수정된 제3 사용자 요청을 획득할 수 있다. 이 경우, 프로세서(120)는 히스토리 정보에 포함된 제1 사용자 요청, 제2 사용자 요청, 제1 응답 및 제2 응답뿐만 아니라, 수정된 제2 사용자 요청에 기초하여 수정된 제3 사용자 요청을 획득할 수 있다.
도 5는 본 개시의 하나 이상의 실시 예에 따른 전자 장치(100)의 구성을 상세하게 나타내는 블록도이다.
도 5에 도시된 바와 같이, 본 개시의 하나 이상의 실시 예에 따른 전자 장치(100)는 메모리(110) 및 프로세서(120)뿐만 아니라, 통신부(130), 입력부(140) 및 출력부(150)를 더 포함할 수 있다. 그러나, 도 1 및 도 5에 도시된 바와 같은 구성들은 예시적인 것에 불과할 뿐이며, 본 개시를 실시함에 있어 도 1 및 도 5에 도시된 바와 같은 구성에 더하여 새로운 구성이 추가되거나 일부 구성이 생략될 수 있음은 물론이다.
통신부(130)는 회로를 포함하며, 외부 장치와의 통신을 수행할 수 있다. 구체적으로, 프로세서(120)는 통신부(130)를 통해 연결된 외부 장치로부터 각종 데이터 또는 정보를 수신할 수 있으며, 외부 장치로 각종 데이터 또는 정보를 전송할 수도 있다.
통신부(130)는 WiFi 모듈, Bluetooth 모듈, 무선 통신 모듈, NFC 모듈 및 UWB(Ultra-Wide Band) 모듈 중 적어도 하나를 포함할 수 있다. 구체적으로, WiFi 모듈과 Bluetooth 모듈 각각은 WiFi 방식, Bluetooth 방식으로 통신을 수행할 수 있다. WiFi 모듈이나 Bluetooth 모듈을 이용하는 경우에는 SSID 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.
또한, 무선 통신 모듈은 IEEE, Zigbee, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), 5G(5th Generation) 등과 같은 다양한 통신 규격에 따라 통신을 수행할 수 있다. 그리고, NFC 모듈은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 통신을 수행할 수 있다. 또한, UWB 모듈은 UWB 안테나 간 통신을 통하여, 펄스가 목표물에 도달하는 시간인 ToA(Time of Arrival), 송신 장치에서의 펄스 도래각인 AoA(Ange of Arrival)을 정확히 측정할 수 있고, 이에 따라 실내에서 수십 cm 이내의 오차 범위에서 정밀한 거리 및 위치 인식이 가능하다.
하나 이상의 실시 예에 있어서, 프로세서(120)는 통신부(130)를 통해 외부 장치로부터 사용자 요청을 수신할 수 있다. 사용자 요청에 대한 응답이 획득되면, 프로세서(120)는 획득된 응답을 외부 장치로 전송하도록 통신부(130)를 제어할 수 있다. 또한, 프로세서(120)는 통신부(130)를 통해 외부 장치로부터 신경망 모델에 대한 각종 데이터, API 데이터베이스에 포함되는 데이터(특히, API 데이터베이스의 변경이 있는 경우) 등을 수신할 수 있다.
입력부(140)는 회로를 포함하며, 프로세서(120)는 입력부(140)를 통해 전자 장치(100)의 동작을 제어하기 위한 사용자 명령을 수신할 수 있다. 구체적으로, 입력부(140)는 마이크, 카메라, 및 리모컨 신호 수신부 등과 같은 구성으로 이루어질 수 있다. 그리고, 입력부(140)는 터치 스크린으로서 디스플레이에 포함된 형태로 구현될 수도 있다. 특히, 마이크는 음성 신호를 수신하고, 수신된 음성 신호를 전기 신호로 변환할 수 있다.
출력부(150)는 회로를 포함하며, 프로세서(120)는 출력부(150)를 통해 전자 장치(100)가 수행할 수 있는 다양한 기능을 출력할 수 있다. 그리고, 출력부(150)는 디스플레이, 스피커 및 인디케이터 중 적어도 하나를 포함할 수 있다.
디스플레이는 프로세서(120)의 제어에 의하여 영상 데이터를 출력할 수 있다. 구체적으로, 디스플레이는 프로세서(120)의 제어에 의하여 메모리(110)에 기 저장된 영상을 출력할 수 있다. 특히, 본 개시의 하나 이상의 실시 예에 따른 디스플레이는 메모리(110)에 저장된 사용자 인터페이스(User Interface)를 표시할 수도 있다. 디스플레이는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으며, 또한 디스플레이는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다. 다만, 본 개시에 따른 디스플레이가 특정한 종류에 한정되는 것은 아니다.
스피커는 프로세서(120)의 제어에 의하여 오디오 데이터를 출력할 수 있다. 인디케이터는 프로세서(120)의 제어에 의하여 점등될 수 있다. 구체적으로, 인디케이터는 프로세서(120)의 제어에 따라 다양한 색상으로 점등될 수 있다. 예를 들어, 인디케이터는 LED(Light Emitting Diodes), LCD(Liquid Crystal Display Panel), VFD (Vacuum Fluorescent Display) 등으로 구현될 수 있으며, 다만 이에 국한되는 것은 아니다.
하나 이상의 실시 예에 있어서, 프로세서(120)는 입력부(140) 통해 사용자 요청을 수신할 수 있다. 사용자 요청이 수신되면, 프로세서(120)는 수신된 사용자 요청에 대응되는 텍스트를 사용자 인터페이스(예: 도 4의 사용자 인터페이스)에 표시하도록 디스플레이를 제어할 수 있다. 또한, 사용자 요청에 대한 응답이 획득되면, 프로세서(120)는 획득된 응답을 출력하도록 출력부(150)를 제어할 수 있다. 프로세서(120)는 획득된 응답에 대응되는 텍스트를 사용자 인터페이스에 표시하도록 디스플레이를 제어할 수 있다.
도 6은 본 개시의 하나 이상의 실시 예에 따른 전자 장치(100)의 제어 방법을 나타내는 흐름도이다.
도 6을 참조하면, 전자 장치(100)는 음성 또는 텍스트를 포함하는 사용자 요청을 획득할 수 있다(S610). 전자 장치(100)는 사용자 단말과 같은 외부 장치(예: 스마트폰, PC)로부터 사용자 요청을 수신할 수도 있고, 전자 장치(100)에 직접 입력되는 사용자 요청을 수신할 수도 있다.
사용자 요청이 사용자의 발화에 기초하여 음성 신호로 획득되는 경우, 전자 장치(100)는 획득된 음성 신호를 음성 인식 모델에 입력하여 음성 신호에 대응되는 텍스트를 획득함으로써, 텍스트를 포함하는 사용자 요청을 획득할 수 있다.
전자 장치(100)는 사용자 요청에 대한 응답을 제공하기 위해 기 정의된 복수의 API에 대한 데이터베이스에 기초하여, 사용자 요청에 관련된 복수의 후보 API에 대한 정보를 획득할 수 있다(S620). 구체적으로, 전자 장치(100)는 사용자 요청을 학습된 API 검색 모델에 입력하여, API에 대한 데이터베이스로부터 복수의 후보 API에 대한 정보를 획득할 수 있다.
전자 장치(100)는 복수의 후보 API 중 사용자 요청에 대응되는 API가 존재하는지 여부를 식별할 수 있다(S630). 복수의 후보 API 중 사용자 요청에 대응되는 하나 이상의 API가 식별되면(S630-Y), 전자 장치(100)는 식별된 API에 대한 정보에 기초하여, 사용자의 사용자 요청에 대한 응답을 제공할 수 있다(S660).
다시 말해, 복수의 후보 API 중 사용자 요청에 대응되는 하나 이상의 API가 식별된 경우, 사용자 요청에 대한 수정을 수행하지 않으므로, 전자 장치(100)는 수정 전 사용자 요청에 대응되는 API에 대한 정보에 기초하여, 수정 전 사용자 요청에 대한 응답을 제공할 수 있다.
복수의 후보 API 중 사용자 요청에 대응되는 하나 이상의 API가 식별되지 않으면(S630-N), 전자 장치(100)는 사용자 요청, 사용자 요청에 대한 히스토리 정보 및 복수의 후보 API에 대한 정보에 기초하여, 수정된 사용자 요청에 대한 정보를 획득할 수 있다(S640). 전자 장치(100)는 사용자 요청 및 복수의 후보 API에 대한 정보를 학습된 재작성 모델에 입력하여, 수정된 사용자 요청에 대한 정보를 획득할 수 있다.
전자 장치(100)는 수정된 사용자 요청에 대한 정보에 기초하여, 복수의 후보 API 중 수정된 사용자 요청에 대응되는 API를 식별할 수 있다(S650). 그리고, 전자 장치(100)는 식별된 API에 대한 정보에 기초하여, 사용자 요청에 대한 응답을 제공할 수 있다(S660).
다시 말해, 복수의 후보 API 중 사용자 요청에 대응되는 하나 이상의 API가 식별되지 않은 경우, 사용자 요청에 대한 수정을 수행하므로, 전자 장치(100)는 수정된 사용자 요청에 대응되는 API에 대한 정보에 기초하여, 수정된 사용자 요청에 대한 응답을 제공할 수 있다.
하나 이상의 실시 예에 있어서, 사용자 요청이 사용자 질의를 포함하면, 전자 장치(100)는 호출 결과에 기초하여 사용자 질의에 대한 텍스트 응답을 획득하고, 텍스트 응답을 제공함으로써 사용자 요청에 대한 응답을 제공할 수 있다.
하나 이상의 실시 예에 있어서, 사용자 요청이 사용자 단말에 대한 제어 요청을 포함하면, 전자 장치(100)는 호출 결과에 기초하여 사용자 요청에 대응되는 제어 명령을 획득하고, 제어 명령에 대한 정보를 제공함으로써 사용자 요청에 대한 응답을 제공할 수 있다.
한편, 상술한 실시 예에 따른 전자 장치(100)의 제어 방법은 프로그램으로 구현되어 전자 장치(100)에 제공될 수 있다. 특히, 전자 장치(100)의 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
구체적으로, 전자 장치(100)의 제어 방법을 실행하는 프로그램을 포함하는 비일시적 컴퓨터 판독 가능 기록매체에 있어서, 전자 장치(100)의 제어 방법은 음성 또는 텍스트를 포함하는 사용자 요청이 획득되면, 사용자 요청에 대한 응답을 제공하기 위해 기 정의된 복수의 API(application programming interface)에 대한 데이터베이스에 기초하여, 사용자 요청에 관련된 복수의 후보 API에 대한 정보를 획득하는 단계, 복수의 후보 API 중 사용자 요청에 대응되는 하나 이상의 API가 식별되지 않으면, 사용자 요청, 사용자 요청에 대한 히스토리 정보 및 복수의 후보 API에 대한 정보에 기초하여, 수정된 사용자 요청에 대한 정보를 획득하는 단계, 수정된 사용자 요청에 대한 정보에 기초하여, 복수의 후보 API 중 수정된 사용자 요청에 대응되는 API를 식별하는 단계 및 식별된 API에 대한 정보에 기초하여, 사용자 요청에 대한 응답을 제공하는 단계를 포함할 수 있다.
이상에서 전자 장치(100)의 제어 방법, 그리고 전자 장치(100)의 제어 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독 가능 기록매체에 대해 간략하게 설명하였으나, 이는 중복 설명을 생략하기 위한 것일 뿐이며, 전자 장치(100)에 대한 다양한 실시 예는 전자 장치(100)의 제어 방법, 그리고 전자 장치(100)의 제어 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독 가능 기록매체에 대해서도 적용될 수 있음은 물론이다.
본 개시에 따른 인공지능과 관련된 기능은 전자 장치(100)의 프로세서(120)와 메모리(110)를 통해 동작된다.
프로세서(120)는 하나 또는 복수의 프로세서(120)로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서(120)는 CPU(Central Processing Unit), GPU(Graphic Processing Unit), NPU(Neural Processing Unit) 중 적어도 하나를 포함할 수 있으나 전술한 프로세서(120)의 예시에 한정되지 않는다.
CPU는 일반 연산뿐만 아니라 인공지능 연산을 수행할 수 있는 범용 프로세서(120)로서, 다계층 캐시(Cache) 구조를 통해 복잡한 프로그램을 효율적으로 실행할 수 있다. CPU는 순차적인 계산을 통해 이전 계산 결과와 다음 계산 결과의 유기적인 연계가 가능하도록 하는 직렬 처리 방식에 유리하다. 범용 프로세서(120)는 전술한 CPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
GPU는 그래픽 처리에 이용되는 부동 소수점 연산 등과 같은 대량 연산을 위한 프로세서(120)로서, 코어를 대량으로 집적하여 대규모 연산을 병렬로 수행할 수 있다. 특히, GPU는 CPU에 비해 컨볼루션(Convolution) 연산 등과 같은 병렬 처리 방식에 유리할 수 있다. 또한, GPU는 CPU의 기능을 보완하기 위한 보조 프로세서(120)(co-processor)로 이용될 수 있다. 대량 연산을 위한 프로세서(120)는 전술한 GPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
NPU는 인공 신경망을 이용한 인공지능 연산에 특화된 프로세서(120)로서, 인공 신경망을 구성하는 각 레이어를 하드웨어(예로, 실리콘)로 구현할 수 있다. 이때, NPU는 업체의 요구 사양에 따라 특화되어 설계되므로, CPU나 GPU에 비해 자유도가 낮으나, 업체가 요구하기 위한 인공지능 연산을 효율적으로 처리할 수 있다. 한편, 인공지능 연산에 특화된 프로세서(120)로, NPU는 TPU(Tensor Processing Unit), IPU(Intelligence Processing Unit), VPU(Vision processing unit) 등과 같은 다양한 형태로 구현될 수 있다. 인공 지능 프로세서(120)는 전술한 NPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
또한, 하나 또는 복수의 프로세서(120)는 SoC(System on Chip)으로 구현될 수 있다. 이때, SoC에는 하나 또는 복수의 프로세서(120) 이외에 메모리(110), 및 프로세서(120)와 메모리(110) 사이의 데이터 통신을 위한 버스(Bus)등과 같은 네트워크 인터페이스를 더 포함할 수 있다.
전자 장치(100)에 포함된 SoC(System on Chip)에 복수의 프로세서(120)가 포함된 경우, 전자 장치(100)는 복수의 프로세서(120) 중 일부 프로세서(120)를 이용하여 인공지능과 관련된 연산(예를 들어, 인공지능 모델의 학습(learning)이나 추론(inference)에 관련된 연산)을 수행할 수 있다. 예를 들어, 전자 장치(100)는 복수의 프로세서(120) 중 컨볼루션 연산, 행렬 곱 연산 등과 같은 인공지능 연산에 특화된 GPU, NPU, VPU, TPU, 하드웨어 가속기 중 적어도 하나를 이용하여 인공지능과 관련된 연산을 수행할 수 있다. 다만, 이는 일 실시예에 불과할 뿐, CPU 등과 범용 프로세서(120)를 이용하여 인공지능과 관련된 연산을 처리할 수 있음은 물론이다.
또한, 전자 장치(100)는 하나의 프로세서(120)에 포함된 멀티 코어(예를 들어, 듀얼 코어, 쿼드 코어 등)를 이용하여 인공지능과 관련된 기능에 대한 연산을 수행할 수 있다. 특히, 전자 장치(100)는 프로세서(120)에 포함된 멀티 코어를 이용하여 병렬적으로 컨볼루션 연산, 행렬 곱 연산 등과 같은 인공 지능 연산을 수행할 수 있다.
하나 또는 복수의 프로세서(120)는, 메모리(110)에 저장된 기정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 기정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다.
여기서, 학습을 통해 만들어진다는 것은, 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 원하는 특성의 기정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어질 수도 있다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 적어도 하나의 레이어는 적어도 하나의 가중치(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 적어도 하나의 정의된 연산을 통해 레이어의 연산을 수행한다. 신경망의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks), Transformer가 있으며, 본 개시에서의 신경망은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
학습 알고리즘은, 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨대, 로봇)을 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 예측을 할 수 있도록 하는 방법이다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으며, 본 개시에서의 학습 알고리즘은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
하나 이상의 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리(110)와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
이상에서 상술한 바와 같은 본 개시의 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다.
다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
한편, 본 개시에서 사용된 용어 "부" 또는 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "부" 또는 "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 개시의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(100))를 포함할 수 있다.
상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.