KR20200036414A - 비동기적 인스턴트 메시지 서비스를 제공하기 위한 장치, 방법 및 컴퓨터 판독가능 저장 매체 - Google Patents

비동기적 인스턴트 메시지 서비스를 제공하기 위한 장치, 방법 및 컴퓨터 판독가능 저장 매체 Download PDF

Info

Publication number
KR20200036414A
KR20200036414A KR1020180116025A KR20180116025A KR20200036414A KR 20200036414 A KR20200036414 A KR 20200036414A KR 1020180116025 A KR1020180116025 A KR 1020180116025A KR 20180116025 A KR20180116025 A KR 20180116025A KR 20200036414 A KR20200036414 A KR 20200036414A
Authority
KR
South Korea
Prior art keywords
data
voice
message
text
transmitting terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020180116025A
Other languages
English (en)
Inventor
장준수
윤용기
장재웅
김세미
신희욱
김영상
임중신
정정화
Original Assignee
주식회사 닫닫닫
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 닫닫닫 filed Critical 주식회사 닫닫닫
Priority to KR1020180116025A priority Critical patent/KR20200036414A/ko
Priority to PCT/KR2018/011769 priority patent/WO2020067597A1/ko
Publication of KR20200036414A publication Critical patent/KR20200036414A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06Q50/30—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50—Business processes related to the communications industry
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)
  • Operations Research (AREA)

Abstract

인스턴트 메시지 서비스 어플리케이션을 실행하고, 인스턴트 메시지를 생성 및 송신하기 위한 송신 단말이 설명된다. 송신 단말은, 음성 입력 모듈, 음성 데이터 생성 모듈, 텍스트 데이터 생성 모듈, 데이터 패킷 생성 모듈 및 통신 모듈을 포함한다. 음성 입력 모듈은 사용자로부터 음성 메시지를 입력 받을 수 있다. 음성 데이터 생성 모듈은 음성 메시지로부터 음성 데이터를 생성할 수 있다. 텍스트 데이터 생성 모듈은 음성 메시지에 해당하는 텍스트 데이터를 생성할 수 있다. 데이터 패킷 생성 모듈은 음성 데이터와 텍스트 데이터를 결합하여 데이터 패킷을 생성할 수 있다. 통신 모듈은 생성된 데이터 패킷을 서버 또는 적어도 하나의 수신 단말에 전송할 수 있다.

Description

비동기적 인스턴트 메시지 서비스를 제공하기 위한 장치, 방법 및 컴퓨터 판독가능 저장 매체 {DEVICE, METHOD AND COMPUTER READABLE STORAGE MEDIUM TO PROVIDE ASYNCHRONOUS INSTANT MESSAGE SERVICE}
본 개시는 비동기적인 인스턴트 메시지 서비스를 제공하기 위한 장치, 방법 및 컴퓨터 판독가능 저장 매체에 관한 것이다.
여기에서 달리 언급하지 않으면 본 섹션에서 기술되는 내용은 본 출원에서의 청구범위의 선행 기술이 아니며, 본 섹션에 기재하였다는 이유로 선행 기술로 인정되어서는 안 된다.
인스턴트 메시지 서비스를 이용하는 사용자는 둘 이상의 사용자 간에 메시지를 비교적 빠르고 간편하게 전달할 수 있다. 최근, 스마트폰과 같은 모바일 장치가 널리 이용됨에 따라 인스턴트 메시지 서비스의 이용은 폭발적으로 증가해왔다. 최근, 인스턴트 메시지 서비스에서는 종래의 텍스트 메시지에 더하여 비교적 짧은 음성 메시지의 전송도 가능해지도록 하고 있다. 음성 메시지는 텍스트 메시지에 비하여 입력이 간편하고, 음성 메시지를 입력한 사용자가 전달하고자 하는 다양한 특징을 전달할 수 있다. 그러나, 음성 메시지의 데이터 사이즈는 일반적으로, 텍스트 메시지에 비하여 크고, 사용자는 각각의 음성 메시지를 재생하는 동작(예컨대, 음성 메시지를 클릭, 터치, 등)을 수행하고, 재생되는 음성 메시지를 귀로 들어야 한다는 점에서, 음성 메시지는 눈으로 빠르게 확인 가능한 텍스트 메시지에 비하여, 시간적 제약 또는 메모리 공간 또는 물리적인 공간과 같은 공간적인 제약을 가질 수 있다.
대한민국 등록 특허공보 제10-1863776호(이하, 선행기술문헌 1)은, 사용자가 음성 메시지를 입력하면, 음성 메시지로부터 음성 인식을 수행하여 텍스트 메시지를 생성하고, 음성 메시지로부터 사용자의 감정을 추출하여, 음성 메시지로부터 생성된 텍스트 메시지의 폰트를 변경하여 출력하는 텍스트 표현 방법을 개시하고 있다.
이와 같이 선행기술문헌 1은 음성 메시지로부터 다양한 감정에 관한 정보를 추출하고, 이러한 정보를 이용하여 텍스트 메시지를 생성하지만, 사용자가 음성 메시지를 통하여 전달하고자 하는 정보 중 일부만을 얻을 수 있으며, 음성 메시지의 나머지 정보는 잃을 수 있다.
본 개시는 위와 같은 문제점들을 해결하기 위한 것으로서, 인스턴트 메시지 서비스에서 음성 메시지를 재생하기에 편리하고, 데이터 관리에 있어서 효율적인 장치, 방법 및 컴퓨터 판독가능 저장 매체를 제시한다. 또한, 본 개시는 인스턴트 메시지 서비스에서, 캐릭터를 이용하는 보다 향상된 인스턴트 메시지 서비스를 제공할 수 있는 장치, 방법 및 컴퓨터 판독가능 저장 매체를 제시한다.
본 개시의 일부 실시예에서, 인스턴트 메시지 서비스 어플리케이션을 실행하여 메시지를 생성 및 송신하는 송신 단말 상에서 수행되는 방법이 설명된다. 예시적인 방법은 송신 단말의 사용자로부터 음성 메시지를 입력 받는 단계와 텍스트 데이터를 생성하는 단계와 음성 데이터와 텍스트 데이터를 결합하여 데이터 패킷을 생성하는 단계와 생성된 데이터 패킷을 전송하는 단계를 포함할 수 있다. 일부 예시에서, 텍스트 데이터를 생성하는 단계는 음성 데이터에 기초하여 음성 메시지에 해당하는 텍스트 데이터를 생성하는 단계를 포함할 수 있다. 일부 다른 예시에서, 텍스트 데이터를 생성하는 단계는 사용자로부터 음성 메시지에 해당하는 텍스트를 입력 받아 텍스트 데이터를 생성하는 단계를 포함할 수 있다. 일부 예시에서, 데이터 패킷을 전송하는 단계는 데이터 패킷을 통합 서버로 전송하는 단계를 포함할 수 있다. 일부 다른 예시에서, 방법은 데이터 패킷에 관한 알림 메시지를 생성하는 단계를 더 포함할 수 있다. 이러한 예시에서, 방법은 알림 메시지를 중계 서버로 전송하는 단계 및 데이터 패킷을 적어도 하나의 수신 단말로 전송하는 단계를 포함할 수 있다.
일부 실시예에서, 인스턴트 메시지 서비스 어플리케이션을 실행하고, 인스턴트 메시지를 생성 및 송신하기 위한 송신 단말이 설명된다. 일 예시적인 송신 단말은 음성 입력 모듈, 음성 데이터 생성 모듈, 텍스트 데이터 생성 모듈, 데이터 패킷 생성 모듈 및 통신 모듈을 포함할 수 있다. 음성 입력 모듈은 송신 단말의 사용자로부터 음성 메시지를 입력 받도록 구성될 수 있다. 음성 데이터 생성 모듈은 음성 입력 모듈에 의해 수신된 음성 메시지로부터 해당 음성 데이터를 생성하도록 구성될 수 있다. 텍스트 데이터 생성 모듈은 음성 메시지에 해당하는 텍스트 데이터를 생성하도록 구성될 수 있다. 데이터 패킷 생성 모듈은 음성 데이터와 텍스트 데이터를 결합하여 데이터 패킷을 생성하도록 구성될 수 있다. 텍스트 데이터 생성 모듈은 음성 데이터 생성 모듈로부터의 음성 데이터에 대한 음성 인식을 수행하도록 구성되는 음성 인식 모듈 및 사용자로부터 음성 메시지에 해당하는 텍스트를 입력 받도록 구성되는 텍스트 입력 모듈을 포함할 수 있다. 텍스트 데이터 생성 모듈은 음성 인식 모듈 또는 텍스트 입력 모듈 중 적어도 하나를 이용하여 텍스트 데이터를 생성하도록 구성될 수 있다.
일부 예시에서, 송신 단말은 캐릭터 모듈을 더 포함할 수 있다. 캐릭터 모듈은 송신 단말 및 적어도 하나의 수신 단말 상에서 디스플레이 가능한 캐릭터에 관한 정보를 획득하고 캐릭터에 관한 정보로부터 캐릭터 데이터를 생성하도록 구성될 수 있다.
일부 실시예에서, 인스턴트 메시지 서비스 어플리케이션을 실행하여 메시지를 생성 및 송신 하기 위한 컴퓨터 프로그램이 저장된 컴퓨터 판독가능 저장 매체가 설명된다. 일 예시적인 컴퓨터 판독가능 저장 매체는 컴퓨터 프로그램이 실행되면, 컴퓨팅 장치로 하여금, 컴퓨팅 장치의 사용자로부터 음성 메시지를 입력 받는 동작과, 입력된 음성 메시지로부터 해당 음성 데이터를 생성하는 동작과, 음성 데이터에 기초하여 음성 메시지에 해당하는 텍스트 데이터를 생성하는 동작과, 음성 데이터와 텍스트 데이터를 결합하여 데이터 패킷을 생성하는 동작과, 그리고 데이터 패킷을 인스턴트 메시지 서비스를 제공하는 통합 서버로 전송하는 동작을 포함하는 동작들을 실행 가능하도록 하는 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있다.
일부 실시예에서, 인스턴트 메시지 서비스 어플리케이션을 실행하여 메시지를 수신하는 수신 단말 상에서 수행되는 방법이 설명된다. 일 예시적인 방법에서, 수신 단말은 인스턴트 메시지 서비스를 제공하는 통합 서버와 네트워크를 통해 데이터 통신 가능하게 연결될 수 있으며, 방법은 통합 서버로부터 송신 단말에 의해 전송된 데이터 패킷을 수신하는 단계; 데이터 패킷으로부터 음성 데이터를 획득하는 단계; 음성 데이터에 기초하여, 음성 메시지에 해당하는 텍스트 데이터를 생성하는 단계; 음성 데이터에 기초하여, 음성 데이터에 대응하는 음성 메시지를 재생하는 단계; 및텍스트 데이터에 기초하여, 음성 메시지의 재생에 대응하여 텍스트 데이터에 대응하는 텍스트 메시지를 디스플레이 하는 단계를 포함할 수 있다. 다른 예시에서, 방법은 통합 서버로부터 데이터 패킷을 수신하는 단계; 데이터 패킷으로부터 텍스트 데이터를 획득하는 단계; 텍스트 데이터에 해당하는 음성 데이터를 획득할 수 없다고 결정하는 단계; 텍스트 데이터에 기초하여 텍스트 데이터에 해당하는 음성 데이터를 생성하는 단계; 음성 데이터에 기초하여 음성 데이터에 대응하는 음성 메시지를 재생하는 단계 및 텍스트 데이터에 기초하여, 음성 메시지의 재생에 대응하여 텍스트 데이터에 대응하는 텍스트 메시지를 디스플레이 하는 단계를 포함할 수 있다. 또 다른 예시적인 방법에서, 수신 단말은 인스턴트 메시지 서비스를 제공하는 중계 서비와 네트워크를 통해 데이터 통신 가능하게 연결되고, 또한 인스턴트 메시지 서비스 어플리케이션을 실행하는 송신 단말과 직접적으로 통신 가능 하도록 연결될 수 있다. 이러한 예시에서, 방법은 중계 서버로부터 송신 단말에 의해 전송된 데이터 패킷에 대한 알림 메시지를 수신하는 단계 및 알림 메시지에 응답하여 송신 단말로부터 데이터 패킷을 수신하는 단계를 포함할 수 있다.
일부 실시예에서, 인스턴트 메시지 서비스 어플리케이션을 실행하고, 인스턴트 메시지를 수신하기 위한 수신 단말이 설명된다. 수신 단말은 통신 모듈, 데이터 획득 모듈, 데이터 보완 모듈 및 출력 모듈을 포함할 수 있다. 통신 모듈은 송신 단말에 의해 전송된 데이터 패킷을 서버 또는 송신 단말로부터 수신하도록 구성될 수 있다. 데이터 획득 모듈은 데이터 패킷으로부터 음성 데이터 또는 텍스트 데이터 중 적어도 하나를 획득하도록 구성될 수 있다. 데이터 보완 모듈은 음성 인식 모듈 및 음성 생성 모듈을 포함할 수 있다. 데이터 획득 모듈이 데이터 패킷으로부터 음성 데이터를 획득하고 음성 데이터에 해당하는 텍스트 데이터를 획득할 수 없는 경우, 데이터 보완 모듈은 음성 인식 모듈로 하여금 음성 데이터에 해당하는 텍스트 데이터를 생성하도록 할 수 있다. 데이터 획득 모듈이 데이터 패킷으로부터 텍스트 데이터를 획득하고 텍스트 데이터에 해당하는 음성 데이터를 획득할 수 없는 경우, 데이터 보완 모듈은 음성 생성 모듈로 하여금 텍스트 데이터에 해당하는 음성 데이터를 생성하도록 할 수 있다. 출력 모듈은 음성 데이터에 기초하여, 음성 데이터에 대응하는 음성 메시지를 재생하도록 구성되는 재생 모듈 및 텍스트 데이터에 기초하여, 음성 메시지의 재생에 대응하여 텍스트 데이터에 대응하는 텍스트 메시지를 디스플레이 하도록 구성되는 디스플레이 모듈을 포함할 수 있다.
일부 실시예에서, 인스턴트 메시지 서비스 어플리케이션을 실행하여 메시지를 수신하기 위한 컴퓨터 프로그램이 저장된 컴퓨터 판독가능 저장 매체가 설명된다. 일 예시적인 컴퓨터 판독가능 저장 매체는 컴퓨터 프로그램이 실행되면, 컴퓨팅 장치로 하여금, 서버 또는 송신 단말로부터 송신 단말에 의해 전송된 데이터 패킷을 수신하는 동작; 데이터 패킷으로부터 텍스트 데이터를 획득하는 동작; 데이터 패킷으로부터 텍스트 데이터에 해당하는 음성 데이터를 획득할 수 없다고 결정하는 동작; 텍스트 데이터에 기초하여, 텍스트 데이터에 해당하는 음성 데이터를 생성하는 동작; 음성 데이터에 기초하여, 음성 데이터에 대응하는 음성 메시지를 재생하는 동작; 및 텍스트 데이터에 기초하여, 음성 메시지의 재생에 대응하여 텍스트 데이터에 대응하는 텍스트 메시지를 디스플레이 하는 동작을 포함하는 동작들을 실행가능 하도록 하는 하나 이상의 컴퓨터 실행 가능 명령어를 포함를 포함할 수 있다.
이상의 간단한 요약 및 효과에 관한 설명은 단순히 예시적인 것으로서 본 개시에서 의도한 기술적 사항을 제한하기 위한 것이 아니다. 이하의 상세한 설명과 첨부된 도면을 참조함으로써, 전술한 예시적인 실시예들과 기술적 특징들에 더하여, 추가적인 실시예와 기술적 특징들이 이해될 수 있을 것이다.
앞서 설명한 본 개시의 특징들과 기타 추가적인 특징들에 대해서는 첨부된 도면을 참조하여 이하에서 자세하게 설명한다. 이러한 도면들은 본 개시에 따르는 단지 몇 가지의 실시예만을 도시한 것이며, 본 개시의 기술적 사상의 범위를 제한하는 것으로 간주되어서는 안 된다. 본 개시의 기술적 사상은 첨부된 도면을 사용하여 더 구체적이고 상세하게 기술될 것이다.
도 1은 본 개시의 적어도 일부 실시예에 따른 인스턴트 메시지 서비스가 제공되는 환경을 나타내는 예시적인 환경도이고;
도 2는 본 개시의 적어도 일부 실시예에 따른 송신 단말을 개략적으로 도시하는 블록도이고;
도 3은 본 개시의 적어도 일부 실시예에 따라, 송신 단말에서 수행되는 일 예시적인 프로세스를 도시하는 흐름도이고;
도 4는 본 개시의 적어도 일부 실시예에 따른 수신 단말을 개략적으로 도시하는 블록도이고;
도 5 내지 도 7은 본 개시의 적어도 일부 실시예에 따라, 수신 단말에서 수행되는 예시적인 프로세스를 도시하는 흐름도이고;
도 8는 본 개시에 따라 인스턴트 메시지 서비스를 이용하는 일 예시를 도시하고;
도 9은 도 8에 따라 인스턴트 메시지 서비스를 이용하는 경우 사용자의 단말 상에서 메시지가 디스플레이 및 재생되는 일 예시를 도시하고;
도 10은 본 개시의 적어도 일부 실시예에 따라 인스턴트 메시지 서비스를 제공하는 데 이용될 수 있는 예시적인 컴퓨터 프로그램 제품을 도시하고,
도 11는 본 개시의 적어도 일부 실시예에 따라 인스턴트 메시지 서비스 제공 서버를 개략적으로 도시하는 블록도이다.
이하, 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 구현예 및 실시예를 상세히 설명한다. 그러나, 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 구현예 및 실시예에 한정되지 않는다.
본 개시는 일반적으로 인스턴트 메시지 서비스를 제공하기 위한 장치, 방법 및 컴퓨터 판독가능 저장 매체에 관한 것이다.
이하에서, "인스턴트 메시지 서비스"는 송신자가 텍스트 메시지, 음성 메시지, 이미지, 등과 같은 메시지를 하나 이상의 수신자에게 전송하면, 수신자에 의해 수신된 메시지가 디스플레이 및/또는 재생되는 서비스를 지칭할 수 있다. "캐릭터"라는 용어는 컴퓨터 그래픽에 의해 표현되고 얼굴을 가지는 객체를 의미하며, 예컨대, 사람, 동물, 가상의 동물, 로봇, 등과 같은 다양한 형태로 표현될 수 있으며, 본 개시에 따르면, 캐릭터는 인스턴트 메시지 서비스 상에서 디스플레이 되는 개체이며, 사용자 또는 이하에서 설명되는 바와 같이 송신 단말 또는 수신 단말과 같은 사용자 장치의 제어에 의해 동작하여, 캐릭터의 애니메이션이 사용자 장치 상에서 디스플레이 될 수 있다.
이하에서, "모듈"이라는 용어는, 장치, 서버, 프로그램 유닛 또는 이들의 적절한 조합을 지칭할 수 있다. 예컨대, 이하에서 설명될 "캐릭터 모듈"이라는 용어는 사용자의 장치 상에서 디스플레이될 캐릭터에 관한 정보를 획득하기 위한 카메라와 같은 하드웨어뿐만 아니라, 그러한 카메라에 의해 획득된 데이터를 처리하기 위한 장치, 서버, 프로그램 유닛 또는 이들의 적절한 조합을 지칭할 수 있다.
도 1은 본 개시의 적어도 일부 실시예에 따른 인스턴트 메시지 서비스가 제공되는 환경(100)을 나타내는 예시적인 환경도이다. 예시적인 환경(100)은 네트워크 환경(110), 하나 이상의 송신 단말(120-1, 120-2, 120-3, 120-4, ...; 이하에서는 120으로 통칭함) 및 하나 이상의 수신 단말(130-1, 130-2, 130-3, ...; 이하에서는 130으로 통칭함)을 포함할 수 있다. 설명의 편의를 위하여, 120이 송신 단말이고 130이 수신 단말이라고 지칭하였지만, 송신 단말과 수신 단말은 각각 수신과 송신을 또한 수행할 수 있다. 네트워크 환경(110)은 송신 단말(120)과 수신 단말(130)을 유선 또는 무선의 통신으로 연결하기 위한 다양한 환경을 나타낸다. 네트워크 환경(110)은 인스턴트 메시지 서비스를 제공하기 위한 서버(115)를 포함할 수 있다.
일부 실시예에서, 송신 단말(120)는 인스턴트 메시지 서비스를 제공하는 서버(115)를 통하여 사용자 장치(130)에 인스턴트 메시지를 전송하거나 사용자 장치(130)로부터 인스턴트 메시지를 수신할 수 있다. 이러한 실시예에서, 서버(115)는 인스턴트 메시지 서비스를 제공하고, 인스턴트 메시지를 송신 단말(120)로부터 수신하고, 저장하고 수신 단말(130)로 전송하는 통합 서버일 수 있다. 일부 다른 예시에서, 송신 단말(120)은 서버(115)를 통하여 수신 단말(130)에 인스턴트 메시지에 대한 알림 메시지를 전송할 수 있으며, 수신 단말(130)은 서버(115)로부터 알림 메시지를 수신하고, 수신된 알림 메시지에 응답하여 인스턴트 메시지를 송신 단말(120)로부터 직접적으로 수신할 있다. 이러한 실시예에서, 서버(115)는 인스턴트 메시지 서비스를 제공하고, 릴레이 서버(relay server)와 같은 중계 서버로서 역할할 수 있다. 수신 단말(130)은 서버(115)로부터 알림 메시지를 수신한 이후, 수신 단말(130)은 예컨대, 피어 투 피어(peer-to-peer)기법을 이용하여 송신 단말(120)에 직접 연결함으로써 인스턴트 메시지를 수신할 수 있다.
다양한 실시예에서, 네트워크 환경(110)은 송신 단말(120) 및 수신 단말(130) 간의 유선 환경, 무선 환경, 기지국, 등과 같은 통신 환경을 더 포함할 수 있다. 일부 예시에서, 서버(115)는 송신 단말(120)이 전송한 인스턴트 메시지를 저장하고, 이후, 수신 단말(130)이 서버(115)에 연결되면, 송신 단말(120)로부터 수신된 인스턴트 메시지를 전송하도록 구성될 수 있다. 피어 투 피어 기법으로 인스턴트 메시지를 직접적으로 전송하는 예시에서, 서버(115)는 네트워크 환경(110)에서 사용자 장치(120, 130) 간의 피어 투 피어 연결을 수립되도록 지원할 수 있다.
도 1에서 송신 단말(120) 및 수신 단말(130)은 통신 가능한 장치, 예컨대, 스마트폰, 태블릿 컴퓨터, 데스크탑 컴퓨터, 랩탑 컴퓨터, 휴대 전화기, 개인 휴대용 단말기(PDA), 특정 용도 장치 또는 상기 기능 중 임의의 것을 포함하는 융합 장치와 같은 소형 폼팩터 휴대용(모바일) 전자 장치를 포함할 수 있다. 도 1에서 도시된 바와 같이, 송신 단말(120) 및 수신 단말(1300은 일대일의 인스턴트 메시지 통신뿐만 아니라, 일대다 또는 다대다의 인스턴트 메시지 통신도 수행할 수 있으며, 서버(115)는 그러한 인스턴트 메시지 서비스를 제공할 수 있다.
일부 예시에서, 송신 단말(120)의 사용자(제1 사용자)는 송신 단말(120)을 이용하여, 수신 단말(130)의 사용자(제2 사용자)에게 전송될 인스턴트 메시지를 입력할 수 있다. 인스턴트 메시지는 음성 메시지 또는 텍스트 메시지일 수 있다. 인스턴트 메시지가 텍스트 메시지인 경우, 기술분야에서 잘 알려진 바에 따라, 송신 단말(120)은 제1 사용자로부터 텍스트 메시지를 입력 받고, 데이터 패킷을 생성하여, 수신 단말(130)을 향하여 전송할 수 있다. 이하에서는, 인스턴트 메시지가 음성 메시지인 경우에 관하여 설명된다.
일부 실시예에서, 송신 단말(120)은 제1 사용자로부터 음성 메시지를 입력 받을 수 있다. 일부 예시에서, 송신 단말(120)은 제1 사용자로부터 미리 정해진 시간 동안 음성 메시지를 입력 받을 수 있다. 송신 단말(120)은 입력된 음성 메시지로부터 해당 음성 데이터를 생성할 수 있다.
이후, 송신 단말(120)은 음성 메시지에 해당하는 텍스트 데이터를 획득할 수 있다. 일부 실시예에서, 송신 단말(120)은 음성 데이터에 기초하여, 음성 메시지에 해당하는 텍스트 데이터를 생성할 수 있다. 이러한 텍스트 데이터의 생성에는 본 개시에 따른 기술 분야에서 잘 알려진 음성 인식 기법이 이용될 수 있다. 일부 다른 실시예에서, 송신 단말(120)은 제1 사용자로부터 음성 메시지에 해당하는 텍스트를 입력 받을 수 있으며, 입력된 텍스트에 기초하여 텍스트 데이터를 생성할 수 있다. 일부 예시에서, 제1 사용자의 요청에 따라, 송신 단말(120)은 복수의 음성 메시지를 입력 받을 수 있으며, 복수의 음성 메시지로부터 복수의 음성 데이터를 생성할 수 있다. 송신 단말(120)은 복수의 음성 메시지에 해당하는 텍스트 데이터를 복수의 음성 데이터에 기초하여 생성하거나 사용자로부터 입력 받을 수 있다.
일부 실시예에서, 송신 단말(120)은 음성 데이터와 음성 메시지에 해당하는 텍스트 데이터를 결합하여, 데이터 패킷을 생성할 수 있다. 일부 예시에서, 송신 단말(120)은 음성 데이터와 해당 텍스트 데이터를 대응시켜 통합 메시지 데이터를 생성할 수 있으며, 통합 메시지 데이터를 인코딩하여 데이터 패킷을 생성할 수 있다. 제1 사용자의 요청에 의해 복수의 음성 메시지를 수신하는 일부 예시에서, 송신 단말(120)은 각각의 음성 데이터와 텍스트 데이터를 대응시키고, 대응시킨 음성 데이터와 텍스트 데이터의 쌍을 결합하여 통합 메시지 데이터를 생성할 수 있다.
일부 실시예에서, 서버(115)는 통합 서버일 수 있으며, 송신 단말(120)은 생성된 데이터 패킷을 서버(115)로 전송할 수 있다. 일부 다른 실시예에서, 서버(115)는 중계 서버일 수 있으며, 송신 단말(120)은 생성된 데이터 패킷에 관한 알림 메시지를 생성할 수 있고, 생성된 알림 메시지를 중계 서버(115)로 전송할 수 있다. 이러한 실시예에서, 송신 단말(120)은 이후, 적어도 하나의 수신 단말에 연결하여 직접적으로 데이터 패킷을 전송할 수 있다.
추가적인 일부 실시예에서, 인스턴트 메시지 서비스가 제공되는 중에, 제1 사용자에 대한 제1 캐릭터와 제2 사용자에 대한 제2 캐릭터가 송신자 장치(120) 및/또는 수신자 장치(13) 상에서 디스플레이 될 수 있다. 송신자 장치(120)는 인스턴트 메시지를 수신자 장치(130)에 전송하면서, 제1 캐릭터에 대한 캐릭터 데이터 또한 함께 전송할 수 있다. 캐릭터 데이터는 제1 캐릭터의 종류, 제1 캐릭터의 표정 또는 제1 캐릭터의 동작 중 적어도 하나에 대한 정보를 포함할 수 있다. 또한, 캐릭터 데이터는 음성 메시지 또는 텍스트 메시지와의 연결 정보를 포함할 수 있다. 이러한 실시예에서, 송신자 장치(120)는 데이터 패킷을 생성함에 있어서, 음성 데이터 및 텍스트 데이터에 더하여 캐릭터 데이터를 더 결합할 수 있다.
데이터 패킷이 송신 단말(120)로부터 통합 서버와 같은 서버(115)를 통하여 수신 단말(130)로 전송되는 일부 예시에서, 서버(115)는 송신 단말(120)로부터 수신된 데이터 패킷으로부터의 데이터(예컨대, 음성 데이터, 텍스트 데이터, 캐릭터 데이터, 등)를 저장할 수 있다. 서버(115)는 음성 메시지를 음성 인식된 텍스트 메시지와 대응하여 저장할 수 있다.
데이터 패킷이 송신 단말(120)로부터 수신 단말(130)로 직접적으로 전송되는 일부 예시에서, 서버(115)는 송신 단말(120)로부터 알림 메시지를 수신하고, 수신 단말(130)에 알림 메시지를 전송할 수 있으며, 수신 단말(130)은 서버(115)로부터 송신 단말(120)로부터 수신된 인스턴트 메시지에 대한 알림 메시지를 수신할 수 있다.
수신 단말(130)은 서버(115)에 접속할 수 있다. 일부 실시예에서, 수신 단말(130)은 송신 단말(120)에 의해 전송된 데이터 패킷을 서버(115)로부터 수신할 수 있다. 일부 다른 실시예에서, 수신 단말(130)은 송신 단말(120)에 의해 전송된 데이터 패킷에 대한 알림 메시지를 서버(115)로부터 수신할 수 있다. 수신 단말(130)은 수신된 알림 메시지에 응답하여, 송신 단말(120)에 연결할 수 있고, 데이터 패킷을 송신 단말(120)로부터 수신할 수 있다. 이러한 실시예에서, 서버(115)로부터 수신된 알림 메시지는 송신 단말(120)로부터 수신된 음성 메시지를 포함하는 송신 단말(130)로의 하나 이상의 음성 메시지에 대한 표시를 포함할 수 있다.
수신 단말(130)은 수신된 데이터 패킷으로부터 음성 데이터 또는 텍스트 데이터 중 적어도 하나를 획득할 수 있다. 일부 예시에서, 송신 단말(120)는 상술된 바와 같이, 음성 메시지를 입력받을 수 있으며, 음성 메시지로부터의 음성 데이터 및 음성 메시지에 해당하는 텍스트 데이터를 포함하는 데이터 패킷을 수신 단말(130)을 향하여 전송할 수 있다. 수신 단말(130)은 데이터 패킷을 수신하고, 수신된 데이터 패킷으로부터 음성 데이터 및 음성 메시지에 해당하는 텍스트 데이터를 획득할 수 있다.
일부 다른 실시예에서, 수신 단말(130)은 수신된 데이터 패킷으로부터 음성 데이터를 획득할 수 있다. 일부 예시에서, 송신 단말(120)은 음성 메시지를 입력 받을 수 있으며, 이러한 음성 메시지 만을 포함하는 데이터 패킷을 수신 단말(130)을 향하여 전송할 수 있다. 수신 단말(130)은 이러한 데이터 패킷을 수신하고, 데이터 패킷으로부터 음성 데이터를 획득하고 텍스트 데이터를 획득하지 않을 수 있다. 수신 단말(130)은 획득된 음성 데이터에 기초하여, 음성 메시지에 해당하는 텍스트 데이터를 생성할 수 있다. 텍스트 데이터의 생성에는 송신 단말(120)에 관하여 상술한 바와 마찬가지로, 잘 알려진 음성 인식 기법이 이용될 수 있다. 일 예시에서, 수신 단말(130)은 수신된 데이터 패킷으로부터 음성 메시지에 해당하는 텍스트 데이터를 획득할 수 없다고 결정할 수 있으며, 이러한 결정에 응답하여, 음성 데이터에 기초하여, 음성 메시지에 해당하는 텍스트 데이터를 생성할 수 있다.
일부 다른 실시예에서, 수신 단말(130)은 수신된 데이터 패킷으로부터 텍스트 데이터를 획득할 수 있다. 일부 예시에서, 송신 단말(120)은 제1 사용자로부터 텍스트를 입력 받을 수 있으며, 이러한 텍스트 만을 포함하는 데이터 패킷을 수신 단말(130)을 향하여 전송할 수 있다. 일부 다른 예시에서, 송신 단말(120)은 제1 사용자로부터 음성 메시지를 입력 받을 수 있고, 음성 메시지로부터 음성 데이터를 생성하고, 음성 인식 기법의 이용 또는 사용자 입력에 의해 생성된 음성 메시지에 대응하는 텍스트 데이터를 음성 데이터와 결합한 데이터 패킷을 수신 단말(130)을 향하여 전송할 수 있고, 전송 환경, 송수신 단말의 동작 이상, 등의 다양한 이유로, 음성 데이터가 손실될 수 있다. 이후, 수신 단말(130)은 수신된 데이터 패킷으로부터 텍스트 데이터를 획득하고, 획득된 텍스트 데이터에 기초하여, 텍스트 데이터에 해당하는 음성 데이터를 생성할 수 있다. 일 예시에서, 수신 단말(130)은 데이터 패킷으로부터 텍스트 데이터에 해당하는 음성 데이터를 획득할 수 없다고 결정할 수 있고, 이러한 결정에 응답하여, 텍스트 데이터에 기초한 음성 데이터를 생성할 수 있다.
일부 실시예에서, 수신 단말(130)은 생성 또는 획득된 음성 데이터 및 텍스트 데이터를 수신 단말(130) 내부에 저장할 수 있다. 일부 예시에서, 수신 단말(130)은 수신된 음성 데이터와 텍스트 데이터를 대응지어 저장할 수 있다.
일부 실시예에서, 수신 단말(130)은 음성 데이터에 기초하여, 음성 데이터에 대응하는 음성 메시지를 재생할 수 있다. 또한, 수신 단말(130)은 텍스트 데이터에 기초하여, 음성 메시지의 재생과 함께, 텍스트 데이터에 대응하는 텍스트 메시지를 디스플레이 할 수 있다. 일부 예시에서, 수신 단말(130)은 하나 이상의 음성 메시지를 재생하기 위한 음성 메시지 재생 요청을 사용자(제2 사용자)로부터 수신할 수 있다. 수신 단말(130)은 음성 메시지 재생 요청에 응답하여, 하나 이상의 음성 데이터에 기초한 하나 이상의 음성 메시지를 순차적으로 재생할 수 있다. 이와 같이, 음성 메시지는 음성 메시지의 수신과는 비동기적으로 재생될 수 있다. 추가적으로, 음성 메시지의 재생은 사용자의 요청에 의해, 일시 정지 되거나, 중단되거나, 이전 음성 메시지 또는 다음 음성 메시지를 재생하도록 제어될 수 있다. 수신 단말(130)은 음성 메시지의 재생에 대응하여, 해당하는 텍스트 메시지를 디스플레이 할 수 있다.
추가적인 일부 실시예에서, 수신 단말(130)이 하나 이상의 음성 메시지를 재생하기 전에, 수신 단말(130)은 미리 정해진 검열 조건에 기초하여, 텍스트 데이터에 해당하는 텍스트 메시지를 필터링할 수 있다. 예컨대, 미리 정해진 검열 조건은 욕설, 비속어, 등을 포함할 수 있지만, 이에 제한되지 않는다. 수신 단말(130)은 필터링의 결과에 기초하여 필터링되지 않은 해당 음성 메시지를 재생할 수 있다. 예컨대, 음성 인식된 텍스트 메시지에 비속어가 포함되는 경우, 수신 단말(130)은 텍스트 메시지에 대응하는 음성 메시지의 적어도 일부를 묵음(mute)처리할 수 있다. 이러한 필터링 처리는 수신 단말(130)이 수행하는 것에 한정되지 않으며, 일부 실시예에서는 서버(115) 또는 송신 단말(120)이 데이터 패킷을 전송하기 전에 필터링 처리를 수행할 수 있다.
일부 실시예에서, 수신 단말(130)은 하나 이상의 음성 데이터를 미리 정해진 조건에 기초하여 삭제할 수 있는 한편, 대응하는 하나 이상의 텍스트 데이터를 남길 수 있다.. 일부 예시에서, 수신 단말(130)은 음성 메시지의 재생이 종료되면 해당 음성 데이터를 삭제할 수 있다. 일부 다른 예시에서, 수신 단말(130)은 미리 정해진 저장 용량 조건에 기초하여, 오래된 음성 데이터를 삭제할 수 있다.
추가적인 일부 실시예에서, 수신 단말(130)은 데이터 패킷으로부터 캐릭터 데이터를 획득할 수 있다. 일부 예시에서, 수신 단말(130)은 제1 사용자에 대한 제1 캐릭터에 대한 캐릭터 데이터를 획득할 수 있다. 수신 단말(130)은, 캐릭터 데이터에 기초하여, 텍스트 메시지의 디스플레이 및 음성 메시지의 재생과 함께 캐릭터를 디스플레이 할 수 있다.
도 2는 본 개시의 적어도 일부 실시예에 따른 송신 단말(200)을 개략적으로 도시하는 블록도이다. 도 2에 도시된 바와 같이, 송신 단말(200)은 음성 입력 모듈(210), 음성 데이터 생성 모듈(220), 텍스트 데이터 생성 모듈(230), 데이터 패킷 생성 모듈(250) 및 통신 모듈(260)을 포함할 수 있다. 추가적으로, 송신 단말(200)은 캐릭터 모듈(240) 및 알림 생성 모듈(270)을 더 포함할 수 있다. 음성 입력 모듈(210), 텍스트 입력 모듈(232), 카메라(242) 및 동작 입력 모듈(244)은 사용자로부터의 입력을 수신하기 위한 사용자 인터페이스(User Interface; UI)의 일 예시이다. 송신 단말(200)에 포함되는 컴포넌트는 각각 개별적으로 구현될 수 있거나, 컴포넌트 중 둘 이상이 결합되어 하나의 컴포넌트를 형성하는 방식으로 구현될 수 있다. 도 2에서 컴포넌트 사이의 연결들[예컨대, 음성 데이터 모듈(220)과 음성 입력 모듈(210), 음성 인식 모듈(234) 또는 데이터 패킷 생성 모듈 사이의 연결, 등]은 단지 설명의 편의를 위한 것이며, 각 컴포넌트들의 연결은 이러한 연결에 제한되지 않는다. 이하에서, 보다 구체적으로 설명되는 바와 같이, 송신 단말(200)은 인스턴트 메시지 서비스 어플리케이션을 실행하도록 구성되며, 인스턴트 메시지를 생성 및 송신할 수 있다. 송신 단말(200)은 다양한 컴퓨팅 장치일 수 있으며, 예컨대, 스마트폰, 태블릿 컴퓨터, 데스크탑 컴퓨터, 랩탑 컴퓨터, 휴대 전화기, 개인 휴대용 단말기(PDA), 특정 용도 장치 또는 상기 기능 중 임의의 것을 포함하는 융합 장치와 같은 소형 폼팩터 휴대용(모바일) 전자 장치를 포함할 수 있다.
음성 입력 모듈(210)은 송신 단말(200)의 사용자로부터 음성 메시지를 입력 받도록 구성될 수 있다. 음성 입력 모듈(210)은 사용자의 음성 메시지를 수신할 수 있는 요소, 예컨대, 마이크를 포함할 수 있다. 일부 예시에서, 음성 입력 모듈(210)은 사용자로부터 미리 정해진 시간 동안 음성 메시지를 입력 받을 수 있다. 일부 예시에서, 음성 입력 모듈(210)은 사용자의 요청에 따라, 하나 이상의 음성 메시지를 순차적으로 입력 받을 수 있다. 음성 데이터 생성 모듈(220)은 사용자에 의해 입력된 음성 메시지로부터 해당 음성 데이터를 생성하도록 구성될 수 있다. 이하에서는 본 개시의 기술분야에서 잘 알려진 구성에 대해서는 설명을 생략하고, 본 개시에 따른 구성을 구체적으로 설명한다.
텍스트 데이터 생성 모듈(230)은 텍스트 데이터를 생성하도록 구성될 수 있다. 텍스트 데이터 생성 모듈(230)은 텍스트 입력 모듈(232) 및 음성 인식 모듈(234)를 포함할 수 있다. 일부 예시에서, 음성 인식 모듈(234)은 음성 데이터 생성 모듈(220)로부터 음성 데이터를 수신할 수 있으며, 음성 데이터를 이용하여 음성 인식을 수행할 수 있고, 텍스트 데이터 생성 모듈(230)은 음성 인식의 결과에 기초하여, 음성 메시지에 해당하는 텍스트 데이터를 생성할 수 있다. 일부 다른 예시에서, 송신 단말(200)은 사용자에게 음성 메시지에 대응하는 텍스트의 입력을 요청할 수 있고, 텍스트 입력 모듈(232)은 사용자로부터 음성 메시지에 해당하는 텍스트를 입력 받고, 텍스트 데이터 생성 모듈(230)은 입력된 텍스트로부터 텍스트 데이터를 생성할 수 있다.
데이터 패킷 생성 모듈(250)은 음성 데이터 생성 모듈(220)에 의해 생성된 음성 데이터와 텍스트 데이터 생성 모듈(230)에 의해 생성된 텍스트 데이터를 결합하여 데이터 패킷을 생성하도록 구성될 수 있다. 일부 예시에서, 데이터 패킷 생성 모듈(250)은 음성 데이터와 해당 텍스트 데이터를 대응시켜 통합 메시지 데이터를 생성할 수 있으며, 통합 메시지 데이터를 인코딩하여 전송을 위한 데이터 패킷을 생성할 수 있다. 음성 입력 모듈(210)이, 사용자의 요청에 응답하여, 복수의 음성 메시지를 순차적으로 입력 받은 경우, 텍스트 데이터 생성 모듈(230)은 복수의 음성 메시지 각각에 해당하는 텍스트 데이터를 생성할 수 있으며, 데이터 패킷 생성 모듈(250)은 각각의 음성 데이터와 텍스트 데이터를 대응시키고, 대응시킨 음성 데이터와 텍스트 데이터의 쌍을 결합하여 통합 메시지 데이터를 생성할 수 있다.
일부 실시예에서, 통신 모듈(260)은 인스턴트 메시지 서비스를 제공하는 통합 서버와 네트워크를 통해 데이터 통신 가능하게 연결될 수 있다. 이러한 실시예에서, 통신 모듈(260)은 데이터 패킷 생성 모듈(250)에 의해 생성된 데이터 패킷을 통합 서버로 전송할 수 있다.
일부 다른 실시예에서, 통신 모듈(260)은 인스턴트 메시지 서비스를 제공하는 중계 서버와 네트워크를 통해 데이터 통신 가능하게 연결될 수 있다. 이러한 실시예에서, 알림 생성 모듈(270)은 데이터 패킷 생성 모듈(250)에 의해 생성된 데이터 패킷에 관한 알림 메시지를 생성하도록 구성될 수 있다. 알림 메시지는 음성 메시지 및/또는 텍스트 메시지에 대한 표시를 포함할 수 있다. 통신 모듈(260)은 알림 생성 모듈(270)에 의해 생성된 알림 메시지를 중계 서버로 전송하도록 구성될 수 있다. 이후, 통신 모듈(260)은 인스턴트 메시지 서비스 어플리케이션을 실행하는 적어도 하나의 수신 단말과 직접적으로 통신 가능하도록 연결될 수 있고, 데이터 패킷을 직접적으로 전송할 수 있다.
추가적인 일부 실시예에서, 인스턴트 메시지 서비스가 송신 단말(200) 상에서 제공되는 중에 송신자 또는 수신자의 캐릭터가 송신 단말(200) 상에서 디스플레이 될 수 있으며, 송신 단말(200)은 캐릭터 모듈(240)을 더 포함할 수 있다. 캐릭터 모듈(240)은 캐릭터에 관한 정보를 획득하고, 획득된 캐릭터에 관한 정보로부터 캐릭터 데이터를 생성하도록 구성될 수 있다. 이러한 실시예에서, 데이터 패킷 생성 모듈은 음성 데이터 생성 모듈(220)로부터의 음성 데이터, 텍스트 데이터 생성 모듈(230)로부터의 텍스트 데이터 및 캐릭터 모듈(240)로부터의 캐릭터 데이터를 결합하여, 데이터 패킷을 생성하도록 구성될 수 있다. 캐릭터 데이터는 사용자의 캐릭터의 종류, 캐릭터의 표정 또는 캐릭터의 동작 중 적어도 하나에 대한 정보를 포함할 수 있다.
캐릭터 모듈(240)은 카메라(242), 동작 입력 모듈(244) 및 텍스트 인식 모듈(246)을 포함할 수 있다. 카메라(242)는 사용자의 얼굴 정보를 획득할 수 있으며, 캐릭터 모듈(240)은 카메라(242)에 의해 획득된 얼굴 정보에 기초하여, 캐릭터의 표정을 결정할 수 있다. 일 예시에서, 음성 입력 모듈(210)이 사용자로부터 음성 메시지를 입력받는 한편, 카메라(242)는 사용자의 얼굴 정보를 획득하고 캐릭터 모듈(240)은 얼굴 정보에 기초하여 캐릭터의 표정을 결정할 수 있다. 동작 입력 모듈(244)은 사용자로부터 캐릭터의 동작에 대한 입력을 받을 수 있다. 예컨대, 사용자는 사용자에게 제시되는 캐릭터의 동작에 관한 목록으로부터 적어도 하나의 동작을 선택할 수 있다. 텍스트 인식 모듈(246)은 텍스트 데이터 생성 모듈(230)에 의해 생성된 텍스트 데이터에 기초하여, 캐릭터의 동작과 연관된 문자를 인식할 수 있다. 일부 예시에서, 캐릭터 모듈(240)은 인식된 문자에 기초하여, 캐릭터의 동작을 결정할 수 있다. 일부 다른 예시에서, 텍스트 인식 모듈(246)은 인식된 문자를 캐릭터의 동작과 연결시킬 수 있으며, 동작 입력 모듈(244)은 사용자는 인식된 문자에 대한 선택을 사용자로부터 입력 받음으로써, 캐릭터 모듈(240)이 캐릭터의 동작을 결정할 수 있다.
추가적으로 또는 선택적으로, 사용자는 송신 단말(200) 상에 디스플레이 되는 텍스트 메시지, 캐릭터의 표정, 동작, 등을 확인한 후에, 인스턴트 메시지의 전송을 결정할 수 있다.
도 3은 본 개시의 적어도 일부 실시예에 따라, 송신 단말에서 수행되는 일 예시적인 프로세스(300)를 도시하는 흐름도이다. 예컨대, 프로세스(300)는 도 1의 송신 단말(120), 도 2의 송신 단말(200)과 같은 컴퓨팅 장치의 제어 하에서 수행될 수 있다. 도 2에 도시된 프로세스(300)는 블록(310, 320, 330, 340, 350, 360 및/또는 370)에 의하여 예시된 바와 같은 하나 이상의 동작, 기능 또는 작용을 포함할 수 있다. 다양한 블록은 설명된 실시예로 제한하려고 의도되지는 않는다. 예컨대, 당업자는 여기에서 개시된 프로세스에 대하여, 프로세스 및 방법에서 수행되는 기능이 상이한 순서로 구현될 수 있다는 점을 인정할 것이다. 또한, 도 3에 예시된 개략적인 동작들은 예시로서만 제공되고, 개시된 실시예의 본질을 벗어나지 않으면서, 동작들중 일부가 선택적일 수 있거나, 더 적은 동작으로 조합될 수 있거나, 추가적인 동작으로 확장될 수 있다. 프로세스(300)는 음성 메시지를 입력 받는 블록(310)에서 시작할 수 있다.
블록(310)에서, 컴퓨팅 장치는 사용자로부터 음성 메시지를 입력 받을 수 있다. 일부 예시에서, 컴퓨팅 장치는 사용자로부터 미리 정해진 시간 동안 음성 메시지를 입력 받을 수 있다. 일부 예시에서, 컴퓨팅 장치는, 사용자의 요청에 따라, 하나 이상의 음성 메시지를 순차적으로 입력 받을 수 있다. 프로세스(300)는 블록(310)에서 음성 데이터를 생성하는 블록 (320)으로 이어질 수 있으며, 컴퓨팅 장치는 사용자에 의해 입력된 음성 메시지로부터 해당 음성 데이터를 생성하도록 구성될 수 있다. 프로세스(300)는 블록(320)에서, 음성 메시지 대응 텍스트 입력이 있는지 여부를 결정하는 블록(330)으로 이어질 수 있다.
블록(330)에서 컴퓨팅 장치는 음성 메시지에 대응한 텍스트 입력이 있는지 여부를 결정할 수 있다. 예컨대, 사용자는 음성 메시지를 입력하고, 해당 음성 메시지에 대응하는 텍스트를 입력하겠다는 요청을 입력할 수 있으며, 그러한 요청이 없는 경우, 컴퓨팅 장치는 음성 메시지에 대응한 텍스트가 사용자에 의해 입력되지 않는 것으로 결정할 수 있다. 프로세스(300)는 음성 메시지에 대응한 텍스트가 사용자에 의해 입력되지 않는 경우, 음성 데이터에 기초하여 텍스트 데이터를 생성하는 블록(340)으로 이어질 수 있다. 블록(340)에서, 컴퓨팅 장치는 음성 데이터를 이용하여 음성 인식을 수행할 수 있다. 컴퓨팅 장치는 음성 인식의 결과에 기초하여, 음성 메시지에 해당하는 텍스트 데이터를 생성할 수 있다. 프로세스(300)는 블록(340)으로부터 데이터 패킷을 생성하는 블록(360)으로 이어질 수 있다.
블록(330)에서, 음성 메시지에 대응하는 텍스트가 사용자에 의해 입력되는 경우, 프로세스(300)는 블록(330)으로부터 텍스트를 입력 받아 텍스트 데이터를 생성하는 블록(350)으로 이어질 수 있다. 블록(350)에서, 컴퓨팅 장치는 사용자에게 음성 메시지에 대응하는 텍스트를 입력 받을 수 있다. 사용자는 터치패드, 키보드, 마우스, 등과 같은 다양한 입력 장치를 이용하여 텍스트를 입력할 수 있다. 컴퓨팅 장치는 사용자에 의해 입력된 텍스트로부터 텍스트 데이터를 생성할 수 있다. 프로세스(300)는 블록(350)으로부터 데이터 패킷을 생성하는 블록(360)으로 이어질 수 있다.
블록(360)에서, 컴퓨팅 장치는 블록(320)에서 생성된 음성 데이터와 블록(340 또는 350)에서 생성된 텍스트 데이터를 결합하여, 데이터 패킷을 생성할 수 있다. 일부 예시에서, 컴퓨팅 장치는 음성 데이터와 해당 텍스트 데이터를 대응시켜 통합 메시지 데이터를 생성할 수 있으며, 통합 메시지 데이터를 인코딩하여 전송을 위한 데이터 패킷을 생성할 수 있다. 블록(310)에서, 사용자의 요청에 응답하여, 복수의 음성 메시지를 순차적으로 입력 받은 경우, 블록(360)에서 컴퓨팅 장치는 복수의 음성 메시지 각각에 해당하는 텍스트 데이터를 생성할 수 있으며, 각각의 음성 데이터와 텍스트 데이터를 대응시키고, 대응시킨 음성 데이터와 텍스트 데이터의 쌍을 결합하여 통합 메시지 데이터를 생성할 수 있다.
추가적인 일부 실시예에서, 컴퓨팅 장치는 블록(360)을 수행하기 전에 사용자의 캐릭터에 관한 정보를 획득하고 획득된 캐릭터에 관한 정보로부터 캐릭터 데이터를 생성할 수 있고, 여기서 캐릭터는 컴퓨팅 장치 상에서 디스플레이 가능하다. 일부 예시에서, 컴퓨팅 장치는 캐릭터의 표정, 동작, 등과 같은 캐릭터에 관한 정보를 입력을 받을 수 있다. 일부 다른 예시에서, 컴퓨팅 장치는 카메라, 등의 장치를 이용하여, 캐릭터에 관한 정보를 획득할 수 있다. 에 관한 이러한 실시예에서, 컴퓨팅 장치는 블록(360)에서, 음성 데이터 및 텍스트 데이터에 더하여, 캐릭터 데이터를 더 결합하여, 데이터 패킷을 생성할 수 있다.
프로세스(300)는 블록(360)에서 데이터 패킷을 전송하는 블록(370)으로 이어질 수 있다. 일부 실시예에서, 일부 실시예에서, 컴퓨팅 장치는 블록(370)을 수행하기 전에, 전송될 텍스트 메시지, 캐릭터의표정, 동작, 등에 대한, 사용자의 확인을 수신할 수 있다.
블록(370)에서, 컴퓨팅 장치는 생성된 데이터 패킷을 적어도 하나의 수신 단말을 향하여 전송할 수 있다. 일부 실시예에서, 컴퓨팅 장치는 인스턴트 메시지 서비스를 제공하는 통합 서버와 네트워크를 통해 데이터 통신 가능하게 연결될 수 있다. 통합 서버는 도 11에 관하여 보다 자세히 설명되는 바와 같이, 음성 데이터 및 텍스트 데이터를 컴퓨팅 장치로부터 수신하고, 저장하고, 적어도 수신자 단말로 전송할 수 있다. 일부 다른 실시예에서, 컴퓨팅 장치는 인스턴트 메시지 서비스를 제공하는 중계 서버와 네트워크를 통해 데이터 통신 가능하게 연결될 수 있으며, 컴퓨팅 장치는 적어도 하나의 수신 단말과 직접적으로 통신 가능하도록 연결될 수 있다. 이러한 실시예에서, 컴퓨팅 장치는 데이터 패킷에 관한 알림 메시지를 생성할 수 있다. 컴퓨팅 장치는 알림 메시지를 중계 서버로 전송할 수 있다. 이후, 적어도 하나의 수신 단말이 컴퓨팅 장치에 연결되면, 컴퓨팅 장치는 데이터 패킷을 연결된 적어도 하나의 수신 단말에 직접적으로 전송할 수 있다.
도 4는 본 개시의 적어도 일부 실시예에 따른 수신 단말(400)을 개략적으로 도시하는 블록도이다. 도 4에 도시된 바와 같이, 수신 단말(400)은 통신 모듈(410), 데이터 획득 모듈(420), 데이터 보완 모듈(430), 출력 모듈(440) 및 메모리(450)를 포함할 수 있다. 수신 단말(400)에 포함되는 컴포넌트는 각각 개별적으로 구현될 수 있거나, 컴퓨턴트 중 둘 이상이 결합되어 하나의 컴포넌트를 형성하는 방식으로 구현될 수 있다. 도 4에서 도시된 컴포넌트 사이의 연결들[예컨대, 데이터 획득 모듈(420)과 데이터 보완 모듈(430) 및 출력 모듈(440) 사이의 연결, 등]은 단지 설명의 편의를 위한 것이며, 각 컴포넌트들의 연결은 이러한 연결에 제한되지 않는다. 예컨대, 메모리는 도 4에서 연결이 없는 것으로 도시되었지만, 구현예에 따라, 통신 모듈(410), 데이터 획득 모듈(420), 데이터 보완 모듈(430) 및 출력 모듈(440) 중 적어도 하나와 동작 가능하게 연결될 수 있다. 수신 단말(400)은 다양한 컴퓨팅 장치일 수 있으며, 예컨대, 스마트폰, 태블릿 컴퓨터, 데스크탑 컴퓨터, 랩탑 컴퓨터, 휴대 전화기, 개인 휴대용 단말기(PDA), 특정 용도 장치 또는 상기 기능 중 임의의 것을 포함하는 융합 장치와 같은 소형 폼팩터 휴대용(모바일) 전자 장치를 포함할 수 있다. 또한, 수신 단말(400)은 도 2에서 설명된 송신 단말(200)과 일체로 구현될 수 있으며, 일부 컴포넌트는 하나의 개체에서 구현될 수 있다. 예컨대, 구현예에 따라, 도 2에 도시된 통신 모듈(260)과 도 4에 도시된 통신 모듈(410)은 일체로 구현될 수 있다. 이하에서, 보다 구체적으로 설명되는 바와 같이, 수신 단말(400)은 인스턴트 메시지 서비스 어플리케이션을 실행하도록 구성되며, 인스턴트 메시지를 수신 및 출력할 수 있다.
통신 모듈(410)은 송신 단말에 의해 전송된 데이터 패킷을 서버 또는 송신 단말로부터 수신하도록 구성될 수 있다. 일부 실시예에서, 통신 모듈(410)은 통합 서버에 접속할 수 있고, 송신 단말에 의해 전송된 데이터 패킷을 통합 서버로부터 수신할 수 있다. 일부 다른 실시예에서, 통신 모듈(410)은 중계 서버에 접속할 수 있고, 송신 단말에 의해 전송된 데이터 패킷에 대한 알림 메시지를 중계 서버로부터 수신할 수 있다. 이러한 실시예에서, 통신 모듈(410)은 수신된 알림 메시지에 응답하여, 예컨대, 피어-투-피어 연결 기법을 이용하여, 송신 단말에 직접적으로 연결할 수 있으며, 연결된 송신 단말로부터 수신할 수 있다.
데이터 획득 모듈(420)은 통신 모듈(410)에 의해 수신된 데이터 패킷으로부터 음성 데이터 또는 텍스트 데이터 중 적어도 하나를 획득하도록 구성될 수 있다. 일부 예시에서, 통신 모듈(410)은 송신 단말에 의해 전송된 데이터 패킷을 수신할 수 있으며, 이러한 데이터 패킷은 음성 메시지에 대한 음성 데이터 및 음성 메시지에 해당하는 텍스트 데이터를 포함할 수 있다. 데이터 획득 모듈(420)은 데이터 패킷으로부터 음성 데이터 및 음성 메시지에 해당하는 텍스트 데이터를 모두 획득할 수 있다. 이러한 예시에서, 데이터 획득 모듈(420)은 획득된 음성 데이터 및 텍스트 데이터를 출력 모듈(440)로 전송할 수 있다.
다른 일부 예시에서, 통신 모듈(410)은 송신 단말에 의해 전송된 데이터 패킷을 수신할 수 있으며, 이러한 데이터 패킷은 음성 데이터만을 포함하거나, 음성 데이터와 음성 메시지에 대응하는 손상된 텍스트 데이터를 포함할 수 있다. 이러한 예시에서, 데이터 획득 모듈(420)은 데이터 패킷으로부터 음성 데이터를 획득할 수 있고, 음성 데이터를 데이터 보완 모듈(430)로 전송할 수 있다. 일 예시에서, 데이터 획득 모듈(420)은 음성 메시지에 해당하는 텍스트 데이터를 획득할 수 없다고 결정할 수 있고, 이러한 결정에 응답하여, 음성 데이터를 데이터 보완 모듈(430)로 전송할 수 있다. 데이터 보완 모듈(430)은 음성 인식 모듈(432) 및 음성 생성 모듈(434)을 포함할 수 있다. 데이터 보완 모듈(430)이 음성 데이터를 데이터 획득 모듈(420)로부터 수신하는 경우, 음성 인식 모듈(432)은, 잘 알려진 음성 인식 기법을 이용하여, 음성 데이터로부터 음성 메시지에 해당하는 텍스트 데이터를 생성할 수 있다. 이러한 예시에서, 출력 모듈(440)은 데이터 획득 모듈(420)로부터 음성 데이터를 수신하고, 데이터 보완 모듈(432)로부터 텍스트 데이터를 수신할 수 있다.
또 다른 일부 예시에서, 통신 모듈(410)은 송신 단말에 의해 전송된 데이터 패킷을 수신할 수 있으며, 이러한 데이터 패킷은 텍스트 데이터만을 포함하거나, 텍스트 데이터와 텍스트 데이터에 해당하는 손상된 음성 데이터를 포함할 수 있다. 이러한 예시에서, 데이터 획득 모듈(420)은 데이터 패킷으로부터 텍스트 데이터를 획득할 수 있고, 텍스트 데이터를 데이터 보완 모듈(430)로 전송할 수 있다. 일 예시에서, 데이터 획득 모듈(420)은 텍스트 데이터에 해당하는 음성 데이터를 획득할 수 없다고 결정할 수 있고, 이러한 결정에 응답하여, 텍스트 데이터를 데이터 보완 모듈(430)로 전송할 수 있다. 데이터 보완 모듈(430)이 텍스트 데이터를 데이터 획득 모듈(420)로부터 수신하는 경우, 음성 생성 모듈(434)은 잘 알려진 음성 합성 기법을 이용하여, 텍스트 데이터로부터 음성 데이터를 생성할 수 있다.
출력 모듈(440)은 재생 모듈(442) 및 디스플레이 모듈(444)을 포함할 수 있다. 재생 모듈(442)은 음성 데이터에 기초하여, 음성 데이터에 대응하는 음성 메시지를 재생하도록 구성될 수 있다. 수신 단말(400)은 도시되지 않은 적절한 사용자 인터페이스를 통하여, 사용자로부터 음성 메시지를 재생하라는 음성 메시지 재생 요청을 수신할 수 있다. 일부 실시예에서, 데이터 획득 모듈(420)에 의해 획득된 음성 데이터가 하나 이상인 경우, 재생 모듈(442)은 음성 메시지 재생 요청에 응답하여, 하나 이상의 음성 데이터에 대응하는 하나 이상의 음성 메시지를 순차적으로 재생하도록 구성될 수 있다. 이러한 순차적인 재생은, 사용자의 제어에 따라, 재생, 일시 정치, 중지, 이전 음성 메시지 재생 또는 다음 음성 메시지의 재생이 수행될 수 있다. 디스플레이 모듈(444)은 재생 모듈(442)에 의한 음성 메시지의 재생에 대응하여, 텍스트 데이터에 대응하는 텍스트 메시지를 디스플레이 하도록 구성될 수 있다.
메모리(450)는 데이터 획득 모듈(420) 및/또는 데이터 보완 모듈(430)로부터의 음성 데이터 및 텍스트 데이터를 저장할 수 있다. 일부 예시에서, 음성 데이터 및 음성 메시지에 해당하는 텍스트 데이터를 대응지어 저장할 수 있다. 일부 실시예에서, 메모리(450)는 하나 이상의 음성 데이터를 미리 정해진 조건에 기초하여, 삭제할 수 있다. 일부 예시에서, 메모리(450)는 음성 메시지의 재생이 종료되면, 저장된 음성 데이터를 삭제할 수 있다. 일부 다른 예시에서, 메모리(450)는 미리 정해진 저장 용량 조건에 기초하여, 오래된 음성 데이터를 삭제할 수 있다. 예컨대, 메모리(450)에 저장된 음성 데이터의 총 용량이 미리 정해진 값을 초과하면 가장 오래된 음성 메시지를 삭제할 수 있다.
추가적인 일부 실시예에서, 출력 모듈(440)은 미리 정해진 검열 조건에 기초하여, 텍스트 데이터로부터의 텍스트 메시지를 필터링 할 수 있다. 출력 모듈(440)의 필터링은 잘 알려진 방식을 이용할 수 있다. 예컨대, 미리 정해진 필터링되는 문자는 욕설, 비속어, 등을 포함할 수 있지만, 이에 제한되지 않는다. 출력 모듈(440)에 의한 필터링의 결과에 기초하여, 재생 모듈(442)은 음성 메시지를 재생할 수 있고, 디스플레이 모듈(444)은 텍스트 메시지를 디스플레이 할 수 있다. 예컨대, 텍스트 메시지에 비속어가 포함되는 경우, 출력 모듈(440)은 텍스트 메시지의 적어도 일부를 미리 정해진 문자로 변경하고 음성 메시지의 적어도 일부에 대하여 묵음(mute) 처리를 수행할 수 있다.
추가적인 일부 실시예에서, 통신 모듈(410)은 송신 단말에 의해 전송된 데이터 패킷을 수신할 수 있으며, 이러한 데이터 패킷은 디스플레이 모듈(444)에 의해 디스플레이 가능한 캐릭터에 관한 정보를 포함하는 캐릭터 데이터를 포함할 수 있다. 데이터 획득 모듈(420)은 수신된 데이터 패킷으로부터 음성 데이터 및/또는 텍스트 데이터에 더하여, 캐릭터 데이터를 더 획득할 수 있다. 디스플레이 모듈(444)은 캐릭터 데이터에 기초하여, 재생 모듈(442)에 의한 음성 메시지의 재생 및 디스플레이 모듈(444)에 의한 텍스트 메시지의 디스플레이와 함께 캐릭터를 디스플레이 하도록 구성될 수 있다.
도 5 내지 도 7은 본 개시의 적어도 일부 실시예에 따라, 수신 단말에서 수행되는 예시적인 프로세스(500, 600 및 700)를 도시하는 흐름도이다. 예컨대, 프로세스(500, 600 및 700)는 도 1의 수신 단말(130), 도 4의 수신 단말(400)과 같은 컴퓨팅 장치의 제어 하에서 수행될 수 있다. 도 5의 프로세스(500)는 블록(510, 520, 530 및/또는 540)에 의해 예시된 바와 같은 하나 이상의 동작, 기능 또는 작용을 포함할 수 있다. 도 6의 프로세스(600)는 블록(610, 620, 630, 640, 650 및/또는 660)에 의해 예시된 바와 같은 하나 이상의 동작, 기능 또는 작용을 포함할 수 있다. 또한, 도 7에 도시된 프로세스(700)는 블록(710, 720, 730, 740, 750 및/또는 760)에 의해 예시된 바와 같은 하나 이상의 동작, 기능 또는 작용을 포함할 수 있다. 다양한 블록은 설명된 실시예로 제한하려고 의도되지는 않는다. 예컨대, 당업자는 여기에서 개시된 본 프로세스에 대하여, 프로세스 및 방법에서 수행되는 기능이 상이한 순서로 구현될 수 있다는 점을 인정할 것이다. 예컨대, 음성 메시지를 재생하는 블록(530)과 텍스트 메시지를 디스플레이 하는 블록(540)은 구현예에 따라, 순차적으로 수행될 수 있거나 동시에 수행될 수 있다. 또한, 도 5 내지 도 7에 예시된 개략적인 동작들은 예시로서만 제공되고, 개시된 실시예의 본질에서 벗어나지 않으면서, 동작들 중 일부가 선택적일 수 있거나, 더 적은 동작으로 조합될 수 있거나, 추가적인 동작으로 확장될 수 있다.
도 5에 도시된 프로세스(500)는 데이터 패킷을 수신하는 블록(510)에서 시작한다. 블록(510)에서, 컴퓨팅 장치는 송신 단말에 의해 전송된 데이터 패킷을 서버 또는 송신 단말로부터 수신하도록 구성될 수 있다. 일부 실시예에서, 컴퓨팅 장치는 통합 서버에 접속할 수 있고, 송신 단말에 의해 전송된 데이터 패킷을 통합 서버로부터 수신할 수 있다. 일부 다른 실시예에서, 컴퓨팅 장치는 중계 서버에 접속할 수 있고, 송신 단말에 의해 전송된 데이터 패킷에 대한 알림 메시지를 중계 서버로부터 수신할 수 있고, 이후, 송신 단말에 직접적으로 연결하고, 연결된 송신 단말로부터 데이터 패킷을 수신할 수 있다. 프로세스(500)는 블록(510)에서 음성 데이터 및 텍스트 데이터를 획득하는 블록(520)으로 이어질 수 있다.
블록(520)에서, 컴퓨팅 장치는 블록(510)에서 수신된 데이터 패킷으로부터 음성 데이터 및 텍스트 데이터를 획득할 수 있다. 일부 예시에서, 수신된 데이터 패킷은 음성 메시지에 대한 음성 데이터 및 음성 메시지에 해당하는 텍스트 데이터를 포함할 수 있다. 컴퓨팅 장치는 수신된 데이터 패킷으로부터 음성 데이터 및 텍스트 데이터를 모두 획득할 수 있다. 프로세스(500)는 블록(520)에서 음성 메시지를 재생하는 블록(530)과 텍스트 메시지를 디스플레이 하는 블록(540)으로 이어질 수 있다. 추가적인 일부 예시에서, 수신된 데이터 패킷은 컴퓨팅 장치 상에서 디스플레이 가능한 캐릭터에 관한 정보를 포함하는 캐릭터 데이터를 포함할 수 있다. 이러한 예시에서, 컴퓨팅 장치는 블록(520)에서 음성 데이터 및 텍스트 데이터에 더하여, 캐릭터 데이터를 획득할 수 있다
블록(530)에서, 컴퓨팅 장치는 획득된 음성 데이터에 기초하여 음성 데이터에 대응하는 음성 메시지를 재생할 수 있다. 일부 예시에서, 컴퓨팅 장치는 사용자로부터 음성 메시지를 재생하라는 음성 메시지 재생 요청을 수신할 수 있다. 일부 예시에서, 컴퓨팅 장치는 재생할 음성 메시지가 하나 이상인 경우, 하나 이상의 음성 메시지를 순차적으로 재생할 수 있다. 추가적으로, 음성 메시지의 재생은 사용자의 요청에 의해, 일시 정지 되거나, 중단되거나, 이전 음성 메시지 또는 다음 음성 메시지를 재생하도록 제어될 수 있다.
블록(540)에서, 컴퓨팅 장치는 블록(530)에 따른 음성 메시지의 재생에 대응하여, 텍스트 데이터에 대응하는 텍스트 메시지를 디스플레이 할 수 있다. 컴퓨팅 장치가 데이터 패킷으로부터 캐릭터 데이터를 더 획득하는 일부 예시에서, 컴퓨팅 장치는 획득된 캐릭터 데이터에 기초하여, 음성 메시지의 재생 및 텍스트 메시지의 디스플레이와 함께 캐릭터를 디스플레이 할 수 있다.
추가적으로, 컴퓨팅 장치는 블록(530) 및 블록(540)을 수행하기 전에, 미리 정해진 검열 조건에 기초하여, 텍스트 데이터로부터의 텍스트 메시지를 필터링 할 수 있고, 필터링의 결과에 기초하여, 블록(530) 및 블록(540)을 수행할 수 있다. 일 예시에서, 검열 조건에 따라 필터링되는 문자는 욕설, 비속어, 등을 포함할 수 있다. 텍스트 메시지가 비속어가 포함되는 경우, 컴퓨팅 장치는 텍스트의 적어도 일부를 미리 정해진 문자, 예컨대, 별표(asterisk; *)로 변경하고, 음성 메시지의 적어도 일부에 대하여, 묵음(mute) 처리를 할 수 있다.
도 6에 도시된 프로세스(600)는 데이터 패킷을 수신하는 블록(610)에서 시작한다. 블록(610)에 관한 설명은 도 5의 블록(510)에 관한 설명과 중복되므로 생략한다. 프로세스(600)는 블록(510)에서 음성 데이터를 획득하는 블록(620)으로 이어질 수 있다. 블록(620)에서, 컴퓨팅 장치는 블록(610)에서 수신된 데이터 패킷으로부터 음성 메시지에 대응하는 음성 데이터를 획득할 수 있다. 일부 예시에서, 수신된 데이터 패킷은 음성 데이터 만을 포함하거나, 음성 데이터와 음성 메시지에 대응하는 손상된 텍스트 데이터를 포함할 수 있다. 이러한 예시에서, 컴퓨팅 장치는 데이터 패킷으로부터 음성 데이터를 획득할 수 있다. 프로세스(600)는 블록(620)에서 텍스트 데이터를 획득할 수 없다고 결정하는 블록(630)으로 이어질 수 있다.
블록(630)에서, 컴퓨팅 장치는 데이터 패킷으로부터 음성 데이터를 획득할 수 있지만, 음성 메시지에 해당하는 텍스트 데이터를 획득할 수 없다고 결정할 수 있다. 프로세스(600)는 블록(630)에서 텍스트 데이터를 생성하는 블록(640) 및 음성 메시지를 재생하는 블록(660)으로 이어질 수 있다.
블록(640)에서, 컴퓨팅 장치는 획득된 음성 데이터에 기초하여 텍스트 데이터를 생성할 수 있다. 컴퓨팅 장치는 잘 알려진 음성 인식 기법을 이용하여, 음성 데이터로부터 음성 메시지에 해당하는 텍스트 데이터를 생성할 수 있다. 프로세스(600)는 블록(640)을 수행한 이후에, 텍스트 메시지를 디스플레이 하는 블록(650)으로 이어질 수 있다. 음성 메시지를 재생하는 블록(660)과 텍스트 메시지를 디스플레이 하는 블록(650)에 관한 설명은 각각 도 5에서 설명된 블록(530) 및 블록(540)과 중복되므로, 생략한다.
도 7에 도시된 프로세스(700)는 데이터 패킷을 수신하는 블록(710)에서 시작한다. 블록(710)에 관한 설명은 도 5의 블록(510)에 관한 설명과 중복되므로 생략한다. 프로세스(700)는 블록(710)에서 텍스트 데이터를 획득하는 블록(720)으로 이어질 수 있다. 블록(720)에서, 컴퓨팅 장치는 블록(710)에서 수신된 데이터 패킷으로부터 텍스트 데이터를 획득할 수 있다. 일부 예시에서, 수신된 데이터 패킷은 텍스트 데이터 만을 포함하거나, 텍스트 데이터와 텍스트 데이터에 대응하는 손상된 음성 데이터를 포함할 수 있다. 이러한 예시에서, 컴퓨팅 장치는 데이터 패킷으로부터 텍스트 데이터를 획득할 수 있다. 프로세스(700)는 블록(720)에서 음성 데이터를 획득할 수 없다고 결정하는 블록(730)으로 이어질 수 있다.
블록(730)에서, 컴퓨팅 장치는 데이터 패킷으로부터 텍스트 데이터를 획득할 수 있지만, 텍스트 데이터에 대응하는 음성 데이터를 획득할 수 없다고 결정할 수 있다. 프로세스(700)는 블록(730)에서 음성 데이터를 생성하는 블록(740) 및 텍스트 메시지를 디스플레이 하는 블록(760)으로 이어질 수 있다. 블록(740)에서, 컴퓨팅 장치는 획득된 텍스트 데이터에 기초하여 음성 데이터를 생성할 수 있다. 컴퓨팅 장치는 잘 알려진 음성 합성 기법을 이용하여, 텍스트 데이터로부터 음성 데이터를 생성할 수 있다. 프로세스(700)는 블록(740)을 수행한 이후에, 음성 메시지를 재생하는 블록(750)으로 이어질 수 있다. 음성 메시지를 재생하는 블록(750)과 텍스트 메시지를 디스플레이 하는 블록(760)에 관한 설명은 각각 도 5에서 설명된 블록(530) 및 블록(540)과 중복되므로, 생략한다.
이와 같이, 인스턴트 메시지 서비스를 제공함에 있어서, 음성 메시지를 텍스트 메시지와 함께 전송, 수신 및 획득하고, 음성 메시지를 순차 재생하고 그에 대응하여 텍스트 메시지를 디스플레이 함으로써, 음성 메시지 또는 텍스트 메시지를 서로 보완할 수 있고, 음성 메시지의 내용을 이해하기 보다 쉬워진다. 또한, 음성 메시지에 대응하는 텍스트 데이터를 저장함으로써, 음성 데이터가 용량의 문제로 지워지더라도 인스턴트 메시지 서비스의 제공 중에 이루어진 대화를 빠르게 이해하고 내용을 검색 및 검토하는 것이 용이해진다. 한편, 음성 재생과 텍스트 디스플레이와 함께 캐릭터를 디스플레이 함으로써, 새로운 유형의 인스턴트 메시지 서비스를 제공하는 것이 가능해진다.
도 8은 본 개시에 따라 인스턴트 메시지 서비스를 이용하는 일 예시를 도시하고, 도 9는 전술한 바에 따라 따라 인스턴트 메시지 서비스를 이용하는 경우 사용자의 컴퓨팅 장치 상에서 메시지가 디스플레이 및 재생되는 일 예시를 도시한다. 도 8에 도시된 바와 같이, 제1 사용자(810), 제2 사용자(820) 및 제3 사용자(830)는 각각 사용자 장치(812), 사용자 장치(822) 및 사용자 장치(832)를 통하여, 인스턴트 메시지 서비스를 이용하고 있다. 도 8의 예시에서, 사용자(810, 820, 830)는, 사용자(810, 820, 830) 중 적어도 하나의 요청에 의해, 송수신 하는 인스턴트 메시지를 공유할 수 있다. 예컨대, 제1 사용자(810)가 인스턴트 메시지를 전송하는 경우, 제2 사용자(820) 및 제3 사용자(830)는 해당 인스턴트 메시지를 수신할 수 있다. 도 8에 도시된 바와 같이, 제1 사용자(810) 및 제2 사용자(820)는 음성 메시지를 전송할 수 있다.
일부 예시에서, 제1 사용자(810)는 캐릭터(816)를 선택할 수 있고, 제2 사용자(820)는 캐릭터(826)를 선택할 수 있다. 제1 사용자(810)는 "춥지 않나요?"라는 내용의 음성 메시지(814)를 입력할 수 있다. 제1 사용자(810)가 음성 메시지(814)를 입력할 때, 사용자 장치(812)는 제1 사용자(810)의 표정을 검출할 수 있으며, 캐릭터(816)의 표정을 결정할 수 있다. 사용자 장치(812)는 음성 메시지(814)에 대하여 음성 인식을 수행함으로써 음성 메시지(814)에 대응하는 텍스트 메시지(814-2)를 획득할 수 있다. 또한, 제1 사용자(810)는 미리 정해진 동작의 목록 중의 하나를 선택하거나, 사용자 장치(812)가 음성 인식된 텍스트 메시지(814-2)로부터 인식한 문자(예컨대 "춥지"가 인식됨)를 제1 사용자(810)가 선택함으로써 캐릭터(816)의 동작을 결정할 수 있다. 이후, 음성 메시지(814)는 제2 및 제3 사용자(820 및 830)의 사용자 장치(822, 832)를 향하여 전송될 수 있다.
음성 메시지(814)가 전송된 이후, 제2 사용자(820)는 "저는 더워요!"라는 내용의 음성 메시지(824)를 입력할 수 있다. 제2 사용자(820)가 음성 메시지(824)를 입력할 때, 사용자 장치(822)는 제2 사용자(820)의 표정을 검출할 수 있으며, 캐릭터(826)의 표정을 결정할 수 있다. 사용자 장치(822)는 음성 메시지(824)로부터 텍스트 메시지(824-2)를 획득할 수 있다. 또한, 제2 사용자(820)는 미리 정해진 동작의 목록 중의 하나를 선택하거나, 사용자 장치(822)가 텍스트 메시지(824-2)로부터 인식한 문자(예컨대, "더워요"가 인식됨)를 제2 사용자(820)가 선택함으로써 캐릭터(826)의 동작을 결정할 수 있다. 이후, 음성 메시지(824)가 제1 및 제3 사용자(810, 830)의 사용자 장치(812,232)를 향하여 전송될 수 있다.
이후, 제3 사용자(830)는 사용자 장치(832)를 이용하여 인스턴트 메시지 서비스를 제공하는 서버(도시되지 않음)에 접속할 수 있으며, 사용자 장치(832)는 음성 메시지(814)에 대응하는 음성 데이터와 텍스트 메시지(814-2)에 대응하는 텍스트 데이터를 포함하는 데이터 패킷 및 음성 메시지(824)에 대응하는 음성 데이터와 텍스트 메시지(824-2)에 대응하는 텍스트 데이터를 포함하는 데이터 패킷을 수신할 수 있다. 도 9(a) 및 도 9(b)에 도시되는 바와 같이, 텍스트 메시지(814-2, 824-2)는, 음성 메시지(814, 824)의 재생에 대응하여 디스플레이 될 수 있다. 제3 사용자(830)는 사용자 장치(832) 상에 표시된 사용자 인터페이스(840)를 이용하여 음성 메시지 재생 요청을 입력할 수 있다. 음성 메시지 재생 요청이 입력되면, 도 8(a)에 도시된 바와 같이, 음성 메시지(814)가 캐릭터(816)의 디스플레이와 함께 재생된다. 또한, 음성 메시지(814)가 재생되는 동안, 음성 인식된 텍스트 메시지(814-2)가 음성 메시지(814)의 재생에 대응하여, 디스플레이 될 수 있다. 캐릭터(816)는 제1 사용자(810)의 사용자 장치(812)에서 결정된 표정 및 동작을 보여줄 수 있다. 이후, 도 9(b)에 도시된 바와 같이, 음성 메시지(824)가 캐릭터(826)의 디스플레이와 함께 재생된다. 또한, 음성 메시지(824)가 재생되는 동안, 음성 인식된 텍스트 메시지(824-2)가, 음성 메시지(824)의 재생에 대응하여, 디스플레이 될 수 있다. 캐릭터(826)는 제2 사용자(820)의 사용자 장치(822)에서 결정된 표정 및 동작을 보여줄 수 있다.
도 9(c)는 인스턴트 메시지의 로그를 나타내는 일 예시를 도시한다. 제3 사용자(830)의 사용자 장치(832)는 제1 사용자(810) 및 제2 사용자(820)로부터 수신한 텍스트 메시지들(814-2, 824-2)을 순차적으로 디스플레이 할 수 있다.
도 10은 본 개시의 적어도 일부 실시예에 따라 결함 검사를 수행하는 데 이용될 수 있는 예시적인 컴퓨터 프로그램 제품(1000)을 도시한다. 예시적인 컴퓨터 프로그램 제품의 예시적인 실시예는 신호 포함 매체(1002)를 이용하여 제공된다. 일부 실시예에서, 하나 이상의 컴퓨터 프로그램 제품(1000)의 신호 포함 매체(1002)는 컴퓨터 판독가능 매체(1006), 기록 가능 매체(1008) 및/또는 통신 매체(1010)를 포함할 수 있다. 신호 포함 매체(1002)에 포함된 명령어(1004)는 도 1에 도시된 송신 단말(120) 및 수신 단말(130), 도 2에 도시된 송신 단말(200) 및/또는 도 4에 수신 단말(400)과 같은 컴퓨팅 장치에 의해 실행될 수 있다. 일부 실시예에서, 명령어(1004)는 실행되면, 컴퓨팅 장치로 하여금 도 3, 도 5, 도 6 및 도 7 중 적어도 하나의 프로세스를 수행하기 위한 적어도 하나의 명령어를 포함할 수 있다.
도 11은 본 개시의 적어도 일부 실시예에 따른 인스턴트 메시지 서비스 제공 서버(1100)를 개략적으로 도시하는 블록도이다. 인스턴트 메시지 서비스 제공 서버(1100)는 통합 서버 및/또는 중계 서버의 기능을 가지도록 구현될 수 있다. 도 11에 도시된 바와 같이, 인스턴트 메시지 서비스 제공 서버(1100)는 통신 모듈(1110), 캐릭터 모듈(1120), 음성 메모리(1130) 및 텍스트 메모리(1140)를 포함할 수 있다. 통신 모듈(1110)은 송신 단말로부터 음성 데이터, 텍스트 데이터 및/또는 캐릭터 데이터를 포함하는 데이터 패킷을 송신 단말로부터 수신할 수 있다. 또한, 통신 모듈(1110)은 수신 단말에, 데이터 패킷에 대한 알림 및/또는 데이터 패킷을 전송할 수 있다. 캐릭터 모듈(1120)은 송신 단말로부터 수신된 캐릭터 데이터, 예컨대, 송신자의 캐릭터의 종류, 표정, 동작, 등에 관한 정보를 저장할 수 있다. 음성 메모리(1130)는 송신 단말로부터 수신된 음성 데이터를 저장할 수 있다. 일부 예시에서, 음성 메모리(1130)에 저장된 음성 데이터는 미리 정해진 조건에 따라 삭제될 수 있다. 텍스트 메모리(1140)는 음성 메시지에 해당하는 텍스트 데이터, 예컨대, 음성 인식된 텍스트 메시지 및 타이핑된 텍스트 메시지를 저장할 수 있다. 일부 예시에서, 텍스트 메모리(1140)는 텍스트 데이터를 음성 메모리(1130)에 저장된 음성 데이터와 대응하여 저장할 수 있고, 캐릭터 모듈(1120)은 캐릭터 데이터를 음성 메모리(1130)에 저장된 음성 데이터 및/또는 텍스트 메모리(1140)에 저장된 텍스트 데이터에 대응하여 저장할 수 있다.
청구된 대상은 여기에서 기술된 특정 구현예로 범위가 제한되지 않는다. 예컨대, 일부 구현예는 장치 또는 장치의 조합 상에서 동작하도록 사용될 수 있는 것과 같은 하드웨어로 있을 수 있는 반면, 예컨대, 다른 구현예는 소프트웨어 및/또는 펌웨어로 있을 수 있다. 마찬가지로, 청구된 대상은 이러한 점에서 범위가 제한되지 않지만, 일부 구현예는 신호 베어링 매체, 저장 매체와 같은 하나 이상의 물품을 포함할 수 있다. CD-ROM, 컴퓨터 디스크, 플래시 메모리 등과 같은 이러한 저장 매체는, 예컨대, 컴퓨팅 시스템, 컴퓨팅 플랫폼 또는 기타 시스템과 같은 컴퓨팅 장치에 의하여 실행되면, 예컨대, 앞서 설명된 구현예 중 하나와 같은 청구된 대상에 따라 프로세서의 실행을 야기시킬 수 있는 명령을 저장할 수 있다. 하나의 가능성으로서, 컴퓨팅 장치는 하나 이상의 처리 유닛 또는 프로세서, 디스플레이, 키보드 및/또는 마우스와 같은 하나 이상의 입/출력 장치, 및 정적 랜덤 액세스 메모리, 동적 랜덤 액세스 메모리, 플래시 메모리 및/또는 하드 드라이브와 같은 하나 이상의 메모리를 포함할 수 있다.
시스템의 양상들의 하드웨어 및 소프트웨어 구현 사이에는 구별이 거의 없다; 하드웨어 또는 소프트웨어의 사용은 일반적으로 (그러나 어떤 맥락에서 하드웨어 및 소프트웨어 사이의 선택이 중요할 수 있다는 점에서 항상 그런 것은 아니지만) 비용 대비 효율의 트레이드오프(tradeoff)를 나타내는 설계상 선택(design choice)이다. 본 개시에서 기재된 프로세스 및/또는 시스템 및/또는 다른 기술들이 영향 받을 수 있는 다양한 수단(vehicles)(예를 들어, 하드웨어, 소프트웨어 및/또는 펌웨어)이 있으며, 선호되는 수단은 프로세스 및/또는 시스템 및/또는 다른 기술이 사용되는 맥락(context)에 따라 변경될 것이다. 예를 들어, 구현자가 속도 및 정확성이 가장 중요하다고 결정한다면, 구현자는 주로 하드웨어 및/또는 펌웨어 수단을 선택할 수 있으며, 유연성이 가장 중요하다면, 구현자는 주로 소프트웨어 구현을 선택할 수 있으며; 또는, 다른 대안으로서, 구현자는 하드웨어, 소프트웨어 및/또는 펌웨어의 어떤 결합을 선택할 수 있다.
전술한 상세한 설명은 블록도, 흐름도, 및/또는 예시를 통해 장치 및/또는 프로세스의 다양한 실시예를 설명하였다. 그러한 블록도, 흐름도, 및/또는 예시는 하나 이상의 기능 및/또는 동작을 포함하는 한, 당업자라면 그러한 블록도, 흐름도, 또는 예시 내의 각각의 기능 및/또는 동작은 하드웨어, 소프트웨어, 펌웨어, 또는 그들의 실질적으로 임의의 조합의 넓은 범위에 의해 개별적으로 및/또는 집합적으로 구현될 수 있다는 것이 이해할 것이다. 일 실시예에서, 본 개시에 기재된 대상의 몇몇 부분은 ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array), DSP(Digital Signal Processor) 또는 다른 집적의 형태를 통해 구현될 수 있다. 그러나, 당업자라면, 본 개시의 실시예의 일부 양상은, 하나 이상의 컴퓨터 상에 실행되는 하나 이상의 컴퓨터 프로그램(예를 들어, 하나 이상의 컴퓨터 시스템 상에 실행되는 하나 이상의 프로그램), 하나 이상의 프로세서 상에서 실행되는 하나 이상의 프로그램(예를 들어, 하나 이상의 마이크로프로세서 상에서 실행되는 하나 이상의 프로그램), 펌웨어 또는 이들의 실질적으로 임의의 조합으로써, 전체적으로 또는 부분적으로 균등하게 집적 회로에서 구현될 수 있다는 점, 소프트웨어 및/또는 펌웨어를 위한 코드의 작성 및/또는 회로의 설계는 본 개시에 비추어 당업자의 기술 범위 내라는 점을 알 수 있을 것이다. 또한, 당업자라면, 본 개시의 대상의 매커니즘(mechanism)들이 다양한 형태의 프로그램 제품으로 분배될 수 있음을 이해할 것이며, 본 개시의 대상의 예시는, 분배를 실제로 수행하는데 사용되는 신호 베어링 매체의 특정 유형과 무관하게 적용됨을 이해할 것이다.
특정 예시적 기법이 다양한 방법 및 시스템을 이용하여 여기에서 기술되고 도시되었으나, 청구된 대상에서 벗어나지 않고, 다양한 기타의 수정이 이루어질 수 있고, 등가물이 대체될 수 있음이 당업자에 의해 이해되어야 한다. 추가적으로, 여기에 기술된 중심 개념으로부터 벗어남이 없이 특정 상황을 청구된 대상의 교시로 적응시키도록 많은 수정이 이루어질 수 있다. 따라서, 청구된 대상이 개시된 특정 예시로 제한되지 않으나, 그러한 청구된 대상은 또한 첨부된 청구범위 및 그 균등의 범위 내에 들어가는 모든 구현예를 포함할 수 있음이 의도된다.

Claims (16)

  1. 인스턴트 메시지 서비스 어플리케이션을 실행하여 메시지를 생성 및 송신하는 송신 단말 상에서 수행되는 방법으로서, 상기 송신 단말은 인스턴트 메시지 서비스를 제공하는 통합 서버와 네트워크를 통해 데이터 통신 가능하게 연결되며,
    상기 방법은,
    상기 송신 단말의 사용자로부터 음성 메시지를 입력 받는 단계와,
    상기 입력된 음성 메시지로부터 해당 음성 데이터를 생성하는 단계와,
    상기 음성 데이터에 기초하여 상기 음성 메시지에 해당하는 텍스트 데이터를 생성하는 단계와,
    상기 음성 데이터와 상기 텍스트 데이터를 결합하여 데이터 패킷을 생성하는 단계와, 그리고
    상기 데이터 패킷을 상기 통합 서버로 전송하는 단계
    를 포함하는, 송신 단말 상에서 수행되는 방법.
  2. 인스턴트 메시지 서비스 어플리케이션을 실행하여 메시지를 생성 및 송신하는 송신 단말 상에서 수행되는 방법으로서, 상기 송신 단말은 인스턴트 메시지 서비스를 제공하는 통합 서버와 네트워크를 통해 데이터 통신 가능하게 연결되며,
    상기 방법은,
    상기 송신 단말의 사용자로부터 음성 메시지를 입력 받는 단계와,
    상기 입력된 음성 메시지로부터 해당 음성 데이터를 생성하는 단계와,
    상기 사용자로부터 상기 음성 메시지에 해당하는 텍스트를 입력 받아 텍스트 데이터를 생성하는 단계와,
    상기 음성 데이터와 상기 텍스트 데이터를 결합하여 데이터 패킷을 생성하는 단계와, 그리고
    상기 데이터 패킷을 상기 통합 서버로 전송하는 단계
    를 포함하는, 송신 단말 상에서 수행되는 방법.
  3. 인스턴트 메시지 서비스 어플리케이션을 실행하여 메시지를 생성 및 송신하는 송신 단말 상에서 수행되는 방법으로서, 상기 송신 단말은 인스턴트 메시지 서비스를 제공하는 중계 서버와 네트워크를 통해 데이터 통신 가능하게 연결되고, 또한 상기 송신 단말은 상기 인스턴트 메시지 서비스 어플리케이션을 실행하는 적어도 하나의 수신 단말과 직접적으로 통신 가능하도록 연결되며,
    상기 방법은,
    상기 송신 단말의 사용자로부터 음성 메시지를 입력 받는 단계와,
    상기 입력된 음성 메시지로부터 해당 음성 데이터를 생성하는 단계와,
    상기 음성 데이터에 기초하여 상기 음성 메시지에 해당하는 텍스트 데이터를 생성하는 단계와,
    상기 음성 데이터와 상기 텍스트 데이터를 결합하여 데이터 패킷을 생성하는 단계와,
    상기 데이터 패킷에 관한 알림 메시지를 생성하는 단계와,
    상기 생성된 알림 메시지를 상기 중계 서버로 전송하는 단계와, 그리고
    상기 데이터 패킷을 상기 적어도 하나의 수신 단말로 전송하는 단계
    를 포함하는, 송신 단말 상에서 수행되는 방법.
  4. 인스턴트 메시지 서비스 어플리케이션을 실행하여 메시지를 생성 및 송신하는 송신 단말 상에서 수행되는 방법으로서, 상기 송신 단말은 인스턴트 메시지 서비스를 제공하는 중계 서버와 네트워크를 통해 데이터 통신 가능하게 연결되고, 또한 상기 송신 단말은 상기 인스턴트 메시지 서비스 어플리케이션을 실행하는 적어도 하나의 수신 단말과 직접적으로 통신 가능하도록 연결되며,
    상기 방법은,
    상기 송신 단말의 사용자로부터 음성 메시지를 입력 받는 단계와,
    상기 입력된 음성 메시지로부터 해당 음성 데이터를 생성하는 단계와,
    상기 사용자로부터 상기 음성 메시지에 해당하는 텍스트를 입력 받아 텍스트 데이터를 생성하는 단계와,
    상기 음성 데이터와 상기 텍스트 데이터를 결합하여 데이터 패킷을 생성하는 단계와,
    상기 데이터 패킷에 관한 알림 메시지를 생성하는 단계와,
    상기 생성된 알림 메시지를 상기 중계 서버로 전송하는 단계와, 그리고
    상기 데이터 패킷을 상기 적어도 하나의 수신 단말로 전송하는 단계
    를 포함하는, 송신 단말 상에서 수행되는 방법.
  5. 인스턴트 메시지 서비스 어플리케이션을 실행하고, 인스턴트 메시지를 생성 및 송신하기 위한 송신 단말로서,
    상기 송신 단말의 사용자로부터 음성 메시지를 입력 받도록 구성되는 음성 입력 모듈;
    상기 음성 입력 모듈에 의해 수신된 상기 음성 메시지로부터 해당 음성 데이터를 생성하도록 구성되는 음성 데이터 생성 모듈;
    상기 음성 메시지에 해당하는 텍스트 데이터를 생성하도록 구성된 텍스트 데이터 생성 모듈;
    상기 음성 데이터와 상기 텍스트 데이터를 결합하여 데이터 패킷을 생성하도록 구성되는 데이터 패킷 생성 모듈; 및
    상기 데이터 패킷을 서버 또는 적어도 하나의 수신 단말에 전송하도록 구성되는 통신 모듈
    을 포함하고,
    상기 텍스트 데이터 생성 모듈은 상기 음성 데이터 생성 모듈로부터의 상기 음성 데이터에 대한 음성 인식을 수행하도록 구성되는 음성 인식 모듈 및 상기 사용자로부터 상기 음성 메시지에 해당하는 텍스트를 입력 받도록 구성되는 텍스트 입력 모듈을 포함하고,
    상기 텍스트 데이터 생성 모듈은 상기 음성 인식 모듈 또는 상기 텍스트 입력 모듈 중 적어도 하나를 이용하여 상기 텍스트 데이터를 생성하도록 구성되는, 송신 단말.
  6. 제5항에 있어서,
    상기 데이터 패킷에 대한 알림 메시지를 생성하도록 구성되는 알림 생성 모듈
    을 더 포함하는 송신 단말.
  7. 제5항에 있어서,
    상기 송신 단말 및 상기 적어도 하나의 수신 단말 상에서 디스플레이 가능한 캐릭터에 관한 정보를 획득하고 상기 캐릭터에 관한 정보로부터 캐릭터 데이터를 생성하도록 구성되는 캐릭터 모듈
    을 더 포함하고,
    상기 데이터 패킷 생성 모듈은 상기 음성 데이터, 상기 텍스트 데이터 및 상기 캐릭터 데이터를 결합하여 상기 데이터 패킷을 생성하도록 구성되는, 송신 단말.
  8. 인스턴트 메시지 서비스 어플리케이션을 실행하여 메시지를 생성 및 송신하기 위한 컴퓨터 프로그램이 저장된 컴퓨터 판독가능 저장 매체로서, 상기 컴퓨터 프로그램은 실행되면, 컴퓨팅 장치로 하여금,
    상기 컴퓨팅 장치의 사용자로부터 음성 메시지를 입력 받는 동작과,
    상기 입력된 음성 메시지로부터 해당 음성 데이터를 생성하는 동작과,
    상기 음성 데이터에 기초하여 상기 음성 메시지에 해당하는 텍스트 데이터를 생성하는 동작과,
    상기 음성 데이터와 상기 텍스트 데이터를 결합하여 데이터 패킷을 생성하는 동작과, 그리고
    상기 데이터 패킷을 인스턴트 메시지 서비스를 제공하는 통합 서버로 전송하는 동작을 포함하는 동작들을 실행가능 하도록 하는 하나 이상의 컴퓨터 실행 가능 명령어를 포함하는 것인, 컴퓨터 판독가능 저장 매체.
  9. 인스턴트 메시지 서비스 어플리케이션을 실행하여 메시지를 수신하는 수신 단말 상에서 수행되는 방법으로서, 상기 수신 단말은 인스턴트 메시지 서비스를 제공하는 통합 서버와 네트워크를 통해 데이터 통신 가능하게 연결되며,
    상기 통합 서버로부터 송신 단말에 의해 전송된 데이터 패킷을 수신하는 단계;
    상기 데이터 패킷으로부터 음성 데이터를 획득하는 단계;
    상기 음성 데이터에 기초하여, 상기 음성 메시지에 해당하는 텍스트 데이터를 생성하는 단계;
    상기 음성 데이터에 기초하여, 상기 음성 데이터에 대응하는 음성 메시지를 재생하는 단계; 및
    상기 텍스트 데이터에 기초하여, 상기 음성 메시지의 재생에 대응하여 상기 텍스트 데이터에 대응하는 텍스트 메시지를 디스플레이 하는 단계
    를 포함하는 수신 단말 상에서 수행되는 방법.
  10. 인스턴트 메시지 서비스 어플리케이션을 실행하여 메시지를 수신하는 수신 단말 상에서 수행되는 방법으로서, 상기 수신 단말은 인스턴트 메시지 서비스를 제공하는 통합 서버와 네트워크를 통해 데이터 통신 가능하게 연결되며,
    상기 통합 서버로부터 송신 단말에 의해 전송된 데이터 패킷을 수신하는 단계;
    상기 데이터 패킷으로부터 텍스트 데이터를 획득하는 단계;
    상기 데이터 패킷으로부터 상기 텍스트 데이터에 해당하는 음성 데이터를 획득할 수 없다고 결정하는 단계;
    상기 텍스트 데이터에 기초하여, 상기 텍스트 데이터에 해당하는 상기 음성 데이터를 생성하는 단계;
    상기 음성 데이터에 기초하여, 상기 음성 데이터에 대응하는 음성 메시지를 재생하는 단계; 및
    상기 텍스트 데이터에 기초하여, 상기 음성 메시지의 재생에 대응하여 상기 텍스트 데이터에 대응하는 텍스트 메시지를 디스플레이 하는 단계
    를 포함하는 수신 단말 상에서 수행되는 방법.
  11. 인스턴트 메시지 서비스 어플리케이션을 실행하여 메시지를 수신하는 수신 단말 상에서 수행되는 방법으로서, 상기 수신 단말은 인스턴트 메시지 서비스를 제공하는 중계 서버와 네트워크를 통해 데이터 통신 가능하게 연결되고, 또한 상기 수신 단말은 상기 인스턴트 메시지 서비스 어플리케이션을 실행하는 송신 단말과 직접적으로 통신 가능하도록 연결되며,
    상기 중계 서버로부터 상기 송신 단말에 의해 전송된 데이터 패킷에 대한 알림 메시지를 수신하는 단계;
    상기 알림 메시지에 응답하여, 상기 송신 단말로부터 상기 데이터 패킷을 수신하는 단계;
    상기 데이터 패킷으로부터 음성 데이터를 획득하는 단계;
    상기 음성 데이터에 기초하여, 상기 음성 메시지에 해당하는 텍스트 데이터를 생성하는 단계;
    상기 음성 데이터에 기초하여, 상기 음성 데이터에 대응하는 음성 메시지를 재생하는 단계; 및
    상기 텍스트 데이터에 기초하여, 상기 음성 메시지의 재생에 대응하여 상기 텍스트 데이터에 대응하는 텍스트 메시지를 디스플레이 하는 단계
    를 포함하는 수신 단말 상에서 수행되는 방법.
  12. 인스턴트 메시지 서비스 어플리케이션을 실행하여 메시지를 수신하는 수신 단말 상에서 수행되는 방법으로서, 상기 수신 단말은 인스턴트 메시지 서비스를 제공하는 중계 서버와 네트워크를 통해 데이터 통신 가능하게 연결되고, 또한 상기 수신 단말은 상기 인스턴트 메시지 서비스 어플리케이션을 실행하는 송신 단말과 직접적으로 통신 가능하도록 연결되며,
    상기 중계 서버로부터 상기 송신 단말에 의해 전송된 데이터 패킷에 대한 알림 메시지를 수신하는 단계;
    상기 알림 메시지에 응답하여, 상기 송신 단말로부터 상기 데이터 패킷을 수신하는 단계;
    상기 데이터 패킷으로부터 텍스트 데이터를 획득하는 단계;
    상기 데이터 패킷으로부터 상기 텍스트 데이터에 해당하는 음성 데이터를 획득할 수 없다고 결정하는 단계;
    상기 텍스트 데이터에 기초하여, 상기 텍스트 데이터에 해당하는 상기 음성 데이터를 생성하는 단계;
    상기 음성 데이터에 기초하여, 상기 음성 데이터에 대응하는 음성 메시지를 재생하는 단계; 및
    상기 텍스트 데이터에 기초하여, 상기 음성 메시지의 재생에 대응하여 상기 텍스트 데이터에 대응하는 텍스트 메시지를 디스플레이 하는 단계
    를 포함하는 수신 단말 상에서 수행되는 방법.
  13. 인스턴트 메시지 서비스 어플리케이션을 실행하고, 인스턴트 메시지를 수신하기 위한 수신 단말로서,
    송신 단말에 의해 전송된 데이터 패킷을 서버 또는 상기 송신 단말로부터 수신하도록 구성되는 통신 모듈;
    상기 데이터 패킷으로부터 음성 데이터 또는 텍스트 데이터 중 적어도 하나를 획득하도록 구성되는 데이터 획득 모듈;
    음성 인식 모듈 및 음성 생성 모듈을 포함하는 데이터 보완 모듈; 및
    상기 음성 데이터에 기초하여, 상기 음성 데이터에 대응하는 음성 메시지를 재생하도록 구성되는 재생 모듈 및 상기 텍스트 데이터에 기초하여, 상기 음성 메시지의 재생에 대응하여 상기 텍스트 데이터에 대응하는 텍스트 메시지를 디스플레이 하도록 구성되는 디스플레이 모듈을 포함하는 출력 모듈
    을 포함하고,
    상기 데이터 획득 모듈이 상기 데이터 패킷으로부터 상기 음성 데이터를 획득하고 상기 음성 데이터에 해당하는 상기 텍스트 데이터를 획득할 수 없는 경우, 상기 데이터 보완 모듈은 상기 음성 인식 모듈로 하여금 상기 음성 데이터에 해당하는 상기 텍스트 데이터를 생성하도록 하고,
    상기 데이터 획득 모듈이 상기 데이터 패킷으로부터 상기 텍스트 데이터를 획득하고 상기 텍스트 데이터에 해당하는 음성 데이터를 획득할 수 없는 경우, 상기 데이터 보완 모듈은 상기 음성 생성 모듈로 하여금 상기 텍스트 데이터에 해당하는 상기 음성 데이터를 생성하도록 하는 것인, 수신 단말.
  14. 제13항에 있어서,
    상기 통신 모듈은,
    상기 서버로부터 상기 데이터 패킷에 대한 알림 메시지를 수신하고, 그리고
    상기 알림 메시지에 응답하여, 상기 송신 단말로부터 상기 데이터 패킷을 수신하도록 구성되는 것인, 수신 단말.
  15. 제13항에 있어서,
    상기 데이터 획득 모듈은 상기 데이터 패킷으로부터 상기 디스플레이 모듈에 의해 디스플레이 가능한 캐릭터에 관한 정보를 포함하는 캐릭터 데이터를 획득하도록 구성되고,
    상기 출력 모듈은 상기 디스플레이 모듈로 하여금 상기 캐릭터 데이터에 기초하여, 상기 텍스트 메시지의 디스플레이 및 상기 음성 메시지의 재생과 함께 상기 캐릭터를 디스플레이 하도록 구성되는 것인, 수신 단말.
  16. 인스턴트 메시지 서비스 어플리케이션을 실행하여 메시지를 수신하기 위한 컴퓨터 프로그램이 저장된 컴퓨터 판독가능 저장 매체로서, 상기 컴퓨터 프로그램은 실행되면, 컴퓨팅 장치로 하여금,
    서버 또는 송신 단말로부터 상기 송신 단말에 의해 전송된 데이터 패킷을 수신하는 동작;
    상기 데이터 패킷으로부터 텍스트 데이터를 획득하는 동작;
    상기 데이터 패킷으로부터 상기 텍스트 데이터에 해당하는 음성 데이터를 획득할 수 없다고 결정하는 동작;
    상기 텍스트 데이터에 기초하여, 상기 텍스트 데이터에 해당하는 상기 음성 데이터를 생성하는 동작;
    상기 음성 데이터에 기초하여, 상기 음성 데이터에 대응하는 음성 메시지를 재생하는 동작; 및
    상기 텍스트 데이터에 기초하여, 상기 음성 메시지의 재생에 대응하여 상기 텍스트 데이터에 대응하는 텍스트 메시지를 디스플레이 하는 동작을 포함하는 동작들을 실행가능 하도록 하는 하나 이상의 컴퓨터 실행 가능 명령어를 포함하는 것인, 컴퓨터 판독가능 저장 매체.
KR1020180116025A 2018-09-28 2018-09-28 비동기적 인스턴트 메시지 서비스를 제공하기 위한 장치, 방법 및 컴퓨터 판독가능 저장 매체 Ceased KR20200036414A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180116025A KR20200036414A (ko) 2018-09-28 2018-09-28 비동기적 인스턴트 메시지 서비스를 제공하기 위한 장치, 방법 및 컴퓨터 판독가능 저장 매체
PCT/KR2018/011769 WO2020067597A1 (ko) 2018-09-28 2018-10-05 비동기적 인스턴트 메시지 서비스를 제공하기 위한 장치, 방법 및 컴퓨터 판독가능 저장 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180116025A KR20200036414A (ko) 2018-09-28 2018-09-28 비동기적 인스턴트 메시지 서비스를 제공하기 위한 장치, 방법 및 컴퓨터 판독가능 저장 매체

Publications (1)

Publication Number Publication Date
KR20200036414A true KR20200036414A (ko) 2020-04-07

Family

ID=69952980

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180116025A Ceased KR20200036414A (ko) 2018-09-28 2018-09-28 비동기적 인스턴트 메시지 서비스를 제공하기 위한 장치, 방법 및 컴퓨터 판독가능 저장 매체

Country Status (2)

Country Link
KR (1) KR20200036414A (ko)
WO (1) WO2020067597A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116069286A (zh) * 2021-10-29 2023-05-05 北京搜狗科技发展有限公司 一种终端设备间语音输入方法、装置和电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004100581A1 (en) * 2003-05-08 2004-11-18 Vimplicity Ltd. Methods and systems for instant voice messaging and instant voice message retrieval
KR100679402B1 (ko) * 2005-01-14 2007-02-05 에스케이 텔레콤주식회사 메신저 서비스 제공 방법 및 시스템
KR20060104324A (ko) * 2005-03-30 2006-10-09 주식회사 케이티프리텔 캐릭터 합성 메시지 전송 방법 및 시스템
WO2009125710A1 (ja) * 2008-04-08 2009-10-15 株式会社エヌ・ティ・ティ・ドコモ メディア処理サーバ装置およびメディア処理方法
KR101907406B1 (ko) * 2012-05-08 2018-10-12 삼성전자 주식회사 통신 서비스 운용 방법 및 시스템

Also Published As

Publication number Publication date
WO2020067597A1 (ko) 2020-04-02

Similar Documents

Publication Publication Date Title
KR102758381B1 (ko) 3차원(3d) 환경에 대한 통합된 입/출력
EP3095091B1 (en) Method and apparatus of processing expression information in instant communication
US20220406021A1 (en) Virtual Reality Experiences and Mechanics
US9369669B2 (en) Video communication method and system in instant communication
KR102295935B1 (ko) 흉내 및 풍부한 멀티미디어로 응답하는 디지털 개인용 어시스턴트 상호작용 기법
US9866511B2 (en) Ensuring that a composed message is being sent to the appropriate recipient
JP6501919B2 (ja) 音声チャットモード自己適応方法及び装置
JP2017526074A (ja) メッセージングおよびソーシャル・ネットワーキング・アプリケーションのためのユーザ表情ライブラリを生成するシステムおよび方法
US9247206B2 (en) Information processing device, information processing system, and information processing method
KR102948989B1 (ko) 동기식 오디오 및 텍스트 생성
US10200338B2 (en) Integrating communication modes in persistent conversations
US12549506B2 (en) System and method for multi-channel group communications
US20230132664A1 (en) Visual interaction method and device
KR20220081090A (ko) 감정 기반 멀티미디어 컨텐츠 생성 방법 및 시스템
KR20200023814A (ko) 비동기적 인스턴트 메시지 서비스를 제공하기 위한 장치, 방법 및 컴퓨터 판독가능 저장 매체
WO2023200397A2 (zh) 消息处理方法、装置、电子设备及存储介质
US20250358476A1 (en) Systems and methods for enhancing group media session interactions
US20250294117A1 (en) Systems and methods for enabling a smart search and the sharing of results during a conference
US12243550B2 (en) Speech image providing method and computing device for performing the same
KR20200036414A (ko) 비동기적 인스턴트 메시지 서비스를 제공하기 위한 장치, 방법 및 컴퓨터 판독가능 저장 매체
US11830120B2 (en) Speech image providing method and computing device for performing the same
CN117915124A (zh) 直播录制方法、装置、存储介质、电子设备及程序产品
US20190104101A1 (en) Paired effects in conversations between users
JP7648242B2 (ja) アニメーション化絵文字の記録及び再生のためのシステム及び方法
US12536727B2 (en) Speech image providing method and computing device for performing the same

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180928

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20191115

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20200403

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20191115

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

PG1501 Laying open of application