KR20170086869A - 음성통화 중 영상을 전송하는 방법 및 장치 - Google Patents

음성통화 중 영상을 전송하는 방법 및 장치 Download PDF

Info

Publication number
KR20170086869A
KR20170086869A KR1020160006420A KR20160006420A KR20170086869A KR 20170086869 A KR20170086869 A KR 20170086869A KR 1020160006420 A KR1020160006420 A KR 1020160006420A KR 20160006420 A KR20160006420 A KR 20160006420A KR 20170086869 A KR20170086869 A KR 20170086869A
Authority
KR
South Korea
Prior art keywords
electronic device
service
communication
various embodiments
connection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
KR1020160006420A
Other languages
English (en)
Inventor
최병우
윤영성
이유현
최현식
이진구
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160006420A priority Critical patent/KR20170086869A/ko
Priority to US16/070,954 priority patent/US10455192B2/en
Priority to EP17741624.5A priority patent/EP3402185B1/en
Priority to CN201780007335.8A priority patent/CN108476302A/zh
Priority to PCT/KR2017/000545 priority patent/WO2017126858A1/ko
Publication of KR20170086869A publication Critical patent/KR20170086869A/ko
Abandoned legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/224—Monitoring or handling of messages providing notification on incoming messages, e.g. pushed notifications of received messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/16—Communication-related supplementary services, e.g. call-transfer or call-hold
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Telephone Function (AREA)

Abstract

본 발명의 다양한 실시 예들은 전자 장치들 간에 음성 통화를 수행하는 중에 영상을 전송하는 방법 및 장치에 관한 것이다. 본 발명의 다양한 실시 예들에 따르면, 전자 장치에 있어서, 디스플레이; 적어도 하나의 프로토콜(protocol)을 이용하여 외부 전자 장치와 무선 통신을 형성하도록 설정된 적어도 하나의 통신 회로; 상기 디스플레이 및 상기 적어도 하나의 통신 회로와 전기적으로 연결된 프로세서; 및 상기 프로세서와 전기적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 디스플레이 상에 유저 인터페이스를 표시하고, 상기 유저 인터페이스는 상기 외부 전자 장치와 영상 통신(video communication)의 가능 여부에 대한 인디케이션(indication)을 포함하고, 상기 유저 인터페이스를 표시하는 동안 상기 외부 전자 장치와 영상 통화(video call)를 형성하고, 상기 영상 통신의 가능 여부를 요청하기 위한 제1 신호(first signal)를 상기 적어도 하나의 통신 회로를 이용하여 전송하고, 상기 영상 통신의 가능 여부를 지시하는 제2 신호(second signal)를 상기 적어도 하나의 통신 회로를 이용하여 수신하고, 상기 제2 신호에 응답하여, 상기 외부 전자 장치와 영상 통신 가능을 지시하는 상기 인디케이션을 변경(adapt)하고, 상기 인디케이션을 선택하는 사용자 입력을 수신하고, 및 상기 사용자 입력에 응답하여, 상기 외부 전자 장치에 영상 데이터(video data)의 전송을 개시(initiate)하도록 하는 인스트럭션들(instructions)을 저장할 수 있다. 다양한 실시 예들이 가능하다.

Description

음성통화 중 영상을 전송하는 방법 및 장치{METHOD AND APPARATUS FOR TRANSMITTING VIDEO DURING VOICE CALL}
본 발명의 다양한 실시 예들은 전자 장치들 간에 음성 통화를 수행하는 중에 영상을 전송하는 방법 및 장치에 관한 것이다.
최근 디지털 기술의 발달과 함께 이동통신 단말기, 스마트 폰(smart phone), 태블릿(tablet) PC(Personal Computer), PDA(Personal Digital Assistant), 전자수첩, 노트북(notebook), 웨어러블 기기(wearable device), IoT(Internet of Things) 기기, 또는 음향 장치(audible device) 등과 같은 다양한 유형의 전자 장치가 널리 사용되고 있다.
최근에는 전자 장치의 급속한 보급에 따라 단순한 음성통화 위주의 기존의 이동통신 서비스에서, 데이터 통신 위주의 데이터 통신 서비스로 전환되고 있으며, 다양한 형태의 서비스가 제안되고 있다. 예를 들면, 전자 장치에서 인터넷을 이용하여 웹 페이지를 열람하거나 어플리케이션(application)을 설치하여 사용자가 원하는 서비스(예: 영상 서비스(예: 영상 공유, 영상 통화 서비스 등))를 전자 장치를 통해 어디서나 제공받을 수 있다.
종래의 영상 공유 또는 영상 통화 서비스는 주로 이동통신 네트워크를 통해 이루어지고 있는데, 이는 별도의 영상 통화 버튼을 눌러서 영상 통화를 수행하도록 하는 방식이 대부분이다. 하지만, 종래의 영상 서비스는, 영상 통화 서비스를 제공하는 이동통신 네트워크를 반드시 거쳐야 하는 한계가 있다. 따라서, 예를 들면, 음성 통화를 이동통신 네트워크를 통해 수행하면서 이와 병행하여, 영상 통화나 영상 공유와 같은 영상 서비스를 동시에 제공할 수 없다.
종래에서는, 영상 서비스와 음성 통화 서비스는 별도로 이루어져야 하므로, 음성 통화를 수행하면서 이와 병행하여 영상 서비스를 제공받을 수 없다. 예를 들면, 카메라가 내장된 전자 장치에서 음성 통화와, 영상 촬영 및 전송 기능은 분리되어 있는 것이 일반적이다. 따라서 사용자가 상대방에게 영상을 촬영하여 전송하기 위해서는 음성 통화 중이 아닐 때, 카메라를 활성화시킨 후, 영상 촬영, 저장 및 전송을 위한 여러 과정을 발신자가 직접 수행해야 하는 불편함이 있다.
다양한 실시 예들에서는 전자 장치에서 음성 통화를 수행하면서 영상 공유 또는 영상 통화 서비스와 같은 영상 서비스를 제공할 수 있는 방법, 장치 및 시스템을 제공할 수 있다.
다양한 실시 예들에서는 음성 통화 중에 통화 상대에게 영상을 전송할 때, 영상 전송용 통신 연결의 안정성을 높일 수 있는 방법, 장치 및 시스템을 제공할 수 있다.
다양한 실시 예들에서는 음성 통화의 통화 상대와의 데이터 통신 가능 여부를 판단하고, 통신 가능 시 통화 상대와의 데이터 통신 품질을 판단하고, 판단하는 결과를 이용하여 음성 통화 중 영상 전송을 위한 데이터 통신 연결 방식을 결정할 수 있는 방법, 장치 및 시스템을 제공할 수 있다.
다양한 실시 예들에서는 전자 장치에서 음성 통화를 수행하면서, 영상 서비스 관련의 기능을 동시에 수행할 수 있는 방법, 장치 및 시스템을 제공할 수 있다.
다양한 실시 예들에서는 전자 장치에서 음성 통화 중에 전송할 영상을 촬영하여, 별도의 전송 조작 없이도 상대방에게 영상을 전송(공유)하여 상대방 전자 장치에서 표시할 수 있는 방법, 장치 및 시스템을 제공할 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치는, 디스플레이, 적어도 하나의 프로토콜(protocol)을 이용하여 외부 전자 장치와 무선 통신을 형성하도록 설정된 적어도 하나의 통신 회로, 상기 디스플레이 및 상기 적어도 하나의 통신 회로와 전기적으로 연결된 프로세서, 및 상기 프로세서와 전기적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 디스플레이 상에 유저 인터페이스를 표시하고, 상기 유저 인터페이스는 상기 외부 전자 장치와 영상 통신(video communication)의 가능 여부에 대한 인디케이션(indication)을 포함하고, 상기 유저 인터페이스를 표시하는 동안 상기 외부 전자 장치와 영상 통화(video call)를 형성하고, 상기 영상 통신의 가능 여부를 요청하기 위한 제1 신호(first signal)를 상기 적어도 하나의 통신 회로를 이용하여 전송하고, 상기 영상 통신의 가능 여부를 지시하는 제2 신호(second signal)를 상기 적어도 하나의 통신 회로를 이용하여 수신하고, 상기 제2 신호에 응답하여, 상기 외부 전자 장치와 영상 통신 가능을 지시하는 상기 인디케이션을 활성화하고, 상기 인디케이션을 선택하는 사용자 입력을 수신하고, 및 상기 사용자 입력에 응답하여, 상기 외부 전자 장치에 영상 데이터(video data)의 전송을 개시(initiate)하도록 하는 인스트럭션들(instructions)을 저장하는 것을 포함할 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치는, 카메라, 디스플레이, 통신 회로, 및 상기 카메라, 상기 디스플레이 및 상기 통신 회로와 기능적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 다른 전자 장치와 제1 통신에 기초하여 음성 통화를 수행하고, 상기 음성 통화 중에 서비스 실행 요청에 응답하여 상기 다른 전자 장치와 제2 통신에 의한 데이터 통신의 가능 여부 및 데이터 통신 품질에 적어도 일부에 기초하여 서비스 연결 여부를 결정하고, 서비스 연결 결정 시, 상기 카메라를 통해 획득하는 영상을 상기 디스플레이에 표시 및 상기 영상을 상기 제2 통신에 기초하여 상기 다른 전자 장치에 전송하도록 구성할 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치의 동작 방법은, 다른 전자 장치와 제1 통신에 기초하여 음성 통화를 수행하는 과정, 상기 음성 통화 중에 서비스 실행 요청에 응답하여 상기 다른 전자 장치와 제2 통신에 의한 데이터 통신의 가능 여부 및 데이터 통신 품질에 적어도 일부에 기초하여 서비스 연결 여부를 결정하는 과정, 및 서비스 연결 결정 시, 카메라를 통해 획득하는 영상을 디스플레이에 표시 및 영상을 상기 제2 통신에 기초하여 상기 다른 전자 장치에 전송하는 과정을 포함할 수 있다.
상기와 같은 과제를 해결하기 위하여 본 발명의 다양한 실시 예들에서는, 상기 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
전술한 과제를 해결하기 위한, 다양한 실시 예들에 따른 전자 장치 및 그 동작 방법은, 음성 통화 중에 상대방에게 카메라 영상을 전송 또는 공유할 때 보다 안정적인 연결에 기초하여 제공할 수 있다. 다양한 실시 예들에 따르면, 전자 장치는 음성 통화를 위한 네트워크(예: 제1 통신)와는 별도의 네트워크(예: 제2 통신)를 통해서 영상 공유나 영상 통화와 같은 영상 서비스를 전자 장치에서 제공할 수 있다.
다양한 실시 예들에 따르면, 사용자가 음성 통화 동안 영상 서비스를 제공받을 수 있도록 함으로써 사용자의 편의성을 향상시키고 사용자의 흥미를 유발할 수 있다. 다양한 실시 예들에 따르면, 사용자는 음성 통화 중에 데이터(예: 영상)를 전송하고자 할 때, 전자 장치에 설정되는 있는 한 번의 사용자 입력(예: 버튼 선택, 음성 명령 입력, 전자 장치를 이용한 제스처(모션) 입력 등)에 의해 음성 통화 중, 카메라 활성화, 영상 촬영, 영상 처리 및 영상 전송을 수행할 수 있어, 사용자의 전자 장치 사용에 대한 접근성 및 편의성을 향상시킬 수 있다.
도 1은 다양한 실시 예들에 따른 전자 장치를 포함하는 네트워크 환경을 도시하는 도면이다.
도 2는 다양한 실시 예들에 따른 전자 장치의 블록도를 도시하는 도면이다.
도 3은 다양한 실시 예들에 따른 프로그램 모듈의 블록도를 도시하는 도면이다.
도 4는 본 발명의 다양한 실시 예들에 따른 시스템을 설명하기 위해 도시하는 도면이다.
도 5a 및 도 5b는 본 발명의 다양한 실시 예들에 따른 전자 장치의 구성을 개략적으로 도시하는 도면들이다.
도 6a 및 도 6b는 본 발명의 다양한 실시 예들에 따른 시스템에서 데이터 통신 연결 동작을 설명하기 위해 도시하는 도면들이다.
도 7a, 도 7b 및 도 7c는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면들이다.
도 8은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 9는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
도 10은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
도 11 및 도 12는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면들이다.
도 13은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
도 14는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
도 15는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
이하, 본 문서의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제 1," "제 2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어(hardware)적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU(central processing unit) 또는 AP(application processor))를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 문서의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예들에 따르면, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에서, 전자 장치는 가전 제품(home appliance)일 수 있다. 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션(navigation) 장치, 위성 항법 시스템(GNSS, global navigation satellite system), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치(internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예들에서 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시 예들에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 다양한 실시 예들에 따른 전자 장치를 포함하는 네트워크 환경을 도시하는 도면이다.
도 1을 참조하여, 다양한 실시 예들에서의, 네트워크 환경 100 내의 전자 장치 101이 기재된다. 전자 장치 101은 버스(bus) 110, 프로세서(processor) 120, 메모리(memory) 130, 입출력 인터페이스(input/output interface) 150, 디스플레이(display) 160, 및 통신 인터페이스(communication interface) 170을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치 101은, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다.
버스 110은, 예를 들면, 구성요소들(110-170)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.
프로세서 120은, 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서 120은, 예를 들면, 전자 장치 101의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리 130은, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리 130은, 예를 들면, 전자 장치 101의 적어도 하나의 다른 구성요소에 관계된 명령(command) 또는 데이터(data)를 저장할 수 있다. 한 실시 예에 따르면, 메모리 130은 소프트웨어(software) 및/또는 프로그램(program) 140을 저장할 수 있다. 프로그램 140은, 예를 들면, 커널(kernel) 141, 미들웨어(middleware) 143, 어플리케이션 프로그래밍 인터페이스(application programming interface(API)) 145, 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 147 등을 포함할 수 있다. 커널 141, 미들웨어 143, 또는 API 145의 적어도 일부는, 운영 시스템(operating system(OS))으로 지칭될 수 있다.
커널 141은, 예를 들면, 다른 프로그램들(예: 미들웨어 143, API 145, 또는 어플리케이션 프로그램 147)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스 110, 프로세서 120, 또는 메모리 130 등)을 제어 또는 관리할 수 있다. 또한, 커널 141은 미들웨어 143, API 145, 또는 어플리케이션 프로그램 147에서 전자 장치 101의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어 143은, 예를 들면, API 145 또는 어플리케이션 프로그램 147이 커널 141과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다.
또한 미들웨어 143은 어플리케이션 프로그램 147으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어 143은 어플리케이션 프로그램 147 중 적어도 하나에 전자 장치 101의 시스템 리소스(예: 버스 110, 프로세서 120, 또는 메모리 130 등)를 사용할 수 있는 우선 순위를 부여할 수 있다. 예컨대, 미들웨어 143은 상기 적어도 하나에 부여된 우선 순위에 따라 상기 하나 이상의 작업 요청들을 처리함으로써, 상기 하나 이상의 작업 요청들에 대한 스케쥴링(scheduling) 또는 로드 밸런싱(load balancing) 등을 수행할 수 있다.
API 145는, 예를 들면, 어플리케이션 147이 커널 141 또는 미들웨어 143에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어(file control), 창 제어(window control), 영상 처리(image processing), 또는 문자 제어(character control) 등을 위한 적어도 하나의 인터페이스 또는 함수(function)(예: 명령어)를 포함할 수 있다.
입출력 인터페이스 150은, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치 101의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 또한, 입출력 인터페이스 150은 전자 장치 101의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이 160은, 예를 들면, 액정 디스플레이(liquid crystal display(LCD)), 발광 다이오드(light-emitting diode(LED)) 디스플레이, 유기 발광 다이오드(organic light-emitting diode(OLED)) 디스플레이, 또는 마이크로 전자기계 시스템(microelectromechanical systems(MEMS)) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이 160은, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트(text), 이미지(image), 비디오(video), 아이콘(icon), 또는 심볼(symbol) 등)을 디스플레이 할 수 있다. 디스플레이 160은, 터치 스크린(touch screen)을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치(touch), 제스처(gesture), 근접(proximity), 또는 호버링(hovering) 입력을 수신할 수 있다.
통신 인터페이스 170은, 예를 들면, 전자 장치 101과 외부 장치(예: 제1 외부 전자 장치 102, 제2 외부 전자 장치 104, 또는 서버 106) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스 170은 무선 통신 또는 유선 통신을 통해서 네트워크 162에 연결되어 외부 장치(예: 제2 외부 전자 장치 104 또는 서버 106)와 통신할 수 있다.
무선 통신은, 예를 들면, 셀룰러 통신 프로토콜(protocol)로서, 예를 들면, LTE(long-term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(global system for mobile communications) 등 중 적어도 하나를 사용할 수 있다. 또한, 무선 통신은, 예를 들면, 근거리 통신 164를 포함할 수 있다. 근거리 통신 164는, 예를 들면, WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), 또는 GNSS(global navigation satellite system) 등 중 적어도 하나를 포함할 수 있다. GNSS는 사용 지역 또는 대역폭 등에 따라, 예를 들면, GPS(global positioning system), Glonass(global navigation satellite system), Beidou Navigation satellite system(이하, “Beidou”) 또는 Galileo, the European global satellite-based navigation system 중 적어도 하나를 포함할 수 있다. 이하, 본 문서에서는, “GPS”는 “GNSS”와 혼용되어 사용(interchangeably used)될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232), 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크 162는 통신 네트워크(telecommunications network), 예를 들면, 컴퓨터 네트워크(computer network)(예: LAN 또는 WAN), 인터넷, 또는 전화 네트워크(telephone network) 중 적어도 하나를 포함할 수 있다.
제1 및 제2 외부 전자 장치(102, 104) 각각은 전자 장치 101과 동일한 또는 다른 종류의 장치일 수 있다. 한 실시 예에 따르면, 서버 106은 하나 또는 그 이상의 서버들의 그룹을 포함할 수 있다. 다양한 실시 예들에 따르면, 전자 장치 101에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102,104), 또는 서버 106에서 실행될 수 있다. 한 실시 예에 따르면, 전자 장치 101이 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치 101은 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버 106)에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버 106)는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치 101로 전달할 수 있다. 전자 장치 101은 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅(cloud computing), 분산 컴퓨팅(distributed computing), 또는 클라이언트-서버 컴퓨팅(client-server computing) 기술이 이용될 수 있다.
도 2는 다양한 실시 예에 따른 전자 장치의 블록도이다.
전자 장치 201은, 예를 들면, 도 1에 도시된 전자 장치 101의 전체 또는 일부를 포함할 수 있다. 전자 장치 201은 하나 이상의 프로세서(예: AP(application processor)) 210, 통신 모듈 220, 가입자 식별 모듈 224, 메모리 230, 센서 모듈 240, 입력 장치 250, 디스플레이 260, 인터페이스 270, 오디오 모듈 280, 카메라 모듈 291, 전력 관리 모듈 295, 배터리 296, 인디케이터 297, 및 모터 298를 포함할 수 있다.
프로세서 210은, 예를 들면, 운영 체제 또는 어플리케이션 프로그램을 구동하여 프로세서 210에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서 210은, 예를 들면, SoC(system on chip)로 구현될 수 있다. 한 실시 예에 따르면, 프로세서 210은 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 프로세서 210은 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈 221)를 포함할 수도 있다. 프로세서 210은 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
통신 모듈 220은, 도 1의 통신 인터페이스 170와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈 220은, 예를 들면, 셀룰러 모듈 221, WiFi 모듈 223, 블루투스 모듈 225, GNSS 모듈 227(예: GPS 모듈, Glonass 모듈, Beidou 모듈, 또는 Galileo 모듈), NFC 모듈 228 및 RF(radio frequency) 모듈 229를 포함할 수 있다.
셀룰러 모듈 221은, 예를 들면, 통신 네트워크를 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈 221은 가입자 식별 모듈(예: SIM(subscriber identification module) 카드) 224를 이용하여 통신 네트워크 내에서 전자 장치 201의 구별 및 인증을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈 221은 프로세서 210이 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈 221은 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다.
WiFi 모듈 223, 블루투스 모듈 225, GNSS 모듈 227 또는 NFC 모듈 228 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시 예에 따르면, 셀룰러 모듈 221, WiFi 모듈 223, 블루투스 모듈 225, GNSS 모듈 227 또는 NFC 모듈 228 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.
RF 모듈 229는, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈 229는, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter), LNA(low noise amplifier), 또는 안테나(antenna) 등을 포함할 수 있다. 다른 실시 예에 따르면, 셀룰러 모듈 221, WiFi 모듈 223, 블루투스 모듈225, GNSS 모듈 227 또는 NFC 모듈 228 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
가입자 식별 모듈 224는, 예를 들면, 가입자 식별 모듈을 포함하는 카드 및/또는 내장 SIM(embedded SIM)을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리 230(예: 메모리 130)은, 예를 들면, 내장 메모리 232 또는 외장 메모리 234를 포함할 수 있다. 내장 메모리 232는, 예를 들면, 휘발성 메모리(volatile memory)(예: DRAM(dynamic RAM(random access memory)), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile memory)(예: OTPROM(one time programmable ROM(read only memory)), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리 234는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(MultiMediaCard) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리 234는 다양한 인터페이스를 통하여 전자 장치 201과 기능적으로 및/또는 물리적으로 연결될 수 있다.
센서 모듈 240은, 예를 들면, 물리량을 계측하거나 전자 장치 201의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈 240은, 예를 들면, 제스처 센서(gesture sensor) 240A, 자이로 센서(gyro sensor) 240B, 기압 센서(barometer) 240C, 마그네틱 센서(magnetic sensor) 240D, 가속도 센서(acceleration sensor) 240E, 그립 센서(grip sensor) 240F, 근접 센서(proximity sensor) 240G, 컬러 센서(color sensor) 240H(예: RGB(red, green, blue) 센서), 생체 센서(medical sensor) 240I, 온/습도 센서(temperature-humidity sensor) 240J, 조도 센서(illuminance sensor) 240K, 또는 UV(ultra violet) 센서 240M 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로(additionally or alternatively), 센서 모듈 240은, 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), IR(infrared) 센서, 홍채 센서(iris scan sensor) 및/또는 지문 센서(finger scan sensor)를 포함할 수 있다. 센서 모듈 240은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시 예에서는, 전자 장치 201은 프로세서 210의 일부로서 또는 별도로, 센서 모듈 240을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서 210가 슬립(sleep) 상태에 있는 동안, 센서 모듈 240을 제어할 수 있다.
입력 장치 250은, 예를 들면, 터치 패널(touch panel) 252, (디지털) 펜 센서(pen sensor) 254, 키(key) 256, 또는 초음파(ultrasonic) 입력 장치 258를 포함할 수 있다. 터치 패널 252는, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널 252는 제어 회로를 더 포함할 수도 있다. 터치 패널 252는 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서 254는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트(sheet)를 포함할 수 있다. 키 256은, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드(keypad)를 포함할 수 있다. 초음파 입력 장치 258은 마이크(예: 마이크 288)를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이 260(예: 디스플레이 160)는 패널 262, 홀로그램 장치 264, 또는 프로젝터 266을 포함할 수 있다. 패널 262는, 도 1의 디스플레이 160과 동일 또는 유사한 구성을 포함할 수 있다. 패널 262는, 예를 들면, 유연하게(flexible), 투명하게(transparent), 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널 262는 터치 패널 252와 하나의 모듈로 구성될 수도 있다. 홀로그램 장치 264는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터 266은 스크린(screen)에 빛을 투사하여 영상을 디스플레이 할 수 있다. 스크린은, 예를 들면, 전자 장치 201의 내부 또는 외부에 위치할 수 있다. 한 실시 예에 따르면, 디스플레이 260은 패널 262, 홀로그램 장치 264, 또는 프로젝터 266을 제어하기 위한 제어 회로를 더 포함할 수 있다.
인터페이스 270은, 예를 들면, HDMI(high-definition multimedia interface) 272, USB(universal serial bus) 274, 광 인터페이스(optical interface) 276, 또는 D-sub(D-subminiature) 278을 포함할 수 있다. 인터페이스 270은, 예를 들면, 도 1에 도시된 통신 인터페이스 170에 포함될 수 있다. 추가적으로 또는 대체적으로(additionally and alternatively), 인터페이스 270은, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure digital) 카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈 280은, 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈 280의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스 150에 포함될 수 있다. 오디오 모듈 280은, 예를 들면, 스피커 282, 리시버 284, 이어폰 286, 또는 마이크 288 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
카메라 모듈 291은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래시(flash)(예: LED 또는 xenon lamp 등)를 포함할 수 있다.
전력 관리 모듈 295는, 예를 들면, 전자 장치 201의 전력을 관리할 수 있다. 한 실시 예에 따르면, 전력 관리 모듈 295는 PMIC(power management integrated circuit), 충전 IC(charger integrated circuit), 또는 배터리 296 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리 296의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리 296은, 예를 들면, 충전식 전지(rechargeable battery) 및/또는 태양 전지(solar battery)를 포함할 수 있다.
인디케이터 297은 전자 장치 201 또는 그 일부(예: 프로세서 210)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 디스플레이 할 수 있다. 모터 298은 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동(vibration), 또는 햅틱(haptic) 효과 등을 발생시킬 수 있다. 도시되지는 않았으나, 전자 장치 201은 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 모바일 TV 지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(MediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시 예에서, 전자 장치는 본 문서에서 기술된 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시 예에 따른 전자 장치의 구성요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 3은 다양한 실시 예에 따른 프로그램 모듈의 블록도이다.
한 실시 예에 따르면, 프로그램 모듈 310(예: 프로그램 140)은 전자 장치(예: 전자 장치 101)에 관련된 자원을 제어하는 운영 체제(operating system(OS)) 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램 147)을 포함할 수 있다. 운영 체제는, 예를 들면, 안드로이드(android), iOS, 윈도우즈(windows), 심비안(symbian), 타이젠(tizen), 또는 바다(bada) 등이 될 수 있다.
프로그램 모듈 310은 커널 320, 미들웨어 330, 어플리케이션 프로그래밍 인터페이스(application programming interface (API)) 360, 및/또는 어플리케이션 370을 포함할 수 있다. 프로그램 모듈 310의 적어도 일부는 전자 장치 상에 프리로드(preload) 되거나, 외부 전자 장치(예: 전자 장치(102, 104), 서버 106 등)로부터 다운로드(download) 가능하다.
커널 320(예: 커널 141)은, 예를 들면, 시스템 리소스 매니저 321 및/또는 디바이스 드라이버 323을 포함할 수 있다. 시스템 리소스 매니저 321은 시스템 리소스의 제어, 할당, 또는 회수 등을 수행할 수 있다. 한 실시 예에 따르면, 시스템 리소스 매니저 321은 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부 등을 포함할 수 있다. 디바이스 드라이버 323은, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다.
미들웨어 330은, 예를 들면, 어플리케이션 370이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션 370이 전자 장치 내부의 제한된 시스템 자원을 효율적으로 사용할 수 있도록 API 360을 통해 다양한 기능들을 어플리케이션 370으로 제공할 수 있다. 한 실시 예에 따르면, 미들웨어 330(예: 미들웨어 143)은 런타임 라이브러리 335, 어플리케이션 매니저(application manager) 341, 윈도우 매니저(window manager) 342, 멀티미디어 매니저(multimedia manager) 343, 리소스 매니저(resource manager) 344, 파워 매니저(power manager) 345, 데이터베이스 매니저(database manager) 346, 패키지 매니저(package manager) 347, 연결 매니저(connectivity manager) 348, 통지 매니저(notification manager) 349, 위치 매니저(location manager) 350, 그래픽 매니저(graphic manager) 351, 또는 보안 매니저(security manager) 352 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리 335는, 예를 들면, 어플리케이션 370이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리 335는 입출력 관리, 메모리 관리, 또는 산술 함수에 대한 기능 등을 수행할 수 있다.
어플리케이션 매니저 341은, 예를 들면, 어플리케이션 370 중 적어도 하나의 어플리케이션의 생명 주기(life cycle)를 관리할 수 있다. 윈도우 매니저 342는 화면에서 사용하는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저 343은 다양한 미디어 파일들의 재생에 필요한 포맷(format)을 파악하고, 해당 포맷에 맞는 코덱(codec)을 이용하여 미디어 파일의 인코딩(encoding) 또는 디코딩(decoding)을 수행할 수 있다. 리소스 매니저 344는 어플리케이션 370 중 적어도 어느 하나의 어플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다.
파워 매니저 345는, 예를 들면, 바이오스(BIOS: basic input/output system) 등과 함께 동작하여 배터리(battery) 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보 등을 제공할 수 있다. 데이터베이스 매니저 346은 어플리케이션 370 중 적어도 하나의 어플리케이션에서 사용할 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저 347은 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 업데이트를 관리할 수 있다.
연결 매니저 348은, 예를 들면, WiFi 또는 블루투스 등의 무선 연결을 관리할 수 있다. 통지 매니저 349는 도착 메시지, 약속, 근접성 알림 등의 사건(event)을 사용자에게 방해되지 않는 방식으로 디스플레이 또는 통지할 수 있다. 위치 매니저 350은 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저 351은 사용자에게 제공될 그래픽 효과 또는 이와 관련된 유저 인터페이스를 관리할 수 있다. 보안 매니저 352는 시스템 보안 또는 사용자 인증 등에 필요한 제반 보안 기능을 제공할 수 있다. 한 실시 예에 따르면, 전자 장치(예: 전자 장치 101)가 전화 기능을 포함한 경우, 미들웨어 330은 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저(telephony manager)를 더 포함할 수 있다.
미들웨어 330은 전술한 구성요소들의 다양한 기능의 조합을 형성하는 미들웨어 모듈을 포함할 수 있다. 미들웨어 330은 차별화된 기능을 제공하기 위해 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 또한, 미들웨어 330은 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다.
API 360(예: API 145)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼(platform) 별로 하나의 API 셋을 제공할 수 있으며, 타이젠(tizen)의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션 370(예: 어플리케이션 프로그램 147)은, 예를 들면, 홈 371, 다이얼러 372, SMS/MMS 373, IM(instant message) 374, 브라우저 375, 카메라 376, 알람 377, 컨택트 378, 음성 다이얼 379, 이메일 380, 달력 381, 미디어 플레이어 382, 앨범 383, 시계 384, 건강 관리(health care)(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보 제공(예: 기압, 습도, 또는 온도 정보 등을 제공) 등의 기능을 수행할 수 있는 하나 이상의 어플리케이션을 포함할 수 있다.
한 실시 예에 따르면, 어플리케이션 370은 전자 장치(예: 전자 장치 101)와 외부 전자 장치(예: 전자 장치(102, 104)) 사이의 정보 교환을 지원하는 어플리케이션(이하, 설명의 편의 상, "정보 교환 어플리케이션")을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달(notification relay) 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리(device management) 어플리케이션을 포함할 수 있다.
예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션(예: SMS/MMS 어플리케이션, 이메일 어플리케이션, 건강 관리 어플리케이션, 또는 환경 정보 어플리케이션 등)에서 발생된 알림 정보를 외부 전자 장치(예: 전자 장치(102, 104))로 전달하는 기능을 포함할 수 있다. 또한, 알림 전달 어플리케이션은, 예를 들면, 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다.
장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치(예: 전자 장치(102, 104))의 적어도 하나의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온(turn-on)/턴-오프(turn-off) 또는 디스플레이의 밝기(또는, 해상도) 조절), 외부 전자 장치에서 동작하는 어플리케이션 또는 외부 전자 장치에서 제공되는 서비스(예: 통화 서비스 또는 메시지 서비스 등)를 관리(예: 설치, 삭제, 또는 업데이트)할 수 있다.
한 실시 예에 따르면, 어플리케이션 370은 외부 전자 장치(예: 전자 장치(102, 104))의 속성)에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션, 청각 측정 어플리케이션, 오디오 재생 어플리케이션 등)을 포함할 수 있다. 한 실시 예에 따르면, 어플리케이션 370은 외부 전자 장치(예: 서버 106 또는 전자 장치(102, 104))로부터 수신된 어플리케이션을 포함할 수 있다. 한 실시 예에 따르면, 어플리케이션 370은 프리로드 어플리케이션(preloaded application) 또는 서버로부터 다운로드 가능한 제3자 어플리케이션(third party application)을 포함할 수 있다. 도시된 실시 예에 따른 프로그램 모듈 310의 구성요소들의 명칭은 운영 체제의 종류에 따라서 달라질 수 있다.
다양한 실시 예들에 따르면, 프로그램 모듈 310의 적어도 일부는 소프트웨어, 펌웨어(firmware), 하드웨어, 또는 이들 중 적어도 둘 이상의 조합으로 구현될 수 있다. 프로그램 모듈 310의 적어도 일부는, 예를 들면, 프로세서(예: 프로세서 210)에 의해 구현(implement)(예: 실행)될 수 있다. 프로그램 모듈 310의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트(sets of instructions) 또는 프로세스 등을 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은, 예를 들면, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예들에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 기록 매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서 120)에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들면, 메모리 130이 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM(read only memory), RAM(random access memory), 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시 예들에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예들에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다. 그리고 본 문서에 개시된 실시 예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 문서에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 문서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.
제안하는 본 발명의 다양한 실시 예들에서는, 전자 장치에서 음성 통화 중에 영상 공유 또는 영상 통화 등과 같은 영상 서비스를 병행하여 수행할 수 있는 방법 및 장치에 관하여 개시한다. 다양한 실시 예들에서는, 음상 통화 중에 영상 서비스를 위한 데이터 통신 연결에 있어서, 데이터를 보다 안정적으로 전송할 수 있는 방법 및 장치에 관하여 개시한다. 다양한 실시 예들에서, 음성 통화를 위한 통신 채널과 영상 서비스를 위한 통신 채널을 구분하여 음성 통화 중 영상 전송을 위한 방법 및 장치에 관하여 개시한다.
본 발명의 다양한 실시 예들에 따른 전자 장치는, 통신 기능 및/또는 카메라 기능을 지원하며, AP(application processor)), CP(communication processor), GPU(graphic processing unit), 및 CPU(central processing unit) 등의 다양한 프로세서 중 하나 또는 그 이상을 사용하는 모든 장치를 포함할 수 있다. 예를 들면, 다양한 실시 예들에 따른 전자 장치는, 통신 기능 및/또는 카메라 기능을 지원하는 모든 정보통신기기, 멀티미디어기기, 웨어러블 기기(wearable device), IoT(Internet of Things) 기기, 음향 기기, 또는 그에 대한 응용기기를 포함할 수 있다.
이하에서, 첨부 도면을 참조하여 본 발명의 다양한 실시 예들에 따른 동작 방법 및 장치에 대하여 살펴보기로 한다. 하지만, 본 발명의 다양한 실시 예들이 하기에서 기술하는 내용에 의해 제한되거나 한정되는 것은 아니므로, 하기의 실시 예에 의거하여 다양한 실시 예들에 적용할 수 있음에 유의하여야 한다. 이하에서 설명되는 본 발명의 다양한 실시 예들에서는 하드웨어적인 접근 방법을 예시로서 설명한다. 하지만, 본 발명의 다양한 실시 예들에서는 하드웨어와 소프트웨어를 모두 사용하는 기술을 포함하고 있으므로, 본 발명의 다양한 실시 예들이 소프트웨어 기반의 접근 방법을 제외하는 것은 아니다.
도 4는 본 발명의 다양한 실시 예들에 따른 시스템을 설명하기 위해 도시하는 도면이다.
도 4에 도시한 바와 같이, 본 발명의 다양한 실시 예들에 따른 시스템은, 전자 장치(예: 제1 전자 장치(410), 제2 전자 장치(420)), 적어도 2개의 네트워크들(430, 450), 하나 또는 그 이상의 서버들(460, 470)를 포함하여 구성할 수 있다. 다양한 실시 예들에 따라, 전자 장치는 발신 측 동작을 위한 제1 전자 장치(410)와 수신 측 동작을 위한 제2 전자 장치(420)를 포함하여 구성할 수 있다. 다양한 실시 예들에 따라 네트워크는 제1 통신(예: 음성 통화)을 위한 제1 네트워크(430)와 제2 통신(예: 영상 서비스)을 위한 제2 네트워크(450)으로 구분할 수 있다. 다양한 실시 예들에 따라, 제1 네트워크(430)는 이동통신 서비스를 위한 이동통신 네트워크(또는 셀룰러 네트워크)일 수 있고, 기지국(440)을 포함할 수 있다. 다양한 실시 예들에 따라 제2 네트워크(450)는 P2P(peer to peer) 연결을 위한 데이터 통신 네트워크일 수 있고, 접속 서버(connectivity server)(460), 메시지 서버(message server)(470)를 포함할 수 있다.
도 4를 참조하면, 제1 전자 장치(410)와 제2 전자 장치(420)는 제1 네트워크(430)를 통해 음성 통화 가능하며, 제2 네트워크(450)(예: PS 네트워크 또는 WiFi 등)를 통해 서로 데이터 통신이 가능하다.
제1 전자 장치(410)는 제2 전자 장치(420)와 음성 통화 중에 (카메라) 영상을 제2 전자 장치(420)에게 전송할 수 있고, 이하에서는 이러한 기능을 영상 서비스라고 칭한다. 다양한 실시 예들에서는 제1 전자 장치(410)와 제2 전자 장치(420)가 P2P 방식으로 연결되어 전자 장치들(410, 420) 간 영상을 송수신하는 것을 개시하지만, 본 발명이 이에 한정되는 것은 아니다. 예를 들면, 다양한 실시 예들에서 제1 전자 장치(410)와 제2 전자 장치(420)는 서버-클라이언트 방식으로 영상을 송수신할 수도 있다.
다양한 실시 예들에 따라, 전자 장치(예: 제1 전자 장치(410), 제2 전자 장치(420))는 내부 또는 외부에 카메라를 포함할 수 있다. 예를 들면, 전자 장치는 물리적으로 연결되는 내부 카메라를 포함하거나, 또는 기능적으로 연결되는 외부 카메라를 포함할 수 있다.
다양한 실시 예들에서, 제1 전자 장치(410)와 제2 전자 장치(420) 간에 송수신되는 영상은 실시간 카메라 촬영 영상을 포함할 수 있고, 또는 저장(예: 녹화)된 영상을 포함할 수 있다. 저장된 영상은 전자 장치 내부 또는 외부에 저장될 수 있다.
다양한 실시 예들에서, 전자 장치가 음성 통화 중에 영상 서비스를 위한 영상을 송수신하는 동작 예시들에 대해 후술하는 도면들을 참조하여 상세히 설명된다.
서버는 제1 전자 장치(410)와 제2 전자 장치(420)를 P2P 방식으로 연결할 수 있고, 하나 또는 그 이상으로 구성할 수 있다. 예를 들면, 다양한 실시 예들에서, 서버가, 접속 서버(460)와 메시지 서버(470)로 구성된 예시를 설명한다.
다양한 실시 예들에서, 접속 서버(460)는 제1 전자 장치(410)와 제2 전자 장치(420)의 세션(session) 연결을 위한 DNS(Domain Name System) 기능을 제공할 수 있다. 다양한 실시 예들에서, 접속 서버(460)는 제1 전자 장치(410)와 제2 전자 장치(420)를 P2P 방식으로 연결할 수 있다.
다양한 실시 예들에서, 메시지 서버(470)는 제1 전자 장치(410)가 제2 전자 장치(420)에게 영상 송수신을 개시하기 위한 시작 요청 메시지를 전송할 수 있다.
다양한 실시 예들에서, 서버(예: 접속 서버(460), 메시지 서버(470))는 사용자 계정, 프로필 정보, 서비스 가입 정보를 관리할 수 있다.
다양한 실시 예들에서는, 음성 통화 연결을 요청(예: 발신)하거나, 음성 통화 연결 요청을 수신하는 주체와는 관계 없이, 음성 통화 중에 영상을 전송하고자 하는 전자 장치가 발신 단말이 되고, 영상을 수신하는 전자 장치가 수신 단말이 될 수 있다. 다양한 실시 예들에서, 음성 통화 중 영상 서비스를 위한 유저 인터페이스는 발신 단말과 수신 단말에 따라 다르게 제공될 수 있으며, 이에 대해 후술하는 도면들을 참조하여 상세히 설명된다.
도 5a는 본 발명의 다양한 실시 예들에 따른 전자 장치의 구성을 개략적으로 도시하는 도면이다.
도 5a를 참조하면, 본 발명의 다양한 실시 예들에 따른 전자 장치(500)는, 예를 들면, 무선 통신부(510), 사용자 입력부(520), 터치스크린(touchscreen)(530), 오디오 처리부(540), 메모리(550), 인터페이스부(560), 카메라 모듈(570), 제어부(580)(예: 프로세서 120), 그리고 전원 공급부(590)를 포함할 수 있다. 본 발명의 다양한 실시 예들에서 전자 장치(500)는 도 5a에 도시된 구성들이 필수적인 것은 아니어서, 도 5a에 도시된 구성들보다 많은 구성들을 가지거나, 또는 그보다 적은 구성들을 가지는 것으로 구현될 수 있다.
무선 통신부(510)는, 예를 들면, 도 2의 통신 모듈(220)과 동일 또는 유사한 구성을 가질 수 있다. 무선 통신부(510)는 전자 장치(500)와 외부 전자 장치(예: 다른 전자 장치(102, 104), 서버(106)) 사이의 무선 통신을 가능하게 하는 하나 또는 그 이상의 모듈들을 포함할 수 있다. 예를 들어, 무선 통신부(510)는 이동통신 모듈(511), 무선 랜(WLAN, wireless local area network) 모듈(513), 근거리 통신 모듈(515), 그리고 위치 산출 모듈(517) 등을 포함하여 구성될 수 있다. 다양한 실시 예들에서 무선 통신부(510)는 주변의 외부 전자 장치와 통신을 수행하기 위한 모듈(예: 근거리 통신 모듈, 원거리 통신 모듈 등)을 포함할 수 있다.
이동통신 모듈(511)은, 예를 들면, 도 2의 셀룰러 모듈(221)과 동일 또는 유사한 구성을 가질 수 있다. 이동통신 모듈(511)은 이동통신 네트워크 상에서 기지국, 외부 전자 장치(예: 다른 전자 장치(104)), 그리고 다양한 서버들(예: 어플리케이션 서버, 관리 서버, 통합 서버(integration server), 프로바이더 서버(provider server), 컨텐츠 서버(content server), 인터넷 서버(internet server), 또는 클라우드 서버(cloud server) 등) 중 적어도 하나와 무선 신호를 송수신할 수 있다. 무선 신호는 음성 신호, 데이터 신호 또는 다양한 형태의 제어 신호를 포함할 수 있다. 이동통신 모듈(511)은 전자 장치(500)의 동작에 필요한 다양한 데이터들을 사용자 요청에 응답하여 외부 장치(예: 서버(106) 또는 다른 전자 장치(104) 등)로 전송할 수 있다.
무선 랜 모듈(513)은, 예를 들면, 도 2의 WiFi 모듈(223)과 동일 또는 유사한 구성을 가질 수 있다. 무선 랜 모듈(513)은 무선 인터넷 접속 및 다른 외부 전자 장치(예: 다른 전자 장치(102) 또는 서버(106) 등)와 무선 랜 링크(link)를 형성하기 위한 모듈을 나타낼 수 있다. 무선 랜 모듈(513)은 전자 장치(500)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WiFi(Wireless Fidelity), Wibro(Wireless broadband), WiMax(World interoperability for Microwave access), HSDPA(High Speed Downlink Packet Access), 또는 mmWave(millimeter Wave) 등이 이용될 수 있다. 무선 랜 모듈(513)은 전자 장치(500)와 네트워크(예: 무선 인터넷 네트워크)(예: 네트워크(162))를 통해 연결되어 있는 다른 외부 전자 장치(예: 다른 전자 장치(104) 등)와 연동하여, 전자 장치(500)의 다양한 데이터들을 외부로 전송하거나, 또는 외부로부터 수신할 수 있다. 무선 랜 모듈(513)은 상시 온(on) 상태를 유지하거나, 전자 장치(500)의 설정 또는 사용자 입력에 따라 턴-온(turn-on)될 수 있다.
근거리 통신 모듈(515)은 근거리 통신(short range communication)을 수행하기 위한 모듈을 나타낼 수 있다. 근거리 통신 기술로 블루투스(Bluetooth), 저전력 블루투스(BLE, Bluetooth Low Energy), RFID(Radio Frequency IDentification), 적외선 통신(IrDA, Infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), 또는 NFC(Near Field Communication) 등이 이용될 수 있다. 근거리 통신 모듈(515)은 전자 장치(500)와 네트워크(예: 근거리 통신 네트워크)를 통해 연결되어 있는 다른 외부 전자 장치(예: 다른 전자 장치(102))와 연동하여, 전자 장치(500)의 다양한 데이터들을 외부 전자 장치로 전송하거나 수신 받을 수 있다. 근거리 통신 모듈(515)은 상시 온 상태를 유지하거나, 전자 장치(500)의 설정 또는 사용자 입력에 따라 턴-온(turn-on)될 수 있다.
위치 산출 모듈(517)은, 예를 들면, 도 2의 GNSS 모듈(227)과 동일 또는 유사한 구성을 가질 수 있다. 위치 산출 모듈(517)은 전자 장치(500)의 위치를 획득하기 위한 모듈로서, 대표적인 예로는 GPS(global position system) 모듈을 포함할 수 있다. 위치 산출 모듈(517)은 삼각 측량의 원리로 전자 장치(500)의 위치를 측정할 수 있다.
사용자 입력부(520)는 전자 장치(500)의 동작 제어를 위한 입력 데이터를 사용자 입력에 응답하여 발생할 수 있다. 사용자 입력부(520)는 사용자의 다양한 입력을 검출하기 위한 적어도 하나의 입력 수단을 포함할 수 있다. 예를 들어, 사용자 입력부(520)는 키패드(key pad), 돔 스위치(dome switch), 물리 버튼, 터치패드(정압/정전), 조그셔틀(jog & shuttle), 그리고 센서(예: 센서 모듈(240)) 등을 포함할 수 있다.
사용자 입력부(520)는 일부가 전자 장치(500)의 외부에 버튼 형태로 구현될 수 있으며, 일부 또는 전체가 터치 패널(touch panel)로 구현될 수도 있다. 사용자 입력부(520)는 본 발명의 다양한 실시 예들에 따른 전자 장치(500)의 동작(예: 오디오 재생 기능, 전자 장치 연결 기능, 영상 전송 또는 공유 기능 등)을 개시(initiation)하기 위한 사용자 입력을 수신할 수 있고, 사용자 입력에 따른 입력 신호를 발생할 수 있다.
터치스크린(530)은 입력 기능과 디스플레이 기능을 동시에 수행할 수 있는 입출력 장치를 나타내며, 디스플레이(531)(예: 디스플레이(160, 260))와 터치감지부(533)을 포함할 수 있다. 터치스크린(530)은 전자 장치(500)와 사용자 사이에 입출력 인터페이스를 제공하며, 사용자의 터치 입력을 전자 장치(500)에게 전달할 수 있고, 또한 전자 장치(500)로부터의 출력을 사용자에게 보여주는 매개체 역할을 포함할 수 있다. 터치스크린(530)은 사용자에게 시각적인 출력(visual output)을 보여줄 수 있다. 시각적 출력은 텍스트(text), 그래픽(graphic), 비디오(video)와 이들의 조합의 형태로 나타날 수 있다.
디스플레이(531)는 전자 장치(500)에서 처리되는 다양한 정보를 디스플레이(출력)할 수 있다. 예를 들어, 디스플레이(531)는 음성 통화 중에 영상 서비스와 관련된 유저 인터페이스(UI, user interface) 또는 그래픽 유저 인터페이스(GUI, graphical UI)를 디스플레이 할 수 있다. 디스플레이(531)는 다양한 디스플레이(예: 디스플레이(160))가 사용될 수 있다. 다양한 실시 예들에서 디스플레이(531)는 벤디드 디스플레이가 사용될 수 있다.
다양한 실시 예들에서 디스플레이(531)는 액정 디스플레이(LCD, Liquid Crystal Display), 발광다이오드(LED, Light Emitting Diode), 유기발광다이오드(OLED, Organic LED) 및 능동형 OLED(AMOLED, Active Matrix OLED) 등에서 액정을 싸고 있는 유리 기판을 플라스틱 필름으로 대체하여, 접고 펼 수 있는 유연성을 부여할 수 있다. 다양한 실시 예들에서 디스플레이(531)는 전자 장치(500)의 적어도 하나의 측면(side)(예: 좌측, 우측, 상측, 하측 중 적어도 하나의 면)까지 연장되어, 벤디드 디스플레이가 동작 가능한 곡률 반경(radius of curvature)(예: 곡률 반경 5cm, 1cm, 7.5mm, 5mm, 4mm 등) 이하로 접혀 하우징의 측면에 체결될 수 있다.
터치감지부(533)는 디스플레이(531)에 안착될 수 있으며, 터치스크린(530) 표면에 접촉 또는 근접하는 사용자 입력을 감지할 수 있다. 사용자 입력은 싱글터치(single-touch), 멀티터치(multi-touch), 호버링(hovering), 또는 에어 제스처 중 적어도 하나에 기반하여 입력되는 터치 이벤트 또는 근접 이벤트를 포함할 수 있다. 터치감지부(533)는 다양한 실시 예들에서 전자 장치(500)의 사용과 관련된 동작을 개시하기 위한 사용자 입력을 수신할 수 있고, 사용자 입력에 따른 입력 신호를 발생할 수 있다.
오디오 처리부(540)는, 예를 들면, 도 2의 오디오 모듈(280)과 동일 또는 유사한 구성을 가질 수 있다. 오디오 처리부(540)는 제어부(580)로부터 입력 받은 오디오 신호를 스피커(SPK, speaker)(541)로 전송하고, 마이크(MIC, microphone)(543)로부터 입력 받은 음성 등의 오디오 신호를 제어부(580)에 전달하는 기능을 수행할 수 있다. 오디오 처리부(540)는 음성/음향 데이터를 제어부(580)의 제어에 따라 스피커(541)를 통해 가청음으로 변환하여 출력하고, 마이크(543)로부터 수신되는 음성 등의 오디오 신호를 디지털 신호로 변환하여 제어부(580)에게 전달할 수 있다.
스피커(541)는 무선 통신부(510)로부터 수신되거나, 또는 메모리(550)에 저장된 오디오 데이터를 출력할 수 있다. 스피커(541)는 전자 장치(500)에서 수행되는 다양한 동작(기능)과 관련된 음향 신호를 출력할 수도 있다.
마이크(543)는 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리할 수 있다. 마이크(543)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘(noise reduction algorithm)이 구현될 수 있다. 마이크(543)는 음성 명령(예: 전자 장치 연결, 오디오 재생, 또는 영상 전송 또는 공유 등의 기능을 개시하기 위한 음성 명령) 등과 같은 오디오 스트림의 입력을 담당할 수 있다.
메모리(550)(예: 메모리(130, 230))은 제어부(580)에 의해 실행되는 하나 또는 그 이상의 프로그램들(one or more programs)을 저장할 수 있고, 입/출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다. 입/출력되는 데이터들은, 예를 들면, 동영상, 이미지, 사진, 또는 오디오 등의 파일 및 네트워크 정보(또는 통신 품질 정보)를 포함할 수 있다. 메모리(550)는 획득된 데이터를 저장하는 역할을 담당하며, 실시간으로 획득된 데이터는 일시적인 저장 장치에 저장할 수 있고, 저장하기로 확정된 데이터는 오래 보관 가능한 저장 장치에 저장할 수 있다.
메모리(550)는 다양한 실시 예들에서, 다른 전자 장치와 제1 통신에 기초하여 음성 통화를 수행하는 동작, 음성 통화 중에 서비스 실행 요청에 응답하여 다른 전자 장치와 제2 통신에 의한 데이터 통신의 가능 여부 및 데이터 통신 품질에 적어도 일부에 기초하여 서비스 연결 여부를 결정하는 동작, 및 서비스 연결 결정 시, 카메라(예: 카메라 모듈(570))를 통해 획득하는 영상을 디스플레이(531)에 표시 및 영상을 제2 통신에 기초하여 다른 전자 장치에 전송하는 것과 관련되는 하나 또는 그 이상의 프로그램들, 데이터 또는 인스트럭션들(instructions)을 저장할 수 있다.
메모리(550)는 하나 이상의 어플리케이션 모듈(또는 소프트웨어 모듈) 등을 포함할 수 있다.
인터페이스부(560)는, 예를 들면, 도 2의 인터페이스(270)와 동일 또는 유사한 구성을 가질 수 있다. 인터페이스부(560)는 다른 전자 장치로부터 데이터를 전송 받거나, 전원을 공급받아 전자 장치(500) 내부의 각 구성들에 전달할 수 있다. 인터페이스부(560)는 전자 장치(500) 내부의 데이터가 다른 전자 장치로 전송되도록 할 수 있다. 예를 들어, 유/무선 헤드폰 포트(port), 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 오디오 입/출력(input/output) 포트, 비디오 입/출력 포트, 이어폰 포트 등이 인터페이스부(560)에 포함될 수 있다.
카메라 모듈(570)(예: 카메라 모듈(291))은 전자 장치(500)의 촬영 기능을 지원하는 구성을 나타낸다. 카메라 모듈(570)은 제어부(580)의 제어에 따라 임의의 피사체를 촬영하고, 촬영된 데이터(예: 동영상, 이미지)를 디스플레이(531) 및 제어부(580)에 전달할 수 있다. 본 발명의 다양한 실시 예들에서는 도시하지 않았으나, 카메라 모듈(570)은 전자 장치(500)에 실장되는 내장 카메라 모듈 또는 전자 장치(500)에 유선 또는 무선 인터페이스로 연결(예: 케이블 연결, 블루투스 연결 등)되는 외장 카메라 모듈을 포함할 수 있다. 예를 들면, 카메라 모듈(570)은 전자 장치(500)와 블루투스로 연결된 주변 카메라 장치(예: VR 장치, 360 카메라, 카메라를 구비한 다른 전자 장치(예: 로봇 청소기, TV, 모니터 등) 등)를 포함할 수 있다. 다양한 실시 예들에 따라, 카메라 모듈(570)은 탈부착 가능한(attachable and detachable) 카메라 모듈을 포함할 수 있다.
제어부(580)는 전자 장치(500)의 전반적인 동작을 제어할 수 있다. 다양한 실시 예들에서 제어부(580)은, 예를 들면, 도 2의 프로세서(210)와 동일 또는 유사한 구성을 가질 수 있다. 다양한 실시 예들에서 제어부(580)는 다른 전자 장치와 제1 통신에 기초하여 음성 통화를 수행하는 동작, 음성 통화 중에 서비스 실행 요청에 응답하여 다른 전자 장치와 제2 통신에 의한 데이터 통신의 가능 여부 및 데이터 통신 품질에 적어도 일부에 기초하여 서비스 연결 여부를 결정하는 동작, 및 서비스 연결 결정 시, 카메라를 통해 획득하는 영상을 디스플레이(531)에 표시 및 영상을 제2 통신에 기초하여 다른 전자 장치에 전송하는 동작을 처리할 수 있다.
제어부(580)는 전자 장치(500)의 동작을 제어하기 위한 하나 또는 그 이상의 프로세서들을 포함할 수 있다. 다양한 실시 예들에서 제어부(580)는 오디오 처리부(540), 인터페이스부(560), 디스플레이(531), 카메라 모듈(570) 등의 하드웨어적 모듈의 동작을 제어할 수 있다. 본 발명의 다양한 실시 예들에 따른 제어부(580)의 제어 동작은 후술하는 도면들을 참조하여 구체적으로 설명된다.
본 발명의 다양한 실시 예들에 따르면, 제어부(580)는 메모리(550)에 저장되는 하나 또는 그 이상의 프로그램들을 실행하여 본 발명의 다양한 실시 예들에 따른 전자 장치(500)의 동작을 제어하는 하나 또는 그 이상의 프로세서들(one or more processors)로 구현될 수 있다.
본 발명의 다양한 실시 예들에 따르면, 제어부(580)는 음성 통화 중 영상 서비스와 관련된 서비스 연결을 처리하기 위한 서비스 처리 모듈(585)을 포함할 수 있다. 다양한 실시 예들에 따라, 서비스 처리 모듈(585)은, 예를 들면, 제1 통신 처리부(585A), 제2 통신 처리부(585B), 인터랙션 처리부(585C) 등을 포함할 수 있다.
다양한 실시 예들에 따라, 제1 통신 처리부(585A)는, 예를 들면, 제1 통신(예: 서킷 스위치(circuit switch) 통신으로, 예를 들면, 3G 통신)(예: 제1 네트워크(430))에 기반하여 전자 장치들 간의 음성 통화 수행과 관련된 동작을 처리할 수 있다.
다양한 실시 예들에 따라, 제2 통신 처리부(585B)는, 예를 들면, 제2 통신(예: 패킷 스위치(packet switch)) 통신으로, 예를 들면, 데이터 통신)(예: 제2 네트워크(450))에 기반하여 전자 장치들 간의 영상 서비스 수행과 관련된 동작을 처리할 수 있다. 다양한 실시 예들에 따라, 제2 통신 처리부(585B)는 제1 통신에 의한 음성 통화 중에 서비스 실행 요청에 응답하여 다른 전자 장치와 제2 통신에 의한 데이터 통신의 가능 여부 및 데이터 통신 품질에 적어도 일부에 기초하여 서비스 연결 여부를 결정하고, 서비스 연결 결정 시, 획득하는 영상을 디스플레이(531)에 표시하고, 획득하는 영상을 제2 통신에 기초하여 다른 전자 장치에 전송할 수 있다.
다양한 실시 예들에 따라, 인터랙션 처리부(585C)는 음성 통화 중에 영상 서비스와 관련된 유저 인터페이스를 제공하는 것과 관련된 동작을 처리할 수 있다. 다양한 실시 예들에 따라, 인터랙션 처리부(585C)는 음성 통화 중에 영상 서비스와 관련된 유저 인터페이스에 기반하여 입력되는 사용자의 인터랙션을 처리할 수 있다.
전원 공급부(590)는 제어부(580)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성 요소들의 동작에 필요한 전원을 공급할 수 있다. 본 발명의 다양한 실시 예들에서 전원 공급부(590)는 제어부(580)의 제어에 의해 디스플레이(531), 카메라 모듈(570) 등에 전원을 공급 또는 차단(on/off)할 수 있다.
도 5b는 본 발명의 다양한 실시 예들에 따른 전자 장치들의 구성을 개략적으로 도시하는 도면이다.
도 5b를 참조하면, 본 발명의 다양한 실시 예들에 따른 전자 장치(500)는, 예를 들면, 영상을 제공하는(전송하는) 발신 측 동작을 위한 제1 전자 장치(610)(예: 송신 전자 장치)와, 영상을 제공받는(수신하는) 수신 측 동작을 위한 제2 전자 장치(620)(예: 수신 전자 장치)를 포함할 수 있다.
다양한 실시 예들에 따라, 제1 전자 장치(610)와 제2 전자 장치(620) 각각은, 도 5a에 대응하는 구성을 포함할 수 있다. 예를 들면, 제1 전자 장치(610)와 제2 전자 장치(620) 각각은, 어플리케이션 프로세서(application processor)(610A, 620A), 디스플레이 모듈(display module)(610B, 620B), 카메라 모듈(610C, 620C), 오디오 모듈(audio module)(610D, 620D), 통신 모듈(610E, 620E) 등을 포함할 수 있다. 제1 전자 장치(610)와 제2 전자 장치(620)는, 전자 장치의 종류에 따라 센서 모듈(sensor module)(610F, 620F)를 더 포함하여 구성할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(610)와 제2 전자 장치(620)는 통신 모듈(610E, 620E)을 이용하여 유선 통신 방식 또는 적어도 하나의 무선 통신 방식을 이용하여 다른 전자 장치(또는 주변 장치)(예: VR 장치, 디스플레이 장치(예: TV, 모니터), 360도 촬영이 가능한 카메라(예: 360 카메라) 등), 로봇 청소기 등)와 연결될 수 있다.
다양한 실시 예들에 따라, 제1 전자 장치(610)(예: 송신 전자 장치)는 제2 전자 장치(620)(예: 수신 전자 장치)의 영상 서비스 가능성(availability)을 판단(체크)할 수 있다. 다양한 실시 예들에서, 영상 서비스 가능성 판단은, 서비스 어플리케이션 설치 여부, 네트워크 상태 확인, 각 전자 장치들(610, 620)의 메모리, 배터리, 카메라, 요금 정책 등의 다양한 상황을 확인하는 동작을 포함할 수 있다.
다양한 실시 예들에 따라, 제1 전자 장치(610)(예: 송신 전자 장치)는 제2 전자 장치(620)(예: 수신 전자 장치)와 관련된 능력(capability)를 추가적으로 확인할 수 있다. 다양한 실시 예들에서, 전자 장치와 관련된 능력은, 전자 장치의 종류 또는 전자 장치와 연결된(또는 연결될 수 있는) 적어도 하나의 전자 장치와 관련된 장치 정보를 포함할 수 있다. 다양한 실시 예들에서, 전자 장치의 종류는, 스마트폰, 태블릿, 노트북 등으로 분류할 수 있고, 각 전자 장치는 그 종류에 따라 다른 구성 요소를 포함할 수 있다. 한 실시 예에 따르면, 전자 장치의 종류가 노트북인 경우, 노트북은 센서 모듈을 포함하지 않을 수 있다. 따라서 다양한 실시 예들에서, 전자 장치의 종류 확인은, 각 전자 장치에 포함된 구성 요소 정보를 확인하는 것을 포함할 수 있다. 다양한 실시 예들에서, 전자 장치와 연결된(도는 연결될 수 있는) 적어도 하나의 전자 장치(예: 주변 장치)는 VR 장치, 디스플레이 장치(예: TV, 모니터 등), 360도 촬영이 가능한 장치(예: 360 카메라, 로봇 청소기 등)를 포함할 수 있다.
다양한 실시 예들에 따른, 전자 장치의 종류, 각 전자 장치와 연결된(또는 연결될 수 있는) 주변 장치, 및 그 연결 관계에 따라 수행되는 기능에 대한 예시가 아래 <표 1>에 나타나 있다.
제1
전자 장치		 제1
주변 장치		 제2
전자 장치		 제2
주변 장치		 기능
예시1 스마트폰 X 스마트폰 X 제1 객체
예시2 스마트폰 X 노트북 X 제1 객체
예시3 스마트폰 X 스마트폰 VR 장치 제2 객체
예시4 스마트폰 360 카메라 스마트폰 X 제3 객체
예시5 스마트폰 360 카메라 스마트폰 VR 장치 제2 및 제3 객체
예시6 스마트폰 360카메라 노트북 X 제1 객체
<표 1>을 참조하면, 제1 전자 장치는 영상을 전송하는 발신 측 동작을 수행하는 송신 전자 장치를 나타낼 수 있고, 제1 주변 장치는 제1 전자 장치와 연결된(또는 연결될 수 있는) 장치를 나타낼 수 있고, 제2 전자 장치는 영상을 수신하는 수신 측 동작을 위한 수신 전자 장치를 나타낼 수 있고, 제2 주변 장치는 제2 전자 장치와 연결된(또는 연결 가능한) 장치를 나타낼 수 있고, 기능은 제1 전자 장치, 제1 주변 장치, 제2 전자 장치, 및 제2 주변 장치의 관계에 따라 제1 전 장치에서 표시되는 객체(예: 아이콘, 텍스트)의 종류 및/또는 수행 기능을 나타낼 수 있다.
한 실시 예에 따르면, 예시1의 경우, 제1 전자 장치와 제2 전자 장치가 스마트폰이고, 제1 전자 장치와 제2 전자 장치에 연결된(또는 연결 가능한) 주변 장치가 없는 경우를 나타낼 수 있다. 예시1과 같은 환경에서, 제1 전자 장치는 제1 객체(예: 영상 서비스와 관련된 일반적인 객체(예: 아이콘))를 표시할 수 있다.
한 실시 예에 따르면, 예시2의 경우, 제1 전자 장치가 스마트폰이고, 제2 전자 장치가 노트북이며, 제1 전자 장치와 제2 전자 장치에 연결된(또는 연결 가능한) 주변 장치가 없는 경우를 나타낼 수 있다. 예시2와 같은 환경에서, 제1 전자 장치는 제1 객체를 표시할 수 있다. 예를 들면, 제2 전자 장치가 노트북인 경우, 노트북은 전자 장치의 움직임을 감지하기 위한 센서 모듈을 포함하지 않을 수 있으므로, 일반적인 아이콘을 표시할 수 있다.
한 실시 예에 따르면, 예시3의 경우, 제1 전자 장치가 스마트폰이고, 제2 전자 장치가 노트북이며, 제2 전자 장치에 연결된(또는 연결 가능한) 제2 주변 장치가 VR 장치인 경우를 나타낼 수 있다. 예시3과 같은 환경에서, 제1 전자 장치는 제2 객체(예: VR 장치와 관련된 객체(예: 아이콘, 텍스트(예: VR))를 표시할 수 있다. 다양한 실시 예들에 따라, 제2 전자 장치의 사용자가 제2 주변 장치(예: VR 장치)를 통해 제1 전자 장치가 전송하는 영상을 확인하는 경우, 제1 전자 장치의 사용자가 촬영하여 전송하는 영상 이외에, 추가적으로 제1 전자 장치의 위치 정보에 기반한 가상현실 정보도 함께 제공(예: 전송)할 수 있다.
한 실시 예에 따르면, 예시4의 경우, 제1 전자 장치 및 제2 전자 장치가 스마트폰이고, 제1 전자 장치에 연결된(또는 연결 가능한) 제1 주변 장치가 360 카메라이며, 제2 전자 장치에 연결된(또는 연결 가능한) 제2 주변 장치가 없는 경우를 나타낼 수 있다. 예시4와 같은 환경에서, 제1 전자 장치는 제3 객체(예: 360 카메라와 관련된 객체(예: 아이콘, 텍스트(예: 360))를 표시할 수 있다. 다양한 실시 예들에 따라, 제2 전자 장치는 포함된 센서 모듈에 의한 센서 정보에 기반하여 움직임 여부를 판단할 수 있고, 움직임에 따른 움직임 정보를 제1 전자 장치에 제공할 수 있다. 제1 전자 장치는 제2 전자 장치의 움직임 정보에 기반하여 제1 주변 장치(예: 360 카메라)의 움직임을 제어할 수 있고, 그에 따라 촬영되는 영상을 제2 전자 장치에 전송할 수 있다. 예를 들면, 제2 전자 장치의 사용자는 제2 전자 장치의 움직임에 기반하여 제2 전자 장치의 사용자가 의도하는 방향의 영상(예: 360 카메라 촬영 영상)을 확인할 수 있다.
한 실시 예에 따르면, 예시5의 경우, 제1 전자 장치 및 제2 전자 장치가 스마트폰이고, 제1 전자 장치에 연결된(또는 연결 가능한) 제1 주변 장치가 360 카메라이며, 제2 전자 장치에 연결된(또는 연결 가능한) 제2 주변 장치가 VR 장치인 경우를 나타낼 수 있다. 예시5와 같은 환경에서, 제1 전자 장치는 예시3에 대응하는 제2 객체와 예시4에 대응하는 제3 객체를 함께 표시할 수 있다.
한 실시 예에 따르면, 예시6의 경우, 제1 전자 장치가 스마트폰이고, 제2 전자 장치가 노트북이며, 제1 전자 장치에 연결된(또는 연결 가능한) 제1 주변 장치가 360 카메라이며, 제2 전자 장치에 연결된(도는 연결 가능한) 제2 주변 장치가 없는 경우를 나타낼 수 있다. 예시6과 같은 환경에서, 제1 전자 장치는 제1 객체를 표시할 수 있다. 예를 들면, 제2 전자 장치가 노트북인 경우, 노트북은 전자 장치의 움직임을 감지하기 위한 센서 모듈을 포함하지 않을 수 있으므로, 일반적인 아이콘을 표시할 수 있다.
도 5b 및 <표 1>을 참조한 예시에서 살펴본 바와 같이, 다양한 실시 예들에 따르면, 제1 전자 장치(610)와 제2 전자 장치(620)의 능력(capability) 확인을 통해 제공 가능한 서비스를 확인할 수 있으며, 사용자의 선택에 의해 서비스(예: 일반적인 영상 서비스(예: 전자 장치에 구비된 카메라에 의한 영상 서비스), 360 카메라에 의한 360 영상 서비스, VR 장치에 의한 VR 영상 서비스 등)가 결정될 수 있다. 추가적으로 또는 대체적으로, 다양한 실시 예들에 따르면, 사용자 선택에 따라 결정된 서비스에 기반하여 영상 통신 연결에 포함된 만료 시간(expire time)(예: 최대 대기 시간)을 변경할 수 있다. 예를 들면, 일반적인 영상 서비스를 위한 통신 연결일 경우 만료 시간(또는 최대 대기 시간)은 제1시간(예: 15초)일 수 있고, VR 영상 서비스 또는 360 영상 서비스를 위한 통신 연결일 경우 만료 시간(또는 최대 대기 시간)은 제2시간(예: 30초)일 수 있다. 한 실시 예에 따르면, VR 영상 서비스 또는 360 영상 서비스의 경우, 일반적인 영상 서비스에 비해 보다 많은 데이터를 전송할 수 있으며, 따라서 VR 영상 서비스 또는 360 영상 서비스에서는 만료 시간(예: 최대 대기 시간)을 제1시간보다 큰 제2시간으로 변경할 수 있다. 예를 들면, 다양한 실시 예들에 따라, 영상 서비스의 상태(또는 영상의 상태)에 따라, 만료 시간을 다르게 구성할 수 있으며, 이를 위한 서비스 요청(service request) 정보를 서버 또는 전자 장치에 구성할 수 있다.
다양한 실시 예들에 따르면, 전자 장치들의 다양한 상황 및 전자 장치의 능력을 고려하여 다양하게 영상 서비스를 제공할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(610)는 영상을 획득 가능한 다양한 주변 장치와 연결될 수 있다. 제1 전자 장치(610)는 영상이, 내부 카메라 모듈을 통한 획득인지, 또는 주변 장치를 통한 획득인지 여부를 확인할 수 있다. 또한 제1 전자 장치(610)는 영상을 주변 장치를 통해 획득하는 경우 주변 장치의 종류를 확인할 수 있다. 제1 전자 장치(610)는 전술한 다양한 장치 상황을 확인할 수 있고, 제2 전자 장치(620)가 확인된 장치 상황에 대응하는 장치 상황을 만족하는지 판단할 수 있고, 판단하는 결과에 기반하여 영상 서비스를 위한 아이콘의 형태를 다양하게(또는 다르게) 제공할 수 있다.
다양한 실시 예들에 따르면, 전자 장치들 간의 음성 통화 시, 다양한 장치 상황에 따라 영상 서비스를 위한 객체(예: 영상 서비스 실행을 위한 서비스 버튼으로, 아이콘 또는 텍스트)의 활성화 또는 비활성화를 통해 연결 가능 상태를 미리 제공할 수 있다. 예를 들면, 제1 전자 장치(610)는 음성 통화 시 제2 전자 장치(620)와의 영상 서비스 연결 가능 여부를 미리 판단하고, 연결 가능한 상태에서 영상 서비스를 위한 객체를 활성화 하여 제공할 수 있다. 또한, 다양한 실시 예들에 따르면, 제1 전자 장치(610)는 활성화 하는 객체의 형태를 장치 상황에 대응하여 다르게 제공하여 연결되는 영상 서비스에 대한 정보를 제공할 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 다양한 실시 예들에 따른 전자 장치(500)는, 디스플레이; 적어도 하나의 프로토콜(protocol)을 이용하여 외부 전자 장치와 무선 통신을 형성하도록 설정된 적어도 하나의 통신 회로; 상기 디스플레이 및 상기 적어도 하나의 통신 회로와 전기적으로 연결된 프로세서; 및 상기 프로세서와 전기적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 디스플레이 상에 유저 인터페이스를 표시하고, 상기 유저 인터페이스는 상기 외부 전자 장치와 영상 통신(video communication)의 가능 여부에 대한 인디케이션(indication)을 포함하고, 상기 유저 인터페이스를 표시하는 동안 상기 외부 전자 장치와 영상 통화(video call)를 형성하고, 상기 영상 통신의 가능 여부를 요청하기 위한 제1 신호(first signal)를 상기 적어도 하나의 통신 회로를 이용하여 전송하고, 상기 영상 통신의 가능 여부를 지시하는 제2 신호(second signal)를 상기 적어도 하나의 통신 회로를 이용하여 수신하고, 상기 제2 신호에 응답하여, 상기 외부 전자 장치와 영상 통신 가능을 지시하는 상기 인디케이션을 변경(adapt)하고, 상기 인디케이션을 선택하는 사용자 입력을 수신하고, 및 상기 사용자 입력에 응답하여, 상기 외부 전자 장치에 영상 데이터(video data)의 전송을 개시(initiate)하도록 하는 인스트럭션들(instructions)을 저장하는 것을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 인디케이션은 아이콘(icon) 또는 텍스트(text) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 영상 통신의 가능 여부를 모니터(monitor)하고, 상기 외부 전자 장치와 영상 통신이 가능하지 않은 것으로 결정하면, 상기 인디케이션을 변경하도록 하는 것을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 외부 전자 장치와 영상 통신이 가능한 경우, 상기 인디케이션을 활성화 표시하고, 상기 외부 전자 장치와 영상 통신이 불가능한 경우, 상기 인디케이션을 비활성화 표시하도록 하는 것을 포함할 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 다양한 실시 예들에 따른 전자 장치(500)는, 카메라, 디스플레이, 통신 회로, 및 카메라, 디스플레이 및 통신 회로와 기능적으로 연결된 프로세서를 포함하고, 프로세서는, 다른 전자 장치와 제1 통신에 기초하여 음성 통화를 수행하고, 음성 통화 중에 서비스 실행 요청에 응답하여 다른 전자 장치와 제2 통신에 의한 데이터 통신의 가능 여부 및 데이터 통신 품질에 적어도 일부에 기초하여 서비스 연결 여부를 결정하고, 서비스 연결 결정 시, 카메라를 통해 획득하는 영상을 디스플레이에 표시 및 영상을 제2 통신에 기초하여 다른 전자 장치에 전송하도록 구성할 수 있다.
다양한 실시 예들에 따라, 프로세서는, 음성 통화 중에 다른 전자 장치의 서비스 가입 여부를 판단하도록 설정될 수 있다. 다양한 실시 예들에 따라, 프로세서는, 전자 장치의 서비스 가입 정보에 기초하여 서비스 가입 여부를 판단하도록 설정될 수 있다.
다양한 실시 예들에 따라, 프로세서는, 전자 장치에서 서비스 가입 정보에 기초하여 다른 전자 장치에 대한 서비스 가입 여부가 확인되지 않을 시, 서버에 다른 전자 장치에 대한 서비스 가입 여부 확인을 요청하도록 설정될 수 있다.
다양한 실시 예들에 따라, 프로세서는, 서비스 실행 요청에 응답하여, 다른 전자 장치와 서비스 실행을 위한 데이터 통신 연결 동작을 처리하도록 설정될 수 있다. 다양한 실시 예들에 따라, 프로세서는, 서비스 실행 요청에 응답하여, 연결 요청 메시지를 전송하고, 연결 요청 메시지에 대응하는 연결 응답 메시지의 수신을 설정된 최대 대기 시간 동안 대기하도록 설정될 수 있다. 다양한 실시 예들에 따라, 프로세서는, 최대 대기 시간 내에 연결 응답 메시지가 수신되지 않으면, 상기 음성 통화를 종료하고, 제2 통신에 기초하여 음성 및 데이터 통신을 재연결하도록 설정될 수 있다.
다양한 실시 예들에 따라, 프로세서는, 다른 전자 장치가 서비스에 가입된 경우 연결 요청 메시지를 전송하고, 다른 전자 장치가 서비스에 가입되지 않은 경우 서비스 연결 진행을 종료하도록 설정될 수 있다.
다양한 실시 예들에 따라, 프로세서는, 연결 응답 메시지 수신에 응답하여, 참여 메시지의 수신을 설정된 최대 대기 시간 동안 대기하도록 설정될 수 있다. 다양한 실시 예들에 따라, 프로세서는, 최대 대기 시간 내에 참여 메시지가 수신되지 않으면, 서비스 연결 실패로 결정하고, 서비스 연결을 종료 처리하도록 설정될 수 있다.
도 6a는 본 발명의 다양한 실시 예들에 따른 시스템에서 데이터 통신 연결 동작을 설명하기 위해 도시하는 도면이다.
도 6a에 도시한 바와 같이, 도 6a에서는 제1 전자 장치(610)와 제2 전자 장치(620)가 제1 네트워크(430)를 통해 음성 통화를 수행하는 중에, 제2 네트워크(450)의 서버(650)를 통해 영상 서비스를 위한 데이터 통신 연결(예: P2P 연결) 절차를 나타낸다. 도 6a의 예시에서는, 제1 전자 장치(610)에서, 제1 네트워크(430)를 통해 연결되어 음성 통화 중인 제2 전자 장치(620)에 데이터 통신 연결을 시도하는 예시를 나타낼 수 있다.
도 6a를 참조하면, 동작 601에서, 제1 전자 장치(610)는 접속 서버(651)에게 영상 송수신을 위한 세션을 형성하기 위한 초기 설정 메시지(예: initialize message)를 전송할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(610)는 음성 통화 중에 영상 서비스를 실행하기 위한 사용자 입력을 감지할 수 있고, 사용자 입력에 기초하여 접속 서버(651)에 initialize message를 전송할 수 있다. 동작 605에서, 접속 서버(651)는 제1 전자 장치(610)의 세션을 형성하기 위한 초기 설정 메시지에 대응하여, 세션 수립에 대한 설정 응답 메시지(예: OnInitialized message)를 제1 전자 장치(610)에 전송할 수 있다.
동작 603에서, 제1 전자 장치(610)는 제2 전자 장치(620)에게 영상을 전송하기 위한 연결 요청 메시지(예: Send Invite (PUSH): ACTION_SEND_CHAT REQUEST message)(또는 초대 메시지)를 메시지 서버(653)를 통해 전송할 수 있고, 동작 607에서, 제2 전자 장치(620)는 메시지 서버(653)를 통해 연결 요청 메시지(또는 초대 메시지)를 수신할 수 있다.
동작 609에서, 제2 전자 장치(620)는 메시지 서버(653)로부터 제1 전자 장치(610)의 연결 요청 메시지의 수신에 대응하여, 연결 요청 메시지를 정상적으로 수신했음을 알리는 연결 응답(확인) 메시지(예: CoreApps: ACTION_DELIVERY_ACK message)를 메시지 서버(653)를 통해 제1 전자 장치(610)에 전송할 수 있다.
동작 611에서, 제2 전자 장치(620)는, 연결 응답 메시지 전송에 대응하여, 접속 서버(651)에게 영상 송수신을 위한 세션을 형성하기 위한 초기 설정 메시지(예: initialize message)를 전송할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(610)는 음성 통화 중에 영상 서비스를 실행하기 위한 사용자 입력을 감지할 수 있고, 사용자 입력에 기초하여 접속 서버(651)에 initialize message를 전송할 수 있다. 동작 613에서, 접속 서버(651)는 제2 전자 장치(620)의 세션을 형성하기 위한 초기 설정 메시지에 대응하여, 세션 수립에 대한 설정 응답 메시지(예: OnInitialized message)를 제2 전자 장치(620)에 전송할 수 있다.
동작 615에서, 제1 전자 장치(610)와 제2 전자 장치(620)는 영상 송수신을 위한 세션이 형성될 수 있다. 예를 들면, 제1 전자 장치(610)와 제2 전자 장치(620) 간에 데이터 통신 연결(예: P2P 연결)이 수립될 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(610)는 제2 전자 장치(620)에 음성 통화 중에 영상을 전송하기 위한 연결 요청 메시지를 메시지 서버(653)에 전송하고, 이후, 연결 요청 메시지에 대응하는 제2 전자 장치(620)의 연결 응답 메시지의 수신을 대기하는 최대 대기 시간(예: Push Delay Expired 시간)(670)(예: 13초)을 설정할 수 있다. 다양한 실시 예들에서, 최대 대기 시간(670)은 제1 전자 장치(610)에서 연결 요청 메시지를 전송한 이후에 설정되거나, 또는 제1 전자 장치(610)에 미리 설정되어 저장될 수 있다.
다양한 실시 예들에서, 제1 전자 장치(610)는 연결 요청 메시지를 전송한 이후, 최대 대기 시간(670)을 카운트 할 수 있다. 다양한 실시 예들에 따라, 제1 전자 장치(610)는 만약, 최대 대기 시간(670) 동안 제2 전자 장치(620)로부터 연결 응답 메시지가 수신되지 않을 경우, 음성 통화 중 데이터 통신이 불가능한 상황으로 판단할 수 있다. 제1 전자 장치(610)는 데이터 통신이 불가능한 것으로 결정할 시, 음성 통화를 종료하고, 전술한 동작 603으로 진행하여 이하의 동작 수행을 처리할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(610)는 제2 전자 장치(620)가 영상 전송을 위한 서비스에 가입된 상태에서, 제2 전자 장치(620)로부터 연결 응답 메시지가 최대 대기 시간 내에 수신되지 않을 경우, 네트워크 상황의 불안정 등으로 인해 데이터 통신이 수행되지 않는 것으로 판단할 수 있다. 이에, 제1 전자 장치(610)는 제1 네트워크에 의해 통신 중인 음성 통화를 종료하고, 제2 네트워크에 의해 데이터 통신으로 음성 및 영상 통화를 재연결 할 수 있다. 예를 들면, 제1 전자 장치(610)는 3G 통신의 음성 통화를 종료하고, VoIP 통신으로 영상 통화를 수행할 수 있다.
동작 617에서, 접속 서버(651)는, 제1 전자 장치(610)와 제2 전자 장치(620) 간에 데이터 통신 연결(예: P2P 연결)이 이루어지면, 제1 전자 장치(610)와 제2 전자 장치(620)에게 상대 전자 장치가 세션에 참여함을 통지하는 참여 메시지(예: onJoined message)를 전송할 수 있다.
다양한 실시 예들에서, 제1 전자 장치(610)는 메시지 서버(653)로부터 제2 전자 장치(620)의 연결 응답 메시지를 수신하면, 이후 접속 서버(651)로부터 참여 메시지를 대기하기 위한 최대 대기 시간(예: onJoined Delay Expired 시간)(680)(예: 15초)을 설정할 수 있다. 다양한 실시 예들에서, 최대 대기 시간(680)은 제1 전자 장치(610)에서 연결 응답 메시지를 수신한 이후에 설정되거나, 또는 제1 전자 장치(610)에 미리 설정되어 저장될 수 있다.
다양한 실시 예들에서, 제1 전자 장치(610)는 연결 응답 메시지를 수신한 이후, 최대 대기 시간(680)을 카운트 할 수 있다. 다양한 실시 예들에 따라, 제1 전자 장치(610)는 만약, 최대 대기 시간(680) 동안 접속 서버(651)로부터 참여 메시지가 수신되지 않을 경우, 데이터 통신은 가능하지만 데이터 통신 품질이 좋지 않은 상황(예: 데이터 통신이 불가능 상태로, 예를 들면, 전자 장치(500)가 음영 지역 등에 존재하는 경우)으로 판단할 수 있다. 제1 전자 장치(610)는 데이터 통신 품질이 좋지 않은 것으로 판단할 시, 데이터 통신 연결 실패로 결정할 수 있다. 제1 전자 장치(610)는 최대 대기 시간(680) 내에 참여 메시지를 수신하는 경우, 정상적인 데이터 통신 연결로 결정하고 이후의 동작 수행을 계속 처리할 수 있다.
다양한 실시 예들에서, 동작 617 이후의 동작 690(예: 동작 619, 동작 621, 동작 623, 동작 625, 동작 627, 동작 629, 동작 631)은 제1 전자 장치(610)에서 제2 전자 장치(620)에게 영상 전송을 위한 서비스 연결 요청을 통지(예: 동작 619, 동작 621)하고, 제2 전자 장치(620)의 사용자 입력에 따라 제1 전자 장치(610)와 제2 전자 장치(620) 간에 영상을 송수신 하고(예: 동작 623, 동작 625), 이후 서비스 연결을 종료(예: 동작 627, 동작 629, 동작 631)하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 제1 전자 장치(610)는, 제1 전자 장치(610)의 사용자가 제2 전자 장치(620)의 사용자와 음성 통화 중에 영상을 전송하기 위한 사용자 입력(예: 서비스 실행 버튼 선택) 전까지는, 제2 전자 장치(620)와 음성 통화 중 데이터 통신이 가능한지 여부를 판단하기 어려울 수 있다. 따라서 제1 전자 장치(610)는 어떤 방식으로 데이터 통신 연결을 맺어야 안정적인 서비스 연결이 수행될지 결정하기 어려울 수 있다.
다양한 실시 예들에서는, 데이터 통신 연결 과정 중 제한 시간(예: 최대 대기 시간(670), 최대 대기 시간(680)) 내에 연결 응답 메시지 또는 참여 메시지 수신 여부에 적어도 일부 기초하여 데이터 통신이 가능한 상황과 데이터 통신 품질을 판단하도록 할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(610)는 제2 전자 장치(620)로부터 연결 응답 메시지를 수신한 경우, 추가 대기 시간(예: 최대 대기 시간(670))을 설정할 수 있고, 추가 대기 시간 내에 접속 서버(651)로부터 참여 메시지를 수신하면 서비스 연결 성공으로 결정할 수 있고, 참여 메시지를 수신하지 못하면 서비스 연결 실패로 결정하여 종료 처리할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(610)는 제2 전자 장치(620)로부터 연결 응답 메시지를 수신하지 못하는 경우, 음성 통화 중 제2 전자 장치(620)와 데이터 통신이 수행되지 않는 상황이라고 결정할 수 있고, 음성 통화를 종료하고 초대 메시지 전송부터 다시 시작하여 서비스 연결을 형성하도록 처리할 수 있다.
도 6b는 본 발명의 다양한 실시 예들에 따른 시스템에서 전자 장치의 능력을 체크하는 동작을 설명하기 위해 도시하는 도면이다.
도 6b를 참조하면, 동작 671에서, 제1 전자 장치(610)는 제2 전자 장치(620)의 장치 상황(예: 제2 전자 장치(620)와 관련된 능력)을 확인하기 위한 능력 요청 메시지(capability request message)를 서버(650)(예: 메시지 서버(653))을 통해 제2 전자 장치(620)에 전송할 수 있다.
동작 673에서, 제2 전자 장치(620)는 서버(650)(예: 메시지 서버(653))로부터 제1 전자 장치(610)의 능력 요청 메시지의 수신에 대응하여, 제2 전자 장치(620)와 관련된 능력 정보를 포함하는 능력 응답 메시지(capability response message)를 서버(650)(예: 메시지 서버(653))를 통해 제1 전자 장치(610)에 전송할 수 있다.
동작 655에서, 제1 전자 장치(610)는 서버(650)(예: 메시지 서버(653))로부터 제2 전자 장치(620)와 관련된 능력 응답 메시지의 수신에 대응하여, 제2 전자 장치(620)와 관련된 능력 정보에 기반하여 객체를 표시할 수 있다.
다양한 실시 예들에 따르면, 제1 전자 장치(610)는 제2 전자 장치(620)의 능력 정보를 요청할 수 있고, 능력 정보 요청에 대응하여 수신된 제2 전자 장치(620)와 관련된 능력 정보(이하, 제2 능력 정보)와, 제1 전자 장치(610)와 관련된 능력 정보(이하, 제1 능력 정보)에 의해 영상 서비스를 위한 객체(예: 아이콘, 텍스트)의 형태를 다르게 제공할 수 있다. 다양한 실시 예들에 따르면, 제1 전자 장치(610) 및 제2 전자 장치(620)의 종류 및/또는 각 전자 장치에 연결된 주변 장치의 조합에 의해 제공할 수 있는 서비스가 다르게 결정될 수 있으며, 결정된 서비스에 따라 객체를 다르게 제공할 수 있다. 한 실시 예에 따르면, 제1 전자 장치(610)는 제1 능력 정보를 확인할 수 있고, 제1 능력 정보와 제2 능력 정보에 기반하여 객체의 표시 방식을 결정할 수 있다. 예를 들면, 전술한 <표 1>을 참조한 설명 부분에서 설명한 바와 같이, 제1 전자 장치(610)는 제1 능력 정보와 제2 능력 정보에 기반하여 제1 객체, 제2 객체, 또는 제3 객체 중 적어도 하나의 객체를 표시하도록 동작할 수 있다.
다양한 실시 예들에 따르면, 도 6b에 따른 전자 장치와 관련된 능력을 확인하는 동작은, 전술한 도 6a에서 연결 설정(connection setup) 동작의 다음 단계(예: 동작 609 이하의 동작)에서, 참여 메시지(예: onJoined message)를 수신하는 동작 이전, 예를 들면, 동작 609와 동작 617 사이에서 수행될 수 있다. 한 실시 예에 따르면, 전자 장치와 관련된 능력 확인 동작은, 제2 전자 장치(620)와의 초기 연결 설정 단계에서 수행할 수도 있고, 또는 음성 통화 중에 영상 서비스를 연결하는 단계(예: 제1 전자 장치(610)와 제2 전자 장치(620)가 세션에 참여하는 단계)에서 수행할 수 있다.
도 7a, 도 7b 및 도 7c는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면들이다.
도 7a를 참조하면, 도 7a는 전자 장치(500)에서 음성 통화 중에 제공되는 서비스 유저 인터페이스의 화면 예시를 나타낸다. 다양한 실시 예들에서, 도 7a는 영상을 전송하는 발신 단말의 화면 예시일 수 있고, 영상을 수신하는 수신 단말에서도 음성 통화와 관련된 동작에서는 도 7a에 대응되는 유저 인터페이스의 화면이 제공될 수 있다.
도 7a에 도시한 바와 같이, 서비스 유저 인터페이스는 인디케이터 영역(710), 통화 정보 영역(720), 기능 선택 영역(730)을 포함하여 구현할 수 있다.
다양한 실시 예들에서, 인디케이터 영역(710)은 전자 장치(500)의 사용과 관련된 정보(예: 충전 상태, 시간, 통화 상태, 알람 등에 대한 정보) 및/또는 외부로부터 수신하는 정보(예: 날씨 정보, 수신 메시지 정보, 피드 정보 등) 등을 제공할 수 있다.
다양한 실시 예들에서, 통화 정보 영역(720)은 전자 장치(500)의 음성 통화 수행 중에 통화 상태, 통화 시간, 통화 대상 정보 등을 제공할 수 있다.
다양한 실시 예들에서, 기능 선택 영역(730)은 음성 통화 중에 전자 장치(500)에 의해 수행(실행)될 수 있는 다양한 기능(또는 어플리케이션)들에 대한 객체(예: 아이콘, 텍스트)를 제공할 수 있다. 한 실시 예에 따르면, 음성 통화 대상을 추가할 수 있는 객체(예: Add call 버튼), 영상 전송을 위한 객체(예: See What I See 버튼, 이하, 서비스 버튼)(750), 블루투스 설정을 위한 객체(예: Bluetooth 버튼), 볼륨 또는 스피커 모드 설정을 위한 객체(예: Speaker 버튼), 키패드 호출을 위한 객체(예: Keypad 버튼), 음소거를 위한 객체(예: Mute 버튼), 통화 종료를 위한 객체(예: End 버튼)(740) 등이 기능 선택 영역(730)에 포함될 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치(500)는 다른 전자 장치(예: 제2 전자 장치(620))와 음성 통화를 수행하는 동안, 서비스 버튼(750)에 기초하여 사용자 입력을 수신(감지)할 수 있다. 전자 장치(500)는 서비스 버튼(750)에 기초하여 사용자 입력을 수신하면, 현재 음성 통화 수행 중인 다른 전자 장치(예: 제2 전자 장치(620))에게 영상(예: 실시간 카메라 영상, 또는 저장된 영상)을 전송하기 위한 영상 서비스 실행으로 판단할 수 있다. 다양한 실시 예들에 따르면, 전자 장치(500)는 영상 서비스 실행을 결정하면, 설정 방식에 따라 카메라(예: 카메라 모듈(570))을 구동할 수 있고, 카메라를 통해 획득하는 영상(예: 프리뷰 영상)을 전송하기 위한 서비스 연결 동작을 개시(예: 관련 유저 인터페이스 표시 및 서비스 연결 요청 전송)할 수 있다. 다양한 실시 예들에 따르면, 전자 장치(500)는 영상 서비스 실행을 결정하면, 설정된 방식에 따라 내부 저장된 영상들을 추출할 수 있고, 추출된 영상(예: 추출된 영상들의 리스트 표시 후 사용자에 의해 선택되는 영상)을 전송하기 위한 서비스 연결 동작을 개시(예: 관련 유저 인터페이스 표시 및 서비스 연결 요청 전송)할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(500)의 연결 상태에 따라 서비스 유저 인터페이스가 다양하게 제공될 수 있다. 이의 예시가 도 7b에 도시된다.
도 7b를 참조하면, 도 7b는 전자 장치(500)가 음성 통화 시 상대 전자 장치와의 서비스 상태 체크(service status check)에 따른 결과(예: 서비스 가능 여부)에 기반하여, 영상 서비스를 위한 객체(예: 서비스 버튼(750))를 활성화 또는 비활성화 표시하는 예시를 나타낼 수 있다. 이에 의해, 사용자는 서비스의 연결 가능 상태에 대한 정보를 직관적으로 확인할 수 있다.
한 실시 예에 따라, 화면(701)은, 전자 장치(500)에서 음성 통화를 시도하는 중(예: 콜 발신 중)의 화면 예시를 나타낼 수 있다. 예를 들면, 화면(701)에 도시한 바와 같이, 영상 서비스를 위한 객체(예: 서비스 버튼(750))는 비활성화 상태(예: 그레이(gray) 또는 딤(dim) 처리된 아이콘)로 제공될 수 있다. 추가적으로, 전자 장치(500)는 음성 통화를 시도하는 동안, 사용할 수 없는 기능에 대응하는 객체(예: Mute 버튼(760))에 대해서도 비활성화 상태로 제공할 수 있다.
한 실시 예에 따라, 화면(702)은, 전자 장치(500)에서 음성 통화를 시도하는 중, 또는 음성 통화 동안(예: 음성 통화를 위한 통신이 연결된 상태)에서, 상대 전자 장치와 영상 서비스 수행이 가능하다고 확인된 경우의 화면 예시를 나타낼 수 있다. 예를 들면, 화면(702)에 도시한 바와 같이, 영상 서비스를 위한 객체(예: 서비스 버튼(750))를 비활성화 상태에서 활성화 상태의 객체(750A)로 변경하여 제공할 수 있다. 추가적으로, 전자 장치(500)는 음성 통화 시 음성 통화를 위한 통신이 연결될 시 비활성화된 객체(예: Mute 버튼(760))를 활성화 상태의 객체(760A)로 변경하여 제공할 수 있다.
한 실시 예에 따라, 화면(703)은, 전자 장치(500)에서 음성 통화를 시도하는 중, 또는 음성 통화 동안(예: 음성 통화를 위한 통신이 연결된 상태)에서, 상대 전자 장치와 영상 서비스 수행이 불가능하다고 확인된 경우의 화면 예시를 나타낼 수 있다. 예를 들면, 화면(703)에 도시한 바와 같이, 영상 서비스를 위한 객체(예: 서비스 버튼(750))를 비활성 상태로 표시할 수 있다. 추가적으로, 전자 장치(500)는 음성 통화 시 음성 통화를 위한 통신이 연결될 시 비활성화된 객체(예: Mute 버튼(760))를 활성화 상태의 객체(760A)로 변경하여 제공할 수 있다.
다양한 실시 예들에 따르면, 전술한 <표 1> 및 도 6b를 참조한 설명 부분에서 설명한 바와 같이, 전자 장치(500)와 관련된 능력에 따라 영상 서비스를 위한 객체(예: 서비스 버튼(750))가 다양하게 제공될 수 있다. 이의 예시가 도 7c에 도시된다.
도 7c 및 전술한 <표 1>을 참조하여 장치 상황에 따른 각 예시들(예: 예시1 내지 예시6)에서 영상 서비스를 위한 객체가 제공되는 예시를 살펴보면 다음과 같다.
예시1, 예시2, 예시6과 같은 환경에서, 영상 서비스를 위한 객체(예: 서비스 버튼(750))는 전술한 도 7b의 화면(702)에 도시된 객체(750A)의 예시와 같이 일반적인 객체(예: 제1 객체)로 제공할 수 있다.
예시3과 같은 환경에서, 영상 서비스를 위한 객체(예: 서비스 버튼(750))는 도 7c의 화면(711)에 도시된 객체(711A)와 같이, VR 장치의 장치 정보에 기초하여 관련 객체(예: 아이콘, ‘VR’ 텍스트)로 제공할 수 있다.
예시4와 같은 환경에서, 영상 서비스를 위한 객체(예: 서비스 버튼(750))는 도 7c의 화면(712)에 도시된 객체(712A)와 같이, 360 카메라의 장치 정보에 기초하여 관련 객체(예: 아이콘, ‘360’ 텍스트)로 제공할 수 있다.
예시5와 같은 환경에서, 영상 서비스를 위한 객체(예: 서비스 버튼(750))는 도 7c의 화면(713)에 도시된 객체(713A)와 같이, VR 장치의 장치 정보에 기초한 관련 객체(예: 아이콘, ‘VR’ 텍스트)와 360 카메라의 장치 정보에 기초한 관련 객체(예: 아이콘, ‘360’ 텍스트)로 제공할 수 있다.
다양한 실시 예들에서, 전자 장치(500)가 음성 통화 중에 서비스 실행에 따라 제공하는 서비스 유저 인터페이스의 화면 예시가 도 8에 도시된다.
도 8은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면이다.
도 8을 참조하면, 도 8은 음성 통화 중에 서비스 실행 요청에 따라 서비스 연결을 대기(또는 서비스 연결 형성) 시 제공되는 서비스 유저 인터페이스의 화면 예시를 나타낸다. 다양한 실시 예들에서, 도 8은 전자 장치(500)가 영상을 전송하는 발신 단말의 화면 예시일 수 있다.
도 8에 도시한 바와 같이, 서비스 유저 인터페이스는 프리뷰 영역(800), 제1 기능 선택 영역(810), 제2 기능 선택 영역(830)을 포함하여 구현할 수 있다.
다양한 실시 예들에서, 프리뷰 영역(800)은 음성 통화 중에 영상 서비스 실행에 응답하여 영상이 표시되는 영역을 나타낼 수 있다. 한 실시 예에 따르면, 프리뷰 영역(800)은 서비스 실행에 대응하여 구동된 카메라(예: 카메라 모듈(570))(예: 전면 또는 후면 카메라 중 적어도 하나)를 통해 획득되는 실시간 영상(real-time video)(또는 라이브 영상(live video))을 제공할 수 있다. 한 실시 예에 따르면, 프리뷰 영역(800)은 서비스 실행에 대응하여 전자 장치(500)의 내부 또는 외부로부터 획득하는 영상들의 리스트가 제공되고, 리스트에서 사용자에 의해 선택된 영상을 제공할 수 있다.
다양한 실시 예들에서, 제1 기능 영역(810)은 음성 통화 중에 실행하는 영상 서비스와 관련된 다양한 기능(또는 어플리케이션)들에 대한 객체(예: 아이콘, 텍스트)를 제공할 수 있다. 한 실시 예에 따르면, 제1 기능 영역(810)은 프리뷰 영역(800)에 표시된 영상을 캡쳐하여 저장할 수 있는 객체(811)(예: Capture 버튼), 프리뷰 영역(800)에 표시된 영상을 녹화할 수 있는 객체(813)(예: Record 버튼), 영상을 획득하는 카메라를 전환(예: 후면 카메라에서 전면 카메라로 전환 또는 전면 카메라에서 후면 카메라로 전환)할 수 있는 객체(815)(예: Switch camera 버튼), 적어도 2개의 카메라(예: 전면 카메라 및 후면 카메라를 동시 구동하는 듀얼(dual) 카메라)를 실행하기 위한 객체(817)(예: Dual camera 버튼) 등이 제1 기능 영역(810)에 포함될 수 있다. 다양한 실시 예들에 따라, 제1 기능 영역(810)은 영상 서비스에서 발신 단말에서 제공될 수 있고, 프리뷰 영역(800)을 통해 표시되는 영상과 관련하여 저장, 선택 또는 설정 변경 등을 수행하기 위한 다양한 기능 버튼들에 의해 구현할 수 있다.
다양한 실시 예들에서, 제2 기능 영역(830)은 영상 서비스 및/또는 음성 통화와 관련된 다양한 기능(또는 어플리케이션)들에 대한 객체(예: 아이콘, 텍스트)를 제공할 수 있다. 한 실시 예에 따르면, 제2 기능 영역(830)은 영상 서비스를 위한 발신 단말과 수신 단말에서 모두 공통적으로 제공되는 영역을 나타낼 수 있다. 한 실시 예에 따르면, 영상 서비스를 종료(예: 서비스 연결 종료)하기 위한 객체(831)(예: End SWIS 버튼), 볼륨 또는 스피커 모드 설정을 위한 객체(833)(예: Speaker 버튼), 음소거를 위한 객체(835)(예: Mute 버튼), 프리뷰 영역(800) 상에 포인터(pointer)를 호출하여 표시하기 위한 객체(837)(예: Pointer 버튼) 등이 제2 기능 영역(830)에 포함될 수 있다.
다양한 실시 예들에서, 제1 기능 영역(810)과 제2 기능 영역(830)에 따른 객체들 및 객체들 간의 배치는 도 8에 예시된 것에 한정되지 않으면, 전자 장치(500)의 설정에 따라 다양하게 변경 및 설계될 수 있다.
다양한 실시 예들에서, 전자 장치(500)(예: 영상 전송을 위한 발신 단말)는 영상 서비스 실행에 응답하여, 영상 서비스 실행 중임을 통지하는 객체(예: 진행 상태를 알리는 아이템(예: 애니메이션 아이콘)과 텍스트(예: Requesting See What I see...)) 중 적어도 하나를 프리뷰 영역(800)의 일 영역에 제공할 수 있다. 한 실시 예에 따르면, 전자 장치(500)는 전술한 바와 같이, 수신 단말과 서비스 연결을 위해 수행하는 서비스 연결 절차 진행 동안(예: 수신 단말과 실질적인 서비스 연결 이전까지) 사용자에게 서비스 연결 중임을 직관적인 객체에 기초하여 제공할 수 있다.
도 9는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
다양한 실시 예들에서, 도 9는 영상 전송을 위한 서비스 연결을 음성 통화 중인 다른 전자 장치에 요청하고, 서비스 연결 시 영상을 전송하는 발신 단말의 동작을 나타낼 수 있다. 예를 들면, 전자 장치(500)가 발신 단말로 동작하는 경우의 예시를 나타낼 수 있다.
도 9를 참조하면, 동작 901에서, 전자 장치(500)의 제어부(580)(예: 발신 단말로 동작하는 전자 장치의 프로세서)는 음성 통화 중에, 동작 903에서, 영상 전송 요청을 감지할 수 있다. 한 실시 예에 따르면, 제어부(580)는 제1 통신에 기초하여 다른 전자 장치(예: 제2 전자 장치(620))와 음성 통화 수행과 관련된 일반적인 동작을 처리할 수 있다. 제어부(580)는 음성 통화 중에 사용자에 의해 영상 서비스를 전송하기 위한 요청(예: 사용자 입력)이 있는지 판단할 수 있다. 예를 들면, 제어부(580)는 음성 통화 중에 전술한 도 7a의 예시와 같이 영상 전송을 위해 제공된 객체(예: 서비스 버튼(750))의 선택을 감지하면, 영상 서비스 실행으로 판단할 수 있다.
동작 905에서, 제어부(580)는 데이터 통신 가능 여부를 확인하여, 동작 907에서, 음성 통화 중인 다른 전자 장치와 데이터 통신이 수행 가능한지 여부를 판단할 수 있다. 한 실시 예에 따르면, 제어부(580)는 현재 음성 통화 중인 다른 전자 장치가 영상을 수신할 수 있는 영상 서비스에 가입된 단말인지 아닌지를 서비스 가입 정보에 기초하여 판단할 수 있다. 다른 한 실시 예에 따르면, 제어부(580)는 현재 통화 중인 다른 전자 장치와 관련된 능력(capability)을 확인할 수 있다. 다른 전자 장치와 관련된 능력은 전자 장치의 종류, 다른 전자 장치와 연결된(또는 연결될 수 있는) 적어도 하나의 전자 장치와 관련된 장치 정보를 포함할 수 있다. 다양한 실시 예들에서는, 데이터 통신 연결의 안정성을 높이기 위해, 실제 데이터 통신 연결을 시도하기 전에, 서비스 가입 정보 또는 전자 장치와 관련된 능력 중 적어도 일부에 기반하여, 다른 전자 장치와의 데이터 통신 가능 여부를 판단할 수 있다.
다양한 실시 예들에서, 영상 서비스의 가입 여부 판단을 위한 서비스 가입 정보는, 예를 들면, 연락처 데이터베이스에 기초하여 판단할 수 있다. 다양한 실시 예들에 따르면, 연락처 데이터베이스는 전자 장치(500) 내에 저장된 연락처 데이터베이스 또는 서버에 저장된 연락처 데이터베이스를 포함할 수 있다. 다양한 실시 예들에 따르면, 제어부(580)는 연락처 데이터베이스에 기초하여 다른 전자 장치의 서비스 가입 정보가 확인되면, 다른 전자 장치가 데이터 통신이 가능한 장치(예: 서비스 연결 가능한 장치)인 것으로 결정할 수 있다. 다양한 실시 예들에 따르면, 제어부(580)는 연락처 데이터베이스에 기초하여 다른 전자 장치의 서비스 가입 정보가 확인되지 않으면, 다른 전자 장치가 데이터 통신이 가능하지 않은(불가능한) 장치(예: 서비스 연결이 가능하지 않은 장치)인 것으로 결정할 수 있다.
동작 907에서, 제어부(580)는 음성 통화 중인 다른 전자 장치와 데이터 통신이 가능하지 않은 것으로 판단하면(동작 907의 아니오), 동작 909에서, 가이드 표시를 제어할 수 있다. 한 실시 예에 따르면, 제어부(580)는 다른 전자 장치의 사용자가 서비스에 가입되지 않은 사용자, 또는 전자 장치의 능력 확인 결과 서비스 지원이 가능하지 않은 장치인 것으로 판단하면, 즉, 다른 전자 장치와 데이터 통신이 가능하지 않은 것으로 판단하면, 전자 장치(500) 사용자의 영상 전송 요청에 대해 실행할 수 없음을 안내하는 메시지를 출력할 수 있다. 예를 들면, 제어부(580)는 설정된 안내 메시지(예: 다른 전자 장치의 사용자가 서비스에 가입되지 않은 사용자, 또는 전자 장치의 능력 확인 결과 서비스 지원이 가능하지 않은 장치)를 팝업으로 표시할 수 있다. 다양한 실시 예들에 따르면, 제어부(580)는 다른 전자 장치와 데이터 통신이 가능하지 않은 것으로 판단하면, 영상 서비스를 위한 객체(예: 서비스 버튼(750))를 비활성화 표시할 수 있다. 추가적으로 또는 대체적으로, 제어부(580)는 안내 메시지를 음성으로 출력할 수도 있다.
동작 907에서, 제어부(580)는 음성 통화 중인 다른 전자 장치와 데이터 통신이 가능한 것으로 판단하면(동작 907의 예), 동작 911에서, 데이터 통신 품질을 판단할 수 있다. 다양한 실시 예들에 따르면, 제어부(580)는 다른 전자 장치의 사용자가 서비스에 가입된 사용자, 또는 전자 장치의 능력 확인 결과 서비스 지원이 가능한 장치인 것으로 판단하면, 즉, 다른 전자 장치와 데이터 통신이 가능한 것으로 판단하면, 영상 서비스를 위한 객체(예: 서비스 버튼(750))를 활성화 표시할 수 있다. 다양한 실시 예들에서는, 데이터 통신 연결의 안정성을 높이기 위해, 실제 데이터 통신 연결을 시도하기 전에 데이터 통신 품질을 판단할 수 있다. 다양한 실시 예들에서, 제어부(580)는 다른 전자 장치에 서비스 연결을 요청하고 그에 대응하는 응답의 수신 여부에 기초하여 데이터 통신 품질을 판단할 수 있다. 다양한 실시 예들에서, 데이터 통신 품질을 판단하는 예시에 대해 후술하는 도면을 참조하여 상세히 설명된다.
동작 913에서, 제어부(580)는 데이터 통신 품질에 대응하여 통신 연결 방식을 결정할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 다른 전자 장치로부터의 응답이 수신되는 경우 서비스 연결이 가능한 것으로 판단하고, 제2 통신에 기반하는 데이터 통신 연결(예: P2P 연결)을 결정할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 다른 전자 장치로부터의 응답이 수신되지 않는 경우 서비스 연결이 불가능(예: 음성 통화 중 데이터 통신이 수행되지 않는 상황)한 것으로 판단하고, 제1 통신에 의한 음성 통화를 종료하고, 제2 통신에 기반하는 음성 및 데이터 통신 연결(예: VoIP 연결)을 결정할 수 있다.
동작 915에서, 제어부(580)는 영상 전송을 처리할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 통신 연결 방식에 대응하여, 음성 통화 동안 획득되는 영상(예: 실시간 영상, 저장된 영상)을 음성 통화 중인 다른 전자 장치에 전송할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 통신 연결 방식에 대응하여, 다른 전자 장치와 음성 및 데이터 통신 재연결을 자동 실행하고, 이후 다른 전자 장치와 재연결이 형성되면, 획득되는 영상을 다른 전자 장치에 전송할 수 있다.
도 10은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
다양한 실시 예들에서, 도 10은 영상 전송을 위한 서비스 연결을 음성 통화 중인 다른 전자 장치에 요청하고, 서비스 연결 시 영상을 전송하는 발신 단말의 동작을 나타낼 수 있다. 예를 들면, 전자 장치(500)가 발신 단말로 동작하는 경우의 예시를 나타낼 수 있다.
도 10을 참조하면, 동작 1001에서, 전자 장치(500)의 제어부(580)(예: 발신 단말로 동작하는 전자 장치의 프로세서)는 연결 요청 메시지를 다른 전자 장치에 전송할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 다른 전자 장치와 음성 통화 중에, 영상 전송을 위한 서비스 연결을 실행하는 사용자 입력을 감지할 수 있다. 제어부(580)는 사용자 입력에 응답하여, 서비스 연결을 위한 연결 요청 메시지를 음성 통화 중인 다른 전자 장치에 전송할 수 있다.
동작 1003에서, 제어부(580)는 대기 시간을 카운트 할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 다른 전자 장치와 음성 통화 중에 다른 전자 장치에 영상을 전송하기 위한 연결 요청 메시지를 전송하면, 연결 요청 메시지에 대응하는 다른 전자 장치의 연결 응답 메시지의 수신을 대기하는 대기 시간(예: 최대 대기 시간(670))을 설정할 수 있다. 다양한 실시 예들에서, 대기 시간은 전자 장치(500)에서 연결 요청 메시지를 전송한 이후에 자동 설정되거나, 또는 전자 장치(500)에 미리 설정되어 저장될 수 있다. 다양한 실시 예들에서, 제어부(580)는 연결 요청 메시지를 전송한 이후, 설정된 또는 저장된 대기 시간을 카운트 할 수 있다.
동작 1005에서, 제어부(580)는 다른 전자 장치로부터 연결 응답 메시지의 수신 여부를 판단할 수 있다.
동작 1005에서, 제어부(580)는 연결 응답 메시지의 수신이 없으면(동작 1005의 아니오), 동작 1021에서, 대기 시간을 체크하여, 동작 1023에서, 최대 대기 시간 만료 여부를 판단할 수 있다.
동작 1023에서, 제어부(580)는 최대 대기 시간이 만료되지 않은 것으로 판단하면(동작 1023의 아니오), 동작 1005로 진행하여, 이하의 동작 수행을 처리할 수 있다.
동작 1023에서, 제어부(580)는 최대 대기 시간이 만료되는 것으로 판단하면(동작 1023의 예), 동작 1025에서, 데이터 통신 불가 상황으로 판단할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 최대 대기 시간 동안 음성 통화 중인 다른 전자 장치로부터 연결 요청 메시지에 대응하는 연결 응답 메시지가 수신되지 않을 경우, 음성 통화 중 데이터 통신이 불가능한 상황으로 판단할 수 있다.
동작 1027에서, 제어부(580)는 다른 전자 장치와의 음성 통화를 종료할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 연결 응답 메시지가 수신되지 않아, 데이터 통신이 불가능한 것으로 결정할 시, 다른 전자 장치와 제1 통신에 기초하여 수행 중인 음성 통화를 종료할 수 있다. 한 실시 예에 따르면, 제어부(580)는 다른 전자 장치가 영상 전송을 위한 서비스에 가입된 상태에서, 다른 전자 장치로부터 연결 응답 메시지가 최대 대기 시간 내에 수신되지 않을 경우, 네트워크 상황의 불안정 등으로 인해 데이터 통신이 수행되지 않는 것으로 판단하고, 데이터 통신 재연결을 위해 다른 전자 장치와의 제1 통신에 의해 통신 중인 음성 통화를 종료할 수 있다. 다양한 실시 예들에 따르면, 제어부(580)는 음성 통화를 종료할 시, 음성 통화 종료에 대한 가이드 출력을 처리할 수 있다. 예를 들면, 제어부(580)는 데이터 통신 재연결을 위해 음성 통화를 종료함을 알리는 메시지를 팝업, 음성 또는 진동 중 적어도 일부에 기초하여 출력할 수 있다.
동작 1029에서, 제어부(580)는 데이터 통신 재연결을 수행할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 제1 통신에 의해 통신 중인 음성 통화를 종료하고, 제2 통신에 기초하여 음성 및 데이터 통신(예: 영상 통화)를 재연결 할 수 있다. 예를 들면, 제어부(580)는 3G 통신의 음성 통화를 종료하고, VoIP 통신으로 영상 통화를 수행할 수 있다.
동작 1031에서, 제어부(580)는 음성 통화 및 데이터 통신을 처리할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 제2 통신에 의한 음성 및 데이터 통신에 기초하여 영상 전송을 처리할 수 있다.
동작 1005에서, 제어부(580)는 연결 응답 메시지가 수신되면(동작 1005의 예), 동작 1007에서, 참여 메시지 수신을 대기하고, 동작 1009에서, 참여 메시지의 수신 여부를 판단할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 연결 응답 메시지에 대응하여 다른 전자 장치와 데이터 통신 연결(예: P2P 연결)이 형성된 것으로 결정하고, 서버(예: 접속 서버(651))로부터의 참여 메시지 수신을 대기할 수 있다. 다양한 실시 예들에 따라, 참여 메시지는 서버(예: 접속 서버(651))에서 전자 장치들(예: 제1 전자 장치(610), 제2 전자 장치(620)) 간에 데이터 통신 연결(예: P2P 연결)이 형성되면, 전자 장치들에게 상대 전자 장치가 세션에 참여함을 통지하는 메시지를 나타낼 수 있다.
다양한 실시 예들에서, 제어부(580)는 다른 전자 장치로부터 연결 응답 메시지를 수신하면, 이후 접속 서버(651)로부터 참여 메시지를 대기하기 위한 대기 시간(예: 최대 대기 시간(680))을 설정할 수 있다. 다양한 실시 예들에서, 최대 대기 시간은 전자 장치(500)에서 연결 응답 메시지를 수신한 이후에 설정되거나, 또는 전자 장치(500)에 미리 설정되어 저장될 수 있다. 다양한 실시 예들에서, 제어부(580)는 연결 응답 메시지를 수신한 이후, 최대 대기 시간을 카운트 할 수 있고, 최대 대기 시간 동안 참여 메시지의 수신 여부를 판단할 수 있다.
동작 1009에서, 제어부(580)는 최대 대기 시간 내에 참여 메시지가 수신되면(동작 1009의 예), 동작 1011에서, 데이터 통신 연결이 성공된 것으로 결정할 수 있다. 예를 들면, 제어부(580)는 음성 통화 중에 다른 전자 장치에 영상을 전송할 수 있는 서비스 연결이 성립된 것으로 판단할 수 있다.
동작 1013에서, 제어부(580)는 다른 전자 장치에 영상 전송을 처리할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 음성 통화 동안 사용자 선택에 대응하는 영상(예: 실시간 영상, 저장된 영상 등)을 음성 통화를 위한 제1 통신이 아닌, 데이터 통신 연결에 따른 제2 통신에 기초하여 다른 전자 장치에 전송할 수 있다.
동작 1009에서, 제어부(580)는 최대 대기 시간 내에 참여 메시지의 수신이 없으면(동작 1009의 아니오), 동작 1015에서, 데이터 통신 연결 실패로 결정할 수 있다. 예를 들면, 제어부(580)는 음성 통화 중에 다른 전자 장치에 영상을 전송할 수 있는 서비스 연결이 실패된 것으로 판단할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 참여 메시지가 수신되지 않을 경우, 데이터 통신은 가능하지만 데이터 통신 품질이 좋지 않은 상황(예: 데이터 통신이 불가능 상태로, 예를 들면, 전자 장치(500) 또는 다른 전자 장치가 음영 지역 등에 존재하는 경우)으로 판단할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 데이터 통신 품질이 좋지 않은 것으로 판단할 시, 데이터 통신 연결(예: 영상 전송을 위한 서비스 연결) 실패로 결정할 수 있다.
동작 1017에서, 제어부(580)는 데이터 통신 연결을 종료 처리할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 제1 통신에 의한 음성 통화는 유지하면서, 제2 통신에 의한 데이터 통신 연결(예: 영상 전송을 위한 서비스 연결)을 종료할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 데이터 통신 연결 종료 시, 그에 대한 가이드 출력을 처리할 수 있다. 예를 들면, 제어부(580)는 데이터 통신을 연결할 수 없음을 알리는 메시지를 팝업, 음성 또는 진동 중 적어도 일부에 기초하여 출력할 수 있다.
도 11 및 도 12는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 서비스가 수행되는 화면 예시를 설명하기 위해 도시하는 도면들이다.
도 11을 참조하면, 도 11은 전자 장치(500)에서 음성 통화 중에 제공되는 서비스 유저 인터페이스의 화면 예시를 나타낸다. 예를 들면, 도 11은 음성 통화 중인 다른 전자 장치와의 영상 수신을 위한 서비스 연결을 대기(또는 서비스 연결 형성) 시 제공되는 서비스 유저 인터페이스의 화면 예시를 나타낸다. 다양한 실시 예들에서, 도 11은 전자 장치(500)가 영상을 수신하는 수신 단말의 화면 예시일 수 있다.
도 11에 도시한 바와 같이, 서비스 유저 인터페이스는 전술한 도 8을 참조한 설명 부분에서 설명한 바에 대응하는 제2 기능 영역(830)을 포함할 수 있고, 프리뷰 영역(1100)을 포함할 수 있다. 다양한 실시 예들에 따라, 도 11은 서비스 연결에 따른 영상 수신을 대기하는 상태의 화면 예시일 수 있다. 이러한 경우, 전자 장치(500)는 프리뷰 영역(1100)을 블랙 아웃(black out) 처리하여 제공할 수 있고, 다른 전자 장치로부터 영상 수신을 대기 중인을 통지하는 객체(예: 진행 상태를 알리는 아이템(예: 애니메이션 아이콘)과 텍스트(예: Preparing video image... This may take a few seconds due to the network delays.) 중 적어도 하나를 프리뷰 영역(1100)의 일 영역에 제공할 수 있다.
다양한 실시 예들에 따라, 전자 장치(500)는 다른 전자 장치와 음성 통화 중에 다른 전자 장치로부터 서비스 연결 요청이 수신되면, 사용자에게 팝업 등에 기초하여 서비스 연결 요청이 수신됨을 통지하고, 서비스 연결 여부에 대해 입력 받을 수 있다. 전자 장치(500)는 사용자에 의해 서비스 연결이 허용될 경우, 다른 전자 장치로부터 전송된 영상을 화면에 표시할 수 있다.
도 12를 참조하면, 도 12는 전자 장치(500)에서 음성 통화 중에 다른 전자 장치로부터 서비스 연결에 따라 수신되는 영상을 제공하는 서비스 유저 인터페이스의 화면 예시를 나타낸다. 다양한 실시 예들에서, 도 12는 전자 장치(500)가 영상을 수신하는 수신 단말의 화면 예시일 수 있다.
도 12에 도시한 바와 같이, 서비스 유저 인터페이스는 프리뷰 영역(1200)과 전술한 도 8을 참조한 설명 부분에서 설명한 바에 대응하는 제2 기능 영역(830)을 포함할 수 있다. 다양한 실시 예들에 따라, 영상을 수신하는 전자 장치(500)의 경우 전술한 도 8을 참조한 설명 부분에서 설명한 바와 같은 제1 기능 영역(810)은 생략될 수 있다. 다양한 실시 예들에서, 프리뷰 영역(1200)을 통해 표시되는 영상은 다른 전자 장치의 프리뷰 영역(예: 도 8의 프리뷰 영역(800)))에 표시되는 영상과 동일한 영상이 표시될 수 있다.
다양한 실시 예들에 따르면, 전자 장치들(제1 전자 장치(610)와 제2 전자 장치(620)) 간에 음성 통화 중에 영상 송수신(또는 영상 공유)를 위한 서비스 연결 시, 영상을 전송하는 발신 단말과 영상을 수신하는 수신 단말의 유저 인터페이스를 구분하여 제공할 수 있다. 예를 들어, 도 8 및 도 12에 도시한 바와 같이, 발신 단말과 수신 단말의 유저 인터페이스는 공통적으로 프리뷰 영역(800, 1200)을 통해 영상을 표시할 수 있고, 프리뷰 영역(800, 1200)의 일 영역 상에 제2 기능 영역(830)을 제공할 수 있다. 추가적으로 또는 대체적으로, 발신 단말의 유저 인터페이스는 수신 단말의 유저 인터페이스에 비해, 전송하는 영상에 대한 저장, 선택 또는 설정 변경 등을 수행하기 위한 제1 기능 영역(810)을 더 포함할 수 있다.
도 13은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
다양한 실시 예들에서, 도 13은 다른 전자 장치와 음성 통화 중에 다른 전자 장치로부터 서비스 연결 요청을 수신하고, 서비스 연결 시 다른 전자 장치의 영상을 수신하는 수신 단말의 동작을 나타낼 수 있다. 예를 들면, 전자 장치(500)가 수신 단말로 동작하는 경우의 예시를 나타낼 수 있다.
도 13을 참조하면, 동작 1301에서, 전자 장치(500)의 제어부(580)(예: 수신 단말로 동작하는 전자 장치의 프로세서)는 음성 통화 중에, 동작 1303에서, 연결 요청 메시지의 수신 여부를 판단할 수 있다. 한 실시 예에 따르면, 제어부(580)는 제1 통신에 기초하여 다른 전자 장치와 음성 통화 수행과 관련된 일반적인 동작을 처리할 수 있다. 제어부(580)는 음성 통화 중에 다른 전자 장치로부터 영상 서비스를 수행하기 위한 요청이 있는지 판단할 수 있다.
동작 1303에서, 제어부(580)는 연결 요청 메시지의 수신이 없으면(동작 1303의 아니오), 동작 1301로 진행하여 음성 통화와 관련된 처리를 수행할 수 있고, 다른 전자 장치 또는 사용자의 음성 통화 종료에 대응하여 음성 통화의 종료를 처리할 수 있다.
동작 1303에서, 제어부(580)는 연결 요청 메시지가 수신되면(동작 1303의 예), 동작 1305에서, 가이드 표시를 처리하고, 동작 1307에서, 다른 전자 장치의 연결 요청에 대한 승인 또는 거부 여부를 판단할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 연결 요청 메시지 수신에 대응하여 음성 통화 중인 다른 전자 장치로부터 영상 서비스를 위한 연결 요청이 있음을 통지하는 메시지를 텍스트 또는 음성에 적어도 일부에 기초하여 출력할 수 있다. 제어부(580)는 가이드에 기초하여 사용자로부터 연결 요청에 대한 승인 또는 거부를 입력 받을 수 있다.
동작 1307에서, 제어부(580)는 사용자에 의해 연결 요청에 대한 거부가 입력되면(동작 1307의 아니오), 동작 1309에서, 다른 전자 장치에 연결 거부 메시지를 전송할 수 있다. 다양한 실시 예들에서, 제어부(580)는 음성 통화는 유지하면서, 연결 요청에 대한 연결 거부 메시지를 전송할 수 있다.
동작 1307에서, 제어부(580)는 사용자에 의해 연결 요청에 대한 승인이 입력되면(동작 1307의 예), 동작 1311에서, 연결 요청 메시지에 대응하는 연결 응답 메시지를 다른 전자 장치에 전송할 수 있다. 다양한 실시 예들에서, 전자 장치(500)는 서비스 연결 요청에 대해 자동으로 응답하도록 설정될 수도 있다. 이러한 경우, 도 13에서 동작 1305와 동작 1307은 생략될 수 있고, 음성 통화 중인 다른 전자 장치로부터 연결 요청 메시지가 수신되면, 동작 1311로 진행하여 연결 응답 메시지를 자동으로 전송할 수도 있다.
동작 1313에서, 제어부(580)는 대기 시간을 카운트 할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 다른 전자 장치와 음성 통화 중에 다른 전자 장치에 연결 응답 메시지를 전송하면, 이후 접속 서버(651)로부터 참여 메시지를 대기하기 위한 대기 시간(예: 최대 대기 시간(680))을 설정할 수 있다. 다양한 실시 예들에서, 최대 대기 시간은 전자 장치(500)에서 연결 응답 메시지를 전송한 이후에 설정되거나, 또는 전자 장치(500)에 미리 설정되어 저장될 수 있다. 다양한 실시 예들에서, 제어부(580)는 연결 응답 메시지를 전송한 이후, 최대 대기 시간을 카운트 할 수 있고, 최대 대기 시간 동안 참여 메시지의 수신 여부를 판단할 수 있다.
동작 1315에서, 제어부(580)는 참여 메시지의 수신 여부를 판단할 수 있다.
동작 1315에서, 제어부(580)는 최대 대기 시간 내에 참여 메시지가 수신되면(동작 1315의 예), 동작 1317에서, 다른 전자 장치와 데이터 통신 연결을 수립할 수 있다. 다양한 실시 예들에 따르면, 제어부(580)는 참여 메시지가 수신되면, 데이터 통신 연결이 성공, 예를 들면, 음성 통화 중에 다른 전자 장치로부터 제2 통신을 통해 영상을 수신할 수 있는 서비스 연결이 성립된 것으로 판단할 수 있다.
동작 1319에서, 제어부(580)는 다른 전자 장치로부터 전송되는 영상을 수신 및 표시 처리할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 음성 통화 동안 다른 전자 장치가 전송하는 영상(예: 실시간 영상, 저장된 영상 등)을 음성 통화를 위한 제1 통신이 아닌, 데이터 통신 연결에 따른 제2 통신에 기초하여 수신하고, 프리뷰 영역을 통해 표시할 수 있다.
동작 1315에서, 제어부(580)는 참여 메시지의 수신이 없으면(동작 1315의 아니오), 동작 1321에서, 대기 시간을 체크하여, 동작 1323에서, 최대 대기 시간 만료 여부를 판단할 수 있다.
동작 1323에서, 제어부(580)는 최대 대기 시간이 만료되지 않은 것으로 판단하면(동작 1323의 아니오), 동작 1315로 진행하여, 이하의 동작 수행을 처리할 수 있다.
동작 1323에서, 제어부(580)는 최대 대기 시간이 만료되는 것으로 판단하면(동작 1323의 예), 동작 1325에서, 데이터 통신 연결 실패로 결정할 수 있다. 다양한 실시 예들에서, 제어부(580)는 최대 대기 시간 내에 참여 메시지가 수신되지 않으면, 음성 통화 중에 다른 전자 장치로부터 영상을 수신할 수 있는 서비스 연결이 실패된 것으로 판단할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 참여 메시지가 수신되지 않을 경우, 데이터 통신은 가능하지만 데이터 통신 품질이 좋지 않은 상황(예: 데이터 통신이 불가능 상태로, 예를 들면, 전자 장치(500) 또는 다른 전자 장치가 음영 지역 등에 존재하는 경우)으로 판단할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 데이터 통신 품질이 좋지 않은 것으로 판단할 시, 데이터 통신 연결(예: 영상 수신을 위한 서비스 연결) 실패로 결정할 수 있다.
동작 1327에서, 제어부(580)는 데이터 통신 연결을 종료 처리할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 제1 통신에 의한 음성 통화는 유지하면서, 제2 통신에 의한 데이터 통신 연결(예: 영상 수신을 위한 서비스 연결)을 종료할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 데이터 통신 연결 종료 시, 그에 대한 가이드 출력을 처리할 수 있다. 예를 들면, 제어부(580)는 데이터 통신을 연결할 수 없음을 알리는 메시지를 팝업, 음성 또는 진동 중 적어도 일부에 기초하여 출력할 수 있다.
도 14는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
도 14를 참조하면, 다양한 실시 예들에 따른 전자 장치(500)(예: 발신 단말)에서 영상 서비스를 위한 데이터 통신 연결(예: P2P 연결, 서비스 연결) 절차는, 서비스 가입 확인 과정(동작 1401)과, 영상을 전송하기 위한 데이터 통신 연결(예: P2P 연결) 과정(동작 1403)으로 구분할 수 있다.
다양한 실시 예들에서, 동작 1401의 서비스 가입 확인 과정은, 서비스 연결 시간을 단축하기 위하여, 음성 통화 중 또는 음성 통화 시작 시에 수행될 수 있다. 다양한 실시 예들에서, 서비스 가입 확인은, 서비스 가입 정보에 기초하여 확인할 수 있다. 다양한 실시 예들에서, 서비스 가입 정보는, 전자 장치(500) 내 연락처 데이터베이스 또는 서버 데이터베이스에 저장될 수 있다. 다양한 실시 예들에서, 전자 장치(500)는 전자 장치(500) 내의 연락처 데이터베이스를 우선 확인하고, 연락처 데이터베이스에서 확인되지 않을 경우 서버에 확인 요청을 전송하고 그에 대한 응답으로, 서비스 가입 여부를 판단할 수 있다. 다양한 실시 예들에 따른, 서비스 가입 확인 과정에 대해 후술하는 도 15를 참조하여 상세히 설명된다.
다양한 실시 예들에서, 동작 1403의 데이터 통신 연결 과정은, 음성 통화 중에 사용자가 실제 영상 전송을 요청하는 시점(예: 서비스 버튼 선택에 의한 서비스 연결 실행 요청 시점)에 수행될 수 있다.
도 15는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 영상 서비스를 수행하는 방법을 도시하는 흐름도이다.
다양한 실시 예들에서, 도 15는 서비스 연결 시간을 단축하기 위하여, 실질적인 서비스 연결 동작을 수행하기 이전에, 음성 통화 동안 서비스 가입 정보를 확인하는 동작을 도시한다.
도 15를 참조하면, 동작 1501에서, 전자 장치(500)의 제어부(580)(예: 발신 단말로 동작하는 전자 장치의 프로세서)는 음성 통화 중에, 동작 1503에서, 서비스 가입 정보를 확인할 수 있다. 다양한 실시 예들에서, 제어부(580)는 전자 장치(500) 내에 저장된(예: 메모리(650)에 저장된) 연락처 데이터베이스에서, 현재 통화 중인 다른 전자 장치의 연락처에 기초하여 서비스 가입 정보의 유무(예: 영상 서비스를 위한 서비스에 가입되었는지 유무)를 확인할 수 있다.
동작 1505에서, 제어부(580)는 서비스 가입이 확인되는지 판단할 수 있다. 다양한 실시 예들에서, 제어부(580)는 연락처 데이터베이스에서, 현재 통화 중인 다른 전자 장치의 연락처에 기초하여 서비스 가입 정보가 있는지 여부를 판단할 수 있다.
동작 1505에서, 제어부(580)는 다른 전자 장치의 서비스 가입이 확인되면(동작 1505의 예), 동작 1507에서, 다른 전자 장치와 서비스 사용 가능으로 결정할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 음성 통화 중인 다른 전자 장치가 서비스에 가입된 경우, 서비스 연결이 가능한 장치인 것으로 판단하고, 다른 전자 장치에 대해 서비스 사용 가능 정보를 기록할 수 있다. 동작 1507 이후, 제어부(580)는 동작 1517로 진행하여, 이하의 동작 수행을 처리할 수 있다.
동작 1505에서, 제어부(580)는 연락처 데이터베이스에서 다른 전자 장치의 서비스 가입이 확인되지 않으면(동작 1505의 아니오), 동작 1509에서, 서버에 다른 전자 장치에 대한 서비스 가입 여부 확인을 요청할 수 있다. 예를 들면, 제어부(580)는 가입 확인 요청 메시지를 서버에 전송할 수 있다. 다양한 실시 예들에 따라, 가입 확인 요청 메시지는 현재 음성 통화 중인 다른 전자 장치에 대한 정보(예: 전화번호, 고유 정보 등)를 포함할 수 있다.
동작 1511에서, 제어부(580)는 서비스 가입 여부 확인 요청에 대응하는 응답을 수신할 수 있다. 예를 들면, 제어부(580)는 가입 확인 요청 메시지에 대응하는 가입 확인 응답 메시지를 서버로부터 수신할 수 있다. 다양한 실시 예들에 따라, 서버는 전자 장치(500)로부터 서비스 가입 확인 요청 메시지에 대응하여, 내부 데이터베이스에서 다른 전자 장치에 대한 서비스 가입 정보를 확인할 수 있고, 그에 대한 결과를 가입 확인 응답 메시지에 포함하여 전자 장치(500)에 전송할 수 있다.
동작 1513에서, 제어부(580)는 서비스 가입이 확인되는지 판단할 수 있다. 다양한 실시 예들에서, 제어부(580)는 서버로부터의 응답(예: 가입 확인 응답 메시지)로부터 다른 전자 장치에 대한 서비스 가입 여부(예: 영상 서비스를 위한 서비스에 가입되었는지 유무)를 판단할 수 있다.
동작 1513에서, 제어부(580)는 다른 전자 장치에 대한 서비스 가입이 확인되면(동작 1513의 예), 동작 1507로 진행하여, 이하의 동작 수행을 처리할 수 있다.
동작 1513에서, 제어부(580)는 다른 전자 장치에 대한 서비스 가입이 확인되지 않으면(동작 1513의 아니오), 동작 1515에서, 다른 전자 장치와 서비스 사용 불가능으로 결정할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 음성 통화 중인 다른 전자 장치가 서비스에 가입되지 않은 경우, 서비스 연결이 불가능한 장치인 것으로 판단하고, 다른 전자 장치에 대해 서비스 사용 불가능 정보를 기록할 수 있다. 동작 1515 이후, 제어부(580)는 동작 1517로 진행하여, 이하의 동작 수행을 처리할 수 있다.
동작 1517에서, 제어부(580)는 데이터 통신 연결 요청을 감지할 수 있다. 다양한 실시 예들에 따르면, 제어부(580)는 다른 전자 장치와 음성 통화를 수행하는 동안, 서비스 버튼에 기초하여 사용자 입력을 수신(감지)할 수 있다. 제어부(580)는 서비스 버튼에 기초하여 사용자 입력을 수신하면, 현재 음성 통화 수행 중인 다른 전자 장치와 영상 전송을 위한 서비스 연결 요청인 것으로 판단할 수 있다.
동작 1519에서, 제어부(580)는 서비스 사용이 가능한지 여부를 판단할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 데이터 통신 연결 요청이 감지되면, 서비스 사용 가능 여부에 대한 기록 정보에 기초하여 서비스 사용의 가능 여부를 판단할 수 있다.
동작 1519에서, 제어부(580)는 서비스 사용이 가능한 것으로 결정하면(동작 1519의 예), 동작 1521에서, 데이터 통신과 관련된 동작을 처리할 수 있다. 한 실시 예에 따르면, 제어부(580)는 영상 서비스 실행을 결정하면, 설정 방식에 따라 카메라(예: 카메라 모듈(570))을 구동할 수 있고, 카메라를 통해 획득하는 영상(예: 프리뷰 영상)을 전송하기 위한 서비스 연결 동작을 개시(예: 관련 유저 인터페이스 표시 및 서비스 연결 요청 전송)할 수 있다.
동작 1519에서, 제어부(580)는 서비스 사용이 불가능한 것으로 결정하면(동작 1519의 아니오), 동작 1523에서, 데이터 통신 연결을 종료 처리할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 사용자 요청에 대해 다른 전자 장치와 서비스 실행이 불가능함을 가이드 할 수 있다. 다양한 실시 예들에 따라, 제어부(580)는 음성 통화와 관련된 동작은 유지 처리할 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 다양한 실시 예들에 따른 전자 장치(500)는, 다른 전자 장치와 제1 통신에 기초하여 음성 통화를 수행하는 과정, 음성 통화 중에 서비스 실행 요청에 응답하여 다른 전자 장치와 제2 통신에 의한 데이터 통신의 가능 여부 및 데이터 통신 품질에 적어도 일부에 기초하여 서비스 연결 여부를 결정하는 과정, 및 서비스 연결 결정 시, 카메라를 통해 획득하는 영상을 디스플레이에 표시 및 영상을 제2 통신에 기초하여 다른 전자 장치에 전송하는 과정을 처리할 수 있다.
다양한 실시 예들에 따라, 음성 통화를 수행하는 과정은, 음성 통화 중에 상기 다른 전자 장치의 서비스 가입 여부를 판단하는 과정을 포함할 수 있다. 다양한 실시 예들에 따라, 서비스 가입 여부를 판단하는 과정은, 전자 장치의 서비스 가입 정보에 기초하여 서비스 가입 여부를 판단하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 서비스 가입 여부를 판단하는 과정은, 전자 장치에서 서비스 가입 정보에 기초하여 다른 전자 장치에 대한 서비스 가입 여부가 확인되지 않을 시, 서버에 다른 전자 장치에 대한 서비스 가입 여부 확인을 요청하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 서비스 연결 여부를 결정하는 과정은, 서비스 실행 요청에 응답하여, 다른 전자 장치와 상기 서비스 실행을 위한 데이터 통신 연결 동작을 수행하는 과정을 포함할 수 있다. 다양한 실시 예들에 따라, 서비스 연결 여부를 결정하는 과정은, 서비스 연결 요청에 응답하여, 연결 요청 메시지를 전송하는 과정, 연결 요청 메시지에 대응하는 연결 응답 메시지의 수신을 설정된 최대 대기 시간 동안 대기하는 과정을 포함할 수 있다. 다양한 실시 예들에 따라, 서비스 연결 여부를 결정하는 과정은, 최대 대기 시간 내에 상기 연결 응답 메시지가 수신되지 않으면, 상기 음성 통화를 종료하는 과정, 제2 통신에 기초하여 음성 및 데이터 통신을 재연결하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 서비스 연결 여부를 결정하는 과정은, 다른 전자 장치가 서비스에 가입된 경우 상기 연결 요청 메시지를 전송하는 과정, 다른 전자 장치가 서비스에 가입되지 않은 경우 서비스 연결 진행을 종료하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 서비스 연결 여부를 결정하는 과정은, 연결 응답 메시지 수신에 응답하여, 참여 메시지의 수신을 설정된 최대 대기 시간 동안 대기하는 과정을 포함할 수 있다. 다양한 실시 예들에 따라, 서비스 연결 여부를 결정하는 과정은, 최대 대기 시간 내에 참여 메시지가 수신되지 않으면, 서비스 연결 실패로 결정하는 과정, 서비스 연결을 종료 처리하는 과정을 포함할 수 있다.
본 명세서와 도면에 개시된 본 발명의 다양한 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
410, 420, 500, 610, 620: 전자 장치
650: 서버
460, 651: 접속 서버
470, 653: 메시지 서버
430: 제1 네트워크
450: 제2 네트워크

Claims (24)

  1. 전자 장치에 있어서,
    디스플레이;
    적어도 하나의 프로토콜(protocol)을 이용하여 외부 전자 장치와 무선 통신을 형성하도록 설정된 적어도 하나의 통신 회로;
    상기 디스플레이 및 상기 적어도 하나의 통신 회로와 전기적으로 연결된 프로세서; 및
    상기 프로세서와 전기적으로 연결된 메모리를 포함하고,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 디스플레이 상에 유저 인터페이스를 표시하고, 상기 유저 인터페이스는 상기 외부 전자 장치와 영상 통신(video communication)의 가능 여부에 대한 인디케이션(indication)을 포함하고,
    상기 유저 인터페이스를 표시하는 동안 상기 외부 전자 장치와 영상 통화(video call)를 형성하고,
    상기 영상 통신의 가능 여부를 요청하기 위한 제1 신호(first signal)를 상기 적어도 하나의 통신 회로를 이용하여 전송하고,
    상기 영상 통신의 가능 여부를 지시하는 제2 신호(second signal)를 상기 적어도 하나의 통신 회로를 이용하여 수신하고,
    상기 제2 신호에 응답하여, 상기 외부 전자 장치와 영상 통신 가능을 지시하는 상기 인디케이션을 변경(adapt)하고,
    상기 인디케이션을 선택하는 사용자 입력을 수신하고, 및
    상기 사용자 입력에 응답하여, 상기 외부 전자 장치에 영상 데이터(video data)의 전송을 개시(initiate)하도록 하는 인스트럭션들(instructions)을 저장하는 것을 특징으로 하는 장치.
  2. 제1항에 있어서,
    상기 인디케이션은 아이콘(icon) 또는 텍스트(text) 중 적어도 하나를 포함하는 장치.
  3. 제1항에 있어서, 상기 인스트럭션들은, 상기 프로세서가,
    상기 영상 통신의 가능 여부를 모니터(monitor)하고, 상기 외부 전자 장치와 영상 통신이 가능하지 않은 것으로 결정하면, 상기 인디케이션을 변경하도록 하는 것을 포함하는 장치.
  4. 제1항에 있어서, 상기 인스트럭션들은, 상기 프로세서가,
    상기 외부 전자 장치와 영상 통신이 가능한 경우, 상기 인디케이션을 활성화 표시하고, 상기 외부 전자 장치와 영상 통신이 불가능한 경우, 상기 인디케이션을 비활성화 표시하도록 하는 것을 포함하는 장치.
  5. 전자 장치에 있어서,
    카메라,
    디스플레이,
    통신 회로, 및
    상기 카메라, 상기 디스플레이 및 상기 통신 회로와 기능적으로 연결된 프로세서를 포함하고,
    상기 프로세서는,
    다른 전자 장치와 제1 통신에 기초하여 음성 통화를 수행하고,
    상기 음성 통화 중에 서비스 실행 요청에 응답하여 상기 다른 전자 장치와 제2 통신에 의한 데이터 통신의 가능 여부 및 데이터 통신 품질에 적어도 일부에 기초하여 서비스 연결 여부를 결정하고,
    서비스 연결 결정 시, 상기 카메라를 통해 획득하는 영상을 상기 디스플레이에 표시 및 상기 영상을 상기 제2 통신에 기초하여 상기 다른 전자 장치에 전송하도록 설정된 장치.
  6. 제5항에 있어서, 상기 프로세서는,
    상기 음성 통화 중에 상기 다른 전자 장치의 서비스 가입 여부를 판단하도록 설정된 장치.
  7. 제6항에 있어서, 상기 프로세서는,
    전자 장치의 서비스 가입 정보에 기초하여 상기 서비스 가입 여부를 판단하도록 설정된 장치.
  8. 제7항에 있어서, 상기 프로세서는,
    상기 전자 장치에서 서비스 가입 정보에 기초하여 상기 다른 전자 장치에 대한 서비스 가입 여부가 확인되지 않을 시, 서버에 상기 다른 전자 장치에 대한 서비스 가입 여부 확인을 요청하도록 설정된 장치.
  9. 제6항에 있어서, 상기 프로세서는,
    상기 서비스 실행 요청에 응답하여, 상기 다른 전자 장치와 상기 서비스 실행을 위한 데이터 통신 연결 동작을 처리하도록 설정된 장치.
  10. 제9항에 있어서, 상기 프로세서는,
    상기 서비스 실행 요청에 응답하여, 연결 요청 메시지를 전송하고,
    상기 연결 요청 메시지에 대응하는 연결 응답 메시지의 수신을 설정된 최대 대기 시간 동안 대기하도록 설정된 장치.
  11. 제10항에 있어서, 상기 프로세서는,
    상기 최대 대기 시간 내에 상기 연결 응답 메시지가 수신되지 않으면, 상기 음성 통화를 종료하고,
    상기 제2 통신에 기초하여 음성 및 데이터 통신을 재연결하도록 설정된 장치.
  12. 제10항에 있어서, 상기 프로세서는,
    상기 다른 전자 장치가 서비스에 가입된 경우, 상기 연결 요청 메시지를 전송하고,
    상기 다른 전자 장치가 서비스에 가입되지 않은 경우, 상기 서비스 연결 진행을 종료하도록 설정된 장치.
  13. 제10항에 있어서, 상기 프로세서는,
    상기 연결 응답 메시지 수신에 응답하여, 참여 메시지의 수신을 설정된 최대 대기 시간 동안 대기하도록 설정된 장치.
  14. 제13항에 있어서, 상기 프로세서는,
    상기 최대 대기 시간 내에 상기 참여 메시지가 수신되지 않으면, 서비스 연결 실패로 결정하고,
    서비스 연결을 종료 처리하도록 설정된 장치.
  15. 전자 장치의 동작 방법에 있어서,
    다른 전자 장치와 제1 통신에 기초하여 음성 통화를 수행하는 과정,
    상기 음성 통화 중에 서비스 실행 요청에 응답하여 상기 다른 전자 장치와 제2 통신에 의한 데이터 통신의 가능 여부 및 데이터 통신 품질에 적어도 일부에 기초하여 서비스 연결 여부를 결정하는 과정, 및
    서비스 연결 결정 시, 카메라를 통해 획득하는 영상을 디스플레이에 표시 및 영상을 상기 제2 통신에 기초하여 상기 다른 전자 장치에 전송하는 과정을 포함하는 방법.
  16. 제15항에 있어서, 상기 음성 통화를 수행하는 과정은,
    상기 음성 통화 중에 상기 다른 전자 장치의 서비스 가입 여부를 판단하는 과정을 포함하는 방법.
  17. 제16항에 있어서, 상기 서비스 가입 여부를 판단하는 과정은,
    전자 장치의 서비스 가입 정보에 기초하여 상기 서비스 가입 여부를 판단하는 과정을 포함하는 방법.
  18. 제17항에 있어서, 상기 서비스 가입 여부를 판단하는 과정은,
    상기 전자 장치에서 서비스 가입 정보에 기초하여 상기 다른 전자 장치에 대한 서비스 가입 여부가 확인되지 않을 시, 서버에 상기 다른 전자 장치에 대한 서비스 가입 여부 확인을 요청하는 과정을 포함하는 방법.
  19. 제16항에 있어서, 상기 서비스 연결 여부를 결정하는 과정은,
    상기 서비스 실행 요청에 응답하여, 상기 다른 전자 장치와 상기 서비스 실행을 위한 데이터 통신 연결 동작을 수행하는 과정을 포함하는 방법.
  20. 제19항에 있어서, 상기 서비스 연결 여부를 결정하는 과정은,
    상기 서비스 연결 요청에 응답하여, 연결 요청 메시지를 전송하는 과정,
    상기 연결 요청 메시지에 대응하는 연결 응답 메시지의 수신을 설정된 최대 대기 시간 동안 대기하는 과정을 포함하는 방법.
  21. 제20항에 있어서, 상기 서비스 연결 여부를 결정하는 과정은,
    상기 최대 대기 시간 내에 상기 연결 응답 메시지가 수신되지 않으면, 상기 음성 통화를 종료하는 과정,
    상기 제2 통신에 기초하여 음성 및 데이터 통신을 재연결하는 과정을 포함하는 방법.
  22. 제20항에 있어서, 상기 서비스 연결 여부를 결정하는 과정은,
    상기 다른 전자 장치가 서비스에 가입된 경우, 상기 연결 요청 메시지를 전송하는 과정,
    상기 다른 전자 장치가 서비스에 가입되지 않은 경우, 상기 서비스 연결 진행을 종료하는 과정을 포함하는 방법.
  23. 제20항에 있어서, 상기 서비스 연결 여부를 결정하는 과정은,
    상기 연결 응답 메시지 수신에 응답하여, 참여 메시지의 수신을 설정된 최대 대기 시간 동안 대기하는 과정을 포함하는 방법.
  24. 제23항에 있어서, 상기 서비스 연결 여부를 결정하는 과정은,
    상기 최대 대기 시간 내에 상기 참여 메시지가 수신되지 않으면, 서비스 연결 실패로 결정하는 과정,
    서비스 연결을 종료 처리하는 과정을 포함하는 방법.
KR1020160006420A 2016-01-19 2016-01-19 음성통화 중 영상을 전송하는 방법 및 장치 Abandoned KR20170086869A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020160006420A KR20170086869A (ko) 2016-01-19 2016-01-19 음성통화 중 영상을 전송하는 방법 및 장치
US16/070,954 US10455192B2 (en) 2016-01-19 2017-01-17 Method and apparatus for transmitting video during voice call
EP17741624.5A EP3402185B1 (en) 2016-01-19 2017-01-17 Method and apparatus for transmitting video during voice call
CN201780007335.8A CN108476302A (zh) 2016-01-19 2017-01-17 用于在语音呼叫期间发送视频的方法和设备
PCT/KR2017/000545 WO2017126858A1 (ko) 2016-01-19 2017-01-17 음성통화 중 영상을 전송하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160006420A KR20170086869A (ko) 2016-01-19 2016-01-19 음성통화 중 영상을 전송하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20170086869A true KR20170086869A (ko) 2017-07-27

Family

ID=59362022

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160006420A Abandoned KR20170086869A (ko) 2016-01-19 2016-01-19 음성통화 중 영상을 전송하는 방법 및 장치

Country Status (5)

Country Link
US (1) US10455192B2 (ko)
EP (1) EP3402185B1 (ko)
KR (1) KR20170086869A (ko)
CN (1) CN108476302A (ko)
WO (1) WO2017126858A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019039862A1 (ko) * 2017-08-22 2019-02-28 에스케이텔레콤 주식회사 근거리 무선 통신 장치 및 방법
KR20190125963A (ko) * 2019-10-30 2019-11-07 에스케이텔레콤 주식회사 근거리 무선 통신 장치 및 방법

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10498775B2 (en) 2017-08-31 2019-12-03 T-Mobile Usa, Inc. Exchanging non-text content in real time text messages
JP7101525B2 (ja) * 2018-04-20 2022-07-15 キヤノン株式会社 電子機器およびその制御方法、並びに、プログラム
US11991131B2 (en) 2018-08-03 2024-05-21 Flash App, LLC Enhanced enterprise data sharing to mobile device users
US10965630B2 (en) 2018-08-03 2021-03-30 Flash App, LLC Enhanced data sharing to and between mobile device users
US10992621B2 (en) * 2018-08-03 2021-04-27 Flash App, LLC Enhanced data sharing to and between mobile device users
US10880433B2 (en) 2018-09-26 2020-12-29 Rovi Guides, Inc. Systems and methods for curation and delivery of content for use in electronic calls
US11172001B1 (en) * 2019-03-26 2021-11-09 Amazon Technologies, Inc. Announcement in a communications session
WO2021066377A1 (en) * 2019-10-04 2021-04-08 Samsung Electronics Co., Ltd. Electronic device for improving quality of call and operation method thereof
CN111372132B (zh) * 2020-02-25 2022-03-08 广州华多网络科技有限公司 进行音视频传输的方法、装置、设备及存储介质
KR102855371B1 (ko) * 2020-07-02 2025-09-04 삼성전자주식회사 호 채널의 상태에 기반하여 필터를 사용하여 전처리된 컨텐츠를 전송하는 전자 장치 및 전자 장치의 동작 방법
US11893698B2 (en) * 2020-11-04 2024-02-06 Samsung Electronics Co., Ltd. Electronic device, AR device and method for controlling data transfer interval thereof
CN112601042B (zh) * 2020-11-23 2022-12-09 聚好看科技股份有限公司 显示设备、服务器及视频通话兼容不同协议信令的方法
US12356293B2 (en) 2021-07-29 2025-07-08 Flash App, LLC Enhanced enterprise data communications with mobile devices

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2871015A1 (fr) * 2004-06-01 2005-12-02 France Telecom Procede de commutation entre deux services de telephonie
KR100646061B1 (ko) 2004-09-02 2006-11-15 에스케이 텔레콤주식회사 이동전화에서 통화중 영상촬영 및 전송방법
WO2006068545A1 (en) * 2004-12-21 2006-06-29 Telefonaktiebolaget Lm Ericsson (Publ) A method and arrangement for providing information on multimedia options
CN101277343B (zh) * 2007-03-30 2012-01-04 华为技术有限公司 在语音通信网络中实现视频捆绑的方法、终端及系统
KR100946914B1 (ko) 2007-07-18 2010-03-09 주식회사 케이티테크 화이트보드 기능 지원 영상통화 장치 및 그 동작방법
CN101803357A (zh) * 2007-09-17 2010-08-11 朗讯科技公司 用于多媒体通信的方法、装置和系统
US8254828B2 (en) 2007-11-30 2012-08-28 Apple Inc. Methods and systems for mixing media with communications
CN101232641B (zh) * 2007-12-28 2012-04-18 上海茂碧信息科技有限公司 一种在双卡双待手机上实现可视电话的方法
CN101330542B (zh) * 2008-07-10 2011-07-27 华为终端有限公司 在语音通信过程中进行视频通信的方法及终端
KR101123118B1 (ko) * 2008-07-11 2012-03-20 삼성전자주식회사 동시대기 휴대 단말기의 화상 통화 장치 및 방법
US8300082B2 (en) * 2008-12-15 2012-10-30 At&T Intellectual Property I, Lp Apparatus and method for video conferencing
JP2011035716A (ja) * 2009-08-03 2011-02-17 Funai Electric Co Ltd 携帯電話機、携帯電話機を用いた撮像システムおよび撮像方法
US9661032B2 (en) * 2010-12-14 2017-05-23 Telefonaktiebolaget L M Ericsson Client and a method in a client in a communication network for providing a service
US20120170572A1 (en) * 2011-01-03 2012-07-05 Samsung Electronics Co., Ltd. Method for Enhancing Phone Conversations
JP2013143752A (ja) 2012-01-12 2013-07-22 Nippon Telegr & Teleph Corp <Ntt> 映像送信制御装置、方法及びプログラム
CN102821204B (zh) * 2012-08-10 2014-04-09 南京森林警察学院 一种便携式多媒体通信装置及其应用
KR101989016B1 (ko) 2012-08-29 2019-06-13 삼성전자주식회사 전자장치에서 영상통화중 파일 전송 방법 및 장치
US9112930B2 (en) 2012-10-26 2015-08-18 Microsoft Technology Licensing, Llc Updating services during real-time communication and sharing-experience sessions
KR101451336B1 (ko) 2012-10-29 2014-10-15 (주)티아이스퀘어 통화 서비스 수행시 영상 서비스를 제공하는 장치 및 방법
KR101648611B1 (ko) 2013-07-16 2016-08-17 주식회사 엘지유플러스 영상통화-음성통화 전환 방법
JP6097679B2 (ja) 2013-02-28 2017-03-15 エルジー アプラス コーポレーション 端末間機能共有方法及びその端末
US9961608B2 (en) * 2013-08-19 2018-05-01 Microsoft Technology Licensing, Llc Seamless call transitions
US20150049164A1 (en) * 2013-08-19 2015-02-19 Sriraman Krishnamoorthy Seamless call transitions with escalation-aware notifications
US10412127B2 (en) * 2014-05-20 2019-09-10 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for establishing an additional session to an anonymous user
CN104967810A (zh) * 2015-06-30 2015-10-07 努比亚技术有限公司 一种通话模式的转换方法及终端设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019039862A1 (ko) * 2017-08-22 2019-02-28 에스케이텔레콤 주식회사 근거리 무선 통신 장치 및 방법
KR20190021121A (ko) * 2017-08-22 2019-03-05 에스케이텔레콤 주식회사 근거리 무선 통신 장치 및 방법
US11146935B2 (en) 2017-08-22 2021-10-12 Sk Telecom Co., Ltd. Short range wireless communication device and method
KR20190125963A (ko) * 2019-10-30 2019-11-07 에스케이텔레콤 주식회사 근거리 무선 통신 장치 및 방법

Also Published As

Publication number Publication date
CN108476302A (zh) 2018-08-31
US20190037172A1 (en) 2019-01-31
EP3402185A4 (en) 2019-01-09
WO2017126858A1 (ko) 2017-07-27
EP3402185A1 (en) 2018-11-14
US10455192B2 (en) 2019-10-22
EP3402185B1 (en) 2022-07-13

Similar Documents

Publication Publication Date Title
KR102360067B1 (ko) 전자 장치 및 전자 장치의 정보 공유 방법
KR20170086869A (ko) 음성통화 중 영상을 전송하는 방법 및 장치
KR102532366B1 (ko) 무선 충전을 수행하는 전자 장치 및 방법
KR102650444B1 (ko) 스마트 홈 시스템에서 스마트 홈 장치를 등록하기 위한 전자 장치 및 방법
KR102387164B1 (ko) 전자 장치 및 그의 오디오 경로 제어 방법
US9948784B2 (en) Method of call forwarding between devices
KR102309070B1 (ko) 전자 장치 및 전자 장치에서의 통신 관련 정보 제공 방법
KR102493721B1 (ko) 외부 전자 장치와 연결을 수립하는 방법 및 전자 장치
KR102340917B1 (ko) 전자 장치 및 그 연결 방법
US20170280494A1 (en) Method for providing video call and electronic device therefor
KR102516019B1 (ko) 외부 전자 장치와 통신하는 전자 장치 및 방법
KR20160042569A (ko) 다중 연결 방법 및 이를 지원하는 전자 장치
US9591433B2 (en) Communication method, electronic device, and storage medium
KR102461009B1 (ko) 테더링 서비스를 제공하는 방법 및 이를 사용하는 전자 장치
KR102587726B1 (ko) 외부 장치를 연결하는 방법 및 이를 지원하는 전자 장치
KR20180052429A (ko) 데이터 전송 방법 및 이를 지원하는 전자 장치
CN106105279B (zh) 设备之间呼叫转移的方法
KR20160026575A (ko) 데이터 제공 방법 및 전자 장치
KR102462427B1 (ko) 메시지 통합 관리 방법 및 이를 구현한 전자 장치
KR20180051001A (ko) 카메라와 연결되는 전자 장치 및 그 제어 방법
KR20160105031A (ko) 전자 장치의 동작 방법 및 전자 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160119

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210118

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160119

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20211229

Patent event code: PE09021S01D

PC1902 Submission of document of abandonment before decision of registration