KR20140094512A - 표시 제어 장치, 표시 제어 방법, 및 프로그램 - Google Patents

표시 제어 장치, 표시 제어 방법, 및 프로그램 Download PDF

Info

Publication number
KR20140094512A
KR20140094512A KR1020147010059A KR20147010059A KR20140094512A KR 20140094512 A KR20140094512 A KR 20140094512A KR 1020147010059 A KR1020147010059 A KR 1020147010059A KR 20147010059 A KR20147010059 A KR 20147010059A KR 20140094512 A KR20140094512 A KR 20140094512A
Authority
KR
South Korea
Prior art keywords
user interface
display
information
information processing
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020147010059A
Other languages
English (en)
Inventor
?이치 가사하라
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20140094512A publication Critical patent/KR20140094512A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/06—Consumer Electronics Control, i.e. control of another device by a display or vice versa
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/14—Electronic books and readers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

정보 처리 시스템은, 제1 디스플레이에 표시된 사용자 인터페이스에 대응하는 캡처 화상 데이터를 취득하고; 상기 사용자 인터페이스에 대해 수행된 인식 처리에 기초하여 상기 사용자 인터페이스의 표현을 표시하도록 제2 디스플레이를 제어하되, 상기 사용자 인터페이스는 각각의 기능에 각각 대응하는 복수의 그래픽 표현을 포함하고, 상기 사용자 인터페이스의 표현은 상기 복수의 그래픽 표현에 대응하는 기능이 액세스 될 수 있는지의 여부를 나타낸다.

Description

표시 제어 장치, 표시 제어 방법, 및 프로그램{DISPLAY CONTROL APPARATUS, DISPLAY CONTROL METHOD, AND PROGRAM}
본 개시는, 표시 제어 장치, 표시 제어 방법 및 프로그램에 관한 것이다.
최근, 화상 인식 기술이 고도화하고 있어, 이제는 촬상 장치로부터의 입력 화상에 포함되는 실제 오브젝트(예를 들어, 간판이나 빌딩 등의 오브젝트)의 위치나 자세를 인식하는 것이 가능하게 되고 있다. 이러한 오브젝트 인식의 응용예의 하나로서, 증강 현실(AR: Augmented Reality) 애플리케이션이 알려져 있다. AR 애플리케이션에 의하면, 실제 공간 화상에 포함되는 실제 오브젝트에는, 실제 오브젝트와 연관된 가상 오브젝트(예를 들어, 광고 정보, 내비게이션 정보 또는 게임용 정보)가 중첩될 수 있다.
한편, 실행 단말기에 의한 커맨드의 실행을 원격 조작에 의해 조작 단말기를 사용해서 제어하는 기술로서는 원격 데스크탑 기술이 알려져 있다. 원격 데스크탑 기술을 사용하는 경우, 예를 들어 커맨드의 실행에 대한 권한을 조작 단말기에 부여하는 것도 가능하다. 예를 들어, 커맨드의 실행이 허용될 경우에는, 조작 단말기를 사용해서 커맨드의 실행을 제어할 수 있지만, 커맨드의 실행이 제한되는 경우에는, 조작 단말기를 사용한 커맨드 실행의 제어가 제한된다. 이러한 원격 데스크탑 기술은, 예를 들어 특허문헌 1에 개시되어 있다.
JP 2007-334633A
그러나, 사용자가 조작하는 단말기가, 다른 단말기에 의해 표시 제어된 화면 인식 결과를 사용해서 다른 단말기에 의한 커맨드 실행을 제어하는 경우, 실행이 제한되는 커맨드를 사용자가 용이하게 인식하게 하기 위한 기술은 개시되어 있지 않다. 따라서, 실행이 제한되는 커맨드를 사용자가 용이하게 인식하게 하기 위한 기술을 구현하는 것이 바람직하다.
제1 실시형태에 따르면, 본 개시는, 제1 디스플레이에 표시된 사용자 인터페이스 -상기 사용자 인터페이스는 각각의 기능에 각각 대응하는 복수의 그래픽 표현을 포함함- 에 대응하는 캡처 화상 데이터를 취득하고; 상기 사용자 인터페이스상에서 수행된 인식 처리에 기초하여 상기 사용자 인터페이스의 표현 -상기 사용자 인터페이스의 표현은 상기 복수의 그래픽 표현에 대응하는 기능이 액세스될 수 있는지의 여부를 나타냄- 을 표시하도록 제2 디스플레이를 제어하는 하나 이상의 프로세싱 유닛을 포함하는 정보 처리 시스템에 관한 것이다.
상기 시스템은, 상기 제2 디스플레이에 표시된 사용자 인터페이스의 상기 표현에 표시된 상기 복수의 그래픽 표현 중 선택된 하나를 수신하는 사용자 인터페이스, 및 통신 인터페이스를 더 포함할 수 있고, 상기 하나 이상의 프로세싱 유닛이, 상기 제2 디스플레이에 표시된 상기 사용자 인터페이스의 상기 표현에 표시된 상기 복수의 그래픽 표현 중 선택된 하나에 대응하는 정보를, 상기 제1 디스플레이를 포함하는 정보 처리 장치에 전송하도록 상기 통신 인터페이스를 제어하는 정보 처리 시스템을 포함할 수 있다.
다른 실시 형태에 의하면, 본 기재는, 제1 디스플레이에 표시된 사용자 인터페이스 -사용자 인터페이스는 각각의 기능에 각각 대응하는 복수의 그래픽 표현을 포함함- 에 대응하는 캡처 화상 데이터를 취득하는 단계; 및 상기 사용자 인터페이스상에서 수행된 인식 처리에 기초하여 상기 사용자 인터페이스의 표현 -상기 사용자 인터페이스의 표현은 상기 복수의 그래픽 표현에 대응하는 기능이 액세스될 수 있는지의 여부를 나타냄- 을 표시하도록 제2 디스플레이를 제어하는 단계를 포함하는, 정보 처리 시스템에 의해 수행되는 정보 처리 방법에 관한 것이다.
다른 실시 형태에 의하면, 본 기재는, 정보 처리 시스템에 의해 실행될 때, 상기 정보 처리 시스템이 프로세스를 수행하게 하는 컴퓨터 프로그램 명령을 포함하는 비-일시적 컴퓨터 판독 가능 매체로서, 상기 프로세스가, 제1 디스플레이에 표시된 사용자 인터페이스 -상기 사용자 인터페이스는 각각의 기능에 각각 대응하는 복수의 그래픽 표현을 포함함- 에 대응하는 캡처 화상 데이터를 취득하는 단계; 및 상기 사용자 인터페이스상에서 수행된 인식 처리에 기초하여 상기 사용자 인터페이스의 표현 -상기 사용자 인터페이스의 표현은 상기 복수의 그래픽 표현에 대응하는 기능이 액세스될 수 있는지의 여부를 나타냄- 을 표시하도록 제2 디스플레이를 제어하는 단계를 포함하는 비-일시적 컴퓨터 판독 가능 매체에 관한 것이다.
이상 설명한 바와 같이, 본 개시의 실시 형태에 의하면, 사용자가 조작하는 단말기가, 다른 단말기에 의해 표시 제어된 화면 인식 결과를 사용해서 다른 단말기에 의한 커맨드 실행을 제어하는 경우, 실행이 제한되는 커맨드를 사용자가 용이하게 인식하게 하는 것이 가능하다.
도 1은 본 개시의 실시 형태에 관한 표시 제어 시스템의 구성을 나타낸 설명도이다.
도 2는 실행 단말기의 기능 구성예를 도시하는 블록도이다.
도 3은 조작 단말기의 기능 구성예를 도시하는 블록도이다.
도 4는 실행 단말기에 의해 조작 단말기에 송신되는 정보의 일례를 나타내는 도면이다.
도 5는 조작 단말기의 표시 제어 유닛에 의한 표시 제어를 설명하기 위한 도면이다.
도 6은 조작 단말기의 표시 제어 유닛에 의한 표시 제어에 따라서 표시된 화면의 일례를 도시하는 도면이다.
도 7은 조작 단말기의 송신 제어 유닛에 의한 송신 제어를 설명하기 위한 도면이다.
도 8은 커맨드 실행 결과의 예를 나타내는 도면이다.
도 9는 본 개시의 실시 형태에 관한 표시 제어 시스템의 동작의 흐름을 나타낸 흐름도이다.
도 10은 본 개시의 실시 형태의 변형예에 관한 송신 정보의 일례를 나타내는 도면이다.
도 11은 본 개시의 실시 형태의 변형예에 관한 표시 제어 시스템의 동작의 흐름을 나타낸 흐름도이다.
이하에 첨부 도면을 참조하면서, 본 개시의 적합한 실시 형태에 대해서 상세하게 설명한다. 본 명세서 및 첨부 도면에 있어서, 실질적으로 동일한 기능 및 구조를 갖는 구조 요소에 대해서는 동일한 번호가 붙여지고, 이들 구조 요소의 중복 설명은 생략한다는 점에 유의해야 한다.
또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소는, 동일한 부호의 뒤에 오는 상이한 알파벳 문자에 의해 구별된다. 그러나, 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소를 구별할 필요가 없을 경우에는, 동일 부호만이 사용된다.
또한, "실시 형태에 대한 설명"은 다음 순서로 설명된다.
1. 표시 제어 시스템의 개요
2. 실행 단말기의 기능 구성예
3. 조작 단말기의 기능 구성예
4. 표시 제어 장치에 제공된 기능
5. 표시 제어 시스템의 동작
6. 변형예
7. 결론
<1. 표시 제어 시스템의 개요>
이하에서는, 우선, 본 개시의 실시 형태에 관한 표시 제어 시스템의 개요에 대해서 도 1을 참조하여 설명한다.
도 1은, 본 개시의 실시 형태에 관한 표시 제어 시스템의 구성을 나타낸 설명도이다. 도 1에 도시한 바와 같이, 본 개시의 실시 형태에 관한 표시 제어 시스템(1)은, 실행 단말기(10)과 조작 단말기(20)을 포함한다. 실행 단말기(10)은, 1개 이상의 항목을 포함하는 화면을 표시할 수 있다. 항목의 수는 특별히 한정되지 않는다. 도 1에 도시한 예에서는, 항목 Itm1 내지 Itm15이 포함된 화면 D10이 실행 단말기(10)에 의해 표시되어 있다. 이들 항목은 각각, 예를 들어, 실행 단말기(10)에 의해 구현된 각각의 애플리케이션에 대응할 수 있다.
조작 단말기(20)은, 실행 단말기(10)에 의해 표시된 화면을 촬상할 수 있다. 도 1에 도시한 예에서는, 실행 단말기(10)에 의해 표시된 화면 D10이 조작 단말기(20)에 의해 촬상되어 있다. 또한, 도 1에 도시한 예에서는, 촬상에 의해 얻어진 화상(이하, "캡처 화상"이라고도 한다)은, 조작 단말기(20)에 의해 표시되는 화면 D20에 포함되어 있다. 이 "캡처 화상"은 현재 캡처되어 화면 D20으로 표시되는 화상에 해당할 수 있거나, 또는 이전에 캡처되고 이후에 화면 D20으로 표시는 것에 의해 저장된 화상일 수 있다. 여기서, 사용자가 조작 단말기(20)에 대하여 항목을 선택하는 조작을 실행하면, 실행 단말기(10)은 그 항목에 대응하는 커맨드를 실행한다.
예를 들어, 사용자가 조작 단말기(20)에 대하여 항목 Itm3을 선택하는 조작을 실행하면, 실행 단말기(10)은 항목 Itm3에 대응하는 커맨드 "사진 선택 화면에의 천이"를 실행한다.
또한, 도 1에 있어서는, 실행 단말기(10) 및 조작 단말기(20)의 예로서 스마트폰을 나타냈지만, 실행 단말기(10) 및 조작 단말기(20)의 어느 것도, 스마트폰에 한정되지 않는다. 예를 들어, 실행 단말기(10) 및 조작 단말기(20)은 각각, 개인 정보 단말기(PDA), 휴대 전화, 휴대용 음악 재생 장치, 휴대용 영상 처리 장치 또는 휴대용 게임 기기일 수 있다.
그런데, 조작 단말기(20)로부터의 커맨드 실행의 제어를 제한하고 싶은 경우도 상정된다. 예를 들어, 실행 단말기(10)의 사용자가 동화상을 마음대로 다른 사람에게 보이고 싶지 않은 경우에는, 조작 단말기(20)에 대하여 항목 Itm2를 선택하는 조작이 이루어져도, 커맨드 "동화상 선택 화면에의 천이"의 실행을 금지하고 싶은 경우가 있다. 이러한 경우에는, 커맨드의 실행에 대한 권한을 조작 단말기에 부여하는 것도 가능하다. 이때, 실행이 제한되는 커맨드를 조작 단말기(20)의 사용자가 용이하게 인식할 수 있게 하면, 조작 단말기(20)의 사용자에 대한 편리성이 향상될 수 있다.
따라서, 상기 상황을 감안하여 본 개시의 실시 형태가 이루어졌다. 본 개시의 실시 형태에 의하면, 조작 단말기(20)은, 실행 단말기(10)에 의해 표시된 화면 인식 결과를 사용해서 실행 단말기(10)에 의한 커맨드 실행의 제어를 행하는 경우, 실행이 제한되는 커맨드를 조작 단말기(20)의 사용자가 용이하게 인식할 수 있게 한다. 이하, 도 2를 참조하면서, 본 개시의 실시 형태에 관한 실행 단말기(10)의 기능 구성을 설명한다.
<2. 실행 단말기의 기능 구성예>
도 2는, 실행 단말기(10)의 기능 구성예를 도시하는 블록도이다. 도 2를 참조하면, 실행 단말기(10)은, 입력 장치(12), 기억 장치(14), 표시 장치(16), 통신 장치(18) 및 표시 제어 장치(100)을 포함한다. 표시 제어 장치(100)은, 조작 검출 유닛(110), 송신 제어 유닛(120), 표시 제어 유닛(130), 취득 유닛(140) 및 커맨드 실행 유닛(150)을 포함한다.
(입력 장치)
입력 장치(12)는, 사용자가 실행 단말기(10)을 조작하거나 실행 단말기(10)에 정보를 입력하기 위해서 사용되는 입력 디바이스이다. 입력 장치(12)는, 예를 들어 키보드, 키패드, 마우스, 버튼, 스위치 또는 터치 패널을 포함할 수 있다. 입력 장치(12)는, 사용자의 제스처를 인식하는 제스처 인식 모듈을 포함할 수 있다.
(기억 장치)
기억 장치(14)는, 반도체 메모리 또는 하드 디스크 등의 기억 매체를 사용하여, 실행 단말기(10)에 의한 처리를 위한 데이터 및 프로그램을 기억한다. 예를 들어, 기억 장치(14)는, 항목을 포함하는 화면을 표시 제어하기 위한 프로그램을 기억한다. 또한, 예를 들어, 기억 장치(14)는, 항목에 대응하는 커맨드를 실행하기 위한 프로그램을 기억한다.
(표시 장치)
표시 장치(16)은, 액정 표시 장치(LCD), 유기 발광 다이오드(OLED) 또는 음극선관(CRT)에 의해 구성되는 표시 모듈이다. 표시 장치(16)은, 실행 단말기(10)의 일부일 수 있거나, 실행 단말기(10)과는 별개로 구성될 수 있다.
(통신 장치)
통신 장치(18)은, 조작 단말기(20)과 유선 또는 무선 방식으로 통신하는 통신 인터페이스이다. 통신 장치(18)은, 네트워크에 접속되는 경우에는, 네트워크를 통해서 조작 단말기(20)과 통신할 수 있다. 또한, 통신 장치(18)은, 조작 단말기(20)과 네트워크를 통하지 않고 직접 통신할 수 있다. 예를 들어, 통신 장치(18)은, 조작 단말기(20)과 전파에 의한 근거리 무선 통신을 행할 수 있거나, 적외선 통신을 행할 수 있다.
(표시 제어 장치)
표시 제어 장치(100)은, 중앙 처리 장치(CPU) 또는 디지털 신호 프로세서(DSP) 등의 프로세서에 상당한다. 표시 제어 장치(100)은, 기억 장치(14) 또는 다른 기억 매체에 기억되는 프로그램을 실행함으로써, 후에 설명하는 표시 제어 장치(100)의 여러가지 기능을 동작시킨다. 표시 제어 장치(100)은, 실행 단말기(10)에 내장되지 않을 수 있고, 다른 장치(예를 들어, 서버)에 내장될 수 있다.
이상, 도 2를 참조하면서, 본 개시의 실시 형태에 관한 실행 단말기(10)의 기능 구성을 설명했다. 이하, 도 3을 참조하면서, 본 개시의 실시 형태에 관한 조작 단말기(20)의 기능 구성에 대해서 상세하게 설명한다.
<3. 조작 단말기의 기능 구성예>
도 3은, 조작 단말기(20)의 기능 구성예를 도시하는 블록도이다. 도 3을 참조하면, 조작 단말기(20)은, 촬상 장치(21), 입력 장치(22), 기억 장치(24), 표시 장치(26), 통신 장치(28) 및 표시 제어 장치(200)을 포함한다. 표시 제어 장치(200)은, 화상 취득 유닛(210), 인식 유닛(220), 정보 취득 유닛(230), 표시 제어 유닛(240), 조작 검출 유닛(250) 및 송신 제어 유닛(260)을 포함한다.
(촬상 장치)
촬상 장치(21)은, 전하 결합 소자(CCD) 또는 상보성 금속 산화물 반도체 (CMOS) 등의 촬상 소자를 사용해서 실제 공간을 촬상함으로써, 캡처 화상을 생성한다. 본 개시의 실시 형태에 있어서는, 촬상 장치(21)이 조작 단말기(20)의 일부인 것을 상정하고 있지만, 촬상 장치(21)은, 조작 단말기(20)과는 별개로 구성될 수 있다.
(입력 장치)
입력 장치(22)는, 사용자가 조작 단말기(20)을 조작하거나 조작 단말기(20)에 정보를 입력하기 위해서 사용되는 입력 디바이스이다. 입력 장치(22)는, 예를 들어 키보드, 키패드, 마우스, 버튼, 스위치 또는 터치 패널을 포함할 수 있다. 입력 장치(22)는, 사용자의 제스처를 인식하는 제스처 인식 모듈을 포함할 수 있다.
(기억 장치)
기억 장치(24)는, 반도체 메모리 또는 하드 디스크 등의 기억 매체를 사용하여, 조작 단말기(20)에 의한 처리를 위한 데이터 및 프로그램을 기억한다. 또한, 기억 장치(24)는, 오브젝트 인식을 위해서 사용되는 특징량 사전, 및 표시 대상으로서의 역할을 하는 가상 오브젝트의 데이터인 가상 오브젝트 데이터를 기억한다. 또한, 기억 장치(24)는, 오브젝트 인식의 결과로서 생성되는 인식 결과를 기억할 수도 있다.
(표시 장치)
표시 장치(26)은, 액정 표시 장치(LCD), 유기 발광 다이오드(OLED) 또는 음극선관(CRT)에 의해 구성되는 표시 모듈이다. 표시 장치(26)은, 조작 단말기(20)의 일부일 수 있거나, 조작 단말기(20)과는 별개로 구성될 수 있다.
(통신 장치)
통신 장치(28)은, 실행 단말기(10)과 유선 또는 무선 방식으로 통신하는 통신 인터페이스이다. 통신 장치(28)은, 네트워크에 접속되는 경우에는, 네트워크를 통해서 실행 단말기(10)과 통신할 수 있다. 또한, 통신 장치(28)은, 네트워크를 통하지 않고 실행 단말기(10)과 직접 통신할 수 있다. 예를 들어, 통신 장치(28)은, 실행 단말기(10)과 전파에 의한 근거리 무선 통신을 행할 수 있거나, 적외선 통신을 행할 수 있다.
(표시 제어 장치)
표시 제어 장치(200)은, 중앙 처리 장치(CPU) 또는 디지털 신호 프로세서(DSP) 등의 프로세서에 상당한다. 표시 제어 장치(200)은, 기억 장치(24) 또는 다른 기억 매체에 기억되는 프로그램을 실행함으로써, 후에 설명하는 표시 제어 장치(200)의 여러가지 기능을 동작시킨다. 표시 제어 장치(200)은, 조작 단말기(20)에 내장되지 않을 수 있거나, 다른 장치(예를 들어, 서버)에 내장될 수 있다.
이상, 도 3을 참조하면서, 본 개시의 실시 형태에 관한 조작 단말기(20)의 기능 구성을 설명했다. 이하, 도 4 내지 도 8을 참조하면서, 본 개시의 실시 형태에 관한 표시 제어 장치(100 및 200)에 대해서 상세하게 설명한다.
<4. 표시 제어 장치에 제공된 기능>
도 4는 실행 단말기(10)에 의해 조작 단말기(20)에 송신되는 정보(이하, "송신 정보"라고도 함)의 일례를 도시하는 도면이다. 도 4에 도시한 바와 같이, 송신 정보는, 구성 정보 및 권한 정보를 포함하고 있다. 구성 정보는, 1개 이상의 항목을 포함하는 화면의 구성을 나타낸다. 표시 제어 유닛(130)은, 이 구성 정보에 따라서 화면을 표시할 수 있다. 도 4에 도시한 예에서는, 구성 정보는, 화면 D10을 구성하는 항목 Itm1 내지 Itm15의 위치 및 크기를 나타낸다.
항목의 위치는, 예를 들어, 항목 위치가 화면의 소정 포인트의 위치를 기준으로 했을 경우, 항목의 소정 포인트의 위치에 의해 표현될 수 있다. 예를 들어, 화면 D10의 좌측 상단 코너가 화면이 있는 소정의 포인트가 될 수 있지만, 화면의 소정의 포인트는 화면 D10의 좌측 상단 코너가 아닐 수 있다. 또한, 항목의 좌측 상단 코너가 항목의 소정의 포인트가 될 수 있지만, 항목의 소정의 포인트는 항목의 좌측 상단 코너가 아닐 수 있다. 또한, 도 4에 도시한 예에서는, 화면 D10의 소정의 포인트의 위치를 (0,0)로 표현하고, 항목 Itm1 내지 Itm15의 소정의 포인트의 위치를 (X1,Y1) 내지 (X15,Y15)로 표현하고, 항목 Itm1 내지 Itm15의 크기(폭, 높이)를 (W1,H1) 내지 (W15,H15)로 표현함으로써 항목 좌표를 표현하고 있지만, 표현의 형식은 특별히 한정되지 않는다.
예를 들어, 각 항목 좌표 대신에, 항목과 항목간의 간격의 크기 및 화면 단부와 항목간의 간격의 크기가 구성 정보로서 송신 정보에 포함될 수 있다. 그 경우, 후술하는 바와 같이, 커맨드의 실행이 허용되는 것을 나타내는 정보, 또는 커맨드의 실행이 제한되는 것을 나타내는 정보는, 항목의 번호순으로 배열될 수 있다. 또한, 각 항목이 직사각형 이외의 형상을 갖는 경우에는, 다른 표현 형식으로 각 항목의 좌표가 규정될 수 있다. 예를 들어, 각 항목은 점일 수 있지만, 그 경우에는, 각 항목의 크기는 구성 정보로서 송신 정보에 포함되어 있지 않을 수 있다. 또한, 예를 들어, 각 항목의 크기가 조작 단말기(20)에 의해 이미 인식되어 있는 경우에는, 각 항목의 크기는 구성 정보로서 송신 정보에 포함되어 있지 않을 수 있다.
권한 정보는, 커맨드의 실행이 허용되는 것을 나타내는 정보(이하, 간단히, "허용"이라고도 함), 또는 커맨드의 실행이 제한되는 것을 나타내는 정보(이하, 간단히, "제한"이라고도 함)에 의해 구성된다. 도 4에 도시한 예에서는, "허용" 또는 "제한"은, 항목 Itm1 내지 Itm15의 각각으로부터 실행되는 커맨드의 실행과 연관되어 있다. 권한 정보는, 예를 들어, 조작 검출 유닛(110)에 의해 사용자로부터의 설정 조작이 검출된 경우에 설정될 수 있다. 설정 조작은, 예를 들어, 입력 장치(12)에 의해 사용자로부터 입력된다.
이하에서는, 커맨드의 실행이 제한되는 경우에는, 커맨드의 실행이 금지되지만, 커맨드의 실행은 금지되지 않을 수도 있다. 또한, 커맨드의 실행에 대한 제한은, 단계적으로 부과될 수 있다. 송신 제어 유닛(120)이 조작 단말기(20)에 송신되게 송신 정보를 제어하면, 송신 정보는 그 제어에 따라서 통신 장치(18)에 의해 조작 단말기(20)에 송신된다. 송신 정보는, 예를 들어, 조작 검출 유닛(110)이 사용자로부터의 송신 조작을 검출한 경우에, 송신될 수 있다. 송신 조작은, 예를 들어, 입력 장치(12)에 의해 사용자로부터 입력된다.
실행 단말기(10)로부터 송신된 송신 정보는, 조작 단말기(20)의 통신 장치(28)에 의해 수신된다. 표시 제어 장치(200)의 정보 취득 유닛(230)은, 통신 장치(28)에 의해 수신된 송신 정보를 취득할 수 있다. 한편, 화상 취득 유닛(210)은, 화면 D10의 캡처 화상을 취득한다. 화면 D10의 캡처 화상은, 예를 들어 조작 단말기(20)의 촬상 장치(21)에 의한 촬상에 따라 얻어진다. 표시 제어 유닛(240)은, 화상 취득 유닛(210)에 의해 취득된 캡처 화상을 표시하도록 제어할 수 있다. 표시 장치(26)은, 표시 제어 유닛(240)에 의한 표시 제어에 따라서 표시를 행할 수 있다. 예를 들어, 도 1에 도시한 예에서는, 표시 제어 유닛(240)이, 캡처 화상을 화면 D20로서 표시하도록 제어하고 있다.
인식 유닛(220)은, 화면 D10을 인식함으로써 인식 결과를 취득한다. 예를 들어, 인식 유닛(220)은, 화상 취득 유닛(210)에 의해 취득된 캡처 화상에 포함되는 화면 D10, 및 화면 D10의 캡처 화상에서의 위치 및 자세를 인식한다. 예를 들어, 인식 유닛(220)은, 캡처 화상으로부터 결정되는 특징량을 화면 D10의 특징량과 대조함으로써, 캡처 화상에 포함되는 화면을 인식할 수 있다.
보다 구체적으로는, 인식 유닛(220)은, 스케일 불변 특징 변환(SIFT)법 또는 랜덤 펀(Random Ferns)법 등의 특징량 결정법을 따라, 캡처 화상 내의 실제 오브젝트의 특징량을 결정하고, 결정한 특징량을 실제 오브젝트의 특징량과 대조한다. 인식 유닛(220)은, 캡처 화상 내의 실제 오브젝트의 특징량과 가장 일치하는 특징량과 연관된 화면 D10을 식별하기 위한 정보, 및 캡처 화상에서의 화면 D10의 위치 및 자세를 인식한다.
여기서, 인식 유닛(220)은, 실제 오브젝트의 특징량 데이터가 실제 오브젝트를 식별하기 위한 정보와 연관되어 있는 특징량 사전을 사용한다. 특징량 사전은, 기억 장치(24)에 의해 기억되어 있을 수 있거나, 서버로부터 통신 장치(28)에 의해 수신될 수 있다. 실제 오브젝트의 특징량 데이터는, 예를 들어 SIFT법 또는 랜덤 펀법에 따라, 실제 오브젝트의 학습용 화상으로부터 결정된 특징량의 세트일 수 있다.
화면 D10의 인식은 이러한 예에 한정되지 않는다. 예를 들어, 인식 유닛(220)은, 화면 D10에 연관되어 있는 알려진 그래픽 도형 또는 기호, 또는 인공 마커(예를 들어, 바코드 또는 QR 코드) 또는 자연 마커 등의 마커를 인식함으로써, 화면 D10을 간접적으로 인식할 수 있다. 또한, 인식 유닛(220)은, 화면 D10을 인식하고, 화면 D10의 캡처 화상에 있어서의 크기 및 형상으로부터 화면 D10의 위치 및 자세를 인식할 수 있다.
또한, 상기에서는, 인식 유닛(220)이 캡처 화상에 포함되는 화면 D10의 위치 및 자세를 화상 처리에 따라 인식하는 예를 설명했지만, 화면 D10의 위치 및 자세를 인식하는 기술은 화상 처리에 기초한 인식 기술에 한정되지 않는다. 예를 들어, 인식 유닛(220)은, 촬상 장치(21)의 방향 및 조작 단말기(20)의 현재 위치를 검출하고, 검출 결과에 기초하여, 캡처 화상에 포함되어 있는 화면 D10, 및 캡처 화상에 있어서의 화면 D10의 위치 및 자세를 추정하는 것도 가능하다.
도 5는, 표시 제어 유닛(240)에 의한 표시 제어를 설명하기 위한 도면이다. 표시 제어 유닛(240)은, 권한 정보가 커맨드의 실행이 제한되는 것을 나타내는 경우("제한"의 경우), 구성 정보와 화면 인식 결과에 기초하여, 커맨드의 실행이 제한되는 것을 나타내는 표시인 제한 표시가 행해지도록 제어를 행한다. 예를 들어, 표시 제어 유닛(240)은, 화상 취득 유닛(210)에 의해 취득된 캡처 화상에 대하여 제한 표시를 부가할 수도 있다.
도 4에 도시한 것 같은 구성 정보 및 권한 정보가 정보 취득 유닛(230)에 의해 취득된 경우에는, "제한"은 항목 좌표(X2,Y2,W2,H2), (X10,Y10,W10,H10), 및 (X11,Y11,W11,H11)과 연관되어 있다. 따라서, 표시 제어 유닛(240)은, 항목 좌표(X2,Y2,W2,H2), (X10,Y10,W10,H10), 및 (X11,Y11,W11,H11)과 화면 D10의 인식 결과에 기초하여 행해지도록 제한 표시를 제어할 수 있다.
예를 들어, 화면 D10의 인식 결과로서 화면 D10의 위치 및 자세가 인식되었을 경우, 표시 제어 유닛(240)은 화면 D10의 위치 및 자세에 기초하여, 항목 좌표(X2,Y2,W2,H2), (X10,Y10,W10,H10), 및 (X11,Y11,W11,H11)을 변환한다. 도 5에는, 표시 제어 유닛(240)이 항목 좌표를 변환한 후의 좌표(이하, "변환 좌표"라고도 함)가 (X2',Y2',W2',H2'), (X10',Y10',W10',H10'), 및 (X11',Y11',W11',H11')로서 도시된다.
표시 제어 유닛(240)은, 변환 좌표가 나타내는 위치에 제한 표시를 부가할 수 있다. 도 5에 도시한 예에서는, 표시 제어 유닛(240)은 변환 좌표(X2',Y2',W2',H2'), (X10',Y10',W10',H10'), 및 (X11',Y11',W11',H11')이 나타내는 위치에 제한 표시를 부가할 수 있다. 표시 장치(26)은, 표시 제어 유닛(240)에 의한 표시 제어에 따라 표시를 행할 수 있다.
도 6은, 표시 제어 유닛(240)에 의한 표시 제어에 따라 표시된 화면의 일례를 도시하는 도면이다. 도 6에 나타낸 예에서는, 변환 좌표(X2',Y2',W2',H2'), (X10',Y10',W10',H10'), 및 (X11',Y11',W11',H11')이 나타내는 위치에 제한 표시 R2, R10, 및 R11이 부가된 캡처 화상이 화면 D21로서 표시되어 있다. 도 6에 나타낸 예에서는, 제한 표시 R2, R10, 및 R11에 의해 항목이 회색으로 표시되어 있지만, 제한 표시의 방법은 특별히 한정되지 않는다. 예를 들어, 제한 표시는, 각 항목이 소거되는 표시일 수 있다.
이렇게 제한 표시가 이루어지면, 표시 제어 장치(200)은, 표시 제어 장치(100)에 의해 표시 제어된 화면 인식 결과를 사용해서 표시 제어 장치(100)에 의한 커맨드 실행의 제어를 행하는 경우, 실행이 제한되는 커맨드를 사용자가 용이하게 인식하게 하는 것이 가능하다. 도 6에 나타낸 예에서는, 항목 Itm2에 대응하는 커맨드 "동화상 선택 화면에의 천이", Itm10에 대응하는 커맨드 "페이스북(Fasebook)", 및 Itm11에 대응하는 커맨드 "다이어리(Diary)"의 각각에 대한 권한이 제한되어 있는 것을 사용자가 용이하게 인식한다.
이렇게 제한 표시가 이루어진 화면 D11을 열람하면서, 사용자는, 실행이 허용되는 커맨드를 선택할 수 있다. 도 6에 나타낸 예에서는, 사용자는 항목 Itm1, Itm3 내지 Itm9, 및 Itm12 내지 Itm15 중 하나를 선택할 수 있다. 여기서, 예를 들어, 사용자는 입력 장치(22)에 대하여 화면 위의 좌표를 지정 좌표(s', t')로서 지정하는 조작을 입력하기를 원한다. 그 경우, 조작 검출 유닛(250)은, 지정 좌표(s', t')를 지정하는 조작을 검출한다.
도 7은, 송신 제어 유닛(260)에 의한 송신 제어를 설명하기 위한 도면이다. 도 7에 도시한 바와 같이, 예를 들어, 조작 검출 유닛(250)이 지정 좌표(s', t')를 지정하는 조작을 검출한 경우, 송신 제어 유닛(260)은, 화면 D10의 위치 및 자세에 기초하여 지정 좌표(s', t')를 변환한다. 지정 좌표(s', t')가 변환된 후의 좌표는 (s, t)로서 표기된다. 송신 제어 유닛(260)은, 좌표(s, t)를 표시 제어 장치(100)에 송신되도록 제어한다. 좌표(s, t)가 송신 제어 유닛(260)에 의해 표시 제어 장치(100)에 송신되게 제어되면, 좌표(s, t)는 그 제어에 따라 통신 장치(28)에 의해 실행 단말기(10)에 송신된다.
통신 장치(28)에 의해 송신된 좌표(s, t)는, 실행 단말기(10)의 통신 장치(18)에 의해 수신된다. 계속해서, 통신 장치(18)에 의해 좌표(s, t)가 수신되면, 표시 제어 장치(100)의 취득 유닛(140)은, 통신 장치(18)에 의해 수신된 좌표(s, t)를 취득한다. 항목 좌표가 취득 유닛(140)에 의해 취득되고, 권한 정보가 커맨드의 실행이 허용되는 것을 나타내는 경우("허용"의 경우), 커맨드 실행 유닛(150)은 커맨드를 실행한다. 도 4에 도시한 바와 같이, 항목 Itm3에는 "허용"이 연관되어 있기 때문에, 도 7에 도시한 바와 같이, 취득 유닛(140)에 의해 취득된 좌표(s, t)가 항목 Itm3의 좌표(예를 들어, (X3,Y3,W3,H3)에 의해 규정되는 범위 내의 좌표)와 일치하는 경우, 커맨드 실행 유닛(150)은 항목 Itm3에 대응하는 커맨드 "사진 선택 화면에의 천이"를 실행하는 것이 바람직하다.
도 8은, 커맨드 실행 결과의 예를 나타내는 도면이다. 커맨드 실행 유닛(150)이 항목 Itm3에 대응하는 커맨드 "사진 선택 화면에의 천이"를 실행했을 경우, 표시 제어 유닛(130)은 사진 선택 화면에 해당하는 화면 D12을 도 8에 도시한 바와 같이 표시되도록 제어한다. 표시 제어 유닛(130)에 의해 표시 제어가 실행되면, 화면 D12는, 그 표시 제어에 따라 표시 장치(16)에 의해 표시된다. 또한, 도 8에 나타낸 예에서는, 촬상 장치(21)이 화면 D12를 촬상하고, 화상 취득 유닛(210)이 캡처 화상을 취득하면, 표시 제어 유닛(240)은 그 캡처 화상을 화면 D22로서 표시되게 제어한다.
취득 유닛(140)이 항목 좌표를 취득하지 않은 경우에는, 커맨드 실행 유닛(150)은 커맨드를 실행시키지 않는 것이 바람직하다. 또한, 권한 정보가 커맨드의 실행이 제한되는 것을 나타내는 경우("제한"의 경우), 커맨드 실행 유닛(150)은 커맨드의 실행을 제한하는 것이 바람직하다. 예를 들어, 취득 유닛(140)에 의해 취득된 좌표(s, t)가 항목 Itm2의 좌표인 경우, 도 4에 도시한 바와 같이, 항목 Itm2에는 "제한"이 연관되어 있기 때문에, 커맨드 실행 유닛(150)은 항목 Itm2에 대응하는 커맨드 "동화상 선택 화면에의 천이"를 실행시키는 것이 바람직하다.
또한, 이상에서 설명한 바와 같이, 좌표(s, t)가 무조건으로 송신되게 제어될 수 있지만, 송신 제어 유닛(260)은 소정의 조건이 만족되었는 지의 여부를 판정하고, 소정의 조건이 만족된 경우에는 좌표(s, t)를 송신되게 제어할 수 있다. 또한, 소정의 조건이 만족되지 않은 경우에는 송신 제어 유닛(260)은 좌표(s, t)를 송신되지 않게 제어할 수 있다.
예를 들어, 화면 D10의 위치 및 자세에 기초하여 지정 좌표(s', t')가 변환된 후의 좌표(s, t)가 항목 좌표(X1,Y1,W1,H1) 내지 (X15,Y15,W15,H15) 중 어느 하나의 세트에 일치 또는 근접하는 경우, 송신 제어 유닛(260)은 좌표(s, t)를 표시 제어 장치(100)에 송신되게 제어할 수 있다. 한편, 좌표(s, t)가 항목 좌표(X1,Y1,W1,H1) 내지 (X15,Y15,W15,H15) 중 어느 하나의 세트에도 일치 또는 근접하지 않을 경우, 송신 제어 유닛(260)은 좌표(s, t)를 표시 제어 장치(100)에 송신되지 않게 제어할 수 있다. 근접 범위는 미리 정해 두는 것이 가능하거나, 제공되어 있지 않을 수 있다.
또한, 예를 들어, 권한 정보가 커맨드의 실행이 허용되는 것을 나타내는 경우("허용"의 경우), 송신 제어 유닛(260)은 좌표(s, t)를 표시 제어 장치(100)에 송신되게 제어할 수 있다. 한편, 권한 정보가 커맨드의 실행이 제한되는 것을 나타내는 경우("제한"의 경우), 송신 제어 유닛(260)은 좌표(s, t)를 표시 제어 장치(100)에 송신되지 않게 제어할 수 있다.
커맨드 실행 유닛(150)은, 조작 검출 유닛(110)이 사용자로부터의 커맨드 지정 조작을 검출한 경우에는, 커맨드 지정 조작에 따라 지정된 커맨드를 실행할 수 있다. 이러한 경우, 조작 검출 유닛(110)이 사용자로부터의 커맨드 지정 조작을 검출한 경우에는, 커맨드 실행 유닛(150)은 권한 정보에 상관없이 커맨드를 실행하는 것이 바람직하다. 한편, 취득 유닛(140)이 항목 좌표를 취득하면, 권한 정보가 커맨드의 실행이 허용되는 것을 나타내는 경우("허용"의 경우), 커맨드 실행 유닛(150)은 커맨드를 실행하는 것이 바람직하다. 또한, 취득 유닛(140)이 항목 좌표를 취득하면, 권한 정보가 커맨드의 실행이 제한되는 것을 나타내는 경우("제한"의 경우), 커맨드 실행 유닛(150)은 커맨드의 실행을 제한하는 것이 바람직하다. 커맨드 지정 조작은, 예를 들어 입력 장치(12)에 의해 사용자로부터 입력된다.
이상, 도 4 내지 도 8을 참조하면서, 본 개시의 실시 형태에 관한 표시 제어 장치(100 및 200)에 제공된 기능을 설명했다. 이하, 도 9를 참조하면서, 본 개시의 실시 형태에 관한 표시 제어 시스템(1)의 동작에 대해서 상세하게 설명한다.
<5. 표시 제어 시스템의 동작>
도 9는, 본 개시의 실시 형태에 관한 표시 제어 시스템(1)의 동작의 흐름을 나타낸 흐름도이다.
도 9에 도시한 바와 같이, 실행 단말기(10)의 표시 제어 유닛(130)이, 항목을 포함하는 화면을 표시 제어하면, 표시 장치(16)은, 표시 제어 유닛(130)에 의한 표시 제어에 따라, 항목을 포함하는 화면을 표시한다(단계 S11). 상기한 바와 같이, 항목의 수는 특별히 한정되지 않는다. 계속해서, 송신 제어 유닛(120)은, 화면의 구성 정보 및 항목으로부터 실행되는 커맨드에 대한 권한 정보를 조작 단말기(20)에 송신되게 제어한다. 송신 제어 유닛(120)에 의한 제어에 따라, 통신 장치(18)은 구성 정보 및 권한 정보를 조작 단말기(20)에 송신한다(단계 S12). 상기한 바와 같이, 구성 정보 및 권한 정보는, 예를 들어 조작 검출 유닛(110)이 사용자로부터의 송신 조작을 검출한 경우에 송신된다.
계속해서, 조작 단말기(20)의 통신 장치(28)이 실행 단말기(10)로부터 구성 정보 및 권한 정보를 수신하면(단계 S21), 정보 취득 유닛(230)은 통신 장치(28)에 의해 수신된 구성 정보 및 권한 정보를 취득한다. 한편, 촬상 장치(21)이 표시 제어 유닛(130)에 의해 표시 제어되는 화면을 촬상하면, 화상 취득 유닛(210)은 촬상 장치(21)에 의한 촬상에 따라 얻어진 캡처 화상을 취득한다(단계 S22). 인식 유닛(220)은, 캡처 화상으로부터 화면을 인식한다(단계 S23). 계속해서, 표시 제어 유닛(240)이, 캡처 화상을 표시 제어하면, 표시 장치(26)은 캡처 화상을 표시한다(단계 S24).
계속해서, 표시 제어 유닛(240)은, 권한 정보가 커맨드의 실행이 제한되는 것을 나타내는 경우(단계 S25에서 "예"), 구성 정보 및 인식 결과에 기초하여, 캡처 화상에 제한 표시를 부가해서(단계 S26), 단계 S27로 진행한다. 표시 제어 유닛(240)은, 권한 정보가 커맨드의 실행이 제한되는 것을 나타내지 않을 경우(즉, 권한 정보가 커맨드의 실행이 허용되는 것을 나타내는 경우)(단계 S25에서 "아니오"), 단계 S27로 진행한다. 계속해서, 조작 검출 유닛(250)이 사용자로부터의 지정 좌표를 검출하면, 송신 제어 유닛(260)은, 인식 유닛(220)에 의한 인식에 따라 얻어진 인식 결과에 기초하여 지정 좌표를 변환하고(단계 S27), 변환된 좌표를 송신되게 제어한다. 통신 장치(28)은, 송신 제어 유닛(260)에 의한 제어에 따라, 변환된 좌표를 송신한다(단계 S28). 표시 제어 유닛(240)이 구성 정보와 인식 결과에 기초하여 캡처 화상에 제한 표시를 부가하면서(단계 S26), 커맨드에 대응하는 상태를 제한에서 허용으로 변경함으로써 제한 표시가 제거될 수 있음에 주목해야 한다. 예를 들면, 패스워드 또는 다른 인증 정보는 조작 단말기(20)에 입력될 수 있고, 실행 단말기(10)에 전송될 수 있다. 실행 단말기(10)은 그 다음, 인증이 성공하면, 커맨드의 상태가 제한에서 허용으로 변경되는 것을 나타내는 조작 단말기(20)에 데이터를 전송할 수 있다. 이 인증 정보를 입력하는 예시적인 프로세스는, 도 6에 도시된 제한 표시 R2, R10 및 R11 중 하나를 표시 선택하는 단계를 포함할 수 있다. 이들 표시 중 하나를 선택하면, 표시 제어 유닛(240)은 인증 정보를 입력하도록 사용자를 유도하는 인터페이스를 표시하도록 디스플레이를 제어한다. 위에서 설명한 것처럼, 이러한 인증 정보는 다음에, 조작 단말기(20)으로부터 실행 단말기(10)에 송신된다. 커맨드의 상태가 성공적인 인증에 기초하여, 제한에서 허용으로 변경된 것을 나타내는 실행 단말기(10)로부터 데이터를 수신하면, 표시 제어 유닛(240)은 캡처 화상으로부터 제한 표시를 제거하도록 디스플레이를 제어한다.
계속해서, 실행 단말기(10)의 통신 장치(18)이 변환된 좌표를 수신하면(단계 S13), 취득 유닛(140)은 통신 장치(18)에 의해 수신된 좌표를 취득한다. 커맨드 실행 유닛(150)은, 통신 장치(18)에 의해 수신된 좌표가 항목 좌표가 아닌 경우(또는, 항목 좌표에 근접하지 않은 경우)(단계 S14에서 "아니오"), 커맨드를 실행하지 않고 동작을 종료한다. 또는, 표시 제어 유닛(130)은 표시 제어를 다시 행할 수 있다(단계 S11). 커맨드 실행 유닛(150)은, 통신 장치(18)에 의해 수신된 좌표가 항목 좌표인 경우(또는, 항목 좌표에 근접하는 경우)(단계 S14에서 "예"), 단계 S15로 진행한다.
커맨드 실행 유닛(150)은, 권한 정보가 커맨드의 실행이 허용되는 것을 나타내지 않을 경우(즉, 커맨드의 실행이 제한되는 것으로 나타나는 경우)(단계 S15에서 "아니오"), 커맨드를 실행하지 않고 동작을 종료한다. 또는, 표시 제어 유닛(130)은 표시 제어를 다시 행할 수 있다(단계 S11). 커맨드 실행 유닛(150)은, 권한 정보가 커맨드의 실행이 허용되는 것을 나타내는 경우(단계 S15에서 "예"), 커맨드를 실행해서(단계 S16), 동작을 종료한다. 또는, 표시 제어 유닛(130)은 표시 제어를 다시 행할 수 있다(단계 S11). 표시 제어 유닛(130)은 커맨드 실행 결과를 표시 제어할 수 있다.
이상, 도 9을 참조하면서, 본 개시의 실시 형태에 관한 표시 제어 시스템(1)의 동작에 대해서 설명했다. 이하, 도 10을 참조하면서, 본 개시의 실시 형태의 변형예에 관한 표시 제어 장치(100 및 200)에 제공된 기능에 대해서 상세하게 설명한다.
<6. 변형예>
도 10은, 본 개시의 실시 형태의 변형예에 관한 송신 정보의 일례를 나타내는 도면이다. 도 10에 도시한 바와 같이, 송신 정보는, 구성 정보 및 권한 정보 이외에 커맨드를 식별하기 위한 정보(이하, "커맨드 식별 정보"라고도 함)를 포함할 수 있다. 단, 커맨드 식별 정보는 필수적인 정보가 아니다. 실행 단말기(10)의 송신 제어 유닛(120)이 상기 송신 정보를 송신되게 제어하면, 통신 장치(18)은 송신 정보를 송신한다. 통신 장치(18)에 의해 송신된 송신 정보는, 조작 단말기(20)의 통신 장치(28)에 의해 수신되어, 정보 취득 유닛(230)에 의해 취득된다.
여기서, 예를 들어, 조작 검출 유닛(250)이 커맨드를 지정하는 조작을 검출한 경우, 송신 제어 유닛(260)은 커맨드를 식별하기 위한 커맨드 식별 정보를 표시 제어 장치(100)에 송신되게 제어할 수 있다. 여기서, 송신 제어 유닛(260)은, 소정의 조건이 만족되었는 지의 여부를 판정하고, 소정의 조건이 만족된 경우에는 커맨드 식별 정보를 송신되게 제어할 수 있다. 또한, 송신 제어 유닛(260)은, 소정의 조건이 만족되지 않는 경우에는 커맨드 식별 정보를 송신되지 않게 제어할 수 있다.
예를 들어, 조작 검출 유닛(250)이, 좌표(s', t')를 지정하는 조작을 검출하고, 화면 D10의 위치 및 자세에 기초하여 지정 좌표(s', t')가 변환된 후의 좌표(s, t)가 항목 좌표(X1,Y1,W1,H1) 내지 (X15,Y15,W15,H15) 중 어느 하나의 세트에 일치 또는 근접하는 경우, 송신 제어 유닛(260)은, 항목에 대응하는 커맨드 식별 정보를 표시 제어 장치(100)에 송신되게 제어할 수 있다.
예를 들어, 조작 검출 유닛(250)이, 좌표(s', t')를 지정하는 조작을 검출하고, 지정 좌표(s', t')가 변환된 후의 좌표(s, t)가 항목 좌표(X3,Y3,W3,H3)에 일치 또는 근접하는 경우, 송신 제어 유닛(260)은, 그들 항목에 연관되어 있는 커맨드 식별 정보 "COM3"을 표시 제어 장치(100)에 송신되게 제어할 수 있다. 송신 제어 유닛(260)에 의해 송신이 제어되는 커맨드 식별 정보가, 송신 정보에 포함되어 있을 수 있지만, 커맨드 식별 정보가 송신 정보에 포함되어 있지 않은 경우에 있어서는, 커맨드 식별 정보는 구성 정보에 의해 규정되는 항목 번호 등일 수 있다.
또한, 예를 들어, 권한 정보가 커맨드의 실행이 허용되는 것을 나타내는 경우("허용"의 경우), 송신 제어 유닛(260)은 커맨드 식별 정보를 표시 제어 장치(100)에 송신되게 제어할 수 있다. 한편, 권한 정보가 커맨드의 실행이 제한되는 것을 나타내는 경우("제한"의 경우), 송신 제어 유닛(260)은 커맨드 식별 정보를 표시 제어 장치(100)에 송신되지 않게 제어할 수 있다.
통신 장치(28)이, 송신 제어 유닛(260)에 의한 제어에 따라 커맨드 식별 정보를 송신하면, 실행 단말기(10)의 통신 장치(18)이 커맨드 식별 정보를 수신하고, 취득 유닛(140)은 통신 장치(18)에 의해 수신된 커맨드 식별 정보를 취득한다. 취득 유닛(140)이 커맨드 식별 정보를 취득하고, 권한 정보가 커맨드의 실행이 허용되는 것을 나타내는 경우, 커맨드 실행 유닛(150)은 커맨드를 실행할 수 있다. 취득 유닛(140)이 커맨드 식별 정보를 취득하지 않은 경우, 커맨드 실행 유닛(150)은 커맨드를 실행시키지 않을 수 있다. 또한, 권한 정보가 커맨드의 실행이 제한되는 것을 나타내는 경우, 커맨드 실행 유닛(150)은 커맨드의 실행을 제한할 수 있다.
이상, 도 10을 참조하면서, 본 개시의 실시 형태의 변형예에 관한 표시 제어 장치(100 및 200)에 제공된 기능에 대해서 설명했다. 이하, 도 11을 참조하면서, 본 개시의 실시 형태의 변형예에 관한 표시 제어 시스템(1)의 동작에 대해서 상세하게 설명한다.
도 11은, 본 개시의 실시 형태의 변형예에 관한 표시 제어 시스템(1)의 동작의 흐름을 나타낸 흐름도이다.
도 11에 도시한 바와 같이, 실행 단말기(10)의 표시 제어 유닛(130)이, 항목을 포함하는 화면을 표시 제어하면, 표시 장치(16)은 표시 제어 유닛(130)에 의한 표시 제어에 따라, 항목을 포함하는 화면을 표시한다(단계 S31). 상기한 바와 같이, 항목의 수는 특별히 한정되지 않는다. 계속해서, 송신 제어 유닛(120)은 화면의 구성 정보, 항목으로부터 실행되는 커맨드에 대한 권한 정보 및 커맨드 식별 정보를 조작 단말기(20)에 송신되게 제어한다. 송신 제어 유닛(120)에 의한 제어에 따라, 통신 장치(18)은 구성 정보, 권한 정보 및 커맨드 식별 정보를 조작 단말기(20)에 송신한다(단계 S32). 구성 정보, 권한 정보 및 커맨드 식별 정보는, 예를 들어, 조작 검출 유닛(110)이 사용자로부터의 송신 조작을 검출한 경우에 송신될 수 있다.
계속해서, 조작 단말기(20)의 통신 장치(28)이, 실행 단말기(10)로부터 구성 정보, 권한 정보 및 커맨드 식별 정보를 수신하면(단계 S41), 정보 취득 유닛(230)은 통신 장치(28)에 의해 수신된 구성 정보, 권한 정보 및 커맨드 식별 정보를 취득한다. 한편, 촬상 장치(21)이 표시 제어 유닛(130)에 의해 표시 제어되고 있는 화면을 촬상하면, 화상 취득 유닛(210)은 촬상 장치(21)에 의한 촬상에 따라 얻어진 캡처 화상을 취득한다(단계 S42). 인식 유닛(220)은, 캡처 화상으로부터 화면을 인식한다(단계 S43). 계속해서, 표시 제어 유닛(240)이 캡처 화상을 표시 제어하면, 표시 장치(26)은 캡처 화상을 표시한다(단계 S44).
계속해서, 권한 정보가 커맨드의 실행이 제한되는 것을 나타내는 경우(단계 S45에서 "예"), 표시 제어 유닛(240)은 구성 정보 및 인식 결과에 기초하여 캡처 화상에 제한 표시를 부가해서(단계 S46), 단계 S47로 진행한다. 권한 정보가 커맨드의 실행이 제한되는 것을 나타내지 않을 경우(즉, 커맨드의 실행이 허용되는 것을 나타내는 경우)(단계 S45에서 "아니오"), 표시 제어 유닛(240)은 단계 S47로 진행한다. 계속해서, 조작 검출 유닛(250)이 사용자로부터의 지정 좌표를 검출하면, 송신 제어 유닛(260)은 인식 유닛(220)에 의한 인식에 따라 얻어진 인식 결과에 기초하여 지정 좌표를 변환한다(단계 S47).
변환 후의 좌표가 항목 좌표가 아닐 경우(또는, 항목 좌표에 근접하지 않을 경우)(단계 S48에서 "아니오"), 송신 제어 유닛(260)은 커맨드를 실행하지 않고 동작을 종료한다. 또는, 표시 제어 유닛(130)은 표시 제어를 다시 행할 수 있다(단계 S31). 한편, 변환 후의 좌표가 항목 좌표일 경우(또는, 항목 좌표에 근접하는 경우)(단계 S48에서 "예"), 송신 제어 유닛(260)은 항목에 대응하는 커맨드 식별 정보를 송신되게 제어한다. 통신 장치(28)은, 송신 제어 유닛(260)에 의한 제어에 따라, 커맨드 식별 정보를 송신한다(단계 S49). 실행 단말기(10)의 통신 장치(18)이 커맨드 식별 정보를 수신하면(단계 S33), 취득 유닛(140)은 통신 장치(18)에 의해 수신된 커맨드 식별 정보를 취득한다.
계속해서, 권한 정보가 커맨드의 실행이 허용되는 것을 나타내지 않을 경우(즉, 커맨드의 실행이 제한되는 것으로 나타나는 경우)(단계 S34에서 "아니오"), 커맨드 실행 유닛(150)은 커맨드 식별 정보에 의해 식별되는 커맨드를 실행하지 않고 동작을 종료한다. 또는, 표시 제어 유닛(130)은 표시 제어를 다시 행할 수 있다(단계 S31). 권한 정보가 커맨드의 실행이 허용되는 것을 나타내는 경우(단계 S34에서 "예"), 커맨드 실행 유닛(150)은 커맨드 식별 정보에 의해 식별되는 커맨드를 실행해서(단계 S35), 동작을 종료한다. 또는, 표시 제어 유닛(130)은 표시 제어를 다시 행할 수 있다(단계 S31). 표시 제어 유닛(130)은 커맨드 실행 결과의 표시 제어를 행할 수 있다.
이상, 도 11을 참조하면서, 본 개시의 실시 형태의 변형예에 관한 표시 제어 시스템(1)의 동작의 흐름에 대해서 설명했다.
<7. 결론>
이상 설명한 바와 같이, 본 개시에 의한 표시 제어 장치(200)은 표시 제어 장치(100)의 1개 이상의 항목을 포함하는 화면의 구성 정보, 및 항목으로부터 실행되는 커맨드에 대한 권한 정보를 취득하는 정보 취득 유닛(230)을 포함한다. 또한, 권한 정보가 커맨드의 실행이 제한되는 것을 나타내는 경우, 표시 제어 장치(200)은, 화면 인식 결과와 구성 정보에 기초하여, 커맨드의 실행이 제한되는 것을 나타내는 표시인 제한 표시를 실행되게 제어하는 표시 제어 유닛(240)을 포함한다. 따라서, 실행 단말기(10)에 의해 표시 제어된 화면의 인식 결과를 사용해서 실행 단말기(10)에 의한 커맨드 실행의 제어가 행해지는 경우, 사용자가 조작하는 조작 단말기(20)은, 실행이 제한되는 커맨드를 사용자가 용이하게 인식하게 한다.
또한, 첨부 도면을 참조하면서, 본 개시의 적합한 실시 형태에 대해서 상세하게 설명했지만, 본 개시의 기술적 범위는 이에 한정되지 않는다. 본 기술 분야에 있어서 통상의 지식을 갖는 자이면, 다양한 변형, 조합, 하부 조합 및 변경들이 첨부된 특허 청구 범위 또는 그 등가물의 범위 내에 있는 것이라면 설계 조건 및 다른 요인에 따라 발생할 수 있다는 것을 이해해야 한다.
예를 들어, 상기에서는, 표시 제어 장치(200)이 화면 인식 기능을 갖는 예를 설명했지만, 서버는 이러한 기능을, 표시 제어 장치(200) 대신 가질 수 있다. 예를 들어, 표시 제어 장치(200)이 캡처 화상을 서버에 송신했을 경우, 서버는 표시 제어 장치(200) 대신에 캡처 화상으로부터 화면을 인식할 수 있다. 이와 같이, 본 개시의 기술은, 클라우드 컴퓨팅에도 적용하는 것이 가능하다.
또한, 본 명세서의 표시 제어 시스템(1)의 동작에 있어서의 단계는, 반드시 흐름도에 기재된 순서를 따라서 시계열로 실행될 필요는 없다. 예를 들어, 표시 제어 시스템(1)의 동작에 있어서의 각 단계는, 흐름도에 기재한 순서와 상이한 순서로 처리될 수 있거나, 병렬로 처리될 수 있다.
또한, 실행 단말기(10) 또는 조작 단말기(20)에 내장된 CPU, 판독 전용 메모리(ROM) 및 랜덤 액세스 메모리(RAM) 등의 하드웨어가, 상술한 실행 단말기(10) 또는 조작 단말기(20)의 각 구성과 동등한 기능을 갖게 하기 위한 컴퓨터 프로그램을 작성하는 것이 가능하다. 또한, 상기 컴퓨터 프로그램을 기억시킨 기억 매체도 제공된다.
또한, 본 기술은 이하와 같이 구성될 수도 있다.
(1) 제1 디스플레이에 표시된 사용자 인터페이스 -상기 사용자 인터페이스는 각각의 기능에 각각 대응하는 복수의 그래픽 표현을 포함함- 에 대응하는 캡처 화상 데이터를 취득하고; 상기 사용자 인터페이스상에서 수행된 인식 처리에 기초하여 상기 사용자 인터페이스의 표현 -상기 사용자 인터페이스의 표현은 상기 복수의 그래픽 표현에 대응하는 기능이 액세스될 수 있는지의 여부를 나타냄-을 표시하도록 제2 디스플레이를 제어하는 하나 이상의 프로세싱 유닛을 포함하는 정보 처리 시스템.
(2) 상기 제1 디스플레이에 표시된 상기 사용자 인터페이스에 대응하는 상기 화상 데이터를 캡처하는 화상 캡처 유닛을 더 포함하는 (1)의 정보 처리 시스템.
(3) 상기 하나 이상의 프로세싱 유닛이, 구성 정보와, 상기 제1 디스플레이에 표시된 상기 사용자 인터페이스에 대응하는 권한 정보 중 적어도 하나를 취득하는 (1) 내지 (2) 중 어느 하나의 정보 처리 시스템.
(4) 상기 구성 정보가, 상기 복수의 그래픽 표현의 각각이 상기 제1 디스플레이에 표시되는 위치를 나타내는 (1) 내지 (3) 중 어느 하나의 정보 처리 시스템.
(5) 상기 권한 정보가, 상기 복수의 그래픽 표현의 각각에 대응하는 기능이 액세스될 수 있는 지의 여부를 나타내는 (1) 내지 (4) 중 어느 하나의 정보 처리 시스템.
(6) 상기 하나 이상의 프로세싱 유닛이, 상기 취득된 구성 정보에 기초하여 상기 사용자 인터페이스의 상기 표현을 생성하는 (1) 내지 (5) 중 어느 하나의 정보 처리 시스템.
(7) 상기 하나 이상의 프로세싱 유닛이, 액세스될 수 없는 기능에 대응하는 상기 복수의 그래픽 표현 중 적어도 하나에 소정의 시각 효과가 적용되게, 상기 사용자 인터페이스의 상기 표현을 표시하도록 상기 제2 디스플레이를 제어하는 (1) 내지 (6) 중 어느 하나의 정보 처리 시스템.
(8) 상기 하나 이상의 프로세싱 유닛이, 액세스될 수 없는 기능에 대응하는 상기 복수의 그래픽 표현 중 적어도 하나가 생략되게, 상기 사용자 인터페이스의 상기 표현을 표시하도록 상기 제2 디스플레이를 제어하는 (1) 내지 (7) 중 어느 하나의 정보 처리 시스템.
(9) 상기 하나 이상의 프로세싱 유닛이, 액세스될 수 없는 기능에 대응하는 상기 복수의 그래픽 표현 중 적어도 하나에 화상이 중첩되게, 상기 사용자 인터페이스의 상기 표현을 표시하도록 상기 제2 디스플레이를 제어하는 (1) 내지 (8) 중 어느 하나의 정보 처리 시스템.
(10) 상기 제2 디스플레이에 표시된 상기 사용자 인터페이스의 상기 표현에 표시된 상기 복수의 그래픽 표현 중 하나의 선택을 수신하는 사용자 인터페이스를 더 포함하는 (1) 내지 (9) 중 어느 하나의 정보 처리 시스템.
(11) 통신 인터페이스를 더 포함하고, 상기 하나 이상의 프로세싱 유닛이, 상기 제2 디스플레이에 표시된 상기 사용자 인터페이스의 상기 표현에 표시된 상기 복수의 그래픽 표현 중 선택된 하나에 대응하는 정보를, 상기 제1 디스플레이를 포함하는 정보 처리 장치에 전송하도록 상기 통신 인터페이스를 제어하는 (1) 내지 (10) 중 어느 하나의 정보 처리 시스템.
(12) 통신 인터페이스를 더 포함하고, 상기 하나 이상의 프로세싱 유닛이, 상기 제2 디스플레이에 표시된 상기 사용자 인터페이스의 상기 표현에 표시된 상기 복수의 그래픽 표현 중 선택된 하나에 대응하는 좌표 정보를, 상기 제1 디스플레이를 포함하는 정보 처리 장치에 전송하도록 상기 통신 인터페이스를 제어하는 (1) 내지 (11) 중 어느 하나의 정보 처리 시스템.
(13) 통신 인터페이스를 더 포함하고, 상기 하나 이상의 프로세싱 유닛이, 상기 제2 디스플레이에 표시된 상기 사용자 인터페이스의 상기 표현에 표시된 상기 복수의 그래픽 표현 중 선택된 하나에 대응하는 커맨드 식별 정보를, 상기 제1 디스플레이를 포함하는 정보 처리 장치에 전송하도록 상기 통신 인터페이스를 제어하는 (1) 내지 (12) 중 어느 하나의 정보 처리 시스템.
(14) 상기 복수의 그래픽 표현 중 하나가 포토 브라우징 애플리케이션에 대응하는 (1) 내지 (13) 중 어느 하나의 정보 처리 시스템.
(15) 상기 제2 디스플레이에 표시된 상기 사용자 인터페이스의 상기 표현에 표시된 상기 포토 브라우징 애플리케이션에 대응하는 상기 그래픽 표현 중 선택된 하나를 수신하는 사용자 인터페이스; 및 통신 인터페이스를 더 포함하고, 상기 하나 이상의 프로세싱 유닛이, 상기 포토 브라우징 애플리케이션에 대응하는 상기 그래픽 표현 중 선택된 하나에 대응하는 정보를, 상기 제1 디스플레이를 포함하는 정보 처리 장치에 전송하도록 상기 통신 인터페이스를 제어하고, 상기 정보 처리 장치가, 상기 그래픽 표현 중 선택된 하나에 대응하는 상기 정보를 수신하는 것에 응답하여, 상기 포토 브라우징 애플리케이션을 실행하는 (1) 내지 (14) 중 어느 하나의 정보 처리 시스템.
(16) 상기 정보 처리 시스템이 제1 정보 처리 장치이고, 각각의 기능에 각각 대응하는 상기 복수의 그래픽 표현은 제2 정보 처리 장치에서 구현되는 (1) 내지 (15) 중 어느 하나의 정보 처리 시스템.
(17) 상기 제1 디스플레이에 표시된 상기 사용자 인터페이스에 대응하는 상기 캡처 화상 데이터가 정지 화상 데이터인 (1) 내지 (16) 중 어느 하나의 정보 처리 시스템.
(18) 액세스될 수 없는 기능에 대응하는 인증 정보를 수신하는 사용자 인터페이스를 더 포함하는 (1) 내지 (17) 중 어느 하나의 정보 처리 시스템.
(19) 상기 하나 이상의 프로세싱 유닛이, 상기 수신된 인증 정보에 기초하여, 기능이 액세스될 수 있다는 것을 나타내기 위해 상기 사용자 인터페이스의 상기 표현을 변경하도록 상기 디스플레이를 제어하는 (1) 내지 (18) 중 어느 하나의 정보 처리 시스템.
(20) 상기 사용자 인터페이스가, 액세스될 수 없는 기능에 대응하는 그래픽 표현이 상기 제2 디스플레이에서 선택될 때, 상기 인증 정보를 입력하기 위한 화면을 표시하는 (1) 내지 (19) 중 어느 하나의 정보 처리 시스템.
(21) 상기 복수의 그래픽 표현이, 적어도 기능에 대응하는 아이콘을 포함하는 (1) 내지 (20) 중 어느 하나의 정보 처리 시스템.
(22) 제1 디스플레이에 표시된 사용자 인터페이스 -상기 사용자 인터페이스는 각각의 기능에 각각 대응하는 복수의 그래픽 표현을 포함함- 에 대응하는 캡처 화상 데이터를 취득하는 단계; 및 상기 사용자 인터페이스상에서 수행된 인식 처리에 기초하여 상기 사용자 인터페이스의 표현 -상기 사용자 인터페이스의 표현은 상기 복수의 그래픽 표현에 대응하는 기능이 액세스될 수 있는지의 여부를 나타냄- 을 표시하도록 제2 디스플레이를 제어하는 단계를 포함하는, 정보 처리 시스템에 의해 수행되는 정보 처리 방법.
(23) 정보 처리 시스템에 의해 실행될 때, 상기 정보 처리 시스템이 프로세스를 수행하게 하는 컴퓨터 프로그램 명령을 포함하는 비-일시적 컴퓨터 판독 가능 매체로서, 상기 프로세스가, 제1 디스플레이에 표시된 사용자 인터페이스 -상기 사용자 인터페이스는 각각의 기능에 각각 대응하는 복수의 그래픽 표현을 포함함- 에 대응하는 캡처 화상 데이터를 취득하는 단계; 및 상기 사용자 인터페이스상에서 수행된 인식 처리에 기초하여 상기 사용자 인터페이스의 표현 -상기 사용자 인터페이스의 표현은 상기 복수의 그래픽 표현에 대응하는 기능이 액세스될 수 있는지의 여부를 나타냄- 을 표시하도록 제2 디스플레이를 제어하는 단계를 포함하는 비-일시적 컴퓨터 판독 가능 매체.
1: 표시 제어 시스템
10: 실행 단말기
20: 조작 단말기
100: 표시 제어 장치
110: 조작 검출 유닛
120: 송신 제어 유닛
130: 표시 제어 유닛
140: 취득 유닛
150: 커맨드 실행 유닛
200: 표시 제어 장치
210: 화상 취득 유닛
220: 인식 유닛
230: 정보 취득 유닛
240: 표시 제어 유닛
250: 조작 검출 유닛
260: 송신 제어 유닛

Claims (20)

  1. 정보 처리 시스템으로서,
    제1 디스플레이에 표시된 사용자 인터페이스 -상기 사용자 인터페이스는 각각의 기능에 각각 대응하는 복수의 그래픽 표현을 포함함- 에 대응하는 캡처 화상 데이터를 취득하고;
    상기 사용자 인터페이스상에서 수행된 인식 처리에 기초하여 상기 사용자 인터페이스의 표현 -상기 사용자 인터페이스의 표현은 상기 복수의 그래픽 표현에 대응하는 기능이 액세스될 수 있는지의 여부를 나타냄- 을 표시하도록 제2 디스플레이를 제어하는 하나 이상의 프로세싱 유닛을 포함하는, 정보 처리 시스템.
  2. 제1항에 있어서, 상기 제1 디스플레이에 표시된 상기 사용자 인터페이스에 대응하는 상기 화상 데이터를 캡처하는 화상 캡처 유닛을 더 포함하는, 정보 처리 시스템.
  3. 제1항에 있어서, 상기 하나 이상의 프로세싱 유닛이, 구성 정보와, 상기 제1 디스플레이에 표시된 상기 사용자 인터페이스에 대응하는 권한 정보 중 적어도 하나를 취득하는, 정보 처리 시스템.
  4. 제3항에 있어서, 상기 구성 정보가, 상기 복수의 그래픽 표현의 각각이 상기 제1 디스플레이에 표시되는 위치를 나타내는, 정보 처리 시스템.
  5. 제3항에 있어서, 상기 하나 이상의 프로세싱 유닛이, 상기 취득된 구성 정보에 기초하여 상기 사용자 인터페이스의 상기 표현을 생성하는, 정보 처리 시스템.
  6. 제1항에 있어서, 상기 하나 이상의 프로세싱 유닛이, 액세스될 수 없는 기능에 대응하는 상기 복수의 그래픽 표현 중 적어도 하나에 소정의 시각 효과가 적용되게, 상기 사용자 인터페이스의 상기 표현을 표시하도록 상기 제2 디스플레이를 제어하는, 정보 처리 시스템.
  7. 제1항에 있어서, 상기 하나 이상의 프로세싱 유닛이, 액세스될 수 없는 기능에 대응하는 상기 복수의 그래픽 표현 중 적어도 하나가 생략되게, 상기 사용자 인터페이스의 상기 표현을 표시하도록 상기 제2 디스플레이를 제어하는, 정보 처리 시스템.
  8. 제1항에 있어서, 상기 하나 이상의 프로세싱 유닛이, 액세스될 수 없는 기능에 대응하는 상기 복수의 그래픽 표현 중 적어도 하나에 화상이 중첩되게, 상기 사용자 인터페이스의 상기 표현을 표시하도록 상기 제2 디스플레이를 제어하는, 정보 처리 시스템.
  9. 제1항에 있어서, 상기 제2 디스플레이에 표시된 상기 사용자 인터페이스의 상기 표현에 표시된 상기 복수의 그래픽 표현 중 선택된 하나를 수신하는 사용자 인터페이스를 더 포함하는, 정보 처리 시스템.
  10. 제9항에 있어서, 통신 인터페이스를 더 포함하고, 상기 하나 이상의 프로세싱 유닛이, 상기 제2 디스플레이에 표시된 상기 사용자 인터페이스의 상기 표현에 표시된 상기 복수의 그래픽 표현 중 선택된 하나에 대응하는 정보를, 상기 제1 디스플레이를 포함하는 정보 처리 장치에 전송하도록 상기 통신 인터페이스를 제어하는, 정보 처리 시스템.
  11. 제9항에 있어서, 통신 인터페이스를 더 포함하고, 상기 하나 이상의 프로세싱 유닛이, 상기 제2 디스플레이에 표시된 상기 사용자 인터페이스의 상기 표현에 표시된 상기 복수의 그래픽 표현 중 선택된 하나에 대응하는 커맨드 식별 정보를, 상기 제1 디스플레이를 포함하는 정보 처리 장치에 전송하도록 상기 통신 인터페이스를 제어하는, 정보 처리 시스템.
  12. 제9항에 있어서, 상기 복수의 그래픽 표현 중 하나가 포토 브라우징 애플리케이션에 대응하는, 정보 처리 시스템.
  13. 제12항에 있어서,
    상기 제2 디스플레이에 표시된 상기 사용자 인터페이스의 상기 표현에 표시된 상기 포토 브라우징 애플리케이션에 대응하는 상기 그래픽 표현 중 선택된 하나를 수신하는 사용자 인터페이스; 및
    통신 인터페이스를 더 포함하고,
    상기 하나 이상의 프로세싱 유닛이, 상기 포토 브라우징 애플리케이션에 대응하는 상기 그래픽 표현 중 선택된 하나에 대응하는 정보를, 상기 제1 디스플레이를 포함하는 정보 처리 장치에 전송하도록 상기 통신 인터페이스를 제어하고,
    상기 정보 처리 장치가, 상기 그래픽 표현 중 선택된 하나에 대응하는 상기 정보를 수신하는 것에 응답하여, 상기 포토 브라우징 애플리케이션을 실행하는, 정보 처리 시스템.
  14. 제1항에 있어서, 상기 정보 처리 시스템이 제1 정보 처리 장치이고, 각각의 기능에 각각 대응하는 상기 복수의 그래픽 표현은 제2 정보 처리 장치에서 구현되는, 정보 처리 시스템.
  15. 제1항에 있어서, 상기 제1 디스플레이에 표시된 상기 사용자 인터페이스에 대응하는 상기 캡처 화상 데이터가 정지 화상 데이터인, 정보 처리 시스템.
  16. 제1항에 있어서, 액세스될 수 없는 기능에 대응하는 인증 정보를 수신하는 사용자 인터페이스를 더 포함하는, 정보 처리 시스템.
  17. 제16항에 있어서, 상기 하나 이상의 프로세싱 유닛이, 상기 수신된 인증 정보에 기초하여, 기능이 액세스될 수 있다는 것을 나타내기 위해 상기 사용자 인터페이스의 상기 표현을 변경하도록 상기 디스플레이를 제어하는, 정보 처리 시스템.
  18. 제16항에 있어서, 상기 사용자 인터페이스가, 액세스될 수 없는 기능에 대응하는 그래픽 표현이 상기 제2 디스플레이에서 선택될 때, 상기 인증 정보를 입력하기 위한 화면을 표시하는, 정보 처리 시스템.
  19. 정보 처리 시스템에 의해 수행되는 정보 처리 방법으로서,
    제1 디스플레이에 표시된 사용자 인터페이스 -상기 사용자 인터페이스는 각각의 기능에 각각 대응하는 복수의 그래픽 표현을 포함함- 에 대응하는 캡처 화상 데이터를 취득하는 단계; 및
    상기 사용자 인터페이스상에서 수행된 인식 처리에 기초하여 상기 사용자 인터페이스의 표현 -상기 사용자 인터페이스의 표현은 상기 복수의 그래픽 표현에 대응하는 기능이 액세스될 수 있는지의 여부를 나타냄- 을 표시하도록 제2 디스플레이를 제어하는 단계를 포함하는, 정보 처리 방법.
  20. 정보 처리 시스템에 의해 실행될 때, 상기 정보 처리 시스템이 프로세스를 수행하게 하는 컴퓨터 프로그램 명령을 포함하는 비-일시적 컴퓨터 판독 가능 매체로서, 상기 프로세스가,
    제1 디스플레이에 표시된 사용자 인터페이스 -상기 사용자 인터페이스는 각각의 기능에 각각 대응하는 복수의 그래픽 표현을 포함함- 에 대응하는 캡처 화상 데이터를 취득하는 단계; 및
    상기 사용자 인터페이스상에서 수행된 인식 처리에 기초하여 상기 사용자 인터페이스의 표현 -상기 사용자 인터페이스의 표현은 상기 복수의 그래픽 표현에 대응하는 기능이 액세스될 수 있는지의 여부를 나타냄- 을 표시하도록 제2 디스플레이를 제어하는 단계를 포함하는, 비-일시적 컴퓨터 판독 가능 매체.
KR1020147010059A 2011-11-16 2012-10-04 표시 제어 장치, 표시 제어 방법, 및 프로그램 Withdrawn KR20140094512A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011250955A JP5987299B2 (ja) 2011-11-16 2011-11-16 表示制御装置、表示制御方法およびプログラム
JPJP-P-2011-250955 2011-11-16
PCT/JP2012/006382 WO2013073100A1 (en) 2011-11-16 2012-10-04 Display control apparatus, display control method, and program

Publications (1)

Publication Number Publication Date
KR20140094512A true KR20140094512A (ko) 2014-07-30

Family

ID=48429205

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147010059A Withdrawn KR20140094512A (ko) 2011-11-16 2012-10-04 표시 제어 장치, 표시 제어 방법, 및 프로그램

Country Status (8)

Country Link
US (2) US9880713B2 (ko)
EP (1) EP2780787B1 (ko)
JP (1) JP5987299B2 (ko)
KR (1) KR20140094512A (ko)
CN (2) CN103176690B (ko)
AR (1) AR088822A1 (ko)
TW (1) TW201331824A (ko)
WO (1) WO2013073100A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180035243A (ko) * 2012-08-24 2018-04-05 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 가상 현실 어플리케이션
US9607436B2 (en) 2012-08-27 2017-03-28 Empire Technology Development Llc Generating augmented reality exemplars
US20140195968A1 (en) * 2013-01-09 2014-07-10 Hewlett-Packard Development Company, L.P. Inferring and acting on user intent
JP6179227B2 (ja) * 2013-07-08 2017-08-16 沖電気工業株式会社 情報処理装置、携帯端末および情報入力装置
CN104516618B (zh) * 2013-09-27 2020-01-14 中兴通讯股份有限公司 界面功能解析显示方法及装置
CN104571776A (zh) * 2013-10-22 2015-04-29 胜华科技股份有限公司 电子装置
JP6209952B2 (ja) * 2013-11-19 2017-10-11 ソニー株式会社 情報処理装置、撮像装置、撮像システム、情報処理方法およびプログラム
EP3276455A4 (en) * 2015-03-27 2018-03-21 Fujitsu Limited Display method, program, and display control device
JP2017058748A (ja) * 2015-09-14 2017-03-23 セイコーエプソン株式会社 機器の機能実行方法、機器およびプログラム
US10613739B2 (en) * 2016-06-11 2020-04-07 Apple Inc. Device, method, and graphical user interface for controlling multiple devices in an accessibility mode
US10261600B2 (en) * 2016-08-09 2019-04-16 International Business Machines Corporation Remotely operating target device
US10284492B2 (en) * 2016-08-10 2019-05-07 Microsoft Technology Licensing, Llc Control of casting to a media renderer
DE112017007292T5 (de) * 2017-03-21 2020-01-02 Mitsubishi Electric Corporation Überwachungsbildschirmdaten-erzeugungsvorrichtung,, verfahren zur erzeugung von überwachungsbildschirmdaten und programm zur erzeugung von überwachungsbildschirmdaten
CN108388155B (zh) * 2018-03-21 2020-06-23 联想(北京)有限公司 一种远程控制方法及系统
CN109871249B (zh) * 2019-01-14 2021-08-24 平安科技（深圳）有限公司 一种远程桌面操作方法、装置、可读存储介质及终端设备
WO2020150899A1 (zh) * 2019-01-22 2020-07-30 京东方科技集团股份有限公司 语音控制方法、语音控制装置以及计算机可执行非易失性存储介质
DE102019131897A1 (de) * 2019-11-26 2021-05-27 Bayerische Motoren Werke Aktiengesellschaft System und Verfahren zur softwareunabhängigen Integration mobiler Endgeräte ins Fahrzeug
CN111273850B (zh) * 2020-01-21 2022-01-21 维达力实业(深圳)有限公司 终端控制方法、装置、计算机设备和存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4178697B2 (ja) 1999-11-18 2008-11-12 ソニー株式会社 携帯型情報処理端末、情報入出力システム及び情報入出力方法
JP4039001B2 (ja) 2000-05-30 2008-01-30 ソニー株式会社 電子機器
JP4147796B2 (ja) 2002-03-25 2008-09-10 ソニー株式会社 情報画像利用システム、情報画像管理サーバ、情報画像管理方法、及び、プログラム、記録媒体
WO2003090103A1 (en) * 2002-04-22 2003-10-30 Placeware, Inc. Application sharing security
US20060002315A1 (en) * 2004-04-15 2006-01-05 Citrix Systems, Inc. Selectively sharing screen data
US7451921B2 (en) * 2004-09-01 2008-11-18 Eric Morgan Dowling Methods, smart cards, and systems for providing portable computer, VoIP, and application services
JP2006081028A (ja) 2004-09-10 2006-03-23 Kyocera Mita Corp 遠隔操作システム、通信装置及び電気機器
US7580933B2 (en) * 2005-07-28 2009-08-25 Microsoft Corporation Resource handling for taking permissions
JP2007243726A (ja) 2006-03-09 2007-09-20 Fujifilm Corp 遠隔制御装置、方法およびシステム
JP2007334633A (ja) 2006-06-15 2007-12-27 Hitachi Information Systems Ltd リモートデスクトップシステム
KR101434295B1 (ko) 2008-01-07 2014-09-25 삼성전자주식회사 디스플레이 장치에 표시된 화면의 일부분을 전자장치를통해 ｇｕｉ로 제공하는 방법 및 이를 적용한 전자장치
JP2009246646A (ja) * 2008-03-31 2009-10-22 Kenwood Corp リモコン装置及び設定方法
US9189124B2 (en) * 2009-04-15 2015-11-17 Wyse Technology L.L.C. Custom pointer features for touch-screen on remote client devices
CN101674110A (zh) * 2009-10-21 2010-03-17 中兴通讯股份有限公司 一种实现移动终端桌面共享和控制的方法及移动终端
KR101657565B1 (ko) * 2010-04-21 2016-09-19 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
KR101694159B1 (ko) * 2010-04-21 2017-01-09 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
US8645866B2 (en) * 2010-06-29 2014-02-04 Exelis Inc. Dynamic icon overlay system and method of producing dynamic icon overlays
WO2012048087A2 (en) * 2010-10-06 2012-04-12 Citrix Systems, Inc. Mediating resource access based on a physical location of a mobile device
US9178981B2 (en) * 2010-12-22 2015-11-03 Lg Electronics Inc. Mobile terminal and method of sharing information therein
US20130141471A1 (en) * 2011-06-05 2013-06-06 Apple Inc. Obscuring graphical output on remote displays
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US9195388B2 (en) * 2013-03-15 2015-11-24 Apple Inc. Specifying applications to share in a shared access mode

Also Published As

Publication number Publication date
JP5987299B2 (ja) 2016-09-07
US9880713B2 (en) 2018-01-30
EP2780787A4 (en) 2015-04-22
AR088822A1 (es) 2014-07-10
JP2013105454A (ja) 2013-05-30
WO2013073100A1 (en) 2013-05-23
US20140223323A1 (en) 2014-08-07
CN103176690B (zh) 2018-06-12
TW201331824A (zh) 2013-08-01
EP2780787A1 (en) 2014-09-24
CN203689435U (zh) 2014-07-02
US20180136806A1 (en) 2018-05-17
CN103176690A (zh) 2013-06-26
EP2780787B1 (en) 2020-04-15

Similar Documents

Publication Publication Date Title
KR20140094512A (ko) 표시 제어 장치, 표시 제어 방법, 및 프로그램
US8811667B2 (en) Terminal device, object control method, and program
CN102737228B (zh) 显示控制设备、显示控制方法和程序
EP2791883B1 (en) Information processing device, information processing method and program
KR101239284B1 (ko) 증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어단말기 및 서버
US20080129757A1 (en) Image File List Display Device
US10013156B2 (en) Information processing apparatus, information processing method, and computer-readable recording medium
KR20110090789A (ko) 통신 제어 장치, 통신 제어 방법 및 프로그램
JP5668587B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6075971B2 (ja) 画像表示装置
US20150062038A1 (en) Electronic device, control method, and computer program product
KR20220057388A (ko) Ar 버츄얼 단말 및 그의 제어 방법
JP2021140085A (ja) 情報処理装置及びプログラム
JP2013214235A (ja) 表示制御装置、表示制御方法、およびプログラム
US20130021245A1 (en) Interactive content control method and user interface apparatus using the same
JPWO2012053626A1 (ja) 画像照合装置、画像照合方法、画像照合システム、サーバ、端末、端末制御方法、および、端末制御プログラム
JP6155893B2 (ja) 画像処理装置、及びプログラム
JP2018026117A (ja) 画像表示装置、画像表示システム及びプログラム
JP2015141479A (ja) 情報共有システムおよび情報共有方法、ならびに、情報処理装置および情報処理方法

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20140416

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid