JP6360179B2 - アノテーション装置、アノテーション方法、及びアノテーションプログラム - Google Patents

アノテーション装置、アノテーション方法、及びアノテーションプログラム Download PDF

Info

Publication number
JP6360179B2
JP6360179B2 JP2016547412A JP2016547412A JP6360179B2 JP 6360179 B2 JP6360179 B2 JP 6360179B2 JP 2016547412 A JP2016547412 A JP 2016547412A JP 2016547412 A JP2016547412 A JP 2016547412A JP 6360179 B2 JP6360179 B2 JP 6360179B2
Authority
JP
Japan
Prior art keywords
annotation
program
external
message
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016547412A
Other languages
English (en)
Other versions
JPWO2016039254A1 (ja
Inventor
祐人 川端
祐人 川端
増田　健
健 増田
弘毅 中西
弘毅 中西
郁子 高木
郁子 高木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2016039254A1 publication Critical patent/JPWO2016039254A1/ja
Application granted granted Critical
Publication of JP6360179B2 publication Critical patent/JP6360179B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/73—Program documentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/543—User-generated data transfer, e.g. clipboards, dynamic data exchange [DDE], object linking and embedding [OLE]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/102—Entity profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Hardware Design (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Resources & Organizations (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Document Processing Apparatus (AREA)
  • Stored Programmes (AREA)

Description

本発明は、アノテーション装置、アノテーション方法、及びアノテーションプログラムに関する。
従来、ユーザが端末装置を操作して業務を行う業務システムが利用されている。かかるシステムでは、ユーザが、操作対象のＧＵＩ（Graphical User Interface）に対し、業務知識や外部プログラムを呼び出すためのプログラムを直接記述することは、業務システムの改編を伴うため、困難であった。仮に、この様な業務システムのＡＰＩ（Application Programming Interface）が有ったとしても、ユーザが上記記述を行うには、多様な業務システムにおいて提供されるＡＰＩを逐一把握し、各業務システムのアーキテクチャに即したアダプタを設定する必要があるため、汎用性に乏しい。
そこで、ユーザが上記記述を行う場合には、上記業務システムとは別に、テキストやWiki等の知識共有ツールを用いて業務知識を蓄積する、あるいは、外部プログラムを呼び出すためのスクリプトを用意して個別にショートカットを設定する、といった方法が採られていた。
しかしながら、ユーザが、上記知識共有ツール内に記述された文章の中に、複数のアプリケーションのウィンドウの変遷に合わせて、業務知識を参照するタイミングを適切に記述することは困難である。また、業務知識はテキスト等の一次情報に変換されているため、業務システムが、２Ｄ画面での実操作とリンクした形式で業務知識を提供し、該業務知識の提供を契機として、外部プログラムを参照することは困難である。
上記問題点に鑑み、非特許文献１には、ＡＰＩをもたない業務システムが、既存のシステムを改造することなく、ＧＵＩ表示画像を仮想的なスクリプト内に直接記述することで、自動操作のプログラムを簡易に記述することができる技術が開示されている。また、非特許文献２には、かかる技術を基にテキストを表示する技術が開示されている。更に、非特許文献３には、最前面表示のウィンドウのみに画像認識のターゲットを限定し、ポーリング方式により、該ウィンドウのウィンドウハンドルを監視することで、上記非特許文献１の課題を解決する技術が開示されている。また、非特許文献４には、かかる技術に対し、実適用上のユーザビリティを向上させたアノテーションの高度化技術が開示されている。
"Sikuli:Using GUI Screenshots for Search and Automation"、Tom Yeh, Tsung-Hsiang Chang, Robert C.Miller（UIST’09 proceeding） "Creating Contextual Help for GUIs Using Screenshots"、Tom Yeh, Tsung-Hsiang Chang, Bo Xie, Greg Walsh, Ivan Watkins, Krist Wongsuphasawat, Man Huang, Larry S. Davis, and Ben Bederson（UIST’11 proceeding） "An image-based annotation technique to overlay users' knowledge on existing systems"、Yuto Kawabata, et al.、pp.1-4,25-27、Sept.APNOMS,2012. "Annotation Technology Progress and Evaluation for More Accurate Operations in Global Network Environment"、Yuto Kawabata, et al.、NOMS,2014.
しかしながら、上述した従来の技術には、以下の様な問題点が懸念されていた。すなわち、操作画面の画像に対し、アノテーションオブジェクト（例えば、アノテーションメッセージ、アノテーションアイコン）を表示することは可能であるが、アノテーションオブジェクトから外部プログラムを呼び出すことは困難であった。このため、従来の業務システムは、アノテーション機能を有するアプリケーション（アノテーションオブジェクトを表示するプログラム）を、外部プログラムと連携して動作させることは困難であった。
開示の技術は、上記に鑑みてなされたものであって、アノテーションオブジェクトから外部プログラムを容易に呼び出すことができるアノテーション装置、アノテーション方法、及びアノテーションプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本願の開示するアノテーション装置は、一つの態様において、アノテーションオブジェクトと、該アノテーションオブジェクトのウィンドウ毎のアノテーションルールとを対応付けて格納する格納部と、複数の前記ウィンドウの中からアクティブウィンドウを特定する特定部と、前記特定部により特定されたアクティブウィンドウに対応するアノテーションルールが前記格納部に存在し、かつ、前記アノテーションオブジェクトが選択された場合に、前記アノテーションルールに従い、外部プログラムを呼び出す呼出し部とを有する。
また、本願の開示するアノテーション方法は、一つの態様において、アノテーション装置で実行されるアノテーション方法であって、アノテーションオブジェクトと、該アノテーションオブジェクトのウィンドウ毎のアノテーションルールとを対応付けて、格納部に格納させる格納工程と、複数の前記ウィンドウの中からアクティブウィンドウを特定する特定工程と、前記特定工程にて特定されたアクティブウィンドウに対応するアノテーションルールが前記格納部に存在し、かつ、前記アノテーションオブジェクトが選択された場合に、前記アノテーションルールに従い、外部プログラムを呼び出す呼出し工程とを含む。
更に、本願の開示するアノテーションプログラムは、一つの態様において、アノテーションオブジェクトと、該アノテーションオブジェクトのウィンドウ毎のアノテーションルールとを対応付けて、格納部に格納させる格納ステップと、複数の前記ウィンドウの中からアクティブウィンドウを特定する特定ステップと、前記特定ステップにて特定されたアクティブウィンドウに対応するアノテーションルールが前記格納部に存在し、かつ、前記アノテーションオブジェクトが選択された場合に、前記アノテーションルールに従い、外部プログラムを呼び出す呼出しステップとをコンピュータに実行させる。
本願の開示するアノテーション装置、アノテーション方法、及びアノテーションプログラムは、アノテーションオブジェクトから外部プログラムを容易に呼び出すことができるという効果を奏する。
図１は、アノテーション装置の構成を示す図である。 図２は、外部連携プログラム呼出し部により呼び出される外部プログラムの例を示す図である。 図３は、外部連携プログラム呼出し部の構成を示す図である。 図４は、アノテーション装置の動作を説明するための図である。 図５Ａは、アノテーションメッセージがクリックされる様子を示す図である。 図５Ｂは、クリックにより、高機能エディタのダイアログ画面が開いた様子を示す図である。 図６は、アノテーションからの呼出しにより、音声が再生される様子を示す図である。 図７は、アノテーションプログラムによる情報処理がコンピュータを用いて具体的に実現されることを示す図である。
以下に、本願の開示するアノテーション装置、アノテーション方法、及びアノテーションプログラムの実施例を、図面を参照しながら詳細に説明する。なお、以下の実施例により本願の開示するアノテーション装置、アノテーション方法、及びアノテーションプログラムが限定されるものではない。
まず、本願の開示する一実施例に係るアノテーション装置の構成を説明する。図１は、アノテーション装置１の構成を示す図である。図１に示す様に、アノテーション装置１は、アノテーション外部連携システム１０とアプリケーションプログラム２０と外部プログラム３０とＯＳ（Operating System）４０と入力デバイス５０とディスプレイ６０とを有する。これら各構成部分は、一方向又は双方向に、信号やデータの入出力が可能な様に接続されている。
アノテーション外部連携システム１０は、ＯＳ４０上で動作し、アノテーション外部連携プログラム１１と記憶装置１２とを有する。更に、アノテーション外部連携プログラム１１は、外部連携プログラム呼出し部１１ａと、操作制御部１１ｂと、アノテーション表示制御部１１ｃと、画面状態取得監視部１１ｄとを有する。記憶装置１２は、外部連携スクリプトＤＢ（Data Base）１２ａと、アノテーションＤＢ１２ｂと、ログＤＢ１２ｃとを有する。
外部連携プログラム呼出し部１１ａは、ＯＳ４０上で動作する外部プログラム３０を制御すると共に、ユーザの登録した外部連携スクリプトＤＢ１２ａを参照して、ターゲットのアプリケーションプログラム２０に、様々な外部プログラム３０を実行させる。例えば、外部連携プログラム呼出し部１１ａは、外部プログラム３０に対し、外部プログラム３０を動作させるためのＡＰＩのｃａｌｌ、ＣＬＩ（Command Line Interface）からのコマンドメッセージの送付、ＯＳ標準搭載のクリップボードを利用したテキストの送信等を行う。あるいは、外部連携プログラム呼出し部１１ａは、外部プログラム３０に対し、ブラウザの起動や音声ファイルの再生のためのプログラムの実行指示、オフィスドキュメントへのＣＯＭメッセージの送付、ＶＢ（Visual Basic） Ｓｃｒｉｐｔ等のプログラムスクリプトの実行指示等を行う。
操作制御部１１ｂは、アプリケーションプログラム２０から、アノテーションを編集するためのコンテンツ（例えば、画像データ、ＧＵＩツリー、ＨＴＭＬのタグ情報やＤＯＭ情報等）を取得する。同様に、アノテーション表示制御部１１ｃは、アプリケーションプログラム２０から、アノテーションを表示させるためのコンテンツを取得する。画面状態取得監視部１１ｄは、複数のウィンドウの中からアクティブウィンドウを特定する。画面状態取得監視部１１ｄは、アプリケーションプログラム２０におけるウィンドウ情報をポーリング方式により取得し、アノテーションＤＢ１２ｂ及びログＤＢ１２ｃ内に保持されているアノテーションの切替えを行う。
アプリケーションプログラム２０は、ＯＳ４０上で動作し、操作制御部１１ｂとアノテーション表示制御部１１ｃとに対し、アノテーションを編集及び表示させるためのコンテンツを提供する。外部プログラム３０は、ＯＳ４０上で動作し、アノテーションに対するアクションを契機として、外部連携プログラム呼出し部１１ａにより呼び出される。
図２は、外部連携プログラム呼出し部１１ａにより呼び出される外部プログラム３０の例を示す図である。図２に示す様に、外部プログラム３０は、例えば、メモ帳３１ａ、高機能エディタ３２ａ等のテキストエディタ３０ａである。テキストエディタ３０ａは、例えば、アノテーション表示テキストのコピーペーストや編集に使用される。また、外部プログラム３０は、例えば、ＯＳ標準ブラウザ３１ｂ、ＯＳ非標準ブラウザ３２ｂ等のブラウザ３０ｂである。ブラウザ３０ｂの呼出しは、例えば、Ｗｅｂコンテンツの参照、アノテーションターゲットアプリケーションのマニュアル、アノテーションターゲットアプリケーション操作後に操作すべきＷｅｂ系業務システムへの操作等を可能とする。
外部プログラム３０は、例えば、Ｗｉｎｄｏｗｓ（登録商標）ＯＳのイベントによる自動操作プログラム３１ｃ、アノテーションターゲットアプリケーション固有のイベントによる自動操作プログラム３２ｃ等の自動操作プログラム３０ｃである。自動操作プログラム３０ｃは、例えば、ユーザがアノテーションを参照してクリック等のアクションを与えた場合に、該アクションを自動操作のトリガーとするワンストップオペレーションの実現等に使用される。ワンストップオペレーションとは、一度の手続きで、必要とする関連作業をすべて完了させられるワンストップサービスの概念をオペレーションの業務領域に当てはめた概念であり、一度の操作でまとまったオペレーション作業を実行する概念である。オペレーション業務とは、例えばサービス事業者の場合、近年ではネットワーク・クラウド・アプリケーションを運営・保守する業務などが代表的であるが、その他の事業者における様々な業務に関する広い意味でのオペレーションを含んでいる。また、外部プログラム３０は、例えば、ＯＳ標準の音声再生プログラム３１ｄ、ＯＳ非標準の音声再生プログラム３２ｄ等の音声ファイル再生プログラム３０ｄである。音声ファイル再生プログラム３０ｄは、例えば、ユーザがアノテーションを参照してクリック等のアクションを与えた場合に、該アクションをトリガーとする音声の再生等に使用される。ユーザは、音声を聞くことで、アノテーションターゲットアプリケーションの使い方や業務の進め方を理解することができる。
外部プログラム３０は、例えば、ＣＯＭオブジェクト呼出しプログラム３１ｅ、．Ｎｅｔオブジェクト呼出しプログラム３２ｅ等のＣＯＭ、．Ｎｅｔアプリケーション、オフィスドキュメント呼出しプログラム３０ｅである。ＣＯＭ、．Ｎｅｔアプリケーション、オフィスドキュメント呼出しプログラム３０ｅは、例えば、ユーザがアノテーションを参照してクリック等のアクションを与えた場合に、該アクションをトリガーとするオフィスドキュメントやＷｉｎｄｏｗｓ（登録商標）アプリケーションの起動等に使用される。ユーザは、アノテーションに関連付けて、参照ドキュメントやＷｉｎｄｏｗｓアプリケーションを、事前に登録しておくことで、アノテーションターゲットアプリケーションの使用中に、容易に参照することができる。また、外部プログラム３０は、例えば、ＶＢＳｃｒｉｐｔ３１ｆ、Ｐｙｔｈｏｎ Ｓｃｒｉｐｔ３２ｆ、その他の呼出しプログラム３３ｆ等のその他の呼出しプログラム３０ｆである。その他の呼出しプログラム３０ｆは、例えば、アノテーションをトリガーとして実行される。
ＯＳ４０は、コンピュータとしてのアノテーション装置１全体を管理及び制御し、ユーザに操作環境を提供する。入力デバイス５０は、例えば、キーボード、マウス、タッチパネルにより構成され、ユーザによる操作入力を信号に変換して、ＯＳ４０経由で、アノテーション外部連携システム１０、アプリケーションプログラム２０、外部プログラム３０の各部に出力する。ディスプレイ６０は、例えば、ＬＣＤ（Liquid Crystal Display）、ＥＬＤ（Electro Luminescence Display）により構成され、アノテーション外部連携システム１０、アプリケーションプログラム２０、外部プログラム３０の各部からＯＳ４０経由で入力されるデータを表示する。
図３は、外部連携プログラム呼出し部１１ａの構成を示す図である。図３に示す様に、アノテーションに対するアクションがあると、トリガーが、メッセージ読込み部１１１ａのトリガー受付け部１１１ａ−１または外部プログラム起動部１１２ａのアプリケーション識別部１１２ａ−１を呼び出す。なお、アノテーションに対するアクションは、例えば、ユーザによる任意のアノテーションメッセージのクリックまたはダブルクリック、ユーザによる任意のアノテーションアイコンのクリックまたはダブルクリックである。また、アノテーションに対するアクションは、ユーザによる任意のアノテーションメッセージのマウスオーバ、ユーザによる任意のアノテーションアイコンのマウスオーバであってもよい。
トリガー受付け部１１１ａ−１は、上記トリガーを受けると、アノテーションメッセージ取得部１１１ａ−２と外部連携スクリプト取得部１１１ａ−３とに対し、アプリケーション識別部１１２ａ−１へのアノテーションメッセージの出力を指示する。アプリケーション識別部１１２ａ−１は、上記アノテーションメッセージの入力を契機として、外部プログラム３０を実行する。これに対し、上記トリガーから直接、外部プログラム起動部１１２ａが呼び出された場合には、アプリケーション識別部１１２ａ−１は、上記アノテーションメッセージを介さずに、外部プログラム３０を実行する。
また、アプリケーション識別部１１２ａ−１は、テキストデータをクリップボード保存部１１３ａに保存させる。アプリケーション識別部１１２ａ−１は、クリップボード保存部１１３ａに保存されたテキストデータから、外部プログラム３０を実行し、ＯＳ標準搭載のクリップボードを利用したテキストの送信等を行う。
なお、外部プログラム起動部１１２ａは、上記アノテーションメッセージの内容、ＨＴＴＰ（Hyper Text Transfer Protocol）やＦＴＰ（File Transfer Protocol）等のプロトコル、ファイル拡張子に基づき、アノテーションメッセージから起動すべき外部プログラム３０を識別する。また、外部プログラム起動部１１２ａは、予め登録された複数の外部プログラム３０の中から呼出し候補を選択し、該呼出し候補の中から、上記識別結果に該当する外部プログラム３０のみを選択して起動するものとしてもよい。
一方、外部連携スクリプト取得部１１１ａ−３は、トリガー受付け部１１１ａ−１やアノテーションメッセージ取得部１１１ａ−２から入力されるメッセージやアクションをトリガーとして、ＵＲＬ（Uniform Resource Locator）からＷｅｂサイトを呼び出す。また、外部連携スクリプト取得部１１１ａ−３は、音声ファイル、オフィスドキュメントファイル、実行ファイル等の各種ファイルのファイルパスから、各ファイルを起動させる。
次に、動作を説明する。
図４は、アノテーション装置１の動作を説明するための図である。図４に示す様に、外部連携プログラム呼出し部１１ａは、テキストエディタＴ１、Ｔ２、及びブラウザＴ３により、アノテーションメッセージＭ１の表示内容を、テキストファイルＴ４やクリップボードに保持したまま、外部プログラム（例えば、メモ帳３１ａ、高機能エディタ３２ａ、ブラウザ３０ｂ）を呼び出す。例えば、外部連携プログラム呼出し部１１ａは、アノテーションメッセージＭ１をテキストエディタＴ１、Ｔ２に複製及び表示することで、アノテーションメッセージＭ１のコピー＆ペースト操作やハイパーリンクの表示を可能とする。
ここで、テキストエディタＴ１、Ｔ２、及びブラウザＴ３は、文字列をテキストとして表示するが、“http://”の文字列が含まれる場合には自動的にそのＵＲＬの先にあるＷｅｂページ等のＷｅｂコンテンツにアクセスし表示する機能を実装する。また、“http://”、“\\c:\aaa”等の文字列を複数含む場合、その部分をリンクとして解釈して表示する機能を実装する。これら何れの外部プログラムで何れの表示形態をとるかは、ｃｏｎｆ設定、すなわち設定ファイルやレジストリ等の設定手段によって、あらかじめ指定することができる。
ユーザがマウスポインタＰでバルーンＢをクリックすると、アノテーション装置１のトリガー受付け部１１１ａ−１がトリガーを受け付け、アノテーションメッセージ取得部１１１ａ−２は、アノテーションメッセージＭ１を全て選択及びコピーする。その後、アノテーションメッセージ取得部１１１ａ−２は、アノテーションメッセージＭ１の文字列を、テキストファイルまたはＯＳ標準搭載のクリップボードにペーストして保存する。
外部プログラム起動部１１２ａは、予め指定された外部プログラム３０を起動し、外部プログラム３０に対し、アノテーションメッセージＭ１の全部または一部をペーストする。外部プログラム３０起動後におけるアプリケーション識別部１１２ａ−１の動作は、外部プログラム３０に準拠する。
図５Ａは、アノテーションメッセージＭ１がクリックされる様子を示す図である。図５Ａに示す様に、ユーザがマウスポインタＰでバルーンＢをクリックすると、高機能エディタ３２ａのダイアログ画面が開かれる。図５Ｂは、クリックにより、高機能エディタ３２ａのダイアログ画面が開いた様子を示す図である。図５Ｂでは、ユーザは、ダイアログ画面に表示された文字列に対する操作が可能である。図５Ｂに示す様に、高機能エディタ３２ａのダイアログ画面が表示された場合には、ユーザは、コピー操作の他に、ＵＲＬリンクからブラウザを開く、あるいは、Winパス“\\129.60.73.40\share”をオープンするといった操作を行うことができる。
なお、図５Ａ及び図５Ｂでは、１つのダイアログ画面のみが表示される例を示しているが、複数のダイアログ画面が並列に表示されるものとしてもよい。すなわち、ユーザがマウスポインタＰでバルーンＢをクリックすると、高機能エディタ３２ａのダイアログ画面に加えて、メモ帳３１ａ、ブラウザ３０ｂの各外部プログラム３０のダイアログ画面が開かれるものとしてもよい。例えば、メモ帳３１ａのダイアログ画面が表示された場合には、ユーザは、文字列を選択してコピー操作を行うことができる。また、ブラウザ３０ｂのダイアログ画面が表示された場合には、ユーザは、ワンアクションでＷｅｂサイトを開くといった操作を行うことができる。
図６は、アノテーションからの呼出しにより、音声が再生される様子を示す図である。アノテーション装置１は、デスクトップ環境で業務システム上に表示されたアノテーションオブジェクト（メッセージまたはアイコン）のクリックを契機として、アノテーション外部連携プログラム１１により、音声モジュールＤＢ１２ｄ内に格納された音声ファイルを呼び出し、音声を再生する。なお、上記クリックは、ダブルクリック、マウスオーバ等であってもよい。
図６では、モデル対応音声を再生するためのアノテーションアイコンＳ１ａ、Ｓ２ａ、Ｓ３ａと、顧客対応音声を再生するためのアノテーションアイコンＳ１ｂ、Ｓ２ｂ、Ｓ３ｂとが、対応付けて表示されている。この様に、アノテーションの作成者が、音声の種類に応じて、アノテーションのアイコンを個別に設定することにより、ユーザは、音声コンテンツの再生前に、再生される音声の相違を明確かつ簡易に把握することができる。図６では、アノテーションアイコンＳ１ａ、Ｓ２ａ、Ｓ３ａ、及びアノテーションアイコンＳ１ｂ、Ｓ２ｂ、Ｓ３ｂは、同一の表示形態により表示されるものとしたが、重要度や連携先の機能に応じて、サイズ、色、形状、位置、模様等が異なって表示されるものとしてもよい。例えば、より重要度の高いアノテーションアイコン程、大きいサイズで表示される、あるいは、赤色等の目立つ色により表示されるものとしてもよい。
以上説明した様に、アノテーション装置１は、アノテーションＤＢ１２ｂと画面状態取得監視部１１ｄと外部連携プログラム呼出し部１１ａとを有する。アノテーションＤＢ１２ｂは、アノテーションオブジェクト（例えば、アノテーションメッセージＭ１、アノテーションアイコンＭ２）と、該アノテーションオブジェクトのウィンドウ毎のアノテーションルール（例えば、表示制御方法、表示形態）とを対応付けて格納する。画面状態取得監視部１１ｄは、複数の上記ウィンドウの中からアクティブウィンドウを監視及び特定する。外部連携プログラム呼出し部１１ａは、画面状態取得監視部１１ｄにより特定されたアクティブウィンドウに対応するアノテーションルールがアノテーションＤＢ１２ｂに存在し、かつ、上記アノテーションルールに対応する上記アノテーションオブジェクトが選択された場合に、上記アノテーションルールに従い、外部プログラム３０を呼び出す。
アノテーション装置１において、外部連携プログラム呼出し部１１ａは、外部プログラム３０の起動時に、外部プログラム３０（例えば、図５Ｂに示した高機能エディタ３２ａ）に対し、上記アノテーションオブジェクトとして、図５Ａに示したアノテーションメッセージＭ１を出力するものとしてもよい。また、アノテーション装置１において、外部連携プログラム呼出し部１１ａは、アノテーションメッセージＭ１の解析結果（例えば、ＵＲＬ、ファイル拡張子、プロトコル）を用いて、アノテーションメッセージＭ１を処理する外部プログラムを識別するものとしてもよい。また、外部連携プログラム呼出し部１１ａは、アノテーションメッセージＭ１の表示されたプログラム（例えば、アノテーションターゲットアプリケーションとしてのアプリケーションプログラム２０）を識別し、これとｃｏｎｆ設定の指定内容に基づいて外部プログラムを識別するものとしてもよい。更に、外部連携プログラム呼出し部１１ａは、メッセージの解析結果とアノテーションターゲットアプリケーションの識別結果との組み合わせにより、外部プログラムを識別するものとしてもよい。外部連携プログラム呼出し部１１ａは、該識別の結果に基づき、外部プログラム３０を呼び出すものとしてもよい。
すなわち、アノテーション装置１は、アノテーション外部連携システム１０を、アプリケーションプログラム２０（アノテーションターゲットアプリケーション）と他の外部プログラム３０とのインタフェースとして機能させる。アノテーション装置１によれば、アノテーションから多様な外部プログラム３０を起動することができるため、音声による知識の共有、Ｗｅｂブラウザやドキュメントを介したマニュアル等の表示、メッセージのコピー＆ペーストによる業務システムへの情報入力の簡易化等が可能となる。従って、アノテーション装置１は、既存の業務システムを起点とした、業務プロセスのコンテキストに則した形態での業務知識の提供を実現することができる。その結果、例えば、オペレーションセンタやコールセンタ、または全社員が利用する基幹業務システムにおいて、知識の獲得等にかかる労力や時間を低減することが可能となる。更に、アノテーション装置１は、アノテーションオブジェクトを起点として自動スクリプトを実行することで、業務プロセスの効率化を図ることができる。これにより、一般ユーザは元より、業務作業中のオペレータに対する高度な支援が可能となる。
（アノテーションプログラム）
図７は、アノテーションプログラムによる情報処理がコンピュータ１００を用いて具体的に実現されることを示す図である。図７に示す様に、コンピュータ１００は、例えば、メモリ１０１と、ＣＰＵ（Central Processing Unit）１０２と、ハードディスクドライブインタフェース１０３と、ディスクドライブインタフェース１０４と、シリアルポートインタフェース１０５と、ビデオアダプタ１０６と、ネットワークインタフェース１０７とを有し、これらの各部はバスＣによって接続される。
メモリ１０１は、図７に示す様に、ＲＯＭ（Read Only Memory）１０１ａ及びＲＡＭ（Random Access Memory）１０１ｂを含む。ＲＯＭ１０１ａは、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３は、図７に示す様に、ハードディスクドライブ１０８に接続される。ディスクドライブインタフェース１０４は、図７に示す様に、ディスクドライブ１０９に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１０９に挿入される。シリアルポートインタフェース１０５は、図７に示す様に、例えばマウス１１０、キーボード１１１に接続される。ビデオアダプタ１０６は、図７に示す様に、例えばディスプレイ１１２に接続される。
ここで、図７に示す様に、ハードディスクドライブ１０８は、例えば、ＯＳ（Operating System）１０８ａ、アプリケーションプログラム１０８ｂ、プログラムモジュール１０８ｃ、プログラムデータ１０８ｄ、外部連携スクリプト、アノテーションオブジェクト、ログ情報、音声モジュールを記憶する。すなわち、開示の技術に係るアノテーションプログラムは、コンピュータ１００によって実行される指令が記述されたプログラムモジュール１０８ｃとして、例えばハードディスクドライブ１０８に記憶される。具体的には、上記実施例で説明した外部連携プログラム呼出し部１１ａ、操作制御部１１ｂ、アノテーション表示制御部１１ｃ、画面状態取得監視部１１ｄの各々と同様の情報処理を実行する各種手順が記述されたプログラムモジュール１０８ｃが、ハードディスクドライブ１０８に記憶される。また、アノテーションプログラムによる情報処理に用いられるデータは、プログラムデータ１０８ｄとして、例えばハードディスクドライブ１０８に記憶される。そして、ＣＰＵ１０２が、ハードディスクドライブ１０８に記憶されたプログラムモジュール１０８ｃやプログラムデータ１０８ｄを必要に応じてＲＡＭ１０１ｂに読み出し、上記各種手順を実行する。
なお、アノテーションプログラムに係るプログラムモジュール１０８ｃやプログラムデータ１０８ｄは、ハードディスクドライブ１０８に記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１０９等を介してＣＰＵ１０２によって読み出されてもよい。あるいは、アノテーションプログラムに係るプログラムモジュール１０８ｃやプログラムデータ１０８ｄは、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７を介してＣＰＵ１０２によって読み出されてもよい。
なお、上記実施例では、図５Ａに例示した様に、アプリケーションプログラム２０に表示されるアノテーションオブジェクトは、アノテーションメッセージＭ１とアノテーションアイコンＭ２とが各々１つずつとしたが、少なくとも一方のアノテーションオブジェクトが複数あってもよい。また、各アノテーションオブジェクトの表示形態（例えば、位置、形状、サイズ、色、模様等）についても、図５Ａに示した表示形態に限られない。
また、上述したアノテーション装置１の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的態様は、図示のものに限らず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することもできる。例えば、操作制御部１１ｂとアノテーション表示制御部１１ｃを１つの構成要素として統合してもよい。反対に、外部連携プログラム呼出し部１１ａに関し、外部プログラム３０を呼び出す部分と、外部プログラム３０に対しアノテーションメッセージＭ１を出力する部分とに分散してもよい。更に、ハードディスクドライブ１０８を、アノテーション装置１の外部装置として、ネットワークやケーブル経由で接続する様にしてもよい。
１ アノテーション装置
１０ アノテーション外部連携システム
１１ アノテーション外部連携プログラム
１１ａ 外部連携プログラム呼出し部
１１ｂ 操作制御部
１１ｃ アノテーション表示制御部
１１ｄ 画面状態取得監視部
１２ 記憶装置
１２ａ 外部連携スクリプトＤＢ
１２ｂ アノテーションＤＢ
１２ｃ ログＤＢ
１２ｄ 音声モジュールＤＢ
２０ アプリケーションプログラム
３０ 外部プログラム
３０ａ テキストエディタ
３０ｂ ブラウザ
３０ｃ 自動操作プログラム
３０ｄ 音声ファイル再生プログラム
３０ｅ ＣＯＭ、．Ｎｅｔアプリケーション、オフィスドキュメント呼出しプログラム
３０ｆ その他の呼出しプログラム
４０ ＯＳ
５０ 入力デバイス
６０ ディスプレイ
１００ コンピュータ
１０１ メモリ
１０１ａ ＲＯＭ
１０１ｂ ＲＡＭ
１０２ ＣＰＵ
１０３ ハードディスクドライブインタフェース
１０４ ディスクドライブインタフェース
１０５ シリアルポートインタフェース
１０６ ビデオアダプタ
１０７ ネットワークインタフェース
１０８ ハードディスクドライブ
１０８ａ ＯＳ
１０８ｂ アプリケーションプログラム
１０８ｃ プログラムモジュール
１０８ｄ プログラムデータ
１０９ ディスクドライブ
１１０ マウス
１１１ キーボード
１１１ａ メッセージ読込み部
１１１ａ−１ トリガー受付け部
１１１ａ−２ アノテーションメッセージ取得部
１１１ａ−３ 外部連携スクリプト取得部
１１２ ディスプレイ
１１２ａ 外部プログラム起動部
１１２ａ−１ アプリケーション識別部
１１３ａ クリップボード保存部
Ｂ バルーン
Ｃ バス
Ｍ１ アノテーションメッセージ
Ｍ２、Ｓ１ａ、Ｓ１ｂ、Ｓ２ａ、Ｓ２ｂ、Ｓ３ａ、Ｓ３ｂ アノテーションアイコン
Ｐ マウスポインタ
Ｔ１、Ｔ２ テキストエディタ
Ｔ３ ブラウザ
Ｔ４ テキストファイル

Claims (5)

  1. アノテーションオブジェクトと、該アノテーションオブジェクトのウィンドウ毎のアノテーションルールとを対応付けて格納する格納部と、
    複数の前記ウィンドウの中からアクティブウィンドウを特定する特定部と、
    前記特定部により特定されたアクティブウィンドウに対応するアノテーションルールが前記格納部に存在し、かつ、前記アノテーションオブジェクトが選択された場合に、アノテーションメッセージの内容、プロトコルおよびファイル拡張子を解析するとともに、前記アノテーションメッセージが表示されたプログラムであるアノテーションターゲットアプリケーションを識別し、該解析の結果と該識別の結果との組み合わせに基づき、前記アノテーションメッセージから起動すべき外部プログラムを識別し、該識別の結果に基づき、外部プログラムを呼び出す呼出し部と
    を有することを特徴とするアノテーション装置。
  2. 前記呼出し部は、前記外部プログラムの起動時に、該外部プログラムに対し、前記アノテーションオブジェクトとして、アノテーションメッセージを出力することを特徴とする請求項１に記載のアノテーション装置。
  3. 前記呼出し部は、前記外部プログラムとしてアプリケーションプログラムに対する自動操作プログラムを呼び出し、アノテーションに関連付けられたスクリプトを前記自動操作プログラムに実行させることにより、アノテーションに対するユーザのアクションを自動操作のトリガーとするワンストップオペレーションを実現することを特徴とする請求項１に記載のアノテーション装置。
  4. アノテーション装置で実行されるアノテーション方法であって、
    アノテーションオブジェクトと、該アノテーションオブジェクトのウィンドウ毎のアノテーションルールとを対応付けて、格納部に格納させる格納工程と、
    複数の前記ウィンドウの中からアクティブウィンドウを特定する特定工程と、
    前記特定工程にて特定されたアクティブウィンドウに対応するアノテーションルールが前記格納部に存在し、かつ、前記アノテーションオブジェクトが選択された場合に、アノテーションメッセージの内容、プロトコルおよびファイル拡張子を解析するとともに、前記アノテーションメッセージが表示されたプログラムであるアノテーションターゲットアプリケーションを識別し、該解析の結果と該識別の結果との組み合わせに基づき、前記アノテーションメッセージから起動すべき外部プログラムを識別し、該識別の結果に基づき、外部プログラムを呼び出す呼出し工程と
    を含むことを特徴とするアノテーション方法。
  5. アノテーションオブジェクトと、該アノテーションオブジェクトのウィンドウ毎のアノテーションルールとを対応付けて、格納部に格納させる格納ステップと、
    複数の前記ウィンドウの中からアクティブウィンドウを特定する特定ステップと、
    前記特定ステップにて特定されたアクティブウィンドウに対応するアノテーションルールが前記格納部に存在し、かつ、前記アノテーションオブジェクトが選択された場合に、アノテーションメッセージの内容、プロトコルおよびファイル拡張子を解析するとともに、前記アノテーションメッセージが表示されたプログラムであるアノテーションターゲットアプリケーションを識別し、該解析の結果と該識別の結果との組み合わせに基づき、前記アノテーションメッセージから起動すべき外部プログラムを識別し、該識別の結果に基づき、外部プログラムを呼び出す呼出しステップと
    をコンピュータに実行させるためのアノテーションプログラム。
JP2016547412A 2014-09-08 2015-09-03 アノテーション装置、アノテーション方法、及びアノテーションプログラム Active JP6360179B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014182556 2014-09-08
JP2014182556 2014-09-08
PCT/JP2015/075115 WO2016039254A1 (ja) 2014-09-08 2015-09-03 アノテーション装置、アノテーション方法、及びアノテーションプログラム

Publications (2)

Publication Number Publication Date
JPWO2016039254A1 JPWO2016039254A1 (ja) 2017-04-27
JP6360179B2 true JP6360179B2 (ja) 2018-07-18

Family

ID=55459002

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016547412A Active JP6360179B2 (ja) 2014-09-08 2015-09-03 アノテーション装置、アノテーション方法、及びアノテーションプログラム

Country Status (3)

Country Link
US (1) US10402242B2 (ja)
JP (1) JP6360179B2 (ja)
WO (1) WO2016039254A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
WO2019241075A1 (en) * 2018-06-13 2019-12-19 Realwear Inc. Customizing user interfaces of binary applications

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002304314A (ja) 2001-04-06 2002-10-18 Nec Corp アプリケーションデータファイル参照方式
WO2003001413A1 (en) * 2001-06-22 2003-01-03 Nosa Omoigui System and method for knowledge retrieval, management, delivery and presentation
US20040189713A1 (en) * 2001-10-31 2004-09-30 Metacyber.Net Computer-based user interface for a memory-resident rapid comprehension document for original source information
JP4517750B2 (ja) * 2004-06-30 2010-08-04 富士ゼロックス株式会社 文書処理システム
WO2008099456A1 (ja) * 2007-02-09 2008-08-21 Mitsubishi Electric Corporation アプリケーション実行端末
JP5317558B2 (ja) * 2008-07-07 2013-10-16 株式会社東芝 医用情報作成装置
JP5267342B2 (ja) 2009-06-08 2013-08-21 富士通株式会社 マッシュアッププログラム、マッシュアップ装置及びマッシュアップ方法
US20110258216A1 (en) * 2010-04-20 2011-10-20 International Business Machines Corporation Usability enhancements for bookmarks of browsers
US9704115B2 (en) * 2010-06-03 2017-07-11 International Business Machines Corporation Automating workflow participation
JP5853458B2 (ja) * 2011-07-21 2016-02-09 ソニー株式会社 マーク情報記録装置及びマーク情報提示装置
JP5749611B2 (ja) 2011-09-14 2015-07-15 富士通株式会社 アノテーションの表示制御システム、アノテーションの表示制御プログラムおよびアノテーションの表示制御方法
US20140032733A1 (en) * 2011-10-11 2014-01-30 Citrix Systems, Inc. Policy-Based Application Management
US9542064B2 (en) * 2012-06-04 2017-01-10 Schlumberger Technology Corporation Information pinning for contexual and task status awareness
WO2014002812A1 (ja) 2012-06-29 2014-01-03 日本電信電話株式会社 端末装置及びアノテーション方法並びにコンピュータシステム及びコンピュータプログラム
US8869174B2 (en) * 2012-12-05 2014-10-21 Mckesson Financial Holdings Method and apparatus for providing context aware logging

Also Published As

Publication number Publication date
WO2016039254A1 (ja) 2016-03-17
US10402242B2 (en) 2019-09-03
US20170277579A1 (en) 2017-09-28
JPWO2016039254A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
JP5928743B2 (ja) アプリケーションにおいてユーザ・インターフェース要素を示す方法
JP5153423B2 (ja) コンピュータにより実行される方法、システム及びコンピュータ読み取り可能な記録媒体（能動的にスクロールしているビュー・ペイン内に機能コンテキストを与える方法）
US9858129B2 (en) Dynamic copy content retrieval
CN102841789B (zh) 一种对浏览器中的用户操作进行录制和回放的方法和装置
US9075918B1 (en) System and method for creating change-resilient scripts
JP4270391B2 (ja) マルチメディア・ファイルのツールチップ
JP7384260B2 (ja) 情報処理装置及びプログラム
US20080270919A1 (en) Context Based Software Layer
JP2007257642A (ja) 関連するユーザ・インターフェース・コントロールを強調表示するための装置、方法、およびシステム（関連するユーザ・インターフェース・コントロールを強調表示するための装置および方法）
KR20090035499A (ko) 아이콘 데이터 처리 시스템, 확장가능 아이콘 관리 방법 및컴퓨터 판독가능 저장 매체
US9495410B1 (en) File creation through virtual containers
US10656812B2 (en) Controlling an application instance using a graphical user interface
US20160283083A1 (en) Intelligent interactive screen capture
CN107766499A (zh) 一种页面跳转方法、装置、设备和存储介质
US10437779B2 (en) Intelligent interactive screen capture
US20160170592A1 (en) Transitioning browser tabs from one environment context to another
US20080244398A1 (en) Direct Preview of Wizards, Dialogs, and Secondary Dialogs
US20080301661A1 (en) Indication of new features in a software user interface
JP6360179B2 (ja) アノテーション装置、アノテーション方法、及びアノテーションプログラム
US20140075304A1 (en) Annotation of user interface documents according to related documentation
US20110179375A1 (en) Popping and Ghosting Tabs from Tabbed Groups in Graphical User Interfaces
US20120173984A1 (en) Context-addressed tabs for presentation applications
KR102468164B1 (ko) 계층화된 콘텐츠 선택
CN105739717B (zh) 信息输入方法和装置
US20090089673A1 (en) System and Method for Persisting Hover Help

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180621

R150 Certificate of patent or registration of utility model

Ref document number: 6360179

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350