JPH0520002A - メタフア環境制御方式 - Google Patents

メタフア環境制御方式

Info

Publication number
JPH0520002A
JPH0520002A JP3176536A JP17653691A JPH0520002A JP H0520002 A JPH0520002 A JP H0520002A JP 3176536 A JP3176536 A JP 3176536A JP 17653691 A JP17653691 A JP 17653691A JP H0520002 A JPH0520002 A JP H0520002A
Authority
JP
Japan
Prior art keywords
metaphor
user
model
display
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP3176536A
Other languages
English (en)
Other versions
JPH07113881B2 (ja
Inventor
Yoshio Asahi
宣雄 朝日
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PERSONAL JOHO KANKYO KYOKAI
Original Assignee
PERSONAL JOHO KANKYO KYOKAI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PERSONAL JOHO KANKYO KYOKAI filed Critical PERSONAL JOHO KANKYO KYOKAI
Priority to JP3176536A priority Critical patent/JPH07113881B2/ja
Priority to EP92402065A priority patent/EP0524103B1/en
Priority to DE69232107T priority patent/DE69232107T2/de
Publication of JPH0520002A publication Critical patent/JPH0520002A/ja
Publication of JPH07113881B2 publication Critical patent/JPH07113881B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Digital Computer Display Output (AREA)
  • Stored Programmes (AREA)

Abstract

(57)【要約】 (修正有) 【目的】 設計者の主観によらないユーザ手動の操作を
可能とし、操作文法をユーザ毎に容易にカスタマイズで
きるようにする。 【構成】 利用者の操作情報を格納する操作モデル4
と、操作対象である複数のメタファの内部状態を格納す
る世界モデル7と、複数のメタファの表示状態を格納す
る表示モデル9と、操作モデル4及び表示モデル9の変
化に応じてメタファの表示を適宜変更する操作/表示制
御部1、2と、その変更をきっかけに世界モデル7及び
表示モデル9の適切な部分の書き換えを行う操作モデル
ー世界モデル変換ルール5と、1つの世界モデル7によ
って複数のルールが起動要求されることを許す因果ルー
ル8と、複数の因果ルール8が起動された場合にそのう
ちの1つの選択を行う競合解消部11とを備える。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、計算機の任意の応用プ
ログラムのヒューマンインタフェースのうち、応用プロ
グラムの様々な機能を表象する複数のメタファを表示
し、利用者の操作にしたがって適切な機能を提示するメ
タファ環境制御方式に関する。
【0002】
【従来の技術】計算機システムのヒューマンインタフェ
ースでは、ユーザにとって理解しやすいシステムイメー
ジの構築が重要である。近年、このシステムイメージの
構築におけるメタファの有効性が多く指摘され、メタフ
ァの実現が試みられている。
【0003】しかし、一般にメタファインタフェースに
対する次のような問題点も指摘されている。
【0004】 アプリケーションが提供する機能群と
メタファのマッピングが不完全にしか行われない。
【0005】 単一のメタファでは、多くの機能をカ
バーできない。
【0006】 設計者が適切と思うメタファがユーザ
にとっては不適切と感じられることがある。
【0007】 新しい機能は、既知のメタファだけで
は表現できない。
【0008】このようなメタファインタフェースにおけ
る問題が生じる主たる原因として、従来のメタファイン
タフェースが人間のメタファ理解の機構を考慮に入れな
いまま実現されているからであると考えられる。
【0009】一般に、人間のメタファ理解の機構は、G
entnerの構造マッピング理論に代表されるように、構造
的にモデリングされた認知対象の部分マッピングでモデ
ル化される。
【0010】メタファインタフェースの場合、この部分
マッピングは、アプリケーションが提供するタスクドメ
インとメタファインタフェースとして表示するオブジェ
クト間のマッピングである。このマッピングを行う主体
として、設計者とユーザの2つが存在し、両者のマッピ
ングする部分が食い違うとき、上記のような問題が生じ
ると考えられる。
【0011】本出願人は、テレビジョンメタファ環境に
よりテレビのニュース番組を見ているような感覚で情報
の提示を受ける装置を提案した(特願平2ー15472
4号、特願平2ー154725号)。その構成概要を示
したのが図5である。
【0012】テレビジョンメタファ環境の情報提示装置
は、図5(イ)に示すようにハードウェアをコンピュー
タ(例えばNEC社製パーソナルコンピュータPC98
01RX)21、電子音声発声装置22、マウス23、
モデム24、電話回線25で構成し、この中のソフトウ
ェアを例えばMS−DOS上で動作するスクリプトイン
タプリタと、これに対して指示を与えるスクリプト記述
のファイルで構成したものである。そして、電子音声発
声装置22とディスプレイ26を通してテレビを操作し
ニュース番組を見るという形態でユーザが使用できる環
境を実現している。データとしては、例えばNIFTY
−Serveの「毎日新聞オンラインニュース速報」、
「毎日新聞オンライン地域ニュース」、「全国都市天気
予報」、その他のパソコンネットワークより取り込むこ
とができるデータだけでなく、一般のデータでもよい。
情報提示の画面の例を示したのが同図(ロ)である。
【0013】上記情報提示装置で全体として必要となる
機能は、テレビジョンメタファ環境を構成する部分と通
信機能に大別される。
【0014】テレビジョンメタファは、TVセット、V
TRコントローラ、ニュース番組、番組紹介の4つのメ
タファから構成され、各メタファに対応したスクリプト
を記述する。
【0015】TVセットスクリプト、VTRコントロー
ラスクリプトは、各メタファへの操作に対して、テレビ
受像機および番組がどのような状態変化を起こすかを記
述したものである。例えば電源スイッチや音量ボタン、
チャンネルが押された場合にどのような状態変化を起こ
すか、VTRコントローラの各ボタンが押された場合に
どのような状態変化を起こすか等を記述したものであ
る。ニュース番組スクリプトは、入力したデータをどの
ように加工して提示するか等、ニュース番組の進行と例
えばNIFTY−Serve等のパソコンネットワーク
のデータをニュース番組に構成し提示する規則について
記述したものであり、番組紹介スクリプトは、番組紹介
の構成規則について記述したものである。これらメタフ
ァに関する記述がスクリプトというファイルになってい
て、これをスクリプトインタプリタが読み取って動作す
る。
【0016】通信機能は、スクリプトインタプリタのコ
ミュニケーション機能(RS232Cからの指定したデ
ータ入力をイベントとして扱う機能およびデータを発信
する機能)と例えばNIFTY−Serve等のパソコ
ンネットワークとの通信方法をスクリプトとして記述す
ることで実現する。
【0017】情報提示装置では、同図(ロ)に示すよう
にディスプレイにテレビ受像機31、VTRコントロー
ラ32が常に表示されている。そして、いくつかの例外
を除いて、すべての場面でテレビ受像機31の電源スイ
ッチ33、チャンネルボタン34、音量ボタン35、V
TRコントローラ32の各ボタン(36〜41)が操作
可能であり、これらへの操作を基本操作と呼ぶ。さらに
場面に応じてブラウン管42に表示されたいくつかのメ
タファが操作できる。
【0018】上記のようなテレビジョンメタファ環境を
考えた場合、パッケージ化された情報をブラウジングに
適している新聞形式で表示するように設計することも可
能であり、また、グレージングに適しているテレビ番組
形式で表示するように設計することもできる。このと
き、ユーザの操作を解釈するための規則は設計者に委ね
られているが、複数のユーザ及び様々な利用状況を考慮
すると、その解釈規則を一意に定めることは困難とな
る。例えば、VTRの早送りボタンを押すという操作
は、ユーザが新聞形式の表示を行っているというコンテ
クストでは新聞のページをめくるというアクションを引
き起こすものと理解でき、ユーザがテレビ番組形式で表
示を行っているというコンテクストでは画面の早送りと
いうアクションを引き起こすものと理解できる。さら
に、ユーザが新聞のある記事の写真に着目しているとい
うコンテクストの元で、VTRの再生ボタンが押された
場合には、静止画である写真を動画化するという要求に
相当していると理解できる。また、時計のメタファを用
いて動画像の早送りや巻戻しを行うことも考えられる。
このようにVTRの早送りボタンは、「新聞のページを
めくる」という意味と「テレビの画面早送り」という意
味の複数の意味に対応しており、これを「多義的メタフ
ァ」とよぶ。また、テレビ画面の早送りは、「VTRの
早送りボタン」というメタファと「時計」というメタフ
ァの複数のメタファに対応しており、これを「同義的な
メタファ」とよぶ。多義的および同義的なメタファに内
在する曖昧性は、ユーザのコンテクスト、知識、意図、
嗜好などにあうように解消されなくてはならない。
【0019】そこで、本出願人は、同じ条件、同じイベ
ントから個人の嗜好にあった動作を実現可能にしたメタ
ファ環境制御機構についても提案している(特願平2ー
154260号参照)。
【0020】図6は先の発明に係るメタファ環境制御機
構の1実施例構成を示す図、図7はテレビジョンメタフ
ァ環境の例を示す図、図8はテレビジョンメタファ環境
の集合化階層の構成例を示す図である。
【0021】図6において、ルールベース51ー1〜5
1ーnは、各メタファ毎に状態遷移のルールを書いたも
のであり、ワーキングメモリ54は、各メタファの関係
や状態遷移その他の状態に関する情報を格納しておくも
のである。入出力制御手段53は、ディスプレイ、マウ
ス、音声発声装置との間の入出力を制御するものであ
り、機能呼び出し手段55は、アプリケーションのある
機能の呼び出しを行うものである。ルールベース制御手
段52は、ルールベース51ー1〜51ーnを参照して
ワーキングメモリ54の格納情報の書き替え、機能呼び
出し手段55の制御を行い、入出力制御手段53を制御
してメタファの状態遷移を実現するものである。
【0022】まず、メタファ環境の構成及び制御を説明
すると、1つのメタファは、いくつかの状態を持つ1つ
のプロダクションシステムとして構成し、プロダクショ
ンシステムのルールは、状態、イベントを左辺とし、ア
クションを右辺とする。イベントは、ユーザの操作、他
のメタファからのメッセージ、タイムアウトなどが含ま
れる。アクションには、状態制御、画面制御、機能呼び
出しの3つの種類があり、状態制御はメタファ自身の状
態の変化を起こし、画面制御はメタファの表示の変化を
起こし、機能呼び出しはアプリケーションのある機能の
呼び出しを行う。各メタファは互いに集合化階層を持っ
ており、階層の親をマスター、子をスレーブという。
【0023】例えば図7に示す画面で構成されるテレビ
ジョンメタファ環境は、TVセットメタファ、新聞メタ
ファ、VTRコントローラメタファ等から構成され、ユ
ーザに提示されるオブジェクトには、テレビ受像機、キ
ャスタ、VTRコントロールパネル、新聞、時計などが
含まれる。これらは、図8に示すようなオブジェクトの
集合化階層で構成される。そして、これらのオブジェク
トは、ユーザの好みに応じて組み替えられることは勿論
のこと、ユーザのコンテクストに応じてオブジェクトに
対する操作を解釈し、機能の呼出しを柔軟に行うことが
できる。
【0024】次に、各メタファに関し常識知識のルール
として書かれる情報の例を示す。
【0025】例えばTVセットメタファでは、スレーブ
となるメタファとして、チャンネル、音量ボタン、電源
スイッチ、番組などの各メタファがある。TVセットメ
タファの取り得る状態は、アイコン状態とオープン状態
があり、オープン状態のとき、オン状態とオフ状態、さ
らにオン状態のとき、表示されている番組、チャンネル
番号、音量レベルで表される多次元の状態を持つ。そし
て、書かれるルールは、例えば ユーザがあるチャンネルボタンを指示したという報
告をチャンネル(スレーブ)から受けるとマスターに番
組を問い合わせる マスターからある番組の表示の要求を受けると番組
(スレーブ)へ表示を要求する ユーザが電源を入れたという報告を電源(スレー
ブ)から受けるとデフォルトのチャンネル番号のセット
をチャンネル(スレーブ)に要求する ユーザが電源を入れたという報告を電源(スレー
ブ)から受けるとデフォルトの番組を表示する 等がある。ワーキングメモリは、各メタファのマスタ
ー、スレーブの階層構造を持っている。
【0026】メタファ環境上のユーザの操作はいくつも
の意味に解釈され得る場合が多い。例えば上記の例のよ
うなテレビジョンメタファ環境において、ユーザがアイ
コン化されている新聞メタファをマウスカーソルによっ
てオープンしようとしている場合、ユーザが新聞メタフ
ァのオープンによって何を行おうとしているかというタ
スク意図に関して、次のようないくつかの可能性があ
る。
【0027】(ア)TVセットメタファとは独立に、新
聞によるニュースの検索を行おうとしている場合 (イ)TVセットメタファ上で番組を切り替えるため
に、新聞のテレビ棚を利用しようとしている場合 (ウ)TVセットメタファ上の番組で現在表示している
ニュースに関して新聞メタファの形式で見直そうとして
いる場合 これらの多義性は、ユーザのタスク遂行のコンテクスト
およびユーザ個人の嗜好に基づいて解消されなくてはな
らない。以下に、先の発明の可変CF値および活性化値
に基づく競合解消によって、この多義性を解消する実施
例を示す。
【0028】図9はワーキングメモリの状態の例を示す
図である。
【0029】ワーキングメモリの各メタファのStat
usスロットの領域には、テレビジョンメタファ環境に
活性化値、TVセットメタファに活性化値とアイコン化
とチャンネル、ディスプレイメタファに活性化値と表示
/非表示とニュース名、新聞メタファに活性化値とアイ
コン化と表示面の各情報が設定される。
【0030】先の発明は、ルールベース51ー1〜51
ーnの1つのメタファに書かれている常識知識のルール
に、同じ条件、同じイベントに対して発火するものが複
数存在することを許すようにするものである。例えば新
聞メタファの場合、新聞メタファがオープンされたとき
に表示される紙面では、新聞メタファがスレーブとして
持つ政治欄、経済欄、生活欄、テレビ欄の全てが候補に
なりうる。このとき、各ルールにCF値を設定し、それ
が個人に適用して変化するようなメカニズムを導入する
ことによって、各メタファの動作が個人の嗜好に適応で
きるようにする。このような個人適応は、1つのメタフ
ァ内で発火するルールの優先順位における個人適応であ
るが、ユーザがメタファ環境上でタスクを遂行している
ときには、メタファ間に存在する意味的な関係を積極的
に利用すると考えられる。例えば新聞メタファのオープ
ンの際に現れるべき紙面は、同一のメタファ環境上にあ
るTVセットメタファの状態に影響されてくる。
【0031】このような、メタファ間の関係において生
じる影響は、各メタファに活性化値を導入し、あるメタ
ファの活性化値が他のメタファのルールの競合解消に影
響を及ぼすように作ることによって実現できる。例え
ば、TVセットメタファの電源を入れたばかりの時の新
聞メタファのオープンは、TVセットメタファの活性化
値を高めておいて、その活性化値の情報が、テレビ欄の
表示に関与するルールの選択を促すようにすればよい。
【0032】このとき、ユーザの操作があるメタファの
活性化値に及ぼす影響は、個人によって異なることがあ
り、その度合を適応させることによって個人適応の効果
が得られる。
【0033】上記のように先の発明のメタファ環境制御
機構では、ルールベースに各メタファのルールを書き、
ワーキングメモリに各メタファの状態に関する状態制御
情報を格納してメタファの状態遷移を制御するので、ル
ール、ワーキングメモリに個人の嗜好に応じて設定でき
るCF値や各メタファの活性化値を導入することにより
個人の嗜好にあった動作を実現することができる。
【0034】
【発明が解決しようとする課題】上記のメタファ環境制
御機構では、表示オブジェクトの動きをルールで書き、
その動きに関してユーザのオペレーションによってルー
ルを発火するようにし、それが複数通りある場合には、
活性化値で解消できるようにしている。しかし、競合が
生じた場合にルールの中でどれを選ぶかは、個々のメタ
ファのルール中に書き込んであるので、どれが発火する
かはそのルールについている優先順位で決まってしま
い、ユーザの操作を行っていく内に動的に適応させるこ
とはできない。すなわち、個人差に応じた優先順位を与
えることができないという問題点がある。また、多くの
ユーザは、ある日常的に用いるアプリケーションに関し
てはあるタスクの流れを個人毎にパターン化していく傾
向にあるため、タスクの流れ(タスクコンテクスト)を
陽に利用しない上記の方法では、多義性の解消の精度に
限界があるという問題点もある。
【0035】本発明は、上記の課題を解決するものであ
って、設計者の主観によらないユーザ手動の操作を可能
とし、操作文法をユーザ毎にその操作から自動的にカス
タマイズすることができるメタファ環境制御方式を提供
することを目的とするものである。
【0036】
【課題を解決するための手段】そのために本発明は、計
算機の任意の応用プログラムのヒューマンインタフェー
スのうち、応用プログラムの様々な機能を表象する複数
のメタファを表示し、利用者の操作にしたがって適切な
機能を提示するメタファ環境制御方式において、利用者
の操作情報を格納する操作モデルと、操作対象である複
数のメタファの内部状態を格納する世界モデルと、複数
のメタファの表示状態を格納する表示モデルと、利用者
の操作によって操作モデルを書き替え、また、表示モデ
ルの変化に応じてメタファの表示を適宜変更する操作/
表示制御部と、操作モデルの操作/表示制御部による変
更をきっかけに世界モデル及び表示モデルの適切な部分
の書き換えを行う操作モデルー世界モデル変換ルール
と、世界モデルの書き換えをきっかけに世界モデルの他
の部分と表示モデルの適切な部分の書き換えを行い、1
つの世界モデルによって複数のルールが起動要求される
ことを許す因果ルールと、複数の因果ルールが起動され
た場合にそのうちの1つの選択を行う競合解消部とを備
えたことを特徴とする。
【0037】さらに、競合解消部は、利用者の操作に対
応したタスク名を階層構造に配置したタスク意図階層を
有し、そのタスク意図階層には、タスク名で表したタス
クの遷移を制約するタスク遷移制約情報が付加されてお
り、利用者の操作にしたがって常に利用者が現在行って
いるタスクを同定する、利用者の操作により因果ルール
の起動要求が複数出されたとき、このうちの1つの選択
を現在のタスク意図階層上のユーザのタスクと遷移制約
情報から、ある確からしさで判定できるとき解消を行
い、そうでない利用者に解消のための問い合わせを行
う、或いは、ある確からしさで判定できると判断して解
消を行った結果について、利用者が自らの予測と反した
ときに、利用者がある特定の操作によってやり直しを命
ずることを許し、やり直しが命じられたときには、再び
因果ルールの競合が生じている状態に戻して利用者に競
合解消のための問い合わせを行うことを特徴とし、タス
ク意図階層に付加されているタスク遷移制約情報を、競
合の解消のための問い合わせに対して利用者が返答した
結果にしたがって変更する個人適応部を備え、競合解消
部が行う競合の解消が除々に個人に適合していくように
することを特徴とする。
【0038】
【作用】本発明のメタファ環境制御方式では、利用者の
操作情報を格納する操作モデル、操作対象である複数の
メタファの内部状態を格納する世界モデル、複数のメタ
ファの表示状態を格納する表示モデル、利用者の操作に
よって操作モデルを書き替え、また、表示モデルの変化
に応じてメタファの表示を適宜変更する操作/表示制御
部、操作モデルの操作/表示制御部による変更をきっか
けに世界モデル及び表示モデルの適切な部分の書き換え
を行う操作モデルー世界モデル変換ルール、世界モデル
の書き換えをきっかけに世界モデルの他の部分と表示モ
デルの適切な部分の書き換えを行い、1つの世界モデル
によって複数のルールが起動要求されることを許す因果
ルール、及び複数の因果ルールが起動された場合にその
うちの1つの選択を行う競合解消部を備えることによ
り、因果ルールにおいて、あるメタファが1つのイベン
トによって引き起こされる動作を複数通り記述すること
を許容し、競合解消部がユーザのタスク意図の同定に基
づき複数の因果ルールの中から1つを選択するというよ
うにタスクコンテクストに基づいた多義性の解消を行
う。
【0039】
【実施例】以下、本発明の実施例を図面を参照して説明
する。図1は本発明のメタファ環境制御方式の1実施例
を示す図であり、1はグラフィックマネジャ、2はマク
ロ解釈部、3はメインルーチン、4はマウス、5はO.
M.to W.M.ルール、6はW.M.to F.
M.ルール、7は世界モデルオブジェクト、8は因果ル
ール、9は表示モデルオブジェクト、10はマクロGコ
マンドジェネレータ、11は競合解消部、12はタスク
意図木を示す。
【0040】図1において、グラフィックマネジャ1及
びマクロ解釈部2は、メタファの「絵」に関する部分を
扱うモジュールであり、個々のメタファの絵は、例えば
GMR−3Dというグラフィックライブラリを用いて描
かれ、これらの絵としての動作はグラフィック制御用の
独自のコマンド(Gコマンド/イベント:GC/GE及
びマクロコマンド/イベント:MGC/MGE)を用い
て行われる。
【0041】メインルーチン3は、例えばネクスパート
を呼び出すためのプロセスであり、マクロ解釈部2から
マクロGイベント(MGE)を受け、ネクスパートに制
御を渡すことを繰り返す。
【0042】ネクスパートオブジェクトモジュールは、
メタファに対するユーザの操作及びそのときの動作をオ
ブジェクトとルールによりモデル化したものである。
【0043】マウス4は、マクロ解釈部2からのマクロ
Gイベントの情報を格納する操作モデルオブジェクトで
ある。例えば (@OBJECT= OM mouse (@PROPERTIES= button …押されたマウスのボタン
(右,中,左) discriminater…マウスの表示オブジェク
トに対する操作 (on,off,in,outなど) obj name …表示オブジェクトの名前 obj own name …表示オブジェクトの固有
名 path …表示オブジェクトのパス
名 etc …その他の情報 ) ) と記述される。
【0044】世界モデルオブジェクト7は、例えば新
聞、ニュース番組、テレビ受像機、コントロールパネル
についての各メタファの状態をモデル化するオブジェク
トであり、ここで、個々のメタファの分離設計と協調動
作の実現を行う。各々のメタファは、part−of階
層における子オブジェクトをサブオブジェクトとして持
っている。また、ニュース番組のカット、新聞のページ
等のように複数の同質のオブジェクトがある場合は、i
s−a階層における親オブジェクトをクラスオブジェク
トとしてもっている。例えばテレビ受像機メタファは、 (@OBJECT= TV set metaphor (@SUBOBJECTS= …Part−of階層における子オブジェクトを定義 Channel metaphor Vol sw ) (@PROPERTIES program …現在表示されている番組名 status …テレビ受像器メタファの状態 (open,close) volume …音量ボリュームの値(0から10まで
の整数値) ) ) と記述される。
【0045】表示モデルオブジェクト9は、表示オブジ
ェクトに関する情報を格納するオブジェクトであり、格
納されている情報はマクロGコマンドジェネレータ10
が生成するマクロGコマンドの引数となる。例えばテレ
ビ受像機では、 (@OBJECT= DM tv set (@PROPERTIES= vol button …音量ボタンが押された様子
を示すためのパラメータ vol var …音量表示バーの表示を指示
するためのパラメータ channel …チャンネルが押された様子
を示すためのパラメータ channel name…チャンネル番号をチャンネ
ルボタンに割り付ける display …表示/非表示を指示するパ
ラメータ iconify …アイコン化を指示するパラ
メータ name …固有名を指示するパラメー
タ vol button name…音量ボタン固有名を
指示するパラメータ default no …制御のための番号 ) ) と記述される。
【0046】O.M.to W.M.ルール5は、操作
モデルオブジェクト(マウス)4の内容を世界モデルオ
ブジェクト7に反映するためのルールであり、操作モデ
ルオブジェクト4から世界モデルオブジェクト7まで2
から3段のルールが前向きに発火されることによって伝
わる。また、右辺のアクションの一部は表示モデルオブ
ジェクト9のプロパティの内容の変更も行う。第1段
は、操作モデル上のイベントを各メタファに振り分ける
役割を果たし、操作モデルオブジェクトのOM mous
e.ob nameスロットの情報から、そのイベント
がどのメタファの上のイベントかを判定する。そして、
最終段では、操作モデルオブジェクト上のイブントの内
容に応じて世界モデルオブジェクト及び一部の表示モデ
ルオブジェクトのスロット内容を書き換えることを行
う。また、次のユーザからの操作により再び繰り返して
使用しれるため、仮説のリセットを行っておく必要があ
る。もし、リセットが行わなければ、ネクスパートは、
前回のユーザの操作によって決定された仮説の真理値状
態をそのまま保持するため、適切なルールの発火が行わ
れない。
【0047】W.M.to F.M.ルール6は、世界
モデルオブジェクト7の内容からファンクションモジュ
ールの呼び出しを行うためのルールであり、ここで、機
能とメタファの分離の実現を行う。
【0048】因果ルール8は、世界モデルオブジェクト
7の各プロパティの内容の因果関係を記述するルールで
あり、また、右辺のアクションの一部は表示モデルオブ
ジェクト9のプロパティの内容の変更も行う。そして、
ユーザの1つの操作に応じて発火される因果関係を複数
用意することで、メタファの動作の多義性の実現を行
い、その解消を競合解消部11で行う。
【0049】因果ルール8において、複数のルールが発
火可能である場合、競合解消部11は次の動作を行う。
【0050】 もし、現在の競合について、タスク意
図木12による予測が過去にある確率以上の正解を導き
出しているならば、その予測にしたがって競合を解消す
る。
【0051】 そうでなければ、現在競合している候
補をユーザにメニューで示し、選択を促す。そして、ユ
ーザの選択に基づき、タスク意図木12を生成または修
正する。
【0052】 予測にしたがって解消した結果に対し
てユーザがやり直しを命じたとき、世界モデルオブジェ
クト6を元の状態に戻し、と同じことを行う。
【0053】このようにユーザのメタファに対する多義
的な解釈を実現するために、因果ルール7において、或
るメタファが1つのイベントによって引き起こされる動
作を複数通り記述することを許容している。そして、競
合解消部11がユーザのタスク意図の同定に基づき複数
の因果ルールの中から1つを選択するというようにタス
クコンテクストに基づいた多義性の解消を行う。
【0054】ファンクションモジュールは、実際にオン
ラインデータベースから情報を検索したり、検索したデ
ータをローカルなファイルとして保存するタスクを行う
機能群であり、例えばArticle Selecto
r14、Article Collector15、A
rticle Storer/Retriever1
6、Mapper13等の各機能モジュールがある。
【0055】Article Selector14
は、ニュース番組起動時及び新聞呼び出し時に、オンラ
インデータベースに問い合わせるためのQuery文を
生成、発信し、Answerを受け取るものである。A
rticle Collector15は、Artic
le Selector14によって検索された記事を
あるフォーマットでメモリ上に管理するものであり、ま
た、過去にユーザに提示された記事を記憶しておき、そ
の差分だけを集めることもできる。Article S
torer/Retriever16は、Articl
e Selector14に集められている記事の内容
をローカルなファイルに保存したり、取り出したりする
ものである。Mapper13は、Article C
ollector15に集められている記事をメタファ
上に割り当てるものである。
【0056】因果ルールでは、世界モデルオブジェクト
のスロットの書き替えに連鎖して生じるアクションを書
き、これらのアクションは、世界モデルオブジェクトの
他のスロットの変更、表示モデルオブジェクトのスロッ
トの変更、ファンクションモジュールの呼び出しなどで
ある。
【0057】O.M.to W.M.ルールの最終段に
よって引き起こされるアクションには多義性があり、例
えばテレビセットメタファについて多義性のリストを以
下に示す。
【0058】(HYPO= Open TV set) (@RHS= (Let (TV set metaphor.sta
tus) (”open”)) ) → ・ 新しいニュースを見る OPEN TV SET SHOW (a new NEWS PROGRAM) ・ 同じニュースを最初から見る OPEN TV SET SHOW (the new NEWS PROGRAM) ((at the beginning)) ・ 直前に見ていた所から見る OPEN TV SET SHOW (the new NEWS PROGRAM) ((at the previousiplace)) ・ まだ見ていないニュースを見る OPEN TV SET SHOW (the new NEWS PROGRAM) ((at yet un-watched)) O.M.to W.M.ルールでは、その終端におい
て、RHSでオブジェクトのスロットを書き換える起動
操作と、HYPO:Select objectnameのままの選択操
作の2 つがある。
【0059】起動操作の場合は、まず、オブジェクトの
スロットのIf Change メタスロットにおいてHYP
O:IC object slotを叩く。これは、スロットがど
のように書き換えられたかによって、発火すべきルール
が異なる場合があるため、Conditional ICにする必
要があるからである。次に、HYPO:IC object sl
otのルールはHYPO:CR conflictrules を引数と
して競合解消部を呼び出した後、HYPO:CR conf
lictrules を発火させる。競合解消部は、引数として与
えられたHYPO:CR conflictrules を検索し、ル
ールが1つだけなら終了し、そうでなければ、COMM
ENTSの情報を引出し、ユーザにメニューを出すか、
もしくは自ら競合解消を行う、選択されたもの以外のC
conflictrules は、そのカテゴリーアトムを-20000
以下に設定する。
【0060】選択操作の場合は、直前の推論サイクルで
同じ、オブジェクトが選択されている場合とそうでない
場合を分けたいため(なぜならば、2回続けて同じオブ
ジェクトを選択する場合は、選択のリセットとした
い)、O.M.to W.M.ルールのHYPO:Sel
ect objectnameは、2つ容易することにする。直前の推
論サイクルで選択されたオブジェクトはSelect Slo
t という変数に蓄えておく。
【0061】次に、タスク意図階層の自動獲得について
説明する。図2はタスク意図階層の例を示す図、図3は
集計テーブルの構成例を示す図、図4は繰り返しゴール
セットの抽出を説明するための図である。
【0062】タスク意図階層は、ノードをタスク名、リ
ンクをゴール/サブゴール関係とする図2に示すような
木構造として表現する。このとき、あるゴールの下には
通常複数のサブゴールが置かれるが、このようなゴール
間の関係には、次の5種類がある。
【0063】 Seauential depend
ency:2つのゴール間にある順序関係がある(図2
に示すS) Goal independence:順序関係に
依存しない(図2に示すI) Choice:いくつかのゴールの中から、唯1つ
だけのゴールが選択される(図2に示すCh) Conditional goals:いくつかの
ゴールを順次実行していき、最初に成功したところで終
了する Repetitive goals:いくつかのゴ
ールを順次実行していき、あるゴールが失敗するまで繰
り返し続ける(図2に示すR) そこで、本発明では、個人適応のため以下のことを行
う。
【0064】まず、ステップ1としてSequenti
al Goalsの発見を行う。そのためには、知識に
書かれているCRで始まるルールについて、競合解消部
で図3に示すようなテーブルを用意し、CRルールが連
続して使用される回数と確率を集計する。そして、回数
があらかじめ定めた最小有効回数以上で、確率があらか
じめ定めた最小確率以上ならそのペアをSequent
ial Goalsと見做す。
【0065】次に、ステップ2としてRepetiti
ve Goals、Conditional Goal
sの発見を行う。両者とも複数のゴールの繰り返しとい
う点で共通し、Repetitiveが「ゴールが成功
したなら次を行い、失敗したら停止する」というのに対
して、Conditionalが「失敗している間は継
続し、成功したら停止する」という点で相違するが、こ
れらの2つは単純には区別できない。しかも、ゴールの
成功/失敗は、ユーザの自己判定によるものが少なくな
いため、プログラムのように客観的に決定できない場合
が多い。
【0066】そこで、ここでは、両者の区別をせず、更
に、繰り返しの停止を陽に扱わないことにする。繰り返
しからの脱出は全てのこれに含まれるゴールにおいて均
等にその可能性があるとする。
【0067】具体的には、ステップ1で求められたSe
quential Goalsの内、図4に示すように
そのchainが繰り返しになっているものを「繰り返
しゴールセット」として抽出する。さらに繰り返しゴー
ルセットをまとめて上位ゴールを設定する。このとき繰
り返しゴールセットの要素となっているCRは、図3に
示すテーブル中で全てゴールと置き換える。置き換えの
時、CR−super→CR−superとなっている
ものを削除する。
【0068】さらに、ステップ3としてChoiceの
発見を行う。図3に示すテーブルにおいて、一つのCR
(例えば、CR−i)に続くCRが複数あり(例えば、
CR−1,CR−m,CR−n)かつ、それらのどれも
Sequentialとしての確率頻度に達しない場
合、CR−1,CR−m,CR−nなどはChoice
かIndependentである可能性がある。
【0069】ChoiceとIndependentの
違いは、例えば、 CR−1→CR−m,CR−m→CR−1 CR−1→CR−n,CR−n→CR−1 CR−m→CR−n,CR−n→CR−m などの確率頻度が十分高いか、低いかによる。高けれ
ば、Independent、低ければ、Choice
と見做すことができる。Independent、Ch
oiceと見做せるゴールセットがあれば、これらをま
とめて上位ゴールを設定する。このとき、ステップ2と
同様にゴールセットの要素となっているCRは、図3に
示すテーブル中で全て上位ゴールと置き換える。
【0070】上記の方式をアルゴリズムとしてまとめる
と以下のようになる。
【0071】まず、初期化を行う。この初期化では、
〜の処理を行う。
【0072】 メタウェアのルールの中でCRで始ま
るルールの総数をCR MAXとする Sequneial Goalsと認めるための確
率頻度の最小値をSEQ MINとする Choiceと認めるための確率頻度の最小値をC
HO MINとする Independentと認めるための確率頻度の
最大値をIND MAXとする テーブルの宣言: CR TABLE[CR MAX]{ NEXT CR[CR MAX], TIMES[CR MAX], PROBABILITY[CR MAX] } 前回実行したCRを保存する変数をCR PREV
とする上記初期化の後、推論部で競合(Ambigui
ty)が発生する毎に、次の処理を実行する。
【0073】競合が発生しているCRのセット(Amb
iguityセットと呼ぶ)を調べる(ステップS
1)。
【0074】Ambiguityセットの各CRについ
て次をステップS2〜S7の処理を順次行い、成功すれ
ばステップS9へ移る。失敗すれば、ステップS8によ
りユーザにAmbiguityセットの内1つを選択す
るためのメニューを提示してステップS9へ移る。
【0075】CR PREVとSequentialリ
ンクが結ばれているものがあれば、それを実行する(ス
テップS2)。
【0076】CR PREVを含むCyclicセット
においてCR PREVの次のものがあれば、それを実
行する(ステップS3)。
【0077】CR PREVを含むIndepende
ntセットに含まれるものがあれば、それを実行する
(ステップS4)。
【0078】CR PREVを含むCyclicセッ
ト、Independentセット、Choiceセッ
トの上位ゴールとSequentialリンクが結ばれ
ているものがあれば、それを実行する(ステップS
5)。
【0079】CR PREVを含むCyclicセッ
ト、Independentセット、Choiceセッ
トの上位ゴールを含むCyclicセットにおいてその
上位ゴールの次のものがあれば、それを実行する(ステ
ップS6)。
【0080】CR PREVを含むCyclicセッ
ト、Independentセット、Chiceセット
の上位ゴールを含むIndependentセットに含
まれるものがあれば、それを実行する(ステップS
7)。
【0081】CRが全Cyclicセット、Indep
endentセット、Choiceセットの中のどれか
に含まれていれば自分のIDをその上位ゴールのものに
置き換え、CR TABLEの中でCR TABLE
[ID of CR PREV]のNEXT CRの中
に自分のIDが既にあれば、TIMES,PROBAB
ILITYを計算して書き直す。まだなければ、あらた
に登録する(ステップS9)。
【0082】そして、Sequentialペア、Cy
clicセット、Choiceセット、Indepen
dentセットの発見および登録を行う(ステップS1
0)。
【0083】Sequentialペアは、ステップ1
に従って、PROBABILITYがSEQ MIN以
上のものについて登録を行う。Cyclicセットは、
ステップ2にしたがって、Sequentialペアの
中から抽出し、また、Choiceセット、Indep
endentセットは、ステップ3に従って抽出し、そ
れぞれ上位ゴールをあるユニークなIDで設定し、テー
ブルを書き換える。
【0084】本発明では、上記のようにユーザのメタフ
ァに対する多義的な解釈を実現するために、因果ルール
において、あるメタファが1つのイベントによって引き
起こされる動作を複数通り記述することを許し、競合解
消部がユーザのタスク意図の同定に基づき複数の因果ル
ールの中から1つを選択するというように多義性の解消
を行っている。この場合、1つのユーザが異なったコン
テクストの下では、同一のメタファに対して異なる操作
意図を持つ。そして、ユーザのタスクコンテクストの流
れは、ゴール/サブゴールの形式で表現されたタスク意
図階層上のトレースとして表現でき、特定のユーザが行
うタスクのタスクコンテクストの流れは、ある決まった
パターンに落ち着くことから、まず、標準的なタスク意
図階層を用意し、操作の元となっているタスク意図を同
定し、さらに、最初に用意した標準的なタスク意図階層
に付加情報を付け加えタスク意図階層の個人適応を行っ
ている。
【0085】
【発明の効果】以上に説明したように、本発明によれ
ば、以下の効果を得ることができる。
【0086】(1)表現と知識の分離 メタファ環境において、ディスプレイに表示しされてい
る「絵」としての部分と、その動作をシンボリックに定
義している「知識」としての部分を分離することを行う
ので、これにより、メタファの動作を用意にカスタマイ
ズしたり、また、システムが自動的に個人適応させたり
することが可能となる。
【0087】(2)機能とメタファの分離 メタファの動作をシンボリックに定義している「知
識」、実際の処理を行う「機能」を分離することを行う
ので、これにより、タスクコンテクストに基づいた機能
の呼び出しが可能となる。
【0088】(3)メタファの分離設計と協調動作 個々のメタファを分離して設計し、また、それぞれのメ
タファが任意の組み合わせでメタファ環境に呼び込める
ようにすることを行うので、これにより、コンポジット
メタファや多重メタファ環境の実現が可能となる。
【0089】(4)メタファ動作の多義性の実現と解消 メタファの動作は、(1)における「知識」でシンボリ
ックに定義されるが、ユーザが期待するメタファの動作
には、本質的に多義性があると考えられているが、この
多義性を残したメタファの定義を行い、更に、タスクコ
ンテクストに応じて多義性を解消することができる。
【0090】(5)個人適応の実現 (4)における多義性の解消は、タスクコンテクストに
応じて行われるが、全てのユーザについてタスクコンテ
クストが同一とは考えにくい。このような問題に対して
個人個人の仕事のやり方にシステムが適応させることが
できる。
【図面の簡単な説明】
【図1】 本発明のメタファ環境制御方式の1実施例を
示す図である。
【図2】 タスク意図階層の例を示す図である。
【図3】 集計テーブルの構成例を示す図である。
【図4】 繰り返しゴールセットの抽出を説明するため
の図である。
【図5】 テレビジョンメタファ環境の情報提示装置の
構成概要を説明するための図である。
【図6】 先の発明に係るメタファ環境制御機構の1実
施例構成を示す図である。
【図7】 テレビジョンメタファ環境の例を示す図であ
る。
【図8】 テレビジョンメタファ環境の集合化階層の構
成例を示す図である。
【図9】 ワーキングメモリの状態の例を示す図であ
る。
【符号の説明】
1…グラフィックマネジャ、2…マクロ解釈部、3…メ
インルーチン、4…マウス、5…O.M.to W.
M.ルール、6…W.M.to F.M.ルール、7…
ワールドモデルオブジェクト、8…因果ルール、9…表
示モデルオブジェクト、10…マクロGコマンドジェネ
レータ、11…競合解消部、12…タスク意図木

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 計算機の任意の応用プログラムのヒュー
    マンインタフェースのうち、応用プログラムの各種機能
    を表象する複数のメタファを表示し、利用者の操作にし
    たがって適切な機能を提示するメタファ環境制御方式に
    おいて、 利用者の操作情報を格納する操作モデルと、 操作対象である複数のメタファの内部状態を格納する世
    界モデルと、 複数のメタファの表示状態を格納する表示モデルと、 利用者の操作によって操作モデルを書き替え、また、表
    示モデルの変化に応じてメタファの表示を適宜変更する
    操作/表示制御部と、 操作モデルの操作/表示制御部による変更をきっかけに
    世界モデル及び表示モデルの適切な部分の書き換えを行
    う操作モデルー世界モデル変換ルールと、 世界モデルの書き換えをきっかけに世界モデルの他の部
    分と表示モデルの適切な部分の書き換えを行い、1つの
    世界モデルによって複数のルールが起動要求されること
    を許す因果ルールと、 複数の因果ルールが起動された場合にそのうちの1つの
    選択を行う競合解消部とを備えたことを特徴とするメタ
    ファ環境制御方式。
  2. 【請求項2】 競合解消部は、利用者の操作に対応した
    タスク名を階層構造に配置したタスク意図階層を有し、
    そのタスク意図階層には、タスク名で表したタスクの遷
    移を制約するタスク遷移制約情報が付加されており、利
    用者の操作にしたがって常に利用者が現在行っているタ
    スクを同定することを特徴とする請求項1記載のメタフ
    ァ環境制御方式。
  3. 【請求項3】 競合解消部は、利用者の操作により因果
    ルールの起動要求が複数出されたとき、このうちの1つ
    の選択を現在のタスク意図階層上のユーザのタスクと遷
    移制約情報から、ある確からしさで判定できるとき解消
    を行い、そうでない利用者に解消のための問い合わせを
    行うことを特徴とする請求項1記載のメタファ環境制御
    方式。
  4. 【請求項4】 競合解消部は、ある確からしさで判定で
    きると判断して解消を行った結果について、利用者が自
    らの予測と反したときに、利用者がある特定の操作によ
    ってやり直しを命ずることを許し、やり直しが命じられ
    たときには、再び因果ルールの競合が生じている状態に
    戻して利用者に競合解消のための問い合わせを行うこと
    を特徴とする請求項1記載のメタファ環境制御方式。
  5. 【請求項5】 タスク意図階層に付加されているタスク
    遷移制約情報を、競合の解消のための問い合わせに対し
    て利用者が返答した結果にしたがって生成、変更する個
    人適応部を備え、競合解消部が行う競合の解消が除々に
    個人に適合していくようにすることを特徴とする請求項
    2乃至4のいずれかに記載のメタファ環境制御方式。
JP3176536A 1991-07-17 1991-07-17 メタファ環境制御方式 Expired - Fee Related JPH07113881B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP3176536A JPH07113881B2 (ja) 1991-07-17 1991-07-17 メタファ環境制御方式
EP92402065A EP0524103B1 (en) 1991-07-17 1992-07-17 Metaphor environment control system
DE69232107T DE69232107T2 (de) 1991-07-17 1992-07-17 Steuerungssystem für Metapherumgebung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3176536A JPH07113881B2 (ja) 1991-07-17 1991-07-17 メタファ環境制御方式

Publications (2)

Publication Number Publication Date
JPH0520002A true JPH0520002A (ja) 1993-01-29
JPH07113881B2 JPH07113881B2 (ja) 1995-12-06

Family

ID=16015320

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3176536A Expired - Fee Related JPH07113881B2 (ja) 1991-07-17 1991-07-17 メタファ環境制御方式

Country Status (3)

Country Link
EP (1) EP0524103B1 (ja)
JP (1) JPH07113881B2 (ja)
DE (1) DE69232107T2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07219741A (ja) * 1994-02-03 1995-08-18 Nec Corp メタファインタフェース装置
JPH08147243A (ja) * 1994-11-21 1996-06-07 Nec Corp マルチメディアデータ通信方式

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0626635B1 (en) * 1993-05-24 2003-03-05 Sun Microsystems, Inc. Improved graphical user interface with method for interfacing to remote devices

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6349827A (ja) * 1986-08-19 1988-03-02 Nec Corp メニユ−画面制御方式
JPH02236608A (ja) * 1989-03-10 1990-09-19 Hitachi Ltd 操作支援方式

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2649508B1 (fr) * 1989-07-07 1994-07-08 Bull Sa Procede d'assistance pour l'utilisateur d'un systeme informatique et dispositif pour la mise en oeuvre dudit procede

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6349827A (ja) * 1986-08-19 1988-03-02 Nec Corp メニユ−画面制御方式
JPH02236608A (ja) * 1989-03-10 1990-09-19 Hitachi Ltd 操作支援方式

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07219741A (ja) * 1994-02-03 1995-08-18 Nec Corp メタファインタフェース装置
JPH08147243A (ja) * 1994-11-21 1996-06-07 Nec Corp マルチメディアデータ通信方式

Also Published As

Publication number Publication date
EP0524103B1 (en) 2001-10-10
EP0524103A2 (en) 1993-01-20
EP0524103A3 (en) 1993-07-28
JPH07113881B2 (ja) 1995-12-06
DE69232107D1 (de) 2001-11-15
DE69232107T2 (de) 2002-07-18

Similar Documents

Publication Publication Date Title
CN112839261B (zh) 一种提升语音指令匹配度的方法及显示设备
US5404440A (en) Metaphor environment control system
US7765494B2 (en) Harmonized theme definition language
US5560011A (en) Computer system for monitoring a user's utilization pattern to determine useful tasks
JP2525546B2 (ja) グラフィックリソ―ス・エディタ
JP2522898B2 (ja) 動的カストマイズ方法及びグラフィックリソ―ス・エディタ
US5119479A (en) User interface system in which operation associated with input device may be selectively switched
US8069419B2 (en) Graphical user interface check-list button control and method
US7987446B2 (en) Method for automating variables in end-user programming system
CN112631591A (zh) 表元素联动方法、装置、设备与计算机可读存储介质
WO2003038584A1 (en) Object oriented explorer type environment
CN114327709A (zh) 一种控制页面生成方法、装置、智能设备及存储介质
US20160224569A1 (en) System and method for automatically publishing a web form from a semantic query
GB2355321A (en) Systems applying styles to host screens based on host screen content
JPH0520002A (ja) メタフア環境制御方式
CN112346619B (zh) 组态软件控制方法和装置
JP2004139446A (ja) 日常言語コンピュータシステムで用いられる秘書エージェントシステム、秘書エージェントプログラムおよび対話プランニング方法
CN113391746B (zh) 一种显示设备及多窗口焦点控制方法
CN117672206A (zh) 一种显示设备及语音控制方法
JP2008146455A (ja) 機器操作支援装置及びその方法並び機器操作支援プログラム
CN119815090B (zh) 一种显示设备及显示设备控制方法
JP6490780B1 (ja) 情報部品実行装置、及び情報部品実行方法
JPH0511956A (ja) メニユ処理装置
WO2007035229A1 (en) Method for automatically defining icons
CN115019792B (zh) 显示设备、服务器及语音帮助内容的显示方法

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees