JPH0520044A - ユーザインタフエース装置 - Google Patents

ユーザインタフエース装置

Info

Publication number
JPH0520044A
JPH0520044A JP3173842A JP17384291A JPH0520044A JP H0520044 A JPH0520044 A JP H0520044A JP 3173842 A JP3173842 A JP 3173842A JP 17384291 A JP17384291 A JP 17384291A JP H0520044 A JPH0520044 A JP H0520044A
Authority
JP
Japan
Prior art keywords
parts
environment
operating environment
information
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP3173842A
Other languages
English (en)
Inventor
Kazuhisa Okada
和久 岡田
Kazumi Matsuura
一巳 松浦
Yoshio Asahi
宣雄 朝日
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PERSONAL JOHO KANKYO KYOKAI
Original Assignee
PERSONAL JOHO KANKYO KYOKAI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PERSONAL JOHO KANKYO KYOKAI filed Critical PERSONAL JOHO KANKYO KYOKAI
Priority to JP3173842A priority Critical patent/JPH0520044A/ja
Priority to US07/913,304 priority patent/US5481665A/en
Priority to EP19920112081 priority patent/EP0523661A3/en
Publication of JPH0520044A publication Critical patent/JPH0520044A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Digital Computer Display Output (AREA)
  • Stored Programmes (AREA)

Abstract

(57)【要約】 【目的】 この発明は操作環境で使用する部品の作成す
る装置、操作環境を利用する装置を用いて、利用者が日
常使用している環境と同様な環境で計算機を操作するこ
とを可能にする。 【構成】 部品を作成する部品作成手段13、その部品
を格納する部品格納手段1、格納した部品を操作環境に
読み込み部品を組み合わせて操作環境を構築する操作環
境構築手段2、構築した操作環境を格納する操作環境格
納手段14、格納した操作環境を読みだしその操作環境
上でアプリケーションのタスクを実行する操作環境利用
手段からなる。 【効果】 この発明によれば部品の作成および修正をす
ることができ、また部品を自由に組み合わせてその部品
間の関係を自動生成することができ、さらに利用者の意
図を推定して操作環境を利用者に適応させることができ
るので、利用者が容易に操作環境を構築し利用すること
ができるという効果がある。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、情報システム等にお
けるユーザインタフェース装置に関するものである。
【0002】
【従来の技術】図2は例えば特開平2−266424号
に記載の従来のユーザインタフェース装置の構成を示す
構成図である。図において1は視覚的データおよび動作
記述データを用いて定義した部品を格納する部品格納手
段、2は部品格納手段1で格納した部品に対して操作環
境における部品間の信号のやり取りを記述する操作環境
記述手段、3は部品格納手段1で格納された部品の定義
と操作環境記述手段2で記述された部品間の信号のやり
取りに基づいて操作環境のプログラムを合成する操作環
境合成手段である。
【0003】図3は図2に示した従来のユーザインタフ
ェース装置の動作を説明するための説明図である。図に
おいて4は画面の指定領域内でマウスをクリックすると
信号を出力端子に出力する部品であるソフトウェアボタ
ン、5は繰り返しを開始するための入力端子および繰り
返しを中断するための入力端子からの入力に応じて処理
の繰り返しの制御を行う部品である繰り返し制御部品、
6は利用者の入力があった場合に信号を出力端子に出力
する部品であるウィンドウ部品、7は入力端子から部品
に入力された信号のうち特定のものだけを選択して出力
端子に出力する部品であるフィルタ部品である。繰り返
し制御部品5の入力端子は二つあり、8は繰り返し制御
部品5の繰り返し処理を開始するための入力端子である
「+」、9は繰り返し制御部品5の繰り返し処理を中断
するための入力端子である「−」である。
【0004】次に動作について説明する。部品格納手段
1では、ソフトウェアボタン4および繰り返し制御ボタ
ン5およびウィンドウ部品6およびフィルタ部品7を格
納する。各部品は部品の意味を表すための視覚的データ
および部品の動作を記述した動作記述データから構成さ
れる。
【0005】操作環境記述手段2では、部品格納手段1
で格納したソフトウェアボタン4および繰り返し制御ボ
タン5およびウィンドウ部品6およびフィルタ部品7を
読み込み、ソフトウェアボタン4と繰り返し制御部品5
の間および繰り返し制御部品5とフィルタ部品7の間お
よびフィルタ部品7とウィンドウ部品6の間の信号のや
り取りを部品を接続することにより設定する。
【0006】操作環境合成手段3では、操作環境記述手
段2で記述した部品間の信号のやり取りに基づいて操作
環境のプログラムを合成する。合成されたプログラム内
の繰り返し制御部品5は実行するアプリケーションの機
能の実行を制御する。ソフトウェアボタン4およびウィ
ンドウ部品6は利用者からの入力を受け付ける。フィル
タ部品7はウィンドウ部品6から受け取る入力のうち特
定の入力だけを繰り返し制御部品5に出力する。
【0007】
【発明が解決しようとする課題】従来のユーザインタフ
ェース装置は以上のように構成されているので、新しく
部品を作成することおよび作成済みの部品を修正するこ
とができない。また部品ごとに入出力信号の内容(種類
や数)が異なるので、部品間の組み合せを自由に行うこ
とができない。また部品同士を組み合せるには操作環境
を構築する利用者が部品間の関係を指定する必要がある
ので、利用者は信号の内容、すなわち部品内部のデータ
構造を知る必要がある。さらに利用者の意図を推定して
操作環境を利用者に適応させることができない。
【0008】この発明は上記のような問題点を解消する
ためになされたもので、部品の作成および修正をするこ
と、部品を自由に組み合わせてその部品間の関係を自動
生成すること、利用者の意図を推定して操作環境を利用
者に適応させることができるユーザインタフェース装置
を得ることを目的とする。
【0009】
【課題を解決するための手段】この発明に係わるユーザ
インタフェース装置は、部品を作成する部品作成手段と
作成した部品を組み合せて操作環境を構築する操作環境
構築手段と、利用者の意図を推定し、構築した操作環境
を利用者に適応し、操作環境を利用者に利用せしめる操
作環境利用手段を備えたものである。
【0010】また、上記部品作成手段は、上記部品が持
つ意味的情報を作成する意味情報作成手段、上記部品が
持つ動きに関する情報を作成する動き情報作成手段、上
記部品を2次元的または3次元的にモデリングしたまた
は画素の集合体として表現した視覚的情報を作成する視
覚情報作成手段を備えたものである。
【0011】また、上記操作環境構築手段は、上記操作
環境内に存在する部品に対して上記部品作成手段で作成
された部品の情報に基づいて部品間の意味的関係を生成
する意味関係生成手段、上記操作環境内に存在する部品
に対して上記部品作成手段で作成された部品の情報に基
づいて部品間の動きに関する関係を生成する動き関係生
成手段、上記操作環境内に存在する部品に対して上記部
品作成手段で作成された部品の情報に基づいて部品間の
視覚的関係を生成する視覚情報関係生成手段を備えたも
のである。
【0012】また、操作環境構築手段は、操作環境が階
層構造をなすように操作環境を構築したものである。
【0013】また、上記操作環境利用手段は、上記操作
環境利用手段を利用する利用者の操作履歴を格納する操
作履歴格納手段、上記操作環境利用手段を利用する利用
者の情報を格納する利用者情報格納手段、上記操作環境
格納手段に格納された操作環境の情報あるいは上記操作
履歴格納手段に格納された操作履歴あるいは上記利用者
情報格納手段に格納された利用者の情報の少なくとも一
つの情報に基づき利用者の意図を解析する意図解析手
段、上記操作環境格納手段に格納された操作環境の情報
あるいは上記操作履歴格納手段に格納された操作履歴あ
るいは上記利用者情報格納手段に格納された利用者の情
報の少なくとも一つの情報に基づき上記操作環境を利用
者に応じて自動的に適合させる個人適応手段、上記操作
環境格納手段に格納された操作環境の情報あるいは上記
操作履歴格納手段に格納された操作履歴あるいは上記利
用者情報格納手段に格納された利用者の情報の少なくと
も一つの情報に基づき部品の動きを生成する動き生成手
段、上記操作環境利用手段内の各手段を制御して操作環
境を管理する操作環境管理手段を備えたものである。
【0014】
【作用】この発明におけるユーザインタフェース装置の
部品作成手段は部品の作成および修正をする。また操作
環境構築手段は部品を自由に組み合わせてその部品間の
関係を自動生成する。さらに操作環境利用手段は利用者
の意図を推定して操作環境を利用者に適応させる。
【0015】また、意味情報作成手段および動き情報作
成手段および視覚情報作成手段を備えることにより、部
品をよりリアルに表現する。
【0016】また、意味関係生成手段および動き関係生
成手段および視覚情報関係生成を備えることにより、部
品の関係をよりリアルに表現する。
【0017】また、操作環境が階層構造をなすように操
作環境を構築することにより、操作環境の変更が容易で
ある。
【0018】また、操作履歴格納手段および利用者情報
格納手段および意図解析手段および個人適応手段および
動き生成手段および操作環境管理手段を備えることによ
り、正確な操作手順を不用にし、利用者の操作を支援す
る。
【0019】
【実施例】
実施例1.以下、この発明に係わるユーザインタフェー
ス装置の実施例を図について説明する。図1および図4
および図5は実施例1のユーザインタフェース装置およ
びその動作を説明するための説明図である。図1は実施
例1のユーザインタフェース装置の構成図である。図に
おいて、13は操作環境の部品を作成する部品作成手
段、500は部品格納手段1で格納した部品を組み合わ
せて操作環境を構築する操作環境構築手段、14は操作
環境構築手段500で構築した操作環境を格納する操作
環境格納手段、15は操作環境格納手段14で格納した
操作環境を介してタスクを実行する操作環境利用手段で
ある。
【0020】図4は実施例1のユーザインタフェース装
置の動作を示すフローチャートである。図において、ス
テップs4は操作環境で利用する部品を作成する部品作
成工程、ステップs5はステップs4で作成した部品を
格納する部品格納工程、ステップs7はステップs5で
格納した部品を組み合わせて操作環境を構築する操作環
境構築工程、ステップs8はステップs7で構築した操
作環境を格納する操作環境格納工程、ステップs10は
ステップs8で格納した操作環境を読み出しその操作環
境を介してタスクを実行する操作環境利用工程である。
【0021】まず操作環境で利用する部品を部品作成工
程で作成する(ステップs4)。次にステップs4で作
成した部品を部品格納工程に格納する(ステップs
5)。次に部品作成工程を終了するか否かを判定し、作
成する場合はステップs4にもどり、この動作を繰り返
す。もし作成が終了した場合はステップs7に進む。次
にステップs5で格納した部品を組み合せて操作環境を
操作環境構築工程で構築する(ステップs7)。次にス
テップs7で構築した操作環境を操作環境格納工程に格
納する(ステップs8)。次に操作環境構築工程s7を
終了するか否かを判定し構築する場合はステップs7に
もどり、この動作を繰り返す。構築を終了した場合はス
テップs10に進む。次にステップs10で操作環境格
納工程s8に格納した操作環境を操作環境利用工程に読
み出しその操作環境を介してタスクを実行する(ステッ
プs10)。
【0022】図5は図1に示した構成図の動作を説明す
るための説明図である。図において、16は部品を作成
する部品作成手段13の実行により表示される部品作成
ウィンドウ、19は部品作成手段13で作成した部品を
格納する部品ライブラリ、501は部品作成手段13で
線を描画するときに使用するえんぴつアイコン、502
は部品作成手段13で面を描画するときに使用するはけ
アイコン、17は部品作成手段13で作成した部品を部
品ライブラリ19に格納するための部品格納アイコン、
18は部品作成手段13で作成した部品「はさみ」、7
01ははさみ18を描画するときに用いるカーソル、2
0は部品ライブラリ19に格納された部品「はさみ」、
21は部品ライブラリ19に格納された部品を組み合わ
せて操作環境を構築する操作環境構築手段500の実行
により表示される操作環境構築ウィンドウ、22は部品
ライブラリ19に格納された部品を操作環境構築手段5
00で構築している操作環境に追加する部品追加アイコ
ン、25は操作環境構築手段500で構築した操作環境
を格納する操作環境データベース、23は操作環境構築
手段500内にあり操作環境を操作環境データベース2
5に格納する操作環境格納アイコン、602は部品ライ
ブラリ19から操作環境構築手段に読み込んだ部品を表
示するための部品表示ブロック、603は部品表示ブロ
ック602内の部品「はさみ」、24は操作環境構築手
段500で構築した操作環境「オフィス」、604は部
品表示ブロック602からオフィス24に読み込んだは
さみ、26は操作環境データベース25内の操作環境
「オフィス」、27は操作環境をタスクを介して実行す
る操作環境利用手段15により実行された操作環境構築
ウィンドウ、702は操作環境構築手段14で操作環境
データベース25に格納した操作環境を表示する表示ア
イコン、703は操作環境データベース25に格納され
た操作環境を表示するための操作環境表示ブロック、7
04は操作環境表示ブロック703内の操作環境「オフ
ィス」、28は操作環境利用手段15内の操作環境を表
示するための操作環境ブロック、605は操作環境ブロ
ック28内の部品「はさみ」、606は操作環境ブロッ
ク28内の部品「かみ」である。
【0023】次に動作について説明する。部品作成手段
13では、まず線を描画するときに使用するえんぴつア
イコン501を選択し、カーソル701を移動すると、
はさみ18の線が描画される。次に面を描画するときに
使用するはけアイコン502を選択し、えんぴつアイコ
ン501を用いて描画した線に囲まれた面の中にカーソ
ル701を移動すると、はさみ18の面が描画され、は
さみ18が作成される。
【0024】部品格納手段1では、部品格納アイコン1
7を選択することにより部品作成手段13で作成された
はさみ18は部品ライブラリ19にはさみ20として格
納される。
【0025】操作環境構築手段500では、部品追加ア
イコン22を選択することにより部品表示ブロック60
2がオープンし、部品ライブラリ19に格納された部品
群が部品表示ブロック602に読み込まれる。その部品
表示ブロック602内のはさみ603を選択することに
よりオフィス24にはさみ604が読み込まれる。
【0026】操作環境格納手段14では、操作環境格納
アイコン23を選択することにより操作環境構築手段5
00で構築されたオフィス24は操作環境データベース
25にオフィス26として格納される。
【0027】操作環境利用手段15では、表示アイコン
702を選択することにより操作環境表示ブロック70
3がオープンし、操作環境データベース25に格納され
た操作環境群が操作環境表示ブロック703に読み込ま
れる。その操作環境表示ブロック703内のオフィス7
04を選択することによりオフィス26が操作環境ブロ
ック28に読み込まれる。これにより操作環境の利用が
可能になり、利用者はマウスではさみ605を用いては
さみ605(カーソル)を移動することによりかみ60
6を切断することができる。
【0028】実施例2.図6から図14までの図は実施
例2を説明するための説明図である。上記実施例では部
品作成手段13で作成する部品の情報は従来例と同様の
ものとして示したが、図6は部品作成手段13に視覚的
情報を作成する手段および意味情報を作成する手段およ
び動きに関する情報を作成する手段を設けたものであ
る。
【0029】図6は実施例2の部品作成手段13の構成
図である。図において、29は意味情報を作成して部品
を定義する意味情報作成手段、30は動きに関する情報
を作成して部品を定義する動き情報作成手段、31は視
覚的情報を作成して部品を定義する視覚情報作成手段で
ある。
【0030】図7は実施例2の部品作成工程s4の動作
を示すフローチャートである。図において、ステップs
11は部品の形状である視覚情報を作成する視覚情報作
成工程、ステップs12は部品の用途や素材など意味的
情報を作成する意味情報作成工程、ステップs13は切
断および移動など部品の動きに関する情報を作成する動
き情報作成工程である。
【0031】次に動作について説明する。まず部品の形
状である視覚情報を作成する(ステップs11)。次に
部品の用途や素材など意味的情報を作成する(ステップ
s12)。次に切断および移動など部品の動きに関する
情報を作成する(ステップs13)。
【0032】図8から図14までの図は部品作成手段1
3の動作を説明するための説明図である。図8は部品作
成手段13で作成する部品「はさみ」を示した部品作成
ウィンドウ16である。図において、503aおよび5
03bは部品「はさみ」の部分部品、32は3次元的に
モデリングして作成中の部品「はさみ」の視覚的情報を
作成するための視覚情報作成ブロック、33は視覚情報
作成ブロック32で作成した部品「はさみ」の構成を表
示した視覚情報構成ブロック、34は部品「はさみ」の
意味的情報を作成する意味情報作成ブロック、35は部
品「はさみ」の動きに関する情報を作成するための動き
情報作成ブロックである。
【0033】図9は意味情報作成ブロック34を用いて
作成した部品「はさみ」の意味的な情報を説明するため
の説明図である。図において、36は部品「はさみ」5
03の属性「素材」、37は属性「はさみ」36の属性
値「鉄」、38は部品「はさみ」503の属性「用
途」、39は属性値「用途」38の属性値「切断」、4
0は部品「はさみ」503の属性「用途」、41は属性
「用途」40の属性値「さす」、42は部品「はさみ」
503を構成する構成部品を示す属性「部分部品」、4
3は属性「部分部品」42の属性値「部分部品a」、4
4は部品「はさみ」503を構成する構成部品を示す属
性「部分部品」、45は属性「部分部品」の属性値「部
分部品b」である。
【0034】素材36の属性値「鉄」37は部品「はさ
み」の素材が鉄であることを示している。用途38の属
性値「切断」39は部品「はさみ」を切断するときに使
用することを示している。用途40の属性値「さす」4
1は部品「はさみ」を刺すときに使用することを示して
いる。部分部品42の属性値「部分部品a」43と部分
部品44の属性値「部分部品b45」は部品「はさみ」
を構成する構成部品として部分部品a43と部分部品b
45があることを示している。
【0035】図10は図8の動き情報作成手段30で作
成した部品「はさみ」の動きに関する情報を示したもの
である。図において、46は部品「はさみ」の属性「回
転軸」、47は部品「はさみ」の属性値「点c」、48
は部品「はさみ」の属性「回転方向」、49は部品「は
さみ」の属性値「(副部品a 時計回り)」、50は部
品「はさみ」の属性「回転方向」、51は部品「はさ
み」の属性値「(副部品b 反時計回り)」、52は部
品「はさみ」の属性「動き」、53は部品「はさみ」の
属性値「回転」、54は部品「はさみ」の属性「動
き」、55は部品「はさみ」の属性値「移動」である。
【0036】回転軸46の属性値「点c」47は部品
「はさみ」が点c47を中心に回転することを示してい
る。回転方向48および回転方向50の属性値「(副部
品a時計回り)」49および「(副部品b 反時計回
り)」51は部品「はさみ」の「副部品a」が時計回
り、副部品bが反時計回りに常に逆方向に回転すること
を示している。動き42および動き44の属性値「回
転」43および移動45は部品「はさみ」が動きとして
回転と移動を登録していることを示している。
【0037】図11は視覚情報作成手段31で作成した
部品「はさみ」の視覚的情報の構成を示したものであ
る。図11において、59は回転軸「c−c’」、60
は点a、61は点a60の座標(62.5、100、5
0)、62は点b、63は点b62の座標(62.5、
50、45)、64は点c、65は点c64の座標(5
0、50、50)、66は点e、67は点e66の座標
(37.5、0、40)、68は線「c−e」、69は
面「a−b−c−a」である。
【0038】回転軸「c−c’」59は部品「はさみ」
が回転するときに「c−c’」59が回転軸となること
を示している。線「c−e」68は点cと点eを結ぶ直
線の端点を示している。面「a−b−c−a」は点aと
点bと点cを結んでできた多角形の領域を示している。
【0039】図12は部品「はさみ」の作成における視
覚情報作成手段31の動作を説明するための説明図であ
る。図において、32は視覚情報作成手段31で部品
「はさみ」を作成する部品作成ブロック、32aは部品
作成ウィンドウ16内の部品の正面図を表示するブロッ
ク、32bは部品の側面図を表示するブロック、32c
は部品の斜視図を表示するブロック、32dは部品の平
面図を表示するブロック、501は線を描画するための
えんぴつアイコン、705は面を描画するためのはけア
イコン、17は部品格納手段1で部品ライブラリ19に
格納するための部品格納アイコン、531は線を描くた
めのえんぴつカーソル、706は面を描くためのはけカ
ーソルである。なお、図11に示した点(a、b、・・
・、k)はそれぞブロック32d内の部品「はさみ」に
文字(a、b、・・・、k)を付けた位置に対応してい
る。
【0040】次に動作について説明する。えんぴつアイ
コン501を選択するとシステムはえんぴつカーソル5
31を表示する。そこでえんぴつカーソル531を移動
して線を描画する。次にはけアイコン705を選択する
とシステムははけカーソル706を表示する。そこでは
けカーソル706を移動して面を描画する。作成が終了
した場合は部品格納アイコン17で部品ライブラリ19
に部品「はさみ」を格納する。なおえんぴつカーソル5
31やはけカーソル706を用いた線や面の描画はブロ
ック32a、32b、32cにおいてもブロック32d
と同様にできる。
【0041】図13は部品「はさみ」の作成における意
味情報作成手段29の動作を説明するための説明図であ
る。図において、34は意味情報作成手段29により意
味的情報を作成するための意味情報作成ブロック、34
aは意味情報作成ブロック34内の属性表示用ブロッ
ク、34bは意味情報作成ブロック34内の属性値表示
用ブロック、34cは作成中の部品「はさみ」の意味情
報を表示する部品作成ブロック、512は属性の一つで
ある「素材」のアイコン、513は他の属性を選択する
ための「その他」のアイコン、514は素材512の属
性値の一つである「鉄」のアイコン、515は他の属性
値を選択するための「その他」のアイコン、516aは
属性を選択するときに表示される枠、516は選択され
た属性「素材」、517aは属性値を選択するときに表
示される枠、517は選択された属性値「鉄」、706
は部品ライブラリ19に作成した部品を格納するための
格納アイコンである。
【0042】次に動作について説明する。まず部品「は
さみ」の属性として属性表示用ブロック34aの中のア
イコンから「素材」のアイコン512を選択する。選択
する属性がなければ「その他」のアイコン513を選択
し必要な属性を入力する。属性「素材」のアイコン51
2を選択すると、部品作成ブロック34c内の枠516
aに属性「素材」516を表示するとともに、選択した
属性「素材」512に該当する属性値が属性値表示用ブ
ロック34bに表示される。次に部品「はさみ」の素材
は鉄であるので属性値表示用ブロック34bから「鉄」
のアイコン514を選択すると部品作成ブロック34c
内の枠517aに属性値「鉄」517を表示する。他の
属性値にする場合は「その他」のアイコン515を選択
し必要な属性値を入力する。作成が終了した場合は格納
アイコン706を選択することにより部品ライブラリ1
9に図9に図示された部品「はさみ」の意味情報が格納
される。
【0043】図14は部品「はさみ」18の作成におけ
る動き情報作成手段30の動作を説明するための説明図
である。図において、35は動きに関する情報を作成す
るための動き情報作成ウィンドウ、34aは属性表示用
ブロック、34bは属性値表示用ブロック、34cは部
品作成ブロック、519は属性である「動き」のアイコ
ン、520は他の属性を入力するための「その他」のア
イコン、521は「動き」のアイコン519の属性値
「回転」のアイコン、522は他の属性値を入力するた
めの「その他」のアイコン、523aは属性を選択する
ときに表示される枠、523は選択された属性である動
き、524aは属性値を選択するときに表示される枠、
524は選択中であり属性「動き」のアイコン519に
対応する属性値「回転」のアイコン、707は部品ライ
ブラリ19に作成した部品を格納するための格納アイコ
ンである。
【0044】次に動作について説明する。まず部品「は
さみ」の属性として属性表示用ブロック34aの中のア
イコンから「動き」のアイコン519を選択する。選択
する属性がなければ「その他」のアイコン520を選択
し必要な属性を入力する。属性「動き」のアイコン51
9を選択すると、部品作成ブロック34c内の枠523
aに属性「動き」523を表示するとともに、選択した
属性「動き」519に該当する属性値が属性値表示用ブ
ロック34bに表示される。次に部品「はさみ」の動き
には回転があるので属性値表示用ブロック34bから
「回転」のアイコン521を選択すると部品作成ブロッ
ク34c内の枠524aに属性値「回転」524を表示
する。他の属性値にする場合は「その他」のアイコン5
22を選択し必要な属性値を入力する。作成が終了した
場合は格納アイコン707を選択することにより部品ラ
イブラリ19に図9に図示された部品「はさみ」の意味
情報が格納される。
【0045】実施例3.図15から図31までの図は実
施例3を説明するための図である。上記実施例では操作
環境構築手段500で構築する部品における部品間の関
係は従来例と同様のものとして示したが、操作環境構築
手段500に部品間の視覚的関係を構築する手段および
部品間の意味的関係を構築する手段および部品間の動き
の関係を構築する手段を設けたものである。
【0046】図15は実施例3のユーザインタフェース
装置において操作環境を構築する操作環境構築手段50
0の構成図である。図において、532は操作環境に読
み込んだ部品間の視覚的関係を生成する視覚情報関係生
成手段、71は操作環境に読み込んだ部品間の意味的関
係を生成する意味関係生成手段、72は操作環境に読み
込んだ部品間の動きの関係を生成する動き関係生成手段
である。
【0047】図16は実施例3のユーザインタフェース
方法における操作環境構築工程s7の動作を示すフロー
チャートである。図において、ステップs1000は部
品間の視覚的関係を生成する視覚情報関係生成工程、ス
テップs14は部品間の意味的関係を生成する意味関係
生成工程、ステップs15は部品間の動きの関係を生成
する動き関係生成工程である。
【0048】次に動作について説明する。まず部品間の
視覚的関係を生成する(ステップs1000)。次に、
部品間の意味的な関係を生成する(ステップs14)。
次に、動きに関する関係を生成する(ステップs1
5)。
【0049】図17は実施例3における視覚情報関係生
成手段532の動作を説明するための説明図である。図
17(a)は操作環境に部品を読み込む前の図であり、
(b)は操作環境「デスクトップ」に部品を読み込んだ
後の図である。図において、21は操作環境を構築する
ための操作環境構築ウィンドウ、602は操作環境構築
ウィンドウ21内の部品を表示する部品表示ブロック、
609は操作環境構築ウィンドウ21内の操作環境構築
ブロック、713は操作環境構築ブロック609内の操
作環境「デスクトップ」、610は部品表示ブロック6
02内の部品「えんぴつ」、611は部品表示ブロック
602内の部品「はさみ」、612は部品表示ブロック
602内の部品「ふで」、613は部品表示ブロック6
02内の部品「ほん」、714は操作環境構築ブロック
609内の部品「えんぴつ」、715は操作環境構築ブ
ロック609内の部品「はさみ」、716は操作環境構
築ブロック609内の部品「ふで」、717は操作環境
構築ブロック609内の部品「ほん」である。
【0050】次に動作について説明する。まず操作環境
構築手段500により部品ライブラリ19に格納してあ
る部品を部品表示ブロック602に読み込み部品表示ブ
ロック602に表示する(図17(a))。次に部品表
示ブロック602で表示された部品を選択し、操作環境
「デスクトップ」713にの上にもっていく。選択され
た部品は反転表示され、選択した部品を部品ライブラリ
19から読み込み操作環境構築ブロック609内の操作
環境「デスクトップ」713の上に置く(図17
(b))。操作環境「デスクトップ」713の上に部品
を置くと、操作環境と部品の視覚的関係を変化させる。
この場合例えば操作環境「デスクトップ」713に配置
される部品が4個であるので各部品と操作環境「デスク
トップ」713との大きさの比を1対4に変化させる。
この例は操作環境と部品との視覚的関係を変化させた
が、部品間の視覚的関係も付加して変化させてもよい。
例えばえんぴつ715とほん717ではえんぴつ715
の方がかなり小さい。そこで各部品に部品間の視覚的関
係の情報をもたせ視覚的関係の微調整を行う。例えばえ
んぴつ715とほん717の大きさの比を1対5と記述
しておき、大きい方のほん717を基準にしてえんぴつ
715の大きさを5分の1にする。
【0051】図18は実施例3における操作環境構築手
段500の動作を説明するための説明図である。図にお
いて、532は操作環境構築手段500の実行時におけ
る操作環境構築ウィンドウ、602は部品ライブラリ1
9から読み込んだ部品を表示する操作環境構築ウィンド
ウ21内における部品表示ブロック、619は操作環境
構築手段500内において操作環境を構築する操作環
境、533および534および535は操作環境構築手
段500に読み込まれた部品であり、それぞれ「はさ
み」、「かみ」、「ごみばこ」である。536および5
37および538は操作環境構築ブロック619内の部
品「はさみ」および「かみ」および「ごみばこ」であ
る。23は操作環境格納手段14で構築した操作環境を
操作環境データベース25に格納するための操作環境格
納アイコンである。
【0052】次に動作について説明する。まず操作環境
に部品表示ブロック602から選択した部品である「は
さみ」533および「かみ」534および「ごみばこ」
535を操作環境619に読み込む。次に意味関係生成
工程および動き関係生成工程により操作環境に読み込ん
だ部品における部品間の意味的関係および動きに関する
関係を構築する。構築後操作環境格納アイコン23を押
すと操作環境619を操作環境データベース25に格納
する。
【0053】図19は実施例3における意味関係生成手
段71および動き関係生成手段72を説明するための説
明図である。図において、まず操作環境と部品間の意味
的関係および動きに関する関係を設定する(ステップs
1013)。次に部品間の意味的関係および動きに関す
る関係を設定する(ステップs1007)。次に部品と
実現機能との関係を設定する(ステップs1008)。
意味関係生成手段71はs1013およびs1007お
よびs1008を実行し、動き関係生成手段72はs1
013およびs1007を実行する。
【0054】図20は意味関係生成手段71および動き
関係生成手段72の行われる状況を説明するための説明
図である。図において、19は部品を格納する部品ライ
ブラリ、88および89は部品ライブラリ19に格納さ
れた部品「はさみ」および部品「かみ」、90は操作環
境構築ウィンドウ、22は操作環境構築ウィンドウ90
内にあり操作環境に部品を追加するための追加アイコ
ン、23は操作環境構築ウィンドウ90内にあり操作環
境を格納するための操作環境格納アイコン、93は操作
環境構築手段500で構築した操作環境「デスクトッ
プ」、25は操作環境を格納してある操作環境データベ
ース、95は操作環境データベース25に格納した操作
環境「デスクトップ」である。
【0055】部品ライブラリ19に格納されたはさみ8
8およびかみ89を追加アイコン22を選択して操作環
境構築手段500内の操作環境に読み込む。次に読み込
んだ部品に対して操作環境と部品の関係を設定するステ
ップs1013、部品間の関係を設定するステップs1
007、部品と機能の関係を設定するステップS100
8が実行される。次に操作環境格納アイコン23を選択
することにより構築したデスクトップ93が操作環境デ
ータベース25にデスクトップ95として格納される。
【0056】図21は操作環境と部品の関係を設定する
ステップs1013の動作を示すフローチャートであ
る。次に動作について説明する。部品格納手段1から操
作環境構築手段500に部品を読み込む(ステップs1
6)。次にステップs16で読み込んだ部品の属性を取
り出す(ステップs17)。次にステップs17で取り
出した属性が操作環境に必要な属性か否かを判定する
(ステップs18)。次に取り出した属性が必要な場合
はステップs20に進む。取り出した属性が必要でない
場合は、その属性を部品から削除する(ステップs1
9)。次に全ての属性についてその属性を取り出したか
か否かを判定し、全ての属性を取り出した場合はステッ
プs21に進む。全ての属性を取り出していない場合は
ステップs17に戻りステップs17からステップs2
0までの処理を繰り返す(ステップs20)。次に部品
の属性値を取り出す(ステップs21)。次にステップ
s21で取り出した属性値が操作環境に必要な属性値か
否かを判定する(ステップs22)。判定の結果その属
性値が必要な場合はステップs24に進み、属性値が必
要でない場合はステップs23に進む。次にその属性値
を部品から削除する(ステップs23)。次に全ての属
性値を取り出したか否かを判定し、全ての属性値を取り
出した場合は終了し、全ての属性値を取り出していない
場合はステップs21からステップs24までの処理を
繰り返す(ステップs24)。
【0057】図22は図21のフローチャートの動作を
説明するための説明図であり、部品「かみ」を操作環境
「デスクトップ」に読み込みを示している。図22
(a)は部品を操作環境内に読み込む前の部品であり図
22(b)は部品を操作環境に読み込んだ後の部品であ
る。図において、73は部品「かみ」、74はかみ73
の属性「用途」、75は用途74に対応する属性値「も
やす」、77は用途75に対応する「つつむ」、79は
用途74に対応する「ふく」、81は用途74に対応す
る「まるめる」である。
【0058】次に動作について説明する。まず「かみ」
73を操作環境「デスクトップ」に読み込む(ステップ
s16)。次に「かみ」73の属性「用途」74を取り
出す(ステップs17)。次に取り出した属性「用途」
73が操作環境「デスクトップ」に必要な属性か否かを
判定する(ステップ18)。この場合属性「用途」74
は操作環境「デスクトップ」に必要な属性である。そこ
でステップs20に進み全ての属性を取り出したか否か
を判定する(ステップs20)。この場合属性が「用
途」74一つであり全ての属性を取り出したのでステッ
プs21に進む。次に「かみ」73の属性値「もやす」
75を取り出す(ステップs21)。次に取り出した属
性値「もやす」75が操作環境「デスクトップ」に必要
な属性値か否かを判定する(ステップs22)。この場
合属性値「もやす」75は操作環境「デスクトップ」に
必要ない属性値であるので削除する(s23)。次に全
ての属性値を取り出したか否かを判定する(ステップs
24)。この場合全ての属性値を取り出していないので
ステップs21に進む。次に属性値「つつむ」77を取
り出す(ステップs21)。次に取り出した属性値「つ
つむ」77が操作環境「デスクトップ」に必要な属性か
否かを判定する(ステップs22)。この場合属性値
「つつむ」77は操作環境「デスクトップ」に必要な属
性なのでステップs24に進む。次に全ての属性値を取
り出したか否かを判定する(ステップs24)。この場
合全ての属性値を取り出してないのでステップs21に
進む。同様にして残りの属性を取り出して操作環境に必
要な属性値か否かを判定し、操作環境に不要な属性値を
部品から削除する。全ての属性に対する全ての属性値を
取り出した場合は処理を終了する。その結果この例では
属性値「もやす」75と属性値「ふく」79が削除され
属性値「つつむ」77と属性値「まるめる」81が残さ
れる。このようにして操作環境「デスクトップ」に部品
「かみ」73を入れることによりって部品「かみ」の意
味記述が修正される。なお、必要な属性および属性値か
否かの判定は例えば操作環境「デスクトップ」に必要な
属性および属性値を操作環境「デスクトップ」に記述し
ておき、これを参照し、操作環境「デスクトップ」に記
述されているか否かを判定する。
【0059】図23は部品間の関係を設定するステップ
s1007の動作を説明するためのフローチャートであ
る。次に動作を説明する。まず行為者となる部品の属性
「用途」を参照する(ステップs1001)。次に属性
「用途」に対応する動作の行為者と対象の条件を参照す
る(ステップs1002)。次に対象となる部品が実行
する部品の動作の条件に一致するか否かを判定する(ス
テップs1003)。対象となる部品が実行する部品の
動作の条件に一致する場合はステップs1004に進み
一致しない場合はステップs1005に進む。ステップ
s1004では属性および属性値を格納する。次に全て
の属性「用途」を参照したか否かを判定し(ステップs
1005)、全ての属性「用途」を参照していない場合
はステップs1001に戻り次の属性「用途」を参照す
る。以下この処理を繰り返す。全ての属性「用途」を参
照した場合はすべての処理を終了する。
【0060】図24から図27までの図は部品間の関係
を設定するステップs1007を説明するための説明図
である。図24は操作環境に読み込む前の部品の意味的
情報を説明するための説明図である。図において、96
は部品「はさみ」、97は「はさみ」96の属性「用
途」、98は属性「用途」97に対応する属性値「切
断」、99は部品「かみ」、100は「かみ」99の属
性「用途」、101は属性「用途」100に対応する属
性値「つつむ」、102は「かみ」99の属性の一つで
ある「素材」、103は属性「素材」102に対応する
属性値「紙」である。
【0061】図25は属性値「切断」98に対応する動
作「切断」に関する情報を説明するための説明図であ
る。図において、127は動作「切断」、128は「切
断」127の属性「意味的関係」、129は「意味的関
係」128に対応する属性値「行為者」、130は「行
為者」129に対応する変数「X」、131は変数
「X」130に対応する属性「用途」、132は「用
途」131に対応する属性値「切断」、133は「意味
的関係」128に対応する「対象」、134は「対象」
133に対応する変数「Y」、135は変数「Y」13
4の属性「素材」、136は「素材」135に対応する
「紙」、137は動作「切断」の属性「動きの関係」、
138は「動きの関係」137に対応する変数「X」、
139は変数「X」138に対応する「移動」、140
は「移動」139の属性「開始時刻」、141は「開始
時刻」140に対応する「接触」、142は「動きの関
係」137に対応する変数「Y」、143は変数「Y」
142に対応する「きる」、144は「きる」143の
属性「開始時刻」、145は「開始時刻」143に対応
する「接触」、146は変数「Y」142に対応する
「速度」、147は「速度」146に対応する「Xの移
動速度」である。
【0062】「動きの関係」137には動作を実行する
ための部品の動きに関する情報が記述されており、変数
「X」138に代入した「行為者」121は動作「移
動」139を行いその「開始時刻」140は「接触」1
41したときであるということを示している。また変数
「Y」142に代入した「対象」133は動作「きる」
143を行いその「開始時刻」144は「接触」145
した時点であり動作の「速度」146は変数「X」13
8に代入された「行為者」121の移動速度と同じであ
ることを示している。
【0063】図26は操作環境を構築した後の部品「は
さみ」96の意味的関係の情報および動きに関する関係
の情報を説明するための説明図である。図において、1
04は部品「はさみ」、105は部品「はさみ」104
の属性「意味的関係」、106は「意味的関係」105
の属性「かみ」、107は「かみ」106の属性「接
触」、108は「接触」107の属性値「切断」、10
9は「かみ」106の属性「接触」、110は「接触」
109の属性値「さす」、111は「かみ」116の属
性「非接触」、112は「非接触」111の属性値「不
干渉」、113は「はさみ」104の属性「動きの関
係」、114は「動きの関係」113の属性「かみ」、
115は「かみ」114の属性「切断」、116は「切
断」115の属性「機能」、117は「機能」116の
属性値「きる」、118は「切断」115の属性「開始
時刻」、119は「開始時刻」118の属性値「接
触」、120は「切断」115の属性「速度」、121
は「速度」120の属性値「はさみの移動速度」、12
2は「かみ」114の属性「さす」、123は「さす」
122の属性「機能」、124は「機能」123の属性
値「固定」、125は「さす」122の属性「開始時
刻」、126は「開始時刻」125の属性値「接触」で
ある。
【0064】「意味的関係」113および「かみ」11
4および「接触」119および「きる」117は「はさ
み」104と「かみ」114が「接触」119したとき
に、「かみ」114を「きる」117ことを示してい
る。また「接触」119および「さす」122は「接
触」126したときに、「かみ」114を「さす」12
2ことを示している。また「非接触」121および「不
干渉」112は「はさみ」104および「かみ」114
の「接触」126がなければ干渉しないことを示してい
る。
【0065】「動きの関係」113および「かみ」11
4および「切断」115および「機能」116および
「きる」117は「切断」115するときの「動きの関
係」113の記述であり、実現機能として「きる」11
7を使用することを示している。また「開始時刻」11
8および「接触」119は「きる」117を開始する時
刻が「接触」119するときであることを示しており、
「速度」120および「はさみの移動速度」121は
「きる」117の速度が「はさみの移動速度」121と
同じであることを示している。
【0066】「切断」115と同様に「さす」122も
「機能」123および「固定」124、「開始時刻」1
25および「接触」126は実現機能として「固定」1
24を使用し、開始する時刻は「接触」126するとき
であることを示している。
【0067】図27は操作環境を構築した後の部品「か
み」の意味的関係の情報および動きに関する関係の情報
を説明するための説明図である。図において、148は
部品「かみ」、149は部品「かみ」の属性「意味的関
係」、150は「意味的関係」149に対応する「はさ
み」、151は「はさみ」150の属性「接触」、15
2は「接触」151の属性値「つつむ」、153は「は
さみ」150の属性「非接触」、154は「非接触」1
53の属性値「不干渉」、155は「かみ」148の属
性「動きの関係」、156は「動きの関係」155の属
性「はさみ」、157は「はさみ」156の属性「つつ
む」、158は「つつむ」157の属性「機能」、15
9は「機能」158の属性値「包括」、160は「つつ
む」157の属性「開始時刻」、161は「開始時刻」
160の属性値「接触」である。
【0068】「かみ」148および「意味的関係」14
9および「はさみ」150および「接触」151および
「つつむ」152は「かみ」148が「はさみ」150
に「接触」151したら「はさみ」150を「つつむ」
152ことを示している。また「非接触」152および
「不干渉」153は「かみ」148の「はさみ」150
が「非接触」152においては「不干渉」153である
ことを示している。
【0069】「動きの関係」155および「はさみ」1
56および「つつむ」157および「機能」158およ
び「包括」159は「かみ」148は「はさみ」156
を「つつむ」157ときに実現機能として「包括」15
9を使用することを示している。また「開始時刻」16
0および「接触」161は「つつむ」157開始時刻が
「接触」161するときであることを示している。
【0070】次に動作について説明する。まず行為者と
なる部品「はさみ」96の属性「用途」97を参照する
(ステップs1001)。次に「用途」97に対応する
動作の行為者と対象の条件を参照する(ステップs10
02)。この場合「用途」97に対応する属性値は「切
断」98であるので図25の「用途」131に対応する
「切断」132と「素材」135に対応する「紙」13
6を参照する。「はさみ」96の属性「用途」97の属
性値に「切断」98があり、「かみ」99の属性「素
材」102の属性値に「紙」103があるので条件に一
致することがわかる(ステップs1003)。「はさ
み」96の属性「用途」97の属性値に「切断」98が
あり、「かみ」99の属性「素材」102の属性値に
「紙」103があるという条件に一致するのでステップ
s1004に進む。ステップs1004では「はさみ」
104の属性「意味的関係」105、その属性値「か
み」105、「接触」107、「切断」108、「非接
触」111、「不干渉」112と属性「動きの関係」1
13とその属性値「かみ」114、「切断」115、
「機能」116、「きる」117、「開始時刻」11
8、「接触」119、「速度」120、「はさみの移動
速度」121を「はさみ」104に格納する(ステップ
s1004)。次に全ての属性「用途」を参照したか否
かを判定し(ステップs1005)、全ての属性「用
途」を参照していない場合はステップs1001に戻り
次の属性「用途」を参照する。以下この処理を繰り返
す。全ての属性「用途」を参照した場合はこの処理を終
了する。その結果図26および図27に示した部品「は
さみ」104および部品「かみ」148の情報が得られ
る。
【0071】図28は部品と機能の関係を設定するステ
ップs1008の動作を説明するためのフローチャート
である。次に動作について説明する。まず構築する部品
の意味と機能の意味階層を対応付ける(ステップs2
5)。次に機能が複数の部品を持つか否かを判定する
(ステップs26)。機能が複数の機能の部品を持たな
い場合はステップs28に進む。機能が複数の部品を持
つ場合は部品を機能の意味階層の子供の機能と対応付け
を行い部品の意味を詳細化し(ステップs27)、処理
を終了する。。次に部品の機能を変数niと変数n1i
に代入する(ステップs28)。次に変数niに代入さ
れている部品の機能の親の機能を変数niに代入する
(ステップs29)。次に変数niに代入されている機
能の子供の機能を変数niに代入する(ステップs3
0)。次に変数niに代入されている機能が部品と対応
づけられているか否かを判定する(ステップs31)。
変数niに代入されている機能が部品と対応づけられて
いない場合はステップs33に進む。変数niに代入さ
れている機能が部品と対応づけられている場合は変数n
1iに代入されている機能に部品の機能を対応付けて
(ステップs32)、処理を終了する。次に変数niに
代入されている機能が機能の意味階層の末端か否かを判
定する(ステップs33)。変数niに代入されている
機能が機能の意味階層の末端でない場合はステップs3
0に戻る。変数niに代入されている機能が機能の意味
階層の末端である場合は変数niに代入されている機能
の親の機能を変数niに代入する(ステップs34)。
次に機能の意味階層で変数niに代入されている機能の
子供の機能を全部調べたか否かを判定する(ステップs
35)。変数niに代入されている機能の子供の機能を
全部調べていない場合はステップs30にもどる。変数
niに代入されている機能の子供の機能を全部調べた場
合は変数niに代入されている機能の意味階層の位置が
最上位か否かを判定する(ステップs36)。変数ni
に代入されている機能の意味階層の位置が最上位の場合
はその部品を機能の意味階層の最上位に対応付けて(ス
テップs37)、処理を終了する。変数niに代入され
ている機能の意味階層の位置が最上位でない場合は変数
niに代入されている機能が部品の先祖か否かを判定す
る(ステップs38)。変数niに代入されている機能
が部品の先祖でない場合はステップs34にもどる。変
数niに代入されている機能が部品の先祖である場合は
変数niに代入されている機能を変数n1iに代入して
ステップs34にもどり(ステップs39)、以下同様
の処理を繰り返す。
【0072】操作環境内に読み込まれた部品の数が多い
場合はそれだけ部品間の意味が集中し、部品の数が少な
い場合は部品間の意味が分散する可能性が高くなる。そ
こで部品の数が多い場合は意味階層を降りることにより
集中した部品の持つ意味をより具体的に記述する。また
部品の数が少ない場合は意味階層を登ることにより部品
の持つ意味をより抽象度を上げて記述する。
【0073】図29から図31までの図は図28のフロ
ーチャートの動作を説明するための説明図である。図2
9は実現機能と部品の意味的関係と実現機能の意味階層
構造を説明するための説明図であり、操作環境「デスク
トップ」で行われると思われる実現機能を中心に構造化
したものである。図において、162は階層構造の最上
位「処理」、163は部品「黒えんぴつ」、164は黒
えんぴつ163と対応し、書体をゴシックとし文字色を
黒にする末端の実現機能である「黒ゴシックでかく」、
165は部品「ふで」、166はふで165と対応し、
書体を毛筆にする末端の実現機能である「毛筆でか
く」、167は部品「けしごむ」、168はけしごむ1
67と対応し、文字をけす実現機能である「文字をけ
す」、169は部品「電卓」、170は電卓169と対
応し、数値計算を行う実現機能である「数値計算」、1
71は部品「かみ」、172はかみ171と対応し、も
のをつつむ実現機能である「つつむ」、540は実現機
能である「黒ゴシックでかく」164や実現機能である
「毛筆でかく」166の親の実現機能である「かく」、
800は部品「はさみ」、801ははさみ800に対応
し、切断する末端の実現機能である「きる」、802は
部品「ごみばこ」、803はごみばこ802に対応し、
捨てる末端の実現機能である「すてる」、804は実現
機能である「すてる」803の親の実現機能である「消
去」、805は「かく」540や「きる」801の親の
実現機能である「作成」である。実現機能は階層構造を
成しており、先祖の方にいくほど機能が抽象化されてお
り、子孫の方にいくほど機能は詳細化されている。上位
の機能と部品を対応づければ部品はより抽象的な機能を
持ち、末端の機能と対応づければより具体的な機能を持
つ。
【0074】図30は部品間の意味情報が集中した場合
の処理を説明するための説明図であり、意味情報が集中
した部品を構築する前と構築した後の部品の意味情報を
説明するための説明図である。図において、173は部
品「えんぴつ」、174はえんぴつ173の属性「用
途」、175は用途174に対応する属性値「かく」、
176は部品「ふで」、177はふで176の属性「用
途」、178は用途177に対応する属性値「かく」、
180は操作環境格納手段14内の部品「えんぴつ」、
181はえんぴつ180の属性「用途」、182は用途
181に対応する属性値「かく」、183はかく182
の属性「対象」、184は対象183に対応する属性値
「文字」、185はかく182の属性「対象」、186
は対象185に対応する属性値「線」、187はかく1
82の属性「書体」、188は書体187に対応する属
性値「ゴシック」、189は操作環境格納手段14内の
部品「ふで」、190はふで189の属性「用途」、1
91は用途190に対応する属性値「かく」、192は
かく191の属性「対象」、193は対象192に対応
する属性値「文字」、194はかく191の属性「対
象」、195は対象194に対応する属性値「絵」、1
96はかく191の属性「書体」、197は書体196
に対応する属性値「毛筆」である。
【0075】「えんぴつ」173と「ふで」176は同
じ属性値「かく」175および「かく」178を持って
いるので、部品間の関係を記述するときに「えんぴつ」
173および「ふで」176の属性および属性値を具体
化して記述する必用がある。
【0076】次に動作について説明する。まず「えんぴ
つ」173と「ふで」176の実現機能である「かく」
175と「かく」178を図29の実現機能の意味階層
に対応づける(ステップs25)。次に実現機能「か
く」が「えんぴつ」173と「ふで」176の二つの部
品を持つのでステップs27に進む(ステップs2
6)。次に「えんぴつ」173を「黒ゴシックでかく」
164に、「ふで」176を「毛筆でかく」166にそ
れぞれ対応づけ(ステップs27)、処理を終了する。
この結果「えんぴつ」180と「ふで」189は具体化
された実現機能である「黒ゴシックでかく」164と
「毛筆でかく」166に対応づけられる。
【0077】図31は部品間の意味情報が分散する場合
に部品の意味情報を抽象化する場合、「ふで」および
「はさみ」および「ごみばこ」を操作環境に読み込んだ
ときの部品の意味情報を読み込む前と読み込んだ後の変
化を説明するための説明図である。図において、165
は読み込む前の部品「ふで」、204は「ふで」165
の属性「用途」、166は「用途」204に対応する属
性値「毛筆でかく」、206は「用途」204の属性
「対象」、207は「対象」206に対応する属性値
「文字」、208は「用途」204の属性「対象」、2
09は「対象」208に対応する属性値「絵」、210
は「用途」204の属性「書体」、211は「対象」2
10に対応する属性値「毛筆」、213は「ふで」16
5の属性「用途」、540は「用途」213に対応する
属性値「かく」、800は部品「はさみ」、542は属
性「用途」、801は「用途」542に対応する属性値
「きる」、545は属性「用途」、802は部品「ごみ
ばこ」、216はごみばこ802の属性「用途」、80
3は「用途」216に対応する属性値「すてる」、21
8は「ごみばこ」802の属性「用途」、804は「用
途」218に対応する属性値「消去」である。
【0078】次に動作について説明する。まず部品「ふ
で」165と部品「はさみ」800と部品「ごみばこ」
802の持つ意味をそれぞれ実現機能「毛筆でかく」1
66と「きる」801と「すてる」803に対応づける
(ステップs25)。次にステップs25で部品に対応
づけた実現機能「毛筆でかく」166と「きる」801
と「すてる」803がそれぞれ複数の部品を持つか否か
を判定し(ステップs26)、機能が複数の部品を持た
ないのでステップs28に進む。次に変数niとn1i
に「ふで」165と「はさみ」800と「ごみばこ」8
02に対応づけた実現機能「毛筆でかく」166と「き
る」801と「すてる」803を代入する(ステップs
28)。次に変数niに代入された実現機能の親の機能
「かく」540と「作成する」805と「消去」804
を変数niに代入する(ステップs29)。次に変数n
iに代入された実現機能の子供の機能「黒ゴシックでか
く」164と「きる」801と「すてる」803を変数
niに代入する(ステップs30)。次に変数niに代
入された実現機能「黒ゴシックでかく」164と「き
る」801と「すてる」803が他の部品を持たないの
でステップs33に進む。ステップs33では変数ni
に代入された実現機能「黒ゴシックでかく」164と
「きる」801と「すてる」803は末端の実現機能で
あるのでステップs34に進む。次に変数niに代入さ
れている実現機能「黒ゴシックでかく」164と「き
る」801と「すてる」803の親の機能「かく」54
0と「作成する」805と「消去」804を変数niに
代入する(ステップs34)。次に変数niに代入され
ている実現機能「かく」540と「作成する」805と
「消去」804の子供の機能について部品を持つか否か
を調べていないので、ステップs30に戻る(ステップ
s35)。以下同様の処理を繰り返し、実現機能「作
成」805の子孫の実現機能に対応する部品を調べた結
果、ステップs31において実現機能「きる」803が
部品「はさみ」800を持つので、部品「ふで」165
をn1iに代入されている実現機能「かく」540と対
応させて(ステップs32)、処理を終了する。
【0079】また「はさみ」800についても同様の処
理を行うが、「ふで」165と同様に変数niとn1i
に実現機能「きる」801を代入し(ステップs2
8)、変数niに代入された実現機能「きる」801の
親の実現機能「作成」805をniに代入する(ステッ
プs29)。そこで実現機能「作成」805の子孫の実
現機能に対応する部品を調べた結果、ステップs31に
おいて実現機能「かく」540が部品「ふで」165を
持つので、部品「はさみ」800をn1iに代入された
実現機能「きる」801と対応させて(ステップs3
2)、処理を終了する。
【0080】さらに「ごみばこ」802についても同様
の処理を行い、n1iに実現機能「消去」804が代入
され、実現機能「処理」162の子孫の実現機能に対応
する部品を調べた結果、ステップs31において実現機
能「かく」540および「きる」801が部品「ふで」
165および「はさみ」800を持つので、部品「ごみ
ばこ」802をn1iに代入された実現機能「消去」8
04と対応させて(ステップs32)、処理を終了す
る。
【0081】その結果、図31に示したように、部品
「ふで」212には実現機能「かく」214が、部品
「はさみ」544には実現機能「きる」546が、部品
「ごみばこ」217には実現機能「消去」219がそれ
ぞれ対応する。
【0082】実施例4.図32から図34までの図は実
施例4の部品作成工程s4を説明するための説明図であ
る。上記実施例では部品作成工程s4は新規に部品を作
成する工程だけであったが、本実施例では部品作成工程
s4に既存の部品を修正する工程を設けたものである。
【0083】図32は部品を修正する工程を設けた部品
作成工程s4の動作を説明するためのフローチャートで
ある。図において、ステップs4は部品を新規に作成す
る部品作成工程、ステップs42は既存の部品を修正し
部品を作成する部品修正工程である。
【0084】次に動作について説明する。まず部品を新
規に作成するか既存の部品を修正するか否かを判定する
(ステップs40)。部品を新規に作成する場合は部品
作成工程s4で新規に部品を作成する(ステップs4
1)。部品を既存の部品を修正する場合は部品修正工程
で部品を修正し部品を作成する(ステップs42)。
【0085】図33は部品修正工程s42の動作を説明
するための説明図である。図において、32aと32b
は部品を作成する部品作成手段13の部品作成ウィンド
ウ、221と223は部品作成手段13で作成中の部品
「はさみ」、19は部品を格納する部品ライブラリ、2
25と226は部品ライブラリ19に格納した部品「は
さみ」、621は部品作成ウィンドウ32b内にある部
品を切断するためのカッターアイコン、622は部品を
切断するためのカッターカーソル、623ははさみ22
3をカッターカーソル622を使用して切断した切断
部、811は作成した部品を部品ライブラリ19に格納
するための格納アイコン、812は部品ライブラリ19
に格納された部品を部品作成ウィンドウに読み込むため
の読み込みウィンドウである。
【0086】次に動作について説明する。部品作成ウィ
ンドウ32aで作成したはさみ221は格納アイコン8
11を選択し部品ライブラリ19にはさみ225として
格納する。次に読み込みアイコン812を選択すると部
品ライブラリ19に格納したはさみ225を部品作成ウ
ィンドウ32bに読み込む。部品作成ウィンドウ32b
に読み込んだはさみ225をカッターカーソル622を
動かすことにより切断して切断部623を修正する。格
納アイコン32bを選択すると修正したはさみ223は
部品ライブラリ19にはさみ226として格納する。
【0087】図34は部品修正工程s42において意味
情報作成手段29に対応する部品の意味的情報の修正の
動作を説明するための説明図である。図において、19
は部品格納工程s5で部品を格納した部品ライブラリ、
592は部品ライブラリ19が格納した部品「はさ
み」、593は部品ライブラリ19で格納した部品「は
さみ」、594は部品の修正が可能な部品作成手段13
の意味情報作成ブロック、595は選択された部品の属
性「素材」、596は元の部品の属性値「鉄」、597
は新たに選択された部品の属性値「プラスチック」、5
98は部品作成手段13で修正中の部品「はさみ」、5
99ははさみ598の属性「素材」、600は現在修正
中の属性「素材」599の属性値「鉄」、17は意味情
報作成ブロック594内にある部品格納アイコン、62
4は修正後の部品「はさみ」の属性「素材」595の属
性値「プラスチック」、820は部品を部品ライブラリ
19から部品作成ウィンドウに読み込むための読み込み
アイコン、821は部品ライブラリ19に格納された部
品を表示するための部品表示ブロックである。
【0088】次に動作について説明する。読み込みアイ
コン820を選択すると部品ライブラリ19内の部品
「はさみ」592を部品修正工程s42内に部品「はさ
み」598として読み込み、はさみ598の属性「素
材」599の属性値「鉄」600を選択する。属性値
「鉄」600を選択すると選択した属性値「鉄」600
に対する属性「素材」595に対応する属性値が属性値
表示ブロック821に表示される。その中からプラスチ
ック597を選択する。その結果属性「素材」も599
の属性値が「プラスチック」624に修正される。修正
が終了し部品格納アイコン17を選択するとはさみ59
8は部品ライブラリ19にはさみ593として格納され
る。なお、動きに関する情報についても同様に修正する
ことができる。
【0089】以上のようにして、既存の部品を流用して
部品を作成することで部品の作成の効率化を図ることが
できる。
【0090】実施例5.図35から図37までの図は操
作環境の修正が可能な操作環境構築工程s7の動作を説
明するための説明図である。上記実施例では操作環境構
築工程s7は部品を組み込み操作環境を構築する工程を
示したが、本実施例では操作環境構築工程s7に部品を
追加および削除し操作環境を修正する工程を設けたもの
である。
【0091】図35は操作環境を修正することが可能な
操作環境構築工程s7の動作を説明するためのフローチ
ャートである。図において、ステップs7は操作環境を
新規に構築する操作環境構築工程、ステップs46は既
存の操作環境に部品を追加することにより操作環境を修
正する部品追加工程、ステップs47は既存の操作環境
から部品を削除することにより操作環境を修正する部品
削除工程である。
【0092】次に動作について説明する。まず操作環境
の構築を新規に行うかそれとも操作環境を新規に作成す
るか修正するかを判定する(ステップs43)。操作環
境を新規に構築する場合は操作環境構築工程で新規に操
作環境を構築する(ステップs7)。操作環境を修正す
る場合には操作環境に部品を追加するか削除するかを判
定する(ステップs45)。操作環境に部品を追加する
場合は部品を追加する部品追加工程を行う(ステップs
46)。操作環境から部品を削除する場合は操作環境か
ら部品を削除する部品削除工程を行う(ステップs4
7)。
【0093】図36は部品追加工程s46の動作を説明
するための説明図であり、図において、19は部品を格
納してある部品ライブラリ、25は操作環境データベー
ス、21は操作環境構築工程s7により表示される操作
環境構築ウィンドウ、602は部品ライブラリ19から
読み込んだ部品を表示する部品表示ブロック、232は
部品「とけい」、233は操作環境データベース25か
ら読み込んだ操作環境を表示する操作環境表示ブロッ
ク、234および235は操作環境「デスクトップ」お
よび操作環境「ルーム」、236は操作環境構築工程s
7で構築した操作環境「オフィス」、237は操作環境
「オフィス」236を操作環境データベース25に格納
した操作環境「オフィス」である。
【0094】次に動作について説明する。部品追加工程
s46では、部品ライブラリ19から部品表示ブロック
602内にとけい232等を読み込み、操作環境データ
ベース25から操作環境表示ブロック233内にデスク
トップ234およびルーム235を読み込む。操作環境
表示ブロック233からルーム235およびデスクトッ
プ234を選択し操作環境構築ブロックに読み込む。次
に部品表示ブロック602内の部品とけい232を選択
し操作環境構築ブロック内の操作環境に追加する。操作
環境構築ブロック内の操作環境および部品間の関係を記
述してオフィス236を構築する。部品間と操作環境お
よび部品間の関係を再構築した後オフィス236を操作
環境データベース25にオフィス237として格納す
る。
【0095】図37は部品削除工程s47における部品
を削除する動作を説明するための説明図である。図37
において、25は操作環境データベース、238と23
9は操作環境データベース25に格納された操作環境
「オフィス」、21は操作環境構築手段500の操作環
境を表示する操作環境構築ウィンドウ、241は操作環
境構築手段500の表示画面240内にある部品削除ア
イコン、242は操作環境構築手段500で修正した操
作環境「オフィス」、243は操作環境「オフィス」2
42内の部品「えんぴつ」である。
【0096】次に動作について説明する。部品削除工程
s47では、操作環境データベース25から操作環境構
築手段500に読み込み操作環境構築ウィンドウ21内
にある部品「えんぴつ」243を部品削除アイコン24
1を選択した後指定することにより操作環境「オフィ
ス」242から削除する。部品間と操作環境および部品
間の関係を再構築した後オフィス242を操作環境デー
タベース25に操作環境「オフィス」239として格納
する。
【0097】以上のように、既存の操作環境を流用して
操作環境を構築することができるので操作環境の構築の
効率化を図ることができる。
【0098】実施例6.図38から図41までの図は操
作環境を階層構造に構築することを説明するための説明
図である。本実施例では操作環境構築手段500により
操作環境を構築する際に操作環境と操作環境および部品
間を階層構造にしたものである。
【0099】図38および図39は操作環境に子供の操
作環境を追加する動作を説明するための説明図である。
図38は構築された操作環境の階層構造を説明するため
の説明図であり、図38(a)は子供の操作環境を追加
する前の操作環境の階層構造を示す図であり、図38
(b)は子供の操作環境を追加した後の操作環境の階層
構造を示す図であり、図38(c)はさらに子供の部品
を追加した後の操作環境の階層構造を示す図である。図
において554は操作環境で最上位に位置する操作環境
「オフィス」、555はオフィス554の子供の操作環
境「デスクトップ」、556はオフィス554の子供の
部品「ごみばこ」、557はデスクトップ554の子供
の部品「はさみ」、558はデスクトップ554の子供
の部品「かみ」、559はデスクトップ554の子供の
部品「えんぴつ」である。なお、四角で囲んだものが操
作環境で丸で囲んだものが部品を表している。
【0100】図39は図38の操作環境「オフィス」5
54を階層構造に構築する動作を説明するための説明図
である。図において、554は操作環境「オフィス」、
555は操作環境「デスクトップ」、556は部品「ご
みばこ」、557は部品「はさみ」、558は部品「か
み」、559は部品「えんぴつ」である。
【0101】次に動作について説明する。まず「オフィ
ス」554を操作環境構築手段500により操作環境と
して操作環境構築ブロック内に読み込む。次に「デスク
トップ」555を「オフィス」554の中に入れること
により「デスクトップ」555は「オフィス」554の
子供の操作環境として組み込まれる。従って「デスクト
ップ」555の子供の部品「はさみ」557および「か
み」558も自動的に「デスクトップ」555の子供の
部品として「オフィス」554に組み込まれる。さら
に、「デスクトップ」555の上に「えんぴつ」559
を置くことにより「えんぴつ」559は「デスクトッ
プ」555の子供の部品として組み込まれる。
【0102】図40および図41は階層構造に構築され
た操作環境の削除を説明するための説明図である。図4
0は操作環境から子供の操作環境を削除する前と削除し
た後の階層構造を説明するための説明図である。図40
(a)は操作環境から子供の操作環境を削除する前の操
作環境であり、図40(b)は操作環境から子供の操作
環境を削除した後の操作環境である。554は最上位の
操作環境「オフィス」、555はオフィス554の子供
の操作環境「デスクトップ」、556はオフィス554
はの子供の部品「ごみばこ」、557はデスクトップ5
55の子供の部品「はさみ」、558はデスクトップ5
55の子供の部品「かみ」、559はデスクトップ55
5の子供の部品「えんぴつ」である。
【0103】図41は階層構造に構築された操作環境か
ら子供の操作環境を削除することを説明するための説明
図である。図において、573は操作環境構築ウィンド
ウ、241は操作環境構築ウィンドウ573内の削除ア
イコン、555は点線で表示され削除される操作環境
「デスクトップ」、557は部品「はさみ」、558は
部品「かみ」、559は部品「えんぴつ」である。
【0104】操作環境構築ウィンドウ573の削除アイ
コン241を選択し、デスクトップ555を指定するこ
とによりデスクトップ555をオフィス554から削除
することができる。デスクトップ575を削除するとデ
スクトップ575の持つ子供の部品「はさみ」557お
よび「かみ」558および「えんぴつ」559も一緒に
削除される。
【0105】実施例7.図42から図59までの図は操
作環境利用手段15を説明するための説明図である。本
実施例では操作環境利用手段15に操作環境利用手段1
5を利用する利用者の操作履歴を格納する手段および利
用者の情報を格納する手段および利用者の意図を解析す
る手段および利用者に応じて自動的に操作環境を適応さ
せる手段およびタスク情報を格納する手段および部品の
動きを生成する手段および利用者が利用する機能を実行
する手段および操作環境を管理する手段を設けたもので
ある。
【0106】図42は実施例7の操作環境利用手段15
の構成図である。図において、271は操作環境利用手
段15を利用する利用者の操作履歴を格納する操作履歴
格納手段、272は操作環境利用手段15を利用する利
用者の情報を格納する利用者情報格納手段、625は操
作環境利用手段15を利用する利用者の行うタスクの意
味や手続きを格納するタスク情報格納手段、273は操
作環境利用手段15を利用する利用者の意図を解析する
意図解析手段、274は操作環境利用手段15を利用す
る利用者に応じて自動的に適合させる個人適応手段、2
75は操作環境内で上記部品の動きを生成する動き生成
手段、576はアプリケーションの機能を実行する機能
実行手段、14は操作環境利用手段15で利用する操作
環境利用手段15の外にあり、操作環境を格納する操作
環境格納手段、276はアプリケーションの機能と操作
環境の部品の対応づけを行って上記操作環境利用手段1
5内の各手段を制御して操作環境を管理する操作環境管
理手段である。
【0107】図43は実施例7の操作環境構築工程s1
0の動作を示すフローチャートである。図において、ス
テップs750は操作環境内の部品と実現機能とを対応
付ける機能結合工程、ステップs548は操作環境の利
用者の行うタスクの意味や手続きを格納するタスク情報
格納工程、ステップs53は操作環境管理工程に操作環
境の利用者の入力情報を読み込む利用者入力工程、ステ
ップs54はステップs53で読み込んだ利用者の入力
情報を操作環境格納工程において格納する操作履歴格納
工程、ステップs55はステップs53で読み込んだ利
用者の入力情報から利用者の意図を解析する意図解析工
程、ステップs56はステップs55で解析した利用者
の意図を利用者に合わせた機能に適応する個人適応工
程、ステップs57はステップs53で読み込んだ利用
者の入力情報およびステップs55で解析した利用者の
意図およびステップs56で適応させた個人情報を格納
する利用者情報格納工程、ステップs550はステップ
s55およびステップs56で推定し適応したアプリケ
ーションの機能を実行する機能実行工程、ステップs5
8はステップs55で推定したアプリケーションの機能
およびステップs56で適応させたアプリケーションの
機能を動画に変換する動画生成工程、ステップs59は
ステップs58で変換した動画をディスプレイに表示す
る表示工程である。
【0108】次に動作について説明する。まず部品と実
現機能とを対応付ける(ステップs750)。次に操作
環境の利用者の行うタスクの意味や手続きを格納する
(ステップs548)。操作環境管理工程に操作環境の
利用者の入力情報を読み込む(ステップs53)。次に
ステップs53で読み込んだ利用者の入力情報を操作履
歴格納工程において格納する(ステップs54)。次に
ステップs53で読み込んだ利用者の入力情報から利用
者の意図を解析する(ステップs55)。次にステップ
s55で解析した利用者の意図を利用者に合わせた機能
に適応する(ステップs56)。次にステップs53で
読み込んだ利用者の入力情報およびステップs55で解
析した利用者の意図およびステップs56で適応させた
個人情報を利用者情報格納工程で格納する(ステップs
57)。次にステップs55およびステップs56で推
定し適応したアプリケーションの機能を実行する(ステ
ップs550)。次にステップs55で推定したアプリ
ケーションの機能およびステップs56で適応させたア
プリケーションの機能を動き生成工程で動画に変換する
(ステップs58)。次にステップs58で変換した動
画をディスプレイに表示する(ステップs59)。
【0109】図44から図47までの図は機能結合工程
s750の動作を説明するための説明図である。図44
は機能結合工程s750の動作を説明するためのフロー
チャートである。まず変数Tに無限大を代入する(ステ
ップs751)。次に部品iと実現機能jとの距離をす
べての組み合せについて求める(ステップs48)。次
に全ての部品i一つ一つに実現機能jを一つづつ割り当
てる(ステップs49)。次にステップs49で割り当
てた全ての部品iと実現機能jとの距離の和Sを求める
(ステップs50)。次に変数Tと距離の和Sに入って
いる値の小さいほうを変数Tに代入する(ステップs7
52)。次に部品iと実現機能jの間での組み合せをす
べて行ったか否かを判定する(ステップs51)。部品
iと実現機能jの間での組み合せをすべて組み合わせて
いない場合はステップs49にもどりこの処理を繰り返
す。部品iと実現機能jの間での組み合せをすべて行っ
た場合はこの処理を終了する。このようにして距離の和
が最小となる部品iと実現機能jとの組み合せを求める
ことができる。そして距離の和が最小となる部品iと実
現機能jを組み合わせて操作環境とアプリケーションと
の対応づけを行う。
【0110】図45から図47までの図は図44で説明
したフローチャートの動作を説明するための説明図であ
る。図45は部品の意味と実現機能の意味階層を説明す
るための説明図であり、図29の一部を拡大した図であ
る。図において、540は実現機能「かく」、166は
末端の実現機能「毛筆でかく」、165は部品「ふ」で
ある。
【0111】部品の意味と実現機能との距離は実現機能
の意味階層において、部品と実現機能の間のリンクの数
によって決定する。部品が「ふで」165であり実現機
能が「かく」540であるならば、「ふで」165から
「かく」540をリンクをたどって到達するには「ふ
で」165および「毛筆でかく」166のリンクと「毛
筆でかく」166および「かく」540の2本のリンク
をたどらなければならない。従って部品「ふで」165
と実現機能「かく」540の間の距離は2本のリンクを
たどることから「2」となる。
【0112】図46はアプリケーションの実現機能と部
品の対応付けを表したものである。図46(a)はアプ
リケーションの機能と部品の表であり、図46(b)は
アプリケーションの機能と部品の組み合せとその組み合
わせたリストに対する距離を示したものである。図にお
いて、251はアプリケーションの機能の一つである
「かく」、252はアプリケーションの機能の一つであ
る「消去」、253はアプリケーションの機能の一つで
ある「計算する」、254は部品の一つである「万年
筆」、255は部品の一つである「けしごむ」、256
は部品の一つである「電卓」、259は機能と部品の組
み合せの一つである「かく−万年筆(2)、消去−けし
ごむ(3)、計算する−電卓(2)」であり、かっこの
中の数字は部品と実現機能との距離である。260は
「かく−万年筆(2)、消去−けしごむ(3)、計算す
る−電卓(2)」259の距離の和「7」、261は機
能と部品の組み合せの一つである「かく−けしごむ
(4)、消去−電卓(4)、計算する−万年筆
(4)」、262は「かく−けしごむ(4)、消去−電
卓(4)、計算する−万年筆(4)」261の距離の和
「12」である。
【0113】3つの実現機能と3つの部品の組み合せの
総数は6通りある。この6通りの組み合せにおいてそれ
ぞれの部品と実現機能との距離の和を計算し比較する。
本実施例の定義によれば、比較した結果距離が最小とな
る組み合せは、組み合わせた実現機能と部品の意味的関
係が一番強くなる。この場合「かく−万年筆(2)、消
去−けしごむ(3)、計算する−電卓(2)」259の
とき距離が「6」260となりこの中で最小となる。よ
ってこの実現機能と部品の組み合せが最適であることを
示している。
【0114】図47は部品と実現機能との距離を説明す
るための説明図である。図において、625は実現機能
「かく」、626は部品「万年筆」、627は実現機能
「消去」、628は部品「けしごむ」、629は実現機
能「計算する」、630は部品「電卓」、710は距離
「d(かく、万年筆)」、711は距離「d(消去、万
年筆)」、712は距離「d(かく、けしごむ)」であ
る。距離「d(描く、万年筆)」710は実現機能「か
く」625と部品「万年筆」626の距離である。同様
に距離「d(消去、万年筆)」711は実現機能「消
去」と部品「万年筆」626の距離、距離「d(かく、
けしごむ)」712は実現機能「かく」625と部品
「けしごむ」の距離である。実現機能と部品の数が3個
ずつの場合は実現機能と部品はそれぞれ3個ずつ部品と
実現機能と組み合わせることができる。そのすべての組
み合せの距離、例えば「d(かく、万年筆)」710や
「d(消去、万年筆)」711や「d(かく、けしご
む)」712などを計算する。
【0115】次に動作について説明する。まず変数Tに
無限大を代入する(ステップs751)。次に図46
(a)に記述されたアプリケーションの機能「かく」2
51、「消去」252、「計算する」253と部品「万
年筆」254、「けしごむ」255、「電卓」256の
距離「d(かく、万年筆)」710、「d(消去、万年
筆)」711の距離をすべて求める(ステップs4
8)。例えば、「ふで」165と「かく」540の距離
は部品「ふで」165から実現機能「かく」540にい
たるリンクが2本あるので距離は「2」となる。次に全
ての部品iに対してアプリケーションの機能jを割り当
てる(ステップs49)。次に3個ずつのアプリケーシ
ョンの機能と部品間の組み合せごとに距離の和Sを図4
6(b)に示すように求める(ステップs50)。例え
ば、「かく−万年筆(2)、消去−けしごむ(3)、計
算する−電卓(2)」259の組み合せの場合はd(か
く、万年筆)が距離「2」、d(消去、けしごむ)が距
離「3」、d(計算する、電卓)が距離「2」であるか
ら距離の和Sは「7」260となる。また「かく−けし
ごむ(4)、消去−電卓(4)、計算する−万年筆
(4)」261の組み合せの場合はd(かく、けしご
む)が距離「4」、d(消去、電卓)が距離「4」、d
(計算する、万年筆)が距離「4」であるから距離の和
Sは「12」262となる。次に変数TにTとSのうち
小さい方を代入する(ステップs752)。この場合、
Tに距離「7」260、Sに距離「12」262である
と仮定すると左辺のTには小さい方の距離「7」260
が代入される。部品iとアプリケーションの機能jの組
み合せについて距離の和Sをすべて求めるまでこの処理
を実行し(ステップs51)部品iとアプリケーション
の機能jの組み合せについて距離の和Sをすべて求めた
場合は終了する。この場合距離の最も小さな組み合せ
「かく−万年筆(2)、消去−けしごむ(3)、計算す
る−電卓(2)」259が選ばれ、距離Tは「7」26
0となる。
【0116】図44のステップs48を実行した後の部
品と実現機能の対応づけの処理は部品と実現機能との組
み合せの距離の和が最小となる組み合せを求める方法を
用いたが、すべての部品に対してまず部品iを固定しす
べての実現機能jとの距離d(i、j)のうち距離の小
さい順から所定の個数まで部品iと実現機能jを対応づ
ける方法を用いてもよい。
【0117】図44のステップs48を実行した後の部
品と実現機能の対応づけの処理は部品と実現機能との組
み合せの距離の和が最小となる組み合せを求める方法を
用いたが、すべての実現機能jに対してまず実現機能j
を固定しすべての実現機能jとの距離d(i,j)のう
ち距離の小さい順から所定の個数まで実現機能jと部品
iを対応付ける方法を用いてもよい。
【0118】図44のステップs48を実行した後の部
品と実現機能の対応づけの処理は部品と実現機能との組
み合せの距離の和が最小となる組み合せを求める方法を
用いたが、すべての部品に対してまず部品iを固定しす
べての実現機能jとの距離d(i、j)のうち距離の小
さい順から所定の距離まで部品iと実現機能jを対応づ
ける方法を用いてもよい。
【0119】図44のステップs48を実行した後の部
品と実現機能の対応づけの処理は部品と実現機能との組
み合せの距離の和が最小となる組み合せを求める方法を
用いたが、すべての実現機能jに対してまず実現機能j
を固定しすべての実現機能jとの距離d(i,j)のう
ち距離の小さい順から所定の距離まで実現機能jと部品
iを対応付ける方法を用いてもよい。
【0120】機能と部品の組み合せを図29の意味階層
における距離を使用することにより、より部品と機能を
意味的に近づけることが可能になり、利用者により分か
りやすい機能を提供することができる。また、自動的に
部品と機能の対応づけを行うことができるので部品と機
能の対応づけの効率化を図ることができる。
【0121】図48は意図解析工程s55と個人適応工
程s56の動作を説明するためのフローチャートであ
る。次に動作について説明する。まず利用者の希望する
機能を限定する(ステップs1010)。次に機能を推
定する(ステップs1011)。次に利用者のレベルに
応じて機能を変更する(ステップs1012)。なお、
ステップs1010は意図解析工程s55であり、ステ
ップs1011およびステップs1012は個人適応工
程s56の処理である。
【0122】図49は機能の限定ステップs1010の
動作を示すフローチャートである。図において、まず操
作履歴格納工程から利用者の操作履歴を参照する(ステ
ップs60)。次にタスクモデルを参照する(ステップ
s61)。次にステップs60で参照した図50の対象
279を図51の部品294として使用する図51の機
能293およびタスク292を検索し、利用者が次に行
う機能293や部品294を推定する(ステップs6
2)。
【0123】図50から図52までの図に示す機能の限
定ステップs1010を説明するための説明図である。
図50は操作履歴格納手段271に格納する利用者の操
作履歴を説明するための説明図である。図において、2
80は操作履歴の順番「4」、281は順番「4」28
0に対応した操作「ドラッグ」、282は順番「4」2
80に対応した操作対象「はさみ」、283は順番
「3」、284は順番「3」283に対応した操作「タ
イプ」、285は順番「3」283に対応した対象「キ
ーボード」、286は順番「2」、287は順番「2」
286に対応した操作「クリック」、288は順番
「3」286に対応した対象「紙」、289は順番
「1」、290は順番「1」289に対応した操作「ク
リック」、291は順番「1」289に対応した対象
「ペン」である。
【0124】順番は利用者の入力順を示しており、ユー
ザが順番「1」289に部品「ペン」291を「クリッ
ク」290し、順番「2」286に部品「紙」288を
「クリック」287し、順番「3」283に部品「キー
ボード」285を「タイプ」284し、順番「4」28
0に部品「はさみ」282を「ドラッグ」281したこ
とを示している。
【0125】図51は利用者の入力および使用した部品
などから利用者の実行したい機能やタスクを推定するた
めの情報であるタスクモデルを説明するための説明図で
ある。図において、295はタスクの一つである「文書
作成」、296は文書作成295に対応する機能の一つ
である「1)記述」、297は「1)記述」296に対
応する部品の一つである「キーボード」、278は
「1)記述」296に対応する部品の一つである「ペ
ン」、299は「1)記述」296に対応する部品の一
つである「かみ」、300は文書作成295に対応する
機能の一つである「2)カット&ペースト」、301は
「2)カット&ペースト」に対応する部品の一つである
「はさみ」、302は「2)カット&ペースト」に対応
する部品の一つである「かみ」である。
【0126】次に動作について説明する。まず図50の
ペン291をクリック290した情報と図51の機能2
93の一つである「1)記述」296に対応する部品2
94の「ペン」298の情報、図50の「紙」288を
「クリック」287した情報と図51の機能の一つであ
る「1)記述」296に対応する部品の「かみ」299
の情報、図50の「キーボード」285を「タイプ」2
84した情報と図51の機能の一つである「1)記述」
296に対応する部品の「キーボード」297の情報、
図50の「はさみ」282を「ドラッグ」281した情
報と図51の機能の一つである「2)カット&ペース
ト」300に対応する部品の「はさみ」301の情報で
ある操作履歴情報を参照する(ステップs60)。次に
操作履歴情報内の操作および対象の情報から図51のタ
スクモデルを参照する。例えば、順番「1」の操作「ク
リック」290、対象「ペン」291からタスクモデル
の部品の欄から「ペン」298とそれに対応する機能
「1)記述」296を参照する。以下同様にして操作履
歴情報から部品と機能を参照する(ステップs61)。
次に参照した部品と機能からタスクを推定する。この場
合、操作履歴情報の順番「1」289の「ペン」290
の「クリック」291から機能「記述」296を実行し
ている可能性があることがわかる。次に操作履歴情報の
順番「2」286の「紙」288の「クリック」287
から機能「記述」296を実行している可能性が高いこ
とがわかる。最後に順番「4」280の「はさみ」28
2の「クリック」281からタスク「文書作成」295
の機能「カット&ペースト」300を実行中と推定する
ことができる(ステップs62)。
【0127】図52は利用者が文書を作成している状況
を説明するための図である。図において、578は操作
環境利用手段15の操作環境利用ウィンドウ、233は
操作環境利用手段15の操作環境表示ブロック、850
は部品「ノート」、579は部品「ノート」850をオ
ープンして文書を作成している文書ブロック、580は
ドラッグしているはさみである。
【0128】図52は操作環境表示ブロック233内で
ペンやノート850を操作し文書を文書ブロック579
で作成したところで、はさみ580をドラッグした図で
ある。意図解析手段は操作履歴格納工程s54から操作
履歴の参照およびタスクモデル格納工程s548からタ
スクモデルの参照を行い、利用者の次に行う操作を推定
し、それを文書のカット&ペーストと判断し、利用者の
操作に備える。
【0129】操作履歴とタスクモデルから利用者の行っ
ているタスクを推定し、推定したタスクに基づき次に行
う機能293や部品294を推定して部品の持つ機能や
部品の限定を行うので、利用者から入力される情報が少
なくても利用者が希望する機能を提供することが可能で
ある。
【0130】図53から図55までの図は、機能を推定
するステップs1011の動作を説明するための説明図
である。図53は機能を推定するステップs1011の
動作を説明するためのフローチャートである。図におい
て、まず利用者情報を参照してその中にある部品の機能
を取り出す(ステップもs63)。次にそのなかで部品
の機能を推定する(ステップs65)。
【0131】図54および図55は図53のフローチャ
ートの動作を説明するための説明図である。図54にお
いて、640は利用者のレベルの条件が格納されている
共用領域、641は利用者「A」の個人情報が格納され
ている個人領域、642は利用者「B」の個人情報が格
納されている個人領域、318は利用者の平均応答速度
を表した「平均応答速度」、319は平均応答速度に対
応した条件である「10秒以上」、319aは条件に対
応するレベル「初心者」、320はキーボードの使用速
度を表した「キーボード使用速度」、321はキーボー
ド使用速度320に対応した条件である「遅い」、32
1aは条件に対応するレベル「初心者」、322は訂正
回数/全操作数を表した「訂正率」、323は訂正率3
22に対応した条件である「10%以上」、323aは
条件に対応するレベル「初心者」、303は利用者の平
均応答速度を表した「平均応答速度」、304は平均応
答速度303に対応した「20秒」、305は利用者が
機能と対象の選択順番を示した「対象指定の順番」、3
06は対象指定の順番305に対応した「機能・対
象」、307はキーボードの使用速度を表した「キーボ
ード使用速度」、308はキーボード使用速度307に
対応した「遅い」、309は全体の操作回数と訂正回数
を示した「訂正率」、310は訂正率309に対応した
「30%」、311は部品「はさみ」の使用機能を示し
た「はさみの機能」、312ははさみの機能311に対
応した「さす」である。
【0132】図55において、578は操作環境利用ウ
ィンドウ、650は利用者にドラッグされた部品「はさ
み」、651は既に利用者「A」によって文書を記述さ
れた部品「かみ」である。
【0133】次に動作について説明する。まず図54の
情報から次のことがわかる。平均応答速度303が20
秒304であることから平均して利用者が入力を促され
てから20秒間考えていることがわかる。対象指定の順
番305が機能・対象306であることから利用者の入
力の癖として最初に機能を入力しその後で機能の対象を
入力する傾向があることがわかる。キーボード使用速度
307が遅い308であることから利用者がキーボード
の入力が不得意であることがわかる。訂正率309が
「30%」310であることから入力者が30%の割合
で訂正をしていることがわかる。平均応答速度318お
よびキーボードの使用速度320および訂正率322の
条件317をすべて満たしているのでこの利用者「A」
を初心者と判定することができる。また、はさみの機能
311がさすであることから利用者がおもにはさみを刺
すことに利用していることがわかる。はさみの機能31
1から今までに利用者「A」641ははさみをおもに切
断するときに使用していたことがわかる。そこで次には
さみを使用する場合もやはりさす312に使用する可能
性が高いと判断し、さす312機能を呼び出す(ステッ
プs63)。
【0134】次に利用者「A」はかみ651に文書を記
述した後、はさみ650をドラッグした。個人適応手段
274は利用者情報格納手段272で格納された利用者
情報の中から利用者「A」のはさみの機能311を参照
する。はさみの機能311を参照した結果、はさみ65
0を切断などに使用せず、利用者がはさみ650をかみ
651を刺すことに利用すると推定する(ステップs6
5)。
【0135】図56から図59までの図は機能変更ステ
ップs1012の動作を説明するための説明図である。
図56は機能変更ステップs1012の動作を説明する
ためのフローチャートである。まず利用者情報から利用
者の情報を参照する(ステップs66)。次に参照した
利用者の情報に基づいて機能を変更する(ステップS6
7)。
【0136】図57は初心者用に機能を変更する実行例
を説明するための説明図である。図において、326は
変更対象の一つである「ヘルプガイダンス」、327は
ヘルプガイダンス326に対応した変更内容である「初
心者レベル」、328は変更対象の一つである「動きの
細かさ」、329は動きの細かさ328に対応した変更
内容である「詳細化」、330は変更対象の一つである
「動きの速さ」、331は「動きの速さ」330に対応
した変更内容である「低下」である。
【0137】「変更対象」324とそれに対応する「ヘ
ルプガイダンス」326の内容325の「初心者レベ
ル」327は「ヘルプガイダンス」326が初心者レベ
ルのメッセージを表示するように変更することを示して
いる。「動きの細かさ」327とそれに対応する「詳細
化」329は部品の動きをよりリアルにし利用者に分か
りやすいように変更することを示している。「動きの速
さ」330とそれに対応する「低下」331は動く部品
を利用者が目で追えるように速度を低下させることを示
している。
【0138】図58はヘルプガイダンスの利用者のレベ
ルごとの表示内容を説明するための説明図である。図に
おいて、583はレベルの一つである初心者、584は
初心者583に対応する表示内容の一つである部品の用
途、585は初心者583に対応する表示内容の一つで
ある対象部品の素材、586は初心者583に対応する
表示内容の一つである続行の確認、587はレベルの一
つである中級者、588は中級者587の表示内容であ
る続行の確認、589はレベルの一つである上級者、5
90は上級者589の表示内容である「表示しない」で
ある。
【0139】初心者583には対象となる部品の使用目
的や機能の条件なども表示し、より初心者に分かりやす
い内容を表示するようになっている。中級者はある程度
部品や条件がわかっているので部品の用途584や対象
部品の素材585などは表示しないが行っているタスク
から外れた使用法をしているときにはその処理を続行す
るかどうか確認するための続行の確認588を表示す
る。上級者はすべてわかっているという前提であり表示
および利用者の読む時間が無駄なのでヘルプガイダンス
を表示しない。上級者が誤った処理を実行してしまった
場合はその処理を訂正する必要があるが、利用者はその
処理は誤っていると判定できるのでヘルプガイダンスは
必要ない。
【0140】図59は機能推定の実行例を説明するため
の説明図である。図において、578は操作環境利用ウ
ィンドウ、233は操作環境利用ウィンドウ578内の
操作環境表示ブロック、334は操作環境表示ブロック
579内の部品「はさみ」、335は操作環境表示ブロ
ック233内の部品「デスク」、336は操作環境利用
ウィンドウ578の操作環境表示ブロック579に表示
されたメッセージ「はさみは、紙などを切るときに使用
します。続けますか? Yes No」である。
【0141】次に動作について説明する。利用者ははさ
み334でデスク335の足を切断しようとし、はさみ
334をデスク335に接触させたが、切断できなかっ
た。そこで個人適応手段274はヘルプガイダンス32
6を起動する。操作環境利用ウィンドウ578は利用者
の以前の操作履歴および利用者情報を参照する(ステッ
プs66)。そこで利用者を初心者と推定、利用者が切
断機能の対象の素材を考慮にいれていなかったと判断
し、部品「はさみ」333の用途584および「対象部
品の素材」585および「続行の確認」586を参照し
「はさみは、紙などを切るときに使用します。続けます
か? Yes No」336の確認を自動的に表示する
(ステップs67)。
【0142】利用者情報から利用者のレベルなどを推定
することで利用者にあった操作環境に適応させることが
でき、より利用者に使いやすいユーザインタフェースを
提供することができる。
【0143】
【発明の効果】以上のように、この発明によれば部品の
作成および修正をすることができ、また部品を自由に組
み合わせてその部品間の関係を自動生成することがで
き、さらに利用者の意図を推定して操作環境を利用者に
適応させることができるので、利用者が容易に操作環境
を構築し利用することができるという効果がある。
【図面の簡単な説明】
【図1】この発明の実施例1のユーザインタフェース装
置の構成図である。
【図2】特開平2−266424号に記載の従来のユー
ザインタフェース装置の構成を示す構成図である。
【図3】図2に示した従来のユーザインタフェース装置
の動作を説明するための説明図である。
【図4】実施例1のユーザインタフェース方法の動作を
示すフローチャートである。
【図5】図1に示した構成図の動作を説明するための説
明図である。
【図6】実施例2の部品作成手段13の構成図である。
【図7】実施例2の部品作成工程s4の動作を示すフロ
ーチャートである。
【図8】部品作成手段13で作成する部品「はさみ」を
示した部品作成ウィンドウ16である。
【図9】意味情報作成ブロック34を用いて作成した部
品「はさみ」の意味的な情報を説明するための説明図で
ある。
【図10】図8の動き情報作成手段30で作成した部品
「はさみ」の動きに関する情報を示したものである。
【図11】視覚情報作成手段31で作成した部品「はさ
み」の視覚的情報の構成を示したものである。
【図12】部品「はさみ」の作成における視覚情報作成
手段31の動作を説明するための説明図である。
【図13】部品「はさみ」の作成における意味情報作成
手段29の動作を説明するための説明図である。
【図14】部品「はさみ」18の作成における動き情報
作成手段30の動作を説明するための説明図である。
【図15】実施例3のユーザインタフェース装置におい
て操作環境を構築する操作環境構築手段500の構成図
である。
【図16】実施例3のユーザインタフェース方法におけ
る操作環境構築工程s7の動作を示すフローチャートで
ある。
【図17】実施例3にかける視覚情報関係生成手段53
2の動作を説明するための説明図である。
【図18】実施例3における操作環境構築手段500の
動作を説明するための説明図である。
【図19】実施例3における意味関係生成手段71およ
び動き関係生成手段72を説明するための説明図であ
る。
【図20】意味関係生成手段71および動き関係生成手
段72の行われる状況を説明するための説明図である。
【図21】操作環境と部品の関係を設定するステップs
1013の動作を示すフローチャートである。
【図22】図21の動作を説明するフローチャートであ
る。
【図23】部品間の関係を設定するステップs1007
の動作を説明するためのフローチャートである。
【図24】操作環境に読み込む前の部品の意味的情報を
説明するための説明図である。
【図25】属性値「切断」98に対応する動作「切断」
に関する情報を説明するための説明図である。
【図26】操作環境を構築した後の部品「はさみ」96
の意味的関係の情報および動きに関する関係の情報を説
明するための説明図である。
【図27】操作環境を構築した後の部品「かみ」の意味
的情報および動きに関する情報を説明するための説明図
である。
【図28】部品と機能の関係を設定するステップs10
08の動作を説明するためのフローチャートである。
【図29】実現機能と部品の意味的関係と実現機能の意
味階層構造を説明するための説明図である。
【図30】部品間の意味情報が集中した場合の処理を説
明するための説明図である。
【図31】部品間の意味情報が分散する場合に部品の意
味情報を抽象化する場合、「ふで」および「はさみ」お
よび「ごみばこ」を操作環境に読み込んだときの部品の
意味情報を読み込む前と読み込んだ後の変化を説明する
ための説明図である。
【図32】部品を修正する手段を設けた部品作成工程s
4の動作を示すフローチャートである。
【図33】部品修正工程s42の動作を説明するための
説明図である。
【図34】部品修正工程s42において意味情報作成手
段29に対応する部品の意味的情報の修正の動作を説明
するための説明図である。
【図35】操作環境を修正することが可能な操作環境構
築工程s7の動作を説明するためのフローチャートであ
る。
【図36】部品追加工程s46の動作を説明するための
説明図である。
【図37】部品削除工程s47における部品を削除する
動作を説明するための説明図である。
【図38】構築された操作環境の階層構造を説明するた
めの説明図である。
【図39】図38の操作環境「オフィス」554を階層
構造に構築する動作を説明するための説明図である。
【図40】操作環境から子供の操作環境を削除する前と
削除した後の階層構造を説明するための説明図である。
【図41】階層構造に構築された操作環境から子供の操
作環境を削除することを説明するための説明図である。
【図42】実施例7の操作環境利用手段15の構成図で
ある。
【図43】実施例7の操作環境構築工程s10の動作を
示すフローチャートである。
【図44】機能結合工程s750の動作を説明するため
のフローチャートである。
【図45】部品の意味と実現機能の意味階層を説明する
ための説明図である。
【図46】図46(a)はアプリケーションの機能と部
品の表であり、図46(b)はアプリケーションの機能
と部品の組み合せとその組み合わせたリストに対する距
離を示したものである。
【図47】部品と実現機能との距離を説明するための説
明図である。
【図48】意図解析工程s55と個人適応工程s56の
動作を説明するためのフローチャートである。
【図49】図49は機能の限定ステップs1010の動
作を示すフローチャートである。
【図50】操作履歴格納手段271に格納する利用者の
操作履歴を説明するための説明図である。
【図51】利用者の入力および使用した部品などから利
用者の実行したい機能やタスクを推定するための情報で
あるタスクモデルを説明するための説明図である。
【図52】利用者が文書を作成している状況を説明する
ための図である。
【図53】機能を推定するステップs1011の動作を
説明するためのフローチャートである。
【図54】図53のフローチャートの動作を説明するた
めの説明図である。
【図55】図53のフローチャートの動作を説明するた
めの説明図である。
【図56】機能変更ステップs1012の動作を説明す
るためのフローチャートである。
【図57】初心者用に機能を変更する実行例を説明する
ための説明図である。
【図58】ヘルプガイダンスの利用者のレベルごとの表
示内容を説明するための説明図である。
【図59】機能推定の実行例を説明するための説明図で
ある。
【符号の説明】
13 部品作成手段 1 部品格納手段 2 操作環境構築手段 14 操作環境格納手段 15 操作環境利用手段

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 下記の(1)から(5)を備えたことを特徴と
    するユーザインタフェース装置。 (1)操作環境の部品を作成する部品作成手段、(2)上記部
    品作成手段で作成した部品を格納する部品格納手段、
    (3)上記部品格納手段で格納した部品を組み合わせて操
    作環境を構築する操作環境構築手段、(4)上記操作環境
    構築手段で構築した操作環境を格納する操作環境格納手
    段、(5)上記操作環境格納手段で格納した操作環境を介
    してタスクを実行する操作環境利用手段。
  2. 【請求項2】 請求項1に記載のユーザインタフェース
    装置において、上記部品作成手段は下記の(1)から(3)を
    備えたことを特徴とするユーザインタフェース装置。 (1)上記部品が持つ意味的情報を作成する意味情報作成
    手段、(2)上記部品が持つ動きに関する情報を作成する
    動き情報作成手段、(3)上記部品を2次元的または3次
    元的にモデリングしたまたは画素の集合体として表現し
    た視覚的情報を作成する視覚情報作成手段。
  3. 【請求項3】 請求項1または請求項2に記載のユーザ
    インタフェース装置において、上記操作環境構築手段は
    下記の(1)から(3)を備えたことを特徴とするユーザイン
    タフェース装置。 (1)上記操作環境内に存在する部品に対して上記部品作
    成手段で作成された部品の情報に基づいて部品間の意味
    的関係を生成する意味関係生成手段、(2)上記操作環境
    内に存在する部品に対して上記部品作成手段で作成され
    た部品の情報に基づいて部品間の動きに関する関係を生
    成する動き関係生成手段、(3)上記操作環境内に存在す
    る部品に対して上記部品作成手段で作成された部品の情
    報に基づいて部品間の視覚的関係を生成する視覚情報関
    係生成手段。
  4. 【請求項4】 請求項1および請求項3の何れかに記載
    のユーザインタフェース装置において、操作環境構築手
    段は操作環境が階層構造をなすように操作環境を構築す
    ることを特徴とするユーザインタフェース装置。
  5. 【請求項5】 請求項1および請求項4の何れかに記載
    のユーザインタフェース装置において、上記操作環境利
    用手段は次の(1)および(2)を備えるとともに(3)から(6)
    の少なくとも一つを備えたことを特徴とするユーザイン
    タフェース装置。 (1)上記操作環境利用手段を利用する利用者の操作履歴
    を格納する操作履歴格納手段、(2)上記操作環境利用手
    段を利用する利用者の情報を格納する利用者情報格納手
    段、(3)上記操作環境格納手段に格納された操作環境の
    情報あるいは上記操作履歴格納手段に格納された操作履
    歴あるいは上記利用者情報格納手段に格納された利用者
    の情報の少なくとも一つの情報に基づき利用者の意図を
    解析する意図解析手段、(4)上記操作環境格納手段に格
    納された操作環境の情報あるいは上記操作履歴格納手段
    に格納された操作履歴あるいは上記利用者情報格納手段
    に格納された利用者の情報の少なくとも一つの情報に基
    づき上記操作環境を利用者に応じて自動的に適合させる
    個人適応手段、(5)上記操作環境格納手段に格納された
    操作環境の情報または上記操作履歴格納手段に格納され
    た操作履歴または上記利用者情報格納手段に格納された
    利用者の情報の少なくとも一つの情報に基づき部品の動
    きを生成する動き生成手段、(6)上記操作環境利用手段
    内の各手段を制御して操作環境を管理する操作環境管理
    手段。
JP3173842A 1991-07-15 1991-07-15 ユーザインタフエース装置 Pending JPH0520044A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP3173842A JPH0520044A (ja) 1991-07-15 1991-07-15 ユーザインタフエース装置
US07/913,304 US5481665A (en) 1991-07-15 1992-07-14 User interface device for creating an environment of moving parts with selected functions
EP19920112081 EP0523661A3 (en) 1991-07-15 1992-07-15 User interface device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3173842A JPH0520044A (ja) 1991-07-15 1991-07-15 ユーザインタフエース装置

Publications (1)

Publication Number Publication Date
JPH0520044A true JPH0520044A (ja) 1993-01-29

Family

ID=15968174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3173842A Pending JPH0520044A (ja) 1991-07-15 1991-07-15 ユーザインタフエース装置

Country Status (3)

Country Link
US (1) US5481665A (ja)
EP (1) EP0523661A3 (ja)
JP (1) JPH0520044A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006172443A (ja) * 2004-12-15 2006-06-29 Microsoft Corp データをダイアグラムにおける形状と対話的にリンクするためのシステムおよび方法

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69329277T2 (de) * 1993-07-08 2001-02-15 Koninklijke Kpn N.V., Groningen Rechnersystem das einen Prozessor und ein Speicherfeld hat, das eine Rechnerschnittstelle beinhaltet
DE69325447T2 (de) * 1993-07-08 1999-11-25 Koninkl Kpn Nv Prozessorsystem mit einem Prozessor und einem Speicherfeld, das eine Rechnerschnittstelle beinhaltet
US5689669A (en) * 1994-04-29 1997-11-18 General Magic Graphical user interface for navigating between levels displaying hallway and room metaphors
WO1996002049A1 (en) * 1994-07-08 1996-01-25 Algorhythms, Inc. Computer on-screen telephone having a telephone construction kit and method of operation
US5678013A (en) * 1995-01-25 1997-10-14 Apple Computer, Inc. Multi-type subroutines for graphical rewrite rules
EP0766168A3 (en) * 1995-09-28 1997-11-19 Hewlett-Packard Company Icons for dual orientation display devices
AU3805697A (en) * 1996-11-21 1998-06-10 William J. Benman Jr. Virtual networks
US6298334B1 (en) 1998-10-15 2001-10-02 Netdecide Corporation Object-based numeric-analysis engine
US6957392B2 (en) * 2002-01-16 2005-10-18 Laszlo Systems, Inc. Interface engine providing a continuous user interface
USRE48596E1 (en) 2002-01-16 2021-06-15 Intel Corporation Interface engine providing a continuous user interface
US7185313B1 (en) * 2002-05-21 2007-02-27 Microsoft Corporation Method and system for designing and implementing shapes in a software module
US7681112B1 (en) 2003-05-30 2010-03-16 Adobe Systems Incorporated Embedded reuse meta information
US8130237B2 (en) * 2004-06-24 2012-03-06 Apple Inc. Resolution independent user interface design
US8068103B2 (en) * 2004-06-24 2011-11-29 Apple Inc. User-interface design
US8302020B2 (en) * 2004-06-25 2012-10-30 Apple Inc. Widget authoring and editing environment
US8453065B2 (en) * 2004-06-25 2013-05-28 Apple Inc. Preview and installation of user interface elements in a display environment
US8239749B2 (en) 2004-06-25 2012-08-07 Apple Inc. Procedurally expressing graphic objects for web pages
US8566732B2 (en) * 2004-06-25 2013-10-22 Apple Inc. Synchronization of widgets and dashboards
US7546543B2 (en) 2004-06-25 2009-06-09 Apple Inc. Widget authoring and editing environment
US7761800B2 (en) * 2004-06-25 2010-07-20 Apple Inc. Unified interest layer for user interface
US7490295B2 (en) * 2004-06-25 2009-02-10 Apple Inc. Layer for accessing user interface elements
US8140975B2 (en) * 2005-01-07 2012-03-20 Apple Inc. Slide show navigation
US8543931B2 (en) 2005-06-07 2013-09-24 Apple Inc. Preview including theme based installation of user interface elements in a display environment
US20070101279A1 (en) * 2005-10-27 2007-05-03 Chaudhri Imran A Selection of user interface elements for unified display in a display environment
US7954064B2 (en) * 2005-10-27 2011-05-31 Apple Inc. Multiple dashboards
US7743336B2 (en) * 2005-10-27 2010-06-22 Apple Inc. Widget security
US8543824B2 (en) * 2005-10-27 2013-09-24 Apple Inc. Safe distribution and use of content
US7752556B2 (en) 2005-10-27 2010-07-06 Apple Inc. Workflow widgets
US9104294B2 (en) * 2005-10-27 2015-08-11 Apple Inc. Linked widgets
US7707514B2 (en) 2005-11-18 2010-04-27 Apple Inc. Management of user interface elements in a display environment
US20070162850A1 (en) * 2006-01-06 2007-07-12 Darin Adler Sports-related widgets
USD554658S1 (en) * 2006-03-29 2007-11-06 Samsung Electronics Co., Ltd. Generated image for display on a portable telephone
US8155682B2 (en) * 2006-05-05 2012-04-10 Research In Motion Limited Handheld electronic device including automatic mobile phone number management, and associated method
US8869027B2 (en) * 2006-08-04 2014-10-21 Apple Inc. Management and generation of dashboards
US20080168367A1 (en) * 2007-01-07 2008-07-10 Chaudhri Imran A Dashboards, Widgets and Devices
US20090005071A1 (en) * 2007-06-28 2009-01-01 Apple Inc. Event Triggered Content Presentation
US8954871B2 (en) * 2007-07-18 2015-02-10 Apple Inc. User-centric widgets and dashboards
US20090021486A1 (en) * 2007-07-19 2009-01-22 Apple Inc. Dashboard Surfaces
US8667415B2 (en) * 2007-08-06 2014-03-04 Apple Inc. Web widgets
US8156467B2 (en) * 2007-08-27 2012-04-10 Adobe Systems Incorporated Reusing components in a running application
US8176466B2 (en) 2007-10-01 2012-05-08 Adobe Systems Incorporated System and method for generating an application fragment
US9619304B2 (en) 2008-02-05 2017-04-11 Adobe Systems Incorporated Automatic connections between application components
US9471996B2 (en) * 2008-02-29 2016-10-18 Autodesk, Inc. Method for creating graphical materials for universal rendering framework
US8134551B2 (en) * 2008-02-29 2012-03-13 Autodesk, Inc. Frontend for universal rendering framework
US8212806B2 (en) * 2008-04-08 2012-07-03 Autodesk, Inc. File format extensibility for universal rendering framework
US8656293B1 (en) 2008-07-29 2014-02-18 Adobe Systems Incorporated Configuring mobile devices
US8667404B2 (en) * 2008-08-06 2014-03-04 Autodesk, Inc. Predictive material editor
US8601398B2 (en) * 2008-10-13 2013-12-03 Autodesk, Inc. Data-driven interface for managing materials
US8560957B2 (en) * 2008-10-13 2013-10-15 Autodesk, Inc. Data-driven interface for managing materials
US9342901B2 (en) * 2008-10-27 2016-05-17 Autodesk, Inc. Material data processing pipeline
US8584084B2 (en) * 2008-11-12 2013-11-12 Autodesk, Inc. System for library content creation
USD628595S1 (en) * 2009-09-30 2010-12-07 Microsoft Corporation Icon for a display screen
USD650800S1 (en) * 2010-12-01 2011-12-20 Microsoft Corporation Display screen with an icon
USD671127S1 (en) * 2011-01-31 2012-11-20 Microsoft Corporation Display screen with animated graphical user interface
USD675222S1 (en) * 2011-01-31 2013-01-29 Microsoft Corporation Display screen with animated graphical user interface
USD675638S1 (en) * 2011-01-31 2013-02-05 Microsoft Corporation Display screen with animated graphical user interface
USD673972S1 (en) * 2011-01-31 2013-01-08 Microsoft Corporation Display screen with graphical user interface
USD674813S1 (en) * 2011-01-31 2013-01-22 Microsoft Corporation Display screen with graphical user interface
USD675223S1 (en) * 2011-01-31 2013-01-29 Microsoft Corporation Display screen with animated graphical user interface
USD696679S1 (en) * 2011-06-15 2013-12-31 Samsung Electronics Co., Ltd. Display screen or portion thereof with a graphical user interface
USD667445S1 (en) * 2011-09-12 2012-09-18 Microsoft Corporation Display screen with icon
USD667426S1 (en) * 2011-09-12 2012-09-18 Microsoft Corporation Display screen with icon set
KR102013239B1 (ko) * 2011-12-23 2019-08-23 삼성전자주식회사 디지털 영상 처리장치, 및 그 제어방법
USD681675S1 (en) * 2012-01-06 2013-05-07 Microsoft Corporation Display screen with icon
KR20140132917A (ko) * 2013-05-09 2014-11-19 삼성전자주식회사 휴대 전자기기와 연결 가능한 부가 장치를 통한 표시 방법 및 장치
USD753669S1 (en) 2013-10-10 2016-04-12 Healthmate International, LLC Display screen with graphical user interface
WO2015138374A1 (en) * 2014-03-10 2015-09-17 Systems Imagination, Inc. Methods to represent and interact with complex knowledge
USD759263S1 (en) 2015-06-26 2016-06-14 Healthmate International, LLC Electronic massager
USD758606S1 (en) 2015-06-26 2016-06-07 Healthmate International, LLC Electronic massager
USD779677S1 (en) 2015-06-26 2017-02-21 Healthmate International, LLC Electronic massager
USD759262S1 (en) 2015-06-26 2016-06-14 Healthmate International, LLC Electronic massager
USD758605S1 (en) 2015-06-26 2016-06-07 Healthmate International, LLC Electronic massager
USD758607S1 (en) 2015-06-26 2016-06-07 Healthmate International, LLC Electronic massager
USD762872S1 (en) 2015-06-26 2016-08-02 Healthmate International, LLC Electronic massager
USD757292S1 (en) 2015-06-26 2016-05-24 Healthmate International, LLC Electronic massager
USD813407S1 (en) 2015-10-27 2018-03-20 Healthmate International, LLC Electronic massager
USD813408S1 (en) 2015-10-28 2018-03-20 Healthmate International, LLC Electronic massager
USD795444S1 (en) 2015-11-13 2017-08-22 Healthmate International, Inc. Electronic massager
GB201523166D0 (en) 2015-12-31 2016-02-17 Jones Maria F Direct integration system
USD823317S1 (en) 2016-06-07 2018-07-17 Beijing Kingsoft Internet Security Software Co., Ltd. Mobile communication terminal with graphical user interface
USD803887S1 (en) * 2016-10-31 2017-11-28 Microsoft Corporation Display screen with icon

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4813013A (en) * 1984-03-01 1989-03-14 The Cadware Group, Ltd. Schematic diagram generating system using library of general purpose interactively selectable graphic primitives to create special applications icons
US4656603A (en) * 1984-03-01 1987-04-07 The Cadware Group, Ltd. Schematic diagram generating system using library of general purpose interactively selectable graphic primitives to create special applications icons
US4845665A (en) * 1985-08-26 1989-07-04 International Business Machines Corp. Simulation of computer program external interfaces
US4901221A (en) * 1986-04-14 1990-02-13 National Instruments, Inc. Graphical system for modelling a process and associated method
US5001697A (en) * 1988-02-10 1991-03-19 Ibm Corp. Method to automatically vary displayed object size with variations in window size
US4866638A (en) * 1988-03-04 1989-09-12 Eastman Kodak Company Process for producing human-computer interface prototypes
US5041992A (en) * 1988-10-24 1991-08-20 University Of Pittsburgh Interactive method of developing software interfaces
US5115501A (en) * 1988-11-04 1992-05-19 International Business Machines Corporation Procedure for automatically customizing the user interface of application programs
JPH02266424A (ja) * 1989-04-06 1990-10-31 Nec Corp 対話処理合成システム
US5297057A (en) * 1989-06-13 1994-03-22 Schlumberger Technologies, Inc. Method and apparatus for design and optimization for simulation of motion of mechanical linkages
US5235679A (en) * 1989-06-14 1993-08-10 Hitachi, Ltd. Guidance method and apparatus upon a computer system
JP3168570B2 (ja) * 1989-11-08 2001-05-21 富士通株式会社 アイコンパターン自動生成装置および方法
US5347628A (en) * 1990-01-18 1994-09-13 International Business Machines Corporation Method of graphically accessing electronic data
US5103498A (en) * 1990-08-02 1992-04-07 Tandy Corporation Intelligent help system
US5261041A (en) * 1990-12-28 1993-11-09 Apple Computer, Inc. Computer controlled animation system based on definitional animated objects and methods of manipulating same
US5301301A (en) * 1991-01-30 1994-04-05 National Instruments Corporation Polymorphic dataflow block diagram system and method for programming a computer
US5388203A (en) * 1991-03-29 1995-02-07 Kabushiki Kaisha Toshiba Function extraction method and apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IEEE TRANSACTION ON SOFTWARE ENGINEERING=1990 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006172443A (ja) * 2004-12-15 2006-06-29 Microsoft Corp データをダイアグラムにおける形状と対話的にリンクするためのシステムおよび方法
JP2012048732A (ja) * 2004-12-15 2012-03-08 Microsoft Corp データをダイアグラムにおける形状と対話的にリンクするためのシステムおよび方法

Also Published As

Publication number Publication date
EP0523661A3 (en) 1993-07-21
US5481665A (en) 1996-01-02
EP0523661A2 (en) 1993-01-20

Similar Documents

Publication Publication Date Title
JPH0520044A (ja) ユーザインタフエース装置
US6002401A (en) User definable pictorial interface for accessing information in an electronic file system
CA2124505C (en) User interface having simultaneously movable tools and cursor
JP3372563B2 (ja) 木構造表示編集装置
US20060010420A1 (en) Method and apparatus for storing and replaying creation history of multimedia software or other software content
US20040060037A1 (en) Method for gesture based modeling
JPH0644339A (ja) 図形オブジェクト操作システム及び方法
Edel The Tinkertoy graphical programming environment
US7600198B2 (en) Method of tracking data objects using related thumbnails in a palette window
Kim et al. A new modeling interface for the pen-input displays
US6307552B1 (en) Computer system and method for controlling the same utilizing an abstraction stack with a sequence of predetermined display formats
JPH09251368A (ja) 知的エージェントの構築支援システム
Landay et al. Just draw it! Programming by sketching storyboards
Igarashi Freeform user interfaces for graphical computing
Pleborg Interactive picture creation systems
JP2003196091A (ja) プログラム作成支援システム及びプログラム作成支援方法
Green et al. access to information: the human computer interface and GIS
Barfield et al. Objects, Invariants and Treacle: Animation in the Views System
JP2004199130A (ja) 情報視覚化方法、装置、プログラム
Hinson eAAAA AAAA S00 f C (.% 4
Grossman Alternate user interfaces for the manipulation of curves in 3D environments
Raymaekers Haptic Feedback in Virtual Environments: Towards a Multi-modal Interface
Lockwood High Degree of Freedom Input and Large Displays for Accessible Animation
Esteban et al. Visual construction of highly interactive applications
JPH05233258A (ja) グラフィックエディタ開発支援システム