JPH0579951A - 監視システム - Google Patents
監視システムInfo
- Publication number
- JPH0579951A JPH0579951A JP3238277A JP23827791A JPH0579951A JP H0579951 A JPH0579951 A JP H0579951A JP 3238277 A JP3238277 A JP 3238277A JP 23827791 A JP23827791 A JP 23827791A JP H0579951 A JPH0579951 A JP H0579951A
- Authority
- JP
- Japan
- Prior art keywords
- data
- video
- monitoring system
- measurement data
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- Y04S10/54—
Landscapes
- Testing Or Calibration Of Command Recording Devices (AREA)
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Alarm Systems (AREA)
Abstract
データだけでなく映像、音声データを再生時にそれらの
同期を取り表示すること。 【構成】プロセスの測定デ−タを記憶しているデ−タベ
−ス104と、音デ−タ及び映像デ−タのうち少なくと
も一方を記憶している映像音声記録部108とを有し、
上記測定デ−タと、上記音デ−タ及び映像デ−タとは、
対応付けて記憶されていて、デ−タベ−ス104は、上
記測定デ−タを再生し、映像音声記録部108は、上記
音デ−タ及び映像デ−タのうち少なくとも一方を再生す
る。さらに、映像音声記録部108にデ−タベ−ス10
4を同期させるワ−クステ−ション103と、上記測定
デ−タおよび映像デ−タを出力するディスプレイ111
と、上記音デ−タを出力するスピ−カ112とを有す
る。
Description
ント、病院、鉄鋼、鉄道、上下水道管理等を監視、制御
するシステムにおいて得られたプロセスデータ、ITVカ
メラや音声マイクからの映像、音情報を記録し、異常時
等解析が必要な際に、映像、音、及びプロセスデータを
互いに関連づけ表示するシステムに関する。
監視システムにおいては、中央管理室にモニター装置を
設置し、プロセス側にITVカメラを設置してプロセスの
様子をそのカメラによって撮られた映像をモニターに表
示することによりプロセスの状況を視覚的に監視する方
法が採られている。この映像、音はビデオテープなどの
記録媒体に記録されている。この映像、音は、異常時な
どに巻き戻し、再生が行なわれる。
るプロセスデータ(測定デ−タ)は中央管理室のモニタ
ーやメーター類に表示されると共に、システム内のデー
タベースに蓄えられ、異常時や解析が必要な時にはデー
タベースから引き出せるようになっている。このシステ
ムについては特開昭60−93518号公報のプラント
運転履歴表示方式で紹介されている。
タとは記録する媒体が異なっているためか、従来、再生
あるいは解析する際には、別々に再生あるいは解析しな
ければならなかった。例えば、プラント上で異常が発生
した場合は、それを計器が検出してブザーがなる。その
後プロセス全体図で対応する機器を探してその原因と対
応策を決め、処置を施す。ここでその原因と故障機器の
推定には、多くの関連するデータ、映像が必要のため非
常に労力を必要とした。ビデオを用いた解析において
は、あらかじめビデオを見て異常の起こる付近を探した
後、プロセスデータでその付近を調べる方法が用いられ
たり、プロセスデータで異常時点を見つけた後、そこま
でビデオを巻き戻して再生する方法が用いられている。
カメラは複数あり、そこからの映像が複数のビデオに記
録されているため、異常時等、解析時に各カメラからの
映像を関連付けて見るためにはそれらのビデオすべてを
希望するところまで巻き戻し再生する等、操作員の負担
が大きかった。
このような映像情報を用いずにうまく引き出すことは難
しく、多くの場合、膨大な量の情報をプリンタで出力し
た後、その解析に操作員があたっていた。
のような問題点があった。
スデータを同時に参照できなかったため、せっかく映像
から情報を得てもその後のプロセスデータの検索に手間
と時間がかかる。
に表示し、操作員が映像を参照したい時点がわかって
も、映像を表示するためには手間と時間がかかった。こ
のため迅速な現場の実際の状況把握が出来なかった。
なった場合でも、そのプロセスデータに関する映像を表
示するのに手間がかかる。
る際に、特に記録された多くのデータを早送りで表示す
ると計算機に多くの負担がかかった。
め詳しく見たい、飛ばして見たいと言った要求には対応
できなかった。特に詳しく見て解析する場合は、関連す
る映像や音もスロー再生で参照すれば、より解析に役立
つがこの機能はない。
素として、操作員の操作命令があるが、これらが再生さ
れないため、何の操作でプロセスの状態が変わったか、
わからなかった。
もその命令を探索することができなかったため、結局プ
ロセスデータ等を解析して操作命令をした時点を推測せ
ねばならなかった。
けがないため、たとえ映像上で異常が発見された場合に
も、その映像が何を映しているもので、そこから何のデ
ータを出力しているかは、訓練を積んだベテランのみが
わかるのであって、そうでない者にはデータがどのプロ
セス装置と関係するかわからなかった。
タを表示する場所が分立していたため操作員が視線を動
かさねばならず刻々と変わるデータ、映像を同時に見れ
なかった。
データの迅速なアクセス等の点で、その再生能力に問題
があった。一方、光ディスクを用いれば迅速なアクセス
は可能であるが、映像データが非常に大きくなってしま
うため記録するためには大容量のディスクが必要であっ
た。
たは音とを同期して再生できる監視システムを提供する
ことを目的とする。
に、監視対象物に関する測定デ−タを記憶している第1
の記憶手段と、監視対象物に関する音デ−タ及び映像デ
−タのうち少なくとも一方を記憶している第2の記憶手
段とを有し、上記測定デ−タと、上記音デ−タ及び映像
デ−タとは、対応付けのための情報とともに記憶されて
いる監視システムにおいて、上記測定デ−タを再生する
第1の再生手段と、上記音デ−タ及び映像デ−タのうち
少なくとも一方を再生する第2の再生手段と、第2の再
生手段に、第1の再生手段を対応付けの情報により同期
させる制御部と、上記測定デ−タを出力する第1の出力
手段と、上記音デ−タを出力する出力手段及び映像デ−
タを出力する出力手段のうち少なくとも一方を有する第
2の出力手段とを有することとしたものである。
第1の記憶手段と、監視対象物に関する音デ−タ及び映
像デ−タのうち少なくとも一方を記憶している第2の記
憶手段とを有し、上記測定デ−タと、上記音デ−タ及び
映像デ−タとは、対応付けて記憶されている監視システ
ムにおいて、第1の再生手段は、上記測定デ−タを再生
する。第2の再生手段は、上記音デ−タ及び映像デ−タ
のうち少なくとも一方を再生する。制御部は、第2の再
生手段に第1の再生手段を対応付けの情報により同期さ
せる。第1の出力手段は、上記測定デ−タを出力する。
第2の出力手段は、上記音デ−タ及び映像デ−タのうち
少なくとも一方を出力する。こうして、上記測定デ−タ
を映像又は音の再生に同期して出力する。
な説 【0021】明】
て述べる。
ムの構成を表わす。工場の現場における監視対象物であ
る装置(以下単に制御対象装置と呼ぶ)101は、各時
刻での運転状況を示すプロセスデータをケーブル135
を通して、第1の入力手段である制御用計算機102に
送る。制御用計算機102ではプロセスデータを分析
し、制御対象装置101に制御信号をケーブル136を
通して送る。また、ケーブル137を通してLAN12
0にプロセスデータを流し、ケーブル138を通してL
AN120から流れてくる操作員命令を受け取り、処理
する。以上のように、制御用計算機102の主な機能は
プロセスデータの収集、プロセスデータのLANへの出
力、操作員命令のLANからの入力、制御対象装置10
1へのプロセス制御信号の出力である。
ーブルで、操作員命令、プロセスデータ等の信号を流
す。LAN120は、制御用計算機102からの出力用
ケーブル137、制御用計算機102への入力用ケーブ
ル138、データベース104からの出力用ケーブル1
43、デ−タベ−ス104への入力用ケーブル144、
ワークステーション103からの出力用ケーブル14
0、ワークステーション103への入力用ケーブル13
9で、各機器と接続している。
段であるデータベース104はLAN120に流れてい
るプロセスデータ等をケーブル144を通して受け取
り、内部に持っている時計が出力する時刻tとともに記
録する。また、ケーブル144を通してデータ読みだし
の命令が入力された際には、読みだし指定を受けたデー
タをケーブル143を通してLAN120に送る。
入力することでパン、チルト、ズーム等の遠隔操作がで
きるカメラ制御装置、及びカメラと共に動く音声マイク
が取付けられている。カメラ110は制御対象装置10
1の映像、音声をケーブル130、131を通して、ス
イッチャ109に送る。スイッチャ109は、ワークス
テーション103から入力するカメラ制御信号をケーブ
ル132を通してカメラ110に送る。ITVカメラ11
0は、第2の入力手段である。
る映像音声記録部108は、光ディスク等のランダムア
クセスが可能なものを用いる。ビデオテープの様なもの
でもよいがこの場合はデータの探索が逐次的であるた
め、データの探索及び表示の時間がかかる。ITVカメラ
110からの全ての映像、音声はスイッチャ109をス
ルーアウトしてケーブル133から入力される。また制
御部であるワークステーション103がスイッチャ10
9を通してケーブル145で読みだし命令を入力した場
合は、指定された映像、音声情報をケーブル134を通
してスイッチャ109に出力する。
像、音声をワークステーション103にケーブル141
を通して送る際の映像音声切り替えスイッチであると共
に、ワークステーション103からケーブル142を通
して出力するカメラ制御信号、記録映像呼び出し信号
を、カメラ110、映像音声記録部108に送る際の信
号送信先切り替えスイッチである。
出力手段として第1、第3の出力手段である表示用ディ
スプレイ111、スピーカー112、操作員からの入力
手段(測定デ−タ出力指定手段、選択対象を選択する手
段、測定デ−タの探索値を指定する手段)としてキーボ
ード106、マウス105およびタッチパネル107等
の入力デバイスと接続している。また、ケーブル13
9、140でLAN120と、ケーブル141、142
でスイッチャ109と接続する。ワークステーション1
03は、ケーブル139から入力するプロセスデータを
処理し表示画面を作成して、ケーブル141から入力す
る映像データと共にディスプレイ111に表示する。一
方、ケーブル141で入力する音声データはスピーカー
112で出力する。スピーカー112と表示用ディスプ
レイ111とは、第2の出力手段である。また、操作員
からのキーボード106によるキー入力やマウス105
およびタッチパネル107等入力デバイスからの入力は
ワークステーション103内で処理され、制御対象装置
101の制御コードとしてケーブル140で出力した
り、映像、音声の切り替えスイッチャ109への切り替
え命令や、カメラ110の制御コード、映像、音声記録
部108への呼び出しコードとして、ケーブル142で
出力する。
た映像、文字、グラフィックスで示されるシステムの状
況を監視し、必要な操作、および命令をマウス105、
キ−ボ−ド106、タッチパネル107を用いて行な
う。以下説明上、操作員からの入力デバイスとしては、
タッチパネル107を用いる。もちろん他のデバイスで
も構わない。
03の内部構造を示す。201はCPU、202は主記
憶、203はIO、204はディスプレイ111にプロ
セスデータを表示するためのグラフィックス画面フレー
ムバッファ、205は入力したビデオ信号をデジタル信
号に換えるディジタイザ、206はビデオ用フレームバ
ッファ、207はグラフィックス画面と映像とをブレン
ドするブレンド回路である。
成を示す。ワークステーション103からの各種命令を
受け取り処理すると共に記録、再生の命令を出すCPU
301、映像のバッファリング等に用いる主記憶30
2、ITVカメラ110からの信号をデジタル化すると共
に、デジタル信号をワークステーション103へ送るア
ナログ信号に変えるAD/DA変換器303、映像音声
記録読みだし部304とからなる。
ディスプレイ画面を表している。ディスプレイ画面は、
プロセス全体構成図401と、おもにITVカメラからの
映像を表示する動画像表示領域402と、制御対象装置
101からのプロセスデータを表示するトレンドグラフ
403と、時計406、スイッチ、ヘルプ情報等を表示
するワーク領域404と、プロセスデータ表示用メータ
ー405と、メニュー領域407とからなる。メニュー
領域407内には、カメラ切り替えボタン408、映像
内、プロセスデータ内における選択対象指定ボタン40
9、監視モードと再生モードの切り替え、標準再生、ス
ロー再生の切り替えボタン410、簡単なエディター呼
び出し、又は表示するグラフの選択ボタン411、表示
するデータの選択ボタン412、およびヘルプボタン4
13等を表示する。ここで制御対象装置101からのプ
ロセスデータを表示するものとして、他に、データ表
や、スケーラー等があってもよい。またディスプレイ上
には上に挙げたデータ表示手段が複数個あってもよい。
グラフ403をより詳細に表したものである。トレンド
グラフ403はデータ表示部501、データ項目表示部
502、時刻カーソル503、時間軸504、データ値
カーソル505、時間軸移動ボタン506、507から
なる。
ラフとして表示されるとともに、データ項目表示部50
2にその名前を表示する。データ、およびその名前の対
応は線の太さ、および色または線の種類で行う。
に表示しているすべてのデータ(例えばメーター405
の示しているデータ値、映像402、時計406の時
刻、トレンドグラフ403の時刻カ−ソル503上の
点)の生成または記録した時刻を時間軸504を用いて
表す。すなわち、トレンドグラフ403の時刻カ−ソル
503は、現在表示しているデータの記録した時刻を表
す時刻表示手段である。
た時刻が、現在表示している時間軸504内にない場合
には、表示している時刻の値が右方向(時間を戻す方
向、以下逆方向と呼ぶ)または左方向(時間を進ませる
方向、以下正方向と呼ぶ)に移動することにより、時間
軸504内にその時刻の値を表示する。また時間軸50
4は拡大、縮小が可能で、区間を指定して拡大、縮小す
ることができる。これによって詳しく見たい区間は時間
軸504の拡大を行ない、そうでない区間は縮小を行な
うことができる。
表示している時刻の値を右方向に移動させ、表示してい
る時刻より前の時刻を表示する。一方、ボタン508
は、左方向に移動させ、表示している時刻より後の時刻
を表示する。
タの探索を行なうものである。探索したいプロセスデー
タを選択した後、データ値カーソルを探索値に持って行
くと、時間軸504及び時刻カーソル503が移動し
て、選択したデータが探索値をとる時点に時刻カ−ソル
503が来るようになる。
スプレイに表示するデータ表示手段としてもっぱらトレ
ンドグラフを用いることにする。もちろんトレンドグラ
フ以外のデータ表示手段でもよい。
以下の機能がある。
像、音声を再生するだけでなく、その映像が撮られた時
点のプロセスデータを呼び出し、表示する。
3等時刻表示手段を用いて時刻を指定することにより、
そのデータが記録された時点の映像及び音声と、その時
点でのプロセスデータを呼び出し、表示する。
指定することにより、そのデータの探索を行い、そのデ
ータを呼び出し、表示すると共に、そのデータが記録さ
れた時点の映像と、その時点での他のプロセスデータを
呼び出し、表示する。
再生速度によりプロセスデータの時間に対する表示頻度
が変わる。
頻度をあらかじめ指定することで、映像再生時にその表
示頻度に合わせた映像、音声の再生速度を決定し、再
生、表示する。
再生の際に操作員の操作も再生する。
員の操作データを指定することにより、その操作を探索
し、操作が行われた時点の映像、およびプロセスデータ
を呼び出し、表示する。
いて選択できる選択対象を定義しておき、映像再生時に
それを操作員が選択することにより、関連するプロセス
データを表示する。
いて選択できる選択対象を定義しておき、映像再生時に
それを操作員が選択することにより、関連するプロセス
データを強調表示する。
いて選択できる選択対象を定義しておき、映像再生時に
それを操作員が選択することにより、関連するプロセス
データに関する選択メニューを表示し、そのメニューか
ら一項目を選択した場合、選択された項目のプロセスデ
ータを表示する。
いて選択できる選択対象を定義しておき、映像再生時に
それを操作員が選択することにより、関連するプロセス
データを映像内の選択対象上に表示する。
いて選択できる選択対象を定義しておき、映像再生時に
それを操作員が選択することにより、関連するプロセス
データを映像上にコンピューターグラフィックスで重ね
て表示する。
いて選択できる選択対象を定義しておき、映像再生時に
それを操作員が選択することにより、関連する映像内の
他の選択対象を強調表示する。
いて選択できる選択対象を定義しておき、映像再生時に
それを操作員が選択することにより、その選択対象の付
加情報を表示する。
映像再生時にプロセスデータを操作員が選択することに
より、選択したプロセスデータに関連する映像に切り替
わると共に、映像内の選択対象を表示する。
映像再生時にプロセスデータを操作員が選択することに
より、選択したプロセスデータに関連する映像に切り替
わると共に、映像内の選択対象を表示しそのデータ値を
選択対象上に重ねて表示する。
映像再生時にプロセスデータを操作員が選択することに
より、選択したプロセスデータに関連する映像に切り替
わると共に、映像内の選択対象を表示しそのデータ値を
コンピューターグラフィックスで重ねて表示する。
ータ、音声データの再生について上記機能を詳しく説明
する。
る。モード切替ボタン410をタッチパネルを用いて選
択する事により記録情報標準再生モードになる。再生を
しているときは、再生で使われているのとは別の光ディ
スクに記録を行なう。この時、図4に示されるように、
ワーク領域404にビデオコントローラー603が表示
される。図7に示されるように、ビデオコントローラー
は順方向2倍速再生ボタン705、順方向標準速度再生
ボタン704、逆方向2倍速再生ボタン701、逆方向
標準速度再生ボタン702、および映像停止ボタン70
3を持つ。また、モード切替ボタン410でスローモー
ド再生を選択すれば、逆方向2倍速ボタン、順方向2倍
速ボタンの代わりに逆方向1/2倍速再生ボタン70
6、順方向1/2倍速ボタン再生ボタン707を表示す
る。ただし、ここで標準速度で再生するとは映像、音声
を記録した時と同じ速度で再生することであり、順方向
とは、時間が進む方向である。従って例えば逆方向2倍
速再生とは、時間の進む方向とは逆方向に記録したとき
の2倍の速度で再生する、という意味である。ここで
は、記録情報を再生する際に再生モードに標準とスロー
を設けたが、このように分けなくても良い。
パネルで押すことにより、順方向、標準速度で映像デー
タおよび音声データが再生され、映像表示部402に表
示される。この時、この映像にあわせてトレンドグラフ
内の時刻カーソル503が移動し、表示している映像が
記録された時刻におけるプロセスデータが時刻カーソル
503上に来るようにする。時刻カーソル503はある
一定のところまで来ると、プロセスデータをデータベー
ス104から呼び出し、時間軸504に表示している時
刻値が左方向(または右方向)に移動することにより、
現在時間軸504上にない新たな時刻のプロセスデータ
を表示する。この他にメーター405等、他のプロセス
データ表示部も映像が撮られたときにそのデータがとっ
ていた値を映像が表示されると共に次々に表示する。以
上のように映像を再生する操作で映像、音声が再生する
だけでなく、その映像が撮られた時点のプロセスデータ
を呼び出し表示する。
るプロセスデータを参照することができる。また他の再
生ボタンを用いることで映像情報の早送り、逆再生、ス
ロー再生等をプロセスデータを参照しながら行なうこと
が出来、運転状況の診断、制御指令を出すための補助、
異常時点の発見、解析等に役立つ。
像、音声データのデータ構造および記録方法を示す。図
8においてデータ800は制御装置101から制御用計
算機に送られるプロセスデータの構造を表わす。一般に
一つのケーブルで複数の種類のデータを入力するので、
プロセスデータの始まりを示すヘッダ801、データの
種類802、データ数803、及びプロセスデータであ
るデ−タ804から806までのような構成になる。制
御用計算機102は、各ケーブルから入ってくるこの形
式の複数個のデータをLAN120に流す。データベー
ス104では流れてきたプロセスデータを分解し、デ−
タベ−ス104内にある時計の時刻tと共にデータ82
0の構造をもつ配列に記録する。ここで、821はデー
タインデックス、822はデータ名、823は時刻、8
24はプロセスデータである。このようにデ−タベ−ス
104は、プロセスデータの種類に対応するテーブルを
持ち、そのテーブルの要素である配列の最終要素の後に
最新のデータを時刻tと共に記録する。
スデータのブロック呼び出しの命令がデータベース10
4に入力した場合は、図8のデータ810に示す構造を
持つデータを103に送る。ここでプロセスデータの始
まりを示すヘッダ811、データの種類812、データ
数813、及びプロセスデータであるデ−タ814から
816まで、及びデータ814の時刻データ817、デ
ータ815の時刻データ818、データ816で時刻デ
ータ819で構成される。もちろん、ブロック呼び出し
命令の種類により、このデータの長さ、時刻データの間
隔等は異なる。
す。まず記録する映像音声データの構造は830の通り
である。一般に複数個のカメラからの映像データを記録
するので、映像音声データのインデックス831(ディ
スクNO.)とデータ名832(カメラNO.またはボ
イラNO.等)を有する。834は音声の記録された時
刻、833は音声情報、835は映像の記録された時
刻、836は映像情報である。ここで図のように、映
像、音声を別々に記録しないで、一緒に記録してもよ
い。一緒に記録する場合は時刻情報を共有することにな
る。
それを再生する方法を図9を用いて述べる。本発明にお
いては、映像記録に関してまず901から903に示さ
れる3段階からなる手順をワークステーション103内
のCPU201において実行する。この手順が実行され
た後、904で記録開始となる。映像記録においては、
システムの立ち上げ時や、再生モードを終了し記録モー
ドに戻る時等で、最初に全映像画面の記録を行ない、以
下は905で示す通り、記録条件を満たした場合にのみ
906で映像を記録する。音声情報に関しては、映像情
報に比べて比較的記録に必要な容量が小さいので随時記
録することにする。以下、専ら、映像情報の記録及び再
生について述べる。
べき対象をどこにするかを決める。具体的には以下の方
法のいずれかである。
する。実現方法はカメラからの映像信号をすべてを記録
対象とする。
く部分、変化する部分等を含む領域をあらかじめ指定し
ておき、その領域のみを記録対象とする。データ840
は、映像データ836のこの場合のデータ構造である。
データ840の要素は、記録対象とする画像データ84
6、およびその位置情報、即ち、その撮影された画像デ
ータの座標値841、842、画像データの大きさ(画
面の空間的大きさ)843、844、およびそれ以前で
最も近い全画面データを記録した時刻(又はインデック
ス)845からなる。実現方法は、ITVカメラが、ズー
ム、チルド、パン等を行う際には、全画面を記録する。
そのようなカメラ動作の後、カメラが停止したら、映像
データ836をワークステーション103に送り、画像
解析を行い、記録対象を含む領域を確定する。この領域
は簡単のため、例えば長方形の様なものでよい。この領
域が決定したら、その領域の座標値、大きさ等の位置情
報を映像、音声記録部108に送り、以下CPU301
がカメラから送られてくる画像からこの領域のみを取り
出し記録する。以後再びカメラ動作が行われるまで、こ
の領域のみを記録する様にする。再生時においては時刻
845の映像データを呼び出し記録したデータ846と
をCPU301がブレンドすることにより、全画面を生
成する。
記録する条件を決定する。具体的には以下の条件のいず
れかである。
れはワークステーション103、または映像、音声記録
手段108内のCPU201、301にクロックを持
つ。前者の場合は一定の時間毎に記録する命令を映像、
音声記録部108に送る。後者の場合は記録開始の命令
のみが映像、音声記録部108に送られ以下CPU30
1が記録時刻を管理する。
面との差分がある敷居値以上になったら記録する。これ
は映像、音声記録部108内の主記憶302上に記憶し
た画面の映像情報と現時点における映像情報との差分値
をCPU301で計算し、その値によって記録命令を映
像、音声読み出し部304に送る。
のある一定の値を越えたら記録する。これはワークステ
ーション103に入ってくるプロセスデータをCPU2
01で処理し、特に異常があるデータに関する映像を撮
っているカメラの映像を記録するよう、映像音声記録部
108に命令する。
差分がそのデータ固有のある一定の値を越えたら記録す
る。実現方法は(3)と同様である。
即ち重みを wi (wi ≧ 0 )、各プロセスデータを di と
して e = Σwi * di がある一定の値を越えたら記録する。実現方法は(3)
と同じである。
条件のいずれかの状態になったらより短い時間間隔で記
録し条件を満たさなくなったら元の時間間隔に直す。
定する。具体的には以下の方法のいずれかである。
記憶する。
れは主記憶部302にバッファリングした映像と現在の
映像との差分をCPU301でとる。再生時においては
全記録対象を記録してある時点から現時点までの差分を
加減算することで記録対象の映像を作成する。
tにおける表示は、図10に示す手順で行なう。手順1
001で映像データのインデックス821及び、時刻t
の指定をする。ここで映像インデックスの指定はワーク
ステーション103により行なわれ、時刻tの指定はワ
ークステーション103による場合と映像、音声記録部
108内のCPU301による場合とがある。映像、音
声記録読み出し部304は、手順1002及び1003
に示されるように時刻tにおける映像が記録されてない
場合には、時刻tより以前に記録されたtにもっとも近
い時点sの映像データを読みだす。手順1004で映像
データが映像情報をそのまま記録したものであればそれ
を使う。一方、差分を記録したものであれば、手順10
05で時刻tにもっとも近く、かつ差分値でない映像情
報を読みだし映像、音声記録部108内の主記憶302
に記録し、手順1006でそこからの差分をとって映像
を作成する。映像が、カメラ画像すべてである場合は表
示する。そうでない場合は1008で背景と合成した後
表示する。
は、ワークステーション103から再生方向、速度を指
定した再生命令が送られると次式で内部に持つ表示時刻
データtを進ませる。
aは再生方向が順方向の時は正で、逆方向の時は負で、
2倍速の時は絶対値が2であり、標準速のときは1であ
る係数である。再生時の映像表示は、順方向再生の場合
は時刻データ835をこの時刻データtが越えたときワ
ークステーション103に映像データ836を送り、逆
方向再生の場合はこの時刻データtが835の次の時刻
データを下回ったとき映像データ836を送る。ワーク
ステーション103から表示中の映像の生成時刻の要求
があった場合はこの時刻tを103に送る。
第一の機能を実現するための処理手順である。手順11
01においてメニューで再生モードが選択される。この
時ワークステーション103は図6の603で示される
コントロールボタンを表示する。処理1102におい
て、ワークステーション103は、タッチパネル等のポ
インティングデバイスによる入力信号を処理し、その入
力位置を調べることによってボタンの種類の検出を行
う。この時、そのボタンが押されたことを示すために図
6で示されるように押されたボタンの色を変えてディス
プレイ上に再表示すると共に、再生方向、および速度を
決定する。処理1103においては、決定した方向、速
度をもとに、次に表示するプロセスデータの生成された
時刻tを決定する。
る。
映像、音声の記録した時刻tを問い合わせる。
時刻とする。
書き換える時間、aは再生方向が順方向の時は正で、逆
方向の時は負で、2倍速の時は絶対値が2であり、標準
速のときは1である係数である。ただしデータを書き換
える時間は計算機の他の負荷で変って来るので、(1)
の方法も併用する。これを用いることで、ワークステー
ション103が表示にかかる時間分の映像、音声情報の
進む時間だけ、次の表示情報の時刻を進めることができ
る。
示すべきプロセスデータがワークステーション103内
にバッファリングされているデータで十分か判断し十分
な場合はそれらを表示する。ただし十分な場合とは、時
刻tにおけるプロセスデータがバッファリングされてい
るか、または時刻tにおけるデータはないがその前後の
データがバッファリングされている場合である。前後の
データのみバッファリングされているときは、もっとも
tに近いデータで代用するか前後のデータを線形に補間
することでデータを作成する。十分でない場合には処理
1105において、ワークステーション103は、表示
速度、方向を基にデ−タベ−ス104から表示データと
して読み込むデータの範囲を決定し、処理1106で、
表示するプロセスデータの種類と読み込むデータの範囲
をLANを通じてデータベース104に送り、デ−タベ
−ス104から要求されたプロセスデータがワークステ
ーション103に送られる。処理1107においては、
映像、音声情報を表示あるいは出力し、処理1108に
おいてはワークステーション103では送られてきたそ
れぞれのプロセスデータをトレンドグラフやメーターと
いうように、主記憶202に記録してある個々のプロセ
スデータの表示の仕方で映像情報、音声情報と共に、表
示する。次に図1から図5および図12を用いて第2の
機能について述べる。時刻カーソル503は、タッチパ
ネル107を用いてカーソル503上を指で押さえたま
ま左右に動かすことにより、カ−ソル503が左右に動
くようになっている。この時、図12に示されるよう
に、直接トレンドグラフ403内の時刻カーソル503
を参照したい時点に動かすことにより、他のトレンドグ
ラフ403内の時刻カーソル1201が、時刻カーソル
503が指し示す時刻に移動し、時刻カーソル503で
決定される時刻の映像を呼び出し映像表示領域402に
表示する。またこの時、図2におけるメーター405等
も時刻カーソル503が指し示す時刻のデータを表示す
る。もちろん現在トレンドグラフ403の時間軸に表示
されてない時刻の指定も時間軸移動ボタン506、50
7等を用いることで行なえる。以上のように表示されて
いるプロセスデータの参照したい所を指定することで、
そのデータが記録された時点の映像と、その時点での他
のプロセスデータを参照することができる。これにより
操作員がプロセスデータ等を参照したい時点をトレンド
グラフ403等を見て直接指定することで映像の表示が
可能となる。
具体的な現場の様子を参照することが出来る。
いて述べる。図11のアルゴリズムとは、処理1301
で時刻カーソルの指す時刻tを検出することと、処理1
302の時刻tが既にワークステーション103内にバ
ッファリングされているかの判定のみが異なる。処理1
301においてはタッチパネル等のポインティングデバ
イスによる入力信号の座標値をワークステーション10
3内のCPU201が処理し、時刻カ−ソル503をそ
の座標上に再描画すると共に、時刻カ−ソル503のさ
す時刻tを座標値から割り出す。もし時刻tのデータが
ワークステーション103内にバッファリングされてな
い場合には以下実施例1における手順1105、110
6を行ない、以下手順1106、1107でデータ、映
像、音声を表示する。
れるように、タッチパネル107を用いてトレンドグラ
フ403内のデータ項目表示部内のデータ項目1401
を選択した後に、データ値カーソル505を探索をした
い値に持っていき探索値を決定する。この時、選択され
たデータがデータ値カーソル505の示す値をとる時点
に時刻カ−ソル503が移動し、他のトレンドグラフ4
03においてもその時点に時刻カーソル1402が移動
し、その時点の映像が映像表示部402に表示される。
またこの時、図4におけるメーター405等も時刻カ−
ソル503が指し示す時刻のデータを表示する。ここで
検索は時間軸に対して逆方向に一回のみ行われる。さら
に検索したい場合は時間軸移動ボタン506を押すこと
でさらに逆方向に検索が行われる。一方、順方向に検索
する場合にはボタン507を押すことで順方向に検索が
なされる。以上のように表示されているプロセスデータ
において、値を探索すると、探索結果が表示され、その
表示されたデータが記録された時点の映像と、その時点
での他のプロセスデータを参照することができる。
べる。処理1501においてはタッチパネル107等の
ポインティングデバイスによる入力信号の座標値をワー
クステーション103が処理し、データ項目表示部50
2において探索対象に選択されたデータ、制御値カーソ
ル505によって示された探索値を決定する。次に処理
1502において探索の方向、即ち時間軸に対し順方向
探索、または逆方向探索を決定する。これは、例えば、
基本的には逆方向探索が一回行われ、さらに時間軸移動
ボタンの順方向のボタン507が押されたときには順方
向に探索を時間軸移動ボタンの逆方向ボタン506が押
されたときは更に逆方向へ探索を行なう、とする。この
ボタンが押されたかの判断はワークステーション103
が行なう。処理1503においては、データベース10
4に探索対象、探索値、現在表示しているデータ作成時
刻、探索方向等を含んだ探索命令を出し、手順1504
において最初に発見できた探索値と表示時刻を決定す
る。以下実施例1の手順1104から1109までと同
じであるので省略する。
値を取る条件での、他のプロセスデータ値と映像情報を
用いた比較、分析等や、極くまれにしか起こらない異常
値等の呼び出しが可能となる。
7、18で述べる。図16では映像情報を再生する際に
順方向2倍速ボタン705を選択した場合に、トレンド
グラフ403内の時間軸504が2倍の範囲の時間を表
示し、現在表示してあったプロセスデータは新しい時間
軸にあわせて再表示されるとともに、表示されてなかっ
たデータはデータベースから読みだされ時間軸にあわせ
て表示される。次に、映像表示部402に標準速度の2
倍の速度で映像が表示され、時刻カーソル503が移動
する。このように2倍速再生時には、トレンドグラフ4
03内に、より長い時間のデータを表示することが可能
となり、データの時間による変化を概観することができ
る。このような表示はデータの検索において便利であ
る。
ボタン707を選択した場合に、時間軸504が標準速
度の時の半分の範囲の時間を表示する。このとき、より
詳しくデータを表示することが出来るので、標準速度の
時には表示されなかったデータをデータベースから読み
込みすでにあったデータと併せて再表示する。即ち映像
を再生する際に、再生する速度によって、プロセスデー
タの呼び出し方、表示方法を変える。これによって、再
生速度を速くする場合は、長い時間のデータをトレンド
グラフ403に表示できるのでデータの探索、概観等が
容易になる。また、プロセスデータを呼び出す際に再生
速度が速いと呼び出すデータの生成時刻の間隔が大きく
なるが、この表示を用いることでの呼び出しの荒さが目
立たなくなる。一方、再生スピードを遅くする場合は、
データを詳しく表示することができる。したがって詳し
く解析したいような時点では、映像をスロー再生するだ
けで、詳しくプロセスデータを表示できる。
ータの時間に対する表示頻度を変えるので計算機の負荷
をある程度抑えることが出来る。
べる。手順1102においては操作員からの入力により
映像情報、音声情報を再生する方向、スピードを決定す
る。手順1801ではワークステーション103におい
て、決定された速度に基づきプロセスデータの表示方
法、呼び出し方法の決定を行う。表示方法は、トレンド
グラフ403等における時間軸表示単位、即ち、どのく
らいの間隔で時間を刻むか、を決め、呼び出し方法は、
呼び出すブロック内におけるデータ間の時間間隔、およ
び一回の呼び出しブロックにおける時間の長さを決定す
る。手順1104においてバッファリングされているデ
ータでは不十分な場合は、手順1105においてこの決
定した時間間隔、および時間長さをコード化しデータベ
ースに送る。データベースでは手順1105で送られて
きたコードに基づき、時間間隔、時間長さ分のブロック
データを読みだしワークステーション103に送る。以
下、ワークステーションでは決められた表示方法に基づ
きデータ表示を行う。この部分は前記実施例の手順11
04から1109までと同じであるので省略する。
ロセスデータの表示の仕方として、トレンドグラフ40
3の時間軸の区間1901では、時間軸504を1/2
に縮小化し、区間1902ではそのままで、区間190
3では2倍に拡大したものである。このとき、表示する
プロセスデータの生成時刻の間隔は区間1901では区
間1902の2倍に、区間1903では区間1902の
1/2倍になる。したがって、区間1901では前実施
例におけるちょうど2倍速再生の時と同じ表示に、区間
1902では標準速度再生と同じ表示に、区間1903
では1/2倍速度再生と同じ表示になっている。この場
合に、ビデオコントローラー603で標準順方向再生を
ボタン704を用いて行なえば、映像を映像表示領域4
02に、時刻カ−ソル503が区間1901にある場合
には2倍速で、区間1902にある場合には標準速度
で、区間1903にある場合には1/2倍速で表示す
る。即ち、プロセスデータの表示の方法を予め設定して
おくことで、再生する際に、映像再生時の速度をその表
示方法にあわせて設定し、その速度で再生を行なう。
示方法を指定できるだけでなくデータを詳しく見たいと
ころは映像をゆっくりと、データを飛ばしてみたいとこ
ろは映像を飛ばして再生することができる。
べる。手順2001で操作員からの入力により、縮小、
拡大すべき時間軸の区間を指定する。手順2002でそ
の区間に対して操作員は、拡大、縮小のいずれかを選択
する。これらの指定、選択は例えばメニューで行なって
もよいし、この例のようにタッチパネル等で区間を指定
した後その区間の端点をつかんで区間を延び縮みさせて
行なうこともできる。この時、手順2003で時間軸を
再表示すると共に、必要ならばデータベースからブロッ
ク呼び出しを行ない、プロセスデータを再表示する。こ
の時各区間の再生速度をワークステーション103は決
定し、主記憶202に記憶しておく。次に再生が開始さ
れ、手順1103で、表示時刻tが決められる。この時
刻tを含む区間をCPU201で決定した後、もし、そ
れまでの区間と違う区間であれば、手順2004で映
像、音声記録部108に再生速度、方向等の再生命令を
送る。以下、前記実施例の手順1104から1109と
同様である。
ては、映像情報を再生する際に、プロセスデータのみで
なく操作員からの操作情報も併せて再生する。このとき
その時点でディスプレイ上に表示してあった映像、プロ
セスデータが表示されるとともに、マウスカーソル21
01等で示される操作員の入力が再生、表示される。こ
の時、2102で示されるように映像表示領域402に
表示する映像を新たに選択することにより、操作員の操
作により起こり、かつ記録した時点では見れなかった映
像情報を参照することができる。また、同様の操作で表
示していなかったプロセスデータ等も表示することがで
きる。これによって、例えば操作員の操作ミス等で起こ
る異常を素早く発見することができる。また制御操作の
教育にも大きな効果を上げることが出来る。
ス運転状況変化が、操作員の操作命令によるものか、が
わかる。またこのような操作命令を記録、再生すること
で、操作手順の説明に使えたり、教育用のシステム、操
作員の操作状況の監視を行なうことが出来る。
作情報を入力し、入力された操作情報を探索し、その時
点での操作情報と映像情報、音声情報とプロセスデータ
が呼び出され表示される。これによって、情報の探索を
操作員が行った操作を目印にして行える。
ができるので、操作員の操作によって生じたプロセスデ
ータの変化、映像の変化を検索できる。
る。図8において、データ850はデータベース104
に記録する画面情報を示したものである。画面情報85
0は、時刻851、動画表示領域202に表示する映像
を撮るカメラ名852、トレンドグラフ403に表示す
るプロセスデータ名853から855まで、メーター4
05や他のデータ表示手段に表示しているデータ名85
6等からなる。このデータは操作員が動画像表示領域4
02に表示する映像を切り替えたり、トレンドグラフ4
03に表示するデータを変更、追加、削除したときワー
クステーション103がデータベース104に送る。
構造は図8のプロセスデータのデータ構造820と同じ
である。ただしプロセスデータ値824の代りに操作デ
ータとして入力した操作命令(ポインティングデバイス
を用いて操作員が入力した座標値をワークステーション
103が処理して生成した命令)を入れる。このデータ
も操作命令があった時点でワークステーション103が
このデータをデータベース104に送る。
ズムと同じである。ただし手順1108において、プロ
セスデータは表示するデータを表示時刻tの最も近い時
刻のデータ値か、前後のデータを補間することでデータ
を作成していたが、操作員操作データの実行は、順方向
再生の時は表示時刻tが操作データの記録時刻を越えた
とき、逆方向再生の場合は操作データの記録時刻を下回
ったときとする。また時刻851に記録した画面情報デ
ータの内容を表示するのは、順方向再生の時は表示時刻
tが時刻851以上になったとき、逆方向再生の場合は
時刻857以下になったときとする。
ムと同一である。ただし、手順1504で表示時刻tを
決定した後、手順1106でt以前のtに最も近い画面
情報データをまず呼びだし、その後表示すべきプロセス
データを決定しプロセスデータを呼び出す。
て、映像、音声、プロセスデータを再生する際に、映
像、およびプロセスデータの関連表示についてのもので
ある。
領域402に表示してあるボイラーの窓を選択対象22
01と定義しておき、これを選択すると、その選択対象
が選択されたことを示すグラフィックスが表示され、さ
らにそこから生成されるプロセスデータ名2202がト
レンドグラフ403内のプロセスデータ項目に表示さ
れ、プロセスデータ2203がグラフで表示される。以
上のように映像内の選択対象を、ポインティグデバイス
を用いて選択することにより関連するプロセスデータを
表示する。ここでもちろん、選択対象がボイラーの窓で
なくても、あらかじめ選択対象として、制御用計算機内
に登録してあればよい。またトレンドグラフ403にデ
ータを表示する以外にメーター405等に表示すること
もできるが、以下簡単のためトレンドグラフ403にデ
ータを表示する場合のみ示す。
領域402に表示してあるボイラーの上方パイプを選択
対象2301と定義し、これを選択すると、その選択対
象が選択されたことを示すグラフィックスが表示され、
その選択対象に関連するプロセスデータ2302が既に
トレンドグラフ403に表示してある蒸気圧である場合
に、プロセスデータ項目の蒸気圧2302がハイライト
するとともに、グラフ2303がハイライトして操作員
によって選択された選択対象の関連データであることを
示す。即ち選択された映像内の選択対象に関するデータ
がすでに表示されている場合はデータがハイライト等す
ることで選択されたことを示す。
示領域402に表示してあるボイラーの左方パイプを選
択対象2401と定義し、これを選択すると、それが選
択されたことを示すグラフィックスが表示され、その選
択対象に関連するプロセスデータが複数個ある場合に、
動画像内の選択対象のすぐ脇にプロセスデータを項目と
する選択メニュー2402が表示され、その中から参照
したいプロセスデータをポインティングデバイスを用い
て選択することで、トレンドグラフ403内にデータを
表示する。即ち選択された映像内の選択対象に関連する
データが複数個ある場合は選択メニューを表示し、操作
員が参照したいデータを選択することが出来る。
表示領域402に表示してあるボイラーの本体を選択対
象と定義し、これを選択すると、その選択対象が選択さ
れたことを示すグラフィックス2501が表示され、そ
れに関連するプロセスデータ2502から2504を、
動画像のそれぞれのデータが関係するところに重ねて表
示する。即ち映像内の選択対象を、ポインティグデバイ
スを用いて選択することにより関連するプロセスデータ
が映像内の関連する場所に表示される。
表示領域402に表示してあるボイラー内の全体を選択
対象と定義し、これを選択すると、それが選択されたこ
とを示すグラフィックス2601が表示され、その選択
対象に関連する温度分布データを呼び出し、コンピュー
ターグラフィックス2602で映像に重ねて表示する。
映像内の選択対象を、ポインティグデバイスを用いて選
択することによりその選択対象上に、プロセスデータを
コンピューターグラフィックスで表示したものが重ねら
れる。
表示領域402に表示してあるボイラー全体を選択対象
と定義し、これを選択すると、その選択対象が選択され
たことを示すグラフィックス2701が表示されるとと
もに、その選択対象と関係深い燃料供給部にグラフィッ
クス2702が表示される。即ち映像内の選択対象を、
ポインティグデバイスを用いて選択することによりその
選択対象と関連のある映像内の選択対象を表示する。
表示領域402に表示してあるボイラー全体を選択対象
と定義し、これを選択すると、その選択対象が選択され
たことを示すグラフィックス2801が表示されるとと
もに、その選択対象に関する制御方法、メンテナンス情
報等の付加情報2802がデータベースから読みださ
れ、映像上に表示される。即ち、映像内の選択対象を、
ポインティグデバイスを用いて選択することによりその
選択対象の操作法、制御方法、メンテナンス情報等の付
加情報が表示される。
ロセスデータと映像情報内に映っている装置との関連づ
けが出来、プロセスデータによる映像内の関連する装置
への参照や映像内の装置によるプロセスデータへの参照
ができる。これにより、例えば訓練を積んだ操作員でな
くても、映像とデータを見ることにより装置の簡単な操
作、監視を行なうことが出来る。
を表示することを示す。
ンドグラフ403内のプロセスデータ項目2302を選
択することにより、そのプロセスデータ項目2302が
ハイライトすることにより、そのプロセスデータが選択
されたことを示し、さらに映像表示領域402内にその
プロセスデータに関連する選択対象が存在することを示
すグラフィックス2301が表示される。即ち、プロセ
スデータが映像内でどの選択対象と関連があるかを示す
グラフィックスが表示される。第16の機能は、図30
においては、トレンドグラフ403内のプロセスデータ
項目2302を選択することにより、映像402内にそ
のプロセスデータが関連する選択対象にプロセスデータ
3001を重ねて表示する。
ンドグラフ403内のプロセスデータ項目2302を選
択することにより、映像402内にそのプロセスデータ
が関連する選択対象にプロセスデータをコンピューター
グラフィックス3101で重ねて表示する。
実現方法を図32を用いて説明する。ワークステーショ
ン103内に監視対象とする制御対象装置3201の形
状モデルを記録する。この形状モデルの一部を、操作員
からの入力を受ける選択対象として定義する。この形状
モデルはCADモデル等の3次元データや、プロセスの
設計図、あるいは操作員がカメラ110からの映像を見
て定義した単なる矩形領域でもよい。この選択対象の映
像内における位置、大きさを決定するために、ITVカメ
ラ110から画角情報、垂直角情報、水平角情報をデー
タベース104に時刻とともに記録する。あるいはITV
カメラに送るカメラ制御コマンドとITVカメラの初期設
定から画角情報、垂直角情報、水平角情報をワークステ
ーション103内のCPU201で算出し、結果をデー
タベース104に送り、時刻とともに記録する。ITVカ
メラや制御対象装置は移動しないのでカメラの初期位
置、記録するカメラ情報、形状モデルを組み合わせるこ
とにより画像内における選択対象の位置、大きさを知る
ことが出来る。
10は、その垂直角情報3211、および水平角情報3
212およびズーム値を与えることにより、画像320
2から3204を作成する。ここで、それぞれの画像に
映される装置3201の像はズーム値により3205、
3206、3207となる。それぞれのズーム値に合わ
せて計算機内部の選択対象のスケーリングを行なう。こ
こで、選択領域として単なる矩形領域を用いた場合に
は、画像3202に対応する選択対象は3208であ
り、画像3203に対しては3209、画像3204に
対しては3210である。スケーリングは全て線形であ
るため容易に行なうことが出来る。
員からの選択があった場合や、他の選択対象からなんら
かのメッセージコマンドが送られたときには、選択対象
を表示する、関連データを出す等の動作を起動するよう
に定義しておく。
860で示す。861、862は選択対象の大きさ、8
63、864は位置、865は操作員に選択された時起
動する動作、あるいは動作テーブルへのポインター等を
入れ、866には関連するテキスト情報等を入れる。こ
れによって映像内の装置とプロセスデータや関連情報と
を対応づけすることが出来る。また映像内の装置同士の
関連づけを行なうことも出来る。さらにプロセスデータ
や選択対象を単に表示するだけでなく、選択された場合
はあらかじめ定義した命令を実行することも可能であ
る。
タを表示することが出来、操作員は視線を動かさずに動
画像、プロセスデータを見ることが出来る。また、これ
をコンピューターグラフィックスで表示してやることに
より、操作員に直感的なデータ値の判断をさせる。さら
に、映像内における背景等、随時記録する必要のないも
のや、映像記録時刻の条件を設定することでむだに映像
を記録することを回避できる。こうして、映像、音声、
プロセスデータを同期させて再生することにより、より
わかりやすいプロセスの状況把握と迅速な異常発見が可
能になる。また操作員が参照したいプロセスデータを映
像上で選択したり、参照したい映像を直接プロセスデー
タ表示部上で選択することにより、より直接的に操作が
可能となり、プロセスの監視性、操作性、確実性を高め
る。さらに映像データを用いたプロセスデータの検索や
プロセスデータを用いた映像データの検索が実現でき
る。
る。
ュー 操作員がプロセスデータをある値に設定する際にそのプ
ロセスがどのようになるかを過去のデータから映像、プ
ロセスデータを検索表示することでプレビューすること
ができる。
況を写した映像、音声、プロセスデータと比較すること
によりプロセスの状況を把握することができる。
関連するデータ値も設定する必要がある。このように複
数のデータ値の設定が必要な際、過去のデータ及び映
像、音声を参照することにより操作員に設定値の決定の
指針を与えることができる。
データと映像、音声との同期再生を用いることによりよ
り有効に行なうことができる。
して用いることができる。
または音デ−タとの同期を取るために時間を記録するこ
ととしたが、本発明は、これに限られるものではなく、
例えば、測定デ−タと映像デ−タ等に一連番号を付して
おいて、この一連番号をキ−として測定デ−タと、映像
または音デ−タとの同期を取ることとしても良い。
関して、上記の実施例では、再生のスピ−ドを破約する
ことまたは遅くすることを述べたが、本発明は、これに
限られるものでは無く、再生の仕方として、静止(一時
停止)をさせることとしても良い。この時に、静止のさ
せ方として、オペレ−タの操作による方法または、アラ
−ムを記録しておいて、アラ−ムの発生した時点で停止
することとしても良い。この時は、事故の原因解析を行
なう時等に事故の発生時点の画面をすばやく検索するこ
とができるというメリットがある。
ラによる動画のみを対象とするものではなく、スチ−ル
カメラによる静止画を取り扱うこともできる。
と、映像または音とを同期して再生できる監視システム
を提供できる。
の説明図である。
明図である。
コントローラーの説明図である。
タ等のデータ構造の説明図である。
チャ−トである。
る。
ある。
説明図である。
ある。
説明図である。
ある。
説明図である。
説明図である。
ある。
説明図である。
ある。
説明図である。
説明図である。
説明図である。
説明図である。
説明図である。
説明図である。
説明図である。
説明図である。
説明図である。
説明図である。
説明図である。
象の決定方法の説明図である。
…ワークステーション、104…データベース、108
…映像音声記録部、109…スイッチャ、110…ITV
カメラ、402…動画像表示領域、403…トレンドグ
ラフ、502…データ項目表示部、503…時刻カーソ
ル、504…時間軸。
Claims (28)
- 【請求項1】監視対象物に関する測定デ−タを記憶して
いる第1の記憶手段と、監視対象物に関する音デ−タ及
び映像デ−タのうち少なくとも一方を記憶している第2
の記憶手段とを有し、上記測定デ−タと、上記音デ−タ
及び映像デ−タとは、対応付けのための情報とともに記
憶されている監視システムであって、 上記測定デ−タを再生する第1の再生手段と、 上記音デ−タ及び映像デ−タのうち少なくとも一方を再
生する再生手段(第2の再生手段)と、 第2の再生手段に、第1の再生手段を対応付けの情報に
より同期させる制御部と、 上記測定デ−タを出力する第1の出力手段と、 上記音デ−タを出力する出力手段及び映像デ−タを出力
する出力手段のうち少なくとも一方を有する第2の出力
手段とを有し、 上記測定デ−タを映像又は音の再生に同期して出力する
ことを特徴とする監視システム。 - 【請求項2】請求項1記載の監視システムにおいて、 上記音デ−タ及び映像デ−タのうち少なくとも一方の再
生方向または再生速度を指定する手段を有し、 上記第2の再生手段は、指定された再生方向、再生速度
で再生することを特徴とする監視システム。 - 【請求項3】請求項1または2記載の監視システムにお
いて、 監視対象物に関する測定デ−タを受付ける第1の入力手
段と、 監視対象物に関する音デ−タを受付ける入力手段及び映
像デ−タを受付ける入力手段のうち少なくとも一方を有
する第2の入力手段とを有することを特徴とする監視シ
ステム。 - 【請求項4】請求項1、2または3記載の監視システム
において、 上記第1の出力手段は、上記測定データを表示すること
を特徴とする監視システム。 - 【請求項5】請求項1、2、3または4記載の監視シス
テムにおいて、 上記第1の出力手段は、時刻表示を行なうことを特徴と
する監視システム。 - 【請求項6】請求項1記載の監視システムにおいて、 出力すべき測定データと時刻を指定する測定データ出力
指定手段を有し、 上記制御部は、出力指定された測定データが記録された
時点に最も近い時点の映像または音声を出力するように
第1の出力手段に対して指示することを特徴とする監視
システム。 - 【請求項7】請求項6記載の監視システムにおいて、 上記第1の出力手段は、測定デ−タを時間軸を有するト
レンドグラフとして表示し、 上記測定データ出力指定手段は、トレンドグラフに表示
している時間軸を利用して時刻を指定し、 上記第1の出力手段は、指定した時刻における測定デー
タを表示することを特徴とする監視システム。 - 【請求項8】請求項6または7記載の監視システムにお
いて、 上記測定データ出力指定手段は、測定データの探索値を
受付け、 上記制御部は、指定した測定データがその探索値を取っ
た時刻を探索し、 上記第1の出力手段は、その時刻と、その時刻のデータ
値を出力することを特徴とする監視システム。 - 【請求項9】請求項2、3、4、5、6、7または8記
載の監視システムにおいて、 上記制御部は、映像または音の再生速度にあわせて測定
データの表示頻度を決定し、 映像または音の再生に同期して、測定データを決定した
表示頻度で表示することを特徴とする測定監視制御シス
テム。 - 【請求項10】請求項6、7、8または9記載の監視シ
ステムにおいて、 上記測定データ出力指定手段は、測定データの表示頻度
を受付け、 上記第1の出力手段は、指定された表示頻度に従って測
定データを表示し、 上記制御部は、指定した表示頻度から再生速度を決定
し、 上記第1の出力手段は、決定した速度で映像、音を出力
することを特徴とする監視システム。 - 【請求項11】請求項7、8、9または10記載の監視
システムにおいて、 上記測定データ出力指定手段は、トレンドグラフの時間
軸の区間の指定と、その区間において縮小、拡大の指定
とを受付け、 上記制御部は、縮小した区間では速く、拡大した区間で
は遅く、その時間軸表示にあわせて映像、音の再生速度
を決定することを特徴とする監視システム。 - 【請求項12】請求項1記載の監視システムにおいて、 操作員の操作入力情報を記憶する第3の記憶手段と、 映像、または音の再生に同期して操作員の操作入力情報
を出力する第3の出力手段とを有することを特徴とする
監視システム。 - 【請求項13】請求項12記載の監視システムにおい
て、 操作入力情報の指定を受付ける手段を有し、 上記制御部は、指定した操作が入力した時刻と、その時
刻に最も近い映像、音を探索し、 上記第3の出力手段は、その時刻と、その操作入力情報
を出力し、 上記第2の出力手段は、映像、音を表示することを特徴
とする監視システム。 - 【請求項14】請求項1記載の監視システムにおいて、 選択対象となりうる映像内の監視対象物に関する情報
と、その監視対象物と測定データとの関連付けの情報と
を記憶している記憶手段と、 上記選択対象を選択する手段とを有し、 上記制御部は、記憶されている監視対象物の情報と関連
付けの情報により、選択された選択対象に関連する測定
データを選択し、 上記第1の出力手段は、関連する測定データを表示する
ことを特徴とする監視システム。 - 【請求項15】請求項1記載の監視システムにおいて、 選択対象と測定データとの関連付けの情報を記憶してい
る記憶手段と、 測定データの一つを選択する手段を有し、 上記制御部は、関連付けの情報により、選択された測定
データに関連する選択対象を選択し、 上記第2の出力手段は、選択された選択対象を表示する
ことを特徴とする監視システム。 - 【請求項16】請求項14記載の監視システムにおい
て、選択対象に関連する測定データが複数個ある場合
に、 上記第2の出力手段は、選択対象の近傍に関連測定デー
タ選択メニューを表示し、 上記メニューから少なくとも一つの項目の指定を受付け
る手段と、 受付けた測定データを表示する手段とを有することを特
徴とする監視システム。 - 【請求項17】請求項14記載の監視システムにおい
て、 上記第2の出力手段は、選択対象に関連する測定データ
をトレンドグラフ内に表示することを特徴とする監視シ
ステム。 - 【請求項18】請求項14記載の監視システムにおい
て、 上記第2の出力手段は、選択対象に関連する少なくとも
1つの測定データを選択対象の近傍に、表示することを
特徴とする監視システム。 - 【請求項19】請求項14記載の監視システムにおい
て、 上記第2の出力手段は、選択対象に関連する測定データ
をグラフィックスで表現し、映像に重ねて表示すること
を特徴とする監視システム。 - 【請求項20】請求項1記載の監視システムにおいて、 選択対象となりうる映像内の監視対象物に関する情報
と、その監視対象物と関連のある監視対象物との関連付
けの情報とを記憶している記憶手段と、 映像再生時に映像内の上記選択対象を選択する手段とを
有し、 上記制御部は、記憶されている監視対象物の情報と関連
付けの情報により、選択された選択対象に関連する選択
対象を選択し、 上記第2の出力手段は、映像上にその選択対象が選択さ
れたことを示し、その選択対象に関連する少なくとも一
つの映像内の選択対象を表示することを特徴とする監視
システム。 - 【請求項21】請求項1記載の監視システムにおいて、 選択対象となりうる映像内の監視対象物に関する情報
と、その監視対象物と関連のある付加情報との関連付け
の情報とを記憶している記憶手段と、 映像再生時に映像内の上記選択対象を選択する手段とを
有し、 上記制御部は、記憶されている監視対象物の情報と関連
付けの情報により、選択された選択対象に関連する選択
対象を選択し、 上記第2の出力手段は、映像上にその選択対象が選択さ
れたことを示し、その選択対象に関連する付加情報を表
示することを特徴とする監視システム。 - 【請求項22】請求項15記載の監視システムにおい
て、 上記第2の出力手段は、トレンドグラフ内に測定データ
を表示し、 表示されたデータ項目を選択する手段を有し、 上記第2の出力手段は、そのデータに関連する選択対象
が映像内で選択されたことを示す表示を行なうことを特
徴とする監視システム。 - 【請求項23】請求項15記載の監視システムにおい
て、 上記第2の出力手段は、トレンドグラフ内に測定データ
を表示し、 表示されたデータ項目を選択する手段を有し、 上記制御部は、そのデータに関連する選択対象が映像内
にない場合には、関連する選択対象が存在する映像に切
り替え、 上記第2の出力手段は、そのデータに関連する選択対象
が映像内で選択されたことを示す表示を行なうことを特
徴とする監視システム。 - 【請求項24】請求項1記載の監視システムにおいて、 画像内における記録対象の指定、どの時点で記録するか
を定める記録条件の指定、得られた画像データの記録方
式の指定を受付ける手段を有し、 上記制御部は、記録対象の指定、記録条件の指定、記録
方式の指定により上記第2の記憶手段を制御することを
特徴とする監視システム。 - 【請求項25】請求項24記載の監視システムにおい
て、 記録対象をあらかじめ指定する手段を有し、 上記受付ける手段は、あらかじめ指定された記録対象の
み対象とすることを特徴とする監視システム。 - 【請求項26】請求項24記載の監視システムにおい
て、 上記記録条件は、前画面との差分がある閾値をこえたら
記録するものであることを特徴とする監視システム。 - 【請求項27】請求項24記載の監視システムにおい
て、 上記記録条件は、測定データの値がそれぞれあらかじめ
決められた敷居値を越えたら記録するものであることを
特徴とする監視システム。 - 【請求項28】請求項24記載の監視システムにおい
て、 上記記録条件を、各測定データの前データとの差分値が
それぞれに決められた敷居値を越えたら記録するもので
あることを特徴とする監視システム。
Priority Applications (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3238277A JP2970964B2 (ja) | 1991-09-18 | 1991-09-18 | 監視装置 |
| DE4290947T DE4290947T1 (ja) | 1991-04-08 | 1992-04-08 | |
| DE4290947A DE4290947B4 (de) | 1991-04-08 | 1992-04-08 | Interaktives videogestütztes Bedienungsverfahren und -vorrichtung |
| PCT/JP1992/000434 WO1992017875A1 (fr) | 1991-04-08 | 1992-04-08 | Procede et appareil pour traitement d'images ou de donnees, et procede et appareil de controle les mettant en ×uvre |
| KR1019920703137A KR100318330B1 (ko) | 1991-04-08 | 1992-04-08 | 감시장치 |
| US08/328,566 US6335722B1 (en) | 1991-04-08 | 1994-10-24 | Video or information processing method and processing apparatus, and monitoring method and monitoring apparatus using the same |
| KR1019997005176A KR100257593B1 (en) | 1991-04-08 | 1999-06-10 | An interactive live video image operating apparatus and operating method and video image developing apparatus |
| US09/845,838 US6965376B2 (en) | 1991-04-08 | 2001-05-01 | Video or information processing method and processing apparatus, and monitoring method and monitoring apparatus using the same |
| US10/875,336 US20040227739A1 (en) | 1991-04-08 | 2004-06-25 | Video or information processing method and processing apparatus, and monitoring method and monitoring apparatus using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3238277A JP2970964B2 (ja) | 1991-09-18 | 1991-09-18 | 監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0579951A true JPH0579951A (ja) | 1993-03-30 |
| JP2970964B2 JP2970964B2 (ja) | 1999-11-02 |
Family
ID=17027802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3238277A Expired - Fee Related JP2970964B2 (ja) | 1991-04-08 | 1991-09-18 | 監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2970964B2 (ja) |
Cited By (152)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06288796A (ja) * | 1993-03-31 | 1994-10-18 | Mitsubishi Kasei Corp | 分散型設備管理診断システム |
| JPH06337767A (ja) * | 1993-05-27 | 1994-12-06 | Yokogawa Electric Corp | プラント監視装置 |
| JPH07219618A (ja) * | 1994-01-28 | 1995-08-18 | Kawasaki Steel Corp | 生産管理システムの試験方法 |
| JPH085521A (ja) * | 1994-06-16 | 1996-01-12 | East Japan Railway Co | 巡回検査装置及び巡回検査のための表示方法 |
| JPH0868673A (ja) * | 1994-08-31 | 1996-03-12 | Toshiba Corp | 分布計測データによる機器状態の監視方法 |
| JPH08166260A (ja) * | 1994-12-12 | 1996-06-25 | Hioki Ee Corp | 計測器のデータ表示方法 |
| JPH08226830A (ja) * | 1995-02-21 | 1996-09-03 | Toshiba Corp | プラント監視装置 |
| JPH08304274A (ja) * | 1995-04-28 | 1996-11-22 | Jasco Corp | 分光光度計 |
| JPH10111149A (ja) * | 1996-10-04 | 1998-04-28 | Yokogawa Electric Corp | データ記録装置 |
| JPH10207530A (ja) * | 1997-01-21 | 1998-08-07 | Hitachi Ltd | 記録情報表示システム及び記録情報表示方法 |
| KR19990012455A (ko) * | 1997-07-29 | 1999-02-25 | 이대원 | 공정제어용 통합제어 시스템 |
| JPH11103263A (ja) * | 1997-09-26 | 1999-04-13 | Dowa Mining Co Ltd | 簡易入力装置付き通信機及び測定機 |
| JPH11327628A (ja) * | 1998-05-14 | 1999-11-26 | Hitachi Ltd | 施設管理システム |
| JP2000040185A (ja) * | 1998-07-24 | 2000-02-08 | Kawasaki Steel Corp | 防犯監視装置 |
| JP2001027585A (ja) * | 1999-07-14 | 2001-01-30 | Hitachi Ltd | 回転体の振動監視方法及びその装置 |
| JP2001042929A (ja) * | 1999-05-21 | 2001-02-16 | Hitachi Ltd | プラント運転監視装置及びプラント運転監視方法 |
| JP2001216590A (ja) * | 2000-01-31 | 2001-08-10 | Toshiba Corp | 放流警報操作卓及びテレメータのディスプレイ卓 |
| JP2002132336A (ja) * | 2000-10-24 | 2002-05-10 | Toshiba Corp | プラント運転支援装置 |
| JP2003256035A (ja) * | 2002-02-27 | 2003-09-10 | Toshiba Corp | プラント監視装置 |
| JP2004133621A (ja) * | 2002-10-09 | 2004-04-30 | Sumitomo Chem Co Ltd | 機器連関提示装置、機器連関提示プログラム、機器連関提示プログラムを格納したコンピュータ読みとり可能な記録媒体 |
| JP2004199444A (ja) * | 2002-12-19 | 2004-07-15 | Toshiba Corp | プラント監視装置 |
| JP2005148967A (ja) * | 2003-11-13 | 2005-06-09 | Yokogawa Electric Corp | 運転支援装置 |
| JP2006518894A (ja) * | 2003-02-26 | 2006-08-17 | エンベディッド・テクノロジーズ・コーポレイション・プロプライエタリー・リミテッド | プロセス制御システムおよびプロセス制御システムを設定するための方法 |
| JP2009180860A (ja) * | 2008-01-30 | 2009-08-13 | Yokogawa Electric Corp | プロセス関連データ表示装置およびプロセス関連データ表示方法 |
| JP2009250792A (ja) * | 2008-04-07 | 2009-10-29 | Hitachi Kokusai Electric Inc | データ検査システム |
| JP2010503332A (ja) * | 2006-09-06 | 2010-01-28 | アップル インコーポレイテッド | ポータブルマルチファンクション装置のためのボイスメールマネージャー |
| JP2010072739A (ja) * | 2008-09-16 | 2010-04-02 | Shinano Kenshi Co Ltd | データ収集装置 |
| JP2010071687A (ja) * | 2008-09-16 | 2010-04-02 | Shinano Kenshi Co Ltd | 動画データ解析プログラム |
| JP2010271289A (ja) * | 2009-05-25 | 2010-12-02 | Yokogawa Electric Corp | 波形表示装置および波形表示方法 |
| CN102281432A (zh) * | 2010-06-09 | 2011-12-14 | 株式会社日立制作所 | 生产车间监视装置以及系统、轧制车间监视装置以及系统、轧制车间监视方法 |
| WO2012140715A1 (ja) * | 2011-04-11 | 2012-10-18 | 東芝三菱電機産業システム株式会社 | データ同期再生装置、データ同期再生方法およびデータ同期制御プログラム |
| WO2013136406A1 (ja) * | 2012-03-12 | 2013-09-19 | 東芝三菱電機産業システム株式会社 | データ同期再生装置、データ同期再生方法およびデータ同期制御プログラム |
| JP2014149703A (ja) * | 2013-02-01 | 2014-08-21 | Mitsubishi Electric Corp | 監視制御システム |
| US8892446B2 (en) | 2010-01-18 | 2014-11-18 | Apple Inc. | Service orchestration for intelligent automated assistant |
| US8977584B2 (en) | 2010-01-25 | 2015-03-10 | Newvaluexchange Global Ai Llp | Apparatuses, methods and systems for a digital conversation management platform |
| JP2015060612A (ja) * | 2013-09-19 | 2015-03-30 | 株式会社デンソー | 情報処理装置 |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| US9300784B2 (en) | 2013-06-13 | 2016-03-29 | Apple Inc. | System and method for emergency calls initiated by voice command |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
| US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
| US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
| US9535906B2 (en) | 2008-07-31 | 2017-01-03 | Apple Inc. | Mobile device having human language translation capability with positional feedback |
| US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
| US9620104B2 (en) | 2013-06-07 | 2017-04-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| JP6113370B1 (ja) * | 2016-01-22 | 2017-04-12 | 三菱電機株式会社 | 記憶装置、制御装置、表示装置及び記憶方法 |
| US9626955B2 (en) | 2008-04-05 | 2017-04-18 | Apple Inc. | Intelligent text-to-speech conversion |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| US9633674B2 (en) | 2013-06-07 | 2017-04-25 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| US9633660B2 (en) | 2010-02-25 | 2017-04-25 | Apple Inc. | User profiling for voice input processing |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US9646614B2 (en) | 2000-03-16 | 2017-05-09 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| JP2017111571A (ja) * | 2015-12-15 | 2017-06-22 | オムロン株式会社 | 制御装置、監視システム、制御プログラムおよび記録媒体 |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US9697822B1 (en) | 2013-03-15 | 2017-07-04 | Apple Inc. | System and method for updating an adaptive speech recognition model |
| US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
| US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
| US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
| US9798393B2 (en) | 2011-08-29 | 2017-10-24 | Apple Inc. | Text correction processing |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9922642B2 (en) | 2013-03-15 | 2018-03-20 | Apple Inc. | Training an at least partial voice command system |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9953088B2 (en) | 2012-05-14 | 2018-04-24 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US9959870B2 (en) | 2008-12-11 | 2018-05-01 | Apple Inc. | Speech recognition involving a mobile device |
| US9966068B2 (en) | 2013-06-08 | 2018-05-08 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| US9966065B2 (en) | 2014-05-30 | 2018-05-08 | Apple Inc. | Multi-command single utterance input method |
| US9971774B2 (en) | 2012-09-19 | 2018-05-15 | Apple Inc. | Voice-based media searching |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| JP2018136716A (ja) * | 2017-02-21 | 2018-08-30 | メタウォーター株式会社 | 情報処理装置、プログラム、及び制御方法 |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US10079014B2 (en) | 2012-06-08 | 2018-09-18 | Apple Inc. | Name recognition system |
| US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| WO2018173213A1 (ja) * | 2017-03-23 | 2018-09-27 | 東芝三菱電機産業システム株式会社 | 鉄鋼プラントの分析支援装置 |
| US10089072B2 (en) | 2016-06-11 | 2018-10-02 | Apple Inc. | Intelligent device arbitration and control |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| US10185542B2 (en) | 2013-06-09 | 2019-01-22 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10199051B2 (en) | 2013-02-07 | 2019-02-05 | Apple Inc. | Voice trigger for a digital assistant |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US10269345B2 (en) | 2016-06-11 | 2019-04-23 | Apple Inc. | Intelligent task discovery |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| US10283110B2 (en) | 2009-07-02 | 2019-05-07 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
| US10297253B2 (en) | 2016-06-11 | 2019-05-21 | Apple Inc. | Application integration with a digital assistant |
| US10318871B2 (en) | 2005-09-08 | 2019-06-11 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US10354011B2 (en) | 2016-06-09 | 2019-07-16 | Apple Inc. | Intelligent automated assistant in a home environment |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| JP2019152967A (ja) * | 2018-03-01 | 2019-09-12 | オムロン株式会社 | 計測システムおよび方法 |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10521466B2 (en) | 2016-06-11 | 2019-12-31 | Apple Inc. | Data driven natural language event detection and classification |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
| US10568032B2 (en) | 2007-04-03 | 2020-02-18 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| JP2020102130A (ja) * | 2018-12-25 | 2020-07-02 | 東芝三菱電機産業システム株式会社 | データ収集再生システム |
| US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10733993B2 (en) | 2016-06-10 | 2020-08-04 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| CN111538289A (zh) * | 2019-02-06 | 2020-08-14 | 发那科株式会社 | 信息处理装置和程序记录介质 |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| US10791216B2 (en) | 2013-08-06 | 2020-09-29 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
| US10791176B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Synchronization and task delegation of a digital assistant |
| US10810274B2 (en) | 2017-05-15 | 2020-10-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US11188048B2 (en) | 2018-10-23 | 2021-11-30 | Keyence Corporation | Programmable logic controller and main unit |
| JP2022036414A (ja) * | 2020-08-24 | 2022-03-08 | 株式会社大林組 | 騒音源特定支援システム、および騒音源特定支援方法 |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| JP2023075578A (ja) * | 2021-11-19 | 2023-05-31 | 株式会社Ihi物流産業システム | 産業機械監視装置 |
-
1991
- 1991-09-18 JP JP3238277A patent/JP2970964B2/ja not_active Expired - Fee Related
Cited By (213)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06288796A (ja) * | 1993-03-31 | 1994-10-18 | Mitsubishi Kasei Corp | 分散型設備管理診断システム |
| JPH06337767A (ja) * | 1993-05-27 | 1994-12-06 | Yokogawa Electric Corp | プラント監視装置 |
| JPH07219618A (ja) * | 1994-01-28 | 1995-08-18 | Kawasaki Steel Corp | 生産管理システムの試験方法 |
| JPH085521A (ja) * | 1994-06-16 | 1996-01-12 | East Japan Railway Co | 巡回検査装置及び巡回検査のための表示方法 |
| JPH0868673A (ja) * | 1994-08-31 | 1996-03-12 | Toshiba Corp | 分布計測データによる機器状態の監視方法 |
| JPH08166260A (ja) * | 1994-12-12 | 1996-06-25 | Hioki Ee Corp | 計測器のデータ表示方法 |
| JPH08226830A (ja) * | 1995-02-21 | 1996-09-03 | Toshiba Corp | プラント監視装置 |
| JPH08304274A (ja) * | 1995-04-28 | 1996-11-22 | Jasco Corp | 分光光度計 |
| JPH10111149A (ja) * | 1996-10-04 | 1998-04-28 | Yokogawa Electric Corp | データ記録装置 |
| JPH10207530A (ja) * | 1997-01-21 | 1998-08-07 | Hitachi Ltd | 記録情報表示システム及び記録情報表示方法 |
| KR19990012455A (ko) * | 1997-07-29 | 1999-02-25 | 이대원 | 공정제어용 통합제어 시스템 |
| JPH11103263A (ja) * | 1997-09-26 | 1999-04-13 | Dowa Mining Co Ltd | 簡易入力装置付き通信機及び測定機 |
| JPH11327628A (ja) * | 1998-05-14 | 1999-11-26 | Hitachi Ltd | 施設管理システム |
| JP2000040185A (ja) * | 1998-07-24 | 2000-02-08 | Kawasaki Steel Corp | 防犯監視装置 |
| JP2001042929A (ja) * | 1999-05-21 | 2001-02-16 | Hitachi Ltd | プラント運転監視装置及びプラント運転監視方法 |
| JP2001027585A (ja) * | 1999-07-14 | 2001-01-30 | Hitachi Ltd | 回転体の振動監視方法及びその装置 |
| JP2001216590A (ja) * | 2000-01-31 | 2001-08-10 | Toshiba Corp | 放流警報操作卓及びテレメータのディスプレイ卓 |
| US9646614B2 (en) | 2000-03-16 | 2017-05-09 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| JP2002132336A (ja) * | 2000-10-24 | 2002-05-10 | Toshiba Corp | プラント運転支援装置 |
| JP2003256035A (ja) * | 2002-02-27 | 2003-09-10 | Toshiba Corp | プラント監視装置 |
| JP2004133621A (ja) * | 2002-10-09 | 2004-04-30 | Sumitomo Chem Co Ltd | 機器連関提示装置、機器連関提示プログラム、機器連関提示プログラムを格納したコンピュータ読みとり可能な記録媒体 |
| JP2004199444A (ja) * | 2002-12-19 | 2004-07-15 | Toshiba Corp | プラント監視装置 |
| JP2006518894A (ja) * | 2003-02-26 | 2006-08-17 | エンベディッド・テクノロジーズ・コーポレイション・プロプライエタリー・リミテッド | プロセス制御システムおよびプロセス制御システムを設定するための方法 |
| JP2005148967A (ja) * | 2003-11-13 | 2005-06-09 | Yokogawa Electric Corp | 運転支援装置 |
| US10318871B2 (en) | 2005-09-08 | 2019-06-11 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| JP2013128296A (ja) * | 2006-09-06 | 2013-06-27 | Apple Inc | ポータブルマルチファンクション装置のためのボイスメールマネージャー |
| JP2010503332A (ja) * | 2006-09-06 | 2010-01-28 | アップル インコーポレイテッド | ポータブルマルチファンクション装置のためのボイスメールマネージャー |
| US11449223B2 (en) | 2006-09-06 | 2022-09-20 | Apple Inc. | Voicemail manager for portable multifunction device |
| JP2017201821A (ja) * | 2006-09-06 | 2017-11-09 | アップル インコーポレイテッド | ポータブルマルチファンクション装置のためのボイスメールマネージャー |
| US10732834B2 (en) | 2006-09-06 | 2020-08-04 | Apple Inc. | Voicemail manager for portable multifunction device |
| US8930191B2 (en) | 2006-09-08 | 2015-01-06 | Apple Inc. | Paraphrasing of user requests and results by automated digital assistant |
| US9117447B2 (en) | 2006-09-08 | 2015-08-25 | Apple Inc. | Using event alert text as input to an automated assistant |
| US8942986B2 (en) | 2006-09-08 | 2015-01-27 | Apple Inc. | Determining user intent based on ontologies of domains |
| US10568032B2 (en) | 2007-04-03 | 2020-02-18 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US10381016B2 (en) | 2008-01-03 | 2019-08-13 | Apple Inc. | Methods and apparatus for altering audio output signals |
| JP2009180860A (ja) * | 2008-01-30 | 2009-08-13 | Yokogawa Electric Corp | プロセス関連データ表示装置およびプロセス関連データ表示方法 |
| US9626955B2 (en) | 2008-04-05 | 2017-04-18 | Apple Inc. | Intelligent text-to-speech conversion |
| US9865248B2 (en) | 2008-04-05 | 2018-01-09 | Apple Inc. | Intelligent text-to-speech conversion |
| JP2009250792A (ja) * | 2008-04-07 | 2009-10-29 | Hitachi Kokusai Electric Inc | データ検査システム |
| US10108612B2 (en) | 2008-07-31 | 2018-10-23 | Apple Inc. | Mobile device having human language translation capability with positional feedback |
| US9535906B2 (en) | 2008-07-31 | 2017-01-03 | Apple Inc. | Mobile device having human language translation capability with positional feedback |
| JP2010072739A (ja) * | 2008-09-16 | 2010-04-02 | Shinano Kenshi Co Ltd | データ収集装置 |
| JP2010071687A (ja) * | 2008-09-16 | 2010-04-02 | Shinano Kenshi Co Ltd | 動画データ解析プログラム |
| US9959870B2 (en) | 2008-12-11 | 2018-05-01 | Apple Inc. | Speech recognition involving a mobile device |
| JP2010271289A (ja) * | 2009-05-25 | 2010-12-02 | Yokogawa Electric Corp | 波形表示装置および波形表示方法 |
| US11080012B2 (en) | 2009-06-05 | 2021-08-03 | Apple Inc. | Interface for a virtual digital assistant |
| US10475446B2 (en) | 2009-06-05 | 2019-11-12 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US10795541B2 (en) | 2009-06-05 | 2020-10-06 | Apple Inc. | Intelligent organization of tasks items |
| US10283110B2 (en) | 2009-07-02 | 2019-05-07 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US9548050B2 (en) | 2010-01-18 | 2017-01-17 | Apple Inc. | Intelligent automated assistant |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US12087308B2 (en) | 2010-01-18 | 2024-09-10 | Apple Inc. | Intelligent automated assistant |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US8903716B2 (en) | 2010-01-18 | 2014-12-02 | Apple Inc. | Personalized vocabulary for digital assistant |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10706841B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Task flow identification based on user intent |
| US11423886B2 (en) | 2010-01-18 | 2022-08-23 | Apple Inc. | Task flow identification based on user intent |
| US8892446B2 (en) | 2010-01-18 | 2014-11-18 | Apple Inc. | Service orchestration for intelligent automated assistant |
| US12307383B2 (en) | 2010-01-25 | 2025-05-20 | Newvaluexchange Global Ai Llp | Apparatuses, methods and systems for a digital conversation management platform |
| US11410053B2 (en) | 2010-01-25 | 2022-08-09 | Newvaluexchange Ltd. | Apparatuses, methods and systems for a digital conversation management platform |
| US9424861B2 (en) | 2010-01-25 | 2016-08-23 | Newvaluexchange Ltd | Apparatuses, methods and systems for a digital conversation management platform |
| US9424862B2 (en) | 2010-01-25 | 2016-08-23 | Newvaluexchange Ltd | Apparatuses, methods and systems for a digital conversation management platform |
| US10607140B2 (en) | 2010-01-25 | 2020-03-31 | Newvaluexchange Ltd. | Apparatuses, methods and systems for a digital conversation management platform |
| US10984327B2 (en) | 2010-01-25 | 2021-04-20 | New Valuexchange Ltd. | Apparatuses, methods and systems for a digital conversation management platform |
| US10984326B2 (en) | 2010-01-25 | 2021-04-20 | Newvaluexchange Ltd. | Apparatuses, methods and systems for a digital conversation management platform |
| US8977584B2 (en) | 2010-01-25 | 2015-03-10 | Newvaluexchange Global Ai Llp | Apparatuses, methods and systems for a digital conversation management platform |
| US10607141B2 (en) | 2010-01-25 | 2020-03-31 | Newvaluexchange Ltd. | Apparatuses, methods and systems for a digital conversation management platform |
| US9431028B2 (en) | 2010-01-25 | 2016-08-30 | Newvaluexchange Ltd | Apparatuses, methods and systems for a digital conversation management platform |
| US9633660B2 (en) | 2010-02-25 | 2017-04-25 | Apple Inc. | User profiling for voice input processing |
| US10049675B2 (en) | 2010-02-25 | 2018-08-14 | Apple Inc. | User profiling for voice input processing |
| CN102281432A (zh) * | 2010-06-09 | 2011-12-14 | 株式会社日立制作所 | 生产车间监视装置以及系统、轧制车间监视装置以及系统、轧制车间监视方法 |
| US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| US10102359B2 (en) | 2011-03-21 | 2018-10-16 | Apple Inc. | Device access using voice authentication |
| WO2012140715A1 (ja) * | 2011-04-11 | 2012-10-18 | 東芝三菱電機産業システム株式会社 | データ同期再生装置、データ同期再生方法およびデータ同期制御プログラム |
| JPWO2012140715A1 (ja) * | 2011-04-11 | 2014-07-28 | 東芝三菱電機産業システム株式会社 | データ同期再生装置、データ同期再生方法およびデータ同期制御プログラム |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US11120372B2 (en) | 2011-06-03 | 2021-09-14 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
| US9798393B2 (en) | 2011-08-29 | 2017-10-24 | Apple Inc. | Text correction processing |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
| US9384784B2 (en) | 2012-03-12 | 2016-07-05 | Toshiba Mitsubishi-Electric Industrial Systems Corporation | Data synchronous reproduction apparatus, data synchronous reproduction method, and data synchronization control program |
| JPWO2013136406A1 (ja) * | 2012-03-12 | 2015-07-30 | 東芝三菱電機産業システム株式会社 | データ同期再生装置、データ同期再生方法およびデータ同期制御プログラム |
| WO2013136406A1 (ja) * | 2012-03-12 | 2013-09-19 | 東芝三菱電機産業システム株式会社 | データ同期再生装置、データ同期再生方法およびデータ同期制御プログラム |
| US9953088B2 (en) | 2012-05-14 | 2018-04-24 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US10079014B2 (en) | 2012-06-08 | 2018-09-18 | Apple Inc. | Name recognition system |
| US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
| US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
| US9971774B2 (en) | 2012-09-19 | 2018-05-15 | Apple Inc. | Voice-based media searching |
| JP2014149703A (ja) * | 2013-02-01 | 2014-08-21 | Mitsubishi Electric Corp | 監視制御システム |
| US10978090B2 (en) | 2013-02-07 | 2021-04-13 | Apple Inc. | Voice trigger for a digital assistant |
| US10199051B2 (en) | 2013-02-07 | 2019-02-05 | Apple Inc. | Voice trigger for a digital assistant |
| US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
| US9922642B2 (en) | 2013-03-15 | 2018-03-20 | Apple Inc. | Training an at least partial voice command system |
| US9697822B1 (en) | 2013-03-15 | 2017-07-04 | Apple Inc. | System and method for updating an adaptive speech recognition model |
| US9966060B2 (en) | 2013-06-07 | 2018-05-08 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| US9620104B2 (en) | 2013-06-07 | 2017-04-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| US9633674B2 (en) | 2013-06-07 | 2017-04-25 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| US10657961B2 (en) | 2013-06-08 | 2020-05-19 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| US9966068B2 (en) | 2013-06-08 | 2018-05-08 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| US10185542B2 (en) | 2013-06-09 | 2019-01-22 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| US9300784B2 (en) | 2013-06-13 | 2016-03-29 | Apple Inc. | System and method for emergency calls initiated by voice command |
| US10791216B2 (en) | 2013-08-06 | 2020-09-29 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
| JP2015060612A (ja) * | 2013-09-19 | 2015-03-30 | 株式会社デンソー | 情報処理装置 |
| US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
| US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
| US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
| US10083690B2 (en) | 2014-05-30 | 2018-09-25 | Apple Inc. | Better resolution when referencing to concepts |
| US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
| US10497365B2 (en) | 2014-05-30 | 2019-12-03 | Apple Inc. | Multi-command single utterance input method |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US10169329B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Exemplar-based natural language processing |
| US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US9966065B2 (en) | 2014-05-30 | 2018-05-08 | Apple Inc. | Multi-command single utterance input method |
| US11133008B2 (en) | 2014-05-30 | 2021-09-28 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US11257504B2 (en) | 2014-05-30 | 2022-02-22 | Apple Inc. | Intelligent assistant for home automation |
| US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
| US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
| US9668024B2 (en) | 2014-06-30 | 2017-05-30 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
| US10904611B2 (en) | 2014-06-30 | 2021-01-26 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10431204B2 (en) | 2014-09-11 | 2019-10-01 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US9986419B2 (en) | 2014-09-30 | 2018-05-29 | Apple Inc. | Social reminders |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US11556230B2 (en) | 2014-12-02 | 2023-01-17 | Apple Inc. | Data detection |
| US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
| US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US11087759B2 (en) | 2015-03-08 | 2021-08-10 | Apple Inc. | Virtual assistant activation |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US10311871B2 (en) | 2015-03-08 | 2019-06-04 | Apple Inc. | Competing devices responding to voice triggers |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US11500672B2 (en) | 2015-09-08 | 2022-11-15 | Apple Inc. | Distributed personal assistant |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US11526368B2 (en) | 2015-11-06 | 2022-12-13 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| JP2017111571A (ja) * | 2015-12-15 | 2017-06-22 | オムロン株式会社 | 制御装置、監視システム、制御プログラムおよび記録媒体 |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| JP6113370B1 (ja) * | 2016-01-22 | 2017-04-12 | 三菱電機株式会社 | 記憶装置、制御装置、表示装置及び記憶方法 |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| US11069347B2 (en) | 2016-06-08 | 2021-07-20 | Apple Inc. | Intelligent automated assistant for media exploration |
| US10354011B2 (en) | 2016-06-09 | 2019-07-16 | Apple Inc. | Intelligent automated assistant in a home environment |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10733993B2 (en) | 2016-06-10 | 2020-08-04 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US11037565B2 (en) | 2016-06-10 | 2021-06-15 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10297253B2 (en) | 2016-06-11 | 2019-05-21 | Apple Inc. | Application integration with a digital assistant |
| US10089072B2 (en) | 2016-06-11 | 2018-10-02 | Apple Inc. | Intelligent device arbitration and control |
| US10269345B2 (en) | 2016-06-11 | 2019-04-23 | Apple Inc. | Intelligent task discovery |
| US11152002B2 (en) | 2016-06-11 | 2021-10-19 | Apple Inc. | Application integration with a digital assistant |
| US10521466B2 (en) | 2016-06-11 | 2019-12-31 | Apple Inc. | Data driven natural language event detection and classification |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| JP2018136716A (ja) * | 2017-02-21 | 2018-08-30 | メタウォーター株式会社 | 情報処理装置、プログラム、及び制御方法 |
| WO2018173213A1 (ja) * | 2017-03-23 | 2018-09-27 | 東芝三菱電機産業システム株式会社 | 鉄鋼プラントの分析支援装置 |
| CN110402420A (zh) * | 2017-03-23 | 2019-11-01 | 东芝三菱电机产业系统株式会社 | 钢铁厂的分析支援装置 |
| JPWO2018173213A1 (ja) * | 2017-03-23 | 2019-11-07 | 東芝三菱電機産業システム株式会社 | 鉄鋼プラントの分析支援装置 |
| US10791176B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Synchronization and task delegation of a digital assistant |
| US11405466B2 (en) | 2017-05-12 | 2022-08-02 | Apple Inc. | Synchronization and task delegation of a digital assistant |
| US10810274B2 (en) | 2017-05-15 | 2020-10-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| JP2019152967A (ja) * | 2018-03-01 | 2019-09-12 | オムロン株式会社 | 計測システムおよび方法 |
| US11307023B2 (en) | 2018-03-01 | 2022-04-19 | Omron Corporation | Measurement system and method thereof |
| US11188048B2 (en) | 2018-10-23 | 2021-11-30 | Keyence Corporation | Programmable logic controller and main unit |
| JP2020102130A (ja) * | 2018-12-25 | 2020-07-02 | 東芝三菱電機産業システム株式会社 | データ収集再生システム |
| JP2020126526A (ja) * | 2019-02-06 | 2020-08-20 | ファナック株式会社 | 情報処理装置及びプログラム |
| CN111538289A (zh) * | 2019-02-06 | 2020-08-14 | 发那科株式会社 | 信息处理装置和程序记录介质 |
| CN111538289B (zh) * | 2019-02-06 | 2024-07-09 | 发那科株式会社 | 信息处理装置和程序记录介质 |
| US11314224B2 (en) | 2019-02-06 | 2022-04-26 | Fanuc Corporation | Information processing device and program recording medium |
| JP2022036414A (ja) * | 2020-08-24 | 2022-03-08 | 株式会社大林組 | 騒音源特定支援システム、および騒音源特定支援方法 |
| JP2023075578A (ja) * | 2021-11-19 | 2023-05-31 | 株式会社Ihi物流産業システム | 産業機械監視装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2970964B2 (ja) | 1999-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0579951A (ja) | 監視システム | |
| US6335722B1 (en) | Video or information processing method and processing apparatus, and monitoring method and monitoring apparatus using the same | |
| US6714216B2 (en) | Video editing apparatus and method | |
| US6353461B1 (en) | Multiple camera video assist control system | |
| US6778223B2 (en) | Image display apparatus and method | |
| US6115037A (en) | Motion image control method and apparatus | |
| CN104115225B (zh) | 利用去间隙成比例缩略图的双时间线的视频编辑软件 | |
| JP3927608B2 (ja) | 動画像表示装置及び動画像記憶装置 | |
| US6297856B1 (en) | Apparatus and system for reading data from a dynamic image data file | |
| JP2005267279A (ja) | 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム | |
| JPH0620180A (ja) | 事象再現装置 | |
| JP3372096B2 (ja) | 画像情報アクセス装置 | |
| JP2002152721A (ja) | 録画再生装置の映像表示方法および装置 | |
| JP3779147B2 (ja) | 監視システム | |
| JP2002344897A (ja) | 映像表示装置 | |
| JP2004266623A (ja) | 監視カメラ管理システム | |
| JPH04196987A (ja) | 動画アクセス装置及び動画リンク編集装置 | |
| JPH05183863A (ja) | 動画像編集装置 | |
| JP3238205B2 (ja) | 画面札掛け方法および装置 | |
| JP3558813B2 (ja) | 映像監視システム | |
| JP4881568B2 (ja) | 監視カメラシステム | |
| JP3441200B2 (ja) | プラント監視装置 | |
| JP3369797B2 (ja) | 監視用画像記録再生装置 | |
| JPH0969008A (ja) | 操作状況監視装置 | |
| JP2001216019A (ja) | プロセス監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070827 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100827 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100827 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110827 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |