JPH09237264A - マルチメディアベースドレポーティングシステムおよびマルチメディアベースドレポートの準備方法 - Google Patents

マルチメディアベースドレポーティングシステムおよびマルチメディアベースドレポートの準備方法

Info

Publication number
JPH09237264A
JPH09237264A JP30943796A JP30943796A JPH09237264A JP H09237264 A JPH09237264 A JP H09237264A JP 30943796 A JP30943796 A JP 30943796A JP 30943796 A JP30943796 A JP 30943796A JP H09237264 A JPH09237264 A JP H09237264A
Authority
JP
Japan
Prior art keywords
annotation
report
event
multimedia
handler
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP30943796A
Other languages
English (en)
Inventor
Tai-Yuan Hou
ホウ タイ−ユアン
Wei-Kwan Vincent Su
ヴィンセント スー ウエイ−クワン
Thomas Meissner
マイスナー トーマス
Aarding Hsu
スー アーディング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Corp
Siemens Corporate Research Inc
Original Assignee
Siemens Corp
Siemens Corporate Research Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Corp, Siemens Corporate Research Inc filed Critical Siemens Corp
Publication of JPH09237264A publication Critical patent/JPH09237264A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Document Processing Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【課題】 ダイナミックな注釈を可能にした、マルチメ
ディアベースドレポーティングシステム。 【解決手段】 ユーザのコマンド入力を受信するコマン
ドインタプリタ１０、コマンドインタプリタに接続され
ているメディアアタッチハンドラ１６、レポートオープ
ンハンドラ１２、ユーザの注釈入力を受信する注釈入力
インタプリタ１１、これに接続されているスタチック注
釈ハンドラ１９およびダイナミック注釈ハンドラ２０を
有している。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、マルチメディアベ
ースドレポートの生成および使用に関しかつもっと特定
すれば、多重画像におけるダイナミック注釈から構成す
ることができるレポートを作成するためのマルチメディ
ア技術の使用に関する。
【０００２】
【従来の技術】レポーティングプロセスは、例えば、医
療専門者が、患者情報の画像を検索し、観測し、向上さ
せ、かつ解釈し、患者のデモグラフィクスを再検討し、
かつ別の医師が再検討または助言するためにアクセスす
ることができる最終的なメディカルレポートを作成する
ために自分の診断を記述または“注釈”するために使用
されている。従来技術の範疇では、注釈（annotation）
という用語は一般に２つの異なった意味において使用さ
れている。第１の意味は、テキスト、オーディオまたは
ビデオのようなオブジェクトをドキュメントにアタッチ
するということに関する。１例は、“ARZTBRIEF：Gener
ating Medical Reports in a MultimediaEnvironmen
t”, Lecture Notes in Medical Informatics 45, Proc
eedings of Medical Informatics Eupope, 第９００な
いし９０３頁に挙げられており、ここにおいてＨｅａｒ
ｔ Ｃｅｎｔｒｅ Ｎｏｒｔｈｓｈｉｎｅ−Ｗｅｓｔｐｈ
ａｌｉａのシステムは、音声およびテキスト注釈を含ん
でいる。音声は通例、２つの目的のためにのみ、即ちそ
の他の関連メディアとの同期なしの再生、またはテキス
ト記録に対するテキストへの転記のために用いられる。
注釈の第２の意味は、表示されたオブジェクトに対する
描出／タイピングのアーチファクトに関する。１例は、
“A Multi-User Document Review Tool”, J. L. Kosza
rek, T. L. Lindstrom, J. R. Ensor および S. R. Ahu
ja 著、Proceedings of the IFIP, WG 8.4 Conference,
1990, 第２０７ないし２１４頁に記載されている。Ｃ
ｏｌｌａｂｏｒａｔｉｖｅ Ａｎｎｏｔａｔｏｒ Ｓｙｔ
ｅｍ ｏｆ ＡＴ＆Ａにおいて、図形注釈は、ハイライト
化されたペン、テキスト、およびドキュメントの上に描
くことができるイエロースティッキーズから成ってい
る。
【０００３】これら２つの注釈技術によって、レポート
は、レポート上のスタチックな図形描出並びにアタッチ
メントを有する多重のメディアデータを含むことができ
る。
【０００４】
【発明が解決しようとする課題】しかしながら、これら
の従来の技術は、このような方法で、注釈者の音声と一
緒に注釈プロセスを記録しかつ記録された結果を再生す
るために、視覚的な注釈の時間的な特徴を利用すること
はできない。
【０００５】本発明の課題は、この種の“ダイナミック
注釈”技術を提供することである。
【０００６】従来のメディカルレポートは、マルチメデ
ィアデータを含むことができる。１つのこの種のレポー
トは、“Graphical Representation of Medical Inform
ation in the Visual Chart”（Harold I. Litt および
John W. Loonsk 著、1994 IEEE Seventh Symposium on
Computer-Based Medical Systems, June 10-12, 1994
Winston-Salem, North Carolina. 第２４２ないし２５
６頁に、記載されている。例えば、Ｂｕｆｆａｌｏ Ｓ
ｃｈｏｏｌ ｏｆ Ｍｅｄｉｃｉｎｅ ａｎｄ Ｂｉｏｍｅ
ｄｉｃａｌ ＳｃｉｅｎｃｅｓにおけるＶｉｓｕａｌ Ｃ
ｈａｒｔ Ｓｙｓｔｅｍ ｏｆ ＳＵＮＹにおいて、マル
チメディアは、テキスト、テキストリスト、表、定量的
データのグラフィックリプリゼンテーションおよびアイ
コンとすることができる。別のレポートは、“An Elect
ronic Medical Record System for a Hospital Informa
tion System”, Y. Ymashita, K. Yamamoto, M. Sudo,
Y.Okada, M. Nagata および T. Takahashi, MEDINFO’9
2, K. C. Lun et. al.（編集者）、第７４１ないし７４
５頁において、示されている。福井医大のＥ．Ｍ．Ｒ．
において、マルチメディアデータは、テキスト、数値、
イラストレーションおよびグラフィック情報をすること
ができる。
【０００７】これらの既存のシステムに対して、レポー
ト内に含まれている関連のマルチメディアデータに対す
る視覚的な配列（arrangement）を作るためのメカニズ
ムはない。
【０００８】本発明の課題は、ダイナミック注釈が実現
されるとき、関連のメディアデータが互いに接近してい
るように、ユーザが従来の手法でマルチメディアデータ
を配設するための方法を提供することによってダイナミ
ック注釈を価値あるものにすることである。
【０００９】ダイナミック注釈のセッションを再生する
ために、注釈者のアクションおよび音声に対する同期が
重要な点である。従来の同期技術は、オーディオ信号と
ビデオ信号間の同期に関連付けられている。１例は、米
国特許第５３２３２７２号明細書（名称“Timing Contr
ol for Digital Audio Buffer in Video Interface”,
発明者 K. L. Klingler）に挙げられている。この特許
において、デジタルオーディオバッファに対するタイミ
ング制御は、ビデオとの同期のためにオーディオのタイ
ミングを調整するために使用される。別の例は、“Feed
back Techniques for Continuity and Synchronization
in Information Retrieval”（P. Venkat Rangan, Sri
nivas Ramanatschan, Srihari Sampathkumar, ACM Tran
sactionson Information Systems, Vol. 13, No. 2, １
９９５年４月ｍ第１４５ないし１７６頁）に示されてい
る。この論文において、同期点は、マルチメディア情報
サーバーからネットワークを介してクライアントに送信
されたデータに対してアドレス指定されている。
【００１０】ダイナミック注釈に対して、その前にアド
レス指定されていない独自の同期点がある。この点によ
って、注釈者のアクションおよび音声に対する正しいタ
イミングでダイナミック注釈をどのように再生するかに
ついて識別することができる。この点は、ＣＰＵが別の
プロセスを処理しなければならないとき、特に重要であ
る。
【００１１】本発明の１つの課題は、この点をアドレス
指定するための技術を提供することである。
【００１２】従来のＥメールシステムに対して、個人は
新しいメッセージを作成するかまたは新しい情報を既存
のＥメールに挿入することによってＥメールに応答する
ことができる。
【００１３】本発明の１つの課題は、オリジナルセッシ
ョンの内容を変更することなしにダイナミック注釈のセ
ッションに応答する新規な技術を提供することである。
【００１４】従って、本発明の全体としての課題は、個
人が、個人の視覚的な注釈およびオーディオ注釈から成
るレポートを所有することができるようにする自然な方
法を提供することである。これらの注釈は再生に対して
同期させることができる。
【００１５】本発明の別の課題は、個人がダイナミック
注釈のセッションに応答することができるようにするメ
カニズムを提供することである。
【００１６】
【課題を解決するための手段】本発明のマルチメディア
ベースドレポーティングシステムは次の構成要素を含ん
でいる。コマンドインタプリタがユーザからの入力を受
信しかつ該入力をレポートオープンハンドラ、メディア
アタッチハンドラと、レポート保存ハンドラと、現レポ
ート削除ハンドラと、レポートメールハンドラと、メデ
ィアアタッチハンドラと、レポート印刷ハンドラまたは
エキジットに転送する。注釈入力インタプリタはユーザ
からの入力を受信し、該入力をスタチック注釈ハンドラ
と、記録および再生を含んでいるダイナミック注釈ハン
ドラと、注釈に対する注釈ハンドラに転送する。
【００１７】レポート保存ハンドラは、記録装置に対す
るレポートファイルを生成しかつレポート印刷ハンドラ
は印刷に対する印刷ファイルを生成する。メディアアタ
ッチハンドラは外部のメディアソースから種々の形式の
メディアをレポートにアタッチする。レポートメールハ
ンドラは、送信のためにメールメッセージを生成する。
スタチック注釈ハンドラによってユーザは、図面および
テキストをレポートに付加することができるようにな
る。ダイナミック注釈ハンドラによってユーザは、ユー
ザ入力からの注釈を記録／再生することができるように
なる。注釈に対する注釈ハンドラによってユーザは、既
存のダイナミック注釈のセグメントに基づいたダイナミ
ック注釈のセッションを記録することができるようにな
る。レポートビューアはレポートの内容を表示する。
【００１８】本発明を使用することによって、個人は次
のタスクを実行することができる：（１）個人は多重メ
ディアデータを含むことによってレポートを作成するこ
とができる；（２）メディア関連アクションを実施する
ために個人に対してディスプレイ上の特定の領域（呼び
出されたキャンバス）が設けられている；（３）個人は
マルチメディアデータオブジェクトをキャンバス内に置
くことができる；（４）キャンバス内のデータオブジェ
クトは任意に配置することができる；（５）個人は自由
に、線、図形を描出／削除することができると同時に、
キャンバス上にテキストをタイプ／削除することができ
る；（６）データオブジェクト、図面の移動またはタイ
ピングのような、キャンバス上での個人のアクション
は、個人の音声とともに記録することができる；（７）
記録されたセッションは、キャンバス上での個人のアク
ションが個人の記録された音声の再生と同期をとられて
いるように再生することができる；（８）個人はレポー
トをＥメールシステムを介して別の個人に送信すること
ができる；（９）記録された注釈セッションを有してい
るレポートを受信した個人は、それに新しい注釈によっ
て応答することができ、この新しい注釈は、応答される
注釈セッションの空間／時間特性に基づいている。
【００１９】
【発明の実施の形態】次に本発明を図示の実施例につき
図面を用いて詳細に説明する。
【００２０】図１には、本発明の全体のフローチャート
が示されている。コマンドインタプリタ１０および注釈
入力インタプリタ１１は、当該システムを使用する個人
からユーザ入力コマンドを受け取る。コマンドインタプ
リタ１０はコマンドを、レポートオープンハンドラ１
２、レポート保存ハンドラ１３、現レポート削除ハンド
ラ１４、レポートメールハンドラ１５、メディアアタッ
チハンドラ１６、レポート印刷ハンドラ１７か或いはエ
キジット１８に転送する。注釈入力インタプリタ１１は
入力を、スタチック注釈ハンドラ１９、ダイナミック注
釈ハンドラ２０または注釈ハンドラ２１における注釈に
転送する。
【００２１】図２には、本発明のレポートオープンハン
ドラ（図１の１２）が示されている。レポートオープン
ハンドラはコマンドインタプリタから入力を受け取る。
レポートオープンハンドラ内で、当該レポートが新しい
レポートであるかどうかかつ新しいレポートがあるなら
ば、現レポートは消去されるかどうかに関する判断が行
われる。新しいレポートがなければ、当該レポートはフ
ァイルからのものであるかどうかに関する判断が行われ
る。当該レポートがファイルからのものであれば、ファ
イル選択ダイアローグが表示され、ユーザはファイル名
を選択しかつ当該レポートが当該ファイルからロードさ
れる。当該レポートがファイルからのものでなければ、
当該レポートはデータベースからのものであるかどうか
に関する判断が行われる。当該レポートがデータベース
からのものであれば、データベース選択ダイアローグが
表示され、ユーザはデータベース名を選択しかつ当該レ
ポートが当該データベースからロードされる。当該レポ
ートがデータベースからのものでなければ、当該レポー
トはメールボックスからのものであるかどうかに関する
判断が行われる。当該レポートがメールボックスからの
ものであれば、メッセージリストが表示され、ユーザは
メッセージを選択しかつ当該レポートが当該メッセージ
からロードされる。
【００２２】図３には、本発明のレポート保存ハンドラ
（図１の１３）が示されている。レポート保存ハンドラ
はコマンドインタプリタから入力を受け取る。レポート
保存ハンドラ内で、当該レポートをファイルに保存すべ
きであるかどうかの判断が行われる。当該レポートをフ
ァイルに保存すべきであるという判断が下されれば、フ
ァイル選択ダイアローグが表示され、ユーザはファイル
名を選択しかつ当該レポートはファイルに保存される。
当該レポートをファイルに保存すべきでないという判断
が下されれば、当該レポートをデータベースに保存する
という判断が行われる。データベースダイアローグが表
示され、ユーザはデータベース名を選択しかつ当該レポ
ートはデータベースに保存される。
【００２３】図４には、本発明のレポートメールハンド
ラ（図１の１５）が示されている。レポートメールハン
ドラはコマンドインタプリタから入力を受け取る。レポ
ートメールハンドラ内で、メールリストが探索されかつ
表示され、ユーザは受信者名を選択し、レポートがメッ
セージに構成されかつ該メッセージは送信される。
【００２４】図５には、本発明のスタチック注釈ハンド
ラ（図１の１９）が示されている。スタチック注釈ハン
ドラは注釈入力インタプリタから入力をユーザインタフ
ェースに受け取る。スタチック注釈ハンドラ内で、マウ
スがキャンバス上で移動したかどうかの判断が行われ
る。マウスが移動したならば、その場合、ユーザが左側
のマウスボタンをホールドしたかどうかの判断が行われ
る。ユーザが左側のマウスボタンをホールドしたのであ
れば、キャンバス上にマークが残される。ユーザが左側
のマウスボタンをホールドしたのでなければ、ユーザが
キャンバス上にテキストをタイプしたかどうかの判断が
行われる。ユーザがキャンバス上にテキストをタイプし
たのであれば、キャンバス上にテキストが残されかつフ
ローはユーザインタフェースに戻る。ユーザがキャンバ
ス上にテキストをタイプしたのでなければ、ユーザがス
タチック注釈コマンドを出力したかどうかの判断が行わ
れる。ユーザがスタチック注釈コマンドを出力したので
なければ、フローはユーザインタフェースに戻る。ユー
ザがスタチック注釈コマンドを出力したのであれば、ス
タチック注釈コマンドインタプリタはこのコマンドを転
送する。描出（drawing）カラーを変化するというコマ
ンドがあるならば、ユーザは１つのカラーを選択し、こ
のカラーが相応に変化されかつフローはユーザインタフ
ェースに戻る。描出太さを変化するというコマンドがあ
るならば、ユーザは１つの太さを選択し、この太さが相
応に変化されかつフローはユーザインタフェースに戻
る。画像（image）を選択するというコマンドがあるな
らば、ユーザは画像をクリックし、当該画像が選択され
かつハイライトしかつフローはユーザインタフェースに
戻る。画像を選び直すというコマンドがあるならば、選
択された画像が選び直されかつフローはユーザインタフ
ェースに戻る。図形（graphics）を消去するというコマ
ンドがあるならば、すべての描出およびテキストは消去
されかつフローはユーザインタフェースに戻る。図形を
削除するというコマンドがあるならば、選択された画像
は削除されかつフローはユーザインタフェースに戻る。
選択された画像を他の画像の前面に移動するというコマ
ンドがあるならば、選択された画像は前面に移動されか
つフローはユーザインタフェースに戻る。選択された画
像を背後に移動するというコマンドがあるならば、選択
された画像は背後に移動されかつフローはユーザインタ
フェースに戻る。選択された画像を移動するというコマ
ンドがあるならば、選択された画像はマウスによって移
動されかつフローはユーザインタフェースに戻る。
【００２５】図１のダイナミック注釈ハンドラ１７内
で、記録または再生があるかどうかの判断が行われる。
記録および再生はそれぞれ、図１０および１２において
説明する。
【００２６】図６には、注釈に対する注釈ハンドラ（図
１の２１）が図示されている。注釈に対する注釈ハンド
ラは、注釈入力インタプリタから入力を受信しかつ図１
４において説明するマーカーを使用してセグメント化さ
れた注釈を表示する。注釈に対する注釈ハンドラは、ユ
ーザがセグメントを選択することによって作用する。選
択されたセグメントが注釈されるべきであるかどうかの
判断が行われる。このセグメントが注釈されるべきであ
れば、フローは、図１０の記録に図示されていることに
続く。注釈しないという判断があれば、当該セグメント
を再生するかどうかの判断が行われる。当該セグメント
を再生するという判断が下されたのであれば、１つのセ
グメントを再生するのかまたは関連の複数のセグメント
を再生するのかどうかの判断が行われる。いずれの場合
にも、フローは、図１２の再生に図示されていることに
続く。記録または再生の後、注釈に対する注釈プロシー
ジャが完了したかどうかの判断が行われる。完了したの
であれば、注釈に対する注釈ハンドラはエキジットされ
る。完了していなければ、フローは、上述したマーカを
使用するセグメント化された注釈の表示に戻る。
【００２７】図７には、メディアアタッチハンドラ（図
１の１６）が略示されている。メディアアタッチハンド
ラは、注釈入力インタプリタから入力を受信する。メデ
ィアアタッチハンドラ内で、画像をアタッチするかどう
かの判断が行われる。画像をアタッチするという判断が
行われれば、窓画像をアタッチするかどうかの判断が行
われる。窓画像をアタッチするという判断が行われれ
ば、ユーザは窓画像を選択しかつ当該画像が当該レポー
トにアタッチされる。窓画像をアタッチしないという判
断が行われれば、領域をアタッチするかどうかの判断が
行われる。領域をアタッチするという判断が行われれ
ば、ユーザは領域画像を選択しかつ当該画像が当該レポ
ートにアタッチされる。領域をアタッチしないという判
断が行われれば、表示をアタッチするかどうかの判断が
行われる。表示をアタッチするという判断が行われれ
ば、全体の表示が選択されかつ当該画像が当該レポート
にアタッチされる。画像をアタッチしないという判断が
行われれば、テキストをアタッチするかどうかの判断が
行われる。テキストをアタッチするという判断が行われ
れば、テンプレート選択ダイアローグが表示され、ユー
ザはテンプレートを選択し、テキストテンプレートが表
示され、ユーザはテキストテンプレートを編集し、ユー
ザはテキストテンプレートを終了しかつテキストは当該
レポートにアタッチされる。画像またはテキストが当該
レポートにアタッチされた後、メディアアタッチハンド
ラはエキジットされる。アタッチされた画像をキャンバ
スに配置することができる。
【００２８】図８には、レポート印刷ハンドラ（図１の
１７）が図示されている。レポート印刷ハンドラはコマ
ンドインタプリタから入力を受け取る。レポート印刷ハ
ンドラ内で、選択された画像を印刷するかどうかの判断
が行われる。選択された画像を印刷するという判断が行
われれば、描出と一緒に印刷するかどうかの判断が行わ
れる。当該画像を描出と一緒に印刷するという判断が行
われれば、当該画像は描出と一緒に印刷される。当該画
像を描出なしに印刷するという判断が行われれば、当該
画像は描出なしに印刷される。選択された画像を印刷し
ないという判断が行われれば、全体のレポートが印刷さ
れるべきであるかどうかの判断が行われる。全体のレポ
ートを印刷するという判断が行われれば、全体のレポー
トが描出と一緒に印刷されるべきであるかどうかの判断
が行われる。全体のレポートが描出と一緒に印刷すると
いう判断が行われれば、全体のレポートが描出と一緒に
印刷される。全体のレポートが描出なしで印刷するとい
う判断が行われれば、全体のレポートが描出なしで印刷
される。印刷後、レポート印刷ハンドラはエキジットさ
れる。
【００２９】図９には、本発明のレポーティングシステ
ムのハイレベル機能が記述されている。コマンドインタ
プリタ２３は、マウスクリックまたはタイプ入力を含ん
でいるユーザコマンド入力部２５と、メディアアタッチ
ハンドラ２６、レポートメールハンドラ２７、レポート
印刷ハンドラ２８、レポート保存ハンドラ２９およびレ
ポートオープンハンドラ３０との間のインタフェースを
形成している。メディアアタッチハンドラ２６は、外部
のメディアソース３１からのテキスト、画像、図形およ
びオーディオの形式のメディアをマルチメディアレポー
ト３２内にアタッチする。外部のメディアソース３１
は、ファイルシステム、テキストエディタ、スクリーン
上のスナップショット、入力ポートまたはオーディオを
含んでいることができる。マルチメディアレポート３２
に接続されているレポートメールハンドラ２７は、送信
用のｅメールメッセージを生成する。マルチメディアレ
ポート３２に接続されているレポート印刷ハンドラ２８
は、印刷用の印刷ファイルを生成する。マルチメディア
レポート３２に接続されているレポート保存ハンドラ２
９は、ファイルシステムまたはデータベースを含んでい
る外部のメディア記憶装置３３に記憶するためのレポー
トファイルを生成する。レポートオープンハンドラ３０
は、ファイルシステム、データベースまたはメールボッ
クスを含んでいる外部のレポートソース３４からのレポ
ートを開く。レポートビューア３５はスクリーンを含ん
でおりかつスクリーン上にレポート３２の内容を表示す
るために設けられている。
【００３０】注釈入力インタプリタ２４は、テキストの
タイプ、フリーハンドの描出および音声を含んでいるユ
ーザ注釈入力部３６と、スタチック注釈ハンドラ３７、
注釈に対する注釈ハンドラ３８およびダイナミック注釈
ハンドラ３９との間のインタフェースを形成している。
スタチック注釈ハンドラ３７によって、個人が描出およ
びテキストをレポートに付加することができるようにな
る。注釈に対する注釈ハンドラ３８によって個人が、存
在するダイナミック注釈のセグメントに基づいたダイナ
ミック注釈のセッションを記録することができるように
なる。ダイナミック注釈ハンドラ３９よって個人が、ユ
ーザ注釈入力部３６からキャンバス上に注釈を記録／再
生することができるようになる。
【００３１】コンピュータスクリーン（図示されていな
い）上に表示されたマルチメディアレポート３２は、メ
ディアデータオブジェクトを含んでいることができる１
つのキャンバスを有している。キャンバス内のデータオ
ブジェクトは、画像および図形とすることができる。こ
れらのオブジェクトは、レポートビューアの要求に応じ
て自由に配置することができる。例えば、このシステム
が医師によって使用されるならば、医師は、心臓の画像
の２つの重要な部分が互いに接近するように２つの心臓
の画像を重ねることができる。医師は、キャンバス上に
自由に、線を描くかまたはテキストをタイプすることが
できる。データオブジェクト上に描かれた線は、データ
オブジェクトの一部になる。従って、個人が画像を移動
するならば、画像上の線も画像と一緒に移動する。デー
タオブジェクト内にタイプされたテキストは、データオ
ブジェクトの一部になる。その他の場合、それはいずれ
のデータオブジェクトにも属していない。
【００３２】個人が、キャンバス上での当人のアクショ
ンのセッション並びに当人の音声を記録する必要を感じ
たとき、図１０のフローチャートに従うことになる。記
録のためには、図９のダイナミック注釈ハンドラ３９、
ユーザ注釈入力部３６およびマルチメディアレポート３
２が必要である。個人４０は、（１）当人の音声４１を
記録するためにマイクロホンを使用する；（２）マウス
ボタン４２を押しながら線を描くためにマウスを使用す
る；（３）マウスボタン４２を押さずに、キャンバス上
のポインタを通過することによってジェスチャー表現す
るためにマウスを使用する；（４）テキスト４２をタイ
プするためにキーボードを使用する；または（５）キャ
ンバス内のデータオブジェクトを操作する。個人は記録
を休止／再開することができる。音声４１はオーディオ
レコーダ４３に供給されかつオーディオ信号４４に変換
され、それは無声検出器４５を介して案内されかつ圧縮
されたオーディオ信号になり４６、それは注釈ファイル
４７に入力される。キーのストロークまたはマウスの移
動４２は、レポーティングシステム４８に導かれかつイ
ベント４９を生成する。これらイベントはイベントフィ
ルタ５０によってフィルタリングされる。注釈関連イベ
ント（イベント名、時間、パラメータ）５１は、注釈フ
ァイル４７に入力される。
【００３３】記録の期間中、重要なイベントのみが記録
される。２つの形式の個別イベントが含まれている：ユ
ーザ起動形のイベントおよび時間スライスされたイベン
ト。ユーザ起動形のイベントはフォーマット（event na
me, time, parameters）を有している： −（load, time, object#）：データオブジェクトをキ
ャンバス内にロードする −（move, time, object#）：キャンバス内でデータオ
ブジェクトの移動をスタートする −（move-to-front, time, object#）：データオブジェ
クトをキャンバス内で別のオブジェクトの前面に移動す
る −（move-to-back, time, object#）：データオブジェ
クトをキャンバス内で別のオブジェクトの背後に移動す
る −（zoom, time, object#, factor#）：画像オブジェク
トをキャンバスにズームインする／画像オブジェクトを
キャンバスからズームアウトする −（place, time, object#, x pos, y pos）：データオ
ブジェクトをキャンバス内の特定の位置に置く −（type, time, char value, x pos, y pos）：テキス
トキャラクタをキャンバス内の特定の位置に置く −（erase-text, time, char value, x pos, y pos）：
キャンバス内の特定の位置における単一キャラクタを消
去する −（erase-text, time, all）：キャンバス内のすべて
のテキストを消去する −（change-text-color, time, color value）：テキス
トをタイプするためのカラーを変更する −（change-line-color, time, color value）：線を描
くためのカラーを変更する −（push-button, time, x pos, y pos）：キャンバス
内の左側のボタンを押圧する −（release-button, time, x pos, y pos）：キャンバ
ス内の左側のボタンを釈放する −（erase-graphics, time, x pos, y pos）：キャンバ
ス内の線の部分を消去する −（mouse-enter, time, x pos, y pos）：マウスがキ
ャンバスに入る −（mouse-leave, time, x pos, y pos）：マウスがキ
ャンバスを離れる 時間スライスされたイベントは、コンピュータシステム
によって生成されるイベントである。これらは、キャン
バス上にあるマウスポインタの経路を記録するために使
用される。
【００３４】−（mouse-location, time, x pos, y po
s）：キャンバス内のマウスポインタ位置 時間スライスされたイベントを生成する頻度は、コンピ
ュータの処理能力に依存している。この形式のイベント
（１例は、個人がマウスボタンを押し続けている間の、
移動なしのキャンバス上のマウスポインタ滞留である）
の冗長的な生成の可能性のために、図１１に示されてい
るように、時間スライスされたイベントを記録すべきで
あるかどうかを判断するために、フィルタリングメカニ
ズムが設けられている。
【００３５】イベントのフィルタリングは、new event
が判断ブロック５２にエントリすることによって始ま
る。判断ブロック５２には、新しいイベントが時間スラ
イスされたイベントであるかどうかの判断がある。新し
いイベントが時間スライスされたイベントでなければ、
new event がブロック５３によって示されているように
記録される。new event が時間スライスされたイベント
であれば、判断ブロック５４は、prev event が時間ス
ライスされたイベントであるかどうかを判断する。 pre
v event が時間スライスされたイベントでなければ、ne
w event がブロック５３によって示されているように記
録される。prev event が時間スライスされたイベント
であれば、判断ブロック５５は、dist（prev event, ne
w event）と表されている、prev event および new eve
nt 間の距離がしきい値より小さいかどうかを判断す
る。dist（prev event, new event）がしきい値より小
さければ、new event は、ブロック５６によって示され
ているように、記録されない。
【００３６】注釈再生のために、図９のダイナミック注
釈ハンドラ３９、マルチメディアレポート３２およびレ
ポートビューア３５が必要である。注釈再生の期間に、
注釈者のアクションおよび音声を同期化するために、適
応同期技術が適用される。このことは、ＣＰＵロードが
高いときに必要である。適応同期技術の２つのメカニズ
ムが利用される：アクションをドロップしかつ無声を続
行する。図１２において、注釈スケジューラ６０が、注
釈セッションのそれぞれのリップシンク間隔のためにス
ケジュールを組む。注釈スケジューラ６０に対してアク
ションデータ６１からの情報およびアクションエグゼキ
ューション６２からのＣＰＵロードのフィードバックが
設定されている。注釈スケジューラ６０に対して、プレ
ゼンテーションパラメータの品質も設定されている。注
釈スケジューラはアクションをドロップし、遅延または
続行信号をオーディオデバイス６３に送出しかつフィル
タリングされたアクションをアクションエグゼキューシ
ョン６２に送出する。オーディオデバイス６３はまた、
オーディオデータ６４からの入力を受信する。
【００３７】図１３には、注釈スケジューラのフローチ
ャートが図示されている。流れはｉ番目のリップシンク
間隔によってスタートしかつ判断ブロック７０が、無声
がイネーブル化されてるかどうかを判断する。無声がイ
ネーブル化されていれば、無声処理ブロック７１が、次
のオーディオ無声時間におけるオーディオ休止を実施
し、かつ休止を有効化する。無声がイネーブル化されて
いなければ、ブロック７２は次のアクションＡを得る。
判断ブロック７３は、Ａがｉ番目のリップシンク間隔内
で実行されるべきものであるかを判断する。 Ａが実行
されるべきものであれば、判断ブロック７４は、ドロッ
プがイネーブル化されているかどうかを判断する。ドロ
ップがイネーブル化されていれば、ドロップ処理ブロッ
ク７５は、実行されるべきアクションをその瞬間に空間
しきい値に基づいてドロップすることができるかどうか
をチェックする。ドロップがイネーブル化されていなけ
れば、ＡはＡ実行ボックス７６によって示されているよ
うに実行される。それから流れはブロック７２に戻る。
判断ブロック７３がＡが実行されるべきでないことを判
断すれば、Ａは、Ａを再記憶するブロック７７において
再記憶される。判断ブロック７８は、休止が有効化され
ているかどうかを判断する。休止が有効であれば、無声
再スケジュール処理ブロック７９がオーディオ再生を再
開しかつドロップ、休止および無声に関する条件をリセ
ットする。休止が有効でなければ、プレゼンテーション
更新ブロック８０の品質が、ＣＰＵロードに基づいて空
間しきい値、ドロップ条件、および無声条件をセットす
る。ＣＰＵロードは、現リップシンク間隔およびその前
のリップシンク間隔との間の最後のアクションの遅延時
間の比として計算される。このフローチャートには、ブ
ロック８１において次のリップシンク間隔をスケジュー
ルすることによって終了する。
【００３８】レポートビューア（図９の３５）におい
て、ダイナミック注釈を、図１４に示されているよう
に、いくつかのマーカを有する時間ラインに沿って表示
することができる。これらのマーカは、再生または応答
に対する注釈セグメントを特定するために使用される。
４つの形式のマーカが使用されている：オブジェクト領
域マーカ、描出マーカ、ジェスチャー表示マークおよび
音声無声マーカ。
【００３９】オブジェクト領域マーカは、マウスポイン
タが時間ラインに沿ってどのデータオブジェクトを指定
しているかを指示する。視覚表示の目的のために、これ
らのマーカは時間ラインを複数の領域に分割し、それぞ
れの領域は、マウスポインタが位置しているところの１
つのデータオブジェクトを表している。更に、それぞれ
の領域は、種々異なったデータオブジェクトを区別する
ためにカラーコード化されている。白にコード化された
領域は、マウスポインタがいずれのデータオブジェクト
にも位置していないことを指示している。描出マーカ
は、マウスポインタが、マウスポインタの移動が線図の
トレースを離れる描出モードにあることを指示してい
る。ジェスチャ表示マーカは、マウスポインタが、マウ
スポインタの移動が線図のトレースを離れないジェスチ
ャ表示モードにあることを指示している。人物の音声の
無声部は、注釈のどの部分が人物の音声を有しているか
を指示するために音声無声マーカとして使用される。
【００４０】図１４において、オブジェクト領域マーカ
は時間ラインを時間間隔ａ，ｂ，ｃ，ｄおよびｅに分割
している。間隔ａおよびｄは、マウスポインタが同一の
データオブジェクトに位置されているときの時間を指示
している。間隔ｂおよびｅは、マウスポインタが別のデ
ータオブジェクトに位置されているときの時間を指示し
ている。間隔ｃは、その時間間隔においてマウスポイン
タがいずれのデータオブジェクトにも位置されていない
ことを指示している。描出マーカは、３つの時間間隔
ｆ，ｇおよびｈを識別している。これらの間隔は、個人
が線を描くためにマウスポインタを使用しているときの
時間を指示している。ジェスチャ表示マーカは、４つの
時間間隔ｉ，ｊ，ｋを識別している。これらの間隔は、
個人がジェスチャするためにマウスポインタを使用して
いるときの時間を指示している。音声無声マーカは、４
つの時間間隔ｎ．ｏ，ｐおよびｑを識別している。これ
らの時間間隔は、個人が話しているときの時間を指示し
ている。
【００４１】図１５には、注釈に対する注釈が図示され
ている。時間ラインに沿ったマーカを使用して、個人は
注釈の所望のセグメントを選択することができる。選択
されたセグメントに対して、個人はそれを再生すること
ができる。更に、個人は、この選択されたセグメントに
対する応答である新しい注釈を作成することができる。
注釈と応答注釈との間の関係を容易に視覚化するために
個人に対して視覚化ツールが設けられている。
【００４２】注釈＃１は３つのセグメントａ，ｂおよび
ｃを有している。
【００４３】注釈＃２は注釈＃１のセグメントｂに対す
る応答である。
【００４４】注釈＃２それ自体はｄ，ｅおよびｆにセグ
メント化されている。
【００４５】注釈＃３は注釈＃２のセグメントｅに対す
る応答である。
【００４６】本発明の３つの重要な様相がある。レポー
トの内容は、ダイナミック注釈能力によって、レポート
は、ダイナミック注釈を使用することによって別の個人
がそのコメントを加えるようにするコンサルタントツー
ルとして用いることもできる。注釈のセグメント化およ
び関連の注釈の表示によって個人は関連の注釈を識別す
ることができるようになる。
【００４７】本発明は、ソフトウェア構成、またはこれ
まで説明してきた操作プロシージャに制限されるもので
はない。本発明は、特許請求の範囲に記載の範囲内に含
まれていれば、すべての変更および変化を包含するもの
である・
【図面の簡単な説明】
【図１】本発明のシステム全体の１実施例のフローチャ
ートを示す線図である。
【図２】本発明のレポートオープンハンドラの線図であ
る。
【図３】本発明のレポート保存ハンドラの線図である。
【図４】本発明のレポートメールハンドラの線図であ
る。
【図５】本発明のスタチック注釈ハンドラの線図であ
る。
【図６】本発明のダイナミック注釈ハンドラの線図であ
る。
【図７】本発明のメディアアタッチハンドラの線図であ
る。
【図８】本発明のレポート印刷ハンドラの線図である。
【図９】本発明のハイレベル機能記述の線図である。
【図１０】ダイナミック注釈を記録するプレゼンテーシ
ョンを説明する線図である。
【図１１】記録期間中の冗長的なタイムスライスされた
イベントを取り出すフィルタを示す線図である。
【図１２】注釈再生期間中の適応同期化のプレゼンテー
ションを説明する線図である。
【図１３】リップシンク間隔を実現するための注釈スケ
ジューラのフローチャートを示す線図である。
【図１４】注釈をセグメント化するために使用されるマ
ーカを説明する線図である。
【図１５】注釈技術に基づいて注釈を使用する、注釈と
応答注釈間の関係を説明する線図である。
【符号の説明】
１０ コマンドインタプリタ、 １１ 注釈入力インタ
プリタ、 １２ レポートオープンハンドラ、 １３
レポート保存ハンドラ、 １４ 現レポート削除ハンド
ラ、 １７ レポート保存ハンドラ、 １５ レポート
メールハンドラ、 １６ メディアアタッチハンドラ、
１９ スタチック注釈ハンドラ、 ２０ ダイナミッ
ク注釈ハンドラ、 ２１ 注釈に対する注釈ハンドラ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 // Ｇ０６Ｔ 11/00 Ｇ０６Ｆ 15/62 ３２１Ｚ (72)発明者 タイ−ユアン ホウ アメリカ合衆国 ニュー ジャージー ロ ビンスヴィル オールドリッチ ウエイ ５ (72)発明者 ウエイ−クワン ヴィンセント スー アメリカ合衆国 ニュー ジャージー プ リンストン ハノーヴァー コート ８ (72)発明者 トーマス マイスナー ドイツ連邦共和国 ヘルツォーゲンアウラ ッハ フォン アンデクス ヴェーク 22 (72)発明者 アーディング スー アメリカ合衆国 ニュー ジャージー ケ ンドール パーク マスケット ドライヴ ４

Claims (20)

    【特許請求の範囲】
  1. 【請求項１】 ユーザのコマンド入力を受信するための
    コマンドインタプリタと、該コマンドインタプリタに接
    続されているメディアアタッチハンドラと、前記コマン
    ドインタプリタに接続されているレポートオープンハン
    ドラと、ユーザの注釈入力を受信するための注釈入力イ
    ンタプリタと、前記注釈入力インタプリタに接続されて
    いるスタチック注釈ハンドラと、前記注釈入力インタプ
    リタに接続されているダイナミック注釈ハンドラとを有
    していることを特徴とするマルチメディアベースドレポ
    ーティングシステム。
  2. 【請求項２】 更に、前記コマンドインタプリタに接続
    されているレポート印刷ハンドラと、前記コマンドイン
    タプリタに接続されているレポート保存ハンドラと、前
    記注釈入力インタプリタに接続されている注釈に対する
    注釈ハンドラとを有している請求項１記載のマルチメデ
    ィアベースドレポーティングシステム。
  3. 【請求項３】 更に、前記コマンドインタプリタに接続
    されているレポートメールハンドラを有している請求項
    ２記載のマルチメディアベースドレポーティングシステ
    ム。
  4. 【請求項４】 更に、前記コマンドインタプリタに接続
    されている現レポート削除ハンドラと、レポートの内容
    を表示するためのレポートビューアとを有している請求
    項３記載のマルチメディアベースドレポーティングシス
    テム。
  5. 【請求項５】 前記ダイナミック注釈ハンドラは、記録
    手段と、再生手段とを有している請求項１記載のマルチ
    メディアベースドレポーティングシステム。
  6. 【請求項６】 前記記録手段は、音声を受信しかつ該音
    声をオーディオ信号に変換するためのオーディオ記録器
    手段と、前記オーディオ信号を受信するための、前記オ
    ーディオ記録器手段に接続されている無声検出器手段
    と、前記オーディオ信号を圧縮するための、前記無声検
    出器手段に接続されている圧縮手段と、タイピングまた
    はマウスの移動を識別するためのキーストローク／マウ
    ス移動手段と、前記タイピングまたは前記マウスの移動
    によって生成されるイベントを発生するための、前記キ
    ーストローク／マウス移動手段に接続されているイベン
    ト発生手段と、前記イベントをフィルタリングするため
    の、前記イベント発生手段に接続されているフィルタ手
    段と、前記フィルタリングされたイベントを受信しかつ
    イベント名、時間、パラメータを形成するための、前記
    フィルタ手段に接続されている注釈関連イベント手段
    と、前記圧縮されたオーディオ信号を受信するために前
    記圧縮手段に接続されておりかつ前記イベント名、時
    間、パラメータを受信するために前記注釈関連イベント
    手段に接続されている注釈ファイル手段とを有している
    請求項５記載のマルチメディアベースドレポーティング
    システム。
  7. 【請求項７】 前記再生手段は、注釈者のアクションお
    よび音声を同期するための適応同期手段を有している請
    求項５記載のマルチメディアベースドレポーティングシ
    ステム。
  8. 【請求項８】 前記適応同期手段は、アクションデータ
    からの情報を受信しかつ注釈スケジュールのそれぞれの
    間隔をスケジュールするための注釈スケジューラ手段
    と、前記注釈スケジューラに接続されているオーディオ
    デバイスインタフェース手段と、前記注釈スケジューラ
    手段からのフィルタリングされたアクションを受信しか
    つＣＰＵロードのフィードバックを前記注釈スケジュー
    ラ手段に対して行うための、前記注釈スケジューラ手段
    に接続されているアクション実行手段とを有している請
    求項７記載のマルチメディアベースドレポーティングシ
    ステム。
  9. 【請求項９】 前記注釈に対する注釈ハンドラは、マー
    カを使用してセグメント化された注釈を表示するための
    表示手段と、ユーザがセグメントを選択できるようにす
    るユーザ選択手段と、前記セグメントを記録するための
    記録手段と、前記セグメントを再生するための再生手段
    とを有している請求項２記載のマルチメディアベースド
    レポーティングシステム。
  10. 【請求項１０】 前記フィルタ手段は、new event がタ
    イムスライスされたイベントに等しいかどうかを検出す
    るための第１の判断手段と、prev event がタイムスラ
    イスされたイベントに等しいかどうかを検出するための
    第２の判断手段と、前記 new event を記録するための
    記録手段と、dist（ prev event, new event ）がしき
    い値より小さいかどうかを検出するための第３の判断手
    段と、前記 new event を記録しないようにするための
    手段とを有している請求項６記載のマルチメディアベー
    スドレポーティングシステム。
  11. 【請求項１１】 ユーザコマンド入力およびユーザ注釈
    入力を受信し、外部のメディアソースからのメディアを
    アタッチし、外部レポートソースからのレポートを開
    き、スタチック注釈を実施し、かつダイナミック注釈を
    実施することを特徴とするマルチメディアベースドレポ
    ートの準備方法。
  12. 【請求項１２】 更に、前記レポートを印刷し、前記レ
    ポートを外部メディア記録装置に保存し、かつ注釈に対
    する注釈を実施するステップを含んでいる請求項１１記
    載のマルチメディアベースドレポートの準備方法。
  13. 【請求項１３】 更に、前記レポートをメールし、かつ
    前記レポートを表示するステップを含んでいる請求項１
    ２記載のマルチメディアベースドレポートの準備方法。
  14. 【請求項１４】 前記ダイナミック注釈の実施は、記録
    し、かつ再生するステップを含んでいる請求項１１記載
    のマルチメディアベースドレポートの準備方法。
  15. 【請求項１５】 前記記録は、音声を受信しかつ該音声
    をオーディオ信号に変換するためのオーディオ記録器手
    段を使用し、前記オーディオ信号を受信するための、前
    記オーディオ記録器手段に接続されている無声検出器手
    段を使用し、前記オーディオ信号を圧縮し、タイピング
    またはマウスの移動を識別し、前記タイピングまたはマ
    ウスの移動によって生成されるイベントを発生し、前記
    イベントをフィルタリングし、前記フィルタリングされ
    たイベントを受信しかつイベント名、時間、パラメータ
    を生成するための注釈関連イベント手段を使用し、かつ
    前記圧縮されたオーディオ信号を受信しかつ前記イベン
    ト名、時間、パラメータを受信するための注釈ファイル
    手段を使用するステップを含んでいる請求項１４記載の
    マルチメディアベースドレポートの準備方法。
  16. 【請求項１６】 前記再生は、注釈者のアクションおよ
    び音声を同期するための適応同期手段を使用するステッ
    プを含んでいる請求項１４記載のマルチメディアベース
    ドレポートの準備方法。
  17. 【請求項１７】 前記適応同期手段の使用は、アクショ
    ンデータからの情報を受信しかつ注釈スケジュールのそ
    れぞれの間隔をスケジュールするための注釈スケジュー
    ラを使用し、前記注釈スケジューラに接続されているオ
    ーディオデバイスインタフェース手段を使用し、かつ前
    記注釈スケジューラからのフィルタリングされたアクシ
    ョンを受信しかつ該注釈スケジューラ手段に対してＣＰ
    Ｕロードをフィードバックするための、前記注釈スケジ
    ューラ手段に接続されているアクション実行手段を使用
    するステップを含んでいる請求項１６記載のマルチメデ
    ィアベースドレポートの準備方法。
  18. 【請求項１８】 前記注釈に対する注釈の実施は、マー
    カを使用してセグメント化された注釈を表示し、ユーザ
    がセグメントを選択することができるようにし、前記セ
    グメントに対して注釈し、かつ前記セグメントまたは前
    記セグメントの関連セグメントを再生するステップを含
    んでいる請求項１２記載のマルチメディアベースドレポ
    ートの準備方法。
  19. 【請求項１９】 前記フィルタリングは、new event が
    タイムスライスされたイベントに等しいかどうかを検出
    し、prev event がタイムスライスされたイベントに等
    しいかどうかを検出し、new event が前記タイムスライ
    スされたイベントでなければ、前記 new eventを記録
    し、dist（ prev event, new event ）がしきい値より
    小さいかどうかを検出し、前記 new event および prev
    event が前記タイムスライスされたイベントでありか
    つ前記 dist（ prev event, new event ）が前記しきい
    値より小さくなければ、前記 new event を記録し、か
    つ前記 dist（ prev event, new event ）が前記しきい
    値より小さければ、前記 new event を記録しないステ
    ップを含んでいる請求項１４記載のマルチメディアベー
    スドレポートの準備方法。
  20. 【請求項２０】 ユーザのコマンド入力を受信するため
    のコマンドインタプリタと、外部メディアソースからの
    外部メディアを受信するための、前記コマンドインタプ
    リタおよびマルチメディアレポートに接続されているメ
    ディアアタッチハンドラと、前記コマンドインタプリタ
    および前記マルチメディアレポートに接続されているレ
    ポートメールハンドラと、前記コマンドインタプリタお
    よび前記マルチメディアレポートに接続されているレポ
    ート印刷ハンドラと、前記マルチメディアレポートを外
    部メディア記録装置に保存するための、前記コマンドイ
    ンタプリタおよび前記マルチメディアレポートに接続さ
    れているレポート保存ハンドラと、外部レポートソース
    からの外部レポートを受信するための、前記コマンドイ
    ンタプリタおよび前記マルチメディアレポートに接続さ
    れているレポートオープンハンドラと、ユーザの注釈入
    力を受信するための注釈入力インタプリタと、前記注釈
    入力インタプリタおよび前記マルチメディアレポートに
    接続されているスタチック注釈ハンドラと、前記注釈入
    力インタプリタおよび前記マルチメディアレポートに接
    続されている注釈に対する注釈ハンドラと、前記注釈入
    力インタプリタおよび前記マルチメディアレポートに接
    続されているダイナミック注釈ハンドラと、前記マルチ
    メディアレポートの内容を表示するためのレポートビュ
    ーアとを有していることを特徴とするマルチメディアベ
    ースドレポーティングシステム。
JP30943796A 1995-11-20 1996-11-20 マルチメディアベースドレポーティングシステムおよびマルチメディアベースドレポートの準備方法 Pending JPH09237264A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/560,566 US5838313A (en) 1995-11-20 1995-11-20 Multimedia-based reporting system with recording and playback of dynamic annotation
US08/560,566 1995-11-20

Publications (1)

Publication Number Publication Date
JPH09237264A true JPH09237264A (ja) 1997-09-09

Family

ID=24238351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30943796A Pending JPH09237264A (ja) 1995-11-20 1996-11-20 マルチメディアベースドレポーティングシステムおよびマルチメディアベースドレポートの準備方法

Country Status (4)

Country Link
US (1) US5838313A (ja)
EP (1) EP0774719B1 (ja)
JP (1) JPH09237264A (ja)
DE (1) DE69637487T2 (ja)

Families Citing this family (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031526A (en) * 1996-08-08 2000-02-29 Apollo Camera, Llc Voice controlled medical text and image reporting system
US6091930A (en) * 1997-03-04 2000-07-18 Case Western Reserve University Customizable interactive textbook
US5991365A (en) * 1997-03-12 1999-11-23 Siemens Corporate Research, Inc. Remote phone-based access to a universal multimedia mailbox
US7111009B1 (en) 1997-03-14 2006-09-19 Microsoft Corporation Interactive playlist generation using annotations
TW346586B (en) * 1997-05-16 1998-12-01 Feng Bao Systems Co Ltd Ing Method for editing a multimedia simultaneous teaching system
US6697841B1 (en) * 1997-06-24 2004-02-24 Dictaphone Corporation Dictation system employing computer-to-computer transmission of voice files controlled by hand microphone
US6105055A (en) * 1998-03-13 2000-08-15 Siemens Corporate Research, Inc. Method and apparatus for asynchronous multimedia collaboration
DE69911931D1 (de) * 1998-03-13 2003-11-13 Siemens Corp Res Inc Verfahren und vorrichtung zum einfügen dynamischer kommentare in einem videokonferenzsystem
US6529450B1 (en) * 1998-08-03 2003-03-04 Dictaphone Corporation Hand microphone interfaced to game controller port of personal computer
US6956593B1 (en) 1998-09-15 2005-10-18 Microsoft Corporation User interface for creating, viewing and temporally positioning annotations for media content
US6917965B2 (en) * 1998-09-15 2005-07-12 Microsoft Corporation Facilitating annotation creation and notification via electronic mail
US6396488B1 (en) 1999-01-04 2002-05-28 Corel Inc. System and method for determining a path in a graphical diagram
US6687877B1 (en) * 1999-02-17 2004-02-03 Siemens Corp. Research Inc. Web-based call center system with web document annotation
US6529920B1 (en) * 1999-03-05 2003-03-04 Audiovelocity, Inc. Multimedia linking device and method
US6684221B1 (en) * 1999-05-06 2004-01-27 Oracle International Corporation Uniform hierarchical information classification and mapping system
US7337389B1 (en) 1999-12-07 2008-02-26 Microsoft Corporation System and method for annotating an electronic document independently of its content
US6992687B1 (en) 1999-12-07 2006-01-31 Microsoft Corporation Bookmarking and placemarking a displayed document in a computer system
US7458014B1 (en) 1999-12-07 2008-11-25 Microsoft Corporation Computer user interface architecture wherein both content and user interface are composed of documents with links
US6714214B1 (en) * 1999-12-07 2004-03-30 Microsoft Corporation System method and user interface for active reading of electronic content
US9424240B2 (en) 1999-12-07 2016-08-23 Microsoft Technology Licensing, Llc Annotations for electronic content
US7028267B1 (en) 1999-12-07 2006-04-11 Microsoft Corporation Method and apparatus for capturing and rendering text annotations for non-modifiable electronic content
US6957233B1 (en) 1999-12-07 2005-10-18 Microsoft Corporation Method and apparatus for capturing and rendering annotations for non-modifiable electronic content
US7185274B1 (en) 1999-12-07 2007-02-27 Microsoft Corporation Computer user interface architecture wherein users interact with both content and user interface by activating links
US6820111B1 (en) 1999-12-07 2004-11-16 Microsoft Corporation Computer user interface architecture that saves a user's non-linear navigation history and intelligently maintains that history
US6501463B1 (en) 1999-12-10 2002-12-31 Siemens Technology -To-Business Center Llc Electronic whiteboard system using a tactile foam sensor
US6720980B1 (en) * 2000-03-01 2004-04-13 Microsoft Corporation Method and system for embedding voice notes
US7577901B1 (en) 2000-03-15 2009-08-18 Ricoh Co., Ltd. Multimedia document annotation
US7243299B1 (en) 2000-04-21 2007-07-10 Microsoft Corporation Methods and apparatus for displaying multiple contexts in electronic documents
US8688474B2 (en) * 2000-06-26 2014-04-01 Epic Systems Corporation Patient health record access system
US7234108B1 (en) 2000-06-29 2007-06-19 Microsoft Corporation Ink thickness rendering for electronic annotations
US6507726B1 (en) * 2000-06-30 2003-01-14 Educational Standards And Certifications, Inc. Computer implemented education system
US6751589B1 (en) 2000-09-18 2004-06-15 Hewlett-Packard Development Company, L.P. Voice-actuated generation of documents containing photographic identification
US7251610B2 (en) * 2000-09-20 2007-07-31 Epic Systems Corporation Clinical documentation system for use by multiple caregivers
US8050944B2 (en) * 2000-09-20 2011-11-01 Epic Systems Corporation Intelligent patient visit information management and navigation system
US20020055918A1 (en) * 2000-11-08 2002-05-09 Patrick Hlathein Operating room resource management system incorporating an interactive, visual method for coordinating multiple, interdependent
DE10058091A1 (de) * 2000-11-23 2002-06-06 Bayer Ag Isolierte Luziferasen Lu164, LuAL und Lu22, sowie deren Verwendung
US7275220B2 (en) * 2000-12-22 2007-09-25 Epic Systems Corporation System and method for a seamless user interface for an integrated electronic health care information system
US6983423B2 (en) * 2000-12-22 2006-01-03 Epic Systems Corporation Electronic system for collecting and communicating clinical order information in an acute care setting
US20020082868A1 (en) * 2000-12-27 2002-06-27 Pories Walter J. Systems, methods and computer program products for creating and maintaining electronic medical records
JP2002358329A (ja) * 2001-02-28 2002-12-13 Sony Computer Entertainment Inc 情報提供装置、情報処理装置、情報提供方法、情報処理方法、プログラム、その記録媒体
US20020138636A1 (en) * 2001-03-23 2002-09-26 Mark Buttner Method for automatically mass generating personalized data report outputs
US20020138746A1 (en) * 2001-03-23 2002-09-26 Mark Buttner Method of generating a secure output file
US20020151837A1 (en) * 2001-04-16 2002-10-17 Surgicon Inc. Surgical irrigation apparatus and methods for use
US20020149630A1 (en) * 2001-04-16 2002-10-17 Parascript Llc Providing hand-written and hand-drawn electronic mail service
US20020165898A1 (en) * 2001-05-03 2002-11-07 Joe Duffy Recipient-determined method for sharing tasks in an advanced electronic messaging/workflow system
US20020169639A1 (en) * 2001-05-09 2002-11-14 Jeffrey Yu Systems for generating radiology reports
US8665293B2 (en) * 2001-05-16 2014-03-04 Autodesk, Inc. Automatic draw order
US7119814B2 (en) * 2001-05-18 2006-10-10 Given Imaging Ltd. System and method for annotation on a moving image
US20030028584A1 (en) * 2001-07-13 2003-02-06 Mark Coniglio System and method for providing network management
US20030061073A1 (en) * 2001-08-01 2003-03-27 Khiang Seow Method and system for displaying patient information
US7747943B2 (en) * 2001-09-07 2010-06-29 Microsoft Corporation Robust anchoring of annotations to content
KR100460997B1 (ko) * 2001-10-06 2004-12-09 조대철 시청각 편집 영역이 포함된 다수 레이어의 전자 강의시스템 및 그 방법과 그 기록매체
US7493559B1 (en) * 2002-01-09 2009-02-17 Ricoh Co., Ltd. System and method for direct multi-modal annotation of objects
US20030180698A1 (en) * 2002-03-22 2003-09-25 Alen Salerian Mental disorder screening tool and method of screening subjects for mental disorders
US20030216945A1 (en) * 2002-03-25 2003-11-20 Dvorak Carl D. Method for analyzing orders and automatically reacting to them with appropriate responses
US7243301B2 (en) 2002-04-10 2007-07-10 Microsoft Corporation Common annotation framework
US20030220821A1 (en) * 2002-04-30 2003-11-27 Ervin Walter System and method for managing and reconciling asynchronous patient data
US20040010422A1 (en) * 2002-05-20 2004-01-15 Cliff Michalski Method and apparatus for batch-processed invoicing
US20040010465A1 (en) * 2002-05-20 2004-01-15 Cliff Michalski Method and apparatus for exception based payment posting
US7568151B2 (en) 2002-06-27 2009-07-28 Microsoft Corporation Notification of activity around documents
US7979294B2 (en) 2002-07-31 2011-07-12 Epic Systems Corporation System and method for providing decision support to appointment schedulers in a healthcare setting
US7406150B2 (en) * 2002-11-29 2008-07-29 Hologic, Inc. Distributed architecture for mammographic image acquisition and processing
US20040123231A1 (en) * 2002-12-20 2004-06-24 Adams Hugh W. System and method for annotating multi-modal characteristics in multimedia documents
US20040205547A1 (en) * 2003-04-12 2004-10-14 Feldt Kenneth Charles Annotation process for message enabled digital content
US7263483B2 (en) * 2003-04-28 2007-08-28 Dictaphone Corporation USB dictation device
US7257769B2 (en) * 2003-06-05 2007-08-14 Siemens Communications, Inc. System and method for indicating an annotation for a document
US20050071195A1 (en) * 2003-09-30 2005-03-31 Cassel David A. System and method of synchronizing data sets across distributed systems
US8825502B2 (en) * 2003-09-30 2014-09-02 Epic Systems Corporation System and method for providing patient record synchronization in a healthcare setting
US20060080140A1 (en) * 2004-02-09 2006-04-13 Epic Systems Corporation System and method for providing a clinical summary of patient information in various health care settings
US20050234741A1 (en) * 2004-04-16 2005-10-20 Sumit Rana Electronic appointment scheduling for medical resources
US8428968B2 (en) * 2004-05-10 2013-04-23 Epic Systems Corporation Interactive system for patient access to electronic medical records
US20050283387A1 (en) * 2004-06-21 2005-12-22 Epic Systems Corporation System for providing an interactive anatomical graphical representation of a body for use in a health care environment
US20060004605A1 (en) * 2004-06-21 2006-01-05 Epic Systems Corporation System and method for a comprehensive interactive graphical representation of a health care facility for managing patient care and health care facility resources
US8239749B2 (en) 2004-06-25 2012-08-07 Apple Inc. Procedurally expressing graphic objects for web pages
US8335694B2 (en) * 2004-07-09 2012-12-18 Bruce Reiner Gesture-based communication and reporting system
EP1774508A2 (en) * 2004-07-09 2007-04-18 Gesturerad, Inc. Gesture-based reporting method and system
US8725547B2 (en) * 2004-08-24 2014-05-13 Epic Systems Corporation Utilization indicating schedule scanner
US20060047554A1 (en) * 2004-08-24 2006-03-02 Steven Larsen Rules based resource scheduling
WO2006026578A2 (en) * 2004-08-27 2006-03-09 Peng Tao Online annotation management system and method
US20060053034A1 (en) * 2004-09-08 2006-03-09 Epic Systems Corporation System and method for providing a real-time status for managing encounters in health care settings
US20060085381A1 (en) * 2004-10-20 2006-04-20 Epic Systems Corporation Remote deployment access system and method
US20060117021A1 (en) * 2004-11-29 2006-06-01 Epic Systems Corporation Shared account information method and apparatus
US8140370B2 (en) * 2005-01-20 2012-03-20 Epic Systems Corporation System and method for reducing the steps involved in searching for available appointment times and scheduling appointments in a health care environment
US7607079B2 (en) * 2005-07-08 2009-10-20 Bruce Reiner Multi-input reporting and editing tool
KR100704631B1 (ko) * 2005-08-10 2007-04-10 삼성전자주식회사 음성 주석 생성 장치 및 방법
US20090092953A1 (en) * 2005-10-21 2009-04-09 Guo Liang Yang Encoding, Storing and Decoding Data for Teaching Radiology Diagnosis
US8261181B2 (en) * 2006-03-30 2012-09-04 Microsoft Corporation Multidimensional metrics-based annotation
US8190992B2 (en) 2006-04-21 2012-05-29 Microsoft Corporation Grouping and display of logically defined reports
US8126750B2 (en) 2006-04-27 2012-02-28 Microsoft Corporation Consolidating data source queries for multidimensional scorecards
US7954049B2 (en) * 2006-05-15 2011-05-31 Microsoft Corporation Annotating multimedia files along a timeline
US20070276852A1 (en) * 2006-05-25 2007-11-29 Microsoft Corporation Downloading portions of media files
US7987423B2 (en) * 2006-10-11 2011-07-26 Hewlett-Packard Development Company, L.P. Personalized slide show generation
US9058307B2 (en) 2007-01-26 2015-06-16 Microsoft Technology Licensing, Llc Presentation generation using scorecard elements
US8321805B2 (en) 2007-01-30 2012-11-27 Microsoft Corporation Service architecture based metric views
US8768744B2 (en) 2007-02-02 2014-07-01 Motorola Mobility Llc Method and apparatus for automated user review of media content in a mobile communication device
US8495663B2 (en) 2007-02-02 2013-07-23 Microsoft Corporation Real time collaboration using embedded data visualizations
US20090216532A1 (en) * 2007-09-26 2009-08-27 Nuance Communications, Inc. Automatic Extraction and Dissemination of Audio Impression
US9170997B2 (en) * 2007-09-27 2015-10-27 Adobe Systems Incorporated Commenting dynamic content
AU2008310577A1 (en) 2007-10-12 2009-04-16 Patientslikeme, Inc. Self-improving method of using online communities to predict health-related outcomes
WO2009050521A2 (en) * 2007-10-17 2009-04-23 Iti Scotland Limited Computer-implemented methods displaying, in a first part, a document and in a second part, a selected index of entities identified in the document
AU2009260834B2 (en) 2008-06-18 2014-10-09 Covidien Lp System and method of evaluating a subject with an ingestible capsule
US9600459B2 (en) * 2008-07-16 2017-03-21 International Business Machines Corporation Visual macro showing how some icon or object or text was constructed
JP5170771B2 (ja) * 2009-01-05 2013-03-27 任天堂株式会社 描画処理プログラム、情報処理装置、情報処理システムおよび情報処理制御方法
EP2430574A1 (en) 2009-04-30 2012-03-21 Patientslikeme, Inc. Systems and methods for encouragement of data submission in online communities
US20110029325A1 (en) * 2009-07-28 2011-02-03 General Electric Company, A New York Corporation Methods and apparatus to enhance healthcare information analyses
US20110029326A1 (en) * 2009-07-28 2011-02-03 General Electric Company, A New York Corporation Interactive healthcare media devices and systems
US8373741B2 (en) * 2009-11-20 2013-02-12 At&T Intellectual Property I, Lp Apparatus and method for collaborative network in an enterprise setting
US8819557B2 (en) * 2010-07-15 2014-08-26 Apple Inc. Media-editing application with a free-form space for organizing or compositing media clips
US9292656B2 (en) * 2010-09-29 2016-03-22 General Electric Company Systems and methods for improved perinatal workflow
US9342516B2 (en) 2011-05-18 2016-05-17 Microsoft Technology Licensing, Llc Media presentation playback annotation
US9613340B2 (en) * 2011-06-14 2017-04-04 Workshare Ltd. Method and system for shared document approval
AU2013221345A1 (en) 2012-02-16 2014-08-28 Covidien Lp Multifunctional conferencing systems and methods
US9639545B2 (en) * 2012-09-24 2017-05-02 Moxtra, Inc. Online binders
US10614607B2 (en) 2016-06-12 2020-04-07 Apple Inc. Playback of handwritten message
US12417825B2 (en) 2017-09-15 2025-09-16 Alden Scientific, Inc. Systems and methods for collecting and analyzing comprehensive medical information
US11894139B1 (en) 2018-12-03 2024-02-06 Patientslikeme Llc Disease spectrum classification

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05298340A (ja) * 1992-04-16 1993-11-12 Toshiba Corp コンサルテーション・カンファレンスシステム
JPH05324785A (ja) * 1992-05-20 1993-12-07 Toshiba Corp 医用情報システム
JPH06251005A (ja) * 1993-02-24 1994-09-09 Toshiba Corp レポート情報入出力システム
JPH06290246A (ja) * 1993-04-05 1994-10-18 Nikon Corp 画像ファイリング装置
JPH0731591A (ja) * 1993-07-19 1995-02-03 Toshiba Corp 読影レポート作成支援装置
JPH07129754A (ja) * 1993-11-08 1995-05-19 High Netsukusu:Kk データの検索編集装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU624838B2 (en) * 1988-05-27 1992-06-25 Global 360, Inc. Document annotation and manipulation in a data processing system
AU2868092A (en) * 1991-09-30 1993-05-03 Riverrun Technology Method and apparatus for managing information
US5323272A (en) 1992-07-01 1994-06-21 Ampex Systems Corporation Time delay control for serial digital video interface audio receiver buffer
CA2094526C (en) * 1992-07-22 1998-05-05 Ivan Eisen Method and apparatus for creating a multi-media footnote control in a video data
US5483468A (en) * 1992-10-23 1996-01-09 International Business Machines Corporation System and method for concurrent recording and displaying of system performance data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05298340A (ja) * 1992-04-16 1993-11-12 Toshiba Corp コンサルテーション・カンファレンスシステム
JPH05324785A (ja) * 1992-05-20 1993-12-07 Toshiba Corp 医用情報システム
JPH06251005A (ja) * 1993-02-24 1994-09-09 Toshiba Corp レポート情報入出力システム
JPH06290246A (ja) * 1993-04-05 1994-10-18 Nikon Corp 画像ファイリング装置
JPH0731591A (ja) * 1993-07-19 1995-02-03 Toshiba Corp 読影レポート作成支援装置
JPH07129754A (ja) * 1993-11-08 1995-05-19 High Netsukusu:Kk データの検索編集装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梅田徳男他: "医用画像・音声診断レポートの同時ファイリングシステムの構築", 画像電子学会誌, vol. 第２３巻，第５号, CSNG199800502005, 25 October 1994 (1994-10-25), pages 429 - 437, ISSN: 0000789621 *

Also Published As

Publication number Publication date
EP0774719A1 (en) 1997-05-21
US5838313A (en) 1998-11-17
DE69637487T2 (de) 2009-06-04
DE69637487D1 (de) 2008-05-21
EP0774719B1 (en) 2008-04-09

Similar Documents

Publication Publication Date Title
JPH09237264A (ja) マルチメディアベースドレポーティングシステムおよびマルチメディアベースドレポートの準備方法
US5600775A (en) Method and apparatus for annotating full motion video and other indexed data structures
US6938029B1 (en) System and method for indexing recordings of observed and assessed phenomena using pre-defined measurement items
JP6961994B2 (ja) デバイス上でのメッセージ管理とドキュメント生成のためのシステムと方法、メッセージの管理プログラム、モバイルデバイス
Chiu et al. NoteLook: Taking notes in meetings with digital video and ink
US6072480A (en) Method and apparatus for controlling composition and performance of soundtracks to accompany a slide show
US5526407A (en) Method and apparatus for managing information
US5717869A (en) Computer controlled display system using a timeline to control playback of temporal data representing collaborative activities
US6802041B1 (en) Multimedia word processor
JP6961993B2 (ja) デバイス上でのメッセージ管理とドキュメント生成のためのシステムと方法、メッセージの管理プログラム、モバイルデバイス
US5799315A (en) Method and apparatus for event-tagging data files automatically correlated with a time of occurence in a computer system
EP0182460B1 (en) Multi-image communications system
US8516375B2 (en) Slide kit creation and collaboration system with multimedia interface
US7970263B1 (en) Seamless integration of video capture in demonstration applications
Zellweger Active paths through multimedia documents
JPH09297748A (ja) メッセージング装置及びメッセージング方法
JPH1074138A (ja) 音声をセグメント化するための方法と装置
JPH056251A (ja) コンピユータシステム上に上映を事前記録、編集及び再生するための装置
US20040012540A1 (en) Method and apparatus for organizing and presenting information
US6470356B1 (en) Multimedia information audiovisual apparatus
JP4045768B2 (ja) 映像処理装置
CN2711852Y (zh) 演奏信息再现设备
JP2005025571A (ja) 業務支援装置、業務支援方法およびそのプログラム
JP2001052026A (ja) ドキュメント処理装置
JPH01233489A (ja) データ提示方法及びその装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061117

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070215

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070711