JPH06265794A - 顕微鏡画像観察記録システム - Google Patents

Abstract

(57)【要約】 【目的】観察した画像の観察経過に沿った管理、再生を
可能とし、この再生と同時にその時の通信内容を再生可
能とすること。 【構成】パーソナルコンピュータ１がＴＶモニタ７に表
示されている静止画像のファイルＩＤを時間の経過に沿
って記録すると共に、この時間経過に沿った記録内容を
再生自在とする。さらに、会議用電話機１１により依頼
側端末１００と観察側端末１０１との間で通話を行う
と、音声入力装置６がその通話内容をファイルとして記
録する。更に、この記録された通話内容のファイルの時
間の経過に対応するアドレスを静止画像のファイルＩＤ
の記録と同時に記録し、パーソナルコンピュータ１が当
該記録に同期させて時間経過に沿った画像情報の再生を
行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、主として医療・生物系
の顕微鏡観察に利用されることを目的としたシステムに
係り、特に病理分野での観察、テレパソロジー、テレコ
ンサルテーション等を効率よく行う顕微鏡画像観察記録
システムに関する。

【０００２】

【従来の技術】従来、例えば医療分野においては、顕微
鏡を用いた病理診断が必須の診断項目とされている。そ
して、この病理診断のために遠隔地の病院から大学等に
顕微鏡画像を伝送し、該顕微鏡画像を基に大学の病理専
門医が診断を行うためのシステムも提案されている。さ
らに、一般に顕微鏡画像のファイリングシステムや画像
伝送システム、遠隔観察システムなどにおいては、画像
や検体番号、臓器名、患者名などの医療上のデータのみ
が記録されていた。これは、例えば特開昭６４−２０４
４９号公報により開示された遠隔病理診断回路網に関す
る技術でも、当該技術とは異なるスタンドアロンのファ
イリングシステムであっても同様である。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
顕微鏡画像ファイリングシステムでは、画像は１枚づつ
のイメージデータとして扱われており、標本全体の中で
の画像の位置や観察過程などの情報は記録に残らない。
この点については、カバーガラス相当の領域を取り込ん
だマクロ画像から徐々に高倍率の対物レンズを使って細
かいところを観察していくという過程を画像の親子関係
として管理することにより解決することができるが、所
望とする画像を観察した時間、その観察順序についての
情報については記録されていなかった。

【０００４】本発明は上記問題に鑑みてなされたもの
で、その目的とするところは、観察した画像を観察経過
に沿って管理可能とすると共に、その記録を再生自在と
することにある。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、本発明の顕微鏡画像観察記録システムは、第１の端
末において顕微鏡像を撮像する撮像手段と、この撮像手
段により撮像された画像情報を受けて静止画としてファ
イルする第１のファイル手段と、この第１のファイル手
段によりファイルされた画像情報を表示する表示手段
と、この表示手段に表示されている静止画像情報を第１
の端末から第２の端末に伝送する通信手段と、この通信
手段により伝送された静止画像情報をファイルする第２
のファイル手段とを有する遠隔観察記録システムにおい
て、上記表示手段に表示されている静止画像のファイル
ＩＤを時間の経過に沿って記録する観察記録手段と、上
記観察記録手段による時間経過にそった記録内容を再生
する再生手段とを具備することを特徴とする。

【０００６】

【作用】即ち、本発明の顕微鏡画像観察記録システムで
は、観察記録手段が表示手段に表示されている静止画像
のファイルＩＤを時間の経過に沿って記録すると、再生
手段が上記観察記録手段による時間経過にそった記録内
容を再生する。

【０００７】

【実施例】以下、図面を参照して、本発明の実施例につ
いて説明する。

【０００８】図１は、本発明の顕微鏡画像観察記録シス
テムの構成を示す図である。

【０００９】同図（ａ）に示すように、本実施例に係る
顕微鏡遠隔観察システムは、実際に顕微鏡を操作して画
像を取り込む依頼側端末１００と、この依頼側端末１０
０より通信回線１２を介して送信された画像データに基
づいて所望とする顕微鏡画像を観察する観察側端末１０
１とで構成されている。

【００１０】さらに、上記依頼側端末１００は、詳細に
は同図（ｂ）に示すような構成となっている。即ち、全
体を制御するパーソナルコンピュータ１とＣＲＴディス
プレイ２、ポインティングデバイスであるマウス３、入
力機器であるキーボード４、フレームメモリ５、音声入
力装置６、ＴＶモニタ７、カメラコントロールユニット
(CCU;Camera Control Unit) ８、顕微鏡９、顕微鏡用の
ＴＶカメラ１０、会議用電話機１１とで構成されてい
る。上記会議用電話機１１はフリーハンドで使える音質
の良い電話機であり、当該会議用電話機１１は各通信制
御部１２´間に接続された通信回線１２を通じて観察側
端末１０１における会議用電話機にも接続されている。
尚、上記観察側端末１０１は、上記依頼側端末１００の
構成から顕微鏡９とＣＣＵ８とを除いた構成であるた
め、ここではその説明は省略する。

【００１１】このような構成において、上記依頼側端末
１００における顕微鏡９はパーソナルコンピュータ１に
よって制御され、そのステージ１３のｘ，ｙ，ｚ方向へ
の移動及び対物レンズ１４の選択が指示される。そし
て、標本の画像データは顕微鏡９に取り付けられたＴＶ
カメラ１０により取り込まれファイルとして記録すると
きには圧縮される。さらに、顕微鏡画像の遠隔観察の際
には、このＴＶカメラ１０により取り込まれた画像デー
タが通信回線１２を介して観察側端末１０１へと転送さ
れる。尚、音声は音声入力装置６により取り込まれ、Ａ
／Ｄ変換によりデジタル符号化されファイルとして記録
される。

【００１２】以下、本発明の第１の実施例に係る顕微鏡
画像観察記録システムによる音声と顕微鏡画像のファイ
リングについて説明する。

【００１３】先ず、図２乃至図４を参照して、検体の画
像の取り込みについて説明する。

【００１４】検体の画像の取り込みを行う場合、始めに
検体のＩＤ番号を入力するのだが、第１の実施例では、
この観察記録が検体毎に行われるものとする（ステップ
Ｓ１０１）。そして、このＩＤ番号の入力が完了する
と、検体の全体像をマクロ画像として取り込む。このマ
クロ画像は検体の全体を把握するために使用されるもの
である。但し、一般に顕微鏡９の対物レンズ１４はマク
ロ画像の取り込みに対応できないので、専用の取り込み
装置を用いる必要がある（ステップＳ１０２）。続い
て、必要に応じてマクロ画像の一部若しくは全体を拡大
して取り込む。この時は顕微鏡の低倍率の対物レンズ１
４（１〜４倍）を用いる。さらに、画像を取り込むべき
位置の指定は、メッシュ分割若しくはスポット指定に基
づいてマクロ画像上で指定する。すると、この指定した
位置に顕微鏡のステージ１３が移動し、全自動の顕微鏡
であれば対物レンズ１４も切り替わる（ステップＳ１０
３，１０４）。こうして必要な画像を取り込んだら、観
察側のシステムとの通信回線１２を接続する。この時、
コンピュータ同士の回線だけでなく通常の電話回線も接
続するので会議用電話機１１による会話もできる（ステ
ップＳ１０５）。続いて、通信回線接続前に取り込んだ
全ての画像ファイルを転送する（ステップＳ１０６）。
そして、この転送により両端末間で通信観察を始めるこ
とができる（ステップＳ１０８）。

【００１５】ここで、この観察中の画面の様子は図２に
示す通りである。

【００１６】即ち、同図（ａ）は観察メニュー画面を示
す図であり、同図（ｂ）は観察ＴＶ画面を示す図であ
る。そして、同図（ａ）における参照番号２１〜２５は
各指定コマンド、参照番号２６は画像の親子関係を示し
た樹系図であり、同図（ｂ）における参照番号２７は表
示中の画像の子画像を示す矩形を示す。

【００１７】尚、上記通信観察中は、操作の優先権を持
っている側のマウス３の動きが相手端末でもトレースさ
れ、優先権のない側のマウス３は使えなくなる。また、
操作の結果表示される画像は両端末とも同じである。こ
の優先権は主に観察側の病理医が持つことになるが、途
中で交代することもできる。さらに、マウスポインタは
ＣＲＴディスプレイ２のメニュー画面上とＴＶモニタ７
上とで行き来させることができるので、例えばＴＶモニ
タ７上では、画像を指し示すことによりディスカッショ
ンの際の補助に役立てることもできる。

【００１８】さて、両端末間での通信観察中に取り込ん
だ画像をロードする場合には、図３（ｂ）のステップＳ
１１５において「画像ロード」を選択し、図４（ａ）の
過程に従って操作を行う。即ち、親画像をロードする場
合には、図２（ｂ）に示す「親画像」というコマンド２
３を選択することで、子画像から親画像へと表示を切り
替えることができる。そして、表示中の画像に子画像が
あれば、画像上にその位置が矩形２７で表示され（ステ
ップＳ１１７）、その矩形２７で定まる範囲内をマウス
３でクリックすることにより子画像が表示される。この
親子関係は、図２（ａ）の参照番号２６で示すような樹
系図として表示され、各画像に係る取り込んだ順のシー
ケンスナンバと対物レンズの倍率も表示されている（ス
テップＳ１１８）。尚、この樹系図２６上では表示画像
を選択することもできる（ステップＳ１１９）。

【００１９】これに対して、画像の取り込みを行う場合
には、図３（ｂ）のステップＳ１１５において「画像取
込」のコマンド２４を選択し、図４（ｂ）に従って以下
の操作を行う。即ち、先ず倍率を指定し（ステップＳ１
２０）、続いて圧縮率を指定する（ステップＳ１２
１）。そして、この倍率を指定すると、表示中の画像上
での取り込む画像のサイズが分かる。そして、当該指定
の後、表示中の画像上で取り込み位置を指定する（ステ
ップＳ１２２）。さらに、この位置を顕微鏡９のステー
ジ座標に変換してステージ１３を移動させ、画像を取り
込む（ステップＳ１２３）。

【００２０】また、録音を行う場合には、図３（ｂ）の
ステップＳ１１５で「音声入力（録音）」のコマンド２
１を選択し、図４（ｃ）に従って以下の操作を行う。即
ち、ステップＳ１２４において、録音を希望する場合に
は「録音」のコマンド２１を選択することにより音声フ
ァイルの記録が開始され（ステップＳ１２５）、録音を
希望しない場合には「録音ＯＦＦ」のコマンド２２を選
択することにより音声記録が中断される（ステップＳ１
２６）。

【００２１】ところで、ファイルのアドレスと時刻との
リンクは時間管理ファイルに画像の情報と共に記録され
る（ステップＳ１１４）。

【００２２】この時間管理ファイルは観察中の時間の流
れに合わせ音声・画像をリンクさせるためのファイルで
ある。そして、このファイルには各時刻毎にどの画像が
表示され、音声ファイルのどの部分が録音されたかの情
報が記憶される。さらに、再生時にはこのファイルを参
照して、再生している時刻の表示画像ファイルと音声フ
ァイル上のアドレスを経て画像と音声を同期させた再生
を行う。

【００２３】例えば、図５に示すように、時間の経過と
共に表示画像ファイルが１、２、３、４、１、４、２、
５、３、４と変化していき、その間、音声入力はＯＮ／
ＯＦＦを繰り返している。そして、音声が記録された部
分は、音声ファイル上のアドレスが記録されており、そ
の時刻の音声が再生されるようになっている。

【００２４】この図５における画像ファイルは圧縮若し
くは非圧縮の静止画データを記録するためのファイルで
あり、時間管理ファイルによって、その画像を表示して
いた時間の情報が記録されている。さらに、この画像フ
ァイルは、いつどの画像を見ていたかという時間との関
係とは別に低倍率から高倍率へ拡大していくという画像
同士の親子関係も有している。

【００２５】これに対して、図６は画像同士の親子関係
を記録している画像間リンク情報ファイルを示す図であ
る。この図６では、画像１の子画像として画像２，３，
４があり、画像２の子画像として画像５、画像３の子画
像として画像６，７が示してある。そして、この画像間
リンク情報ファイルを参照するにより、親画像のロー
ド、子画像のロードが可能となる。

【００２６】さらに、上記音声データファイルとは、音
声をデジタル符号化して記録したファイルである。但
し、この音声データファイルに記録されるデータは圧縮
でも非圧縮でも良い。そして、音声データファイルのど
のアドレスがいつ記録されたものかは、先に図５に示し
た時間管理ファイルによって記録されている。

【００２７】例えば、会議用電話機１１による会話の音
声は、全て音声ファイルとして記録することができる。
しかし、通信中、常に会話をしているとは限らないし、
残しておかなくても良い部分もある。従って、これらを
含めて通信中の全ての音声をファイルとして残しておく
ことは、音声入力装置６の容量から考えて非常に不経済
であるため、録音及びファイルセーブを選択できるよう
にする必要がある。

【００２８】この場合、図２（ａ）に示す通信観察中の
メニュー画面の「録音ＯＦＦ」のコマンド２２をマウス
３で選択すれば録音を解除することができる。このよう
に、音声記録を選択できるようにすることによって、最
後の判断を下すときなど必要な音声のみを録音すること
ができるので、音声のデータ量を軽減することができ
る。

【００２９】次に、図７及び図８を参照して、第１の実
施例による再生動作について説明する。先ずＩＤ番号に
よって再生する検体を選択すると、そのデータに係る時
間管理ファイルと画像間リンク情報ファイルにアクセス
してファイルを検索し（ステップＳ２０１）、先頭画像
ファイルを再生する（ステップＳ２０２）。

【００３０】そして、この再生が終了するとステップＳ
２０５に移行し、画像・音声の再生方法を選択する。こ
の画像・音声の再生方法としては、観察中のように画像
の親子関係に基づき表示画像を選択する「画像選択」に
よる方法と、時間の流れに沿って再生すると共にビデオ
テープを再生するかのように早送りや画像のスキップ再
生を行う「時間選択」による方法とがある。

【００３１】このステップＳ２０５における「画像選
択」による再生では、観察中の画像のロード方法が全て
有効であるので、子画像の矩形による指定、親画像のロ
ード樹系図、シーケンスナンバーのインデックスによる
指定が行える。尚、これらの画像の検索は観察中と同様
に画像間リンク情報ファイルを参照して行われる。但
し、再生時には音声も同時に再生する必要があり、ま
た、同一画像が観察中何度も表示されていることがある
ため、メニュー画面には図９に示す時間軸を示したバー
に指定された画像が表示されていた時間が示される。こ
のバーの画像表示部分をマウス３でクリックして、どの
時刻からの再生を行うかを決定する（ステップＳ２０６
〜２０９）。

【００３２】これに対して、このステップＳ２０５にお
ける「時間選択」による再生は、いわばビデオテープの
再生と同じであり、画像・音声の再生・停止と共に再生
位置も指定することもできる。

【００３３】即ち、ステップＳ２１０において「再生」
を選択したときには、図８（ａ）に従って時間管理ファ
イルからステップＳ２１１で再生開始時刻を参照する。
そして、その位置の音声と画像から再生を開始し、その
後は時間管理ファイルを参照して、音声ファイルと画像
ファイルへのアクセスと再生を繰り返す。

【００３４】また、ステップＳ２１０において「停止」
を選択したときには、図８（ｂ）に従って音声ファイル
の再生を停止し、このとき画像は現在表示中のファイル
の状態のままになる。さらに、時間管理ファイルから停
止した位置の時刻を記録しておく。このデータによっ
て、再び再生を開始するときに停止した位置から再生す
ることができる。

【００３５】さらに、ステップＳ２１０において「時刻
指定」を選択したときは、図８（ｃ）に従って再生開始
点を変更させることができる。尚、メニュー画面上には
図９と同様のバーが表示され、そこで再生開始時刻をマ
ウス３などで指定することができる。そして、新たな再
生開始点が決定されたら、その時刻に合わせて時間管理
ファイルを参照し、音声ファイルと画像ファイルのデー
タを得る。そして、その点から通常の再生を開始する。

【００３６】また、ステップＳ２１０において「画像毎
にスキップ」を選択したときには、図１３に移行し、ま
ずスキップ再生中に、時間管理ファイルから音声のＯＮ
／ＯＦＦを得る（ステップＳ４０１〜Ｓ４０３）。

【００３７】そして、音声が“オン”、即ち記録されて
いる状態である間は通常の再生を続ける（ステップＳ４
０８）。さらに、“オフ”のときは次に音声がオンにな
る時刻を参照する（ステップＳ４０４，４０５）。そし
て、時間管理ファイルを参照して次の表示画像を得て
（ステップＳ４０６）、その画像を表示したら（ステッ
プＳ４０７）、更に次の表示画像を調べ、音声が“オ
ン”になるまで画像のスキップ表示を続ける（ステップ
Ｓ４０８）。

【００３８】このような再生方法により、全体を再生し
ながら必要な所だけをじっくり見ることが可能になる。
尚、この「画像毎にスキップ」する方法は、観察時間に
沿って再生するときに音声が記録されていない部分にス
キップして再生する方法の一つである。そして、この音
声の記録されていない部分は、重要な部分ではないと考
えられ、音声のない部分を長時間再生してもあまり意味
はない。

【００３９】しかし、途中で表示された画像は全てを表
示しておく必要がある。

【００４０】即ち、図１１に示すように、表示画像が画
像１、２、３と変っていく一方、図に音声の線が実線で
表されているところが音声が記録されている部分であ
り、再生部分の矢印がスキップ再生を行う部分である。
そして、音声が記録されていない部分の画像は表示後、
直ぐに次の画像の表示に切り替わる。

【００４１】ところで、図７のステップＳ２１５では、
会話のつながりを考慮するために、音声の再生に図１０
に示すような前後の幅を持たせることとした。これは、
画像を１枚づつ表示していく時に、音声の再生において
は、画像表示の切れ目と会話の切れ目が必ずしも一致し
ていないという問題が生じ、そのため時間管理ファイル
に忠実に画像と音声を再生すると言葉の途中からの再生
になることがあるからである。

【００４２】次に、図１２を参照して、この図７のステ
ップＳ２１５における音声の再生について更に詳細に説
明する。

【００４３】即ち、先ず表示画像を決定し（ステップＳ
３０１）、次に時間管理ファイルを参照し（ステップＳ
３０２）、再生開始時刻を所得する（ステップＳ３０
３）。そして、画像の再生開始のＸ秒前の時間管理ファ
イルのデータを参照し（ステップＳ３０４）、音声ファ
イルの再生開始点を決定する（ステップＳ３０５）。そ
して、最後に決定された点からの音声の再生と画像の表
示を行う（ステップＳ３０６，３０７）。このような再
生方法をとることにより、会話の前後が途切れるような
不具合が解消する。

【００４４】以上説明したように、第１の実施例によれ
ば、通信による観察中の音声が記録され、画像とリンク
した再生ができるので、観察中の音声記録を残すことが
でき、音声と画像のリンクによって観察内容そのものの
ファイリングが可能となり、診断記録の保存、教育目的
へのデータの利用などが行えるようになる。

【００４５】次に、本発明の第２の実施例に係る顕微鏡
画像観察記録システムによる音声のボリュームによる自
動録音について説明する。

【００４６】前述した第１の実施例は、観察中に病理医
が音声の録音状態を気にしなければならないといった欠
点がある。そして、こうした本来の仕事から離れた操作
はユーザーの負担になる。

【００４７】そこで、第２の実施例では会話によって音
量が上がったときのみ自動的に録音を開始する。具体的
には、システムの設置時に電話の音量や室内の環境など
を考慮して録音ＯＮ／ＯＦＦの閾値を決めるのだが、こ
の設定は任意の時に変更することを可能とする。

【００４８】以下、図１４を参照して、第２の実施例に
よる音声のボリュームによる自動録音の処理について説
明する。尚、第２の実施例においても、第１の実施例と
同様に録音のＯＮ／ＯＦＦが選択できるものとし、録音
モードとして「自動録音」を選択すると、システムが録
音の判断をするモードとなるものとする。

【００４９】第２の実施例では、先ず記録中か否かを判
断し（ステップＳ５０１）、記録中であれば音声が入力
され（ステップＳ５０２）、この音声がファイルとして
残されるか否かの判断が行われる（ステップＳ５０
３）。即ち、音量が閾値以上に大きくなったら自動的に
録音＝ファイルセーブを行い（ステップＳ５０４）、閾
値以下であればセーブしない。そして、この音声ファイ
ルの記録は、時間管理ファイルに記録される（ステップ
Ｓ５０５）。尚、ステップ５０６以降は第１の実施例と
同様の観察処理（図４（ａ）乃至（ｃ）参照）である。

【００５０】このように、「録音ＯＦＦ」のコマンドを
選択したときにはボリュームに関わらず録音は行われな
いが、「録音」のコマンドを選択したときにはボリュー
ムによるＯＮ／ＯＦＦは実行されるので、会話の中の無
言の部分を自動的にファイルから除去することができ
る。

【００５１】次に、図１５は、第２の実施例により自動
録音された一例を示す図である。

【００５２】同図に示すように、前述した第１の実施例
では音量に関係なく音声はセーブされるのでファイル長
が長くなるが、第２の実施例では閾値以下の部分がカッ
トされているためファイル長が短くなっている。

【００５３】以上説明したように、第２の実施例によれ
ば、観察中に余計な操作に気を取られないで済む。ま
た、データ量を減らすことができるので、ディスクの容
量に余裕ができる。更には、会話中の無言の部分を全て
音声データから除去できる利点がある。そして、再生時
には、その部分は無音領域として残される。

【００５４】次に、本発明の第３の実施例に係る顕微鏡
画像観察記録システムによる観察中のマウスの動きを含
めたファイリングについて説明する。

【００５５】前述した第１乃至第２の実施例では、音声
と画像のみを観察時間に合わせて再生する例について説
明したが、観察中の依頼側と観察側のコミュニケーショ
ンは音声だけでなくマウスポインタの動きによっても行
われる。即ち、表示された画像上でマウスポインタを動
かすことによって、説明している場所を指示したりする
のである。さらに、時間管理ファイルでは、表示する画
像ファイル名と音声ファイル上のアドレスのみが記録さ
れ、任意の時刻の音声と画像が再生できるようになって
いた。

【００５６】これに対して、第３の実施例では、マウス
ポインタの動きをファイルに記録することによりファイ
リングの付加価値を高めると共に、今まで二つのデータ
に加えてマウスポインタの表示座標を記録する。

【００５７】図１６は、第３の実施例によるマウスの動
きの情報を含めたファイリングについての概念図であ
り、同図では時間管理ファイルの中に表示画像ファイル
と音声ファイルに関するデータの他に、マウスポインタ
の表示座標が記録される。そして、再生時には、この時
間管理ファイルを参照することによって、音声、画像、
及びマウスポインタが観察時と同様に再生することがで
きる。

【００５８】さらに、第３の実施例では、通信観察中の
マウスポインタの座標は全て記録することができる。し
かしながら、必要なのは画像上でのマウスポインタの動
きのみでありメニューの操作の動きなどはあまり重要で
はない。そこで、マウスポインタの表示されている画面
を判別し、必要なところだけをファイルに残すようにす
る。

【００５９】以下、図１７を参照して、第３の実施例に
よる観察中のマウスの動きを含めたファイリング処理に
ついて説明する。尚、観察全体の流れは図３（ａ）と同
様であり、Ａ３以降が本実施例による通信観察の部分で
ある。

【００６０】先ずステップＳ６０１で音声が記録中であ
れば音声入力を実行し（ステップＳ６０２）、ファイル
のセーブする（ステップＳ６０３）。次に、本実施例の
特徴であるマウスポインタの情報の記録であるが、ステ
ップＳ６０４でマウスポインタがＴＶモニタ上に表示さ
れていれば、マウス座標を所得する（ステップＳ６０
５）。そして、時間管理ファイルに画像ファイル、音声
ファイルの情報とともにマウス座標のデータを記録する
（ステップＳ６０６）。次の観察メニューの選択（ステ
ップＳ６０７）は、第１の実施例と同様の画像のロー
ド、取り込み音声入力などの選択項目である（図４
（ａ）乃至（ｃ）参照）。

【００６１】一方、再生時の操作方法、動画と音声の検
索、再生方法は今までの実施例と変らないが、本実施例
では、画像の上にマウスポインタが表示される。

【００６２】次に、図１８を参照して、このマウスポイ
ンタ表示のアルゴリズムについて説明する。即ち、先ず
時間管理ファイルを参照し（ステップＳ７０１）、再生
時刻部分のマウス座標を得る（ステップＳ７０２）。そ
して、表示・非表示の選択で、マウスが非表示の時刻で
あれば、これ以上何もしない（ステップＳ７０３）。そ
して、マウスが画像上に表示されていれば、その座標上
にマウスポインタを描画する（ステップＳ７０４）。
尚、時間経過に合わせてマウスの座標は変化していくの
で、その変化に合わせてマウスポインタの表示を続け
る。

【００６３】以上説明したように、第３の実施例では、
マウスポインタの動きを記録することによって、通信内
容が画像上のどの部分について話しているものなのか否
かが分かるようになる。

【００６４】次に、本発明の第４の実施例に係る顕微鏡
画像観察記録システムによる画像に対して音声・テキス
トコメントを付け加える動作について説明する。

【００６５】前述した第１乃至第３の実施例では、時間
軸に沿って画像、音声及びマウスポインタの動きを管理
していた。

【００６６】これに対し、第４の実施例では画像に対し
て音声のコメントを加えるという形で画像と音声をリン
クさせる。また、音声だけでなくテキストも画像に対す
るコメントとして記録できるようにする。さらに、第４
の実施例では、コメントは画像に従属するので扱いとし
ては子画像と等しいものとなる。

【００６７】図２０は、第４の実施例に係るコメント記
録・再生機能を持ったシステム画面の一例を示す図であ
り、テキストコメント２８の再生は該画面の「コメント
再生」のコマンド２９をマウスでクリックすることによ
って実行される。

【００６８】以下、図２１を参照して、第４の実施例に
よるコメント保存処理について説明する。先ずコメント
の種類が音声かテキストかを選択し（ステップＳ８０
１）、音声であれば録音を開始する（ステップＳ８０
２）。この録音の開始は第１の実施例と同様に、メニュ
ー画面上のコマンドをマウスでクリックすることによっ
て実行される。そして、録音状態になると、音声は全て
デジタルデータとしてファイルに保存される（ステップ
８０３）。さらに、録音・ファイル保存は録音を終了す
るまで続けられる（ステップＳ８０４）。そして、録音
終了は録音開始同様にメニュー画面で操作する。

【００６９】一方、テキストコメントを選択した場合に
は、キーボード４からテキスト入力をする（ステップＳ
８０５）。そして、コメントが完成したらテキストファ
イルを保存する（ステップＳ８０６）。更に、コメント
の保存が終了したら、音声コメント又はテキストコメン
トと表示中の画像をリンクする（ステップＳ８０７）。
図１９は、この画像とコメントとのリンクを示す樹系
図である。

【００７０】同図に示すように、コメント再生の機能に
よって、表示中の画像に加えられたコメントを再生する
ことができる。さらに、コメントがテキストコメントで
あれば画像上に重なるようにして表示されるか、あるい
はＣＲＴディスプレイ２上に別に表示する。このよう
に、画像データから子画像へのリンクと同様に、音声コ
メント、テキストコメントがリンクされている。

【００７１】次に、図２２を参照して、第４の実施例に
よるコメントの再生動作について説明する。先ずコメン
トの再生を選択する。これは前述したように図２０の
「コメント再生」のコマンド２９をクリックすることに
より実行する（ステップＳ９０１）。続いて、図１９の
樹系図に従って表示画像にリンクされているコメントデ
ータを検索する（ステップＳ９０２）。そして、音声コ
メントの場合と、テクストコメントの場合の処理を分け
（ステップＳ９０３）、音声コメントであれば、音声デ
ータを図示しない再生スピーカから出力する（ステップ
Ｓ９０４）。さらに、テキストであればテキスト表示を
する（ステップＳ９０５）。

【００７２】尚、上記各画像データ、音声データ、テキ
ストファイルは別々のファイルとして記録される。そし
て、それとは別に、各データの関係、即ち画像の親子関
係、画像とコメントのリンクの関係を記録したファイル
が存在する。さらに、このファイルによって、図１９の
ツリー構造図のような各データの関係が保たれる。

【００７３】以上説明したように、第４の実施例によれ
ば、音声、テキストと画像のリンクによって観察内容そ
のもののファイリング可能とし、画像に対して音声デー
タをリンクさせることで画像を軸とした観察記録が可能
となり、テキストデータをコメントすることで観察結果
を文書として残すことができる。

【００７４】次に、本発明の第５の実施例に係る顕微鏡
画像観察記録システムについて説明する。

【００７５】前述した第４の実施例は、画像に対してコ
メントを付加することができたが、コメントに対応する
画像の部分が明示されない欠点がある。

【００７６】そこで、第５の実施例では、図２５に示す
ように、画像上でコメントを加えたい部分を指定し、そ
の領域に対する音声コメントまたはテキストコメントと
して画像とコメントをリンクさせる。

【００７７】以下、図２３を参照して、第５の実施例に
よるコメントの保存処理について説明する。先ずコメン
トの対象とする領域を指定する。これは、図２５に示す
ようにマウス３の操作によってコメント対応領域３１を
円で囲むことによって指定する。このコメント対応領域
３１の形状は円でも矩形でも構わない（ステップＳ１０
０１）。そして、コメントの記録を行う。このルーチン
は図２１のコメント記録処理と同じ内容である。但し、
ステップＳ８０７の画像とコメントのリンクの関係は図
２６の樹系図に示すようになる。このコメントは画像に
対してではなく、画像内のある領域とリンクすることに
なる（ステップＳ１００２）。

【００７８】次に、図２４を参照して、第５の実施例に
よる画像中の特定領域とリンクしたコメントの再生動作
について説明する。

【００７９】前述のようにコメント領域をマウス３でク
リックし（ステップＳ１１０１）、対応するコメントの
再生を行う（ステップＳ１１０２）。この処理は図２２
のコメントの再生と同じである。尚、この時の表示画像
に対するコメントの検索は、表示画像へのコメントの中
から、マウス３でクリックされた点の座標と、各コメン
トの領域の座標とを比較して該当するものを検索する。
さらに、コメントがテキストデータであれば、テキスト
表示３３が図２５に示すように表示画像上に表示される
か、或いはＣＲＴディスプレイ２上に画像とは別に表示
される。

【００８０】尚、上記各画像データ、音声データ、テキ
ストファイルは別々のファイルとして記録される。それ
とは別に各データの関係、即ち画像の親子関係、画像上
の特定領域とコメントとのリンクの関係を記録したファ
イルが存在する。そして、このファイルによって図２６
のツリー構造図のような各データの関係が保たれる。以
上説明したように、第５の実施例では、画像中のどの領
域に対するコメントであるかが正確に分かる。また、画
像中の幾つもの領域に対して別々のコメントを加えるこ
ともできる。

【００８１】以上詳述したように、本発明の顕微鏡画像
観察記録システムでは、観察の経過を時間の経過に沿っ
て記録し、観察中の音声記録を残し、音声と画像のリン
クによって観察記録に対する自在なアクセスが可能と
し、単なる画像ファイリングでなく観察内容そのものの
ファイリングが可能とする。

【００８２】

【発明の効果】本発明によれば、観察した画像を観察経
過に沿って管理可能とすると共に、その記録を再生可能
とした顕微鏡画像観察記録システムを提供することがで
きる。

【図面の簡単な説明】

【図１】（ａ）及び（ｂ）は、本発明の顕微鏡画像観察
記録システムの構成を示す図である。

【図２】（ａ）は観察メニュー画面、（ｂ）は観察ＴＶ
画面の一例を示す図である。

【図３】（ａ）及び（ｂ）は、本発明の第１の実施例に
係る顕微鏡画像観察記録システムの観察動作について説
明するための図である。

【図４】（ａ）乃至（ｃ）は、本発明の第１の実施例に
係る顕微鏡画像観察記録システムの観察動作について説
明するための図である。

【図５】時間管理ファイル、音声ファイル、画像ファイ
ルの関係を示す図である。

【図６】画像間リンク情報ファイルについて説明するた
めの図である。

【図７】第１の実施例に係る顕微鏡画像観察記録システ
ムの再生動作について説明するための図である。

【図８】（ａ）乃至（ｃ）は、第１の実施例に係る顕微
鏡画像観察記録システムの再生動作について説明するた
めの図である。

【図９】第１の実施例において、どの時刻のデータをロ
ードするかの選択について説明するための図である。

【図１０】第１の実施例において音声の再生に前後の幅
を持たせた様子を示す図である。

【図１１】第１の実施例により音声の無い部分をスキッ
プする再生方法について説明するための図である。

【図１２】第１の実施例による音声の余分な再生の動作
を示す図である。

【図１３】第１の実施例によるスキップ再生の動作につ
いて説明するための図である。

【図１４】第２の実施例による音声のボリュームによる
自動録音の処理について説明するための図である。

【図１５】第２の実施例により自動録音された例を示す
図である。

【図１６】第３の実施例によるマウスの動きの情報を含
めたファイリングについての概念図である。

【図１７】第３の実施例による観察中のマウスの動きを
含めたファイリング処理について説明するための図であ
る。

【図１８】第３の実施例による画像上のマウスポインタ
ーの再生について説明するための図である。

【図１９】第４の実施例において、画像とコメントとの
リンクを示す樹系図である。

【図２０】第４の実施例に係るコメント記録・再生機能
を持ったシステム画面の一例を示す図である。

【図２１】第４の実施例によるコメント保存処理につい
て説明するための図である。

【図２２】第４の実施例によるコメントの再生動作につ
いて説明するための図である。

【図２３】第５の実施例によるコメントの保存処理につ
いて説明するための図である。

【図２４】第５の実施例による画像中の特定領域とリン
クしたコメントの再生動作について説明するための図で
ある。

【図２５】第５の実施例において、画像上でコメントを
加えたい部分を指定し、該領域に対する音声コメントま
たはテキストコメントとして画像とコメントをリンクさ
せた様子を示す図である。

【図２６】第５の実施例におけるコメントのリンクの関
係を示す樹系図である。

【符号の説明】

１…パーソナルコンピュータ、２…ＣＲＴディスプレ
イ、３…マウス、４…キーボード、５…フレームメモ
リ、６…音声入力装置、７…ＴＶモニタ、８…カメラコ
ントロールユニット、９…顕微鏡、１０…ＴＶカメラ、
１１…会議用電話機、１２…通信回線、１２´…通信制
御部、１３…ステージ、１４…対物レンズ。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 第１の端末において顕微鏡像を撮像する
   撮像手段と、この撮像手段により撮像された画像情報を
   受けて静止画としてファイルする第１のファイル手段
   と、この第１のファイル手段によりファイルされた画像
   情報を表示する表示手段と、この表示手段に表示されて
   いる静止画像情報を第１の端末から第２の端末に伝送す
   る通信手段と、この通信手段により伝送された静止画像
   情報をファイルする第２のファイル手段とを有する遠隔
   観察記録システムにおいて、 上記表示手段に表示されている静止画像のファイルＩＤ
   を時間の経過に沿って記録する観察記録手段と、 上記観察記録手段による時間経過にそった記録内容を再
   生する再生手段と、を具備することを特徴とする顕微鏡
   画像観察記録システム。