WO2007132870A1

WO2007132870A1 - タイムラプス撮影装置

Info

Publication number: WO2007132870A1
Application number: PCT/JP2007/059997
Authority: WO
Inventors: Takaaki Okamoto
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2006-05-15
Filing date: 2007-05-09
Publication date: 2007-11-22
Anticipated expiration: 2008-11-15
Also published as: EP2034348A1; JPWO2007132870A1; US20090079850A1; EP2034348A4; US7990430B2

Abstract

　各撮影時点において取得された観察対象Ｓの画像をそれぞれその画像が取得された撮影時点よりも１つ前の撮影時点において取得された前画像と比較することにより、各撮影時点において取得された各々の画像について観察対象Ｓに前画像からの変化があったか否かの判断を行う。そして、観察対象Ｓに前画像からの変化があったと判断された画像及び観察対象Ｓに前画像からの変化がなかったと判断された画像のいずれか一方に所定の識別情報を付加することにより、識別情報に基づいて、保存された画像から、観察対象Ｓに前画像からの変化があった画像のみを抽出し得るようにする。

Description

明糸田書タイムラブス撮影装置技術分野

本発明は、間欠的な各撮影時点にぉレ、て観察対象の撮影を行うタイムラブス撮影装置に関する。背景技術

タイムラブス撮影装置は、間欠的な各撮影時点において観察対象の撮影を行い、各撮影時点における観察対象の画像を取得することによって、観察対象を動画として ¾影する場合よりも長時間の画像記録ができ、また短時間での再生を行うことができる構成となっている。タイムラブス撮影装置では通常、影によって得られた画像はそのまま保存される ι 観察の変化状況にのみ観察者の興味がある場合、観察対象が変化していない時間帯における画像の保存は無駄となる。このため、タイムラプス撮影の開台操作を行ったのみでは実際の撮影動作は開始されず、観察対象に変化が生じたことを検出したときに初めて撮影動作を開始し、観察 * ^の変化が止んだことを検出したときに ¾影動作を終了するようにした装置力 S提案されている（特開 2 0 0 4—3 0 9 7 1 9号公報参照）。このような装置によれば、保存した画像の再生により観察対象の変化状況のみを見ることができるので、観察結果の処理速度を大きく向上させることが可能である。発明の開示

発明力 S解決しょうとする課題

ここで、観察対象が細胞である ± などには、その細胞の大きな変化の前後に小さな変化があることがあり、タイムプラス撮影においてもそのような小さな変化をも見逃さずに撮影してこれを後で見ることができるようにすることが好ましい。し力、し、上述の特許文献に示した装置のように、観察対象に変化が生じたことを検出して撮影を開始（或いは再開）する構成では、観察対象の撮影がなされていない期間が械することになり、後でその微少な変化を見ようとしても見ることができないといった不都合が発生するおそれがある。本発明はこのような問題に鑑みてなされたものであり、画像再生によって観察対象の変化状況のみを見ることができるのみならず、観察対象の変化前後の状況も再生画像によつて見ることが可能な構成のタイムラブス服影装置を樹共することを目的としている。課題を角军決するための手段

本発明のタイムラプス紘影装置は、観察対象を撮像する撮像素子と、廳己撮像素子を制御して所定の待機時間で間欠的にタイムラブス数影を行！/ヽ、前記タィムラブス服影の各撮影時点にぉ、て複数枚の画像を取ネ辱する画像取辱部と、 l己画像取得部により現服影時点での画像を取得する際に、その前の時点での画像と比較することで、 tiff己取得する画像に変ィ匕があった力否かを判断する画像変化判断部と、 ttflB画像変化判断部により藤己観察対象の画像に変化があつたと判断された画像群から少なくとも 1枚の代表画像を抽出し、また、前記観察対象に変ィ匕がなかったと判断された画像群から少なくとも 1枚の代表画像を抽出する画像抽出部と、 Sit己画像抽出部により抽出された前記各影時点の画像を、前記各撮影時点ごとに区分して保存する画像メモリとを備えて構成される。

このタイムラブス撮影装置が、認己画像変化判断部により前記観察対象に変化があったと判断された画像、および変化がなかつたと判断された画像のヽずれカゝ一方に所定の識別を付加する譲 IJ情報付加手段を備えて！/ヽるのが好ましレ、。

さらに、上記タイムラブス撮影装置が、認己画像に付加された前記リ情報に基づいて、 t&IB画像メモリに保存された前記画像から Stf己前画像からの変化があつた画像を抽出し、藤己前画像からの変化があった画像のみを tiff識察対象の撮影時間順に連続再生する画像再生部を備えているのが好ましい。 ·

また、上記タイムラブス撮影装置において、 tin己画像再生部は、前記識別情報の付加された画像のみを再生する第 1再生モードと、 tiff己第 1再生モードと異なる条件で抽出された画像を再生する第 2再生モードとを有することが好ましレヽ。

また、上記タイムラブス数影装置において、前記画〈象抽出咅 |5は、前記画像変化判断部により tin己観察の画像に変化があつたと判断された画像群からはその全ての画像を抽出するものであることが好ましい。

さらに、上記タイムラブス撮影装置において、前記画像変化判断部は、 I己複数枚の画像の変化を順次判断し、前記画像抽出部は、その変化があつたと判断された時点の画像を抽出し、前記画像取得部及び編己画像変化判断部の次の動作を終了するものであることが好ましレ発明の効果

上言冓成のタイムラプス氤影装置によれば、画像再生によつて観察対象の変化状況のみを見ることができることができるのみならず、観察対象の変化前後の状況も再生画像によつて見ることができる。図面の簡単な説明

図 1は、本発明の一実施形態に係るタィムラブス撮影装置の構成図である。

図 2は、観察対象が複数の細胞からなる場合に、 1つの細胞を含む領域を観察領域として指定した状況を示す図である。

図 3は、観察対象に前画像からの変化があった画像に「M a r k j というマークを付した場合の例を示す図である。

図 4は、画像情報をまとめたデータファイルにおいて、観察対象に前画像からの変化があった画像に対応する欄に「M a r k j という文字列を追加した場合の例を示す図である。図 5は、再生画像をディスプレイ画面に表示するときの画像表示形態の第 1例を示す図である。

図 6は、再生画像をディスプレイ画面に表示するときの画像表示形態の第 2例を示す図である。

図 7は、タイムラブス撮影装置を用いて観察対象をタイムラブス撮影する手順の第 1例を示すフローの前段部分である。

図 8は、タイムラブス象影装置を用いて観察対象をタイムラブス撮影する手順の第 1例を示すフローの後段部分である。

図 9は、タイムラブス影装置を用！/、て観察対象をタイムラブス撮影する手順の第 2例を示すフ口一の前段部分である。

図 1 0は、タイムラブス撮影装置を用いて観察対象をタイムラブス影する手順の第 2 例を示すフ口一の後段部分である。

図 1 1は、タイムラプス氤影装置により得られた観察対象の画像のうち、観察対象に前画像からの変化があつたもののみを連続再生する手順を示すフローである。発明を実施するための最良の形態

以下、図面を参照して本発明の好ましい実施形態について説明する。図 1は本発明の一実施形態に係るタイムラブス撮影装置が顕！^に適用された例を示している。本実施形態においてタイムラブス撮影装置 1は、タイムラブス撮影機能を有した画像取得手段としての簡« 10、 s 10力 s行うタイムラブス撮影により取得した画像に後述する所定の識別情報を付加する識別情報付加手段、取得した画像の保存を行う画像保存手段及び保存した画像の再生処理を行う画像再生手段としてのパーソナルコンピュータ 20及び顕微鏡 10とパーソナルコンピュータ 20とを繋ぐ通信ケーブル 30から構成される。

顕微鏡 10は、ステージ 1 1の上方に LED 12 a及びコレクタレンズ 12 bからなる照明装置 12を有し、ステージ 1 1の下方には結像レンズ群 13及び撮像手段としての C CD 14を有する。 LED12 aから出た照明光はコレクタレンズ 12 bによって集光された後、ステージ 1 1に載置された観察対象 Sを照明する。 LED1 2 aからの照明光によつて照明された観 ^察対象 Sの像は結像レンズ群 1 3を介して CCD 14の受光面に結像し、 C C D 14の受光面に結像した観察対象 Sの像は電気信号に変換されて顕微鏡 10内の制御装置 1 5へ ¾ί言される。制御装置 1 5は C CD 14から送信された電気信号を画像データに変換し、通信ケーブル 30を介してパーソナノレコンピュータ 20の CPU21へ送信する。パーソナルコンピュータ 20の CPU21は、制御装置 1 5より送信された画像データから画像信号を生成し、観察対象 Sの画像をディスプレイ 22に表示する。

10には倍率調整つまみ 16及び明るさ調整つまみ 1 7が設けられている。倍率調整つまみ 16を操作すると、制御装置 15はその操作量に応じて結像レンズ群 13を構成する一部のレンズを LED 1 2 aの光軸方向に移動させるので、観察対象 Sの CCD 1 4への影倍率が変化し、ディスプレイ 22に画像表示された観察対象 Sの大きさが変ィ匕する。また、明るさ調整つまみ 1 7を操作すると、制御装置 15はその操作量に応じて L ED12 aの ®Eを調節し、 LED12 aから出る照明光の明るさを変化させる。

顕微鏡 10がタイムラブス撮影を行うための初期条件（待機時間、タイムラブス撮影継続時間及ひt影枚数）の入力及びタィムラブス撮影の開始指令操作はノヽ。一ソナノレコンビュ

'ータ 20に繫がるマウスやキーボート等の入力装置 23を用いてディスプレイ 22上（パ一ソナルコンピュータ 20の CPU 21に読み込まれたソフトウエアによって表示されるディスプレイ画面 22 a上）で行うことができる。入力装置 23から入力された初期条件の内容は通信ケーブル 30を介して顕微鏡 10内の制御装置 1 5に送信され、制御装置 1 5の記憶部 1 5 aに記憶される。ここで待機時間とはタイムラブス撮影における間欠的な各撮影時点間の時間間隔のことであり、服影枚数とは各 ¾影時点にぉヽて取得する観察対象 Sの画像数のことである。

このタイムラブス撮影装置 1では、観察対象 Sが変化した力否かの判断を行う領域として、観察領域（観察者の興味の対象部分）の指定を行う。この観察領域の指定は例えば、ディスプレイ 2 2にリァノレタイムで表示された観察対象 Sの画像の一部を、キーポート等の入力装置 2 3を用いて領域指定することによって行う。指定された観察領域のデータはノーソナルコンピュータ ₂ 0の内部メモリ 2 4に記憶される力、この観察領域はタイムラブス撮影を開始した後であっても変更可能とすることが好ましい。観察領域は例えば、観察対象 s力 s複数の細胞からなるプレパラート等である場合には、一又は複数の細胞を含む領域を指定することが考えられる。図 2は観察対象 S力 S複数の細胞 Cからなる:^に、 1 つの細胞 Cを含む領域を観察領域 Rとして指定した状況を示してレヽる。

パーソナルコンピュータ 2 0の入力装置 2 3からタイムラブス ¾影の開始指令操作が行われると、その操作信号は通信ケーブル 3 0を介して顕纖 1 0内の制御装置 1 5に入力される。制御装置 1 5はこのタイムラブス撮影の開始指令操作信号を受けると、予め設定された上述の初期条件のもとでタイムラブス ¾影を開始する。すなわち、設定された待機時間が経過するのを待って逐次観察交豫 sの影を行い、初期条件における撮影枚数に 2 以上の値が設定されている場合には、各撮影時点において、その設定された撮影枚数の数だけ、所定のインターノル時間をおいて連続的に撮影を繰り返す。そして、設定されたタィムラブス継続時間が経過するまでこの撮影工程を繰り返す。なお、影枚数に 2以上の値が設定されている場合の上記ィンターパル時間には、各撮影時点間の時間間隔（すなわち待機時間）に比べて非常に小さい値が設定される（このインターバル時間は任意に変更可能とすることが好ましい）。

顕微鏡 1 0内の制御装置 1 5が上記タイムラブス撮影を行う場合、待機時間及びインタ一バル時間の計測は、内蔵した時計 1 5 bに基づいて行う。また、 L E D 1 2 aの点灯及び消灯は顕微鏡 1 0内の制御装置 1 5が行うようになっており、制御装置 1 5はタイムラプス影を行っている間のみ、 L E D 1 2 aを点灯させる。

上記タィムラブス撮影によつて得られた各服影時点における観察対象 Sの画像は、通信ケーブル 3 0を介してパーソナルコンピュータ 2 0に ¾|言され、内部メモリ 2 4に記憶される。パーソナルコンピュータ 2 0の C P U 2 1は、内部メモリ 2 4に記憶された観察対象 Sの画像における観察領域を、その画像が取得された撮影時点よりも 1つ前の亂影時点において取得された画像（前画像と称する）の観察領域と比較することにより、観察対象

Sに前画像からの変化があったカゝ否かの判断を行う。そして、観察対象 Sに前画像からの変化があつたと判断された画像及察対象 sに前画像からの変化がなかったと判断された画像の、ずれ力一方に所定の別情報を付加したうえで、これらの画像を C P U 2 1に繋がる画像記憶部（例えばハードディスク） 2 5に保存する。画像（画像データ）に付加する上記識別情報は、観察対象 Sに前画像からの変化があった画像である力、否かの識別ができる情報であればその内容及ひ形態は問わず、例えば、撮影した画像の隅に所定のマーク（文字列など）を付する（スタンプする）ものであってもよいし、影された時間等の画像情報が記載されたデータフアイノレに所定の文字列を付加するもの等であってもよい。上述の工程により画像記憶部 2 5には各影時点にぉレ、て取得された観察対象 Sの画像が順次保存され、撮影の終了後には、タイムラブス撮影によって得られた一連の画像からなるデータが形成されることになるが、その一連の画像のデータは、情報が付加された画像と、識別情報が付加されていない画像とが混在したものとなっている。なお、観察対象 Sに前画像からの変化があったカゝ否かの判断が終わった後は、その前画像については内部メモリ 2 4から消去され、次の服影時点において影される画像等を記憶するスぺースが維保される。

ここで、パーソナノレコンピュータ 2 0の C P U 2 1力上記のように内部メモリ 2 4に記憶された各撮影時点における画像を隣接する影時点におけるもの同士で比較し、観察対象に（詳細には観察領域に）前画像からの変化があったカ否かの判断を行う際、その判断の基準は、両画像において対応する部分の輝度の変化量が予め定めた所定値を超えた場合とするほカゝ、観察領域内に存在する物体が画面上で占有する面積（例えば観察対象 Sが細胞である場合、細胞内部の外縁によって囲まれる領域の面積）の変化量が予め定めた所定値を超えた場合とすることができる。面積の変化量に基づいて画像に変化があつたと判る場合、観察領域内に映し出されてレヽる画像から C P U 1が予め物体の形状を認識し、力その形状によって囲まれる領域の面積を算出できる構成としておく必要があるが、輝度の変ィ匕量に基づいて画像に変化があつたと判断するょりも、画像が変化した力かの検知精度を向上させることができる。

図 3及び図 4はそれぞれ画像に識別情報力付された状況を示すものであり、図 3は観察対象に前画像からの変ィ匕あった画像に「M a r k」というマークを付した（埋め込んだ）の例、図 4は画像 G 1 , 画像 G 2，画像 G 3 , 画像 G 4からなる一連の画像のうち、画像 G 2及び画像 G 3に前画像からの変化が認められたことから、画像名情報、影時間情報等の画像情報をまとめたデータファイル Fにおける画像 G 2及び画像 G 3の欄に、「M a r k」という文字列を追カ卩した場合の例を示している。

図 5は、再生画像をディスプレイ画面 2 2 aに表示するときの画像表示形態の第 1例を示すものである。ここでは、観察対象 Sに前画像からの変化があつた画像に対して識別情報としてのマークが付されているものとする。この例では、ディスプレイ画面 2 2 aの左側に再生画像表示領域 GARがあり、ここに再生画像が表示される。再生画像表示領域 G ARの右側にはマウスによるクリック操作が可能な複数のボタンが上下方向に並んでおり、上から「マークまでを再生」ボタン B l、「マークから再生」ボタン B 2、「マークのみを再生」ポタン B 3、「巻き戻し J ボタン B 4、「再生」ボタン B 5、「停止」ポタン B 6、「早送り」ポタン B 7となっている。また、再生画像表示領域 GARの左下方には変化量表示領域 P ARが設けられており、ここには再生画像表示領 GA Rに表示されている再生画像に対応する変化量が表示される。この変化量は、例えば観察対象 Sが細胞である場合において、タイムラブス影を開始した時点におけるその細胞の画面上での面積に対する現在時点における細胞の画面上での面積の割合であり、観察領域を設定した際、その観察領域内に存在する細胞の輪郭をマウス等で指定しておくことにより、 C P U 2 1 が自動で計算して表示するようになつている。

ここで、パーソナノレコンピュータ 2 0の C P U 2 1は、「マークまでを再生」ポタン B 1が操作されたときには、ディスプレイ画面 2 2 aに表示されている再生画像から

(現在ディスプレイ画面 2 2 aに再生画像力 S何も表示されていない場合には、取得した一連の画像の最初から）、時間的に最も近い（$|¾された順で時間的に最も近い）最初のマーク付きの画像まで、順方向に（タイムラブス影力 S行われた時の経過時間に対して順方向に）、全ての画像を再生表示させる。また、「マークから再生」ボタン B 2力 S操作されたときには、ディスプレイ画面 2 2 aに表示されている再生画像に時間的に最も近いマーク付きの画像から、順方向に、全ての画像を再生表示させる。また、「マークのみを再生」ボタン B 3が操作されたときには、取得した一連の画像のうち、マーク付きの画像のみを抽出して、これらを順方向に再生表示させる。また、「卷き戻し」ポタン B 4が操作されたときには、現在ディスプレイ画面 2 2 aに表示されている再生画像から、逆方向に（タイムラプス影力行われたときの経過時間に対して逆方向に）、全ての画像を再生表示させ、「再生」ボタン B 5が操作されたときには、 ¾ϊディスプレイ画面 2 2 aに表示されている再生画像から、順方向に、全ての画像を再生表示させる。また、「停止」ボタン B 6が操作されたときには、雜行っている画像の再生表示を停止させ、「早送り」ボタン B 7が操作されたときには、現在表示されている再生画像から、順方向に、全ての画像を早送り再生表示させる。

図 6は、再生画像をディスプレイ画面 2 2 aに表示するときの画像表示形態の第 2例を示すものである。ここでも、観察対象 Sに前画像からの変化があった画像に対して識別情報としてのマークが付されているものとする。この例では、ディスプレイ画面 2 2 a内に横 4つ、縦 2つ計 8つの再生画像表示領域 GAR 1， GAR 2 , · · ·， GA R 8が上段左！]上段右：]下段左□下段右の順に並んで設けられており、これら 8つの再生画像表示領域 GA R 1 , GAR 2， ■ ■ ■， GAR 8には、マーク付きの再生画像（すなわち前画像からの変化があつたと判断された画像）が順方向に並んで表示される。これら画像の前後に位置する他の画像はスクロールボタン S C 1 , S C 2の操作によって見ることができる。また、マーク付き画像同士の間の画像は、隣接する両画像表示領域間のボタン MB 1 , M B 2 , ■ ■ ·， MB 8を操作することによって見ることができる。この、マーク付きの両画像間の画像（中間画像と称する）が再生画像表示領域 GAR 1， GAR 2， · · ■， GA R 8に（上段左□上段右□下段左口下段右の順で）順方向に並んで表示される。なお、中間画像が 8枚以上あり、全ての中間画像を再生画像表示領域 G A R 1， GA R

2 , · ■ ·， GAR 8に表示しきれない場合であっても、スクロールポタン S C 1， S C 2を操ィ乍することによって、現在表示されている画像以外の画像を見ることが可能である。なお、 8つの再生画像表示領域 GAR 1 , GA R 2 , · · ·， GAR 8それぞれの下方には、その表示画像に対応する変化量（前述の例で説明）が表示される変化量表示領域 P A R l， P AR 2 , ■ ■ ·， P AR 8が設けられている。

ところで、このタイムラブス撮影装置 1では、前述のように初期条件として撮影枚数、すなわち各撮影時点にお!/、て取得する観察対象 Sの画像数を複数の値に設定することができるようになつている。初期条件として影枚数を 1に設定した場合、 C P U 2 1が行う観察対象 Sに前画像からの変化があつた力否かの判断は、今回の撮影時点にぉレ、て取得した 1枚の画像と前回の ¾影時点にお！/、て取得した 1枚の画像との比較のみに基づレ、て行われることとなるが、撮影枚数を複数の値に設定した場合、観察対象 Sに前画像からの変化があったカかの判断は、今回の撮影時点において取得した複数枚の画像それぞれと、前回の影時点にぉレヽて取得した複数枚の画像のうちから選択した 1枚の代表画像（代表画像の選択については後述）との比較に基づいて行われることとなる。例えば、影枚数を

3に設定した、今回の撮影時点にぉヽて取得した 3枚の画像それぞれ（これら 3枚の画像は互レ、に前述のィンターバル時間ずつ影時間がずれて、る）と前回の撮影時点にお V、て取得した 3枚の画像のうちから選択した 1枚の代表画像とが比較され、計 3通りの比較に基づいた判断となる。このため観察対象 Sの変化を捉え易くなり、観察対象 Sに変化が生じた力否かの判断をより適切に行うことが可能となる。

上記のように影枚数が複数の値に設定された場合、各撮影時点において複数 ¾rfつの画像が取得されることになるが、各撮影時点において取得した複数枚の画像を全て保存することは画像記憶部 2 5における使用容量を徒に小さくするだけであるので好ましくなく、各撮影時点にぉレヽて取得されたネ复 ¾：枚の画像のレヽずれもが前画像からの変化がなかつたものであった場合には、取得された複数枚の画像から選択した 1枚の画像のみを代表画像として選択して保存するようにする。しかし、各影時点において取得された複数枚の画像のレヽずれかが前画像からの変化があったものであったには、前画像からの変化があつた画像の中から代表画像を 1枚選択たうえで（次回の撮影時点において取得される画像との比較を行うため）、取得された複数枚の画像の全てを保存するようにするとよい。各撮影時点にぉ、て取得された複数枚の画像のいずれ力が観察対象 Sに前画像からの変化があつた画像であつた場合、代表画像の 1枚のみを保存するようにしてもよいが、観察対象 S に変化が認められる場合、その変化の前後における画像は後で観察する際に貴重なものとなることが多、ため、代表画像だけではなく、他の画像にっ、ても保存するようにした方力画像再生によって観察対象 Sの変化状況を詳細に観察し得るようになるので好ましい。なお、複数枚の画像から代表画像を選択方法は任意である力例えば、画像全体が最も鮮明である画像や、その撮影時点において最後に取得した画像などを代表画像として選択するようにするとよい。

次に、上記タイムラブス影装置 1を用いて観察対象 Sをタイムラブス撮影する手順の第 1例を図 7及び図 8に示すフ口一に基づレヽて説明する。図 7及び図 8中に示す丸付き文字は、同一の文字の部分においてフロー力継続していることを示している。

この第 1例に係るタイムラブス撮影手順では、先ず、ステージ 1 1に観察対象 Sを設置し、パーソナルコンピュータ 2 0の入力装置 2 3力ら初期条件（待機時間、タイムラブス撮影継続時間及ひ、影枚数）の設定を行う（ステップ S 1 1 ) 。初期条件の設定が終わつたら、同じく入力装置 2 3からタイムラブス影の開始指令操作を行う。これによりタイムラプス ¾影部 1 0の制御装置 1 5はタイムラブス数影を開始する（ステップ S 1 2 ) 。制御装置 1 5は始めにフレーム番号 nに 1を代入し（ステップ S 1 3 ) 、観察対象 Sの撮影を行う（ステップ S 1 4 ) 。観察対象 Sの撮影を行ったら亂影した枚数が初期条件として設定された撮影枚数に達したか否かの判断を行い（ステップ S 1 5 ) 、撮影した枚数が設定された撮影枚数に達していないと判断したときにはステップ S 1 4に戻って撮影を行レ、、撮影枚数に達したと判断したときには、ステップ S 1 3〜 S 1 4の工程で得られた撮影枚数分の画像の中から代表画像を選択する（ステップ S 1 6 ) 。そして、その選択した代表画像をフレーム 1の画像として保存する（ステップ S 1 7 ) 。ステップ S 1 7が終了したら、次の撮影時点がくるまで待機する（ステップ S 1 8 ) 。

待機時間が経過して（ステップ S 1 4が終了したときからの経過時間が予め定めた待機時間に達して）、次の影時点となったら、フレーム番号 nに 1をカ卩えて（ステップ S 1 9 ) 、観察対象 Sの撮影を行う（ステップ S 2 0 ) 。そして、撮影した枚数が初期条件として設定された影枚数に達した力かの判断を行い（ステップ s 2 1 ) 、撮影した枚数カ設定された撮影枚数に達していないと判断したときにはステップ S 2 0に戻って撮影を行う。一方、ステップ s 2 1において、影した枚数が設定された撮影枚数に達したと判断したときには撮影を終了し、ステップ S 2 0〜S 2 1の工程で得られた撮影枚数分の画像の各々をフレーム（η— 1 ) の画像と比較する（ステップ S 2 2 ) 。そして、各々の画像について、観察対象 Sに前画像（フレーム（n— 1 ) の画像）カ^の変化がある力かの判断を行い (ステップ S 2 3 ) 、複数枚の画像のいずれかに観察対象 Sに前画像からの変化があつたと判断したときには、得られた影枚数分の画像の中から代表画像を^^ とも 1枚選キ尺する。 (ステップ S 2 4 ) 。そして、その代表画像の画像データに識リ情報を付加したうえで (ステップ S 2 5 ) 、その代表画像をフレーム nの画像として保存し、残りの画像（代表画像以外の画像）を参考画像として保存する（ステップ S 2 6 ) 。一方、ステップ S 2 3において、ステップ S 2 0〜S 2 1の工程で得られた画像のいずれについても前画像（フレーム（n— 1 ) の画像）カ^の変化がなかったと判断したときには、得られた影枚数分の画像の中から代表画像を少なくとも 1枚選択し (ステップ S 2 7 ) 、その代表画像をフレーム nの画像として保存する（ステップ S 2 8 ) 。なお、前の画像からの変化の有無は、例えば、観察対象 Sの輪郭抽出による形状変化の変ィ匕量から求めたり、あるいは、画像の輝度の変化量から求めたり、種々の公知の方法による。また、ステップ S 2 4にて選択される「代表画像」は、前画像からの変化が一番大きなものを 1枚選んでも良いし、或いは、前画像からの変化が最小、最大、中間の変化を示す 3枚を選んでも良い。また、ステップ S 2 7にて選択される「代表画像」は、 1枚に限らず、数枚でも良い。ステップ S 2 6又はステップ S 2 8が終了したら、タイムラプス撮影の開始から、初期条件として設定したタイムラブス撮影継続時間が経過した力否力の判断を行う（ステップ S 2 9 ) 。そして、タイムラブス撮影の開始から、設定したタイムラプス紘影継続時間がまだ経過していないと判断したときには、タイムラブス撮影を継茅壳するため、次の撮影時点がくるまで待機する（ステップ S 2 9 ) 。そして、最新のステップ S 2 0が終了したときからの経過時間が設定した待機時間に達したら、ステップ S 1 9に戻って観察対象 Sの撮影及び画像保存の工程（ステップ S 1 9〜S 2 8 ) を繰り返す。一方、ステップ S 2 9 におレヽて、タイムラブス傲影の開始から、設定したタイムラプス亂影,镳镜時間が経過したと判断したときには、一連のタイムラプス影を終了する。

続いて、タイムラブス撮影装置 1を用いて観察対象 sをタイムラブス撮影する手順の第

2例を図 9及び図 1 0に示すフローに基づいて説明する。図 9及び図 1 0中に示す丸付き文字は、同一の文字の部分においてフローが糊 §続していることを示している。

この第 2例に係るタイムラブス撮影手順では、先ず、ステージ 1 1に観察対象 Sを設置し、パーソナルコンピュータ 2 0の入力装置 2 3から初期条件（待機時間、タイムラプス影継続時間及び撮影枚数）の設定を行う（ステップ S 3 1 ) 。初期条件の設定が終わつたら、同じく入力装置 2 3からタイムラブス ¾影の開始指令操作を行う。これによりタイムラプス影部 1 0の制御装置 1 5はタイムラプス歡影を開始する（ステップ S 3 2 ) 。制御装置 1 5は始めにフレーム番号 nに 1を代入し (ステップ S 3 3 ) 、 ||察対象 Sの撮影を行う（ステップ S 3 4 ) 。そして、得られた画像をフレーム 1の画像として保存する (ステップ S 3 5 ) 。ステップ S 3 5が終了したら、次の撮影時点がくるまで待機する (ステップ S 3 6 ) 。

待機時間が経過して（ステップ S 3 4が終了したときからの経過時間が予め定めた待機時間に達して）、次の撮影時点となったら、フレーム番号 nに 1を加えて（ステップ S 3 7 ) 、観察対象 Sの撮影を行う（ステップ S 3 8 ) 。そして、ステップ S 3 8において得られた画像をフレーム（n—l ) の画像と比較し (ステップ S 3 9 ) 、得られた画像について、観察対象 Sに前画像（フレーム（n—l ) の画像）力らの変化がある力否かの判断を行う（ステップ S 4 0 ) 。これにより、観察対象 Sに前画像からの変化があつたと判断したときには、ステップ S 3 8において得られた画像の画像データに識別情報を付加したうえで（ステップ S 4 1 ) 、その画像をフレーム nの画像として保存する（ステップ S 4 2) 。一方、ステップ S 4 0において、観察対象 Sに前画像からの変化がなかったと判断したときには、続いて、撮影した枚数が初期条件として設定した紘影枚数に達した力かの判断を行う（ステップ S 4 3 ) 。そして、撮影した枚数が設定した撮影枚数に達していないと判断したときにはステップ S 3 8に戻って撮影を行い、衞影枚数に達したと判断したときには撮影を終了し、最新のステップ S 3 8において得られた画像をフレーム ηの画像として保存する（ステップ S 4 2 ) 。なお、ステップ S 4 0， S 4 1は、取得された画像の変化を順次それぞれの前画像と比較して判断し、その変化があつたと判断された時点の画像を抽出し、その画像のみを保存する。それと同時に、そのタイムラブス影時点での動作を終了し（C C D 1 4の画像取得を終了し、制御装置 1 5及び C PU 2 1でのステップ S 4 0の画像変化の判断動作を終了し）、次のタイムラブス撮影時点まで待機する (ステップ S 4 5 ) 。

ステップ S 4 2が終了したら、タイムラプス撮影の開始から、初期条件として設定したタイムラブス服影継続時間が経過した力、否かの判断を行う（ステップ S 4 4 ) 。そして、タイムラブス影の開始から、設定したタイムラブス撮影継続時間がまだ経過していないと判断したときには、タイムラブス撮影を紘铳するため、次の撮影時点がくるまで待機する（ステップ S 4 5 ) 。そして、最新のステップ S 3 8が終了したときからの経過時間が設定した待機時間に達したら、ステップ S 3 7に戻って観察対象 Sの撮影及び画像保存の工程 (ステップ S 3 7〜S 4 2 ) を繰り返す。一方、ステップ S 4 4において、タイムラブス撮影の開始から、設定したタイムラブス撮影継続時間が経過したと判断したときには、一連のタイムラプス撮影を終了する。

次に、図 1 1に示すフローを用いて、上記タィムラブス撮影装置 1により得られた観察対象 Sの画像のうち、観察対象 Sに前画像からの変化があったもののみを連続再生する手順につレ、て説明する。ここで示す画像再生処理の手順は、前述の画像表示形態の第 1例

(図 5参照）の説明において示した「再生」ポタン B 5が操作された場合の画像再生の手順に相当する。

この画像再生手順では、先ず、図 5に示すディスプレイ画面 2 2 a上から入力装置 2 3 を用いて画像再生の開始指令操作、すなわち「再生」ポタン B 5の操作を行う（ステップ S 5 1 ) 。これによりパーソナルコンピュータ 2 0の C P U 2 1はフレーム番号 nに 1を代入した上で（ステップ S 5 2 ) 、画像記憶部 2 5からフレーム 1の画像を内部メモリ 2 4にロードする（ステップ S 5 3 ) 。そして、そのロードしたフレーム 1の画像に識別情報としてのマークが付されている力否かを判断し (ステップ S 5 4 ) 、マークが付されていると判断したときにはその画像をディスプレイ画面 2 2 aの再生画像表示領域 GARに表示する (ステップ S 5 5 ) 。なお、このとき、表示した画像に対応する変化量も併せて変化量表示領域 P ARに表示する。一方、ステップ S 5 4において、ロードしたフレーム n (ここでは n = l ) の画像に識別情報としてのマークが付されていないと判断したときにはフレーム番号 nに 1を加えて（ステップ S 5 6 ) 、ステップ S 5 3に戻る。

ステップ S 5 5においてディスプレイ画面 2 2 aに画像を表示した後、一定時間が経過したら、ディスプレイ画面 2 2 aに表示している現在の画像が、タイムラプス撮影において取得した最後の画像であるカゝ否かの判断を行う（ステップ S 5 7 ) 。そして、最後の画像ではないと判断した場合にはフレーム番号 nに 1を加えて（ステップ S 5 6 ) 、ステツプ S 5 3に戻り、次のフレームの画像をロードする。一方、最後の画像であると判断したには、一連の画像再生処理を終了する。このような画像再生手順により、前画像からの変化があった画像のみを観察対象 Sの撮影時間順に連続再生することが可能である。以上説明したように、本実施形態に示したタイムラブス撮影装置 1では、各す驟時点において取得された観察の画像をそれぞれその画像が取得された ¾影時点よりも 1つ前の撮影時点において取得された前画像と比較することにより、各撮影時点において取得された各々の画像にっヽて観察対象 Sに前画像からの変化があつたか否かの判断を行つたうえで、観察対象 Sに前画像からの変ィ匕があつたと判断された！H ¾O«察対象 Sに前画像からの変化がなかったと判断された画像のいずれ力—方に所定の識別情報を付加することにより、識別情幸 ¾に基づ、て、保存された画像から、観察対象 Sに前画像からの変化があった画像のみを抽出し得るようになつている。このため、画像再生によって観察対象 S の変化状況のみを見ることができ、また、観察対象 Sに前画像からの変化がなかった画像をも併せて抽出して再生するようにすれば、観察対象 Sの変化前後の状況を再生画像によつて見ることも可能である。

また、保存された画像の中からリ情報を頼りに観察対象 Sに前画像からの変化があつた画像のみを容易に抽出することができるので、各画像のデータに含まれる撮影時間のデータの参照も容易となる。このため、観察対象 sがー定時間おきに変ィ匕を繰り返 1 ^などにぉレ、て、その変化が ¾镜される時間や変化をしな、間の継続時間などの算出を簡単に行うことができるようになり、観察結果の処理速度の向上を図ることが可能となる。また、本実施形態に示したタイムラブス撮影装置 1では、画像に付加された識 U情報に基づいて、画像記憶部 2 5に保存された画像から前画像から変化のあった画像を抽出し、これら前画像から変化のあった画像のみを観察対象 Sの撮影時間順に連続再生することができるようになっているので、観察対象 Sに変ィ匕のない無駄な画像を見る必要がなく、観察結果の処理に要する時間を大きく節約することが可能である。

これまで本発明の好ましい実施形態について説明してきたが、本発明の範囲は上述の実施形態に示したものに限定されない。例えば、図 7及び図 8に示すフロー或いは図 9及び図 1 0に示すフローを用レヽて示したタイムラブス撮影装置 1によるタイムラブス撮影の手順は一例に過ぎず、各撮影時点において取得された観察対象 Sの画像をそれぞれその画像が取得された影時点よりも 1つ前の撮影時点において取得された前画像と比較することにより、各撮影時点にぉ、て取得された各々の画像にっレ、て観察対象 Sに前画像からの変化があった力否かの判断を行い、観察対象 Sに前画像からの変化があつたと判断された画像及 Ό¾察対象 Sに前画像からの変ィヒがなかったと判断された画像のレヽずれカゝ一方に所定の識別情報を付加するものであれば、他の手順によっても構わなレ、。

また、上述の実施形態では、タイムラブス撮影継続時間を初期条件として指定し、このタイムラブス撮影継続時間が経過したことをもってタイムラプス撮影を終了するようになつていたら、撮影時点の総数や総 ¾影枚数（総画像枚数）等を初期条件として指定し、これら撮影時点の数が設定した値に達し、或いは総撮影枚数（総画像枚数）が設定した値に達したことをもってタイムラブス影を終了するようにしてもよい。

また、図 1 1に示すフローを用いて示したタイムラブス撮影装置 1による画像再生手順は、タイムラブス影された観察対象の画像のうち、観察対象 Sに前画像からの変ィ匕があつたもののみを連続再生する手順の一例に過ぎず、画像の再生はこれに代わる他の方法によってもよい。例えば、観察対象 Sに前画像からの変化があった画像を全て観察対象 Sの撮影順（タイムラブス撮影の進行順）に並べた 1つの画像データを作成しておき、画像の再生時にはその画像データから画像を 1ネ icfつ順に読み出していくようにしてもよい。また、タイムラブス撮影を行う前の初期条件として、上述の実施形態に示したもの（待機時間、タイムラプス紘影継続時間及び亂影枚数）以外のものを設定するようにしてもよい。また、上述の実施形態では、本発明に係るタイムラプス氤影装置が驟繊に適用された例を示したが、これは一例であり、カメラや望遠鏡等に適用することも可能である。

Claims

言青求の範困

1 . 観察対象を撮像する撮像素子と、

Sift己撮像素子を制御して所定の待機時間で間欠的にタイムラブス撮影を行レ \ 前記タィムラブス撮影の各撮影時点にぉヽて複辦夂の画像を取得する画像取得部と、

前記画像取得部により現撮影時点での画像を取得する際に、その前の時点での画像と比較することで、編己取得する画像に変化があった力否カを判断する画像変化判断部と、

編己画像変化判断部により前記観察対象の画像に変化があつたと判断された画像群から少なくとも 1枚の代表画像を抽出し、また、前記観察対象に変ィ匕がなかったと判断された画像群から少なくとも 1枚の代表画像を抽出する画像抽出部と、

IifS画像抽出部により抽出された前記各撮影時点の画像を、廳 S各服影時点ごとに区分して保存する画像メモリと、

を備えたことを特徴とするタイムラプス氍影装置。

2 . 前記画像変化判断部により Slit己観察 ¾ ^に変化があつたと判断された画像、および変化がなかつたと判断された画像のレ、ずれカゝ一方に所定の情報を付加する識別情報付加手段を備えたことを特徴とする請求項 1に記載のタイムラブス撮影装置。

3 . 編己画像に付加された歸己識別情報に基づいて、前記画像メモリに保存された前記画像から tiff己前画像からの変化があつた画像を抽出し、 tiff己前画像からの変化があった画像のみを tiftSH察対象の紘影時間順に連続再生する画像再生部を備えたことを特徴とする請求項 1又は 2に記載のタイムラブス影装置。

4. 前記画像再生部は、編己識別情報の付加された画像のみを再生する第 1再生モードと、編己第 1再生モードと異なる条件で抽出された画像を再生する第 2再生モードとを有することを特徴とする請求項 3に記載のタイムラブスす ¾影装置。

5 . 廳己画像抽出部は、編己画像変化判断部により籠己観察対象の画像に変化があつたと判断された画像群からはその全ての画像を抽出することを特徴とする請求項 1に記載のタイムラブス影装置。 . 前記画像変化判断部は、前記複数枚の画像の変ィ匕を順次判断し

iff己画像抽出部は、その変化があつたと判断された時点の画像を抽出し、前記画像取得部及び l己画像変化判断部の次の動作を終了することを特徴とする請求項 1に記載のタイムラブス撮影装置。