JPH0993532A

JPH0993532A - 撮像記録装置及び撮像記録システム

Info

Publication number: JPH0993532A
Application number: JP7270728A
Authority: JP
Inventors: Masakazu Matsugi; 優和真継
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-09-26
Filing date: 1995-09-26
Publication date: 1997-04-04

Abstract

(57)【要約】【課題】撮像した画像のうち必要とされる画像のみを
効率的に符号化し、記録容量の大幅な節減を可能とす
る。【解決手段】画像切り出し手段１２が、撮像手段によ
り撮像された画像から対象画像を切り出すと、符号化記
録手段６は、切り出された対象画像を圧縮符号化して記
録する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像切り出し、識
別及び画像圧縮機能を有する撮像記録装置及び撮像記録
システムに関する。

【０００２】

【従来の技術】従来、撮像記録装置においては、信号処
理のデジタル化に伴い、映像情報の処理、加工の自由度
が向上するに従って装置内部での処理には、輝度レベ
ル、色調の変換、ホワイトバランス処理、量子化サイズ
変換などの比較的軽易な処理からエッジ抽出機能や色成
分の逐次成長法を用いた画像抽出機能（テレビジョン学
会技術報告、ｖｏｌ．１８，ｐｐ．１３−１８，１９９
４）を有するものなどがある。

【０００３】特に、撮像時の情報を活用する方式として
特開平６−２５３１９７公報で開示された、背景画像と
の差分に基づいて画像抽出（切り出し）を行う手法で
は、背景画像の撮像時に平均輝度が適正となるように絞
り制御手段を設定し、背景画像と同じ設定値を用いて現
画像を撮像した後、それらの差分データに基づき対象画
像の抽出を行っている。

【０００４】また、圧縮方式としては、特定の対象（人
物、物体等）画像のみ圧縮する方式（特開平５−１４５
９１４号公報）、背景と区別して圧縮率を変える方式
（特開平５−２６８４８４号公報、特開平５−３３６３
７４号公報）などがある。

【０００５】

【発明が解決しようとする課題】しかしながら、上述し
た従来の撮像記録装置は、画像の抽出、追跡などを意図
して撮影する場合、抽出した画像の圧縮記録手段を有し
ないために必要とされる特定の対象画像のみを撮像時に
自動的に圧縮符号化することができないため、撮像記録
装置において記録可能な画像データ容量を浪費してしま
うという問題があった。

【０００６】また、撮像記録装置において抽出（或いは
識別、追跡など）すべき被写体の指定を行うためのイン
タフェース手段が装備されていないため、抽出（切り出
し）処理を撮像又は全画面の記録が全て終了後に外部演
算装置（端末）などで行う必要があった。

【０００７】更に、抽出対象が同時に複数ある場合の各
々の配置関係、名称、撮像条件など、撮像時に抽出可能
な情報を記録できないため、後で画像の編集合成を行う
時に不便であるなどの問題があった。

【０００８】そこで、本発明は、上記に鑑みてなされた
ものであり、撮像した画像のうち必要とされる画像のみ
を効率的に符号化し、記録容量の大幅な節減を可能とす
ることを目的とするものである。

【０００９】

【課題を解決するための手段】上記目的を達成するため
の本発明の撮像記録装置は、画像を撮像する撮像手段
と、この撮像手段により撮像された画像から対象画像を
切り出す画像切り出し手段と、この画像切り出し手段に
より切り出された対象画像を圧縮符号化して記録する符
号化記録手段とを有することを特徴とするものである。

【００１０】画像切り出し手段は、表示画像上で指定さ
れた対象画像を含む領域の画像を処理して対象画像のみ
を切り出してもよく、同一の撮像条件で撮像手段により
撮像された、対象画像を含む第１の画像及びその対象画
像を含まない第２の画像を基に第１の画像から対象画像
を切り出してもよく、また、受信手段により外部から受
信した指定情報に基づいて対象画像を切り出してもよ
く、さらに、所定の評価関数が最小となるように、対象
画像を包囲する輪郭線上の各サンプリング点の移動を行
うことで、対象画像を切り出してもよい。

【００１１】符号化記録手段は、対象画像とともにその
付帯情報をも圧縮符号化して記録してもよく、対象画像
のサイズに応じて圧縮符号化率を変更してもよく、対象
画像のマスクデータを作成し、このマスク内の画像デー
タを走査して順次所定の矩形領域に配列し直した後、こ
の矩形領域内の画像データを圧縮符号化してもよい。ま
た、圧縮符号化されたデータを送信手段により装置外部
へ転送してもよい。

【００１２】また、動画像を撮像する撮像手段と、この
撮像手段により撮像された動画像のうち背景画像を順次
時系列的に統合して一枚の背景画像を生成する背景画像
統合手段と、前記撮像手段により撮像された動画像から
対象画像のみの時系列画像を切り出す画像切り出し手段
と、前記背景画像統合手段から出力される背景画像及び
画像切り出し手段から出力される対象画像を各々圧縮符
号化して記録することを特徴とするものである。

【００１３】また、本発明の撮像記録システムは、画像
の撮像・記録が可能な撮像記録装置と、この撮像記録装
置との間で通信が可能な外部端末とを有する撮像記録シ
ステムにおいて、前記外部端末は、撮像条件の制御情報
及び対象画像の指定情報を前記撮像記録装置に送信する
送信手段と、前記撮像記録装置から転送されたデータを
記憶する記憶手段とを備え、前記撮像記録装置は、前記
送信手段から送信された撮像条件の制御情報に基づいて
画像を撮像する撮像手段と、この撮像手段により撮像さ
れた画像から前記外部端末から送信された指定情報に基
づいて対象画像を切り出す画像切り出し手段と、前記対
象画像を圧縮符号化して記録する符号化記録手段と、こ
の符号化記録手段により圧縮符号化されたデータを前記
外部端末へ転送して前記記憶手段に記憶する通信制御手
段とを備えることを特徴とするものである。

【００１４】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して詳細に説明する。

【００１５】図１は本発明の撮像記録システムの一実施
の形態を示す外観図である。

【００１６】本実施の形態の撮像記録システムは、撮像
記録装置１と、外部端末１６とから構成されている。

【００１７】撮像記録装置１は、ファインダを兼ねたタ
ッチパネル仕様のディスプレイ７と、例えばペンタイプ
の如き指示選択手段２１と、後述する画像種別設定手段
１９及びカメラパラメータ設定手段２０等のスイッチ類
を配列した操作パネル２４とを備え、例えば雲台等の固
定台２３上に設置され、データ通信制御手段１３のアン
テナ１３ａを介して外部端末１６と交信するものであ
る。

【００１８】外部端末１６は、タッチパネル仕様のディ
スプレイ１７と、例えばペンタイプの如き指示選択手段
２１とを備え、データ通信制御手段１３のアンテナ１３
ａを介して撮像記録装置１と交信するものである。

【００１９】図２は本実施の形態の制御系を示すブロッ
ク図である。

【００２０】撮像記録装置１は、結像光学系２、レンズ
モータ駆動制御部３及びＣＣＤの如きイメージセンサ４
を含む撮像手段と、撮像パラメータ計測制御手段５と、
符号化記録手段６と、ＥＶＦ等のビューファインダを兼
ねたタッチパネル仕様の前記ディスプレイ７と、撮像モ
ード記録手段８と、画像データ変換手段９と、映像信号
処理回路１０と、画像データ比較手段１１と、画像切り
出し手段１２と、データ通信制御手段１３と、ストロボ
発光手段１４と、撮像動作制御手段１５と、画像種別設
定手段１９と、カメラパラメータ設定手段２０と、指示
選択手段２１と、情報生成信号変換手段２２と、構図デ
ータ抽出手段２５とを具備している。

【００２１】この撮像手段が撮像する画像には、静止画
像や動画像が含まれる。

【００２２】撮像パラメータ計測制御手段５は、焦点距
離検出手段と、合焦状態検出手段と、シャッタ速度検出
制御手段と、絞り計測制御手段と、画像信号特性パラメ
ータ（ガンマ、ニー、ホワイトバランスの補正、ＣＣＤ
の蓄積時間等）の特徴量（例えばガンマについては補正
係数等）検出手段とを備え、各種の撮像パラメータの計
測制御を行うものである。

【００２３】符号化記録手段６は、図示しない記録媒体
を備え、画像データ、特に切り出し画像及びこの切り出
し画像に関する撮影条件等の付帯情報の圧縮符号化処理
を行い、そのデータを記録媒体に記録するものである。
なお、切り出し画像の圧縮符号化方式は、特定の切り出
し方式に依存するものではない。また、この圧縮符号化
方式は、静止画切り出し、動画切り出し（固定背景中を
被写体が動く場合）のいずれにも対応することができる
ものである。

【００２４】撮像モード記録手段８は、撮像パラメー
タ、画像特性パラメータ及びストロボ発光の有無、スキ
ャンニングなどの意図的な運動、手ぶれの有無などを含
む撮像時の情報を記録するものである。特にスキャン、
パン等のカメラ運動については撮像記録装置１に加速度
センサを内蔵させ、その出力データ等から判定してもよ
い。これらの付帯データは、画像データとともに画像デ
ータベース１８に記憶される。

【００２５】画像データ変換手段９は、撮像条件等に基
づいて画像データを変換するものである。その詳細につ
いては後で説明する。

【００２６】映像信号処理回路１０は、ガンマ、ニー、
ホワイトバランスの補正回路、ＡＦ、ＡＥ、ＡＧＣの処
理回路等を備えている。

【００２７】画像データ比較手段１１は、主には被写体
込み画像（第１の画像）と背景画像（第２の画像）との
差分データを出力するものである。ここで、「被写体込
み画像」とは、被写体（対象）及び背景をともに入れた
画像をいい、「背景画像」とは、被写体のない背景のみ
の画像をいう。

【００２８】画像切り出し手段１２は、画像データ比較
手段１１からの差分データを統計処理し、その統計処理
に基づき、抽出対象領域を固定し、被写体込み画像から
の切り出し用キー信号（またはマスクデータ）を出力す
るものである。また、画像切り出し手段１２は、１又は
２以上の被写体画像を切り出すようになっている。な
お、画像データ比較手段１１及び画像切り出し手段１２
は、同じ処理を撮像記録装置１外部の高速演算手段上で
実行してもよい。

【００２９】データ通信制御手段１３は、外部端末１６
やデータベース１８等に画像データ等を転送したり、或
いは撮像記録装置１の制御パラメータ、コマンド等を外
部端末１６等から入力するものである。なお、データ通
信制御手段１３は、撮像記録装置１に接続可能とし、外
部に独立して設置してもよい。この場合には内部に画像
符号化手段を設けてもよい。

【００３０】撮像動作制御手段１５は、外部端末１６又
はカメラ操作により設定された制御モード（被写体抽出
モード、標準撮影モード等）により撮影モードに応じた
制御信号の発生等を行い、撮像記録装置１の各部を制御
するものであり、特に被写体抽出時には処理ステップに
応じたディスプレイ７、操作パネル２４等への動作メニ
ュの表示情報生成等も行うようになっている。

【００３１】画像種別設定手段１９は、撮影する画像が
背景画像であるか被写体込み画像であるかの画像種別を
設定するためのスイッチ等を備え、この設定により自動
的に画像種別が付帯情報として記録されるようになって
いる。

【００３２】カメラパラメータ設定手段２０は、通常、
背景画像と被写体込み画像とは同じ撮像モードで撮像が
行われるが、撮像記録装置１内部の特性を操作者が任意
に設定するためのものである。

【００３３】指示選択手段２１には、撮像記録装置１に
接続されたペン又はマウス等が適用される。この撮像記
録装置１に接続された指示選択手段２１は、撮影現場で
記録後又は撮影中の画面上で抽出対象の画像等を指示す
る目的で用いられる。なお、人間の指による指示選択を
前提とした構成でもよい。

【００３４】情報生成信号変換手段２２は、ディスプレ
イ７がタッチパネル仕様時の表示情報の生成及び指示信
号の変換を行うものである。

【００３５】なお、図２に示した画像種別設定手段１
９、カメラパラメータ設定手段２０等のスイッチ類は操
作パネル２４として一か所に配置したが、タッチパネル
ディスプレイ等に表示して操作可能としてもよい。

【００３６】前記外部端末１６は、アンテナ１３ａを備
えたデータ通信制御手段１３と、前記ディスプレイ１７
と、画像データベース１８と、撮像記録装置１と同様の
指示選択手段２１とを具備し、撮影モード制御、切り出
し画像の選択、登録画像の検索、選択等を行うものであ
る。なお、画像データベース１８は、外部端末１６の外
部に設けてもよい。

【００３７】ディスプレイ１７は、処理画像の出力やフ
ァインダディスプレイとしての機能も有するものであ
り、指示選択手段２１とともに使用して画面内の特定対
象の指示等を行う目的に用いられる。

【００３８】画像データベース１８は、過去に撮像され
た画像データ及びそれぞれの付帯情報として、画像登録
であるか否かの種別、撮像パラメータ、撮像条件（屋外
又は室内の区別、ストロボ投光の有無等）、或いはその
他の情報（日付、時刻、場所、カメラ操作者、タイトル
等）を保存している。

【００３９】外部端末１６の指示選択手段２１は、撮像
記録装置１の指示選択手段２１と同様に、人間の指によ
る指示選択を前提とした構成でもよい。

【００４０】次に、本実施の形態の基本動作を図３を参
照し、図４のフローチャートに従って説明する。

【００４１】図３は被写体込み画像３０及び背景画像３
１から被写体のみの画像（切り出し画像）３３を得る動
作を説明するための図である。被写体込み画像３０では
被写体（人物）を優先した撮像モードで画像が入力さ
れ、背景画像３１では被写体込み画像３０と同じ撮像モ
ードか、または同じ倍率で遠景に画像信号特性量が合う
ように撮像されている。両画像３０、３１間では同じ背
景部３０ａ、３１ａにおいても画像データの特性（平均
的輝度レベル、色成分）が若干異なることがあり、同図
の背景画像３１の背景部３１ａは、説明上それを強調し
ている。

【００４２】先ず、操作者は、撮影する画像が背景画像
３１であるか被写体込み画像３０であるかの画像種別を
画像種別設定手段１９を操作して設定する（Ｓ１）。こ
こでは、被写体込み画像（被写体抽出モード）３０を設
定したとする。被写体込み画像３０が設定された場合
は、撮像モード設定時に被写体に最適な撮像条件（以下
に説明）で図３に示すような被写体込み画像（第１の画
像）３０の撮像を行う（Ｓ２）。

【００４３】撮像後は撮像条件等の付帯情報を抽出し
（Ｓ３）、画像データとともに所定のフォーマットで記
録する（Ｓ４）。この付帯情報は、対応する画像データ
のアドレス等とともに別途ヘッダファイル等に記録して
もよい。

【００４４】背景画像（第２の画像）３１を撮像する場
合は、被写体込み画像３０の付帯情報を呼び出し（Ｓ
５）、基本的に同一撮像条件で撮像モードを設定し（Ｓ
６）、図３に示すような背景画像３１を撮像する（Ｓ
７）。但し、このステップＳ７においては、環境条件等
の変動に対応するため、撮像パラメータ計測制御手段５
が、撮像時に撮像モード記録手段８で記録された撮像条
件の選択モードとして屋外又は室内の区別、ストロボ投
光の有無等の撮像条件と付帯情報を活用して環境条件の
変化の有無を判定し、同一条件にすべき撮像パラメータ
のみを制御する。室内、屋外を問わず、背景画像３１の
撮像時刻と被写体込み画像３０の撮像時刻とが近接して
いる場合には、環境条件、特にストロボ等の撮像記録装
置１の搭載の照明手段を除いた照明条件及び背景パター
ン等は殆ど変化していないと考えられる。従って画像信
号特性パラメータを除く撮像モードを両者間で同一（被
写体込み画像の撮像モードで統一）にすることにより、
２つの画像３０、３１間において背景パターンの同一領
域での画像データの変動は抑制することができ、後続す
る画像切り出し用統計的処理の信頼性を増すことができ
る。但し、被写体画像の分光反射率特性等によるセンサ
信号処理回路の特性（ガンマ、ホワイトバランス等）の
変動、ノイズの混入、照明条件の変動（外乱光の入射
等）等により一般的には同じ撮像モードでも背景部３０
ａ、３１ａの画像データは２つの画像３０、３１間で完
全に一致しない状況が存在する。このようなケース、例
えば、撮像記録装置１を手に持って撮影した場合に対応
するため、画像３０、３１の間の位置合わせを行った後
（Ｓ８）、画像データ変換処理を行い、被写体込み画像
３０の撮像条件に基づいて背景画像３１の正規化を行
い、背景画像３１のうち被写体込み画像３０の背景画像
領域３０ａに相当する部分３１ａの画像データがほぼ同
じとなるようにして変換後の背景画像３２を得る（Ｓ
９）。

【００４５】画像間位置合わせ終了後又は固定カメラに
よる撮影（画像変換処理なしの場合）終了後、画像デー
タ比較手段１１においては画像変換後の背景画像３１と
被写体込み画像３０との差分データを生成する画像比較
処理を行う（Ｓ１０）。

【００４６】次に、被写体込み画像３０と変換後の背景
画像３２との差分データ（比較処理Ｓ１０の結果）に基
づいて画像切り出し処理を行い、被写体のみの画像３３
を切り出す（Ｓ１１）。

【００４７】以下、画像変換処理（Ｓ９）及び画像切り
出し処理（Ｓ１１）の詳細を説明する。

【００４８】先ず、画像変換処理（Ｓ９）を図５及び図
６を参照して説明する。

【００４９】画像データ変換手段９は、図５に示すよう
に、画像及びその付帯データ入力手段９０、輝度値変換
手段９１、色成分変換手段９２、画像間の位置合わせの
ための空間シフト演算手段（位置合わせ手段）９３、画
像サイズスケーリング手段９４、パラメータ変動評価手
段９５等から構成される。典型的には被写体込み画像を
基準画像とし、また基準画像については画像データを固
定とし、背景のみの画像データが変換されるものとす
る。尚、固定されたカメラで同一撮像条件（照明条件を
含む）で基準画像、背景画像の順に撮像することによ
り、殆どの場合で画像データ変換手段９での処理を省略
することが可能である。尚、背景画像又は基準画像とし
ては画像データベース１８から検索して抽出されたもの
を用いてもよい。

【００５０】撮像モードが両画像間で同一の場合、即
ち、環境条件の変化無しの場合には輝度値及び色成分の
変換は一般的には必要ないといえるが、被写体画像の特
徴及びその背景に対する面積の割合によっては画像信号
特性パラメータ、即ちゲイン、ホワイトバランス特性、
ガンマ特性が変わる。従って、これら特性値の少なくと
も一つの変化幅が一定閾値を越えた場合には、背景画像
及び被写体込み画像中の各点の所定メモリに記録したパ
ラメータ特性値の差異に基づいて輝度、色成分を被写体
込み画像の特性値に対応するように変換する。以下、前
記各手段での処理を説明する。なお、画像データ変換手
段９での変換処理は、各パラメータの変動が比較的小さ
い場合は、図５に示す如く、スケーリング変換、位置合
わせ、輝度変換、色成分変換の順に行われる。但し、撮
像モード同一化制御を撮像パラメータ設定手段２０によ
り解除した場合は、この限りではなく、図６のように、
位置合わせを除いて変換順序設定手段９６により変動量
の大きい項目順に変換を行う。スケーリング変換手段９
４は両画像間の倍率変動量に基づき、背景画像を被写体
込み画像と同じ視覚角となるように変換する。但し、撮
像記録装置１と被写体との距離の変動が十分小さいと仮
定する。倍率データの変動がない場合は、ここでの処理
を省略して位置合わせ手段９３から変換を始めてもよ
い。輝度値変換手段９１は、背景画像と被写体込み画像
間でのゲイン、ガンマ特性の変動量、露光量、及び屋外
・室内の区別、ストロボ発光有無等の照明条件の一致・
不一致等に基づき輝度レベルの変換を各画素ごとに行
う。色成分変換手段９２は、ホワイトバランス特性変動
量等に基づき色成分の変化を行う。位置合わせ手段９３
は、２つの画像を撮像する間の撮像記録装置１の位置、
姿勢変動（手ぶれ、撮像記録装置１の持ち直しがある場
合、足の位置を多少変えたりする場合）を許容するため
に両画像間の対応点抽出と対応点に基づく位置合わせを
行う。通常短時間中の手ぶれ程度の変動に対しては画像
の４隅の局所領域間での対応点（少なくとも３点）抽出
で十分である。対応点抽出用アルゴリズムとして代表的
なものには、画像中の各点を中心とする所定サイズのブ
ロックに分割し、ブロック間の相互相関値が最大となる
点どうしを対応点とする方式等がある。位置合わせのた
めには背景部分が両者間で所定割合以上で重なり合うこ
と、一般的には抽出対象の画像領域を除いた背景部分の
重なり合う面積が両画像間で５割以上あること等が目安
となる。但し、重なり面積の割合の最低値は、背景画像
のパターンに応じて可変であることはいうまでもない。
特に、背景と被写体の領域分離が比較的容易な場合、例
えば背景が無地に近い場合は、或いは周期パターン等を
有し、かつ抽出被写体がそれとは明白に異なるパターン
を有する場合等は重なり面積は著しく小さくてもよい。

【００５１】次に、画像切り出し処理（Ｓ１１）を説明
する。

【００５２】画像切り出し手段１２は、画像データ比較
手段１１からの差分データに対し、平滑化処理（メディ
アンフィルタ等）、統計的処理（色成分偏差、輝度レベ
ル偏差に基づく）を行うことにより背景画像データの変
動の大きい領域から被写体領域を抽出する。位置合わせ
終了（Ｓ８）の段階において、外部端末１６のディスプ
レイ１７又は撮像記録装置１のディスプレイ７に表示さ
れた原画像を見て、操作者は処理領域範囲の限定（例え
ば切り出し対象を含む矩形領域等）を行ってもよい。外
部端末１６から指定する場合には、マウス等の指示選択
手段２１を用いて処理領域を設定し、データ通信制御手
段１３を介してその設定範囲情報を画像データ比較手段
１１に送信する。また、撮像記録装置１のディスプレイ
７がタッチパネル仕様のディスプレイである場合にも外
部端末１６での指示と同様の設定を行う。

【００５３】以下、図７に基づいて被写体抽出処理の詳
細について説明する。

【００５４】先ず、画像データ変換後の背景画像Ｉ_b、
被写体込み画像Ｉ_tのＲ、Ｇ、Ｂ成分及び輝度信号から
色相Ｈ_b、Ｈ_t、彩度Ｓ_b、Ｓ_t、明度Ｖ_b、Ｖ_t（イ
ンデクスｂは背景のみの画像、ｔは対象物及び背景が写
った画像を表す）をそれぞれ抽出し、以下の評価関数Ｆ
の値を所定の閾値で２値化して被写体領域と背景領域の
識別及び被写体候補領域の抽出を行う（Ｓ７１）。

【００５５】

【数１】ここにα_h、α_s、α_vは画像Ｉ_b、Ｉ_tの各成分のＳ
／Ｎ値又は各画像を所定サイズのブロックに分割した際
の各成分の局所分散値（例えば８×８のサイズに分割し
たブロック領域内の分散値）の関数であり、例えばα_h
＝Ｐ_h（Ｉ_b）・Ｐ_h（Ｉ_t）などが用いられる。ここ
にＰ_h（Ｉ）は画像データＩの所定領域における色相成
分に関するＳ／Ｎ値の単調増加関数或いは分散値の単調
減少関数（逆数など）を表す。同様にしてＰ_s（Ｉ）、
Ｐ_v（Ｉ）として彩度、明度に関するパラメータが定義
される。領域中各点の判別用閾値Ｔの設定は大津の方法
（電子情報通信学会論文誌、ｖｏｌ．Ｊ６３，ｐｐ．３
４９−３５６，１９８０）などを評価関数の各項、即
ち、（Ｈ_b−Ｈ_t）²、（Ｓ_b−Ｓ_t）²、（Ｖ_b−Ｖ
_t）²それぞれについて適用して、Ｔ_h、Ｔ_s、Ｔ_vを
得たとすると、Ｔ＝Ｔ_h＋Ｔ_s＋Ｔ_vとしてもよい。な
お、以上の評価関数及び各パラメータはそれぞれの上記
した定義に限定されるものではない。また閾値そのもの
は予め与えた値で画像全領域にわたって一定としてもよ
い。

【００５６】次に、画像切り出し手段１２は、切り出し
対象物によって背景上に生じる陰影の除去処理を行う
（Ｓ７２）。原画像とともに抽出候補領域及び陰影候補
領域のラベル画像をディスプレイ７に表示し、操作者は
これを見て陰影領域の判定及び除去すべき領域の指示を
行う。

【００５７】前記ステップＳ７２までの処理の結果、被
写体候補（複数可）、陰影候補（複数可）と判定された
連結領域をラベル付けし、ディスプレイ１７上にそれぞ
れ異なる色、輝度値、又はハッチングパターンでの表
示、或いは点滅表示等を行ってマスク候補画像データと
して表示する。この際、連結領域内の孤立領域、即ち背
景の塊状領域を同一被写体領域と見放してそれを取り囲
む被写体領域と同一のラベルに自動変換してもよい。こ
のようにして抽出領域のマスクデータの作成及び抽出処
理が行われる（Ｓ７３）。以上の処理の結果、操作者が
初めに抽出すべき被写体領域の一つをマウスなどの指示
選択手段２１を用いて抽出領域を指示すると、背景など
を除去した被写体画像のみがディスプレイ１７上に表示
される。撮像記録装置１のユーザインタフェース機能と
してその抽出画像データで問題なければ、確認の指示を
与えることができるようにしてもよい（特に静止画切り
出しの場合）。例えば確認用のアイコンメニューの選
択、キーボード又は音声による指示（音声認識手段を備
えた撮像記録装置１）で行えばよい。

【００５８】特定被写体の切り出す際の処理領域の設定
を図８及び図９を参照して説明する。図８は本撮像記録
システムの外観図、図９は撮像記録装置１のディスプレ
イ７の拡大図である。図８及び図９のディスプレイ７、
１７上の画面は、特定被写体の切り出し撮像処理時に現
れるメニュ画面の一例と実際に撮像された被写体とを表
示している。枠で囲われた文字（撮像、圧縮記録、切り
出し）は動作モードを表し、これを指示選択手段２１で
選択すると、所望の動作モードに入る。また、同図では
被写体抽出モードであることを表示し、かつ切り出し動
作の処理範囲設定モードにあることを示している。実線
の枠は選択されたモード、点線で示される枠は非選択モ
ードを示す。これら動作メニュは各動作モードに応じて
異なる表示がなされる。図９に示すように、外部端末１
６に付属の指示選択手段２１を用いて処理領域４０の設
定（抽出対象の指定）などを行い、そのデータをアンテ
ナ１３ａを介して撮像記録装置１に送信してもよく、図
９に示すように、撮像記録装置１のディスプレイ７上で
指示選択手段２１を用いて処理領域４０の設定を行って
もよい。

【００５９】次に、符号化記録手段６による切り出し画
像の圧縮符号化処理を図１０及び図１１を参照して説明
する。図１０は圧縮符号化処理を説明するための図、図
１１は切り出し画像の圧縮符号化処理を示すフローチャ
ートである。

【００６０】ここでは切り出し画像に外接する処理領域
として例えば矩形領域１００を設定し、その中で切り出
し領域のマスク以外の点についてはゼロ値を付与する。
またマスクデータＰ（ｉ、ｊ）として矩形領域１００内
の各点に０又は１の値（１は抽出画素、０は非抽出画
素）を作成、記録する。圧縮率を向上させる為の切り出
し画像特有の圧縮符号化法の一例を説明する。先ず抽出
画素の総数をＭ、Ｍ^0.5の整数部をｍとすると、（ｍ＋
１）ｘ（ｍ＋１）の正方領域１０１を設定する。図１０
に示すように、矩形領域１００の左上隅から右下隅へ向
かって各行ごとに走査して見出された抽出画素を順次、
正方領域１０１上の左上隅（１、１）から右下隅（ｎ、
ｎ）まで配列し直す。次に、この正方領域１０１の画像
を通常の手法（ＤＣＴ符号化など）により圧縮を行う
が、この圧縮方法は特定方式に限定されるものではな
い。再生時には、正方領域１０１の圧縮画像データを通
常の手順で解凍（復元）した後、マスクデータに従って
各点を順に適切な画素位置に再配列する。即ち、抽出画
素を表すマスク位置（ｉ、ｊ）が上述した走査手順にお
いてｘ番目であるとすると、このｘ番目の画素は正方領
域１０１のｘ＋１，ｍｏｄ（ｍ＋１）列、ｉｎｔ［（ｘ
＋１）／（ｍ＋１）］行（ｉｎｔ［Ｘ］はＸの整数部を
表す）の位置にある画素に相当する。従ってマスク上の
各抽出画素の画像データを解凍された正方領域１０１の
対応する点から抽出して配置すればよい。

【００６１】図１１のフローチャートに示すように、先
ず、処理領域として例えば矩形領域１００をマウスなど
の指示選択手段２１を用いて設定し（Ｓ１１１）、次に
前述した様に矩形領域１００を走査して抽出領域のマス
クデータを作成し、抽出画素数のカウントを行う（Ｓ１
１２）。ここで一旦マスクデータを所定の記憶手段に記
録し（Ｓ１１３）、総画素数を基に正方領域１０１のサ
イズを決定する（Ｓ１１４）。次に、走査方向順に抽出
画素のデータ（輝度、色成分）を正方領域１０１内に同
一走査方向順で配列する（Ｓ１１５）。このようにして
得られる正方領域１０１内の画像データに、符号化記録
手段６は、圧縮処理（Ｓ１１６）を施し、各圧縮デー
タ、マスクデータを記録媒体に記録する（Ｓ１１７）。

【００６２】なお、更にＤＣＴ符号化などを用いる際、
圧縮率を切り出し画像サイズ（例えば上記ｍ又は切り出
し画像に外接する矩形領域１００の面積など）に応じて
変えてもよい。また圧縮率を他の画像と合成する際の切
り出し画像のサイズが既知の場合、そのサイズに応じて
変えてもよい。これは外部端末１６から撮像記録装置１
をオンラインで制御し、かつ切り出し処理を行ってその
場で画像の合成、編集処理を行う場合に好適である。

【００６３】このようにして圧縮符号化されたデータ
は、符号化記録手段６に記録される。この時、付帯情報
として被写体名称、原画像の撮像時刻、場所、撮影者の
名前などをデータファイルのヘッダ部などに記録しても
よい。更に撮像条件及び撮像時の結像光学系のデータな
どを記録してもよい。また切り出された対象画像が同一
画面上に複数存在する場合にはシーンの構図情報として
相対位置ベクトル又は各マスク（抽出被写体）の中心位
置を画面サイズで規格化した値として記録する。図１
２、１３に圧縮画像データの記録フォーマットの例を示
す。図１２では各切り出し対象ごとに圧縮符号化ファイ
ルを作成する場合の例であり、付帯データをヘッダ部に
固定ビット長で記録し、圧縮画像データを記録する。図
１３は切り出しを行ったシーン中に複数の抽出対象画像
がある場合の記録形式の一例である。ここではヘッダフ
ァイルを作成し、ここに一括して付帯情報、特にシーン
の名称、各対象間の配置関係、構図情報を記録する。各
圧縮データファイルにはマスクデータも併せて記録され
る。

【００６４】このような上記実施の形態によれば、以下
の効果が得られる。

【００６５】(1) 撮像した画像のうち必要とされる対
象画像のみを圧縮符号化して記録するので、対象画像の
抽出を目的とした撮像における記録容量の大幅な節減が
可能となる。

【００６６】(2) 対象画像とともにその付帯情報をも
圧縮符号化して記録するので、対象画像を複数切り出し
た場合に、他の画像シーンにおいてそれらと背景とを互
いに位置関係を保持しながら合成することが可能とな
る。

【００６７】(3) 撮像記録装置１が指示選択手段２１
と画像切り出し手段１２の両方を具備することにより、
対象画像の指定から切り出しまでの処理を撮影の現場で
外部端末１６等を用いずに一貫して行うことが可能とな
る。

【００６８】(4) 撮像手段で撮像した被写体込み画像
及び背景画像を基に被写体画像を切り出すことにより、
撮像記録装置１において画像の切り出し処理の一部又は
全てを行うことが可能となる。また、対象画像の指定情
報を外部から受信する受信手段及び圧縮符号化されたデ
ータを外部へ送信する送信手段としてのデータ通信制御
手段１３を備えることにより、撮像記録装置１に対する
制御を外部の装置から遠隔的に行うことが可能となり、
切り出した画像データ等を外部の装置へ転送することが
可能となる。

【００６９】(5) 切り出された対象画像のサイズに応
じて圧縮符号化率を変更することにより、切り出し画像
の全画面サイズに対する相対比が小さい（切り出し画像
サイズが小さい）ときは低い圧縮率、相対比が大きい
（切り出し画像サイズが大きい）ときは高い圧縮率で符
号化、記録するなど圧縮率を適応的に設定して切り出し
画像の画質を損なわずに符号化量の変動が少ない切り出
し画像の圧縮記録が可能となる。

【００７０】(6) 対象画像のマスクデータを作成し、
このマスク内の画像データを走査して順次正方領域１０
１に配列し直した後、この正方領域１０１内の画像デー
タを圧縮符号化することにより、切り出し画像の圧縮効
率を高めることが可能となる。

【００７１】(7) 互いに通信可能な撮像記録装置１と
外部端末１６とを有しているので、外部端末１６から撮
像記録装置１を遠隔的に制御することができるので、切
り出し処理の効率と外部端末１６への伝送効率を向上さ
せることが可能となる。

【００７２】図１４は本発明の撮像記録システムの他の
実施の形態を示す要部構成図である。

【００７３】本実施の形態は、切り出し処理を動的輪郭
画像抽出手段３０及び背景画像抽出手段３１により行う
ようにし、動的輪郭法を活用した輪郭（背景との境界）
線抽出により特定対象の画像切り出しと背景画像抽出を
行った後、撮像記録装置１又は撮像記録装置１と接続し
た外部端末１６において圧縮符号化と記録を行うもので
あり、その他の構成は前実施の形態と同様である。

【００７４】次に、本実施の形態の基本動作を図１５の
フローチャートに従って説明する。

【００７５】撮像を開始し（Ｓ１５１）、初期輪郭の設
定を行う（Ｓ１５２）。この初期輪郭設定は、撮像記録
装置１又は外部端末１６に付属の指示選択手段２１を用
いて行うことができる。典型的には抽出対象を包囲し、
かつその輪郭線形状と概略一致するような輪郭線（閉曲
線）、又は抽出対象の内部にあり、かつ対象の輪郭線形
状と概略一致するような輪郭線が望ましい。動的輪郭法
においては、輪郭が移動、変形して最終的に対象物の外
形に収束する。代表的には各点の座標を記述するための
パラメータｓを用いて表される輪郭線ｖ（ｓ）＝（ｘ
（ｓ），ｙ（ｓ））に対し、以下の評価関数

【００７６】

【数２】を算出し（Ｓ１５３）、これを最小にする輪郭線形状ｖ
（ｓ）を輪郭線上のサンプリング点位置を更新（Ｓ１５
４）して求める。ここに

【００７７】

【数３】

【００７８】

【数４】Ｉ（ｖ（ｓ））はｖ（ｓ）上の輝度レベルを表し、α
（ｓ）、β（ｓ）、ｗ０は操作者が適宜定める。このよ
うに輪郭線に関して定めた評価関数（上記関数に限らな
い）が最小となるように（収束判定；Ｓ１５５）輪郭線
上の各点の位置の更新を繰り返して最終的に対象の輪郭
線（背景との境界）が求まる。本実施の形態では収束
（輪郭線上の各点を更新してもそれらの位置の変化が一
定基準値以下となった場合）後の輪郭線形状をディスプ
レイ１７（又は７）上に表示して、細部の輪郭線形状の
誤差発生部分（正しく原画像の輪郭線上に収束しなかっ
た部分）の補正を指示選択手段２１を用いて行う（Ｓ１
５６）。具体的には修正すべき輪郭線上の点を指示選択
手段２１で選択し、次に正しい位置を指示するとその点
の位置が変更され、かつ更新された点の近傍の点もこれ
と滑かに接続するように位置が更新される。

【００７９】本実施の形態では特に、切り出し画像の圧
縮及び背景画像（一枚）の圧縮を独立して行う。背景画
像は抽出対象を除去して撮像して得てもよいし、抽出さ
れた被写体が運動している場合には背景の見える部分
（即ち、切り出し後の残りの画像）の画像情報を順次時
系列的に論理和演算などにより統合して一枚の背景画像
を求め、圧縮符号化する（Ｓ１６０）。これにより最終
的に得られる画像データは動く被写体の場合は一枚の背
景画像と被写体のみの時系列画像データとなる。その
際、撮像記録装置１の位置、姿勢の変更を伴う単調なカ
メラ操作（パンニングなど）を行ってもよい。いま簡単
のためにカメラを水平方向に一定速度で移動したとする
と、移動方向に対して略直交方向の背景画像の端の一列
分の画像データを抽出して記録することにより、全ての
背景画像の統合、合成データから適切な背景画像データ
を抽出して、抽出被写体との正しい合成画像をより簡便
に求めることができる（Ｓ１５８）。なお、背景画像と
切り出し画像のフレーム番号又は時間インデクスが一致
するように記録することにより、背景との合成処理が更
に容易となる。

【００８０】図１６にこの場合の背景画像の抽出手段３
１の処理ステップを示す。先ず、背景画像を切り出し処
理の結果に基づいて抽出する（Ｓ１６１）。次に当該フ
レームの背景画像の最終的に得られる全体背景画像中の
位置情報を表す一次元画像データ（端の一行、一列分の
画像データなど）をフレーム番号とともに記録する（Ｓ
１６２）。更に前フレームで抽出された背景画像との統
合又は合成処理を行い（Ｓ１６３；論理和演算などによ
る）、フレーム番号チェック（Ｓ１６４）を行って最終
フレームでなければ、以上の処理を繰り返す。また最終
フレームで統合された一枚の背景画像を圧縮符号化する
（Ｓ１６５）。この処理は画像の切り出し方式に依存し
ないことはいうまでもない。

【００８１】輪郭線形状が正しく求まると抽出被写体の
画面内位置、複数ある場合にはそれらの配置関係、即ち
構図情報が抽出される（Ｓ１５７）。更に、輪郭内の切
り出し対象の画像を圧縮、符号化し、付帯情報を加えて
前実施の形態と同様に記録する（Ｓ１５９）。

【００８２】なお、前実施の形態の手法（背景のみの画
像を撮像しておいて後から被写体込み画像との差分デー
タに基づいて画像切り出しを行う方法）を用いて得られ
る抽出対象領域の境界線を初期輪郭として定め、動く対
象の切り出しを動的輪郭法を用いて行ってもよい。

【００８３】このような上記実施の形態によれば、所定
の評価関数が最小となるように、対象画像を包囲する輪
郭線上の各サンプリング点の移動を行うことにより、一
枚の撮影画像から特定被写体の切り出しと記録を一貫し
て撮像記録装置１内で行うことが可能となる。また、動
画像のうち背景画像を順次時系列的に統合して一枚の背
景画像を生成し、その一枚の背景画像を圧縮符号化して
いるので、画像の合成用データとしての背景画像を時系
列的に記録する必要がなくなり、画像の記録効率が高ま
るので、動画切り出しを行う際に後で合成に用いる背景
画像記録効率を飛躍的に高めることが可能となる。

【００８４】

【発明の効果】以上詳述した本発明の撮像記録装置によ
れば、撮像した画像のうち必要とされる対象画像のみを
圧縮符号化して記録するので、対象画像の抽出を目的と
した撮像における記録容量の大幅な節減が可能となる。

【００８５】また、本発明の撮像記録システムによれ
ば、撮像した画像のうち必要とされる対象画像のみを圧
縮符号化して記録するので、対象画像の抽出を目的とし
た撮像における記録容量の大幅な節減が可能となり、ま
た、互いに通信可能な撮像装置と外部端末とを有してい
るので、外部端末から撮像記録装置を遠隔的に制御する
ことができ、圧縮符号化したデータを外部端末に転送す
ることができるので、切り出し処理の効率と外部端末へ
の伝送効率を向上させることが可能となる。

【図面の簡単な説明】

【図１】本実施の形態システムの外観図である。

【図２】本実施の形態システムのブロック図である。

【図３】本実施の形態システムの動作を説明するための
図である。

【図４】本実施の形態システムの撮像から画像切り出し
までの基本動作を示すフローチャートである。

【図５】画像データ変換手段の要部構成図である。

【図６】画像データ変換手段の要部構成図である。

【図７】画像切り出し処理の詳細を示すフローチャート
である。

【図８】画像を切り出す際の処理領域の設定を説明する
ためのシステムの外観図である。

【図９】画像を切り出す際の処理領域の設定を説明する
ための撮像記録装置のディスプレイの拡大図である。

【図１０】圧縮符号化処理を説明するための図である。

【図１１】圧縮符号化処理の詳細を示すフローチャート
である。

【図１２】切り出し画像の符号化フォーマットの一例を
示す図である。

【図１３】切り出し画像の符号化フォーマットの一例を
示す図である。

【図１４】他の実施の形態システムの外観図である。

【図１５】他の実施の形態システムの切り出し処理の詳
細を示すフローチャートである。

【図１６】他の実施の形態システムの背景画像の圧縮処
理の詳細を示すフローチャートである。

【符号の説明】

１撮像記録装置２結像光学系３レンズモータ駆動制御部４イメージセンサ６符号化記録手段７、１７ディスプレイ１２画像切り出し手段１３データ通信制御手段１４ストロボ発光手段１５撮像動作制御手段１６外部端末１８画像データベース２１指示選択手段

Claims

【特許請求の範囲】

【請求項１】画像を撮像する撮像手段と、この撮像手
段により撮像された画像から対象画像を切り出す画像切
り出し手段と、この画像切り出し手段により切り出され
た対象画像を圧縮符号化して記録する符号化記録手段と
を有することを特徴とする撮像記録装置。
【請求項２】画像を撮像する撮像手段と、この撮像手
段により撮像された画像から対象画像を切り出す画像切
り出し手段と、この画像切り出し手段により切り出され
た対象画像及びその付帯情報を圧縮符号化して記録する
符号化記録手段とを有することを特徴とする撮像記録装
置。
【請求項３】画像を撮像する撮像手段と、この撮像手
段により撮像された画像を表示する表示手段と、この表
示手段の表示画像上で対象画像を含む領域を指示する指
示手段と、この指示手段により指示された領域の画像を
処理して前記対象画像のみを切り出す画像切り出し手段
と、この画像切り出し手段により切り出された対象画像
を圧縮符号化して記録する符号化記録手段とを有するこ
とを特徴とする撮像記録装置。
【請求項４】画像を撮像する撮像手段と、同一の撮像
条件で前記撮像手段により撮像された、対象画像を含む
第１の画像及びその対象画像を含まない第２の画像を基
に第１の画像から対象画像を切り出す画像切り出し手段
と、この画像切り出し手段により切り出された対象画像
を圧縮符号化して記録する符号化記録手段とを有するこ
とを特徴とする撮像記録装置。
【請求項５】画像を撮像する撮像手段と、対象画像の
指定情報を外部から受信する受信手段と、前記撮像手段
により撮像された画像から前記指定情報に基づいて対象
画像を切り出す画像切り出し手段と、この画像切り出し
手段により切り出された対象画像を圧縮符号化して記録
する符号化記録手段とを有することを特徴とする撮像記
録装置。
【請求項６】画像を撮像する撮像手段と、この撮像手
段により撮像された画像から対象画像を切り出す画像切
り出し手段と、この画像切り出し手段により切り出され
た対象画像を圧縮符号化して記録する符号化記録手段
と、この符号化記録手段により圧縮符号化されたデータ
を装置外部へ転送する送信手段とを有することを特徴と
する撮像記録装置。
【請求項７】前記画像切り出し手段は、所定の評価関
数が最小となるように、対象画像を包囲する輪郭線上の
各サンプリング点の移動を行うことで、対象画像を切り
出すことを特徴とする請求項１、２、３又は４記載の撮
像記録装置。
【請求項８】前記符号化記録手段は、前記画像切り出
し手段により切り出された対象画像のサイズに応じて圧
縮符号化率を変更することを特徴とする請求項１、２、
３又は４記載の撮像記録装置。
【請求項９】前記符号化記録手段は、対象画像のマス
クデータを作成し、このマスク内の画像データを走査し
て順次所定の矩形領域に配列し直した後、この矩形領域
内の画像データを圧縮符号化することを特徴とする請求
項１、２、３又は４記載の撮像記録装置。
【請求項１０】動画像を撮像する撮像手段と、この撮
像手段により撮像された動画像のうち背景画像を順次時
系列的に統合して一枚の背景画像を生成する背景画像統
合手段と、前記撮像手段により撮像された動画像から対
象画像のみの時系列画像を切り出す画像切り出し手段
と、前記背景画像統合手段から出力される背景画像及び
画像切り出し手段から出力される対象画像を各々圧縮符
号化して記録することを特徴とする撮像記録装置。
【請求項１１】画像の撮像・記録が可能な撮像記録装
置と、この撮像記録装置との間で通信が可能な外部端末
とを有する撮像記録システムにおいて、前記外部端末は、撮像条件の制御情報及び対象画像の指
定情報を前記撮像記録装置に送信する送信手段と、前記
撮像記録装置から転送されたデータを記憶する記憶手段
とを備え、前記撮像記録装置は、前記送信手段から送信された撮像
条件の制御情報に基づいて画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記外部端末か
ら送信された指定情報に基づいて対象画像を切り出す画
像切り出し手段と、前記対象画像を圧縮符号化して記録
する符号化記録手段と、この符号化記録手段により圧縮
符号化されたデータを前記外部端末へ転送して前記記憶
手段に記憶する通信制御手段とを備えることを特徴とす
る撮像記録システム。