JP7775666B2 - 画像補正装置、画像補正方法及び画像形成装置 - Google Patents

Description

本開示は、シート上に形成された写真画像を補正する技術に関する。

従来、銀塩ネガフィルムに写し込まれた写真画像を画像データに変換するサービスが提供されている。銀塩ネガフィルムには、化学反応によって写真画像を形成しているため、これを長期間保存すると、ある程度退色などの画質の劣化が起こりうる。このため、長期間保存した銀塩ネガフィルムの写真画像をそのままデータ化すると、画質が劣化した状態で画像データが保存されてしまい好ましくない。

特許文献１によると、予め、銀塩ネガフィルムが保存された期間に応じて、写真画像の画質の劣化特性を示す統計データを収集しておく。銀塩ネガフィルムに写し込まれた写真画像の右下に、銀塩カメラのデート機能を用いて、撮影日が写し込まれている場合、スキャナーを用いて、写真画像の右下の撮影日をＯＣＲ機能により読み取る。写真画像をデータ化する際に、ＯＣＲ機能により読み取った撮影日からの経過期間に応じて、上記の写真画像の画質の劣化特性を示す統計データに基づいて、写真画像の補正処理を行う。こうして、保存された期間における画質の劣化の程度に応じて、写真画像の補正を行える。

特開２００１－３３１７８１号公報

上記の通り、特許文献１によると、写真画像に写し込まれた撮影日をＯＣＲ機能により読み取り、読み取った撮影日からの経過期間に対する写真画像の画質の劣化の程度に応じて、写真画像の補正を行っている。

しかし、銀塩ネガフィルムに写し込まれた全ての写真画像に、撮影日が写し込まれているわけではないので、撮影日からの経過期間を知ることができない場合がある。この場合、劣化した写真画像の画質を、経過期間に応じて、適正に補正できない、という問題がある。また、写真画像が印画紙にプリントされた場合にも、同じ問題がある。

本開示は、上記問題を解決し、写真画像に撮影日が写し込まれていない場合であっても、経年により劣化した写真画像を、経過期間に応じて、補正できる画像補正装置、画像補正方法及び画像形成装置を提供することを目的とする。

上記目的を達成するため、本開示の一態様は、シート上に形成された写真画像を補正する画像補正装置であって、写真画像を取得する画像取得手段と、人工知能により推認した前記写真画像の形成時期を取得する時期取得手段と、取得した形成時期からの経過期間に応じた写真画像の劣化を補正するための補正係数を取得する係数取得手段と、取得した補正係数に基づいて、取得した写真画像を補正する画像補正手段とを備え、前記人工知能は、少なくとも前記写真画像内のオブジェクトの形状の情報を用いて、前記写真画像の形成時期を推認することを特徴とする。

ここで、さらに、人工知能を有し、人工知能により、取得した前記写真画像内のオブジェクトの特徴量として、前記写真画像の形成時期を、推認する認識手段を備え、前記時期取得手段は、前記認識手段から、前記写真画像の形成時期を取得してもよい。

ここで、前記画像補正装置は、ネットワークを介して、サーバー装置に接続されており、さらに、前記写真画像をサーバー装置に対して送信する送信手段を備え、前記サーバー装置は、人工知能を有し、人工知能により、受信した前記写真画像内のオブジェクトの特徴量として、前記写真画像の形成時期を、推認する認識手段を備え、前記時期取得手段は、前記サーバー装置から、前記形成時期を取得してもよい。

ここで、さらに、取得した形成時期からの経過期間に対応付けて、写真画像の劣化を補正するための補正係数を記憶している記憶手段を備え、前記係数取得手段は、前記記憶手段から、取得した形成時期からの経過期間に対応する前記補正係数を読み出すことにより、取得してもよい。

ここで、前記認識手段は、さらに、前記写真画像内のオブジェクト及びオブジェクトの種別を推認により抽出し、前記記憶手段は、オブジェクトの種別毎に、前記経過期間に対応付けて、前記補正係数を記憶しており、前記係数取得手段は、前記記憶手段から、抽出されたオブジェクトの種別及び形成時期からの経過期間に対応する前記補正係数を読み出し、前記画像補正手段は、読み出した補正係数に基づいて、抽出したオブジェクトを補正してもよい。

ここで、さらに、シートの紙種毎に、取得した形成時期からの経過期間に対応付けて、写真画像の劣化を補正するための補正係数を記憶している記憶手段と、前記シートの紙種を取得する紙種取得手段とを備え、前記係数取得手段は、前記記憶手段から、取得した紙種に応じて、取得した形成時期からの経過期間に対応する前記補正係数を読み出すことにより、取得してもよい。

また、本開示の一態様は、上記の画像補正装置を備える画像形成装置であって、当該画像形成装置において用いられる画像形成方式を示す方式情報を取得する方式情報取得手段を備え、前記画像補正装置は、さらに、画像形成方式毎に、取得した形成時期からの経過期間に対応付けて、写真画像の劣化を補正するための補正係数を記憶している記憶手段を備え、前記係数取得手段は、前記記憶手段から、取得した方式情報に応じて、取得した形成時期からの経過期間に対応する補正係数を読み出すことにより、取得してもよい。

また、本開示の一態様は、上記の画像補正装置を備える画像形成装置であるとしてもよい。

また、本開示の一態様は、シート上に形成された写真画像を補正する画像補正装置において用いられる画像補正方法であって、写真画像を取得する画像取得ステップと、人工知能が少なくとも前記写真画像内のオブジェクトの形状の情報を用いて推認した前記写真画像の形成時期を、取得する時期取得ステップと、取得した形成時期からの経過期間に応じた写真画像の劣化を補正するための補正係数を取得する係数取得ステップと、取得した補正係数に基づいて、取得した写真画像を補正する画像補正ステップとを含むことを特徴とする。

本開示の態様によると、写真画像に撮影日が写し込まれていない場合であっても、写真画像から推認により得られた形成時期からの経過期間に応じた補正係数により、経年により劣化した写真画像を補正できる、というすぐれた効果を奏する。

実施の形態１としての画像補正システム１の構成を示す。 （ａ）画像形成装置５の制御回路１００の構成を示すブロック図である。（ｂ）補正係数テーブル１７１のデータ構造の一例を示す。 （ａ）～（ｃ）読み取って得られた写真画像２０１、２１１、２２１を示す。 サーバー装置３の構成を示すブロック図である。 ニューラルネットワーク３５０の構成を示すブロック図である。 （ａ）ニューラルネットワーク３５０の一つのニューロンＵを示す模式図である。（ｂ）ニューラルネットワーク３５０に設定されるニューロン設定テーブル３６０である。 （ａ）ニューラルネットワーク３５０における事前学習（訓練）の際のデータの伝搬モデルを模式的に示す図である。（ｂ）ニューラルネットワーク３５０における実地推論の際のデータの伝搬モデルを模式的に示す図である。 画像補正システム１における動作を示すフローチャートである。 （ａ）補正係数テーブル２４１のデータ構造の一例を示す。（ｂ）補正係数テーブル２５１のデータ構造の一例を示す。（ｃ）補正係数テーブル２６１のデータ構造の一例を示す。 （ａ）補正係数テーブル２７１のデータ構造の一例を示す。（ｂ）補正係数テーブル２８１のデータ構造の一例を示す。

１ 実施の形態１
１．１ 画像補正システム１
実施の形態１としての画像補正システム１について、図１を用いて、説明する。

画像補正システム１は、サーバー装置３と画像形成装置５とから構成され、サーバー装置３と画像形成装置５は、ネットワーク２を介して、接続されている。

画像形成装置５は、写真の原稿から、経年により色あせた写真画像を読み取る。写真画像に画像形成当初の年月日が印字されている場合には、その写真画像から、形成時期として、その年月日を抽出する。写真画像に画像形成当初の年月日が印字されていない場合には、写真画像をサーバー装置３に対して送信する。

サーバー装置３は、画像形成装置５から写真画像を受信し、後述するニューラルネットワーク３５０により、写真画像から、当該写真画像が形成された時期を推定し、写真画像に含まれるオブジェクト及びオブジェクトの種別を認識して抽出する。サーバー装置３は、画像形成装置５に対して、写真画像が形成された形成時期、抽出したオブジェクト及びオブジェクトの種別を送信する。

画像形成装置５（画像補正装置）は、写真画像が形成された形成時期に応じた補正係数により、写真画像内のオブジェクトを補正する。

この補正により、画像形成装置５は、経年により色あせた写真画像を、色あせる前の当初の写真画像に近づけることができる。

１．２ 画像形成装置５
（１）画像形成装置５の構成
画像形成装置５は、図１に示すように、スキャナー、プリンター及びコピー機の機能を有するタンデム型のカラー複合機（ＭＦＰ：MultiFunction Peripheral）である。

画像形成装置５は、この図に示すように、筐体底部に、記録シートを収容し、給送する給紙部１３が設けられている。給紙部１３の上方には、電子写真方式により画像を形成するプリンター１２が設けられている。プリンター１２のさらに上方に、原稿を読み取って画像データを生成するイメージリーダー１１、及び、操作画面を表示し、利用者から入力操作を受け付ける操作パネル１９が設けられている。

イメージリーダー１１は、自動原稿搬送装置を有している。自動原稿搬送装置は、原稿トレイにセットされた写真原稿等を、搬送路を介して、１枚ずつ原稿ガラス板へ搬送する。イメージリーダー１１（画像取得手段）は、自動原稿搬送装置によって原稿ガラス板の所定位置に搬送された写真原稿等、又は、利用者により原稿ガラス板の上に載置された写真原稿等をスキャナーの移動によって読み取り、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）の多値デジタル信号からなる画像データを得る。ここで、イメージリーダー１１は、印画紙の画像を読み取ってもよいし、銀塩フィルムの画像を読み取ってもよい。

イメージリーダー１１で得られた各色成分の画像データは、制御回路１００において各種のデータ処理を受ける。画像データが印刷される際には、制御回路１００において、更にイエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、ブラック（Ｋ）の各再現色の画像データに変換される。

プリンター１２は、駆動ローラーと従動ローラーとバックアップローラーとにより張架される中間転写ベルト２１、二次転写ローラー２２、中間転写ベルト２１に対向して中間転写ベルト２１の走行方向Ｘに沿って所定間隔で配置された作像部２０Ｙ、２０Ｍ、２０Ｃ、２０Ｋ、定着部５０、制御回路１００等からなる。

作像部２０Ｙ、２０Ｍ、２０Ｃ、２０Ｋは、それぞれ、Ｙ、Ｍ、Ｃ、Ｋ色のトナー像を作像する。一例として、作像部２０Ｋは、像担持体である感光体ドラム、感光体ドラムの表面を露光走査するためのＬＥＤアレイ、帯電装置、現像ローラーを備えた現像装置、クリーナー及び一次転写ローラーなどからなる。作像部２０Ｙ、２０Ｍ、２０Ｃも、作像部２０Ｋと同様の構成を有している。

給紙部１３は、サイズの異なる記録シートを収容する給紙カセット６０、６１、６２と、この記録シートを各給紙カセットから搬送路に繰り出すためのピックアップローラー６３、６４、６５とから構成されている。

作像部２０Ｋにおいて、感光体ドラムの周面は、帯電装置により一様に、マイナス極性に帯電され、ＬＥＤアレイにより露光され、感光体ドラムの表面に静電潜像が形成される。静電潜像は、現像装置により現像され、感光体ドラムの表面にＫ色のトナー像が形成される。

トナー像は、中間転写ベルト２１の裏面側に配設された一次転写ローラーの静電作用により、中間転写ベルト２１の表面上に順次転写される。作像部２０Ｙ～２０Ｃのそれぞれにおいても、同様である。

中間転写ベルト２１上で、Ｙ～Ｋ色のトナー像が多重転写されるように、各色の作像タイミングがずらされている。

一方、給紙部１３のいずれかの給紙カセットから、作像部２０Ｙ～２０Ｋによる作像動作に合わせて、記録シートが給送される。

記録シートは、二次転写ローラー２２とバックアップローラーとが中間転写ベルト２１を挟んで対向する二次転写位置へと搬送路上を搬送され、二次転写位置で、二次転写ローラー２２の静電的作用により、中間転写ベルト２１上で多重転写されたＹ～Ｋ色のトナー像が記録シートへ二次転写される。Ｙ～Ｋ色のトナー像が二次転写された記録シートは、さらに定着部５０まで搬送される。

記録シートの表面のトナー像は、定着部５０の加熱ローラーとこれに圧接された加圧ローラーとの間に形成される定着ニップを通過する際に、加熱及び加圧により、記録シートの表面に融着して定着され、記録シートは、定着部５０を通過した後、排出トレイ１５へ送出される。

操作パネル１９には、液晶表示板などで構成される表示部が設けられ、利用者によって設定された内容、各種のメッセージ等を表示する。操作パネル１９（紙種取得手段）は、利用者から、操作指示を受け付ける。操作指示は、コピー開始の指示、コピー枚数の設定、コピー条件の設定、データの出力先の設定、写真原稿をスキャンするスキャン指示、写真画像の色あせの補正を行なう補正指示、スキャンの対象である原稿の紙種（普通紙であるか印画紙であるかなど）の指定等を含む。操作パネル１９は、操作指示を制御回路１００に通知する。

（２）制御回路１００
制御回路１００は、図２（ａ）に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５３、画像メモリ１５４、画像処理回路１５５、ネットワーク通信回路１５６、スキャナー制御回路１５７、入出力回路１５８、プリンター制御回路１５９、入出力回路１６０、記憶回路１６１及びバス１６６等から構成されている。

ＣＰＵ１５１、ＲＯＭ１５２、ＲＡＭ１５３、画像メモリ１５４、画像処理回路１５５、ネットワーク通信回路１５６、スキャナー制御回路１５７、入出力回路１５８、プリンター制御回路１５９及び入出力回路１６０は、バス１６６を介して、相互に接続されている。記憶回路１６１は、入出力回路１６０に接続されている。

ＲＡＭ１５３は、各種の制御変数及び操作パネル１９により設定されたコピー枚数等のデータを一時的に記憶すると共に、ＣＰＵ１５１によるプログラム実行時のワークエリアを提供する。

ＲＯＭ１５２には、コピー動作などの各種ジョブを実行させるための制御プログラム等が格納されている。また、ＲＯＭ１５２には、画像形成装置５における印刷方式（この例においては、電子写真方式）を示す印刷方式情報が格納されている。

ＣＰＵ１５１は、ＲＯＭ１５２に記憶されている制御プログラムに従って動作する。

画像メモリ１５４は、イメージリーダー１１により読み取った画像、プリントジョブ等に含まれる画像を一時的に記憶する。

画像処理回路１５５は、後述する統括制御部１４２から、補正係数を受け取る。次に、画像処理回路１５５（画像補正手段）は、画像メモリ１５４に記憶している写真画像内の全ての画素について、又は、写真画像内の指定されたオブジェクトについて、次の式により、各画素の階調値に、受け取った補正係数を加算することにより、写真画像の補正をする。なお、ここでは、ＲＧＢ空間の例を示している。

赤の画素の階調値＝赤の画素の階調値＋赤の補正係数
緑の画素の階調値＝緑の画素の階調値＋緑の補正係数
青の画素の階調値＝青の画素の階調値＋青の補正係数
また、画像処理回路１５５は、例えば、イメージリーダー１１で得られたＲ、Ｇ、Ｂの各色成分の画像データに対して、画像データが印刷される際に、各種のデータ処理を施して、Ｙ、Ｍ、Ｃ、Ｋの各再現色の画像データに変換する。

ネットワーク通信回路１５６は、ネットワーク２を介して、外部の装置に対して、データを送信する。例えば、ネットワーク通信回路１５６（送信手段）は、ネットワーク２を介して、サーバー装置３に対して、写真画像を送信する。また、ネットワーク通信回路１５６は、ネットワーク２を介して、外部の装置からデータを受信する。例えば、ネットワーク通信回路１５６（時期取得手段）は、ネットワーク２を介して、サーバー装置３から、写真画像が形成された形成時期、オブジェクト及びオブジェクトの種別を受信する。

スキャナー制御回路１５７は、イメージリーダー１１を制御し、原稿の読み取り動作を実行させる。スキャナー制御回路１５７は、イメージリーダー１１の読取りにより、得られた画像を画像メモリ１５４に書き込む。例えば、イメージリーダー１１の読取りにより、印画紙に印刷された写真画像を読み取った場合、スキャナー制御回路１５７は、得られた写真画像を、写真画像１８１として、画像メモリ１５４に書き込む。

入出力回路１５８は、操作パネル１９から入力信号を受信し、受信した入力信号を主制御部１４１に対して、出力する。また、主制御部１４１から、画像を受信し、受信した画像を操作パネル１９に対して出力して、表示させる。

プリンター制御回路１５９は、プリンター１２を制御し、画像形成動作を実行させる。

入出力回路１６０は、統括制御部１４２の制御により、記憶回路１６１に対して、データを書き込み、記憶回路１６１から、データを読み出す。一例として、入出力回路１６０（係数取得手段）は、画像処理回路１５５の制御により、記憶回路１６１から、形成時期に対応する補正係数を補正係数テーブル１７１から読み出し、読み出した補正係数を画像処理回路１５５に対して、出力する。

記憶回路１６１については、次に説明する。

（３）記憶回路１６１
記憶回路１６１は、一例として、半導体メモリから構成されている。

記憶回路１６１（記憶手段）は、人物の顔画像を補正するための補正係数テーブル１７１を予め記憶している。その他、記憶回路１６１は、用途に応じて、例えば、写真画像に含まれるオブジェクトの種別に応じて、スキャンの対象となる原稿の紙種に応じて、又は、画像形成装置５における印刷方式に応じて、その他の補正係数テーブルを予め記憶している。ここで、オブジェクトの種別は、オブジェクトが、例えば、海、空、森、人物の顔等であることを示し、印刷方式は、一例として、電子写真方式、インクジェット方式等である。

（補正係数テーブル１７１）
補正係数テーブル１７１は、経年により色あせた写真画像のうち、人物の顔画像を補正するための補正係数を記憶している。

補正係数テーブル１７１は、予め、写真画像が形成された印画紙が保存された期間に応じて、印画紙上に形成された写真画像の画質の劣化特性を示す統計データを収集しておくことにより、生成される。

補正係数テーブル１７１は、図２（ｂ）に一例として示すように、複数の補正係数情報１７２を含んでいる。各補正係数情報１７２は、年範囲１７３及び補正係数１７４の組からなる。

年範囲１７３は、印画紙上に写真画像が形成された年を示す。

一例として、図２（ｂ）に示すように、各補正係数情報１７２には、年範囲１７３として、「～２０２０」、「～２０１５」、「～２０１０」、「～２００５」、「～２０００」、「～１９５０」が含まれている。

ここで、年範囲１７３「～１９５０」は、１９５０年から１９９９年までを示し、年範囲１７３「～２０００」は、２０００年から２００４年までを示し、年範囲１７３「～２００５」は、２００５年から２００９年までを示す。年範囲１７３「～２０１０」は、２０１０年から２０１４年までを示し、年範囲１７３「～２０１５」は、２０１５年から２０１９年までを示し、年範囲１７３「～２０２０」は、２０２０年以降を示す。

なお、形成時期が１９４５年以前の場合、年範囲１７３「～１９５０」に含めてもよい。

補正係数１７４は、当該補正係数１７４に対応する年範囲１７３内に形成された写真画像のうち、人物の顔画像を補正する際に、用いられる。補正係数１７４は、Ｒ（赤）の補正係数１７４ａ、Ｇ（緑）の補正係数１７４ｂ及びＢ（青）の補正係数１７４ｃからなる。

Ｒの補正係数１７４ａは、赤色の画素に対して施される補正係数を示し、Ｇの補正係数１７４ｂは、緑色の画素に対して施される補正係数を示し、Ｂの補正係数１７４ｃは、青色の画素に対して施される補正係数を示す。

写真画像の各画素を補正する際には、各画素のＲ成分の階調値、Ｇ成分の階調値及びＢ成分の階調値に対して、それぞれ、Ｒの補正係数１７４ａの値、Ｇの補正係数１７４ｂの値、及び、Ｂの補正係数１７４ｃの値が加算される。

この補正により、経年により色あせた写真画像のうち、人物の顔画像を、色あせる前の当初の人物の顔画像に近づけることができる。

その他の補正係数テーブルについては、後述する。

（４）画像データの例
図３（ａ）～（ｃ）に、一例として、イメージリーダー１１による読取りにより、得られた写真画像２０１、２１１、２２１を示す。

写真画像２０１には、複数の人物とともに、学校の卒業式の看板が写り込んでいる。

また、写真画像２１１には、複数の人物とともに、スポーツイベントの会場を案内する看板が写り込んでいる。写真画像２１１に、写り込んでいる人物の服装は、撮影された時期に流行したデザインのものである。その他、当時、使用されていた乗用車が写り込んでいるとしてもよい。これらの服装のデザインや乗用車の形状は、撮影された時期を特定するための特徴として用いられる。

また、写真画像２１１には、複数の人物が写り込んでいる。写真画像２１１の右下には、撮影がされた年月日が印字されている。

（５）主制御部１４１
主制御部１４１は、ＣＰＵ１５１、ＲＯＭ１５２及びＲＡＭ１５３から構成されている。ＣＰＵ１５１が、ＲＯＭ１５２に記憶されている制御プログラムに従って動作することにより、主制御部１４１は、その機能を果たす。

主制御部１４１は、図２（ａ）に示すように、統括制御部１４２及びＯＣＲ処理部１４３から構成されている。

（ａ）統括制御部１４２
ＣＰＵ１５１が、制御プログラムに従って動作することにより、統括制御部１４２は、画像メモリ１５４、画像処理回路１５５、ネットワーク通信回路１５６、スキャナー制御回路１５７、入出力回路１５８、プリンター制御回路１５９、入出力回路１６０等を統一的に制御する。また、統括制御部１４２は、ＯＣＲ処理部１４３を制御する。

統括制御部１４２（方式情報取得手段）は、ＲＯＭ１５２から、印刷方式を示す印刷方式情報を読み出す。

統括制御部１４２は、操作パネル１９から、入出力回路１５８を介して、操作者の操作指示を受け付ける。操作指示は、写真原稿をスキャンするスキャン指示、写真画像の色あせの補正を行なう補正指示、スキャンの対象である原稿の紙種の指定等を含む。

スキャン指示を受け付けた場合、統括制御部１４２は、スキャナー制御回路１５７に対して、イメージリーダー１１により、写真原稿を読み取って、写真画像を生成するように、制御する。得られた写真画像は、写真画像１８１として、画像メモリ１５４に書き込まれる。

また、統括制御部１４２は、補正指示を受け付けたか否かを判断する。

補正指示を受け付けていないと判断する場合、統括制御部１４２は、写真画像の補正処理を実行しない。

補正指示を受け付けたと判断する場合、統括制御部１４２は、ＯＣＲ処理部１４３に対して、写真画像を出力し、写真画像から日付データを読み取るように、制御する。

統括制御部１４２は、ＯＣＲ処理部１４３から処理結果を受け取る。処理結果が写真画像内に日付データが存在することを示す場合、統括制御部１４２は、ＯＣＲ処理部１４３から日付データを受信し、受信した日付データを形成時期として、特定する。

処理結果が写真画像内に日付データが存在しないことを示す場合、統括制御部１４２は、ネットワーク通信回路１５６に対して、得られた写真画像を、ネットワーク２を介して、サーバー装置３に送信するように、制御する。

統括制御部１４２は、サーバー装置３から、ネットワーク２及びネットワーク通信回路１５６を介して、１又は複数のオブジェクト、それらのオブジェクトの種別及び形成時期を受信する。

統括制御部１４２は、オブジェクトの種別、紙種の指定及び印刷方式情報を用いて、オブジェクト毎に、記憶回路１６１に記憶されている複数の補正係数テーブルから、一つの補正係数テーブルを選択する。

統括制御部１４２は、形成時期を受信すると、入出力回路１６０に対して、記憶回路１６１から、選択した補正係数テーブルを読み出すように、制御する。次に、統括制御部１４２は、読み出した補正係数テーブルから、受信した形成時期に対応する補正係数を抽出する。

次に、統括制御部１４２は、抽出した補正係数を画像処理回路１５５に対して、出力する。

また、統括制御部１４２は、写真画像のうち、受信したオブジェクトを、画像処理回路１５５に対して、指定する。

統括制御部１４２は、画像処理回路１５５に対して、写真画像のうち、受信したオブジェクトの補正をするように、制御する。

統括制御部１４２は、画像処理回路１５５から、写真画像の補正の終了通知を受信する。

画像処理回路１５５から、写真画像の補正の終了通知を受信すると、統括制御部１４２は、プリンター制御回路１５９に対して、補正された写真画像を印刷するように、制御する。その結果、プリンター１２は、補正された写真画像の印刷を実行する。

（ｂ）ＯＣＲ処理部１４３
ＯＣＲ処理部１４３は、統括制御部１４２から、写真画像を受信する。

ＯＣＲ処理部１４３は、受信した写真画像に、ＯＣＲ処理を施す。その結果、写真画像に、日付データが含まれている場合、日付データが存在する旨の処理結果、及び、得られた日付データを、統括制御部１４２に対して、出力する。一方、写真画像に、日付データが含まれていない場合、日付データが存在しない旨の処理結果を、統括制御部１４２に対して、出力する。

１．３ 補正係数テーブルの選択
統括制御部１４２は、次に示すようにして、オブジェクトの種別、紙種の指定及び印刷方式情報を用いて、記憶回路１６１に記憶されている複数の補正係数テーブルから、一つの補正係数テーブルを選択する。

（１）記憶回路１６１は、さらに、図９（ａ）～（ｃ）に示すように、青色に対応する補正係数テーブル２４１、赤色に対応する補正係数テーブル２５１、緑色に対応する補正係数テーブル２６１を記憶していてもよい。

補正係数テーブル２４１、補正係数テーブル２５１及び補正係数テーブル２６１は、それぞれ、補正係数テーブル１７１と同じデータ構造を有しているので、補正係数テーブル２４１、補正係数テーブル２５１及び補正係数テーブル２６１についての説明を省略する。

青色に対応する補正係数テーブル２４１は、例えば、青空のオブジェクトに対して用いることができ、赤色に対応する補正係数テーブル２５１は、例えば、夕焼け空のオブジェクトに対して用いることができ、緑色に対応する補正係数テーブル２６１、例えば、森のオブジェクトに対して用いることができる。

上述したように、統括制御部１４２は、サーバー装置３からオブジェクトの種別を受信する。

オブジェクトの種別が、人物の顔のオブジェクトであることを示す場合、統括制御部１４２は、図２（ａ）に示す補正係数テーブル１７１を選択する。

オブジェクトの種別が、青空のオブジェクトであることを示す場合、統括制御部１４２は、図９（ａ）に示す補正係数テーブル２４１を選択する。

オブジェクトの種別が、夕焼け空のオブジェクトであることを示す場合、統括制御部１４２は、図９（ｂ）に示す補正係数テーブル２５１を選択する。

オブジェクトの種別が、森のオブジェクトであることを示す場合、統括制御部１４２は、図９（ｃ）に示す補正係数テーブル２６１を選択する。

次に、統括制御部１４２は、選択した補正係数テーブルから、受信した形成時期に対応する補正係数を抽出し、抽出した補正係数を画像処理回路１５５に対して、出力する。

画像処理回路１５５は、補正係数を受信し、受信した補正係数を用いて、写真画像内のオブジェクトを補正する。

これにより、オブジェクトの種別に応じて、劣化した写真画像の補正を行なうことができる。

（２）上述したように、操作パネル１９は、利用者から、スキャンの対象である原稿の紙種の指定を受け付ける。紙種は、例えば、普通紙、印画紙等である。統括制御部１４２は、入出力回路１５８を介して、操作パネル１９から、紙種の指定を受け取る。

また、統括制御部１４２は、形成時期を受信する。

記憶回路１６１は、さらに、図１０（ａ）に一例として示すように、紙種に対応する補正係数テーブル２７１を記憶していてもよい。

補正係数テーブル２７１は、印画紙及び普通紙上に形成された写真画像が経年により色あせた場合に、補正するための補正係数を記憶している。

補正係数テーブル２７１は、予め、写真画像が形成された印画紙及び普通紙が保存された期間に応じて、印画紙及び普通紙上に形成された写真画像の画質の劣化特性を示す統計データを収集しておくことにより、生成される。

補正係数テーブル２７１は、複数の補正係数情報２７２を含んでいる。各補正係数情報２７２は、年範囲２７３及び補正係数２７４の組からなる。補正係数２７４は、印画紙の明度Ｌ（２７４ａ）及び普通紙の明度Ｌ（２７４ｂ）を含む。

年範囲２７３は、印画紙上又は普通紙上に写真画像が形成された年を示す。

一例として、図１０（ａ）に示すように、補正係数テーブル２７１には、年範囲２７３として、「～２０２０」、「～２０１５」、「～２０１０」、「～２００５」、「～２０００」、「～１９５０」が含まれている。

これらは、図２（ｂ）に示す補正係数テーブル１７１における年範囲１７３と同様であるので、説明を省略する。

印画紙の明度Ｌ（２７４ａ）は、印画紙上に形成された写真画像を補正する際に、用いられ、普通紙の明度Ｌ（２７４ｂ）は、印画紙上に形成された写真画像を補正する際に、用いられる。

印画紙の明度Ｌ（２７４ａ）及び普通紙の明度Ｌ（２７４ｂ）は、それぞれ、Ｌａｂ色空間における明度を示す。

統括制御部１４２は、印画紙の紙種の指定を受け取った場合、補正係数テーブル２７１から、受け取った紙種の指定及び受信した形成時期に対応する印画紙の明度Ｌ（２７４ａ）を抽出する。一方、統括制御部１４２は、普通紙の紙種の指定を受け取った場合、補正係数テーブル２７１から、受け取った紙種の指定及び受信した形成時期に対応する印画紙の普通紙の明度Ｌ（２７４ｂ）を抽出する。

統括制御部１４２は、抽出した明度Ｌを、画像処理回路１５５に対して、出力する。

画像処理回路１５５は、統括制御部１４２から明度Ｌを受け取り、受け取った明度Ｌを、写真画像１８１の明度Ｌに加算することにより、写真画像１８１の明度Ｌを補正する。

（３）画像形成装置５は、電子写真方式により、印刷を行う。なお、画像形成装置５は、インクジェット方式により、印刷を行うとしてもよい。この場合、画像形成装置５のＲＯＭ１５２は、インクジェット方式を示す印刷方式情報を記憶している。

記憶回路１６１は、さらに、図１０（ｂ）に一例として示すように、印刷方式に対応する補正係数テーブル２８１を記憶していてもよい。

ここで、補正係数テーブル２８１は、電子写真方式の画像形成装置及び安価なインクジェット方式の画像形成装置に対応している。

補正係数テーブル２８１は、電子写真方式の画像形成装置及び安価なインクジェット方式の画像形成装置により印画紙上に形成された写真画像が経年により色あせた場合に、補正するための補正係数を記憶している。

補正係数テーブル２８１は、予め、写真画像が形成された印画紙が保存された期間に応じて、印画紙上に形成された写真画像の画質の劣化特性を示す統計データを収集しておくことにより、生成される。

補正係数テーブル２８１は、複数の補正係数情報２８２を含んでいる。各補正係数情報２８２は、年範囲２８３及び補正係数２８４の組からなる。補正係数２７４は、安価なインクジェットの明度Ｌ（２８４ａ）及び電子写真方式の明度Ｌ（２８４ｂ）を含む。

年範囲２８３は、印画紙上又は普通紙上に写真画像が形成された年を示す。年範囲２８３は、図２（ｂ）に示す補正係数テーブル１７１における年範囲１７３と同様であるので、説明を省略する。

明度Ｌ（２８４ａ）は、安価なインクジェット方式の画像形成装置により印画紙上に形成された写真画像を補正する際に、用いられ、明度Ｌ（２８４ｂ）は、電子写真方式の画像形成装置により印画紙上に形成された写真画像を補正する際に、用いられる。

明度Ｌ（２８４ａ）及び明度Ｌ（２８４ｂ）は、それぞれ、Ｌａｂ色空間における明度を示す。

統括制御部１４２は、ＲＯＭ１５２から印刷方式情報を読み出す。

ＲＯＭ１５２から読み出した印刷方式情報が電子写真方式を示す場合、統括制御部１４２は、補正係数テーブル２８１から、読み出した印刷方式情報及び受信した形成時期に対応する明度Ｌ（２８４ｂ）を抽出する。

一方、ＲＯＭ１５２から読み出した印刷方式情報がインクジェット方式を示す場合、統括制御部１４２は、補正係数テーブル２８１から、読み出した印刷方式情報及び受信した形成時期に対応する明度Ｌ（２８４ａ）を抽出する。

統括制御部１４２は、抽出した明度Ｌを、画像処理回路１５５に対して、出力する。

画像処理回路１５５は、統括制御部１４２から明度Ｌを受け取り、受け取った明度Ｌを、写真画像１８１の明度Ｌに加算することにより、写真画像１８１の明度Ｌを補正する。

これにより、印刷方式に応じて、劣化した写真画像の補正を行なうことができる。

１．４ サーバー装置３
（１）サーバー装置３の構成
サーバー装置３は、図４に示すように、バスＢ１に接続されたＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、記憶回路３０４及びネットワーク通信回路３１１と、バスＢ２に接続されたＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０５、ＲＯＭ３０６、ＲＡＭ３０７及び記憶回路３０８から構成されている。バスＢ１とバスＢ２は、相互に接続されている。

ＲＡＭ３０３は、半導体メモリから構成されている。ＲＡＭ３０３は、ＣＰＵ３０１によるプログラム実行時のワークエリアを提供する。

ＲＯＭ３０２も、不揮発性の半導体メモリから構成されている。ＲＯＭ３０２には、サーバー装置３の機能を実行させるための制御プログラム等が格納されている。なお、記憶回路３０４に制御プログラム等が格納されている、としてもよい。

ＣＰＵ３０１は、ＲＯＭ３０２に記憶されている制御プログラムに従って動作する。

ネットワーク通信回路３１１は、ネットワーク２を介して、外部の装置からデータを受信する。ここで、外部の装置は、一例として、画像形成装置５であり、受信するデータは、一例として、写真画像である。写真画像を受信すると、ネットワーク通信回路３１１は、受信した写真画像を、写真画像３８９として、記憶回路３０４に書き込む。また、ネットワーク通信回路３１１は、ネットワーク２を介して、外部の装置に対して、データを送信する。ここで、外部の装置は、一例として、画像形成装置５であり、送信するデータは、一例として、写真画像３８９から認識により抽出したオブジェクト、オブジェクトの種別、形成時期である。

記憶回路３０４は、不揮発性の半導体メモリから構成されている。なお、記憶回路３０４は、ハードディスクから構成されている、としてもよい。記憶回路３０４は、認識の対象となる写真画像３８９を記憶するための領域を備えている。

ＲＡＭ３０７は、不揮発性の半導体メモリから構成されており、ＧＰＵ３０５によるプログラム実行時のワークエリアを提供する。

ＲＯＭ３０６には、後述する認識処理部３２４における処理を実行させるためのコンピュータープログラムである制御プログラム等が格納されている。

ＧＰＵ３０５は、ＲＯＭ３０６に記憶されている制御プログラムに従って動作する。

ＧＰＵ３０５が、ＲＡＭ３０７をワークエリアとして用いて、ＲＯＭ３０６に記憶されている制御プログラムに従って動作することにより、ＧＰＵ３０５、ＲＯＭ３０６及びＲＡＭ３０７は、認識処理部３２４を構成する。

認識処理部３２４には、人工知能として、後述するニューラルネットワーク３５０が組み込まれている。

認識処理部３２４に組み込まれているニューラルネットワーク３５０は、ＧＰＵ３０５が、ＲＯＭ３０６に記憶されている制御プログラムに従って動作することにより、その機能を果たす。

認識処理部３２４（認識手段）は、後述する主制御部３２１から受信した写真画像に対して、ニューラルネットワーク３５０により、認識処理を施して、写真画像内のオブジェクト、オブジェクトの種別、写真画像が形成された形成時期を推認し、オブジェクト、オブジェクトの種別及び形成時期を主制御部３２１に対して、出力する。オブジェクトの例は、人物の全身のオブジェクト、人物の顔部分のオブジェクト、車両のオブジェクト、看板のオブジェクト、家具のオブジェクト、海のオブジェクト、空のオブジェクト、植栽のオブジェクト、森のオブジェクト等である。

記憶回路３０８は、後述するニューロン設定テーブル３６０を記憶している。

（２）ニューラルネットワーク３５０
ニューラルネットワーク３５０について、図５を用いて、説明する。

（ａ）ニューラルネットワーク３５０の構造
ニューラルネットワーク３５０は、この図に示すように、入力層３５０ａ、特徴抽出層３５０ｂ及び認識層３５０ｃを有する階層型のニューラルネットワークである。

ここで、ニューラルネットワークとは、人間の神経ネットワークを模倣した情報処理システムのことである。ニューラルネットワーク３５０において、神経細胞に相当する工学的なニューロンのモデルを、ここではニューロンＵと呼ぶ。入力層３５０ａ、特徴抽出層３５０ｂ及び認識層３５０ｃは、それぞれ複数のニューロンＵを有して構成されている。

入力層３５０ａは、通常、１層からなる。入力層３５０ａの各ニューロンＵは、例えば１枚の画像を構成する各画素の画素値をそれぞれ受信する。受信した画像値は、入力層３５０ａの各ニューロンＵから特徴抽出層３５０ｂにそのまま出力される。

特徴抽出層３５０ｂは、入力層３５０ａから受信したデータ（例えば、１枚の画像を構成する全ての画素値）から特徴を抽出して認識層３５０ｃに出力する。この特徴抽出層３５０ｂは、各ニューロンＵでの演算により、受信した画像から、オブジェクトが占める領域を抽出する。

認識層３５０ｃは、特徴抽出層３５０ｂにより抽出された特徴を用いて識別を行う。認識層３５０ｃは、各ニューロンＵでの演算により、例えば、特徴抽出層３５０ｂにおいて抽出されたオブジェクトの領域から、そのオブジェクトの種別、オブジェクトの属性を識別する。オブジェクトの種別の一例は、人物、植栽、家具、車両、海、森、空等である。オブジェクトの属性の一例は、オブジェクトが形成された年月日（形成時期）である。

ニューロンＵとして、通常、図６（ａ）に示すように、多入力１出力の素子が用いられる。信号は一方向にだけ伝わり、入力された信号ｘｉ（ｉ＝１、２、・・・、ｎ）に、あるニューロン加重値（ＳＵｗｉ）が乗じられて、ニューロンＵに入力される。このニューロン加重値によって、階層的に並ぶニューロンＵ－ニューロンＵ間の結合の強さが表される。ニューロン加重値は、学習によって変化させることができる。ニューロンＵからは、ニューロン加重値ＳＵｗｉが乗じられたそれぞれの入力値（ＳＵｗｉ×ｘｉ）の総和からニューロン閾値θＵを引いた値Ｘが応答関数ｆ（Ｘ）による変形を受けた後、出力される。つまり、ニューロンＵの出力値ｙは、以下の数式で表される。

ｙ＝ｆ（Ｘ）
ここで、
Ｘ＝Σ（ＳＵｗｉ×ｘｉ）－θＵ
である。なお、応答関数としては、例えば、シグモイド関数を用いることができる。

入力層３５０ａの各ニューロンＵは、通常、シグモイド特性やニューロン閾値をもたない。それゆえ、入力値がそのまま出力に表れる。一方、認識層３５０ｃの最終層（出力層）の各ニューロンＵは、認識層３５０ｃでの識別結果を出力することになる。

ニューラルネットワーク３５０の学習アルゴリズムとしては、例えば、正解を示す値（データ）と認識層３５０ｃからの出力値（データ）との２乗誤差が最小となるように、最急降下法を用いて認識層３５０ｃのニューロン加重値等及び特徴抽出層３５０ｂのニューロン加重値等を順次変化させていく誤差逆伝播法（バックプロパゲーション）が用いられる。

（ｂ）訓練工程
ニューラルネットワーク３５０における訓練工程について説明する。

訓練工程は、ニューラルネットワーク３５０の事前学習を行う工程である。訓練工程では、事前に入手した正解付き（教師あり、アノテーションあり）の画像データを用いて、ニューラルネットワーク３５０の事前学習を行う。

図７（ａ）に、事前学習の際のデータの伝播モデルを模式的に示している。

画像データは、画像１枚毎に、ニューラルネットワーク３５０の入力層３５０ａに入力され、入力層３５０ａから特徴抽出層３５０ｂに出力される。特徴抽出層３５０ｂの各ニューロンＵでは、入力データに対してニューロン加重値付きの演算が行われる。この演算により、特徴抽出層３５０ｂでは、入力データから特徴（例えば、オブジェクトが占める領域）が抽出されるとともに、抽出した特徴を示すデータが、認識層３５０ｃに出力される（ステップＳ５１）。

認識層３５０ｃの各ニューロンＵでは、入力データに対するニューロン加重値付きの演算が行われる（ステップＳ５２）。これによって、上記特徴に基づく識別（例えば、オブジェクトの属性の識別）が行われる。識別結果を示すデータは、認識層３５０ｃから出力される。

認識層３５０ｃの出力値（データ）は、正解を示す値と比較され、これらの誤差（ロス）が算出される（ステップＳ５３）。この誤差が小さくなるように、認識層３５０ｃのニューロン加重値等及び特徴抽出層３５０ｂのニューロン加重値等を順次変化させる（バックプロパゲーション）（ステップＳ５４）。これにより、認識層３５０ｃ及び特徴抽出層３５０ｂを学習させる。

上記の訓練工程の結果、次に示すニューロン設定テーブル３６０が生成される。

なお、ここで説明した訓練工程は、サーバー装置３とは別の訓練装置において、実施され、サーバー装置３においては、実施されない。訓練装置において、生成されたニューロン設定テーブル３６０がサーバー装置３に対して送信され、サーバー装置３は、ニューロン設定テーブル３６０を受信し、受信したニューロン設定テーブル３６０を記憶回路３０８（図４）に書き込む。

ここで、教師データと正解を示す値の組合せの例は、次の通りである。

乗用車を写した写真と、この乗用車が最初に販売された年月日
女性の服装を写した写真と、その撮影日
女性の髪形を写した写真と、その撮影日
男性の服装を写した写真と、その撮影日
スポーツイベントを写した写真と、その撮影日
（ｃ）ニューロン設定テーブル３６０
上記の訓練工程を経た結果、図６（ｂ）に示すニューロン設定テーブル３６０が生成される。ニューロン設定テーブル３６０は、上記の通り、図４に示す記憶回路３０８内に保持される。

ニューロン設定テーブル３６０は、図６（ｂ）に示すように、複数のニューロン情報３６１から構成されている。各ニューロン情報３６１は、上述した各ニューロンＵに対応する。

各ニューロン情報３６１は、ニューロン番号３６２、ニューロン加重値３６３及びニューロン閾値３６４を含んでいる。

ニューロン番号３６２は、各ニューロンＵを識別する番号である。

ニューロン加重値３６３及びニューロン閾値３６４は、それぞれ、上記において説明したニューロン加重値及びニューロン閾値である。

（ｄ）実地認識工程
ニューラルネットワーク３５０における実地認識工程について説明する。

図７（ｂ）は、上記の訓練工程によって学習されたニューラルネットワーク３５０を用い、実地で得られたデータを入力として実際に認識（例えば、オブジェクトが占める領域の特定及びオブジェクトの属性の認識）を行う場合のデータの伝播モデルを示している。

ニューラルネットワーク３５０における実地認識工程においては、学習された特徴抽出層３５０ｂと、学習された認識層３５０ｃとを用いて、特徴抽出及び認識が行われる（ステップＳ５５）。

（３）主制御部３２１
主制御部３２１は、ＣＰＵ３０１、ＲＯＭ３０２及びＲＡＭ３０３から構成されている。ＣＰＵ３０１が、ＲＯＭ３０２に記憶されている制御プログラムに従って動作することにより、主制御部３２１は、その機能を果たす。

主制御部３２１は、記憶回路３０４、ネットワーク通信回路３１１及び認識処理部３２４等を統一的に制御する。

主制御部３２１は、記憶回路３０４に、写真画像３８９が書き込まれると、記憶回路３０４に書き込まれた写真画像３８９を、バスＢ１、バスＢ２を介して、認識処理部３２４に対して、出力する。

また、主制御部３２１は、認識処理部３２４からオブジェクト、オブジェクトの種別、形成時期を受け取る。主制御部３２１は、ネットワーク通信回路３１１に対して、受け取ったオブジェクト、オブジェクトの種別、形成時期を、ネットワーク２を介して、画像形成装置５に送信するように、制御する。

１．５ 画像補正システム１における動作
画像補正システム１における動作について、図８に示すフローチャートを用いて説明する。

統括制御部１４２は、ＲＯＭ１５２から、印刷方式を示す印刷方式情報を読み出すことにより、印刷方式を取得する（ステップＳ１０１）。

次に、統括制御部１４２は、操作パネル１９から、スキャンの対象である原稿の紙種を取得する（ステップＳ１０２）。

次に、統括制御部１４２は、写真原稿をスキャンするスキャン指示を受け取った場合、スキャナー制御回路１５７に対して、イメージリーダー１１により、写真原稿を読み取って、写真画像を生成するように、制御する（ステップＳ１０３）。

統括制御部１４２は、写真画像の色あせの補正を行なう補正指示を受け付けたか否かを判断する（ステップＳ１０４）。補正指示を受け付けていないと判断する場合（ステップＳ１０４で「しない」）、統括制御部１４２は、ステップＳ１１２に制御を移す。

補正指示を受け付けたと判断する場合（ステップＳ１０４で「する」）、統括制御部１４２は、ＯＣＲ処理部１４３に対して、写真画像を出力し、写真画像から日付データを読み取るように、制御する。画像内に日付データが存在する場合（ステップＳ１０５で「ＹＥＳ」）、統括制御部１４２は、読み取った日付データを形成時期として、特定する（ステップＳ１１３）。次に、統括制御部１４２は、ステップＳ１０９に制御を移す。

画像内に日付データが存在しない場合（ステップＳ１０５で「ＮＯ」）、統括制御部１４２は、ネットワーク通信回路１５６に対して、写真画像を、ネットワーク２を介して、サーバー装置３に送信するように、制御する。ネットワーク通信回路１５６は、写真画像を、ネットワーク２を介して、サーバー装置３に送信する（ステップＳ１０６）。

ネットワーク通信回路３１１は、画像形成装置５から、ネットワーク２を介して、写真画像を受信する（ステップＳ１０６）。

写真画像を受信すると（ステップＳ１０６）、主制御部３２１は、受信した写真画像を認識処理部２３４に出力して、受信した写真画像に対して、認識処理を施すように、指示する。認識処理部２３４は、受信した写真画像に対して、認識処理を施す。その結果、認識処理部２３４は、オブジェクト、オブジェクトの種別、形成時期を推定して出力する（ステップＳ１０７）。

主制御部３２１は、ネットワーク通信回路３１１に対して、得られたオブジェクト、オブジェクトの種別、形成時期を、ネットワーク２を介して、画像形成装置５に対して、送信するように、制御する。ネットワーク通信回路３１１は、得られたオブジェクト、オブジェクトの種別、形成時期を、ネットワーク２を介して、画像形成装置５に対して、送信する（ステップＳ１０８）。

ネットワーク通信回路１５６は、サーバー装置３から、ネットワーク２を介して、オブジェクト、オブジェクトの種別、形成時期を受信する（ステップＳ１０８）。

統括制御部１４２は、オブジェクトの種別、印刷方式、原稿の紙種等に応じて、補正係数テーブルを選択する（ステップＳ１０９）。

統括制御部１４２は、入出力回路１６０を介して、記憶回路１６１から、形成時期に対応する補正係数を補正係数テーブル１７１から読み出し、読み出した補正係数を画像処理回路１５５に対して出力する（ステップＳ１１０）。

統括制御部１４２は、画像処理回路１５５に対して、写真画像の補正をするように、制御し、画像処理回路１５５は、読み出した補正係数を用いて、写真画像を補正する（ステップＳ１１１）。

次に、統括制御部１４２は、プリンター制御回路１５９に対して、補正された写真画像を印刷するように、制御する。プリンター１２は、補正された写真画像の印刷を実行する（ステップＳ１１２）。

以上により、画像補正システム１における動作の説明を終了する。

１．６ まとめ
以上説明したように、画像形成装置５は、人工知能による推認により取得した写真画像が形成された形成時期に応じた、補正係数により、経年により色あせた写真画像を補正する。この補正により、画像形成装置５は、色あせた写真画像を、色あせる前の当初の写真画像に近づけることができる。

２ その他の変形例
なお、本開示を上記の実施の形態に基づいて説明してきたが、本開示は、上記の実施の形態に限定されないのはもちろんである。以下のようにしてもよい。

（１）図２（ｂ）に示す補正係数テーブル１７１は、写真画像が形成された年範囲と補正係数とを含んで構成されている。しかし、これには、限定されない。

記憶回路１６１（記憶手段）は、写真画像が形成された時期からの経過期間と補正係数とを対応付けた補正係数テーブルを、記憶していてもよい。

統括制御部１４２は、得られた形成時期と現在時刻との差分を算出し、算出した差分に相当する経過期間を補正係数テーブルから、検索し、検索により得られた経過期間に対応する補正係数を、補正係数テーブルから、読み出す。統括制御部１４２は、読み出した補正係数を、画像処理回路１５５に対して、出力する。画像処理回路１５５は、補正係数を受け取り、受け取った補正係数を用いて、画像を補正する。

（２）画像形成装置５は、サーバー装置３が有するニューラルネットワーク３５０と同じニューラルネットワークを備え、サーバー装置３が有する認識処理部３２４と同じ認識処理部を備えるとしてもよい。認識処理部（認識手段）は、主制御部３２１から受信した写真画像に対して、ニューラルネットワークにより、認識処理を施して、オブジェクト、オブジェクトの種別、写真画像が形成された形成時期を推認し、オブジェクト、オブジェクトの種別、形成時期を主制御部３２１に対して、出力する。主制御部３２１（時期取得手段）は、形成時期を受け取る。また、主制御部３２１は、オブジェクト、オブジェクトの種別を受け取る。

（３）画像形成装置５の統括制御部１４２は、プリンター制御回路１５９に対して、補正された写真画像を印刷するように、制御し、プリンター１２は、補正された写真画像の印刷を実行している。しかし、これには、限定されない。

統括制御部１４２は、ネットワーク通信回路１５６に対して、補正された写真画像を、ネットワーク２に接続された他の端末装置に対して、送信するように、制御し、ネットワーク通信回路１５６は、補正された写真画像を他の端末装置に対して、送信してもよい。

（４）上記の実施の形態では、画像形成装置５が写真原稿をスキャンして、写真画像を得、得られた写真画像をサーバー装置３に対して、送信する。サーバー装置３は、推認により、写真画像からオブジェクト、オブジェクトの種別、形成時期を取得し、取得したオブジェクト、オブジェクトの種別、形成時期を画像形成装置５に対して、送信する。画像形成装置５は、オブジェクトの種別、原稿の紙種、画像形成装置５の印刷方式情報を用いて、補正係数テーブルを選択し、選択した補正係数テーブルを用いて、写真画像を補正している。しかし、これには、限定されない。次のようにしてもよい。

画像形成装置は、写真原稿をスキャンして、写真画像を得、得られた写真画像をサーバー装置に対して、送信する。また、画像形成装置は、写真画像の紙種及び画像形成装置の印刷方式情報をサーバー装置に対して、送信する。

サーバー装置は、画像形成装置５と同様に、予め、用途に応じて、補正係数テーブルを記憶している。また、サーバー装置は、画像形成装置５の画像処理回路１５５と同様の画像処理回路を備えている。

サーバー装置は、受信した写真画像から、推認により、オブジェクト、オブジェクトの種別、形成時期を取得する。

サーバー装置は、推認により取得したオブジェクトの種別、受信した原稿の紙種、受信した画像形成装置の印刷方式情報を用いて、補正係数テーブルを選択する。サーバー装置（画像補正装置）の画像処理回路は、選択された補正係数テーブルを用いて、写真画像を補正する。

サーバー装置は、補正された写真画像を画像形成装置に対して、送信する。画像形成装置は、補正された写真画像を受信し、受信した写真画像を印刷する。

（５）上記の実施の形態では、画像形成装置５は、オブジェクトの種別、原稿の紙種、印刷方式情報毎に、補正係数テーブルを記憶している。しかし、これには、限定されず、画像形成装置は、補正係数テーブルを記憶していなくてもよい。

画像形成装置に、ネットワークを介して、接続されているサーバー装置がオブジェクトの種別、原稿の紙種、印刷方式情報毎に、補正係数テーブルを記憶していてもよい。

画像形成装置は、サーバー装置に対して、オブジェクトの種別、原稿の紙種、印刷方式情報及び形成時期を送信する。サーバー装置は、オブジェクトの種別、原稿の紙種、印刷方式情報及び形成時期を受信し、記憶している補正係数テーブルから、受信したオブジェクトの種別、原稿の紙種、印刷方式情報に対応する補正係数テーブルを選択する。次に、サーバー装置は、選択した補正係数テーブルから、受信した形成時期に対応する補正係数情報を読み出し、読み出した補正係数情報を画像形成装置に対して、送信する。

画像形成装置は、補正係数情報を受信し、受信した補正係数情報を用いて、写真画像を補正する。

（６）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本開示にかかる画像補正装置は、写真画像から推認により得られた形成された形成時期からの経過期間に応じた補正係数により、経年により色あせた写真画像を補正して、色あせる前の当初の写真画像に近づけることができる、というすぐれた効果を奏し、写真画像を補正する技術として有用である。

１ 画像補正システム
２ ネットワーク
３ サーバー装置
５ 画像形成装置
１１ イメージリーダー
１２ プリンター
１３ 給紙部
１００ 制御回路
１４１ 主制御部
１４２ 統括制御部
１４３ ＯＣＲ処理部
１５１ ＣＰＵ
１５２ ＲＯＭ
１５３ ＲＡＭ
１５４ 画像メモリ
１５５ 画像処理回路
１５６ ネットワーク通信回路
１５７ スキャナー制御回路
１５８ 入出力回路
１５９ プリンター制御回路
１６０ 入出力回路
１６１ 記憶回路
１６６ バス
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ 記憶回路
３０５ ＧＰＵ
３０６ ＲＯＭ
３０７ ＲＡＭ
３０８ 記憶回路
３１１ ネットワーク通信回路
３２１ 主制御部
３２４ 認識処理部
３５０ ニューラルネットワーク
３５０ａ 入力層
３５０ｂ 特徴抽出層
３５０ｃ 認識層

Claims (9)

1. シート上に形成された写真画像を補正する画像補正装置であって、
   写真画像を取得する画像取得手段と、
   人工知能により推認した前記写真画像の形成時期を取得する時期取得手段と、
   取得した形成時期からの経過期間に応じた写真画像の劣化を補正するための補正係数を取得する係数取得手段と、
   取得した補正係数に基づいて、取得した写真画像を補正する画像補正手段と
   を備え、
   前記人工知能は、少なくとも前記写真画像内のオブジェクトの形状の情報を用いて、前記写真画像の形成時期を推認する
   ことを特徴とする画像補正装置。
2. さらに、人工知能を有し、人工知能により、取得した前記写真画像内のオブジェクトの特徴量として、前記写真画像の形成時期を、推認する認識手段を備え、
   前記時期取得手段は、前記認識手段から、前記写真画像の形成時期を取得する
   ことを特徴とする請求項１に記載の画像補正装置。
3. 前記画像補正装置は、ネットワークを介して、サーバー装置に接続されており、
   さらに、前記写真画像をサーバー装置に対して送信する送信手段を備え、
   前記サーバー装置は、人工知能を有し、人工知能により、受信した前記写真画像内のオブジェクトの特徴量として、前記写真画像の形成時期を、推認する認識手段を備え、
   前記時期取得手段は、前記サーバー装置から、前記形成時期を取得する
   ことを特徴とする請求項１に記載の画像補正装置。
4. さらに、取得した形成時期からの経過期間に対応付けて、写真画像の劣化を補正するための補正係数を記憶している記憶手段を備え、
   前記係数取得手段は、前記記憶手段から、取得した形成時期からの経過期間に対応する前記補正係数を読み出すことにより、取得する
   ことを特徴とする請求項２又は３に記載の画像補正装置。
5. 前記認識手段は、さらに、前記写真画像内のオブジェクト及びオブジェクトの種別を推認により抽出し、
   前記記憶手段は、オブジェクトの種別毎に、前記経過期間に対応付けて、前記補正係数を記憶しており、
   前記係数取得手段は、前記記憶手段から、抽出されたオブジェクトの種別及び形成時期からの経過期間に対応する前記補正係数を読み出し、
   前記画像補正手段は、読み出した補正係数に基づいて、抽出したオブジェクトを補正する
   を備えることを特徴とする請求項４に記載の画像補正装置。
6. さらに、
   シートの紙種毎に、取得した形成時期からの経過期間に対応付けて、写真画像の劣化を補正するための補正係数を記憶している記憶手段と、
   前記シートの紙種を取得する紙種取得手段とを備え、
   前記係数取得手段は、前記記憶手段から、取得した紙種に応じて、取得した形成時期からの経過期間に対応する前記補正係数を読み出すことにより、取得する
   ことを特徴とする請求項１に記載の画像補正装置。
7. 請求項１に記載の画像補正装置を備える画像形成装置であって、
   当該画像形成装置において用いられる画像形成方式を示す方式情報を取得する方式情報取得手段を備え、
   前記画像補正装置は、さらに、画像形成方式毎に、取得した形成時期からの経過期間に対応付けて、写真画像の劣化を補正するための補正係数を記憶している記憶手段を備え、
   前記係数取得手段は、前記記憶手段から、取得した方式情報に応じて、取得した形成時期からの経過期間に対応する補正係数を読み出すことにより、取得する
   ことを特徴とする画像形成装置。
8. 請求項１に記載の画像補正装置を備える画像形成装置。
9. シート上に形成された写真画像を補正する画像補正装置において用いられる画像補正方法であって、
   写真画像を取得する画像取得ステップと、
   人工知能が少なくとも前記写真画像内のオブジェクトの形状の情報を用いて推認した前記写真画像の形成時期を、取得する時期取得ステップと、
   取得した形成時期からの経過期間に応じた写真画像の劣化を補正するための補正係数を取得する係数取得ステップと、
   取得した補正係数に基づいて、取得した写真画像を補正する画像補正ステップと
   を含むことを特徴とする画像補正方法。