JP2020021273A - 画像読取装置 - Google Patents

画像読取装置 Download PDF

Info

Publication number
JP2020021273A
JP2020021273A JP2018144368A JP2018144368A JP2020021273A JP 2020021273 A JP2020021273 A JP 2020021273A JP 2018144368 A JP2018144368 A JP 2018144368A JP 2018144368 A JP2018144368 A JP 2018144368A JP 2020021273 A JP2020021273 A JP 2020021273A
Authority
JP
Japan
Prior art keywords
unit
image
character string
character
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018144368A
Other languages
English (en)
Inventor
松前 慶作
Keisaku Matsumae
慶作 松前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2018144368A priority Critical patent/JP2020021273A/ja
Priority to US16/520,883 priority patent/US10943108B2/en
Publication of JP2020021273A publication Critical patent/JP2020021273A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/42Document-oriented image-based pattern recognition based on the type of document
    • G06V30/424Postal images, e.g. labels or addresses on parcels or postal envelopes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/12Detection or correction of errors, e.g. by rescanning the pattern
    • G06V30/127Detection or correction of errors, e.g. by rescanning the pattern with the intervention of an operator
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/26Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/268Lexical context
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/416Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00328Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information
    • H04N1/00331Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information with an apparatus performing optical character recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/203Simultaneous scanning of two or more separate pictures, e.g. two sides of the same sheet
    • H04N1/2036Simultaneous scanning of two or more separate pictures, e.g. two sides of the same sheet of a plurality of pictures corresponding to a single side of a plurality of media
    • H04N1/2038Simultaneous scanning of two or more separate pictures, e.g. two sides of the same sheet of a plurality of pictures corresponding to a single side of a plurality of media lying in the same plane
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Character Discrimination (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】文字認識の誤りを適正に補正できるようにする。【解決手段】原稿載置面に載置された複数の原稿を、1回の読取ジョブで一括して読み取り可能な原稿読取部6と、原稿読取部6による読み取りで得られた画像データから、原稿毎に独立した個別画像を切り抜く加工処理を行う個別画像切抜部103と、個別画像の画像データに対して文字認識の処理を行い、個別画像上に存在する文字列を検出する文字列検出部104と、文字列について、内容が同じ又は類似するもの同士を同一情報として個別画像間で比較して、一致しない部分を検出する不一致検出部105と、当該一致しない部分について、多数派の文字の占める割合が予め定められた割合に達していると判断部106が判断した場合、少数派の文字を多数派の文字に置き換えることによって文字の補正を行う補正部107と、を備える。【選択図】図1

Description

本発明は、画像読取装置に関し、特に、複数の原稿を読み取って得た画像から解析した文字列を補正する技術に関する。
画像読取装置には、原稿載置面(例えば、コンタクトガラス)に載置された複数の原稿を一括して読み取って、それぞれを原稿毎に独立した個別画像として自動的に切り抜く機能(いわゆる、マルチクロップ機能)を有しているものがある。
このような機能を用いて、画像読取装置に、原稿載置面に載置された複数の名刺を読み取らせ、名刺を管理するという技術がある。また、画像読取装置に、名刺の一方面をまず読み取らせ、ユーザーにより裏返された後、名刺の他方面を読み取らせ、名刺の表面と裏面とを合わせて管理するという技術がある(例えば、下記の特許文献1,2を参照)。
特開2006−339770号公報 特開2013−250725号公報
名刺などの原稿を画像読取装置に読み取らせて、名刺情報の管理を行う場合に、OCR(Optical Character Recognition)処理を行って文字を認識して、文字情報として名刺情報をデータベースに登録するということが一般的に行われている。
その際、OCR処理による文字の認識が全て正しく行われれば問題はないが、文字のサイズが小さかったり、解像度が低かったり、文字認識の困難なフォントが使用されていたり、画像に汚れがあったりすると、文字の認識に誤りが生じ、ユーザーによる手動での補正が必要になる場合がある。
上記の特許文献1には、OCR処理を行った結果から、原稿の表面と裏面とを紐づける技術について記載されているが、文字認識に誤りが生じた場合にこれを解決する技術を示していない。
本発明は、上記の事情に鑑みなされたものであり、文字認識の誤りを適正に補正できるようにすることを目的とする。
本発明の一局面に係る画像読取装置は、原稿載置面に載置された複数の原稿を、1回の読取ジョブで一括して読み取り可能な原稿読取部と、前記原稿読取部による読み取りで得られた画像データから、原稿毎に独立した個別画像を切り抜く加工処理を行う個別画像切抜部と、前記個別画像切抜部により切り抜かれた個別画像の画像データに対して文字認識の処理を行い、個別画像上に存在する文字列を検出する文字列検出部と、前記文字列検出部が検出した文字列について、内容が同じ又は類似するもの同士を同一情報として個別画像間で比較して、一致しない部分を検出する不一致検出部と、前記一致しない部分について、前記同一情報の中で多数派の文字の占める割合が予め定められた割合に達しているか否かを判断する判断部と、前記判断部により、多数派の文字の占める割合が前記予め定められた割合に達していると判断された場合、前記同一情報の中で少数派の文字を多数派の文字に置き換えることによって文字の補正を行う補正部と、を備える。
本発明によれば、個別画像から検出された文字列について、内容が同じ又は類似するものを同一情報として個別画像間で比較することで、一致しない部分が検出され、一致しない部分について、多数派の文字の占める割合が予め定められた割合に達している場合、少数派の文字を多数派の文字に置き換えることによって文字の補正が行われる。
例えば、4つの個別画像のうちの3つに文字列「佐藤太郎」を検出し、残りの1つに文字列「佐藤大郎」を検出したとき(つまり、3文字目が前者は「太」であるのに対し、後者は「大」であるとき)、上記予め定められた割合が過半数であるとすると、一致しない3文字目について、多数派の文字の占める割合が75%で過半数に達するので、少数派の文字「大」が多数派の文字「太」に置き換えられる。これにより、少数派の文字が、文字認識の誤りと判定され、多数派の文字に自動的に置き換えられるので、文字認識の誤りを適正に補正することができる。
本発明の第1実施形態に係る画像読取装置を備えてなる、画像形成装置の主要内部構成を概略的に示した機能ブロック図である。 第1実施形態に係る画像読取装置を備えてなる、画像形成装置の外観を示した斜視図である。 コンタクトガラスに原稿が載置された状態の一例を示し、下方から見た図である。 個別画像切抜部により切り抜かれた個別画像の一例を示した図である。 文字列検出部により検出された文字列の一例を示した図である。 表示部に表示される操作画面の一例を示した図である。 第1実施形態に係る画像読取装置の一実施形態としての画像形成装置の制御ユニットで行われる処理の一例を示したフローチャートである。 第1実施形態に係る画像読取装置の一実施形態としての画像形成装置の制御ユニットで行われる処理の一例を示したフローチャートである。 文字列リストの一例を示した図である。 第2実施形態に係る画像読取装置の一実施形態としての画像形成装置の制御ユニットで行われる処理の一例を示したフローチャートである。 コンタクトガラスに原稿が載置された状態の一例を示し、下方から見た図である。 コンタクトガラスに原稿が載置された状態の一例を示し、下方から見た図である。 個別画像切抜部により切り抜かれた個別画像の一例を示した図である。
以下、本発明の一実施形態に係る画像読取装置について図面を参照して説明する。図1は、本発明の第1実施形態に係る画像読取装置を備えてなる、画像形成装置の主要内部構成を概略的に示した機能ブロック図であり、図2は、第1実施形態に係る画像読取装置を備えてなる、画像形成装置の外観を示した斜視図である。
画像形成装置1は、例えば、コピー機能、プリンター機能、スキャナー機能、及びファクシミリ機能のような複数の機能を兼ね備えた複合機である。画像形成装置1は、制御ユニット10、原稿給送部6、原稿読取部5、画像形成部12、定着部13、給紙部14、及び操作部47を備える。
画像形成装置1で原稿読取動作が行われる場合について説明する。原稿給送部6により搬送されてきた原稿、又はコンタクトガラス161に載置されている原稿の画像を、原稿読取部5が光学的に読み取り、そして画像データを生成する。原稿読取部5により生成された画像データは、図略の画像メモリー等に保存される。また、原稿読取部5は、コンタクトガラス161に載置された複数の原稿を一括して読み取り可能に構成されている。なお、コンタクトガラス161は、特許請求の範囲における原稿載置面の一例である。
また、原稿給送部6は、原稿読取部5の上面にヒンジ等によって開閉可能に構成され、原稿給送部6は、原稿マット61を備え、コンタクトガラス161上に載置された原稿を読み取る場合に原稿押さえカバーとして機能する。
画像形成装置1で画像形成動作が行われる場合について説明する。原稿読取動作により生成された画像データや、ネットワーク接続された外部装置としてのコンピューターから受信した画像データ等に基づいて、画像形成部12が、給紙部14から給紙される記録媒体としての記録紙にトナー像を形成する。
定着部13は、熱圧着によりトナー像を記録紙に定着させるものであり、定着処理が施された記録紙は排出トレイ151に排出される。給紙部14は、給紙カセットを備える。
操作部47は、画像形成装置1が実行可能な各種動作及び処理について、操作者から、画像形成動作実行指示等の指示を受け付ける。操作部47は、操作者への操作案内等を表示する表示部473を備えている。表示部473はタッチパネルになっており、操作者は画面表示されるボタンやキーに触れて画像形成装置1を操作することができる。
制御ユニット10は、プロセッサー、RAM(Random Access Memory)、ROM(Read Only Memory)、及び専用のハードウェア回路を含んで構成される。プロセッサーは、例えばCPU(Central Processing Unit)、ASIC(Application Specific Integrated Circuit)、又はMPU(Micro Processing Unit)等である。制御ユニット10は、制御部100と、操作受付部101と、個別画像切抜部103と、文字列検出部104と、不一致検出部105と、判断部106と、補正部107とを備えている。
上記プロセッサーが、HDD(Hard Disk Drive)92に記憶されている制御プログラムに従った動作を行うことにより、制御ユニット10は、制御部100、操作受付部101、個別画像切抜部103、文字列検出部104、不一致検出部105、判断部106、及び補正部107として機能する。但し、制御部100等は、制御ユニット10による制御プログラムに従った動作によらず、それぞれハードウェア回路により構成することも可能である。以下、特に触れない限り、各実施形態について同様である。
制御部100は、画像形成装置1の全体的な動作制御を司る。制御部100は、原稿給送部6、原稿読取部5、画像形成部12、定着部13、給紙部14、及び操作部47と接続され、これら各部の駆動制御等を行う。
操作受付部101は、操作部47を介したユーザーからの操作入力を受け付ける。また、操作受付部101は、補正受付部102を備えている。なお、補正受付部102の詳細については、後で説明する。
個別画像切抜部103は、原稿読取部5による読み取りで得られた画像データから、原稿毎に独立した個別画像を切り抜く加工処理を行う。個別画像切抜部103は、例えば、原稿読取部5による読み取りで得られた画像データに対してエッジ検出処理を実行し、エッジ画像を検出する。そして、個別画像切抜部103は、原稿読取部5による読み取りで得られた画像データであって、上記エッジ画像を検出した画像データから、1つのかたまりとしてエッジ画像により四辺が囲まれた矩形画像を上記個別画像として切り抜く処理を行う。
図3は、コンタクトガラス161に複数の原稿が載置された状態の一例を示し、下方から見た図である。図3に示したように、複数の原稿M1〜M3(例えば、名刺)がコンタクトガラス161に載置され、これらを原稿読取部5により読み取った場合、当該読取で得られた画像データに基づいて、原稿M1〜M3に対応する矩形画像が個別画像G1〜G3(図4を参照)として個別画像切抜部103により切り抜かれる。
図4は、個別画像切抜部103により切り抜かれた個別画像の一例を示した図である。個別画像G1〜G3には、例えば、役職(含まない場合あり)、名前、会社名、会社ロゴ、顔写真、電話番号、住所、メールアドレス、及びホームページアドレスが含まれている。
文字列検出部104は、個別画像切抜部103により切り抜かれた個別画像の画像データに対して、OCR技術等を用いて文字認識の処理を行い、個別画像上に存在する文字列を検出する。
例えば、文字列検出部104は、個別画像G1(図4)から「課長」、「佐藤太郎」、「ABC株式会社」、「06-1234-5678」、「大阪市中心地1−2−3」、「sato@abc.com」、及び「http://www.abc.com」の文字列を検出する。
また、文字列検出部104は、個別画像G2(図4)から「鈴木二郎」、「ABC株式会社」、「06-1234-5678」、「大阪市中心地1−2−3」、「suzuki@abc.com」、及び「http://www.abc.com」の文字列を検出し、個別画像G3(図4)から「係長」、「高橋花子」、「ABC株式会社」、「06-1234-5678」、「大阪市中心地1−2−3」、「takahashi@abc.com」、及び「http://www.abc.com」の文字列を検出する。
しかしながら、文字列検出部104が、個別画像G1〜G3上に存在する文字列を間違いなく全てを正確に検出できるとは限らない。図5は、文字列検出部104により検出された文字列の一例を示した図である。なお、正しく認識されなかった部分については、破線で囲んで強調している。
図5から、文字列検出部104が、個別画像G1上に存在する住所の「3」を「8」と、個別画像G2上に存在する住所の「3」を「9」と、同ホームページアドレスの「//」を「11」と、個別画像G3上に存在する電話番号の「5」を「S」と、それぞれ誤って認識し、同ホームページアドレスの最後の「m」を認識できていないことが分かる。
不一致検出部105は、文字列検出部104が検出した文字列について、内容が同じ又は類似するもの同士を同一情報として個別画像間で比較して、一致しない部分を検出する。例えば、不一致検出部105は、文字列を構成する文字の一致率が予め定められた値(例えば、70%)以上のものを同一情報として扱う。
例えば、個別画像G1〜G3から検出された文字列「ABC株式会社」を構成する文字の一致率は100%であるので、不一致検出部105は、これらを同一情報として扱う。また、個別画像G1,G2から検出された文字列「06-1234-5678」を構成する文字と個別画像G3から検出された文字列「06-1234-S678」を構成する文字の一致率は90%であるので、不一致検出部105は、これらも同一情報として扱う。
同様に、不一致検出部105は、個別画像G1から検出された文字列「大阪市中央地1−2−8」、個別画像G2から検出された文字列「大阪市中央地1−2−9」、及び個別画像G3から検出された文字列「大阪市中央地1−2−3」を同一情報として、個別画像G1〜G3から検出された文字列「@abc.com」を同一情報として、そして、個別画像G1から検出された文字列「http://www.abc.com」、個別画像G2から検出された文字列「http:11www.abc.com」、及び個別画像G3から検出された文字列「http://www.abc.co」を同一情報として扱う。
そして、不一致検出部105は、例えば、個別画像G1,G2から検出された文字列「06-1234-5678」、及び個別画像G3から検出された文字列「06-1234-S678」を比較し、一致しない部分として、9文字目(個別画像G1,G2では「5」であるが、個別画像G3では「S」である)を検出する。
また、不一致検出部105は、例えば、個別画像G1から検出された文字列「大阪市中央地1−2−8」、個別画像G2から検出された文字列「大阪市中央地1−2−9」、及び個別画像G3から検出された文字列「大阪市中央地1−2−3」を比較し、一致しない部分として、11文字目(個別画像G1では「8」、個別画像G2では「9」、個別画像G3では「3」)を検出する。
なお、第1実施形態では、不一致検出部105が、文字列検出部104が検出した文字列について、内容が同じ又は類似するもの同士を同一情報として扱う場合について説明しているが、別の実施形態として、文字列検出部104が、個別画像上に存在する文字列を検出すると共に、当該文字列の個別画像上の位置を検出するようにし、不一致検出部105が、上記文字列について、個別画像上の位置を検出し、当該位置が同じ又は近似し、なおかつ内容が同じ又は類似するもの同士を同一情報として扱うようにしてもよい。これにより、配置場所の大きく離れているものについては、比較対象から外すことができる。
例えば、位置が近似するか否かを判定する方法としては、各文字列を囲む最小の矩形領域同士を比較して、一定量以上の重なりがあるか否かを判断し、それぞれの個別画像内における当該矩形領域の位置に一定量以上の重なりがある場合に、位置が近似していると不一致検出部105が判定する方法が挙げられる。
また、文字列を囲む最小の矩形領域を特定する方法としては、個別画像の左上隅を通る当該個別画像の横辺をX軸とし、縦辺をY軸とし、当該個別画像から検出された文字列を構成する文字の全ての位置を座標として示した場合の最小及び最大のX座標と、最小及び最大のY座標とを抽出し、これら4つの点を頂点とする四辺から上記矩形領域を特定するといった方法が挙げられる。
判断部106は、不一致検出部105が検出した一致しない部分について、上記同一情報の中で多数派となる文字の占める割合が予め定められた割合TH1(ここでは、TH1=過半数を例にして説明する)に達しているか否かを判断する。判断部106は、例えば、上記したように、電話番号の9文字目が個別画像G1,G2で「5」と認識され、個別画像G3で「S」と認識されている場合、多数派の文字「5」の占める割合(67%)は過半数に達していると判断する。
補正部107は、判断部106により、多数派の文字の占める割合が予め定められた割合TH1に達していると判断された場合、上記同一情報の中で少数派となる文字を多数派の文字に置き換えることによって文字の補正を行う。例えば、個別画像G3で「S」と認識されていた文字を、多数派の文字「5」に置き換える。
また、判断部106は、例えば、上記したように、住所の11文字目が個別画像G1で「8」と認識され、個別画像G2で「9」と認識され、個別画像G3で「3」と認識されている場合、多数派の文字(「8」、「9」、「3」は同じ割合で存在するため、ここではその全てを多数派とする)の占める割合(33%)は過半数に達していないと判断する。
操作受付部101を構成する補正受付部102は、判断部106により、多数派の文字の占める割合が予め定められた割合TH1に達していないと判断された場合、少数派の文字に対するユーザーの補正を受け付ける。例えば、補正受付部102は、図6に示すような操作画面P1を表示部473に表示することで、ユーザーによる補正を受け付ける。
操作画面P1には、正しい文字の入力を促すメッセージを表示する第1表示領域E1と、文字列検出部104が検出した文字列を表示する第2表示領域E2と、操作部47を介してユーザーにより入力された文字列を表示する第3表示領域E3と、入力した文字列への置き換えのユーザーの意思を確定させるための「確定」と記された設定ボタンB1とが表示されている。補正受付部102は、第2表示領域E2に、少数派の文字(多数派の割合が同一である、又は少数派を区別できない場合は、いずれの文字でもよい)を表示させる。
操作部47を介して文字列が入力され、設定ボタンB1が押下されると、補正受付部102は、上記補正を受け付ける。そして、補正受付部102が、上記補正を受け付けると、補正部107が、少数派の文字を、補正受付部102が受け付けた内容で補正する。
次に、第1実施形態に係る画像読取装置の一実施形態としての画像形成装置1の制御ユニット10で行われる処理の一例について、図7及び図8に示したフローチャートに基づいて説明する。なお、この処理は、操作受付部101が、操作部47を介してユーザーから指示された、コンタクトガラス161に載置された原稿の読み取り指示を受け付けた場合に行われる処理である。
操作受付部101が、原稿の読み取り指示を受け付けると、制御部100は、原稿読取部5の動作を制御することによって、原稿読取部5にコンタクトガラス161を読み取らせ(S1)、図略の画像メモリーに記憶させる。その後、個別画像切抜部103が、原稿読取部5による読み取りで得られた画像データから、独立した各個別画像を切り抜く加工処理を行う(S2)。
その後、文字列検出部104が、個別画像切抜部103により切り抜かれた個別画像の画像データに対して、OCR技術等を用いて文字認識の処理を行い、個別画像上に存在する文字列を検出する(S3)。
続いて、不一致検出部105が、文字列検出部104が検出した各個別画像中の文字列について、同一情報となる文字列を1つのグループとして、文字列リストLT1(図9を参照)を作成する(S4)。
図9は、文字列リストの一例を示した図である。文字列リストLT1は、個別画像G1〜G3から検出された文字列について、同一情報となる文字列を1つのグループとしたものである。例えば、グループ2には、個別画像G1から検出された文字列「06-1234-5678」、個別画像G2から検出された文字列「06-1234-5678」、及び個別画像G3から検出された文字列「06-1234-S678」が属している。
不一致検出部105は、文字列リストLT1(図9)を参照して、グループ毎に各グループに属する文字列同士を比較することによって、一致しない部分を検出する(S5)。不一致検出部105は、グループ1に属する文字列同士を比較しても、一致しない部分を検出しないが、グループ2に属する文字列同士を比較した場合、一致しない部分として、9文字目を検出する。
判断部106は、不一致検出部105が一致しない部分を検出したか否かを判断し(S6)、判断部106が、不一致検出部105が一致しない部分を検出したと判断した場合(S6でYES)、文字認識に誤りがあったと推定されるので、処理はS7に移り、補正部107が、文字を補正する補正処理(図8を参照)を行う。一方、判断部106が、不一致検出部105が一致しない部分を検出していないと判断した場合(S6でNO)、文字認識の誤りがなかったと推定されるので、処理を終了する。
図8のS11では、判断部106が、不一致検出部105が検出した一致しない部分について、上記一致しない部分が検出された各グループ別に、多数派の文字の占める割合が予め定められた割合TH1(例えば、過半数)に達しているか否かを判断する(S11)。
判断部106が、多数派の占める割合が予め定められた割合TH1に達していると判断した場合(S11でYES)、補正部107が、少数派の文字を多数派の文字に置き換えることによって文字の補正を行い(S12)、その後、処理はS13に移る。例えば、グループ2(図9)での一致しない部分(9文字目)について、多数派の文字「5」の占める割合が過半数に達していると判断部106が判断した場合、補正部107は、グループ2に属する個別画像G3から検出された少数派の文字「S」を多数派の文字「5」に置き換えることによって補正を行う。
一方、判断部106が、多数派の文字の占める割合が予め定められた割合TH1に達していないと判断した場合(S11でNO)、S12を飛ばして、処理はS13に移る。例えば、グループ3(図9)での一致しない部分(11文字目)について、多数派の文字(「8」、「9」、「3」は同じ割合で存在するため、ここではその全てを多数派とする)の占める割合が過半数に達していないと判断部106が判断した場合、ここでは補正を行わず、処理はS13に移る。
補正部107は、不一致検出部105が検出した一致しない部分の全てに対して、判断部106による判断が終了したか否かを判断する(S13)。判断部106による判断は終了したと判断した場合(S13でYES)、補正部107は、不一致検出部105が検出した一致しない部分の全てに対して、補正を行ったか否かを判断する(S14)。つまり、補正は完了したか否かを判断する。
具体的には、S11で「NO」と一度も判断されず、不一致検出部105が検出した一致しない部分の全てに対して、少数派の文字を多数派の文字で置き換える処理が実行された場合、補正部107は、補正は完了したと判断する。
一方、S13において、判断部106による判断は終了していないと判断した場合(S13でNO)、処理はS11に戻る。
S14において、補正部107が補正は完了していないと判断した場合(S14でNO)、補正受付部102は、図6に示したような操作画面P1を表示部473に表示し、当該操作画面P1に対するユーザーによる操作に応じてタッチパネル又は操作部47を介して、ユーザーによる補正を受け付け(S15)、補正部107が、少数派の文字を、補正受付部102が受け付けた内容で補正する(S16)。この後、処理は終了する。
一方、補正部107が、補正は完了していると判断した場合(S14でYES)、S15,S16の処理は必要ないので、この処理は終了する。
上記第1実施形態によれば、個別画像から検出された文字列について、内容が同じ又は類似するものを同一情報として個別画像間で比較することで、一致しない部分が検出され、一致しない部分について、多数派の文字の占める割合が予め定められた割合TH1(例えば、過半数)に達している場合、少数派の文字を多数派の文字に置き換えることによって文字の補正が行われる。
例えば、3つの個別画像のうちの2つに文字列「06-1234-5678」が存在し、残りの1つに文字列「06-1234-S678」が存在するとき(つまり、9文字目が前者は「5」であるのに対し、後者は「S」であるとき)、一致しない9文字目について、多数派の文字の占める割合が67%で過半数に達するので、少数派の文字「S」が多数派の文字「5」に置き換えられる。これにより、少数派の文字が、文字認識の誤りと判定され、多数派の文字に自動的に置き換えられるので、文字認識の誤りを自動的に補正することができる。
また、多数派の文字の占める割合が過半数に達せず、補正が自動的に行われなかった場合には、ユーザーが手動で補正する機会が与えられるので、間違って認識されたものを適切に補正することが可能となる。
また、上記第1実施形態では、1回の読取ジョブで原稿読取部5による読み取りで得られた画像データを用いて、文字認識の誤りを補正する場合について説明しているが、第2実施形態として、1回ではなく、複数回の読取ジョブで原稿読取部5による読み取りで得られた全ての画像データを用いて、文字認識の誤りを補正する実施形態を説明する。
次に、第2実施形態に係る画像読取装置の一実施形態としての画像形成装置1の制御ユニット10で行われる処理の一例について、図10に示したフローチャートに基づいて説明する。なお、この処理は、操作受付部101が、操作部47を介してユーザーから指示された、コンタクトガラス161に載置された原稿の両面読み取り指示を受け付けた場合に行われる処理である。
操作受付部101が、原稿の両面読み取り指示を受け付けると、制御部100は、原稿読取部5の動作を制御することによって、原稿読取部5にコンタクトガラス161を読み取らせ図略の画像メモリーに記憶させる(S21)。ここでは、原稿読取部5により原稿の一方面が読み取られて画像データが取得されたものとする。
その後、個別画像切抜部103が、原稿読取部5による読み取りで得られた画像データから、原稿毎に独立した個別画像を切り抜く加工処理を行う(S22)。
図11は、コンタクトガラス161に複数の原稿が載置された状態の一例を示し、下方から見た図である。図11に示したように、複数の原稿M1,M2がコンタクトガラス161に載置されている場合、原稿M1,M2の一方面に対応する矩形画像が個別画像G1,G2(図4)として個別画像切抜部103により切り抜かれる。
続いて、制御部100が、操作受付部101により、操作部47を介してユーザーから指示された、コンタクトガラス161に載置された原稿に対する再度の読み取り指示が受け付けられたか否かを判断する(S23)。なお、ユーザーは、当該再度の読み取り指示を操作部47に入力する前に、コンタクトガラス161に載置された各原稿を裏返しておくものとする。
制御部100が、操作受付部101により、当該指示が受け付けられたと判断した場合(S23でYES)、原稿読取部5に、コンタクトガラス161に載置されている原稿を読み取らせて、原稿読取部5による読み取りで得られた画像データを上記画像メモリーに記憶させる(S24)。当該指示は、原稿M1,M2をユーザーが裏返した後に行われることになるので、原稿読取部5に、裏返された原稿M1,M2、すなわち、原稿M1,M2の他方面を読み取らせることになる。
その後、個別画像切抜部103が、原稿読取部5による読み取りで得られた画像データから、原稿毎に独立した個別画像を切り抜く加工処理を行う(S25)。
図12は、コンタクトガラス161に複数の原稿が載置された状態の一例を示し、下方から見た図である。図11に示したように、裏返された複数の原稿M1,M2がコンタクトガラス161に載置されている場合、原稿M1,M2の他方面に対応する矩形画像が個別画像G11,G12(図13を参照)として個別画像切抜部103により切り抜かれる。
その後、文字列検出部104が、S22及びS25で個別画像切抜部103により切り抜かれた個別画像の画像データに対して、OCR技術等を用いて文字認識の処理を行い、個別画像上に存在する文字列を検出する(S26)。S4以降の処理については、第1実施形態での処理と同様であるので説明を省略する。
本発明による補正はサンプルとなる個別画像が少なくとも3つ必要であるため、コンタクトガラス161に載置できる原稿が2つしかない場合、上記第1実施形態では、上記多数派が予め定められた割合TH1としての半数に満たず、補正部107が、少数派の文字を多数派の文字に置き換えることによって補正することを実現できないが、上記第2実施形態では、原稿の一方面だけでなく、原稿の他方面を用いることができるので、コンタクトガラス161に載置できる原稿が2つしかなくても、サンプルとなる個別画像を4つに、すなわち、3つ以上にすることができ、少数派の文字を多数派の文字に置き換える補正が可能になる。特に、最近では、表面は母国語(日本語)で記載され、裏面は外国語(英語)で記載され、名刺の両面に同一情報が記載されているものが少なくないため、例えば電話番号やメールアドレス等については、複数回の読取ジョブで原稿読取部5による両面読み取りで得られた画像データを用いて、文字認識の誤りを補正することができる。
また、本発明は上記実施の形態の構成に限られず種々の変形が可能である。また、上記実施形態では、本発明に係る画像読取装置の一実施形態として複合機を用いて説明しているが、これは一例に過ぎず、例えば、スキャナー機能等を有した他の画像読取装置でもよい。
また、図1乃至図13を用いて上記実施形態により示した構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。
1 画像形成装置
5 原稿読取部
100 制御部
101 操作受付部
102 補正受付部
103 個別画像切抜部
104 文字列検出部
105 不一致検出部
106 判断部
107 補正部
161 コンタクトガラス

Claims (5)

  1. 原稿載置面に載置された複数の原稿を、1回の読取ジョブで一括して読み取り可能な原稿読取部と、
    前記原稿読取部による読み取りで得られた画像データから、原稿毎に独立した個別画像を切り抜く加工処理を行う個別画像切抜部と、
    前記個別画像切抜部により切り抜かれた個別画像の画像データに対して文字認識の処理を行い、個別画像上に存在する文字列を検出する文字列検出部と、
    前記文字列検出部が検出した文字列について、内容が同じ又は類似するもの同士を同一情報として個別画像間で比較して、一致しない部分を検出する不一致検出部と、
    前記一致しない部分について、前記同一情報の中で多数派の文字の占める割合が予め定められた割合に達しているか否かを判断する判断部と、
    前記判断部により、多数派の文字の占める割合が前記予め定められた割合に達していると判断された場合、前記同一情報の中で少数派の文字を多数派の文字に置き換えることによって文字の補正を行う補正部と、を備える画像読取装置。
  2. 前記不一致検出部は、前記文字列検出部が検出した文字列について、個別画像上の位置が同じ又は近似し、なおかつ内容が同じ又は類似するもの同士を前記同一情報として個別画像間で比較して、前記一致しない部分を検出する請求項1に記載の画像読取装置。
  3. 前記不一致検出部は、1回又は複数回の読取ジョブで前記原稿読取部による読み取りで得られた画像データから前記個別画像切抜部により切り抜かれた個別画像上に存在する文字列について、個別画像間で比較して、前記一致しない部分を検出する請求項1又は請求項2に記載の画像読取装置。
  4. 前記不一致検出部は、前記文字列検出部が検出した文字列について、前記同一情報のものを1つのグループとして文字列リストを作成し、前記文字列リストを参照して、グループ毎に各グループに属する文字列同士を比較することによって、前記一致しない部分をグループ毎に検出する請求項1乃至請求項3のいずれかに記載の画像読取装置。
  5. 前記判断部により、多数派の文字の占める割合が前記予め定められた割合に達していないと判断された場合、多数派及び少数派の文字に対するユーザーの補正を受け付ける補正受付部を更に備え、
    前記補正部は、多数派及び少数派の文字を、前記補正受付部が受け付けた内容で補正する請求項1乃至請求項4のいずれかに記載の画像読取装置。
JP2018144368A 2018-07-31 2018-07-31 画像読取装置 Pending JP2020021273A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018144368A JP2020021273A (ja) 2018-07-31 2018-07-31 画像読取装置
US16/520,883 US10943108B2 (en) 2018-07-31 2019-07-24 Image reader performing character correction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018144368A JP2020021273A (ja) 2018-07-31 2018-07-31 画像読取装置

Publications (1)

Publication Number Publication Date
JP2020021273A true JP2020021273A (ja) 2020-02-06

Family

ID=69228890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018144368A Pending JP2020021273A (ja) 2018-07-31 2018-07-31 画像読取装置

Country Status (2)

Country Link
US (1) US10943108B2 (ja)
JP (1) JP2020021273A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019004365A (ja) * 2017-06-16 2019-01-10 富士ゼロックス株式会社 情報処理装置
JP2021144307A (ja) * 2020-03-10 2021-09-24 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058822A (ja) * 2001-08-15 2003-02-28 Konica Corp 文字情報抽出装置、文字情報抽出方法、プログラムおよび記憶媒体
JP2006339770A (ja) * 2005-05-31 2006-12-14 Canon Inc 画像処理システムおよびその制御方法
JP2014164622A (ja) * 2013-02-26 2014-09-08 Kddi Corp 情報システム及びサーバー

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4742404B2 (ja) * 2000-05-17 2011-08-10 コニカミノルタビジネステクノロジーズ株式会社 画像認識装置、画像形成装置、画像認識方法および画像認識プログラムを記憶したコンピュータ読取り可能な記録媒体
JP2002189747A (ja) * 2000-12-19 2002-07-05 Hitachi Ltd 文書情報の検索方法
JP2006126956A (ja) * 2004-10-26 2006-05-18 Seiko Epson Corp 文字認識装置及び方法
US20060183092A1 (en) * 2005-01-24 2006-08-17 Aruze Corp. Typing game machine
JP2013250725A (ja) 2012-05-31 2013-12-12 Brother Ind Ltd 画像読取装置
US8947745B2 (en) * 2013-07-03 2015-02-03 Symbol Technologies, Inc. Apparatus and method for scanning and decoding information in an identified location in a document
US9886573B2 (en) * 2015-08-06 2018-02-06 Red Hat, Inc. Non-repudiation of broadcast messaging
JP6861345B2 (ja) * 2016-03-28 2021-04-21 パナソニックIpマネジメント株式会社 文字図形認識装置、文字図形認識方法、及び文字図形認識プログラム
JP7102103B2 (ja) * 2017-03-31 2022-07-19 キヤノン株式会社 携帯型の情報処理装置及び当該情報処理装置を用いた方法及びプログラム
WO2019097690A1 (ja) * 2017-11-17 2019-05-23 株式会社Pfu 画像処理装置、制御方法及び制御プログラム
JP7225548B2 (ja) * 2018-03-22 2023-02-21 セイコーエプソン株式会社 画像処理装置、画像処理方法および画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058822A (ja) * 2001-08-15 2003-02-28 Konica Corp 文字情報抽出装置、文字情報抽出方法、プログラムおよび記憶媒体
JP2006339770A (ja) * 2005-05-31 2006-12-14 Canon Inc 画像処理システムおよびその制御方法
JP2014164622A (ja) * 2013-02-26 2014-09-08 Kddi Corp 情報システム及びサーバー

Also Published As

Publication number Publication date
US10943108B2 (en) 2021-03-09
US20200042786A1 (en) 2020-02-06

Similar Documents

Publication Publication Date Title
KR102408019B1 (ko) 스캔 화상에 대해 파일명 등을 설정하기 위한 장치, 그 제어 방법 및 저장 매체
US9876928B2 (en) Image processing device, image processing method, and non-transitory computer-readable medium
JP2015106719A (ja) 画像形成装置
US11153449B2 (en) Image forming apparatus and method of displaying setting of image forming apparatus
US11252291B2 (en) Image forming apparatus with history record display information and method of controlling image forming apparatus
US10701235B2 (en) Document reading device identifying front and back faces of same document based on relative positions of center of gravity of cropped images
JP2020021273A (ja) 画像読取装置
JP2008233483A (ja) 表示装置及びこれを備えた画像形成装置
US10715688B2 (en) Display device capable of notifying display object by voice, image processing apparatus, notifying method, process executing method
CN107666547B (zh) 图像处理装置和图像处理方法
JP2016036980A (ja) 制御装置、制御方法、及びプログラム
JP2015028733A (ja) 操作装置および画像処理装置
US12205392B2 (en) Image processing apparatus that extracts necessary character string from source image, and image forming apparatus including same
JP5831715B2 (ja) 操作装置および画像処理装置
CN110719378A (zh) 图像读取装置以及图像形成装置
JP7402414B2 (ja) 画像形成装置
JP6061903B2 (ja) 画像読取装置及び画像形成装置
JP2008009835A (ja) 操作表示装置
JP6269298B2 (ja) 画像形成装置
JP5593300B2 (ja) 文字入力装置及び文字入力プログラム
JP6669130B2 (ja) 画像読取装置及び画像読取方法
JP2021068306A (ja) 情報処理装置およびプログラム
JP6648839B2 (ja) 画像読取装置
US20250103252A1 (en) Image forming apparatus capable of displaying method of properly setting sheet on sheet tray, method of controlling image forming apparatus, and storage medium
CN113342219B (zh) 信息处理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220804

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220928

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231003