JP2017200119A - 画像処理装置及び画像処理システム - Google Patents

画像処理装置及び画像処理システム Download PDF

Info

Publication number
JP2017200119A
JP2017200119A JP2016091227A JP2016091227A JP2017200119A JP 2017200119 A JP2017200119 A JP 2017200119A JP 2016091227 A JP2016091227 A JP 2016091227A JP 2016091227 A JP2016091227 A JP 2016091227A JP 2017200119 A JP2017200119 A JP 2017200119A
Authority
JP
Japan
Prior art keywords
marker
unit
data
text
markup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016091227A
Other languages
English (en)
Other versions
JP6477585B2 (ja
JP2017200119A5 (ja
Inventor
直人 花谷
Naoto Hanatani
直人 花谷
幸子 吉村
Sachiko Yoshimura
幸子 吉村
有美 中越
Yumi Nakagoshi
有美 中越
明宏 梅永
Akihiro Umenaga
明宏 梅永
宏憲 林
Hironori Hayashi
宏憲 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2016091227A priority Critical patent/JP6477585B2/ja
Priority to US15/493,643 priority patent/US20170315963A1/en
Priority to CN201710287407.0A priority patent/CN107426456B/zh
Publication of JP2017200119A publication Critical patent/JP2017200119A/ja
Publication of JP2017200119A5 publication Critical patent/JP2017200119A5/ja
Application granted granted Critical
Publication of JP6477585B2 publication Critical patent/JP6477585B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00092—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to the original or to the reproducing medium, e.g. imperfections or dirt
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/10—Texturing; Colouring; Generation of textures or colours
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1448—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on markings or identifiers characterising the document or the area
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00007—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to particular apparatus or devices
    • H04N1/00023—Colour systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095—Systems or arrangements for the transmission of the picture signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795—Reading arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/42—Mailbox-related aspects, e.g. synchronisation of mailboxes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Record Information Processing For Printing (AREA)
  • Color Image Communication Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】テキストにおける文字列の色又はマーカーの色を適宜切り替える。【解決手段】画像処理装置は、取得部と、マーカー検出部と、テキスト抽出部と、マークアップ言語処理部と、を備える。マーカー検出部は、取得部が取得した画像データに基づき、原稿に印されているマーカーを検出する。テキスト抽出部は、画像データを解析して、原稿におけるテキストを認識して抽出する。マークアップ言語処理部は、マークアップデータとして、画像データにおけるテキストの表示色を、マーカーの表示色と同一色にしたマークアップデータを生成する。【選択図】図２

Description

本発明は、原稿を読み取って、この原稿のテキストを抽出する画像処理装置及び画像処理システムに関し、特にそのテキストに印されているマーカーを利用するための技術に関する。
特許文献１では、原稿を読み取って、この原稿に印されているマーカーを検出し、このマーカーにより囲まれた該原稿の領域を認識して、この領域の内側を印刷したり、あるいは該領域の外側を印刷したりしている。
特開２００５−１６７８７５号公報
ここで上記のように、原稿に印されているマーカー箇所を検出するだけでなく、マーカー箇所の検出結果を他の処理に用いることが考えられる。例えば、マーカー箇所に示されているテキストを抽出することが考えられる。これにより、ユーザーが原稿の所望の箇所をマーキングすることにより、所望のテキストを抽出させることができ、ユーザー利便性が向上する。
本発明は、マーカー箇所の検出結果を用いてユーザー利便性を更に向上させることを目的とする。
本発明の一局面にかかる画像処理装置は、原稿の画像を示す画像データを取得する取得部と、前記画像データに基づき、前記原稿に印されているマーカーを検出するマーカー検出部と、前記画像データを解析して、前記原稿におけるテキストを認識して抽出するテキスト抽出部と、前記テキスト抽出部が抽出したテキスト、および、前記マーカー検出部が検出したマーカーの表示態様を示すデータを含むマークアップ言語により既述されたマークアップデータを生成するマークアップ言語処理部であって、前記マークアップデータとして、前記画像データにおける前記テキストの表示色を、前記マーカーの表示色と同一色にしたマークアップデータを生成するマークアップ言語処理部と、を備える画像処理装置である。
また、本発明の別の一局面にかかる画像処理システムは、画像処理装置と情報処理装置の間でデータ通信を行う画像処理システムであって、前記画像処理装置は、原稿の画像を示す画像データを取得する取得部と、前記画像データに基づき、前記原稿に印されているマーカーを検出するマーカー検出部と、前記画像データを解析して、前記原稿におけるテキストを認識して抽出するテキスト抽出部と、前記テキスト抽出部が抽出したテキスト、および、前記マーカー検出部が検出したマーカーの表示態様を示すデータを含むマークアップ言語により既述されたマークアップデータを生成するマークアップ言語処理部であって、前記マークアップデータとして、前記画像データにおける前記テキストの表示色を、前記マーカーの表示色と同一色にしたマークアップデータを生成するマークアップ言語処理部と、前記マークアップデータを前記情報処理装置に送信する送信部と、を備え、前記情報処理装置は、前記マークアップデータを受信する受信部と、前記マークアップデータに基づき、前記テキストを前記マーカーと共に表示する表示部と、を備える画像処理システムである。
本発明によれば、文字列の色及びマーカーの色を同一色にして、文字列を視認できないようにしておくことができるため、ユーザーが文字列を暗記するのに役立てることができる。このように、本発明によれば、マーカー箇所の検出結果を用いてユーザー利便性を更に向上させることができる。
本発明の実施形態にかかる画像処理システムにおける画像形成装置の概観及び情報処理装置の外観を示す斜視図である。 本実施形態にかかる画像処理システムにおける画像形成装置の構成及び情報処理装置の構成を示すブロック図である。 （ａ）は画像形成装置において読み取られた原稿のテキスト及びマーカーを示す図であり、（ｂ）は情報処理装置の表示部に表示されたテキスト及びマーカーを示す図である。 （ａ）〜（ｃ）は、赤色、黄色、緑色別に、マーカー箇所の文字列の色を変更したときのテキスト及びマーカーを示す図である。 画像形成装置において、原稿のテキストを認識して抽出し、マーカー箇所の文字列の表示形式及びマーカーの表示形式をマークアップ言語に変換して、マークアップデータを電子メールで送信するまでの処理手順を示すフローチャートである。 画像形成装置の操作部及び表示部を示す平面図である。 情報処理装置において、電子メールを受信し、電子メールの本文の欄におけるマークアップ言語を解釈して、テキストをマーカーと共に表示し、マーカー箇所に対する指示に応答してマーカー箇所の文字列の色を切り替えて変更するまでの処理手順を示すフローチャートである。 画像形成装置において、マークアップ言語処理部が生成するテキストデータの一例を示す図である。
以下、本発明の一実施形態について図面を参照して説明する。
図１は、本発明の実施形態にかかる画像処理システムにおける画像形成装置の概観及び情報処理装置の外観を示す斜視図である。図２は、本実施形態にかかる画像処理システムにおける画像形成装置の構成及び情報処理装置の構成を示すブロック図である。
本実施形態の画像処理システムＳｙにおいて、画像形成装置１０は、制御ユニット１１と、表示部１２と、操作部１４と、タッチパネル１５と、通信部１６と、画像読取部１７と、画像形成部１８と、記憶部１９とを備えている。これらの構成要素は、互いにバスを通じてデータ又は信号の送受信を可能とされている。
画像読取部１７（取得部）は、コンタクトガラスに載置された原稿を光学的に読み取るスキャナーを有し、この原稿の画像を示す画像データを生成する。なお、画像形成装置１０は、画像読取部１７が原稿を読み取って画像データを取得するのではなく、通信部１６がＰＣ（Personal Computer）などの他の情報処理装置から画像データを受信することで原稿を示す画像データを取得してもよい。
画像形成部１８は、感光体ドラム、感光体ドラムの表面を均一帯電させる帯電装置、感光体ドラムの表面を露光して、感光体ドラムの表面に静電潜像を形成する露光装置、感光体ドラムの表面の静電潜像をトナー像に現像する現像装置、及び感光体ドラムの表面のトナー像（画像）を記録媒体としての記録紙に転写する転写装置等を備え、画像読取部１７により生成された画像データによって示される画像を記録紙に印刷する。
表示部１２は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（ＯＬＥＤ：Organic Light-Emitting Diode）ディスプレイなどから構成される。
表示部１２の画面には、タッチパネル１５が配置されている。タッチパネル１５は、所謂抵抗膜方式や静電容量方式などのタッチパネルであって、タッチパネル１５に対するユーザーの指などの接触（タッチ）をその接触位置とともに検知する。
操作部１４は、例えば、メニューを呼び出すメニューキー、メニューを構成するＧＵＩにおけるフォーカスを移動させる矢印キー、メニューを構成するＧＵＩに対して確定操作を行う決定キー、スタートキーなどを備えている。
通信部１６は、通信モジュールを備える通信インターフェイスである。
記憶部１９は、ＨＤＤ（Hard Disk Drive）などの大容量の記憶装置である。
制御ユニット１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory）、及びＲＯＭ（Read Only Memory）などから構成される。この制御ユニット１１は、上記のＲＯＭまたは記憶部１９に記憶されたプログラムが上記のＣＰＵで実行されることにより、制御部２１、操作受付部２２、表示制御部２３、通信制御部２４、マーカー検出部２５、ＯＣＲ処理部２６、及びマークアップ言語処理部２７として機能する。なお、制御ユニット１１の上記の各構成は、プログラムに基づく動作によらず、それぞれハード回路により構成されてもよい。
制御部２１は、画像形成装置１０の全体的な動作制御を司る。
操作受付部２２は、タッチパネル１５から出力される検知信号に基づき、タッチパネル１５に対するユーザー操作を受け付ける機能を有する。また、操作受付部２２は、操作部１４のハードキーに対するユーザー操作を受け付ける機能を有する。
表示制御部２３は、表示部１２を制御して、画像形成処理に必要な設定項目の入力画面、あるいは情報の入力画面などを表示する。
通信制御部２４は、通信部１６による通信動作を制御する機能を有する。通信部１６は、通信制御部２４による制御のもと、情報処理装置３０との間でデータを送受する。
マーカー検出部２５は、画像読取部１７が取得した原稿の画像を示す画像データに基づき、原稿におけるマーカーによりマーキングされたマーカー箇所を検出する機能を有する。
ＯＣＲ処理部２６（テキスト抽出部）は、上記画像データを解析して、原稿におけるテキストを認識して抽出する機能を有する。
マークアップ言語処理部２７は、ＯＣＲ処理部２６が抽出したテキスト、および、マーカー検出部２５が検出したマーカーの表示態様を示すデータを含むマークアップ言語により既述されたマークアップデータを生成する機能を有する。例えば、マークアップ言語処理部２７は、テキストにおけるマーカー箇所の文字列の表示形式及びマーカーの表示形式を設定したり、該各表示形式の一方を切り替える機能を設定したりするマークアップデータを生成し、またマークアップデータを解釈して、該各表示形式を設定したり、該各表示形式の一方を切り替えて変更したりする。マークアップ言語としては、ＨＴＭＬ、ＪａｖａＳｃｒｉｐｔなどが適用されている。
一方、本実施形態の画像処理システムＳｙにおいて、情報処理装置３０は、例えば、スマートフォンなどの携帯端末装置であって、制御ユニット３１と、表示部４１と、タッチパネル（操作部）４２と、ハードキー４３と、記憶部４４と、通信部４５とを備えている。これらの構成要素は、互いにバスを通じてデータ又は信号の送受信を可能とされている。
表示部４１は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（ＯＬＥＤ：Organic Light-Emitting Diode）ディスプレイなどから構成される。
表示部４１の画面には、タッチパネル４２が配置されている。タッチパネル４２は、タッチパネル４２に対するユーザーの指などの接触（タッチ）をその接触位置とともに検知する。
また、情報処理装置３０は、ユーザー操作が入力される操作部として、上記のタッチパネル４２に加えてハードキー４３を備えている。
通信部４５は、通信モジュールを備える通信インターフェイスである。
記憶部４４は、ＲＡＭ（Random Access Memory）などの大容量の記憶装置である。
制御ユニット３１は、ＣＰＵ(Central Processing Unit)、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）等から構成される。制御ユニット３１は、上記のＲＯＭ又は記憶部４４に記憶された制御プログラムが上記のＣＰＵに実行されることにより、制御部５１、操作受付部５２、表示制御部５３、通信制御部５４、及びマークアップ言語処理部５５として機能する。なお、制御ユニット３１の上記の各構成要素は、前述の制御プログラムに基づく動作によらず、それぞれハード回路により構成されてもよい。
制御部５１は、情報処理装置３０の全体的な動作制御を司る。
操作受付部５２は、タッチパネル４２から出力される検知信号あるいはハードキー４３の操作に基づき、ユーザーにより入力されたユーザー操作を特定する。そして、操作受付部５２は、特定したユーザー操作を受け付け、当該ユーザー操作に対応する制御信号を制御部５１、表示制御部５３、通信制御部５４、及びマークアップ言語処理部５５などに出力する。
表示制御部５３は、表示部４１を制御して、表示部４１の画面に情報処理に必要な設定項目を表示したり、テキストなどを表示したりする。
通信制御部５４は、通信部４５の通信動作を制御する機能を有する。通信部４５は、通信制御部５４による制御のもと、画像形成装置１０との間でデータを送受する。
マークアップ言語処理部５５は、表示部４１の画面に表示されているテキストにおけるマーカー箇所の文字列やマーカーに係わるマークアップデータを解釈して、このマーカー箇所の文字列の表示形式やマーカーの表示形式を設定及び変更する。
ここで、画像形成装置１０では、画像読取部１７により原稿を読み取り、マーカー検出部２５により原稿に印されているマーカー箇所を検出し、ＯＣＲ処理部２６により原稿におけるテキストを認識し、マークアップ言語処理部２７によりテキストにおけるマーカー箇所の文字列の表示形式及びマーカーの表示形式を示すマークアップデータを生成する。このマークアップデータは、マーカー箇所の文字列の表示形式及びマーカーの表示形式として、マーカー箇所の文字列の色及びマーカーの色を同一色に設定すると共に、マーカー箇所に対する指示に応答して該マーカー箇所の文字列の色を切り替える機能を設定するものである。すなわち、マークアップデータは、ＯＣＲ処理部２６が抽出したテキスト、テキストの表示態様（色）を示すデータ、マーカーの表示態様（色）を示すデータ、およびマーカー箇所に対する指示に応答してマーカー箇所のテキストの色及びマーカーの色のいずれか一方を切り替えさせる処理手順等を含む。
そして、通信制御部２４は、情報処理装置３０のユーザー宛の電子メールを作成して、マークアップデータを電子メールの本文の欄に挿入し、この電子メールを通信部１６からネットワークへと送信する。
情報処理装置３０では、電子メールを通信部４５で受信すると、この電子メールの本文の欄のテキストを表示部４１の画面に表示する。また、マークアップ言語処理部５５は、マークアップデータを解釈して、マーカー箇所の文字列の表示形式及びマーカーの表示形式を設定する。これにより、テキスト（マーカー箇所の文字列を含む）及びマーカーが表示される。このとき、マークアップデータに基づき、上記のようにマーカー箇所の文字列の色及びマーカーの色が同一色に設定されるため、表示部１２の画面上では文字列が視認されない。また、マークアップデータにより、マーカー箇所に対する指示に応答して該マーカー箇所の文字列の色を切り替える機能が設定されているため、表示部４１の画面上でマーカー箇所が指先などにより指示されたときには、表示制御部５３によりマーカー箇所の文字列の色がマーカーの色とは異なる色に切り替えられて、文字列が視認できるようになる。この文字列の色の切り替えが、文字列の暗記などに役立つ。
具体的には、画像形成装置１０では、図３（ａ）に示すような原稿Ｇのテキストに対して、赤色のマーカーによるマーカー箇所Ｍｒ１、黄色のマーカーによる４つのマーカー箇所Ｍｙ１〜Ｍｙ４、緑色のマーカーによる４つのマーカー箇所Ｍｇ１〜Ｍｇ４が設定されているとすると、赤色、黄色、緑色別に、マーカー箇所の文字列の色をマーカーの色と同一色に設定すると共に、マーカー箇所に対する指示に応答して該マーカー箇所の文字列の色を黒色に切り替えるためのマークアップデータが生成される。
情報処理装置３０では、そのマークアップデータに基づき、図３（ｂ）に示すように表示部４１の画面上で、赤色のマーカー箇所Ｍｒ１の文字列「買い物」を赤色に設定し、黄色の各マーカー箇所Ｍｙ１〜Ｍｙ４の文字列「にんじん」、「リンゴ」、「牛肉」、「チョコレート」を黄色に設定し、緑色の各マーカー箇所Ｍｇ１〜Ｍｇ４の文字列「１本」、「３コ」、「１５０ｇ」、「１袋」を緑色に設定する。このため、各マーカー箇所の文字列が視認されない。そして、例えば表示部４１の画面上で赤色のマーカー箇所Ｍｒ１が指先などにより指示されると、マークアップデータに基づき、図４（ａ）に示すように赤色のマーカー箇所Ｍｒ１の文字列「買い物」の色を黒色に切り替えて、文字列「買い物」が視認できるようにする。
また、表示部４１の画面上で黄色の各マーカー箇所Ｍｙ１〜Ｍｙ４のいずれか１つが指先などにより指示されたときには、マークアップデータに基づき、図４（ｂ）に示すように黄色のマーカー箇所Ｍｙ１〜Ｍｙ４の文字列「にんじん」、「リンゴ」、「牛肉」、「チョコレート」の色を黒色に切り替えて、文字列「にんじん」、「リンゴ」、「牛肉」、「チョコレート」が視認できるようにする。
同様に、表示部４１の画面上で緑色の各マーカー箇所Ｍｇ１〜Ｍｇ４のいずれか１つが指先などにより指示されたときに、マークアップデータに基づき、図４（ｃ）に示すように緑色の各マーカー箇所Ｍｇ１〜Ｍｇ４の文字列「１本」、「３コ」、「１５０ｇ」、「１袋」の色を黒色に切り替えて、文字列「１本」、「３コ」、「１５０ｇ」、「１袋」が視認できるようにする。
次に、画像形成装置１０において、原稿Ｇのテキストを認識して抽出し、マーカー箇所の文字列の表示形式及びマーカーの表示形式をマークアップデータに変換して、マークアップデータを電子メールの本文の欄に挿入し、この電子メールを送信するまでの処理手順を、図５に示すフローチャートに従って説明する。
まず、画像形成装置１０の表示部１２の画面には、図６に示すようにそれぞれの機能に対応付けられた複数のタッチキー６１ａ〜６１ｈ等が表示されているものとする。この状態で、ユーザーがマーカー付原稿の送信に対応するタッチキー６１ｈをタッチ操作すると、タッチパネル１５によりタッチキー６１ｈに対するタッチ操作が検出されて、このタッチ操作が操作受付部２２で受け付けられ、制御部２１が、マーカー付の原稿を読み取って送信するための機能（アプリケーションプログラム）を起動させる（ステップＳ１０１）。
引き続いて、ユーザーは、操作部１４を操作して、原稿の送信相手を示すメールアドレスを入力する（ステップＳ１０２）。このとき、メールアドレスの入力画面を表示部１２に表示して、ユーザーが入力画面に対して入力操作を行うようにしてもよい。
更に、ユーザーは、原稿を画像読取部１７にセットして、操作部１４のスタートキーを操作する。制御部２１は、そのスタートキーの操作が操作受付部２２で受け付けられると（ステップＳ１０３）、画像読取部１７を起動して、画像読取部１７により原稿を読み取らせ、原稿の画像を示す画像データを記憶部１９に記憶させる（ステップＳ１０４）。
このとき、マーカー検出部２５は、画像データを解析して、原稿に印されているマーカーを逐次検出し（ステップＳ１０５）、原稿におけるマーカー箇所をマークアップ言語処理部２７に指示する。また、ＯＣＲ処理部２６は、原稿を示す画像データを解析して、原稿におけるテキストを認識して抽出し、このテキストを記憶部１９に記憶させる（ステップＳ１０６）。
マークアップ言語処理部２７は、テキストからマーカー箇所の文字列を抽出し、このマーカー箇所の文字列の色をマーカーの色と同一色に設定すると共に、マーカー箇所に対する指示に応答して該マーカー箇所の文字列の色を黒色に切り替える機能を設定するためのマークアップデータを生成する（ステップＳ１０７）。
このとき、テキストにおいて、複数のマーカー箇所が設定されていたならば、複数のマーカー箇所別に、マークアップデータを生成する。例えば、図３（ａ）に示すように赤色のマーカー箇所Ｍｒ１、黄色の４つのマーカー箇所Ｍｙ１〜Ｍｙ４、緑色の４つのマーカー箇所Ｍｇ１〜Ｍｇ４が設定されている場合は、赤色、黄色、緑色別に、マーカー箇所の文字列の色をマーカーの色と同一色に設定すると共に、マーカー箇所に対する指示に応答して該マーカー箇所の文字列の色を黒色に切り替える機能を設定するためのマークアップデータを生成する。
そして、通信制御部２４は、ステップＳ１０２で入力されたメールアドレスを宛先とする電子メールＥを生成し、各ステップＳ１０４〜Ｓ１０６の処理により生成されたマークアップデータを電子メールの本文の欄に挿入し、この電子メールを通信部１６からネットワークへと送信する（ステップＳ１０８）。
このような画像形成装置１０での処理手順により、図３（ａ）に示すような原稿Ｇにおけるテキストが抽出されると共に、各マーカー箇所別に、マーカー箇所の文字列の色をマーカーの色と同一色に設定すると共に、マーカー箇所に対する指示に応答して該マーカー箇所の文字列の色を切り替える機能を設定するためのマークアップデータが生成され、マークアップデータが電子メールの本文の欄に挿入されて、電子メールが情報処理装置３０へと送信される。
次に、情報処理装置３０において、電子メールを受信し、電子メールの本文の欄におけるマークアップデータを解釈して、テキスト（マーカー箇所の文字列を含む）をマーカーと共に表示し、マーカー箇所に対する指示に応答してマーカー箇所の文字列の色を黒色に切り替えるまでの処理手順を、図７に示すフローチャートに従って説明する。
情報処理装置３０では、画像形成装置１０から送信された電子メールを通信部４５で受信すると（ステップＳ２０１）、表示制御部５３は、電子メール並びに該電子メールの本文の欄のテキストを表示部４１の画面に表示する（ステップＳ２０２）。このとき、マークアップ言語処理部５５がマークアップデータを解釈し、表示制御部５３が、マークアップデータに基づき、マーカーをテキストの文字列に重ねて表示すると共に、マーカー箇所の文字列の色をマーカーの色と同一色に設定する（ステップＳ２０３）。これにより、電子メールの本文の欄には、テキスト（マーカー箇所の文字列を含む）及びマーカーが表示される。また、表示部１２の画面上ではマーカー箇所の文字列が視認されない。
この状態で、マーカー箇所が指先などにより指示されると（ステップＳ２０４で「Ｙｅｓ」）、タッチパネル４２により該マーカー箇所に対するタッチ操作が検出されて、このタッチ操作が操作受付部５２で受け付けられる。そして、表示制御部５３は、マークアップデータに基づき、そのタッチ操作されたマーカー箇所の文字列の色を黒色に切り替える（ステップＳ２０５）。また、指示されたマーカー箇所と同一色の他のマーカー箇所がある場合は、該他のマーカー箇所の文字列の色も黒色に切り替える。例えば、図４（ａ）に示すように赤色のマーカー箇所Ｍｒ１がタッチ操作されると、赤色のマーカー箇所Ｍｒ１の文字列「買い物」の色が黒色に切り替えられる。また、図４（ｂ）に示すように黄色の各マーカー箇所Ｍｙ１〜Ｍｙ４のいずれか１つがタッチ操作されると、黄色の全てのマーカー箇所Ｍｙ１〜Ｍｙ４の文字列「にんじん」、「リンゴ」、「牛肉」、「チョコレート」の色が黒色に切り替えられる。すなわち、タッチ操作されたマーカー箇所の文字列の色が黒色に切り替えられると共に、タッチ操作されたマーカー箇所と同一色の他のマーカー箇所の文字列の色が黒色に切り替えられて、マーカー箇所の文字列が視認できるようになる。
このように本実施形態では、原稿におけるテキストを認識して、テキストにおけるマーカー箇所の文字列の表示形式及びマーカーの表示形式を示すマークアップデータを生成しておき、テキスト（マーカー箇所の文字列を含む）及びマーカーを表示するときに、マークアップデータに基づき、マーカー箇所の文字列の色をマーカーの色と同一色に設定して、文字列を視認できないようし、マーカー箇所が指示されたときには、マーカー箇所の文字列の色をマーカーの色とは異なる黒色に切り替えて、文字列を視認できるようにしている。このようなマーカー箇所の文字列の色の切り替えが、文字列の暗記などに役立つ。
なお、本発明は、上記の実施の形態の構成に限られず種々の変形が可能である。
例えば、上記実施形態では、タッチ操作されたマーカー箇所の文字列の色を黒色に切り替えているが、文字列の色を他の色に切り替えたり、文字列を透明にしたりしてもよい。また、タッチ操作されたマーカー箇所の文字列の色をそのまま維持して、マーカーの色を切り替えたり、マーカーを透明にしたりしても構わない。
また、タッチ操作されたマーカー箇所の文字列の色及びマーカーの色のいずれか一方を切り替えた後、マーカー箇所が再度タッチ操作されたときには、マーカー箇所の文字列の色又はマーカーの色を元に戻して、文字列を視認できないように再度設定してもよい。
更に、マークアップデータを電子メールの添付ファイルとして設定して、電子メールを画像形成装置１０から情報処理装置３０へと送受してもよい。
また、マークアップデータを解釈して、テキスト（マーカー箇所の文字列を含む）をマーカーと共に表示し、マーカー箇所に対する指示に応答してマーカー箇所の文字列の色をマーカーの色とは異なる色に切り替えるという処理を、画像形成装置１０で行っても構わない。
また、画像形成装置１０の言語処理部２７が、情報処理装置３０の言語処理部５５が有する機能を備えてもよい。この場合、言語処理部２７は、操作受付部５２を通じてマーカー箇所が指示されると、マークアップデータに含まれる処理手順に基づき、マーカー箇所のテキストの色及びマーカーの色のいずれか一方を切り替える。
また、図５のフローチャートで示したステップＳ１０７の処理において、マークアップ言語処理部２７は、マークアップデータを生成するとともに、マーカー箇所の文字列を集めたデータ（例えばテキストデータ）を生成してもよい。
図８は、マークアップ言語処理部２７が図３（ａ）に示した原稿Ｇに基づいて生成するテキストデータＤの一例を示す図である。本図に示すように、マークアップ言語処理部２７は、原稿Ｇに示されたマーカー箇所の文字列を、そのマーカー箇所の色と対応付けて示したテキストデータＤを生成している。画像形成装置１０は、操作受付部２２が受け付けるユーザーからの指示に応じて、表示部１２に当該テキストデータＤを表示してもよい。このようにすることで、ユーザーに隠された文字列の一覧を報知することができる。
また、通信制御部２４は、マークアップデータとともに当該テキストデータを電子メールにより情報処理装置３０へ送信してもよい。このようにすることで、情報処理装置３０において、操作受付部５２が受け付けるユーザーからの指示に応じて、表示部４１に隠された文字列の一覧を表示することができる。
１０ 画像形成装置
１１ 制御ユニット
１２ 表示部
１４ 操作部
１５ タッチパネル
１６ 通信部
１７ 画像読取部
１８ 画像形成部
１９ 記憶部
２１ 制御部
２２ 操作受付部
２３ 表示制御部
２４ 通信制御部
２５ マーカー検出部
２６ ＯＣＲ処理部
２７ マークアップ言語処理部
３０ 情報処理装置
３１ 制御ユニット
４１ 表示部
４２ タッチパネル
４３ ハードキー
４４ 記憶部
４５ 通信部
５１ 制御部
５２ 操作受付部
５３ 表示制御部
５４ 通信制御部
５５ マークアップ言語処理部

Claims (5)

  1. 原稿の画像を示す画像データを取得する取得部と、
    前記画像データに基づき、前記原稿に印されているマーカーを検出するマーカー検出部と、
    前記画像データを解析して、前記原稿におけるテキストを認識して抽出するテキスト抽出部と、
    前記テキスト抽出部が抽出したテキスト、および、前記マーカー検出部が検出したマーカーの表示態様を示すデータを含むマークアップ言語により既述されたマークアップデータを生成するマークアップ言語処理部であって、前記マークアップデータとして、前記画像データにおける前記テキストの表示色を、前記マーカーの表示色と同一色にしたマークアップデータを生成するマークアップ言語処理部と、を備える画像処理装置。
  2. 前記マークアップ言語処理部は、前記マークアップデータを生成する処理において、マーカー箇所に対する指示に応答して該マーカー箇所のテキストの色及び該マーカーの色のいずれか一方を切り替えさせるプログラム手順を前記マークアップデータに含める処理を行う、請求項１に記載の画像処理装置。
  3. 前記マークアップデータに基づき、前記テキストを前記マーカーと共に表示する表示部と、
    ユーザーにより操作されて、前記表示部に表示されている前記マーカー箇所を指示するための操作部とを更に備え、
    前記マークアップ言語処理部は、前記操作部を通じて前記マーカー箇所が指示されると、前記マークアップデータに含まれる前記処理手順に基づき、前記マーカー箇所のテキストの色及びマーカーの色のいずれか一方を切り替える、請求項２に記載の画像処理装置。
  4. 前記マークアップ言語処理部は、前記マークアップデータを生成するとともに、前記マーカー検出部が検出したマーカー箇所に示されたテキストを集めたデータを生成し、
    前記表示部は、前記操作部が受け付けた操作に応じて、前記データに示されるテキストを表示する、請求項３に記載の画像処理装置。
  5. 画像処理装置と情報処理装置の間でデータ通信を行う画像処理システムであって、
    前記画像処理装置は、
    原稿の画像を示す画像データを取得する取得部と、
    前記画像データに基づき、前記原稿に印されているマーカーを検出するマーカー検出部と、
    前記画像データを解析して、前記原稿におけるテキストを認識して抽出するテキスト抽出部と、
    前記テキスト抽出部が抽出したテキスト、および、前記マーカー検出部が検出したマーカーの表示態様を示すデータを含むマークアップ言語により既述されたマークアップデータを生成するマークアップ言語処理部であって、前記マークアップデータとして、前記画像データにおける前記テキストの表示色を、前記マーカーの表示色と同一色にしたマークアップデータを生成するマークアップ言語処理部と、
    前記マークアップデータを前記情報処理装置に送信する送信部と、を備え、
    前記情報処理装置は、
    前記マークアップデータを受信する受信部と、
    前記マークアップデータに基づき、前記テキストを前記マーカーと共に表示する表示部と、を備える画像処理システム。
JP2016091227A 2016-04-28 2016-04-28 画像処理装置及び画像処理システム Active JP6477585B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016091227A JP6477585B2 (ja) 2016-04-28 2016-04-28 画像処理装置及び画像処理システム
US15/493,643 US20170315963A1 (en) 2016-04-28 2017-04-21 Image processing apparatus and image processing system
CN201710287407.0A CN107426456B (zh) 2016-04-28 2017-04-27 图像处理装置及图像处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016091227A JP6477585B2 (ja) 2016-04-28 2016-04-28 画像処理装置及び画像処理システム

Publications (3)

Publication Number Publication Date
JP2017200119A true JP2017200119A (ja) 2017-11-02
JP2017200119A5 JP2017200119A5 (ja) 2018-09-27
JP6477585B2 JP6477585B2 (ja) 2019-03-06

Family

ID=60158406

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016091227A Active JP6477585B2 (ja) 2016-04-28 2016-04-28 画像処理装置及び画像処理システム

Country Status (3)

Country Link
US (1) US20170315963A1 (ja)
JP (1) JP6477585B2 (ja)
CN (1) CN107426456B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10277755B2 (en) * 2016-02-29 2019-04-30 Kyocera Document Solutions Inc. Electronic device and marker processing method
JP6841197B2 (ja) * 2017-09-28 2021-03-10 京セラドキュメントソリューションズ株式会社 画像形成装置
CN108255555B (zh) 2017-12-26 2019-08-13 平安科技（深圳）有限公司 一种系统语言切换方法及终端设备
JP2020160553A (ja) * 2019-03-25 2020-10-01 東芝テック株式会社 画像処理プログラム、及び画像処理装置
CN111276017A (zh) * 2020-01-21 2020-06-12 上海万得维进出口有限公司 基于智能标记实现针对学生进行自助家默控制的系统及其方法
CN115965982B (zh) * 2021-10-09 2026-02-27 联想(北京)有限公司 一种数据标记方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0946531A (ja) * 1995-07-25 1997-02-14 Fuji Xerox Co Ltd 文書処理装置
JP2004187130A (ja) * 2002-12-05 2004-07-02 Nec Corp データ放送システム
JP2007127798A (ja) * 2005-11-02 2007-05-24 Sharp Corp 電子文書再生装置、サーバ、電子文書再生システム、電子文書再生方法、電子文書再生プログラム、および電子文書再生プログラムを記録した記録媒体
JP2013229785A (ja) * 2012-04-26 2013-11-07 Renesas Electronics Corp 画像処理ｌｓｉ、画像処理システムおよび画像処理方法
JP2014071647A (ja) * 2012-09-28 2014-04-21 Seiko Epson Corp 印刷制御装置、プリンター、および印刷制御装置の制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08307660A (ja) * 1995-04-24 1996-11-22 Xerox Corp マーカー編集機能を備えたカラー複写機
US20060062453A1 (en) * 2004-09-23 2006-03-23 Sharp Laboratories Of America, Inc. Color highlighting document image processing
JP4631749B2 (ja) * 2006-03-03 2011-02-16 富士ゼロックス株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2009218836A (ja) * 2008-03-10 2009-09-24 Ricoh Co Ltd 画像形成装置、画像印刷方法、画像印刷プログラム、記録媒体
JP4577421B2 (ja) * 2008-07-10 2010-11-10 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP5239753B2 (ja) * 2008-11-04 2013-07-17 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
CN107066999A (zh) * 2013-05-22 2017-08-18 华为终端有限公司 一种文字识别方法及用户终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0946531A (ja) * 1995-07-25 1997-02-14 Fuji Xerox Co Ltd 文書処理装置
JP2004187130A (ja) * 2002-12-05 2004-07-02 Nec Corp データ放送システム
JP2007127798A (ja) * 2005-11-02 2007-05-24 Sharp Corp 電子文書再生装置、サーバ、電子文書再生システム、電子文書再生方法、電子文書再生プログラム、および電子文書再生プログラムを記録した記録媒体
JP2013229785A (ja) * 2012-04-26 2013-11-07 Renesas Electronics Corp 画像処理ｌｓｉ、画像処理システムおよび画像処理方法
JP2014071647A (ja) * 2012-09-28 2014-04-21 Seiko Epson Corp 印刷制御装置、プリンター、および印刷制御装置の制御方法

Also Published As

Publication number Publication date
CN107426456A (zh) 2017-12-01
JP6477585B2 (ja) 2019-03-06
US20170315963A1 (en) 2017-11-02
CN107426456B (zh) 2019-06-11

Similar Documents

Publication Publication Date Title
JP6477585B2 (ja) 画像処理装置及び画像処理システム
EP3035184B1 (en) User interface apparatus, method for controlling a user interface, and computer-readable storage medium for controlling a user interface
CN106412410A (zh) 移动终端及其控制方法
JP2017200119A5 (ja)
CN102841738B (zh) 经由网络与外部设备通信的信息处理装置及其控制方法
KR20150025452A (ko) 데이터 처리 방법 및 그 전자 장치
JP2017004354A (ja) 表示制御方法、表示制御プログラム、情報処理端末、及びウェアラブルデバイス
EP3190482A1 (en) Electronic device, character input module and method for selecting characters thereof
KR102639193B1 (ko) 메시지 처리 방법 및 전자기기
JP2010055207A (ja) 文字入力装置、文字入力方法、プログラム、記憶媒体
US20200358913A1 (en) Information processing apparatus, and non-transitory computer readable medium
US11194469B2 (en) Image processing apparatus, method for controlling the same, and storage medium
WO2015045676A1 (ja) 情報処理装置、および制御プログラム
US9900470B2 (en) Storage medium, symbol entry device, and system for accepting touch inputs on a display
US20220385640A1 (en) Image processing apparatus, control method, and system
KR101520953B1 (ko) 전자펜을 이용하여 단말장치의 동작을 제어하는 방법 및 그 단말장치
US9432526B2 (en) Image forming system, image forming apparatus, remote control apparatus, and recording medium for displaying an input screen
US10212310B2 (en) Information processing apparatus, method for calling input portion, and computer-readable storage medium for computer program
JPWO2014024281A1 (ja) 電子機器、表示制御方法及びプログラム
US20170060414A1 (en) Display input device, image forming apparatus and method of controlling display input device
JP6206250B2 (ja) 表示制御装置、画像形成装置およびプログラム
JP2018026117A (ja) 画像表示装置、画像表示システム及びプログラム
CN107786768A (zh) 信息处理设备、图像形成设备和信息处理方法
KR101941463B1 (ko) 복수의 카드 오브젝트 출력 방법 및 장치
JP2004303020A (ja) 情報読取・処理システム及び情報処理制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190121

R150 Certificate of patent or registration of utility model

Ref document number: 6477585

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150