JP5884811B2 - Ａｒ表示装置、ａｒ表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム - Google Patents

Ａｒ表示装置、ａｒ表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム Download PDF

Info

Publication number
JP5884811B2
JP5884811B2 JP2013238312A JP2013238312A JP5884811B2 JP 5884811 B2 JP5884811 B2 JP 5884811B2 JP 2013238312 A JP2013238312 A JP 2013238312A JP 2013238312 A JP2013238312 A JP 2013238312A JP 5884811 B2 JP5884811 B2 JP 5884811B2
Authority
JP
Japan
Prior art keywords
paper
image
setting
unit
existing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013238312A
Other languages
English (en)
Other versions
JP2015099448A (ja
Inventor
泰明 杉本
泰明 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2013238312A priority Critical patent/JP5884811B2/ja
Priority to US14/533,197 priority patent/US9380179B2/en
Priority to CN201410658041.XA priority patent/CN104660842B/zh
Publication of JP2015099448A publication Critical patent/JP2015099448A/ja
Application granted granted Critical
Publication of JP5884811B2 publication Critical patent/JP5884811B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00283—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a television apparatus
    • H04N1/00286—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a television apparatus with studio circuitry, devices or equipment, e.g. television cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/002—Interacting with the operator
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00962—Input arrangements for operating instructions or parameters, e.g. updating internal software
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Facsimiles In General (AREA)
  • Record Information Processing For Printing (AREA)
  • Image Processing (AREA)

Description

本発明は、印刷装置が画像や出力用紙に施す予定の各種処理の処理結果を模擬的にイメージ化して表示する技術に関する。
原稿をコピーする場合に、「極秘」などの文字をウォータマークとして合成したり、印刷後の用紙に、折り、綴じ、穴あけなどの後処理を施したりすることがある。このような付加処理を施す場合、ユーザは、その設定を、通常、印刷装置の操作パネルから行うが、自己の行った設定に従って作成される印刷物の仕上がり状態を印刷前にユーザ自身で正しくイメージすることは難しい。たとえば、ステイプルやパンチ穴と印刷される文字や画像との重なりの有無や位置関係を正しく認識することは難しい。
そこで、原稿をスキャナで読み取り、その読み取り画像が印刷された用紙にパンチ穴などの後処理を施した仕上がり状態のプレビュー画像を作成して操作パネルに表示する画像形成装置が提案されている（たとえば、特許文献１参照）。
また、サーバに登録された所定の画像を指定するＡＲ(Augmented Reality）タグを基本原稿に付加した印刷物を出力する画像形成装置と、この印刷物を撮像する携帯端末を含み、該印刷物を撮像した携帯端末が、該印刷物に付加されているＡＲタグに関連付けされている画像（たとえば：地図など）をサーバから取得し、その画像を、撮像画像中のＡＲタグの付近に重畳してＡＲ表示するシステムがある（たとえば、特許文献２参照。）
特開２００８−７０８３５号公報 特開２０１３−０２６９２２号公報
上記の特許文献１に開示の画像形成装置では、仕上がり状態をプレビュー表示するためには、原稿をスキャナで読み取る必要があり、手間がかかる。また、操作パネルの小さい画面上では、正確な仕上がり状態を確認し難い。
特許文献２に開示の技術では、ＡＲタグに関連付けされている画像を撮像画像中のＡＲタグの付近に重畳してＡＲ表示するだけなので、印刷物を傾けたりすると、印刷物と画像の角度がずれてしまう。そのため、この技術を応用して、仕上がり状態の画像を用紙に重畳してＡＲ表示したとしても、用紙を正しい姿勢に保持しなければ、用紙と画像の角度がずれてしまい、ＡＲ表示で仕上がり状態を正しく確認することはできない。
本発明は、上記の問題を解決しようとするものであり、印刷物の仕上がり状態を容易に確認することのできるＡＲ表示装置、ＡＲ表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラムを提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
［１］現実空間に画像を合成した拡張現実空間を表示する表示部と、
前記表示部が表示する前記拡張現実空間に対応した現実空間を撮影するカメラと、
所定の印刷装置が画像または出力用紙に施す予定の付加処理に関する設定内容を取得する設定情報取得部と、
前記カメラが撮影している前記現実空間に存在する用紙をその姿勢を含めて検出する検出部と、
前記設定情報取得部が取得した前記設定内容に従って前記印刷装置で前記付加処理を実施した場合の処理結果を模擬的に示す画像であって前記検出部によって検出された前記現実空間に存在する用紙の姿勢に合わせて補正した出力イメージ画像を生成し、該出力イメージ画像を前記現実空間に存在する用紙に重ね合わせた拡張現実空間を前記表示部に表示させる表示制御部と、
前記カメラの撮影映像から前記現実空間に存在する用紙の中の既に文字や画像が存在する領域である既存印字領域を検出する既存印字領域検出部と、
所定の付加処理に関する前記処理結果が前記既存印字領域と重なるか否かを判定し、重なる場合に、所定の警告を行う警告部と、
使用者の視線を検出する視線検出部を備え、
前記警告部は、前記警告を行うに際して前記使用者が前記用紙を見ているか否かを前記視線検出部の検出結果から判定し、前記使用者が前記用紙を見ている場合は、前記警告を前記表示部に表示させ、前記使用者が前記用紙を見ていない場合は、音声により前記警告を行う
ことを特徴とするＡＲ表示装置。
上記発明および下記［５］に記載の発明では、外部から取得した設定内容に従って印刷装置で付加処理を実施した場合の処理結果を模擬的に示す出力イメージ画像を作成し、これを、現実空間の用紙の姿勢に合わせて補正し、補正後の出力イメージ画像を現実空間に存在する用紙に重ね合わせた拡張現実空間をＡＲ表示する。これにより、ユーザは、設定内容にしたがって印刷装置で付加処理を施した場合の処理結果を事前に且つ容易に確認することができる。
また、設定内容が示す付加処理の中の所定の付加処理に関する処理結果が、現実空間に存在する用紙において既に文字や画像が存在する既存印字領域と重なる場合には、警告が行われる。この警告は、使用者が用紙を見ている場合は、表示による警告が行われ、使用者が用紙を見ていない場合は、音声による警告が行われる。
［２］前記表示制御部は、第１時点での前記用紙の姿勢と、前記第１時点とは異なる第２時点での前記用紙の姿勢とを比較し、当該比較の結果、前記第１時点での用紙の形状と前記第２時点での用紙の形状とが異なると判断する場合に、現実空間に存在する前記用紙の姿勢が変化したと判断して、前記第２時点での用紙の姿勢に合うように出力イメージ画像の形状を補正する
ことを特徴とする［１］に記載のＡＲ表示装置。
［３］前記カメラの撮影映像から前記現実空間に存在する用紙の中の既に文字や画像が存在する領域である既存印字領域を検出する既存印字領域検出部を有し、
前記表示制御部は、所定の付加処理に関する前記処理結果が前記既存印字領域と重なるか否かを判定し、重なる部分と重ならない部分とを前記出力イメージ画像において異なる表示形態にする
ことを特徴とする［１］または［２］に記載のＡＲ表示装置。
上記発明および下記［７］に記載の発明では、設定内容が示す付加処理の中の所定の付加処理に関する処理結果が、現実空間に存在する用紙の既存印字領域と重なる箇所と、重ならない箇所とを判別し、重なる箇所と重ならない箇所で、出力イメージ画像を異なる表示形態、たとえば、色を変えて、表示する。
［４］前記カメラの撮影映像から前記現実空間に存在する用紙の中の既に文字や画像が存在する領域である既存印字領域を検出する既存印字領域検出部と、
所定の付加処理に関する前記処理結果が前記既存印字領域と重なるか否かを判定し、重なる場合は、前記付加処理に関する設定をユーザから受けた外部装置に対して、前記重なりの生じる付加処理に関する設定内容の変更操作をユーザから受けるように指示する設定変更指示部と
を有する
ことを特徴とする［１］〜［３］のいずれか一項に記載のＡＲ表示装置。
上記発明および下記［８］に記載の発明では、設定内容が示す付加処理の中の所定の付加処理に関する処理結果が既存印字領域と重なる場合は、該付加処理に関する設定をユーザから受けた外部装置に対して、該付加処理に関する設定内容の変更操作をユーザから受けるように指示する。たとえば、該当の設定画面を表示するように指示する。
［５］現実空間に画像を合成した拡張現実空間を表示する表示部と、前記表示部が表示する前記拡張現実空間に対応した現実空間を撮影するカメラとを備えたＡＲ表示装置の表示内容を制御するＡＲ表示制御装置であって、
所定の印刷装置が画像または出力用紙に施す予定の付加処理に関する設定内容を取得する設定情報取得部と、
前記カメラが撮影している前記現実空間に存在する用紙をその姿勢を含めて検出する検出部と、
前記設定情報取得部が取得した前記設定内容に従って前記印刷装置で前記付加処理を実施した場合の処理結果を模擬的に示す画像であって前記検出部によって検出された前記現実空間に存在する用紙の姿勢に合わせて補正した出力イメージ画像を生成し、該出力イメージ画像を前記現実空間に存在する用紙に重ね合わせた拡張現実空間を前記ＡＲ表示装置に表示させる表示制御部と、
前記カメラの撮影映像から前記現実空間に存在する用紙の中の既に文字や画像が存在する領域である既存印字領域を検出する既存印字領域検出部と、
所定の付加処理に関する前記処理結果が前記既存印字領域と重なるか否かを判定し、重なる場合に、所定の警告を行う警告部と、
使用者がどこを見ているかを示す視線情報を取得する視線情報取得部を備え、
前記警告部は、前記警告を行うに際して前記使用者が前記用紙を見ているか否かを前記視線情報に基づいて判定し、前記使用者が前記用紙を見ている場合は、前記警告を前記表示部に表示させ、前記使用者が前記用紙を見ていない場合は、音声により前記警告を行う
ことを特徴とするＡＲ表示制御装置。
［６］前記表示制御部は、第１時点での前記用紙の姿勢と、前記第１時点とは異なる第２時点での前記用紙の姿勢とを比較し、当該比較の結果、前記第１時点での用紙の形状と前記第２時点での用紙の形状とが異なると判断する場合に、現実空間に存在する前記用紙の姿勢が変化したと判断して、前記第２時点での用紙の姿勢に合うように出力イメージ画像の形状を補正する
ことを特徴とする［５］に記載のＡＲ表示制御装置。
［７］前記カメラの撮影映像から前記現実空間に存在する用紙の中の既に文字や画像が存在する領域である既存印字領域を検出する既存印字領域検出部を有し、
前記表示制御部は、所定の付加処理に関する前記処理結果が前記既存印字領域と重なるか否かを判定し、重なる部分と重ならない部分とを前記出力イメージ画像において異なる表示形態にする
ことを特徴とする［５］または［６］に記載のＡＲ表示制御装置。
［８］前記カメラの撮影映像から前記現実空間に存在する用紙の中の既に文字や画像が存在する領域である既存印字領域を検出する既存印字領域検出部と、
所定の付加処理に関する前記処理結果が前記既存印字領域と重なるか否かを判定し、重なる場合は、前記付加処理に関する設定をユーザから受けた外部装置に対して、前記重なりの生じる付加処理に関する設定内容の変更操作をユーザから受けるように指示する設定変更指示部と
を有する
ことを特徴とする［５］〜［７］のいずれか一項に記載のＡＲ表示制御装置。
［９］［４］に記載のＡＲ表示装置または［８］に記載のＡＲ表示制御装置と、
前記付加処理に関する設定をユーザから受けると共に、前記設定変更指示部からの指示に従って、前記重なりの生じる付加処理に関する設定内容の変更操作をユーザから受ける設定装置と、
を含む
ことを特徴とする印刷条件設定システム。
［１０］［４］に記載のＡＲ表示装置または［８］に記載のＡＲ表示制御装置と、
前記付加処理に関する設定をユーザから受けると共に、前記設定変更指示部からの指示に従って、前記重なりの生じる付加処理に関する設定内容の変更操作をユーザから受ける設定部を備えた印刷装置と
を含む
ことを特徴とする印刷システム。
［１１］現実空間に画像を合成した拡張現実空間を表示する表示部と、前記表示部が表示する前記拡張現実空間に対応した現実空間を撮影するカメラとを備えたＡＲ表示装置に、所定の印刷装置が画像または出力用紙に施す予定の付加処理の設定内容を表示させる印刷設定表示方法であって、
前記設定内容を取得するステップと、
前記カメラが撮影している前記現実空間に存在する用紙をその姿勢を含めて検出するステップと、
前記設定内容に従って前記印刷装置で前記付加処理を実施した場合の処理結果を模擬的に示す画像であって前記検出した前記現実空間に存在する用紙の姿勢に合わせて補正した出力イメージ画像を生成し、該出力イメージ画像を前記現実空間に存在する用紙に重ね合わせた拡張現実空間を前記ＡＲ表示装置に表示させるステップと、
前記カメラの撮影映像から前記現実空間に存在する用紙の中の既に文字や画像が存在する領域である既存印字領域を検出するステップと、
所定の付加処理に関する前記処理結果が前記既存印字領域と重なるか否かを判定し、重なる場合に、所定の警告を行うステップと、
使用者がどこを見ているかを示す視線情報を取得するステップと、
前記警告を行うステップにおいて、前記使用者が前記用紙を見ているか否かを前記視線情報に基づいて判定し、前記使用者が前記用紙を見ている場合は、前記警告を前記表示部に表示させ、前記使用者が前記用紙を見ていない場合は、音声により前記警告を行うステップと、
を有する
ことを特徴とする印刷設定表示方法。
［１２］情報処理装置を、
［１］乃至［４］のいずれか１つに記載のＡＲ表示装置もしくは［５］乃至［８］のいずれか１つに記載のＡＲ表示制御装置として機能させる
ことを特徴とするプログラム。
本発明に係るＡＲ表示装置、ＡＲ表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラムによれば、拡張現実空間において印刷物の仕上がり状態を事前に容易に確認することができる。
本発明の実施の形態に係る印刷システムの構成を示す図である。 本発明の実施の形態に係る印刷システムに含まれる画像形成装置の概略構成を示すブロック図である。 本発明の実施の形態に係る印刷システムに含まれるＡＲ表示装置としてのヘッドマウントディスプレイ装置の外観を示す図である。 本発明の実施の形態に係る印刷システムに含まれるＡＲ表示装置としてのヘッドマウントディスプレイ装置の構成を示すブロック図である。 本発明の実施の形態に係る印刷システムに含まれるＡＲ表示装置としての携帯端末の概略構成を示すブロック図である。 現実の用紙と、ウォータマークを付加する出力設定に対応する出力イメージ画像が重畳された拡張現実空間の用紙を示す図である。 現実の用紙と、中折りの出力設定に対応する出力イメージ画像が重畳された拡張現実空間の用紙を示す図である。 現実の用紙と、三つ折りの出力設定に対応する出力イメージ画像が重畳された拡張現実空間の用紙を示す図である。 現実の用紙と、四つ折りの出力設定に対応する出力イメージ画像が重畳された拡張現実空間の用紙を示す図である。 現実の用紙と、Ｚ折りの出力設定に対応する出力イメージ画像が重畳された拡張現実空間の用紙を示す図である。 現実の用紙と、コピー時の画像欠け範囲の出力設定に対応する出力イメージ画像が重畳された拡張現実空間の用紙を示す図である。 現実の用紙と、コピー時の画像欠け範囲の出力設定に対応する出力イメージ画像が重畳された拡張現実空間の用紙の他の例を示す図である。 現実の用紙と、コピー時の画像欠け範囲の出力設定に対応する出力イメージ画像が重畳された拡張現実空間の用紙の他の例を示す図である。 現実の用紙と、地紋画像の出力設定に対応する出力イメージ画像が重畳された拡張現実空間の用紙を示す図である。 現実の用紙と、潜像が顕在化された地紋画像に対応する出力イメージ画像が重畳された拡張現実空間の用紙の他の例を示す図である。 現実の用紙と、センター消去の出力設定に対応する出力イメージ画像が重畳された拡張現実空間の用紙を示す図である。 現実の用紙と、枠消去の出力設定に対応する出力イメージ画像が重畳された拡張現実空間の用紙を示す図である。 現実の用紙と、ステイプルの出力設定に対応する出力イメージ画像が重畳された拡張現実空間の用紙を示す図である。 現実の用紙と、パンチ穴の出力設定に対応する出力イメージ画像が重畳された拡張現実空間の用紙を示す図である。 ヘッドマウントディスプレイ装置が行う処理の全体を示す流れ図である。 図２０の続きを示す流れ図である。 用紙サイズの管理テーブルを示す図である。 出力イメージ画像を作成する処理を示す流れ図である。 重なりに関する警告を行う処理を示す流れ図である。 ヘッドマウントディスプレイ装置から指示された設定画面に表示を切り替える画像形成装置の処理を示す流れ図である。 ＡＲ表示制御装置の概略構成を示すブロック図である。
以下、図面に基づき本発明の実施の形態を説明する。
図１は、本発明の実施の形態に係る印刷システム３の構成を示している。印刷システム３は、画像形成装置１０と、ＡＲ(Augmented Reality）表示装置としてのヘッドマウントディスプレイ（ＨＭＤ）装置３０と、同じくＡＲ表示装置としての携帯端末６０と、ＡＲ表示制御装置１３０をＬＡＮ（Local Area Network）などのネットワーク２に接続して構成される。ヘッドマウントディスプレイ装置３０および携帯端末６０は、無線でネットワーク２と接続される。ＡＲ表示装置はヘッドマウントディスプレイ装置３０と携帯端末６０のいずれか一方でもかまわない。
画像形成装置１０は、原稿を光学的に読み取ってその複製画像を記録紙に印刷するコピー機能、読み取った原稿の画像データをファイルにして保存したり外部端末へネットワーク２を通じて送信したりするスキャン機能、外部のＰＣ（Personal Computer）などからネットワーク２を通じて受信した印刷データに係る画像を記録紙上に形成して印刷出力するプリンタ機能、ファクシミリ手順に従って画像データを送受信するファクシミリ機能などを備えた、所謂、複合機（ＭＦＰ）である。画像形成装置１０は、少なくとも用紙に画像を印刷するコピー機能（印刷装置としての機能）を備えていればよい。
画像形成装置１０は、画像や用紙に対して各種の付加処理を施す機能を備えている。たとえば、画像に対する付加処理には、印刷対象の画像にウォータマーク等のスタンプの画像を付加する処理や地紋画像を付加する処理、本などを見開いてコピーしたときに中央に生じる影を消去するセンター消去処理、原稿の周囲（たとえば、プラテンカバーを開いて原稿をコピーした場合に原稿の周囲に生じる黒い部分）を消去する枠消し処理、コピー時に用紙の周縁で画像の欠ける範囲を設定された画像欠け範囲にする処理などがある。
また、用紙に対する付加処理（所謂、後処理）としては、複数枚の用紙をステイプルで綴じる処理、パンチで穴を開ける処理、用紙に折り目を付ける処理などがある。このような画像や用紙に対する付加処理に関する設定を、以後、出力設定と呼ぶこととする。
ＡＲ表示装置（ヘッドマウントディスプレイ装置３０や携帯端末６０）は、画像形成装置１０に対する出力設定の内容を示す出力設定情報を画像形成装置１０等から取得する。そして、ＡＲ表示装置は、該出力設定情報が示す付加処理を画像形成装置１０で実施した場合の処理結果を模擬的に示す出力イメージ画像を作成し、これを現実空間の用紙に重ね合わせた拡張現実空間を表示する機能を備えている。
たとえば、画像形成装置１０に対して二つ折りの出力設定が成されている状態で、ヘッドマウントディスプレイ装置３０を装着したユーザが現実空間の用紙（たとえば、ユーザが手に持っている用紙）を見たとき、ヘッドマウントディスプレイ装置３０は、二つ折りの折り目に相当する出力イメージ画像を現実空間の用紙に重ね合わせた拡張現実空間を表示する。ヘッドマウントディスプレイ装置３０を装着したユーザはこの拡張現実空間を見る。
現実空間の用紙は、ユーザが手で持っている等の場合には、移動したり傾いたりする。また、現実空間の用紙は曲げられたりすることもある。そこで、本実施の形態に係るＡＲ表示装置（ヘッドマウントディスプレイ装置３０や携帯端末６０）は、現実空間にある用紙の位置および姿勢（向き、形状など）を検出し、傾いたり曲げられたりしている用紙に合わせて出力イメージ画像を補正し、該補正後の出力イメージ画像を現実空間の用紙に重ね合わせた拡張現実空間を表示する。
すなわち、用紙の表面に沿って出力イメージ画像が張り付いているような拡張現実空間が表示される。言い換えると、現実の用紙の姿勢にかかわらず、現実の用紙に付加処理が施されたような状態で出力イメージ画像が表示される。
これにより、ユーザは、用紙の位置や姿勢にかかわらず、設定した付加処理が実際に施された用紙があたかも現実空間に存在するような拡張現実空間をＡＲ表示装置で見ることができる。たとえば、円柱などの立体物に用紙を貼り付けた状態での処理結果を事前に確認することができる。また、ＡＲ表示装置は、上記の検出と補正を繰り返し行うので、ユーザが用紙を動かしても、その動きに追従して補正された出力イメージ画像が、現実空間の用紙に重畳して表示される。
なお、画像形成装置１０に対する出力設定は、画像形成装置１０の操作パネルで行うほか、外部端末や任意の携帯端末で行われる構成でもよく、この場合、ＡＲ表示装置は、出力設定の行われた外部端末や携帯端末から出力設定情報を取得する。なお、ＡＲ表示装置である携帯端末６０で出力設定を行う構成でもかまわない。
図２は、画像形成装置１０の概略構成を示すブロック図である。画像形成装置１０は、当該画像形成装置１０の動作を統括的に制御するＣＰＵ(Central Processing Unit)１１を有している。ＣＰＵ１１にはバスを通じてＲＯＭ(Read Only Memory)１２、ＲＡＭ(Random Access Memory)１３、不揮発メモリ１４、ハードディスク装置１５、自動原稿搬送部（ＡＤＦ：Auto Document Feeder）１６、認証部１７、操作部２０、表示部２１、ネットワーク通信部２２、画像読取部２３、画像処理部２４、プリンタ部２５、ファクシミリ通信部２６などが接続されている。
ＣＰＵ１１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ１２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種処理を実行することで画像形成装置１０の各機能が実現される。
ＲＡＭ１３は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。
不揮発メモリ１４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。ハードディスク装置１５は大容量不揮発の記憶装置であり、印刷データ、画像データなどのほか各種のプログラムやデータが記憶される。
画像読取部２３は、原稿を光学的に読み取って画像データを取得する機能を果たす。画像読取部２３は、例えば、原稿に光を照射する光源と、その反射光を受けて原稿を幅方向に１ライン分読み取るラインイメージセンサと、ライン単位の読取位置を原稿の長さ方向に順次移動させる移動ユニットと、原稿からの反射光をラインイメージセンサに導いて結像させるレンズやミラーなどからなる光学経路と、ラインイメージセンサの出力するアナログ画像信号をデジタルの画像データに変換する変換部などを備えて構成される。
自動原稿搬送部１６は、原稿台にセットされた原稿をその最上のものから１枚ずつ順に繰り出して搬送し、画像読取部２３の読み取り位置を通過させて所定の排紙位置へ排紙する機能を果たす。また、原稿の表裏を自動的に反転させる機能を有し、これにより原稿の両面自動読み取りを可能にする。画像読取部２３は、プラテンガラス上に載置された原稿を読み取る機能と、自動原稿搬送部１６によって搬送される原稿を順次読み取る機能を備えている。
認証部１７は、画像形成装置１０を使用するユーザを認証する。認証方法は、パスワード、指紋、静脈など任意でよい。
操作部２０と表示部２１はユーザからジョブの投入などの操作を受ける操作パネルを構成する。画像形成装置１０は操作パネルにて前述した出力設定（付加処理に係る設定）をユーザから受け付ける。表示部２１は、液晶ディスプレイ（ＬＣＤ…Liquid Crystal Display）などで構成され、各種の操作画面、設定画面などを表示する機能を果たす。操作部２０は、スタートボタンなどの各種操作スイッチと、表示部２１の物理的画面上に設けられたタッチパネルとを備えている。タッチパネルは、表示部２１の物理的画面がタッチペンや指などで接触操作された座標位置を検出する。
ネットワーク通信部２２は、ＬＡＮなどのネットワーク２を通じてヘッドマウントディスプレイ装置３０や携帯端末６０などのＡＲ表示装置のほか、ＰＣやサーバなどの外部装置と通信する機能を果たす。
画像処理部２４は、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。
プリンタ部２５は、画像データに応じた画像を記録紙上に画像形成する機能を果たす。ここでは、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有し、電子写真プロセスによって画像形成を行う、所謂、レーザープリンタとして構成されている。画像形成は他の方式でもかまわない。プリンタ部２５は、さらに、印刷後の用紙をステイプルで綴じる、パンチ穴を開ける、折るなどの後処理を施す機能を備えている。
ファクシミリ通信部２６は、ファクシミリ機能を備えた外部装置と電話回線を通じて画像データを送受信する機能を果たす。
図３は、ヘッドマウントディスプレイ装置３０の概略構成を示している。ヘッドマウントディスプレイ装置３０は、眼鏡に類似した形を成しており、人の頭に装着されて使用される。本例のヘッドマウントディスプレイ装置３０は、外の様子にハーフミラーで画像を重ね合わせる方式（所謂、光透過型）を採用している。
ヘッドマウントディスプレイ装置３０は、装着時に装着者の左右の目の前にそれぞれ配置される表示部３１と、左右の表示部３１をそれらの間で繋ぐブリッジ３２と、ブリッジ３２で連結された左右の表示部３１の両脇から同一方向に延びて装着者の耳に引っ掛けられるツル３３などを備えている。
また、表示部３１の両脇には、制御回路、投影部４６、カメラ部４７などを含む基幹部３４が設けられている。また各表示部３１の前方に位置するようにハーフミラー３５が、左右の基幹部３４から延びる支持腕に支持されている。
ハーフミラー３５は前方から表示部３１に向けて入射する光Ｌ１に対して４５度の角度で傾斜して設けてあり、基幹部３４の投影部４６は、画像（拡張現実感情報の画像光Ｌ２とする）をハーフミラー３５に向けて投影する。ハーフミラー３５は透明基板（ガラス基板）に、反射膜（金属膜と誘電体膜）をコーティングして構成されている。ハーフミラー３５は、たとえば、透過と反射の光量比が１：１になっている。
ヘッドマウントディスプレイ装置３０の装着者の目は、外光Ｌ１と画像光Ｌ２とが１：１の割合で合成された光が表示部３１を通じて入射する。すなわち、ヘッドマウントディスプレイ装置３０の装着者は、外の様子と投影部４６が投影した画像とを半々の透過率で重ね合わせた様子を見る。
図４は、ヘッドマウントディスプレイ装置３０の構成を示すブロック図である。ヘッドマウントディスプレイ装置３０は、制御部としてのＣＰＵ４１にバスを介してＲＯＭ４２、ＲＡＭ４３、不揮発メモリ４４、方位センサー部４５、投影部４６、カメラ部４７、操作部４８、表示部３１、ネットワーク通信部５１、画像処理部５２、視線検出部５３、距離センサ５４、音声出力部５５などを接続して構成される。
ＣＰＵ４１はＲＯＭ４２や不揮発メモリ４４に格納されているプログラムに従ってヘッドマウントディスプレイ装置３０の動作を制御する。ＲＯＭ４２にはプログラムや固定データが記憶されている。ＲＡＭ４３はＣＰＵ４１がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。不揮発メモリ４４には、各種の設定情報やアプリケーションプログラムなどが記憶される。
方位センサー部４５は、ヘッドマウントディスプレイ装置３０の向きや姿勢およびその変化を検出する。方位センサー部４５は、複数の地磁気センサと、複数の加速度センサを組み合わせて構成される。方位センサー部４５は、ヘッドマウントディスプレイ装置３０の装着者の姿勢や装着者が向いている方向や角度（これらは、カメラ部４７が撮影している方向や向きと一致）を検出したり、ヘッドマウントディスプレイ装置３０が傾けられたりした場合の動作の向きや速さを検出したりして、その検出結果をＣＰＵ４１へ通知する。ＣＰＵ４１は、方位センサー部４５からの通知に基づいて、ヘッドマウントディスプレイ装置３０の装着者の姿勢、角度、傾けられたりした動作の向きや速さを認識する。
投影部４６は前述したように、投影対象の画像（拡張現実感情報の画像光Ｌ２とする）をハーフミラー３５に向けて投影する。
カメラ部４７は、ヘッドマウントディスプレイ装置３０の前方を撮影する。より詳細には、装着者が前方を見たときの視野とほぼ同じ範囲を撮影する。カメラ部４７は、左右の基幹部３４にそれぞれ設けられてもよいし、いずれか一方のみに設けられてもよい。カメラ部４７は動画を撮影し、たとえば、毎秒３０フレームの画像を取り込む。
操作部４８は基幹部３４等に設けられたスイッチ等であり、投影画像の明るさなどの調整に使用される。
ネットワーク通信部５１は、無線ＬＡＮを含むネットワーク２を通じて画像形成装置１０などの外部装置と通信する機能を果たす。
画像処理部５２は、投影部４６からハーフミラー３５を介して表示部３１へ投影する画像（前述した出力イメージ画像など）の作成、該画像の補正（拡大・縮小、変形）などを行う、もしくはＣＰＵ４１と共同して行う。
視線検出部５３は、ヘッドマウントディスプレイ装置３０を装着しているユーザの視線（どこを見ているか）を検出する。視線の検出方法は任意でよい。たとえば、装着者の目を撮影するカメラを設け、このカメラが撮影した画像を解析し、目や瞳の位置、向きなどから装着者の視線を検出する。ヘッドマウントディスプレイ装置３０は、視線検出部５３で装着者の視線を検出することにより、当該ヘッドマウントディスプレイ装置３０の装着者が見ている箇所を認識する。
距離センサ５４は、ヘッドマウントディスプレイ装置３０からカメラ部４７の撮影範囲にある各種物体までの距離やヘッドマウントディスプレイ装置３０の装着者が見ている物体までの距離を計測する。距離センサ５４は、たとえば、超音波センサで構成される。
音声出力部５５は、警告を音声として出力する場合などに使用される。
ヘッドマウントディスプレイ装置３０は、カメラ部４７の撮影映像を解析して該撮影映像の中に存在する用紙をその位置と姿勢を含めて検出する。また、検出した用紙までの距離を距離センサ５４で計測し、計測結果の距離と撮影映像中の用紙の大きさとから、現実の用紙のサイズを認識する。さらに、距離センサ５４で用紙の各部までの距離を計測してこれらを集計・解析することで、ヘッドマウントディスプレイ装置３０側から見た用紙の三次元形状（傾き、曲がり、折れなど）も認識する。たとえば、三次元形状の認識は、特開２００８−２６２４３号公報などに開示されている公知技術を利用することができる。なお、カメラ部４７をステレオカメラとし、用紙の姿勢やヘッドマウントディスプレイ装置３０側から見た三次元形状を該ステレオカメラの映像を解析して認識してもよい。
図５は、携帯端末６０の概略構成を示している。携帯端末６０は、ＣＰＵ６１にバスを介してＲＯＭ６２、ＲＡＭ６３、不揮発メモリ６４、方位センサー部６５、カメラ部６６、認証部６７、操作部６８、表示部６９、ネットワーク通信部７０、画像処理部７１、視線検出部７２、距離センサ７３、音声出力部７４などを接続して構成される。
ＣＰＵ６１はＲＯＭ６２や不揮発メモリ６４に格納されているプログラムに従って携帯端末６０の動作を制御する。ＲＯＭ６２にはプログラムや固定データが記憶されている。ＲＡＭ６３はＣＰＵ６１がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。不揮発メモリ６４には、各種の設定情報やアプリケーションプログラムが記憶される。
方位センサー部６５は、携帯端末６０の向きや姿勢、およびそれらの変化を検出する。方位センサー部６５はヘッドマウントディスプレイ装置３０の方位センサー部４５と同様の構成である。
カメラ部６６は携帯端末６０の裏面側に設けられて携帯端末６０の裏面が臨む方向を撮影する。カメラ部６６は動画を撮影でき、たとえば、毎秒３０フレームの画像を取り込む。
認証部６７は、当該携帯端末６０の使用者を認証する。認証方法は、パスワード、指紋、静脈など任意でよい。
表示部６９は液晶ディスプレイなどで構成される。操作部６８は表示部６９の物理的画面上に設けられたタッチパネルなどで構成される。
ネットワーク通信部７０は、無線ＬＡＮを含むネットワーク２を通じて画像形成装置１０などの外部装置と通信する機能を果たす。
画像処理部７１は、カメラ部６６の撮影映像に合成する画像（前述した出力イメージ画像など）の作成、該画像の補正（拡大・縮小、変形）などを行うもしくはＣＰＵ６１と共同して行う。
視線検出部７２は、携帯端末６０のユーザの視線（どこを見ているか）を検出する。視線の検出方法は任意でよい。たとえば、使用者の顔や目を撮影するカメラを設け、このカメラが撮影した画像を解析し、顔、目や瞳の位置、向きなどからユーザの視線を検出する。携帯端末６０は、視線検出部７２でユーザの視線を検出することにより、当該携帯端末６０の使用者がどこを見ているかを認識する。
距離センサ７３は、携帯端末６０からカメラ部６６の撮影範囲にある各種物体までの距離や携帯端末６０のユーザが見ている物体までの距離を計測する。距離センサ７３は、ヘッドマウントディスプレイ装置３０の距離センサ５４と同様に、超音波センサなどで構成される。
音声出力部７４は、警告を音声として出力する場合などに使用される。
なお、ヘッドマウントディスプレイ装置３０では現実空間からの情報に出力イメージ画像を重ねて表示するが、携帯端末６０の場合には、カメラ部６６が撮影している画像内の用紙に出力イメージ画像を重ねあわせた画像を表示部６９に表示する。使用者は携帯端末６０の表示部６９に表示された拡張現実空間を見ることになる。また、使用者が用紙を見ているか否かの判定として、携帯端末６０では、使用者が表示部６９を見ているか否かを判定すればよい。
次に、ＡＲ表示装置の動作を説明する。
ここでは、ヘッドマウントディスプレイ装置３０を例に説明する。
以下の図６〜図１９では、画像形成装置１０に対して所定の出力設定を行った状態でヘッドマウントディスプレイ装置３０の装着者が見る拡張現実空間の用紙（出力設定後の用紙とする）と、これに対応する現実空間の用紙（出力設定前の用紙とする）とを対比して示す。出力設定後の用紙は、現実空間の用紙に出力イメージ画像が重畳されたものである。
図６は、出力設定前の用紙８１と、ウォータマーク等のスタンプを付加する出力設定が行われている場合の出力設定後の用紙８２を示している。出力設定後の用紙８２では、出力設定前の用紙８１にスタンプに対応する出力イメージ画像８３が重畳されている。これによりヘッドマウントディスプレイ装置３０の装着者は、出力設定前の用紙８１に既に印字されている内容（文字や画像）と出力設定に従って付加されるスタンプとの位置関係や濃度の関係をヘッドマウントディスプレイ装置３０にＡＲ表示された出力設定後の用紙８２を見て事前（印刷前）に確認することができる。
図７は、出力設定前の用紙８５と、中折りの出力設定が行われている場合の出力設定後の用紙８６を示している。出力設定後の用紙８６では、出力設定前の用紙８５に、中折りの折れ目に対応する出力イメージ画像８７が重畳されている。これによりヘッドマウントディスプレイ装置３０の装着者は、出力設定前の用紙８５に既に印字されている内容（文字や画像）と出力設定に従って施される中折りの折れ目との位置関係をヘッドマウントディスプレイ装置３０にＡＲ表示された出力設定後の用紙８６を見て事前に確認することができる。
ここでは、出力設定前の用紙８５の中で既に文字や画像が存在する領域（既存印字領域とする）に、出力設定に従って中折りを行った場合の折り目が重なるか否かを判定し、重なる場合と、重ならない場合とで、出力イメージ画像８７として表示する折り目の表示形態（たとえば、色）を相違させるようになっている。また、出力設定に従って中折りを行った場合の折り目の位置が既存印字領域と重なっている場合は、該付加処理に関する設定をユーザから受けた外部装置に対して、該付加処理に関する設定内容の変更操作をユーザから受けるように指示する。具体的には、上記の例では、折りに関する出力設定の設定画面を表示する指示を画像形成装置１０に対して送信する。この指示を受信した画像形成装置１０は、折りに関する出力設定をユーザから受けるための設定画面を操作パネルに表示する。
既存印字領域と付加処理の処理結果とが重なる場合と重ならない場合とで表示形態を相違させたり、重なる場合に該当する出力設定に関する設定画面の表示指示を画像形成装置１０へ送信したりする動作は、以下に示す他の付加処理（ただし、地紋のように重なることが前提の付加処理は除く）についても同様に行われる。
図８は、出力設定前の用紙８５と、三つ折りの出力設定が行われている場合の出力設定後の用紙８８を示している。出力設定後の用紙８８では、出力設定前の用紙８５に、三つ折りの折れ目に対応する出力イメージ画像８９が重畳されている。これによりヘッドマウントディスプレイ装置３０の装着者は、出力設定前の用紙８５に既に印字されている内容（文字や画像）と出力設定に従って施される三つ折りの折れ目との位置関係をヘッドマウントディスプレイ装置３０にＡＲ表示された出力設定後の用紙８８を見て事前に確認することができる。
図９は、出力設定前の用紙８５と、四つ折りの出力設定が行われている場合の出力設定後の用紙９０を示している。出力設定後の用紙９０では、出力設定前の用紙８５に、四つ折りの折れ目に対応する出力イメージ画像９１が重畳されている。これによりヘッドマウントディスプレイ装置３０の装着者は、出力設定前の用紙８５に既に印字されている内容（文字や画像）と出力設定に従って施される四つ折りの折れ目との位置関係をヘッドマウントディスプレイ装置３０にＡＲ表示された出力設定後の用紙９０を見て事前に確認することができる。
図１０は、出力設定前の用紙８５と、Ｚ折りの出力設定が行われている場合の出力設定後の用紙９２を示している。出力設定後の用紙９２では、出力設定前の用紙８５に、Ｚ折りの折れ目に対応する出力イメージ画像９３が重畳されている。これによりヘッドマウントディスプレイ装置３０の装着者は、出力設定前の用紙８５に既に印字されている内容（文字や画像）と出力設定に従って施されるＺ折りの折れ目との位置関係をヘッドマウントディスプレイ装置３０にＡＲ表示された出力設定後の用紙９２を見て事前に確認することができる。
図１１は、コピー機能において画像読取部２３で読み取られる原稿用紙（出力設定前の用紙）９５と、画像欠け範囲の出力設定が成されている場合の出力設定後の用紙９６を示している。画像欠け範囲に係る出力イメージ画像９７は、用紙の周縁の画像欠け範囲とその内側の領域との境界を示す境界線９７ａと、出力設定前の用紙（画像読取部２３で読み取られる原稿用紙）９５において画像欠け範囲にあった文字や画像をその表示形態（ここでは、色）を異ならせて示した警告画像９７ｂとから構成される。図では警告画像９７ｂとなっている文字を破線で囲ってある。
上記のような出力イメージ画像９７が重畳された出力設定後の用紙９６がヘッドマウントディスプレイ装置３０にＡＲ表示されるので、ヘッドマウントディスプレイ装置３０の装着者は、コピーにより画像が欠ける範囲を原稿用紙上で事前に確認することができる。
図１２は、コピー機能において画像読取部２３で読み取られる原稿用紙（出力設定前の用紙）９５と、画像欠け範囲の出力設定が成されている場合の出力設定後の用紙９８の他の例を示している。画像欠け範囲に係る出力イメージ画像９９は、図１１と同様の境界線９７ａと警告画像９７ｂに、画像欠け範囲を数値で示した画像欠け範囲情報９９ｃを加えたものである。
図１３は、コピー機能において画像読取部２３で読み取られる原稿用紙（出力設定前の用紙）９５と、画像欠け範囲の出力設定が成されている場合の出力設定後の用紙１００の他の例を示している。画像欠け範囲に係る出力イメージ画像１０１は、印刷推奨領域（たとえば、原稿の周縁から１０ミリ以上内側の領域）の外周を示す第１の境界線１０１ａと、印刷可能領域（画像が欠損しない最大範囲、たとえば、原稿の周縁から５ミリ以上内側の領域）の外周を示す第２の境界線１０１ｂと、図１１と同様の警告画像９７ｂとから構成される。なお、第１の境界線１０１ａと第２の境界線１０１ｂの双方を表示させてもよいし、別々に表示させてもよい。
図１４は、出力設定前の用紙１０３と、地紋画像を付加する出力設定が行われている場合の出力設定後の用紙１０４を示している。地紋画像を付加する出力設定では、地紋のパターンと、埋め込む文字や画像およびその埋め込み位置などが設定される。出力設定後の用紙１０４では、出力設定前の用紙１０３に、地紋画像に対応する出力イメージ画像１０５（図中、グレーの背景）が重畳されている。これにより、ヘッドマウントディスプレイ装置３０の装着者は、出力設定前の用紙１０３に既に印字されている内容（文字や画像）と出力設定に従って施される地紋画像とのコントラストなどをヘッドマウントディスプレイ装置３０にＡＲ表示された出力設定後の用紙１０４を見て事前に確認することができる。
図１５は、出力設定前の用紙１０３と、出力設定前の用紙１０３に地紋画像を付加した出力物をさらにスキャナで読み取ってコピーした場合に得られる出力物に対応する出力設定後の用紙１０６を示している。出力設定後の用紙１０６における出力イメージ画像１０７は、潜像の部分（地紋が像に埋め込まれていた文字や画像）が白抜きとなって顕在化された地紋の画像である。図１５は地紋画像に埋め込んだ文字が「不正コピーです」であった場合の例を示している。
出力設定後の用紙１０６では、地紋画像に潜像として埋め込まれていた文字や画像が顕像となって表示されるので、ヘッドマウントディスプレイ装置３０の装着者は、出力設定前の用紙１０３に既に印字されている内容（文字や画像）と地紋画像に埋め込まれている潜像との位置関係や濃度（スキャン前の濃度とスキャン後の濃度）をヘッドマウントディスプレイ装置３０にＡＲ表示された出力設定後の用紙１０６を見て事前に確認することができる。
図１６は、出力設定前の用紙１１０と、センター消去の出力設定が行われている場合の出力設定後の用紙１１１を示している。出力設定後の用紙１１１では、出力設定前の用紙１１０に、その中央部分の影Ｓを消去（用紙の地の色や白でマスク）する出力イメージ画像１１２が重畳されている。なお、図では中央部分を白でマスクしており、該白でマスクする出力イメージ画像１１２を見やすくするために、出力設定後の用紙１１１の地の色をグレーで示してある。
ヘッドマウントディスプレイ装置３０の装着者は、出力設定前の用紙１１０にセンター消去処理が施された場合の出力結果をヘッドマウントディスプレイ装置３０にＡＲ表示された出力設定後の用紙１１１を見て事前に確認することができる。たとえば、センター消去処理により原稿の中央付近の文字が欠けるか否かを確認することができる。
図１７は、出力設定前の用紙１１３と、枠消し処理の出力設定が行われている場合の出力設定後の用紙１１４を示している。出力設定後の用紙１１４では、たとえば、原稿の周囲を白でマスクして消去する出力イメージ画像１１５が重畳されている。なお、図では白でマスクする出力イメージ画像１１５を見やすくするために背景をグレーで示してある。ヘッドマウントディスプレイ装置３０の装着者は、出力設定前の用紙１１３に対して枠消し処理が施された場合の出力結果をヘッドマウントディスプレイ装置３０にＡＲ表示された出力設定後の用紙１１４を見て事前に確認することができる。たとえば、枠消し処理により原稿の端部の文字が欠けるか否かを確認することができる。
図１８は、出力設定前の用紙１１７と、ステイプルを打つ出力設定が行われている場合の出力設定後の用紙１１８を示している。出力設定後の用紙１１８では、出力設定前の用紙１１７の左上角の近傍にステイプルに対応する出力イメージ画像１１９が重畳されている。これにより、ヘッドマウントディスプレイ装置３０の装着者は、出力設定前の用紙１１７に既に印字されている内容（文字や画像）と出力設定に従って打つステイプルとの位置関係をヘッドマウントディスプレイ装置３０にＡＲ表示された出力設定後の用紙１１８を見て事前に確認することができる。
図１９は、出力設定前の用紙１１７と、パンチ穴を開ける出力設定が行われている場合の出力設定後の用紙１２１を示している。出力設定後の用紙１２１では、出力設定前の用紙１１７の左端の２箇所にパンチ穴に対応する出力イメージ画像１２２が重畳されている。これにより、ヘッドマウントディスプレイ装置３０の装着者は、出力設定前の用紙１１７に既に印字されている内容（文字や画像）と出力設定に従って開けるパンチ穴との位置関係をヘッドマウントディスプレイ装置３０にＡＲ表示された出力設定後の用紙１２１を見て事前に確認することができる。
図１９の例では、第１のパンチ穴に対応する出力イメージ画像１２２ａは既存印字領域と重なっており、第２のパンチ穴に対応する出力イメージ画像１２２ｂは既存印字領域と重なっていない。そこで、第１のパンチ穴に対応する出力イメージ画像１２２ａは赤色で表示し、第２のパンチ穴に対応する出力イメージ画像１２２ｂは青色で表示して、これらの表示形態を相違させてある。
次に、ＡＲ表示装置としてのヘッドマウントディスプレイ装置３０が行う処理を流れ図に沿って説明する。なお、ＡＲ表示装置である携帯端末６０についても同様の動作となるのでその説明は省略する。
図２０、図２１は、ヘッドマウントディスプレイ装置３０が行う処理の全体を示す流れ図である。ヘッドマウントディスプレイ装置３０は、外部装置（たとえば、画像形成装置１０）から画像形成装置１０に対する出力設定の内容を示す出力設定情報を受信する（ステップＳ００１）。なお、画像形成装置１０に対して実際に設定されている出力設定のほか、これから設定する予定の出力設定に係る出力設定情報を携帯端末等から受信してもよい。
出力設定情報を受信したら（ステップＳ００１；Ｙｅｓ）、カメラ部４７が撮像している現実空間から、出力設定に対応する用紙を検出する処理を開始する（ステップＳ００２）。具体的には、カメラ部４７の出力映像を解析して用紙を検出すると共に、検出された用紙までの距離を距離センサ５４で計測する。
ユーザから用紙検出を中止する指示を受けた場合は（ステップＳ００３；Ｙｅｓ）、カメラ部４７による撮像および用紙検出を中止して（ステップＳ００４）、本処理を終了する。
ユーザから用紙検出を中止する指示を受けなければ（ステップＳ００３；Ｎｏ）、用紙検出により、所定の距離内に用紙を検出できたか否かを判断する（ステップＳ００５）。なお、ここでは、用紙までの距離と映像内の用紙の大きさとから、その用紙の現実のサイズを求め、このサイズと、予め不揮発メモリ４４などに記憶してある管理テーブル（図２２参照）に登録されている規定の用紙サイズとを比較して、該用紙のサイズを特定する。そして、この特定した用紙のサイズと出力設定情報が対象としている用紙のサイズとが一致した場合に、出力設定情報に対応する用紙を検出したと判定するようになっている。
未検出であれば（ステップＳ００５；Ｎｏ）、「現在の撮影範囲では、用紙を検出できないので、用紙を検出できるように、カメラ部４７の近くに用紙を近づけてください」といったメッセージを表示部３１に表示する（ステップＳ００６）、そして、ステップＳ００２に戻って処理を継続する。
用紙を検出できた場合は（ステップＳ００５；Ｙｅｓ）、ステップＳ００１で受信した出力設定情報が示す出力設定に従って付加処理を実施した場合の処理結果を模擬的に示した出力イメージ画像を作成する（ステップＳ００７）。
次に、検出した用紙の位置および姿勢（カメラ部４７から見た向きや三次元形状）を解析する（ステップＳ００８）。そして、ステップＳ００８の解析結果が示す用紙の位置や姿勢に適合するように出力イメージ画像を補正する（ステップＳ００９）。
次に、ステップＳ００９またはステップＳ０１８で補正した出力イメージ画像を、ステップＳ００５で検出した用紙に重ね合わせてＡＲ表示する（ステップＳ０１０）。これにより、ヘッドマウントディスプレイ装置３０の装着者には、用紙上に出力イメージ画像が重ねあわされた拡張現実空間が見える。
ユーザから、上記のＡＲ表示をキャンセルする指示を受けた場合は（ステップＳ０１１；Ｙｅｓ）、表示部３１の表示をクリアして（ステップＳ０１２）、本処理を終了する。
上記キャンセルの指示を受けない場合は（ステップＳ０１１；Ｎｏ）、用紙を撮像してから所定時間が経過したか否かを調べる（ステップＳ０１３）。所定時間はたとえば０．１秒などであり、任意に定めればよい。所定時間は用紙の動きに追従して出力イメージ画像を表示し得る時間が好ましく、０．２秒以下、より好ましくは０．１秒以下、処理速度が許せばさらに短時間とすることが望ましい。
所定時間が経過したら（ステップＳ０１３；Ｙｅｓ）、カメラ部４７が撮像している現実空間から用紙を検出する処理を再び行う（ステップＳ０１４）。そして、検出した用紙の位置および姿勢（カメラ部４７から見た向きや三次元形状）を解析し（ステップＳ０１５）、前回の解析結果が示す用紙の位置および姿勢と今回の解析結果が示す用紙の位置および姿勢を比較する（ステップＳ０１６）。
比較した結果、前回の解析結果が示す用紙の位置および姿勢と今回の解析結果が示す用紙の位置および姿勢が同一ならば（ステップＳ０１７；Ｙｅｓ）、ステップＳ０１０に戻って処理を継続する。
比較した結果、前回の解析結果が示す用紙の位置および姿勢と今回の解析結果が示す用紙の位置および姿勢が相違する場合は（ステップＳ０１７；Ｎｏ）、最新の解析結果（前回のステップＳ０１５での解析結果）が示す用紙の位置および姿勢に適合するように出力イメージ画像を補正し（ステップＳ０１８）、ステップＳ０１０に戻って処理を継続する。
これにより、ユーザが用紙を手で持っていて、用紙が移動したり変形したりする場合でも、用紙の該移動や変形に追従して、出力イメージ画像が用紙上に重ねて表示される。
図２３は、図２０のステップＳ００７の詳細を示している。ヘッドマウントディスプレイ装置３０のＣＰＵ４１は、カメラ部４７の出力画像内の用紙を解析して、該用紙上の既存印字領域を判別する（ステップＳ０２１）。ステップＳ００１で外部装置から受信した出力設定情報に基づいて、この出力設定情報が示す出力設定に従って付加処理を実施した場合の処理結果の用紙上の位置を算出する（ステップＳ０２２）。たとえば、パンチ穴を開ける出力設定が成されている場合、そのパンチ穴の用紙上の位置を算出する。
次に、出力設定情報が示す出力設定が示す各付加処理をステップＳ０２２で算出した位置に施した場合の処理結果を示す出力イメージ画像を作成する（ステップＳ０２３）。
次に、用紙内の既存印字領域の位置と、ステップＳ０２２で算出した付加処理を施す位置とを比較し（ステップＳ０２４）、既存印字領域に付加処理の位置が重なるか否かを判定する（ステップＳ０２５）。既存印字領域に付加処理の位置が重なる場合は（ステップＳ０２５；Ｙｅｓ）、重なっている旨の警告を行う（ステップＳ０２６）。さらに、既存印字領域に付加処理の位置が重なっている箇所と重なっていない箇所とで出力イメージ画像の表示形態を相違させて（ステップＳ０２７）本処理を終了する。たとえば、色を相違させたり、一方に網がけを施したりする。
既存印字領域に付加処理の位置が重なっていない場合は（ステップＳ０２５；Ｎｏ）、ステップＳ０２３で作成した出力イメージ画像を最終的な出力イメージ画像として本処理を終了する。
図２４は、図２３のステップＳ０２６の詳細を示している。視線検出部５３によりユーザ（装着者）の視線の動向を確認する（ステップＳ０３１）。そして、ユーザの視線が用紙に向いているか否か（ユーザが用紙を見ているか否か）を判定する（ステップＳ０３２）。ユーザが用紙を見ていない場合は（ステップＳ０３２；Ｎｏ）、既存印字領域に付加処理の位置が重なっている旨の警告メッセージを音声出力部５５から音声で出力して警告を行い（ステップＳ０３３）、ステップＳ０３６へ移行する。
ユーザが用紙を見ている場合は（ステップＳ０３２；Ｙｅｓ）、既存印字領域と付加処理の位置が重なっている箇所を抽出し（ステップＳ０３４）、その箇所またはその近傍に、既存印字領域に付加処理の位置が重なっている旨のメッセージ等を警告表示し（ステップＳ０３５）、ステップＳ０３６へ移行する。
ステップＳ０３６では、既存印字領域に処理位置が重なっている付加処理（出力設定の設定項目）を特定する。そして、外部装置（たとえば画像形成装置１０）の現在の表示画面を、ステップＳ０３６で特定した設定項目の設定画面に切り替える指示を該外部装置に送信して（ステップＳ０３７）、本処理を終了する。
図２５は、図２４のステップＳ０３７でヘッドマウントディスプレイ装置３０から送信された指示を受信した外部装置（画像形成装置１０など）が行う処理の流れを示している。
画像形成装置１０などの外部装置は、ヘッドマウントディスプレイ装置３０から上記の切り替える指示が送られてくるのを待機している（ステップＳ０４１；Ｎｏ）。そして、切り替える指示を受信すると（ステップＳ０４１；Ｙｅｓ）、その受信した指示の内容に対応した設定画面に、自装置の操作パネル等に表示する画面を切り替えて（ステップＳ０４２）処理を終了する。その後は、切り換え後の設定画面にて出力設定の再設定や変更を受け付ける。
このように、本実施の形態に係るＡＲ表示装置（ヘッドマウントディスプレイ装置３０や携帯端末６０）では、画像形成装置１０に対する出力設定の内容を示す出力設定情報を画像形成装置１０等から取得し、該出力設定情報が示す付加処理を画像形成装置１０で実施した場合の処理結果を模擬的に示す出力イメージ画像を作成し、これを現実空間の用紙に重ね合わせた拡張現実空間を表示する。これにより、ユーザは、出力設定に対応した処理結果を、実際の印刷を行うことなく、事前に確認することができる。
また、現実空間の用紙に出力イメージ画像を重ねたＡＲ表示によって出力設定に対応する処理結果を確認できるので、たとえば、原稿をスキャナで読み取るなどの手間が不要となり、ユーザは出力設定に対応する処理結果の確認を迅速かつ容易に行うことができる。
また、ユーザが用紙を動かしても、拡張現実空間内の出力イメージ画像が用紙の動きに追従して変化するので、用紙を固定する必要がない。また、用紙を意図的に動かして、仕上がり状態を各種の方向から確認することもできる。
さらに、現実の用紙に出力イメージ画像を重畳した拡張現実空間を表示するので、現実の用紙に既に印刷されている文字や画像と出力設定に対応する付加処理の処理結果との位置関係や重なり具合などを確認することができる。
また、用紙に既に印刷されている文字や画像（既存印字領域）と出力設定に対応する付加処理の処理結果とが重なる箇所と重ならない箇所とを異なる表示形態の出力イメージ画像で表示するので、ユーザは既存印字領域に処理結果が重なるか否かを容易に確認することができる。
さらに、ヘッドマウントディスプレイ装置３０や携帯端末６０は、処理結果が用紙の既存印字領域に重なる付加処理については、その設定を変更するための設定画面を表示するように画像形成装置１０などの外部装置に指示するので、ユーザは問題のある設定を容易に変更することができる。
なお、上記の例では、ヘッドマウントディスプレイ装置３０や携帯端末６０が出力イメージ画像の作成、補正および用紙に合わせて重ね合わせる処理などすべての処理を行う例を示したが、出力イメージ画像の作成、補正、用紙に合わせるための表示位置の決定などの処理をヘッドマウントディスプレイ装置３０や携帯端末６０とは別のＡＲ表示制御装置１３０（図１参照）で行い、該ＡＲ表示制御装置１３０からの指示に従ってヘッドマウントディスプレイ装置３０や携帯端末６０が出力イメージ画像に基づく拡張現実空間を表示するように構成されてもよい。
図２６は、ＡＲ表示制御装置１３０の概略構成を示すブロック図である。ＡＲ表示制御装置１３０は、当該ＡＲ表示制御装置１３０の動作を統括的に制御するＣＰＵ１３１を備え、該ＣＰＵ１３１にはバスを通じてＲＯＭ１３２、ＲＡＭ１３３、不揮発メモリ１３４、ハードディスク装置１３５、操作表示装置１３６、画像処理部１３７、通信部１３８、認証部１３９などが接続されている。ＣＰＵ１３１がＲＯＭ１３２に格納されているプログラムを実行することでＡＲ表示制御装置１３０としての機能が実現される。
ＡＲ表示制御装置１３０は、画像形成装置１０などから通信部１３８を通じて出力設定情報を取得する。また、ヘッドマウントディスプレイ装置３０や携帯端末６０などのＡＲ表示装置からカメラの撮影映像や距離センサで検出した距離情報などを取得し、これらに基づいて、ＡＲ表示装置のカメラが撮影している現実空間に存在する用紙をその姿勢を含めて検出する。そして、画像形成装置１０などから取得した出力設定情報に従って画像形成装置１０等で付加処理を実施した場合の処理結果を模擬的に示す出力イメージ画像を作成し、これを現実空間に存在する用紙の姿勢に合わせて補正し、該補正した出力イメージ画像を現実空間に存在する用紙に重ね合わせた拡張現実空間をＡＲ表示装置に表示させる。たとえば、補正後の出力イメージ画像とその重畳位置を示す情報を作成してヘッドマウントディスプレイ装置３０に送信して、上記の拡張現実空間をヘッドマウントディスプレイ装置３０にＡＲ表示させる。
ＡＲ表示制御装置１３０は、図１に示すような携帯端末として構成されるほか、ＰＣやサーバなどで構成されてもよい。
以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
実施の形態に示した付加処理は一例であり、画像形成装置１０が施す処理であって出力物にその処理結果が現れる処理であれば任意の処理でよい。
実施の形態では、用紙の位置や姿勢をカメラ部４７の画像解析と距離センサ５４による各部までの距離の測定によって検出したが、検出方法はこれに限定されるものではない。
また、本発明は、印刷装置を含まない印刷条件設定システムとして構成されてもよい。すなわち、外部の印刷装置が行う付加処理に関する出力設定を行う装置（たとえば、携帯端末）と、ＡＲ表示装置またはＡＲ表示制御装置とを含む印刷条件設定システムとして構成されてもよい。
実施の形態で示した出力設定前の用紙はコピーされる原稿でもよいし、印刷データに基づいて印刷された出力物でもよい。コピー原稿の場合、ユーザは本実施の形態に係るヘッドマウントディスプレイ装置３０や携帯端末６０を使用して、コピーする前に出力設定に対応した仕上がり状態をＡＲ表示で確認することができる。印刷データの場合には、次にその印刷データによる印刷に、出力設定に対応する付加処理を施した場合の処理結果をＡＲ表示で確認することができる。
既存印字領域と付加処理の処理結果が重なる箇所と重ならない箇所とで出力イメージ画像の表示形態を異ならせる方法は色を相違させることに限定されず、たとえば、形状、太さ、大きさなど任意の属性を相違させてもよい。
実施の形態では、外の様子にハーフミラー３５で画像を重ね合わせる方式のヘッドマウントディスプレイ装置３０を例示したが、装着すると外の様子を見ることができず、映し出される画像のみが見える、ＶＲ（Virtual Reality）型のヘッドマウントディスプレイであってもよい。この場合は携帯端末６０と同様にカメラ画像に出力イメージ画像を合成した画像を表示すればよい。
２…ネットワーク
３…印刷システム
１０…画像形成装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…不揮発メモリ
１５…ハードディスク装置
１６…自動原稿搬送部
１７…認証部
２０…操作部
２１…表示部
２２…ネットワーク通信部
２３…画像読取部
２４…画像処理部
２５…プリンタ部
２６…ファクシミリ通信部
３０…ヘッドマウントディスプレイ装置
３１…表示部
３２…ブリッジ
３３…ツル
３４…基幹部
３５…ハーフミラー
４１…ＣＰＵ
４２…ＲＯＭ
４３…ＲＡＭ
４４…不揮発メモリ
４５…方位センサー部
４６…投影部
４７…カメラ部
４８…操作部
５１…ネットワーク通信部
５２…画像処理部
５３…視線検出部
５４…距離センサ
５５…音声出力部
６０…携帯端末
６１…ＣＰＵ
６２…ＲＯＭ
６３…ＲＡＭ
６４…不揮発メモリ
６５…方位センサー部
６６…カメラ部
６７…認証部
６８…操作部
６９…表示部
７０…ネットワーク通信部
７１…画像処理部
７２…視線検出部
７３…距離センサ
７４…音声出力部
８１…出力設定前の用紙
８２…スタンプに係る出力設定後の用紙
８３…スタンプに対応する出力イメージ画像
８５…出力設定前の用紙
８６…中折りに係る出力設定後の用紙
８７…中折りの折れ目に対応する出力イメージ画像
８８…三つ折りに係る出力設定後の用紙
８９…三つ折りの折れ目に対応する出力イメージ画像
９０…四つ折りに係る出力設定後の用紙
９１…四つ折りの折れ目に対応する出力イメージ画像
９２…Ｚ折りに係る出力設定後の用紙
９３…Ｚ折りの折れ目に対応する出力イメージ画像
９５…出力設定前の用紙
９６…画像欠け範囲に係る出力設定後の用紙
９７…画像欠け範囲に対応する出力イメージ画像
９７ａ…境界線
９７ｂ…警告画像
９８…画像欠け範囲に係る出力設定後の用紙
９９…画像欠け範囲に対応する出力イメージ画像
９９ｃ…画像欠け範囲情報
１００…画像欠け範囲に係る出力設定後の用紙
１０１…画像欠け範囲に係る出力イメージ画像
１０１ａ…第１の境界線
１０１ｂ…第２の境界線
１０３…出力設定前の用紙
１０４…地紋画像に係る出力設定後の用紙
１０５…地紋画像に対応する出力イメージ画像
１０６…コピー後の地紋画像に係る出力設定後の用紙
１０７…地紋画像の潜像を顕在化して示す出力イメージ画像
１１０…出力設定前の用紙
１１１…センター消去に係る出力設定後の用紙
１１２…センター消去に係る出力イメージ画像
１１３…出力設定前の用紙
１１４…枠消し処理に係る出力設定後の用紙
１１５…枠消し処理に係る出力イメージ画像
１１７…出力設定前の用紙
１１８…ステイプルに係る出力設定後の用紙
１１９…ステイプルに対応する出力イメージ画像
１２１…パンチ穴に係る出力設定後の用紙
１２２…パンチ穴に対応する出力イメージ画像
１２２ａ…赤色でパンチ穴を示す出力イメージ画像
１２２ｂ…青色でパンチ穴を示す出力イメージ画像
Ｌ１…外光
Ｌ２…画像光
Ｓ…中央部分の影

Claims (12)

  1. 現実空間に画像を合成した拡張現実空間を表示する表示部と、
    前記表示部が表示する前記拡張現実空間に対応した現実空間を撮影するカメラと、
    所定の印刷装置が画像または出力用紙に施す予定の付加処理に関する設定内容を取得する設定情報取得部と、
    前記カメラが撮影している前記現実空間に存在する用紙をその姿勢を含めて検出する検出部と、
    前記設定情報取得部が取得した前記設定内容に従って前記印刷装置で前記付加処理を実施した場合の処理結果を模擬的に示す画像であって前記検出部によって検出された前記現実空間に存在する用紙の姿勢に合わせて補正した出力イメージ画像を生成し、該出力イメージ画像を前記現実空間に存在する用紙に重ね合わせた拡張現実空間を前記表示部に表示させる表示制御部と、
    前記カメラの撮影映像から前記現実空間に存在する用紙の中の既に文字や画像が存在する領域である既存印字領域を検出する既存印字領域検出部と、
    所定の付加処理に関する前記処理結果が前記既存印字領域と重なるか否かを判定し、重なる場合に、所定の警告を行う警告部と、
    使用者の視線を検出する視線検出部を備え、
    前記警告部は、前記警告を行うに際して前記使用者が前記用紙を見ているか否かを前記視線検出部の検出結果から判定し、前記使用者が前記用紙を見ている場合は、前記警告を前記表示部に表示させ、前記使用者が前記用紙を見ていない場合は、音声により前記警告を行う
    ことを特徴とするＡＲ表示装置。
  2. 前記表示制御部は、第１時点での前記用紙の姿勢と、前記第１時点とは異なる第２時点での前記用紙の姿勢とを比較し、当該比較の結果、前記第１時点での用紙の形状と前記第２時点での用紙の形状とが異なると判断する場合に、現実空間に存在する前記用紙の姿勢が変化したと判断して、前記第２時点での用紙の姿勢に合うように出力イメージ画像の形状を補正する
    ことを特徴とする請求項１に記載のＡＲ表示装置。
  3. 前記カメラの撮影映像から前記現実空間に存在する用紙の中の既に文字や画像が存在する領域である既存印字領域を検出する既存印字領域検出部を有し、
    前記表示制御部は、所定の付加処理に関する前記処理結果が前記既存印字領域と重なるか否かを判定し、重なる部分と重ならない部分とを前記出力イメージ画像において異なる表示形態にする
    ことを特徴とする請求項１または２に記載のＡＲ表示装置。
  4. 前記カメラの撮影映像から前記現実空間に存在する用紙の中の既に文字や画像が存在する領域である既存印字領域を検出する既存印字領域検出部と、
    所定の付加処理に関する前記処理結果が前記既存印字領域と重なるか否かを判定し、重なる場合は、前記付加処理に関する設定をユーザから受けた外部装置に対して、前記重なりの生じる付加処理に関する設定内容の変更操作をユーザから受けるように指示する設定変更指示部と
    を有する
    ことを特徴とする請求項１〜３のいずれか一項に記載のＡＲ表示装置。
  5. 現実空間に画像を合成した拡張現実空間を表示する表示部と、前記表示部が表示する前記拡張現実空間に対応した現実空間を撮影するカメラとを備えたＡＲ表示装置の表示内容を制御するＡＲ表示制御装置であって、
    所定の印刷装置が画像または出力用紙に施す予定の付加処理に関する設定内容を取得する設定情報取得部と、
    前記カメラが撮影している前記現実空間に存在する用紙をその姿勢を含めて検出する検出部と、
    前記設定情報取得部が取得した前記設定内容に従って前記印刷装置で前記付加処理を実施した場合の処理結果を模擬的に示す画像であって前記検出部によって検出された前記現実空間に存在する用紙の姿勢に合わせて補正した出力イメージ画像を生成し、該出力イメージ画像を前記現実空間に存在する用紙に重ね合わせた拡張現実空間を前記ＡＲ表示装置に表示させる表示制御部と、
    前記カメラの撮影映像から前記現実空間に存在する用紙の中の既に文字や画像が存在する領域である既存印字領域を検出する既存印字領域検出部と、
    所定の付加処理に関する前記処理結果が前記既存印字領域と重なるか否かを判定し、重なる場合に、所定の警告を行う警告部と、
    使用者がどこを見ているかを示す視線情報を取得する視線情報取得部を備え、
    前記警告部は、前記警告を行うに際して前記使用者が前記用紙を見ているか否かを前記視線情報に基づいて判定し、前記使用者が前記用紙を見ている場合は、前記警告を前記表示部に表示させ、前記使用者が前記用紙を見ていない場合は、音声により前記警告を行う
    ことを特徴とするＡＲ表示制御装置。
  6. 前記表示制御部は、第１時点での前記用紙の姿勢と、前記第１時点とは異なる第２時点での前記用紙の姿勢とを比較し、当該比較の結果、前記第１時点での用紙の形状と前記第２時点での用紙の形状とが異なると判断する場合に、現実空間に存在する前記用紙の姿勢が変化したと判断して、前記第２時点での用紙の姿勢に合うように出力イメージ画像の形状を補正する
    ことを特徴とする請求項５に記載のＡＲ表示制御装置。
  7. 前記カメラの撮影映像から前記現実空間に存在する用紙の中の既に文字や画像が存在する領域である既存印字領域を検出する既存印字領域検出部を有し、
    前記表示制御部は、所定の付加処理に関する前記処理結果が前記既存印字領域と重なるか否かを判定し、重なる部分と重ならない部分とを前記出力イメージ画像において異なる表示形態にする
    ことを特徴とする請求項５または６に記載のＡＲ表示制御装置。
  8. 前記カメラの撮影映像から前記現実空間に存在する用紙の中の既に文字や画像が存在する領域である既存印字領域を検出する既存印字領域検出部と、
    所定の付加処理に関する前記処理結果が前記既存印字領域と重なるか否かを判定し、重なる場合は、前記付加処理に関する設定をユーザから受けた外部装置に対して、前記重なりの生じる付加処理に関する設定内容の変更操作をユーザから受けるように指示する設定変更指示部と
    を有する
    ことを特徴とする請求項５〜７のいずれか一項に記載のＡＲ表示制御装置。
  9. 請求項４に記載のＡＲ表示装置または請求項８に記載のＡＲ表示制御装置と、
    前記付加処理に関する設定をユーザから受けると共に、前記設定変更指示部からの指示に従って、前記重なりの生じる付加処理に関する設定内容の変更操作をユーザから受ける設定装置と、
    を含む
    ことを特徴とする印刷条件設定システム。
  10. 請求項４に記載のＡＲ表示装置または請求項８に記載のＡＲ表示制御装置と、
    前記付加処理に関する設定をユーザから受けると共に、前記設定変更指示部からの指示に従って、前記重なりの生じる付加処理に関する設定内容の変更操作をユーザから受ける設定部を備えた印刷装置と
    を含む
    ことを特徴とする印刷システム。
  11. 現実空間に画像を合成した拡張現実空間を表示する表示部と、前記表示部が表示する前記拡張現実空間に対応した現実空間を撮影するカメラとを備えたＡＲ表示装置に、所定の印刷装置が画像または出力用紙に施す予定の付加処理の設定内容を表示させる印刷設定表示方法であって、
    前記設定内容を取得するステップと、
    前記カメラが撮影している前記現実空間に存在する用紙をその姿勢を含めて検出するステップと、
    前記設定内容に従って前記印刷装置で前記付加処理を実施した場合の処理結果を模擬的に示す画像であって前記検出した前記現実空間に存在する用紙の姿勢に合わせて補正した出力イメージ画像を生成し、該出力イメージ画像を前記現実空間に存在する用紙に重ね合わせた拡張現実空間を前記ＡＲ表示装置に表示させるステップと、
    前記カメラの撮影映像から前記現実空間に存在する用紙の中の既に文字や画像が存在する領域である既存印字領域を検出するステップと、
    所定の付加処理に関する前記処理結果が前記既存印字領域と重なるか否かを判定し、重なる場合に、所定の警告を行うステップと、
    使用者がどこを見ているかを示す視線情報を取得するステップと、
    前記警告を行うステップにおいて、前記使用者が前記用紙を見ているか否かを前記視線情報に基づいて判定し、前記使用者が前記用紙を見ている場合は、前記警告を前記表示部に表示させ、前記使用者が前記用紙を見ていない場合は、音声により前記警告を行うステップと、
    を有する
    ことを特徴とする印刷設定表示方法。
  12. 情報処理装置を、
    請求項１乃至４のいずれか１つに記載のＡＲ表示装置もしくは請求項５乃至８のいずれか１つに記載のＡＲ表示制御装置として機能させる
    ことを特徴とするプログラム。
JP2013238312A 2013-11-18 2013-11-18 Ａｒ表示装置、ａｒ表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム Expired - Fee Related JP5884811B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013238312A JP5884811B2 (ja) 2013-11-18 2013-11-18 Ａｒ表示装置、ａｒ表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム
US14/533,197 US9380179B2 (en) 2013-11-18 2014-11-05 AR display device in which an image is overlapped with a reality space, AR display control device, print condition setting system, print system, print setting display method, and non-transitory computer-readable recording medium
CN201410658041.XA CN104660842B (zh) 2013-11-18 2014-11-18 增强现实显示装置、印刷条件设定系统、印刷系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013238312A JP5884811B2 (ja) 2013-11-18 2013-11-18 Ａｒ表示装置、ａｒ表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2015099448A JP2015099448A (ja) 2015-05-28
JP5884811B2 true JP5884811B2 (ja) 2016-03-15

Family

ID=53173016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013238312A Expired - Fee Related JP5884811B2 (ja) 2013-11-18 2013-11-18 Ａｒ表示装置、ａｒ表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム

Country Status (3)

Country Link
US (1) US9380179B2 (ja)
JP (1) JP5884811B2 (ja)
CN (1) CN104660842B (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD766923S1 (en) * 2014-10-07 2016-09-20 Microsoft Corporation Display screen with graphical user interface
JP2016139168A (ja) * 2015-01-26 2016-08-04 セイコーエプソン株式会社 表示システム、可搬型表示装置、表示制御装置、表示方法
JP6304145B2 (ja) * 2015-06-30 2018-04-04 京セラドキュメントソリューションズ株式会社 情報処理装置、画像形成装置の設定条件指定方法
JP6275087B2 (ja) * 2015-08-03 2018-02-07 株式会社オプティム ヘッドマウントディスプレイ、データ出力方法、及びヘッドマウントディスプレイ用プログラム。
JP2017085533A (ja) * 2015-10-26 2017-05-18 株式会社リコー 情報処理システム、及び情報処理方法
US10122888B2 (en) * 2015-10-26 2018-11-06 Ricoh Company, Ltd. Information processing system, terminal device and method of controlling display of secure data using augmented reality
DE102015221860A1 (de) * 2015-11-06 2017-05-11 BSH Hausgeräte GmbH System und Verfahren zur Erleichterung einer Bedienung eines Haushaltsgeräts
JP6791167B2 (ja) * 2015-12-14 2020-11-25 ソニー株式会社 情報処理装置、携帯型装置の制御方法、およびプログラム
US20190034733A1 (en) * 2016-01-12 2019-01-31 Suncorporation Image display device
US9905244B2 (en) 2016-02-02 2018-02-27 Ebay Inc. Personalized, real-time audio processing
JP2017162102A (ja) * 2016-03-08 2017-09-14 株式会社東芝 保守支援方法、保守支援システム、及び保守支援プログラム
JP7098870B2 (ja) * 2016-07-25 2022-07-12 富士フイルムビジネスイノベーション株式会社 測色システム、画像生成装置、および、プログラム
WO2018034651A1 (en) 2016-08-16 2018-02-22 Ford Global Technologies, Llc Methods and apparatus to present anticipated vehicle maneuvers to a passenger
JP6809034B2 (ja) * 2016-08-17 2021-01-06 富士ゼロックス株式会社 表示システム、制御装置、および、プログラム
JP6780442B2 (ja) * 2016-10-27 2020-11-04 富士ゼロックス株式会社 色処理装置、色処理方法、色処理システムおよびプログラム
JP2018129714A (ja) * 2017-02-09 2018-08-16 株式会社東芝 プログラム及び情報処理装置
KR101880751B1 (ko) * 2017-03-21 2018-07-20 주식회사 모픽 무안경 입체영상시청을 위해 사용자 단말과 렌티큘러 렌즈 간 정렬 오차를 줄이기 위한 방법 및 이를 수행하는 사용자 단말
JP6903999B2 (ja) * 2017-03-29 2021-07-14 富士フイルムビジネスイノベーション株式会社 コンテンツ表示装置およびコンテンツ表示プログラム
US10469796B2 (en) 2017-04-21 2019-11-05 Fuji Xerox Co., Ltd. Information processing apparatus, information processing method, and non-transitory computer readable storage medium
JP6888435B2 (ja) * 2017-06-16 2021-06-16 コニカミノルタ株式会社 印刷システム、表示装置、表示装置の制御方法及びプログラム
JP7005290B2 (ja) * 2017-11-07 2022-01-21 シャープ株式会社 画像処理装置
US11007031B2 (en) * 2018-08-14 2021-05-18 Verb Surgical Inc. Setup of surgical robots using an augmented mirror display
JP6856590B2 (ja) * 2018-08-31 2021-04-07 ファナック株式会社 センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム
JP7065738B2 (ja) * 2018-09-18 2022-05-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
WO2020068086A1 (en) 2018-09-27 2020-04-02 Hewlett-Packard Development Company, L.P. Generating images for objects
JP7232402B2 (ja) * 2019-01-28 2023-03-03 コニカミノルタ株式会社 印刷条件設定装置、印刷装置およびプログラム
JP7395856B2 (ja) * 2019-07-01 2023-12-12 セイコーエプソン株式会社 印刷制御装置、印刷制御プログラム、及び、印刷物生産方法
AU2020309528B2 (en) 2019-07-07 2026-01-29 Selfie Snapper, Inc. Electroadhesion device holder
WO2021007223A1 (en) 2019-07-07 2021-01-14 Selfie Snapper, Inc. Selfie camera
AU2020419320A1 (en) 2019-12-31 2022-08-18 Selfie Snapper, Inc. Electroadhesion device with voltage control module
US20210386219A1 (en) * 2020-06-12 2021-12-16 Selfie Snapper, Inc. Digital mirror
USD939607S1 (en) 2020-07-10 2021-12-28 Selfie Snapper, Inc. Selfie camera
JP2024054907A (ja) * 2022-10-06 2024-04-18 キヤノン株式会社 システム、制御方法、クライアント端末、及び印刷装置
JP2024074314A (ja) * 2022-11-21 2024-05-31 キヤノン株式会社 仮想現実システム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001067347A (ja) * 1999-06-23 2001-03-16 Canon Inc 情報処理装置、情報処理方法およびコンピュータ読み取り可能なプログラムを格納した記憶媒体
US6408257B1 (en) * 1999-08-31 2002-06-18 Xerox Corporation Augmented-reality display method and system
JP3983624B2 (ja) * 2002-08-09 2007-09-26 シャープ株式会社 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体
US9713342B2 (en) * 2004-08-25 2017-07-25 Decopac, Inc. Online decorating system for edible products
JP2006277618A (ja) * 2005-03-30 2006-10-12 Canon Inc 画像生成装置及び方法
US7889244B2 (en) * 2005-12-27 2011-02-15 Panasonic Corporation Image processing apparatus
JP4810295B2 (ja) * 2006-05-02 2011-11-09 キヤノン株式会社 情報処理装置及びその制御方法、画像処理装置、プログラム、記憶媒体
JP2008070835A (ja) 2006-09-15 2008-03-27 Ricoh Co Ltd 画像形成装置、仕上がりイメージ生成方法、仕上がりイメージ生成プログラム、及び、情報記録媒体
JP4604116B2 (ja) * 2008-07-30 2010-12-22 シャープ株式会社 画像形成装置、プログラム、及びプレビュー表示方法
JP2011041046A (ja) * 2009-08-12 2011-02-24 Ricoh Co Ltd 画像処理装置および画像処理方法
JP2011223565A (ja) * 2010-03-26 2011-11-04 Panasonic Corp 撮像装置
JP5574853B2 (ja) * 2010-06-30 2014-08-20 キヤノン株式会社 画像処理システム、情報処理装置、画像処理方法、情報処理方法及びプログラム
CN102652322A (zh) * 2010-10-12 2012-08-29 松下电器产业株式会社 显示处理装置、显示方法和程序
US20140015942A1 (en) * 2011-03-31 2014-01-16 Amir Said Adaptive monoscopic and stereoscopic display using an integrated 3d sheet
JP2013026922A (ja) 2011-07-22 2013-02-04 Kyocera Document Solutions Inc 画像形成システム、情報処理装置、画像形成装置、およびコンピュータープログラム
US20130027757A1 (en) * 2011-07-29 2013-01-31 Qualcomm Incorporated Mobile fax machine with image stitching and degradation removal processing
JP5694883B2 (ja) * 2011-08-23 2015-04-01 京セラ株式会社 表示機器
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US9563265B2 (en) * 2012-01-12 2017-02-07 Qualcomm Incorporated Augmented reality with sound and geometric analysis
US8867741B2 (en) * 2012-04-13 2014-10-21 Xerox Corporation Mobile field level encryption of private documents
JP2013225245A (ja) 2012-04-23 2013-10-31 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2013254244A (ja) * 2012-06-05 2013-12-19 Canon Inc 情報端末及びその制御方法、並びにプログラム
US9035970B2 (en) * 2012-06-29 2015-05-19 Microsoft Technology Licensing, Llc Constraint based information inference
US20140063063A1 (en) * 2012-08-30 2014-03-06 Christopher G. Scott Spatial Calibration System for Augmented Reality Display
KR102095765B1 (ko) * 2012-10-19 2020-04-01 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN104135587B (zh) * 2013-04-30 2017-06-09 京瓷办公信息系统株式会社 电子设备和印刷预览方法
US10049593B2 (en) * 2013-07-15 2018-08-14 International Business Machines Corporation Automated educational system

Also Published As

Publication number Publication date
US9380179B2 (en) 2016-06-28
CN104660842A (zh) 2015-05-27
US20150138595A1 (en) 2015-05-21
JP2015099448A (ja) 2015-05-28
CN104660842B (zh) 2018-08-24

Similar Documents

Publication Publication Date Title
JP5884811B2 (ja) Ａｒ表示装置、ａｒ表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム
JP5900468B2 (ja) Ａｒ表示装置、処理内容設定装置、処理内容設定方法およびプログラム
JP5787099B2 (ja) 案内情報表示装置
JP5696908B2 (ja) 操作表示システム
US8957862B2 (en) Operation input system and operation input method
CN104079748B (zh) 作业信息显示装置
US20160269578A1 (en) Head mounted display apparatus and method for connecting head mounted display apparatus to external device
JP6222440B2 (ja) Ａｒ表示システム、およびａｒ表示装置、情報処理装置、プログラム
CN102221879A (zh) 用户接口设备以及使用其识别用户交互的方法
CN107408372B (zh) 可视像形成装置以及图像形成装置
CN106101470A (zh) 信息处理装置及对图像处理装置的作业指示方法
CN106325495A (zh) 信息处理装置、图像形成装置的设定条件指定方法
JP6454991B2 (ja) 印刷条件設定装置、印刷条件設定システム、印刷条件設定方法
JP5880506B2 (ja) 処理装置
US20240046710A1 (en) Photograph shooting device, control method of same, and program
JP5623238B2 (ja) 電子機器、表示制御方法および表示制御プログラム
JP2016126712A (ja) 操作システム及び画像形成装置
CN112703441B (zh) 显示系统，程序，显示方法和头戴式设备
JP7434756B2 (ja) 印刷仕上がり提示装置、印刷仕上がり提示方法、及びプログラム
JP6038359B2 (ja) 情報処理装置、情報処理方法
JP2015103874A (ja) システム、装置およびその制御方法、並びにプログラム
JP2016131272A (ja) 画像形成装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160125

R150 Certificate of patent or registration of utility model

Ref document number: 5884811

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees