JP6292884B2 - 製品のカスタマイズに用いるデジタル画像を生成するために赤外線写真を用いる方法 - Google Patents

Description

関連出願の相互参照

この出願は、（１）２０１２年１月１日に出願された出願番号１３／３４２，１０３、発明の名称「製品カスタマイズシステムおよび方法」、（２）２００９年８月２４日に出願された特許番号８０９０４６１、発明の名称「製品カスタマイズシステムおよび方法」、（３）２００９年７月２９日に出願された特許番号８１７５９３１、発明の名称「製品カスタマイズシステムおよび方法」、（４）２００７年１０月２６日に出願された特許番号８１７４５２１、発明の名称「製品カスタマイズシステムおよび方法」、（５）２０１０年５月２８日に出願された出願番号１２／７９０，７１１、発明の名称「製品カスタマイズシステムおよび方法」、に関連する。ここに記載された全ての特許出願と特許の内容が援用される。

本開示は、製品のカスタマイズを正確に描いたカスタマイズ画像を自動レンダリングする命令を決定するために、画像検出および分析を行う技術に関するものである。

この項目に記述されている手法は、達成することが可能であるが、必ずしも以前に着想または達成された手法ではない。したがって、別段の指定がない限り、このセクションで記述されている手法のうちのいずれかがこの項目に含まれていることで、単に先行技術であると仮定されるべきではない。

カスタマイズされた商品は、ユニークな個人向けの製品を手に入れたい消費者にとっては非常に魅力的である。このような多く消費者は、例えば、販売のための製品を描いた製品画像を表示するウェブサイトを通じて、離れた所から、カスタマイズされた商品を閲覧して注文する。

そのようなウェブサイトを用いて、例えば、パターン、イメージ、またはテキストのアップロードまたは指定をして、そのパターン、イメージ、またはテキスの配置をカスタマイズすることによって、顧客は、どのように製品をカスタマイズするのかを指定することができる。顧客のカスタマイズを受信して、顧客が指定したカスタマイズに従ってカスタマイズされた製品を描いたカスタマイズ画像をリアルタイムに生成して、顧客に表示することができれば、顧客とオンライン小売店の双方にとって有益である。

そのようなカスタマイズ画像を生成するための１つの手法は、顧客が指定したカスタマイズの画像をカスタマイズされていない製品の画像に単純に重ねることである。しかし、カスタマイズ画像はその製品の自然な輪郭を描いたものにはならないため、このような画像は三次元の製品を正確に描画するものではない。顧客がアップロードした画像、デザイン、またはテキストは、平坦な画像になり、輪郭が描かれた画像に陰影ついていない、少なくともカスタマイズされていない製品画像の輪郭にマッチした陰影はついていない。

必要とされているのは、カスタマイズされた製品が実際に現れるように描いた製品のカスタマイズ画像を自動でレンダリングするための手法である。また、このタイプのウェブサイトのカスタマーサービスでは、回転して異なった角度から画像を表示することが可能な三次元レンダリングなどを用いて、カスタマイズされた製品の一連の画像を、顧客が見ることができるようにしている。注文生産される製品の３Ｄ表示をサポートするために、通常、サンプル製品を異なった角度からほぼ同時に撮影して、その結果得られた画像を組み合わせて３Ｄモデルにする。既存のシステムでは、カスタマイズされた製品が最終的にどのように現れるのかを表した画像を顧客に提供するために、３Ｄモデルにカスタマイズされたパターン、画像またはテキストを正確に表すための十分な情報を同時に得ながら、十分な速度で、効率よくかつ／または正確に、３Ｄモデルをレンダリングするために用いる画像のセットを得ることはできなかった。

特許または出願書類には、少なくとも１つの色付きの図面が含まれる。特許庁に要求して必要な費用を支払えば、色の図面の特許または特許公開公報のコピーが提供される。
カスタマイズ画像レンダリングシステムの一例を示す。 カスタマイズ画像レンダリングシステムに実装された処理の一例を示す。 カスタマイズ画像レンダリングアセットと、対応する実行時の入力の一例を示す。 カスタマイズ画像レンダリングアセットの生成処理の一例である。 撮影された赤外線画像の一例である。 撮影された可視光画像の一例である。 正規化画像の一例を示す。 色分け画像の一例を示す。 図７の正規化画像の一例の詳細な画像を示す。 図８の色分け画像の一例の詳細な画像を示す 図８の色分け画像に基づいて決定されたマークアップグリッド画像の一例である。 色分け画像に基づいてデザインマスク画像とマークアップグリッド画像を決定する処理の一例である。 色分け画像に基づいて決定されたデザインマスク画像の一例である。 第１の色選択画像の一例である。 第２の色選択画像の一例である。 カスタマイズ画像レンダリングアセットによって生成されたカスタマイズ画像の一例を示す。 マークが付いていない製品画像の一例を示す。 ここに記載される技術を実装するコンピューターシステムを示すブロック図である。

以下の記載は、例示を目的とし、多数の詳細な形態は本発明を十分に理解するために提供される。しかしながら、本願発明は、このような詳細な形態でなくとも実施されることは明らかである。他の例では、本発明を必要以上に不明瞭にしないために、既知の構成と装置がブロック図に示されている。

以下の概要に従って、実施形態をここに記載する。

１．総括
２．構成と機能の概要
３．カスタマイズされた画像レンダリングアセットの生成
４．カスタマイズされた画像の表示
５．実装の仕組み―ハードウェアの概要
１．総括
製品のカスタマイズに用いるためのデジタル画像を生成する赤外線撮影に用いられる技術について記載する。一実施形態では、製品にマークアップが付けられた有形の製品の赤外線写真を受信し、同じマークアップが付けられた同じ製品の可視光写真を受信する。ここで、印刷されたマークアップは、可視光写真では見えるが赤外線写真では見えない。特定のカスタマイズを描いた製品のカスタマイズ画像をレンダリングする命令が、赤外線写真と可視光写真の一部に基づいて決定される。ここで、特定のカスタマイズは赤外線写真または可視光写真にはない。

一実施形態では、カスタマイズは製品の１以上のデザイン領域に付ける１以上のデザイン、または、製品の少なくとも一部の色を指定する。

一実施形態では、カスタマイズ画像をレンダリングする命令を決定した後に、特定のカスタマイズを決定する。特定のカスタマイズが、カスタマイズ画像をレンダリングする命令の入力として与えられる。

一実施形態では、特定のカスタマイズ画像の形と陰影の少なくとも一部が、付されたマークアップの形と陰影に対応する。

一実施形態では、赤外線写真の一部に基づいて、輝度情報が決定される。一実施形態では、可視光写真の一部に基づいて、デザインの形状情報が決定される。製品のカスタマイズ画像をレンダリングする命令が、輝度情報とデザインの形状情報の一部に基づいて決定される。

一実施形態では、色セグメンテーション処理が可視光写真に基づく画像に施され、デジタルで色分け画像が格納される。色分け画像の一部に基づいて、製品のカスタマイズ画像をレンダリングする命令を決定する。

一実施形態では、可視光写真に基づいて画像から輝度を除いて、正規化された可視光写真を決定する。製品の前記カスタマイズ画像をレンダリングする命令が、正規化された可視光写真の一部に基づいて決定される。

一実施形態では、格納されたマークアップが付されていない製品のデジタル画像は、可視光写真と赤外線写真に基づいて自動的に決定される。製品のカスタマイズ画像をレンダリングする命令が、（１）マークアップが付されていない製品の画像と（２）デザインの形状情報の少なくとも一部に、基づいて決定される。

一実施形態では、特定の画像の少なくとも一部に基づいて、第１の色を選択した色選択画像と第２の色を選択した色選択画像が決定される。ここで、特定の画像は可視光写真または可視光写真に基づいた画像であり、マークアップは複数の色で構成される。複数の色のうちの第１の色を持つ特定の画像の各領域に対して、第１の色選択画像の同じ領域が特定の色で着色され、第１の色選択画像の残りの領域が特定の色とは異なる色で着色される。前記複数の色のうちの第２の色を持つ前記特定の画像の各領域に対して、第２の色選択画像の同じ領域が特定の色で着色され、第２の色選択画像の残りの領域が特定の色とは異なる色で着色される。

一実施形態では、デザインマスク画像が第１の色選択画像と第２の色選択画像に基づいて決定される。第１の色選択画像または第２の色選択画像のいずれかの特定の色で着色されデザインマスク画像の各領域が、デザインマスク画像の特定のマスクカラーであり、デザインマスク画像の残りの領域は特定のマスクカラーとは異なる色である。

一実施形態では、第１の色選択画像と第２の色選択画像に基づいて、グリッド画像が決定される。ここで、グリッド画像は特定の画像中の第１の色の１以上の領域に第２の色の１以上の領域が隣接した位置を指す。

一実施形態では、特定のカスタマイズを指定するカスタマイズ仕様を受信する。特定のカスタマイズを描画した製品のカスタマイズ画像をレンダリングする命令を実行させる。特定のカスタマイズを描画した製品のカスタマイズ画像の表示を行う。

一実施形態では、カスタマイズ画像をレンダリングする命令の少なくとも一部が特定の視点に関連づけられる。特定の視点に関連付けられたカスタマイズの少なくとも一部を指定するカスタマイズ仕様を受信する。カスタマイズ仕様に基づいて、実行するために、特定の視点と関連付けられたカスタマイズ画像をレンダリングする命令の部分を選択する。

一実施形態では、製品は第１の製品であり、カスタマイズ画像は第１のカスタマイズ画像である。特定のカスタマイズを指定するカスタマイズ仕様を受信する。カスタマイズ仕様の受信に応じて、製品のカスタマイズ画像をレンダリングする命令を実行して特定のカスタマイズを描画する。ここで、特定のカスタマイズはカスタマイズ仕様で指定されたものであり、第１の製品と異なる第２の製品の第２のカスタマイズ画像をレンダリングする第２の命令を実行して特定のカスタマイズを描画する。

特定のカスタマイズを描いた製品の第１のカスタマイズ画像と特定のカスタマイズを描いた第２の製品の前記第２のカスタマイズ画像を表示させる。

２．構成と機能の概要
一実施形態に従えば、同じ位置に同じマークアップが付けられた製品の赤外線写真および可視光写真が撮影される。ここでは、「写真」は、デジタルカメラ（コンピューター制御されたものでもよい）を使用して得られるデジタル画像を指し、更に、ここに記述されているように、例えば、所定の技術は、ここでは、コンピューターを実行し、使用して、デジタル画像が記憶されたコンピュータメモリ内でデジタル変換を行うことが含まれる。製品上のマークアップは、製品に付けられた特定パターンであってもよい。１例として、マークアップは、無地の正方形で構成された２色の市松模様であり、各正方形が単一の色で、各々隣接した正方形が反対色である。マークアップは、可視光のスペクトルでのみ見える染料を使用して製品に付けられ、そのため、可視光写真だけで見えて、標準的な赤外線写真でサンプリングされるスペクトルを用いて撮影された時には見えない。ある実施形態では、写真が取られる前に、マークアップを付けるために、このような特徴を持っている有機性染料を使用してもよい。

赤外線写真の１以上の領域の輝度を決定するために、赤外線写真またはその変形バージョンをコンピューターベースの技術を用いて分析するようにしてもよい。赤外線画像の特定の領域の輝度情報が、カスタマイズ画像の対応する特定の領域に対して適切な輝度値を示すようにする。例えば、輝度値は、カスタマイズ画像の特定の領域にどのような陰影をつけるべきかを示すものである。可視光写真またはその変形バージョンで見えるように付けられたマークアップの分析は、カスタマイズ可能なデザイン領域の位置とカスタマイズ可能なデザイン領域内の製品の形状（製品の輪郭や折り目による）を決定するために用いられる。画像の残りの領域をレンダリングする色の値および情報（全くカスタマイズの特徴ではないもの）も可視光画像またはその変形バージョンに基づいて決定される。

カスタマイズ可能な領域の輝度情報、形状情報、および、決定された位置などの赤外線画像と可視光画像に基づいて決定された情報を、カスタマイズ画像レンダリングアセット（素材）を生成するために用いるようにしてもよい。カスタマイズ画像レンダリングアセットには、特定の顧客向けのカスタマイズに従ってカスタマイズするように、実行されると製品を描画するカスタマイズ画像の自動レンダリングを行う命令が含まれるようにしてもよい。カスタマイズ画像レンダリングアセットは、顧客向けのカスタマイズの受信に応じて、自動的にリアルタイムでカスタマイズ画像を生成するようにしてもよい。同じカスタマイズ画像レンダリングアセットが、特定の製品の顧客向けの様々なカスタマイズに対してカスタマイズ画像をレンダリングすることができるようにしてもよい。

カスタマイズアセットは、カスタマイズレンダリングアセット生成命令を実行して、赤外線写真と可視光写真に基づいて自動的に決定されるようにしてもよい。人が関与することなくカスタマイズ画像のレンダリングアセットを自動決定することで、カスタマイズ画像レンダリングアセットを生成するために必要な時間とコストを削減する。

ある実施形態によれば、レンダリングアセット生成命令および／またはカスタマイズ画像レンダリングアセット命令が、特別な芸術やコマーシャルを意図するように編集や変更を行ってアセットを生成するように構成してもよい。

図１に、カスタマイズ画像をレンダリングするシステムの一例を示す。１以上のカメラ１０２が赤外線写真または可視光写真を撮影して、撮影した写真を写真収集および処理システム１０４に提供する。一実施形態では、カメラ１０２は、赤外線写真を撮影するために構成された第１のカメラと、可視光写真を撮影するために構成された第２の別のカメラを備える。赤外線カメラで撮影するための赤外線は反射させ、第２のカメラで撮影するための可視光は通過させるホットミラーに対して、赤外線写真を撮影するために構成されたカメラが、固定された関係になるように取り付けられる。一実施形態では、カメラ１０２は複数の一対のカメラで構成され、各セットのカメラは異なる方向から製品の写真を撮影するように置かれ、各セットは赤外線写真を撮影するために構成されたカメラと可視光写真を撮影するために構成されたカメラで構成される。カメラのセットは、撮影された写真が同じ位置にある製品を３６０°全てから見た画像になるように置かれる。一実施形態では、１６組のカメラが、対象物または製品を中心においた円の円周上に、１６箇所の規則的に離れた異なる角度位置に取り付けられる。

カメラ１０２の操作は、写真収集および処理システム１０４、または他のコンピューターシステムで遠隔制御されるようにして、システムでオペレータが選択するとカメラ１０２で撮影する。ある実施形態では、カメラ１０２は、同時または略同時に複数の写真を撮影するように構成するようにしてもよい。このような実施形態は、写真の被写体が、人間のモデルが身につけている衣装アイテム、または動物に付けられたアイテムであるときには適している。他の実施形態では、例えば、対象物が静止した対象物であるときには、カメラ１０２は、全く異なる時刻に写真を撮影するようにしてもよい。

写真収集および処理システム１０４が、カメラ１０２から受信した生のデジタル画像１０６を受け取って格納する。写真収集および処理システム１０４は、１以上の記憶されたコンピュータープログラム、スクリプト、または他のソフトウェア要素として構成されたカスタマイズ画像レンダリングアセット生成命令１０８を備える。写真収集および処理システム１０４の１以上の処理が、カスタマイズ画像レンダリングアセット生成命令１０８を実行して、カスタマイズ画像レンダリング命令を生成するようにしてもよい。中間画像１１０は、カスタマイズ画像レンダリングアセットを生成している間に生成および／または使用された画像である。写真収集および処理システム１０４は生成したカスタマイズ画像レンダリングアセットをウェッブサーバ１１２に送信して、ウェッブサーバ１１２ではカスタマイズ画像レンダリングアセット１１４を格納するようにしてもよい。

ウェッブサーバ１１２は、カスタマイズ画像レンダリングアセット１１４のような１以上のカスタマイズ画像レンダリングアセットを受信して格納するようにしてもよい。各カスタマイズ画像レンダリングアセットは、カスタマイズ画像をレンダリングする命令を含んでいる。ウェッブサーバ１１２は、ＨＴＭＬおよび／または他のウェッブページコンテンツを決定するウェッブページ生成部１１６を備える。ウェッブサーバ１１２は、ウェッブページの表示要求をユーザーシステム１２０のようなユーザーシステムから受信するようにしてもよい。要求に応じて、ウェッブサーバ１１２は、ユーザーシステムで表示するウェッブページを送信して、カスタマイズ画像レンダリングアセット内に含まれる命令を実行して、生成されたカスタマイズ画像を入れるようにしてもよい。ウェッブサーバ１１２は、オンライン小売店が操作してオンライン小売店のウェッブサイトを生成できるようにしてもよい。

ユーザーシステム１２０は、顧客がオンライン小売店のウェッブサイトを閲覧するためのシステムであり、カスタマイズする製品を選択し、製品をどのようにカスタマイズするのかを指示して、カスタマイズした画像を受信する。ユーザーシステム１２０は、ワールド・ワイド・ウェブ（ＷＷＷ）のようなネットワーク１１８を介して、ウェッブサーバ１１２へウェッブページとウェッブコンテンツを要求する。

図１に示すシステムは、カスタマイズ画像レンダリングシステムの一例に過ぎない。他の実施形態のシステムでは、図１に示すコンポーネントおよびサブコンポーネントのそれぞれを含めないようにしてもよい。さらに、例を明確に説明するために、図１は上記の様々な機能要素の個々の例を示すが、様々な実施形態において、各機能要素は、１以上のローカルなまたは分散したコンピューター、プロセッサ、ソフトウェア要素、あるいは他のロジックとして組み込まれてもよい。

図２に、図１に示すカスタマイズ画像レンダリングシステムのようなカスタマイズ画像レンダリングシステムに組み込まれる処理の一例を示す。

ブロック２０２で、製品の赤外線写真と可視光写真が撮影される。撮影された商品は見えるようにマークアップが付けられる。ある実施形態では、撮影される製品は、人や動物がモデルになって撮影される。写真は、カメラ１０２のような１以上のカメラで撮影される。一実施形態では、同じ製品に複数のカメラセットが向けられるが、ここで、各セットは、赤外線写真を撮影するために構成されたカメラと可視光写真を撮影するために構成されたカメラとで構成され、どちらもオペレータの指示に従う。カメラは、赤外線写真と可視光写真の両方で、モデルと製品の位置が同じになるように、同時にあるいは短い時間間隔で写真を撮影するように構成される。図５、図６は、撮影された赤外線画像の一例と撮影された可視光画像の一例を示す。さらに具体例について以下に説明する。

ブロック２０４で、図１の写真収集および処理システム１０４のような写真収集および処理システムが、製品を撮影した赤外線写真と可視光写真を受信する。ブロック２０６で、写真収集および処理システムでカスタマイズ画像レンダリングアセット生成命令が実行される。カスタマイズ画像レンダリングアセット生成命令が実行されると、カスタマイズ画像レンダリングアセットが生成される。図３は、カスタマイズ画像レンダリングアセットと、対応する実行時の入力を示す例であり、図４に、カスタマイズ画像レンダリングアセットの生成処理の例を示す。さらに具体例について以下に説明する。

ブロック２０８で、カスタマイズ画像レンダリングアセットが、ウェッブサーバに送信される。複数の製品が個々に写真に取られ、写真収集および処理システムで、様々なカスタマイズ画像レンダリングアセットが複数の製品のそれぞれに対して生成されて、各カスタマイズ画像レンダリングアセットがウェッブサーバに送信される。

ブロック２１０で、カスタマイズ画像レンダリングアセットが、ウェッブサーバ１１２などのウェッブサーバで受信されて格納される。ウェッブサーバは、様々なカスタマイズ画像レンダリングアセットを格納する。ブロック２１２で、ウェッブサーバは、顧客のカスタマイズ仕様を受信する。顧客は、ユーザーシステムで表示されたウェッブページ上にあるグラフィカルインターフェースを用いてインタラクティブに仕様を設定する。ユーザのカスタマイズ仕様は、カスタマイズ可能な製品に付けるユーザ向けのデザイン、特定のカスタマイズを入れる位置を特定する位置情報、縁飾りの色などの製品の細部の色、製品全体の色、および、他のカスタマイズ仕様情報が含まれる。

ブロック２１４で、特定のカスタマイズ画像レンダリングアセットの命令が実行される。ウェッブサーバは、各カスタマイズ可能な製品に対するカスタマイズ画像レンダリングアセットを格納する。ウェッブサーバは、受信したカスタマイズ仕様に基づいて、カスタマイズ画像レンダリングアセットの命令を実行するために、自動的に特定のカスタマイズ画像レンダリングアセットを選択する。例えば、顧客が特定のカスタマイズ可能な製品をカスタマイズするための選択が決定すると、それに応じて、ウェッブサーバは、特定のカスタマイズ可能な製品に対応する特定のカスタマイズ画像レンダリングアセットを選択する。ユーザによって設定された情報は、受信したユーザのカスタマイズ仕様に含まれ、カスタマイズ画像レンダリングアセットに対する入力を自動的に決定するために用いられる。例えば、顧客が特定のシャツの色を選択して、カスタマイズ画像レンダリングアセットの命令が実行されると、カスタマイズ画像レンダリングアセット命令の入力として、選択された色または選択された色に対応する色曲線が与えられる。カスタマイズ画像レンダリングアセットの命令が実行されると、顧客が選択した製品を、顧客の仕様に従ってカスタマイズしたかのように描かれたカスタマイズ画像が得られる。

ブロック２１６で、ウェッブサーバはカスタマイズ仕様を提供するウェッブページをユーザーシステム（ユーザーシステム１２０であってもよい）に送信する。カスタマイズ画像レンダリングアセットの命令が実行された結果として決定された画像、または、その画像の変形バージョンが、ウェッブページのコンテンツに加えられる。ブロック２２０で、受信したカスタマイズ画像を含むウェッブページがユーザーシステムで表示される。

図３に、カスタマイズ画像レンダリングアセットと、対応する実行時の入力の一例を示す。カスタマイズ画像レンダリングアセット３００は、カスタマイズ画像レンダリングアセットの命令を実行したときにカスタマイズ画像を生成するカスタマイズ画像レンダリングアセットの一例である。一実施形態では、カスタマイズ画像レンダリングアセットは１以上のアセット画像、画像設定、および／または、レンダリングを行ってカスタマイズ画像を得るための命令で構成され、アセット画像および／または画像設定を参照する命令がカスタマイズ画像レンダリングアセットに含まれる。例えば、カスタマイズ画像レンダリングアセットの命令が、カスタマイズ画像で得られた特定の位置の色が、その特定の位置に関する輝度調整値で変更されると、特定のアセット画像の元の位置の色になるように指示するものであってもよい。

カスタマイズ画像レンダリングアセット３００は、各オブジェクトがカスタマイズ画像の個々の部分をレンダリングするための命令から成る複数のオブジェクトで構成され、デザインレンダリングオブジェクト３０２、背景レンダリングオブジェクト３０４、製品レンダリングオブジェクト３０６、およびモデルレンダリングオブジェクト３０８が含まれる。背景レンダリングオブジェクト３０４は、画像の背景部分をレンダリングし、モデルレンダリングオブジェクト３１０は画像のモデル部分をレンダリングし、製品レンダリングオブジェクト３０６はマークアップやデザインがない画像の製品部分をレンダリングし、デザインレンダリングオブジェクト３０２は製品の上の画像のデザイン部分をレンダリングする。

デザイン領域は、カスタマイズが可能な製品の領域である。例えば、シャツの４インチ×４インチの領域をカスタマイズして、４インチ×４インチの領域に特定の画像をディスプレイするようにしてもよい。この場合のデザイン領域は、シャツの４インチ×４インチのカスタマイズ可能な領域である。ある実施形態では、カスタマイズ可能な製品は複数のデザイン領域で構成するようにしてもよい。例えば、カスタマイズ可能なバック、ここで、バッグの蓋の上に付けられた画像がカスタマイズ可能で、バックの縁飾りのデザインと色がカスタマイズ可能であるとすると、バッグの蓋の画像に対して個別のデザイン領域があり、縁飾りに対して個別のデザイン領域がある。

顧客の選択３２０は、カスタマイズ画像レンダリングアセットを提供しているウェッブサーバにユーザーシステムから送信する顧客の仕様に含まれていても、顧客の仕様に基づいて決定されてもよい。カスタマイズ画像レンダリングアセットは、実行時に提供された顧客の選択を参照する。すなわち、ウェッブサーバでカスタマイズ画像レンダリングアセットを受信した後であって、カスタマイズ画像レンダリングアセットの命令を実行する前に、顧客の選択が設定される。

例えば、顧客の選択３２０には、カスタマイズデザイン３２２が含まれる。カスタマイズデザイン３２２は、ユーザによって提供されたデザイン、またはユーザによって提供されたデザインの変形バージョンが含まれる。様々な実施形態で、デザインには、ユーザによって設定または選択された画像、パターン、および／またはテキストが含まれる。カスタマイズ画像レンダリングアセット３００のデザインレンダリングオブジェクト３０２の命令は、カスタマイズ画像のデザイン部分をレンダリングするときは、カスタマイズデザイン３２２を参照する。

デザインレンダリングオブジェクト３０２と製品レンダリングオブジェクト３０６の命令は、製品の色の選択３２６、例えば、顧客によって選択された製品の色を参照する。デザインレンダリングオブジェクト３０２と製品レンダリングオブジェクト３０６は、製品の色の選択３２６に基づいて、どの色でレンダリングするかを決定する。

３．カスタマイズ画像レンダリングアセットの生成
図４に、カスタマイズ画像レンダリングアセットを生成するための処理の一例を示す。写真収集および処理システムは、図４に示す処理のような処理を自動的に実行するためにカスタマイズ画像レンダリングアセット生成命令を実行する。

図４は、カスタマイズ画像レンダリングアセットを生成する処理の一例にすぎない。他の実施形態では、異なるステップが実行されてもよく、ステップの順番が変えられてもよく、所定のステップがなくてもよく、あるいは、図４に示すステップに加えて追加のステップがあってもよい。

ブロック４０２で、撮影された赤外線画像を受信し、ブロック４０４で、撮影された可視光画像を受信する。撮影された赤外線画像と撮影された可視光画像は、デジタル写真またはデジタル写真の変形バージョンであってもよい。２つの画像は、モデルと一緒に、または、モデルがない状態で製品を表示する。画像の中身の製品およびモデルなどは、両方の画像で同じ位置にある。画像内の製品には、目に見えるようにマークアップが付けられるが、マークアップは可視光画像でのみ見ることができ、赤外線画像では見えない。一実施形態では、赤外線写真が撮影されてマークアップを削除するための画像編集が要求されなくても、目に見えるように製品に付けられたマークアップが赤外線写真には表れない。一実施形態では、可視光スペクトルで撮影されると見えるが、赤外線スペクトルで撮影されると見えない有機性染料を使用してマークアップが付けられる。一実施形態では、製品の各デザイン領域に、デザイン領域全体を覆うようにマークアップが付けられる。デザイン領域は、カスタマイズされる製品の領域であり、画像、パターン、および／またはテキストなどの特定のカスタマイズが配置される。また、デザイン領域は、特定の色になるようにカスタマイズされてもよい。

図５は、撮影した赤外線画像の一例を示す。図６は、撮影した可視光画像の一例を示す。図５と図６は、市松スタイルのカラーマークアップが付けられたタンクトップを着たモデルの写真を示す。マークアップは、有機染料を用いて付けられる。他の実施形態では、マークアップは異なるパターンや形で構成されてもよい。ある実施形態では、マークアップは単色である。図に示すように、マークアップ６０２は可視光画像では見えるが、赤外線画像では見えない。

図に示す実施形態では、製品がタンクトップで、人がモデルになって撮影されているが、他の実施形態では、製品は、衣類の他の種類のもの、バッグ、アクセサリ、麻など、様々な他のカスタマイズ製品のいずれであってもよく、必ずしもモデルは必要ない。加えて、他の実施形態では、製品は、複数のデザイン領域で構成され、デザイン領域のそれぞれにそれ自体のマークアップが付けられてもよい。

ブロック４０６で、撮影された赤外線画像と撮影された可視光画像が調整されて、調整済み赤外線画像と調整済み可視光画像が決定される。ある実施形態では、画像の明度および／または色が調整される。ある実施形態では、調整の結果、調整して得られた赤外線画像と調整して得られた可視光画像は、色合いが同じで、明度の総量が同じになる。一実施形態では、明度調整は、撮影した赤外線画像の明度と色に基づいて、撮影した可視光画像の明度と色を変更するように構成する。赤外線画像の特定の位置の色および明度を、可視光画像の同じ特定の位置の明度および色と比較するようにしてもよい。例えば、赤外線画像のモデルの肩の特定のポイントの明度および色を、可視光画像のモデルの肩の特定のポイントの明度および色と比較する。赤外線画像全体の明度を、２つのポイントの明度の比較に基づいて増減する。例えば、特定のポイントで、赤外線画像と比較すると可視光画像の明度が高いときは、赤外線画像全体の明度を増やして可視光画像の明度に一致するようにしてもよい。画像全体の色が類似するように変更してもよい。

他の実施形態では、可視光画像の色および明度は、赤外線画像の色および明度に基づいて変更する。ある実施形態では、もう一方の画像に応じて両方の画像の色および明度を変更する。例えば、２つの画像の平均明度が一致するように、一方の画像は明度を下げて、他方の画像では明度を上げるようにする。ある実施形態では、双方の画像の色および明度を、既知の色スペクトルを詳細に表わす複数の領域を円柱状に表した調整オブジェクトの画像に基づいて変更する。

画像は、トリミングおよび／または回転が行われてもよい。明度を調整する前に、両方の画像の絶対位置が同じ位置であれば、相対位置でも同じ位置が対応するように、トリミングおよび／または回転が行われる。例えば、切り取りと位置合わせが行われた結果、赤外線画像で、モデルの肩の特定のポイントの位置が位置（３０，３０）であれば、可視光画像でも、モデルの肩のポイントの同じ位置が同じ位置（３０，３０）になる。位置合わせ処理で可視光画像と赤外線画像の両方で見えるマークを参照して、位置合わせ後の両方の画像でマークが同じ位置になるようにする。可視光画像と赤外線画像の両方で同じマークアップが見えるようにするために、マークアップが付けられたスクリーンの前で、モデルがポーズを取るようにしてもよい。他の実施形態では、マークアップは、写真の両方のフレーム内の他の面のどこかに付けられればよい。

ブロック４０８で、画像の輝度情報は、調整済み赤外線画像に基づいて決定される。他の実施形態では、画像の輝度情報は、未調整の赤外線画像または調整済み赤外線画像の変形バージョンに基づいて決定してもよい。一実施形態では、決定された輝度情報は、赤外線画像（個々の画素の輝度値を示す）の中の各画素に対する輝度値を示す輝度マップである。赤外線画像の特定の部分の輝度は、撮影されている物の輪郭によって部分的に決まる。例えば、Ｔシャツに折り目があると、画像の「折り目」の部分がＴシャツの残りの部分とは異なる輝度値になる。カスタマイズ画像の１箇所以上の部分の色を決定するために、少なくとも一部では輝度マップが用いられる。つまり、カスタマイズ画像は、赤外線画像または可視光画像に撮影されているように物の輪郭を表示したものでもよい。

調整済み可視光画像を変更および／または解析して、デザイン領域と他の領域の位置、デザイン領域内の製品の形状、および製品画像の様々な部分の色の値など、カスタマイズ画像を正確にレンダリングするための他の情報を決定する。その情報を決定するための１つの処理は、ブロック４１０，４１２，４１４，４１６，４１８，４２０，４２２，および４２５に表される
ブロック４１０で、正規化画像は、調整済み可視光画像に基づいて決定される。「特定の画像に基づいて情報を決定する」という文言は、ここでは、情報が特定の画像の変形バーションに基づいて決定された実施形態を含むものとする。例えば、調整済み可視光画像に基づいて決定された正規化画像は、また、可視光画像を何らかの方法で変更した後にその可視光画像に基づいて決定されてもよい。

一実施形態では、調整済み可視光画像から輝度を除くように調整済み可視光画像を変えることで、正規化画像が決定される。調整済み可視光画像から輝度を除く一手法では、以下の［数１］に従って、画像の各画素のＲＧＢ（赤、緑、青）値を変更する。ここで、Ｒは赤の値を表し、Ｇは緑の値を表す。

例えば、ＲＧＢ値が（１３６，９６，１４２）の画素は、下の［数２］に従って変更され、ＲＧＢ値は（０．６２，０．４４，０．６５）になる。

図７は、正規化画像の一例である。図７の正規化画像は、調整済み可視光画像から輝度値を除いて決定される。

ブロック４１２では、正規化画像に基づいて、色分け画像を決定する。色セグメーテーション処理の結果が、正規化画像の変形バージョンになり、色分け画像は、正規化画像に比べると少ない数の色で表される。色セグメーテンション処理を行うことにより、正規化画像の似通った色が、色分け画像では同じ色で表される。一実施形態では、正規化画像の似通った色を持つ隣接する複数の領域が、色分け画像では一様な色を持つ一つの領域として表われる。様々な色セグメンテーション技術が、正規化画像の色分けバージョンを決定するために用いることができる。

図８に、色分け画像の一例を示す。図８の色分け画像は、図７の正規化画像またはその変形バージョンに色セグメンテーション処理が適用されることによって決定される。

図９は、図７の正規化画像の例を詳細に示した画像である。

図１０は、図８の正規化画像の例を詳細に示した画像である。

実施形態の色セグメンテーション処理の結果が理解できるように、図９の正規化画像を詳細に表示した画像と、図１０の正規化画像を詳細に表示した画像を比較する。図９に現れている境９０２のように、画像が色分け画像ではないときは、マークアップの色付きの四角形の間にある境が、紫と黄のメインの２色ではなく、紫と黄が様々に混ざった多数の異なる色で構成される。図１０に現れている境１００２のように、色分け画像では、マークアップの色付きの四角形の間にある境は、紫と黄のメインの２色のみで構成され、他の色はない。画像が色分け画像ではないときの「混ざった」色になった各領域と同じ領域の色が、色分け画像では紫または黄のどちらか一方の色に変えられる。

一実施形態では、色セグメンテーション処理の結果、色分け画像が得られ、ここで、図８の色分け画像に示すように、色分け画像のマークアップ領域は２色だけで構成され、色分け画像の背景は完全に同じ色になる。

ブロック４１４で、デザイン形状が色分け画像に基づいて決定される。デザイン形状は１以上のデザイン領域内の製品の形状を示す情報である。デザイン形状は、例えば、デザインが捻じれたり、傾いたり、折り畳まれたり、詰まった状態を指すものであってもよい。デザイン形状の情報には、マークアップグリッド画像が含まれ、ここでは、グリッドラインの形状が製品の形状を示している。

図１１は、図８の色分け画像に基づいて決定されたマークアップグリッド画像の一例である。マークアップのグリッド線の形状は、デザイン領域内の製品の形状を表す。例えば、図１１の線１１０２は、真直ぐではなく斜めになっているが、対応する位置で製品が傾いていることを示している。このような情報は、カスタマイズした製品のデザイン領域内にプリントされた時に、カスタマイズデザインがどのように現れるかを示すものである。多数のデザイン領域が存在する形態では、デザイン領域のそれぞれに対してデザイン形状の情報が決定される。マークアップグリッド画像は、図に示すように粗い平行線であるが、他の実施形態では、マークアップグリッド画像は、マークアップに基づいて決定されたものであれば、どのような形状および／またはパターンであってもよい。

ブロック４１６で、デザイン位置情報が色分け画像に基づいて決定される。デザイン位置情報は、個々のデザイン領域の位置を示す。多数のデザイン領域が存在する形態では、デザイン領域のそれぞれに対してデザイン位置情報が決定される。デザインマスク画像は、１以上のデザイン領域の位置を示す画像である。一実施形態では、デザインマスク画像は２色の画像であり、色分け画像のマークアップ領域全体をデザインマスク画像中の１色で表し、色分け画像の残りの領域をマークアップ領域の色とは異なるもう一方の色で表す。このように、特定のデザイン領域は色に基づいて指定される。

図１３は、図８の色分け画像に基づいて決定されたデザインマスクの一例である。図１３では、「デザインマスク」は画像の白い領域であり、そこが製品のカスタマイズが可能なデザイン領域である。カスタマイズが可能なデザイン領域以外の領域は全て黒い色にする。一実施形態では、デザイン位置情報は、２色以上で構成された画像であれば、黒と白の以外の色であってもよい。

図１２に、色分け画像に基づいて、デザインマスク画像とマークアップグリッド画像を決定する処理の一例を示す。ある実施形態では、色分けは全く行わずに、デザインマスク画像とマークアップグリッド画像は、それ自体を正規化して決定されたものでもよい。

ブロック１２０２で、色分け画像に基づいて、第１の色を選択した色選択画像が決定される。ブロック１２０４では、この色選択画像に基づいて、第２の色を選択した色選択画像が決定される。一実施形態では、色分け画像に基づいて決定された色選択画像は、色分け画像中の選択された色の各領域を色選択画像では白色にし、色選択画像の残りの部分は黒にする以外は、色選択画像と同じである。従って、「選択された」色の各領域は、そこを白色にするために選択される。他の実施形態では、黒および白以外の他の色を、選択された色の領域と選択されなかった色の領域を示すために用いるようにしてもよい。

第１の色選択画像では、２色のマークアップの第１の色が選択された色として選ばれる。第２の色選択画像では、２色のマークアップの他方の色が選択された色として選ばれる。図１４は、図８の色分け画像に基づいて決定された第１の色選択画像の一例であり、ここでは、第１の色は紫である。色分け画像の紫色の各領域は、図８の第１の色選択画像では白になり、図８の色選択画像の残りの部分は黒になる。第１の色選択画像の白い部分は、そこで、範囲を確実にするために１画素分拡張されてもよい。

図１５は、図８の色分け画像に基づいて決定された第２の色選択画像の一例であり、ここでは、第２の色は黄である。図８の第１の色選択画像で、色分け画像の黄色の各領域は白色にして、図８の第１の色選択画像の残りは黒色にする。そこで、第２の色選択画像の白の部分は、範囲を確実にするために１画素分拡張されてもよい。

ブロック１２０６で、第１の色に関して第１の色選択画像と第２の色選択画像の連結部を決定して、その結果がデザインマスク画像になる。第１の色選択画像または第２の色選択画像で白色の各領域が第１の色の連結画像では白色になり、その連結画像の残りの部分が黒色になる。その結果がデザインマスク画像であり、デザイン領域が画像の残りの部分の黒色とは異なる白色で表され、図１２のデザインマスク画像のようになる。そこで、デザインマスク画像の黒色の部分は、マスクの画素精度を修復するために、１画素分拡張されてもよい。

一実施形態では、デザインマスク画像は、第１の色選択画像および第２の色選択画像と同じサイズおよび解像度であり、デザインマスク画像は最初は黒色である。第１の色選択画像の画素が白色または第２の色選択画像の画素が白色である全ての画素に対して、デザインマスク画像の対応する画素を白色にする。他の実施形態では、白以外の色が、特定の位置を選択するために用いられてもよい。

ブロック１２０８で、第１の色に関して第１の色選択画像と第２の色選択画像の交差部分を決定して、その結果がマークアップグリッド画像となる。第１の色選択画像と第２の色選択画像の両方で白色の各領域が第１の色の交差画像では白色になり、交差画像の残りの部分は黒色になる。その結果、図１１のマークアップグリッド画像のようなマークアップグリッド画像が得られ、グリッド線は色分け画像のマークアップの四角形の間にある境の形状に対応する。このような手法を用いて決定されたアークアップグリッド画像は、色分け画像の第１の色の領域と第２色の領域が隣接する位置を示す。他の実施形態では、２つの色の領域が隣接する位置を、他の方法を用いて決定してもよい。

一実施形態では、グリッド画像は、第一の色選択画像および第２の色選択画像と同じサイズおよび解像度であり、グリッド画像は最初は黒である。第１の画像の選択画素と第２の画像の選択画素が隣接する全ての画素に一致するグリッド画像中の画素を、白（あるいは、他の色）にする。

ブロック４２６で、デザインレンダリングオブジェクトは、決定された画像の輝度情報、決定されたデザイン形状、決定されたデザイン位置情報に基づいて決定される。輝度情報は輝度マップであり、デザイン形状情報はマークアップグリッド画像のベクトル表現またはポリゴン表現であり、デザイン位置情報はデザインマスク画像である。デザインレンダリングオブジェクトは、製品上の画像のデザイン部分にレンダリングする命令で構成される。カスタマイズ画像のデザイン部分は、赤外線画像および／または可視光画像に現れるように、撮影されたような自然な陰影や輪郭を製品に付けて描く。

図１６に、カスタマイズ画像レンダリングアセットによって生成されたカスタマイズ画像の例を示す。図１６の画像は、図５の撮影された赤外線画像の例、および、図６の撮影された可視光線画像の例に基づいて、自動的に決定されたカスタマイズ画像レンダリングアセットでレンダリングした例である。デザイン１６０２は、顧客によって選択されたカスタマイズデザインであり、カスタマイズ画像レンダリングアセットへ入力して与えられるようにしてもよい。顧客によって与えられたカスタマイズデザインは、図１６に現れているような、輪郭も陰影も付けられていない平面的な画像であってもよく、カスタマイズ画像レンダリングアセットは、赤外線画像写真および／または可視光線写真に示すように、マークアップと同じ形状にして陰影を付けるために、デザインをレンダリングするようにしてもよい。例えば、可視光画像では、捻じれたり、傾いたり、折り畳まれたり、詰まった状態になっているマークアップの位置と同じ位置で、カスタマイズ画像のデザインも捻じれたり、傾いたり、折り畳まれたり、詰まった状態で現れる。

マークアップグリッド画像のようなデザイン形状情報は、顧客が提供した平坦なデザイン画像を変形したバージョンをレンダリングするために用いてもよく、変形されたバージョンには撮影されたような製品の形状と輪郭が描かれる。例えば、デザイン画像のグリッドの１つがマークアップグリッド画像のグリッドの１つにマッピングされ、次々と、最終的なカスタマイズ画像のグリッドの１つの上にマップングされる。デザイン形状情報に基づいて、デザイン画像に対する変形を決定する処理の例が、米国特許番号８，１７４，５２１に記載され、他の特許出願および特許はここに組み込まれ、他の処理が異なる実施形態で用いられる。

デザインが入る最終的なカスタマイズ画像の領域は、デザイン位置情報に基づいて決定される。例えば、デザインマスクは、デザイン領域を白色で表わし、デザインマスク画像の残りの部分は黒色にするが、最終的なカスタマイズ画像の領域であるデザインマスク画像の「白色」の領域のみに、デザインがレンダリングされる。

赤外線写真で決められた輝度情報に基づくとともに、顧客が設定したデザイン画像に基づいて、最終的なカスタマイズ画像のデザインの輝度が決められる。例えば、カスタマイズ画像の輝度は、デザイン画像の輝度を赤外線画像の各画素の輝度を表す輝度マップに基づいて決められた値で調節される。このような変形をすると、撮影されたように製品に自然な陰影が付いたデザイン画像になる。

製品レンダリングオブジェクトの命令は、入力を受け付けるようにしてもよい。一実施形態では、デザインの色は顧客が設定した製品の色の選択に応じて調整されてもよい。顧客が設定した製品の色の選択が暗い色である場合には、デザイン領域の色を明るくして、暗い色の製品に付けられた場合にデザインがどのように見えるかをより正確に表現する。

ブロック４２０で、カスタマイズ画像の背景領域の位置が決定される。カスタマイズ画像の背景領域は、背景レンダリングオブジェクトによってレンダリングされる画像の背景部分である。一実施形態では、背景領域の位置は、背景領域となる色分け画像の基準色（白など）に最も近い色を持つ色分け画像の領域を特定することで決定される。

レンダリングしたカスタマイズ画像の背景は、様々な色、パターン、または、様々な実施形態に従ったデザインであってもよい。ある実施形態では、カスタマイズアセットに対応する製品のメーカーは、カスタマイズ画像を決定したオンライン小売店とは異なる団体（entity）である。対応のメーカーが特定の背景色を選択し、カスタマイズ画像レンダリングアセットを生成する処理に、選択された色を入力するように与えられる。結果として、カスタマイズ画像レンダリングアセットの命令で、背景を、選択された色、デザイン、またはパターンにする。

ブロック４３０で、背景レンダリングオブジェクトが決定される。背景レンダリングオブジェクトは、カスタマイズ画像の背景部分をレンダリングする命令を構成する。決定された背景領域の位置と、選択された背景の色やパターンやデザイン、または、背景が選択されなかったことを受信したときは、背景のデフォルトの色やパターンやデザインに基づいて、背景レンダリングオブジェクトが生成される。

ブロック４１８で、カスタマイズ画像の製品領域の位置が決定される。一実施形態では、製品領域の位置は、特定された背景領域以外で白に最も近い色を持つ色分け画像の領域を特定することによって決定される。他の実施形態では、白以外の基準色を用いてもよい。

ブロック４２８で、製品レンダリングオブジェクトが決定される。一実施形態では、製品レンダリングオブジェクトは、画像の輝度情報、決定された製品領域の位置、色輝度マッピングに基づいて決定される。

例えば、輝度情報は、製品領域の各画素の輝度（赤外線画像に基づいて決定されたもの）を表すようにしてもよい。色輝度マッピングは、色彩曲線であり、複数の色の色合いを表すとともに各色の色合いに対応する輝度値を表す。一実施形態では、製品領域の各画素に対して、（１）輝度マップに基づいて特定の位置の輝度値を決定し、そして、（２）決定された輝度値を持つ特定の色に対応する色合いを色彩曲線で選択することによって、画素をレンダリングするための特定の色が決定される。そこで、製品レンダリングオブジェクトの命令は、カスタマイズ画像の特定の画素に特定の色をレンダリングするための命令を構成するようにしてもよい。その結果、カスタマイズ画像の製品部分が、赤外線画像および／または可視光画像に現れるように、撮影されたような自然な陰影や輪郭を製品に付けて描くことができる。

製品レンダリングアセットの命令は、入力を受け取るように構成される。例えば、顧客が設定した製品の色の選択に応じて、製品レンダリングオブジェクトを決定する基になる特定の色彩曲線が選択される。顧客がカスタマイズした製品の色として特定の色を選択すると、結果として製品が選択された色になる。

ブロック４４２で、カスタマイズ画像のモデル領域が決定される。一実施形態では、モデル領域の位置は、デザイン領域、製品領域、および背景領域を除いた色分け画像の残る領域を特定することによって決定される。一実施形態では、カスタマイズ画像のモデル領域は、色の値に対する変更も形状の調整もされていない可視光画像のモデル領域と同じである。ブロック４２４で、モデル領域のＲＧＢの値が可視光画像に基づいて決定される。ブロック４３２で、モデルレンダリングオブジェクトは、決定されたＲＧＢ値と決定されたモデル領域の位置に基づいて決定される。モデルレンダリングオブジェクトは、カスタマイズ画像のモデル領域において決定された可視光画像のＲＧＢの色をレンダリングする命令で構成される。

一実施形態では、製品レンダリングオブジェクト、背景レンダリングオブジェクト、およびモデルレンダリングオブジェクトの命令が、デザインレンダリングオブジェクトの命令の前に実行される。製品レンダリングオブジェクト命令、背景レンダリングオブジェクト命令、およびモデルレンダリングオブジェクト命令を実行すると、図１７のマークが付いていない製品画像の例のように、マークアップもデザインも付けられていない製品画像が生成される。カスタマイズ画像レンダリングアセットは、マークが付けられていない製品画像と、マークが付けられていない製品画像の上にデザインを描くカスタマイズ画像をレンダリングする命令で構成する。
４．カスタマイズ画像の表示
一実施形態では、最初のカスタマイズ画像をユーザに表示し、ユーザがさらにカスタマイズを指定すると、更新したカスタマイズ画像をユーザに表示する。カスタマイズ画像アセットは、ユーザからカスタマイズの入力を受信すると、更新したカスタマイズ画像をレンダリングすることができる。ユーザは、カスタマイズ可能な製品のショッピングをしている顧客であってもよい。

ウェッブサーバに、様々な視点から同じ製品のカスタマイズ画像をレンダリングする命令を格納するようにしてもよい。同じアセットで、複数のカスタマイズ画像をレンダリングすることが可能であり、各カスタマイズ画像は別の視点から同じ製品を描画する。他の実施形態では、複数のカスタマイズ画像レンダリングアセットを同じ製品に関連づけて、各アセットが異なる視点から製品を描画したカスタマイズ画像をレンダリングするようにしてもよい。

ユーザがカスタマイズ画像に対して特定の視点を指定するようにしても、ユーザのために特定の視点が自動的に選択されるようにしてもよい。例えば、ユーザが特定のカスタマイズを指定すると、特定のカスタマイズに関連する特定の視点が自動的に選択されるようにしてもよい。カスタマイズ画像レンダリング命令の特定のセット（自動的に選択された特定の視点からカスタマイズをレンダリングすることを可能にする）が、ユーザのカスタマイズ仕様に応じて選択されるようにしてもよい。例えば、ユーザは、バッグの側面に付けられるパターンを指定する。このようなカスタマイズは、側面のアングルから特定のカスタマイズが一番良く見えるので、側面のカスタマイズ画像と関連付けられる。従って、このようなユーザのカスタマイズ仕様に応じて、側面のカスタマイズ画像をレンダリングすることができる特定のカスタマイズ画像レンダリングアセットをユーザの仕様に応じて選択するようにして、ユーザに表示するカスタマイズ画像を得るようにしてもよい。

特定のユーザの選択があると、複数の様々なカスタマイズ画像レンダリングアセットの命令が実行される。一実施形態では、ユーザは、同時に同じグラフィカルインターフェースを用いて、複数のカスタマイズ可能な製品に対してカスタマイズを行ない、各製品に対して別のカスタマイズ画像を表示する。例えば、ユーザは、１つのグラフィカルインターフェースを用いて、野球のＴシャツ、タンクトップ、および、半袖のシャツを同時にカスタマイズして、各製品のカスタマイズ画像を表示する。ユーザが特定のカスタマイズを指定すると、それに応じて、様々な製品のそれぞれに対応したカスタマイズ画像を更新するようにしてもよい。各製品は、別のカスタマイズ画像レンダリングアセットに対応付けられ、カスタマイズのユーザ仕様を受信すると、ウェッブサーバで、複数のカスタマイズ画像レンダリングアセットのそれぞれで、対応する製品を更新したカスタマイズ画像をレンダリングするようにしてもよい。例えば、ユーザが、Ｔシャツの前面に付ける特定のデザインを指定する。それに応じて、野球のＴシャツのカスタマイズ画像レンダリングアセット、タンクトップのカスタマイズ画像レンダリングアセット、半袖のシャツのカスタマイズ画像レンダリングアセットの命令が、全て実行される。この結果得られた様々なタイプのＴシャツのカスタマイズ画像は、それぞれにシャツの前面に同じデザインがディスプレイされて、ユーザコンピュータで表示される。
５．実装の仕組み―ハードウェアの概要
一実施形態に従えば、ここに記載の技術は、１以上の専用コンピューター装置によって実施される。専用コンピューター装置は、この技術を実行するハードウェアであっても、または、この技術を実行するためのプログラムを永久的に記憶する１以上の特定用途向け集積回路（ＡＳＩＣ）やＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）などのデジタル電子装置を設けるようにしても、または、ファームウェア、メモリ、他の記憶部、あるいは、これらの組み合わせに記憶されたプログラム命令に従って、この技術を実行するようにプログラムされた汎用のハードウェアの処理部を設けるようにしてもよい。このような専用コンピューター装置は、技術を達成するために、カスタマイズされたハードウェアロジック、ＡＳＩＣ、または、プログラムをカスタマイズしたＦＰＧＡを組み合わせたものであってもよい。専用コンピューター装置は、デスクトップコンピューターシステム、ポータブルコンピュータシステム、ハンドヘルド装置、ネットワークデバイス、または、技術を実装するためのハードウェア論理回路および／またはプログラム論理回路が組み込まれた他の装置であってもよい。

例えば、図１８は、本発明の実施形態を実装したコンピューターシステム１８００を示すブロック図である。コンピューターシステム１８００には、情報を通信するためのバス１８０２、または、他の通信機構と、情報を処理するためにバス１８０２に接続されたハードウェアプロセッサ１８０４とを備える。ハードウェアプロセッサ１８０４は、例えば、汎用のマイクロプロセッサであってもよい。

コンピューターシステム１８００には、ランダムアクセスメモリ（ＲＡＭ）または動的記憶装置などのメインメモリ１８０６を備え、情報、および、プロセッサ１８０４で実行される命令を格納するためにバス１８０２に接続される。メインメモリ１８０６は、プロセッサ１８０４で実行される命令の実行中は、一時的な変数や他の中間情報を記憶するためにも用いられる。このような命令がプロセッサ１８０４でアクセス可能な記憶媒体に格納されると、コンピューターシステム１８００が、命令で特定されたオペレーションを実行してカスタマイズされた専用マシンとして機能する。

コンピューターシステム１８００はさらに読み出し専用メモリ（ＲＯＭ）１８０８またはバス１８０２に接続された他の静的記憶装置が設けられ、静的な情報とプロセッサ１８０４の命令が格納される。磁気ディスクや光ディスクのような記憶装置１８１０が提供され、情報と命令とを格納するためにバス１８０２に接続される。

コンピューターシステム１８００は、コンピューターユーザに情報を表示するために、陰極線管（ＣＲＴ）などディスプレイ１８１２がバス１８０２を介して接続される。入力装置１８１４は、アルファベットキー、数字キー、および他のキーが設けられ、情報とコマンドの選択をプロセッサ１８０４に通信するためにバス１８０２に接続される。他のタイプのユーザ入力装置は、マウス、トラックボール、または、カーソル方向キーなどの方向の情報とコマンドの選択をプロセッサに伝えるカーソル制御装置１８１６であり、ディスプレイ１８１２上のカーソルの動きを制御する。この入力装置は、通常、第１軸（例えば、Ｘ）と第２軸（例えば、Ｙ）の２軸の２自由度があり、この装置で平面上の位置を指定する。

コンピューターシステム１８００は、カスタマイズしたハードウェア論理回路、１以上のＡＳＩＣまたはＦＰＧＡ、ファームウェアおよび／またはプログラム論理回路を用いて、コンピューターシステム１８００を専用マシンとして機能させるために、これらをコンピューターシステムと組み合わせて、または、コンピューターシステム１８００をプログラムすることで、ここに記載された技術を実装する。一実施形態に従えば、メインメモリ１８０６に含まれる１以上の命令の１以上のシーケンスをプロセッサ１８０４が実行することで、ここに記載された技術がコンピューターシステム１８００によって機能する。このような命令が、記憶装置１８１０などの他の記憶媒体からメインメモリ１８０６に読み込まれる。メインメモリ１８０６に組み込まれた命令のシーケンスの実行することで、プロセッサでここに記載された処理ステップを実行する。他の実施形態では、ハードウェア回路が、ソフトウェア命令の代わりに、または、ソフトウェア命令と組み合わせて用いられる。

ここで用いられる「記憶媒体」は、機械を特定の手法で操作するデータおよび／または命令を格納するあらゆる媒体を指す。このような記憶媒体は、不揮発性媒体および／または揮発性媒体で構成される。不揮発性媒体には、例えば、記憶装置１８１０のような光ディスクまたは磁気ディスクが含まれる。揮発性媒体には、メインメモリ１８０６などのダイナミックメモリが含まれる。記憶媒体の通常の形式には、例えば、フロッピーディスク（登録商標）、フレキシブルディスク（登録商標）、ハードディスク、ソリッドステートドライブ、磁気デープ、または他の磁気データ記憶装置や、ＣＤ−ＲＯＭまたは他の光データ記憶装置や、あらゆる穴のパターンがある物理的な媒体や、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、ＮＶＲＡＭ、他のメモリチップ、またはメモリカートリッジが含まれる。

記憶媒体は、伝送媒体とは別のものであるが、伝送媒体と一緒に用いられてもよい。伝送媒体は、記憶媒体間の情報の転送に関するものである。例えば、伝送媒体には、同軸ケーブル、銅線、および、光ファイバーであり、バス１８０２を構成する線が含まれる。また、伝送媒体には、電波や赤外線のデータ通信中に生成される音波または光波の形式をとるものがある。

媒体の様々な形式には、プロセッサ１８０４で実行される１以上の命令の１以上のシーケンスを搬送するものが含まれる。例えば、命令は、開始時に、離れて置かれるコンピューターの磁気ディスクやソリッドステートドライブ上に運ばれる。離れて置かれたコンピューターはダイナミックメモリ上に命令をロードして、モデムを用いた電話回線で命令を送信する。コンピューターシステム１８００にローカル接続されたモデムで電話回線からデータを受信することができ、データを赤外線信号に変換するために赤外線送信器を用いる。赤外線検出器は赤外線信号で運ばれたデータを受信し、適切な回路でデータをバス１８０２に載せることできる。バス１８０２は、メインメモリ１８０６にデータを運び、プロセッサ１８０４がメインメモリから命令を取り出して実行する。メインメモリ１８０６で受信された命令は、プロセッサ１８０４で実行する前または実行した後に記憶装置１８１０に任意に格納してもよい。

コンピューターシステム１８００は、バス１８０２に接続された通信インターフェース１８１８を備える。通信インターフェース１８１８は、ローカルネットワーク１８２２に接続するネットワーク回線１８２０に接続している双方向のデータ通信を提供する。例えば、通信インターフェース１８１８は、電話回線のタイプに対応したデータ通信接続を提供する、サービス総合デジタル網（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、またはモデムであってもよい。他の一例として、通信インターフェース１８１８はローカルエリアネットワーク（ＬＡＮ）カードであってもよく、互換性のあるＬＡＮにデータ通信接続を提供する。また、無線回線が実装されてもよい。このようなあらゆる実装において、通信インターフェース１８１８は、様々なタイプの情報を表すデータの流れを運ぶ電気信号、電磁気信号、または光信号を送受信する。

ネットワーク回線１８２０は、通常は、１以上のネットワークを通じて他の装置とのデータ通信を提供する。例えば、ネットワーク回線１８２０は、ローカルネットワークを通じてホストコンピュータ１８２４、または、インターネットサービスプロバイダー（ＩＳＰ）１８２６によって操作されるデータ機器に対する接続を提供する。同様に、ＩＳＰ１８２６は、一般的には「インターネット」１８２８といわれるワールド ワイドパケットデータ通信ネットワークを介したデータ通信サービスを提供する。ローカルネットワーク１８２２とインターネット１８２８の両方は、デジタルデータの流れを運ぶ電気信号、電磁気信号、光信号を用いる。様々なネットワークを介した信号と、ネットワーク回線１８２０上の通信インターフェース１８１８を介した信号は、デジタルデータをコンピューターシステム１８００とやり取りするものであり、伝送媒体の形態の一例である。

コンピューターシステム１８００は、ネットワーク、ネットワーク回線１８２０、および通信インターフェース１８１８を介して、プログラムコードを含むメッセージを送信したり、データを受信したりする。インターネットの例では、サーバ１８３０がインターネット１８２８、ＩＳＰ１８２６、ローカルネットワーク１８２２、および通信インターフェース１８１８を介して、アプリケーションプログラムに要求コードを転送する。

受信したコードは、受信されると、プロセッサ１８０４で実行され、後で実行するために、記憶装置１８１０あるいは不揮発性記憶に記憶される。

前述の明細書において、本発明の実施形態が、実装から実装へと変わる様々な多数の詳細な形態を参照しながら記載された。従って、明細書と図面は、これに限定されることなく１つの例としてみなされるべきである。本発明の範囲の唯一かつ排他的な指標は、出願人が意図する本発明の範囲であって、本出願で公表された請求項の文言およびその均等物の範囲であり、あらゆる後の補正も含まれる。

Claims (28)

1. コンピューターに実装される方法において、
   １以上のコンピューター装置で実行する方法であり、
   可視光写真では見えるが赤外線写真では見えないマークアップが付された製品の赤外線写真を受信するステップと、
   前記マークアップが付された製品の可視光写真を受信するステップと、
   前記赤外線写真または前記可視光写真にはないものである特定のカスタマイズを描いた前記製品のカスタマイズ画像をレンダリングする命令が、前記赤外線写真と前記可視光写真の一部に基づいて、決定されるステップ、
   を備えることを特徴とするコンピューターに実装される方法。
2. 前記カスタマイズは、前記製品の１以上のデザイン領域に付する１以上のデザイン、または、前記製品の少なくとも一部の色を指定するものであることを特徴とする請求項１記載のコンピューターに実装される方法。
3. 前記カスタマイズ画像をレンダリングする命令を決定した後に、前記特定のカスタマイズを決定し、前記特定のカスタマイズが前記カスタマイズ画像をレンダリングする前記命令の入力として与えられるステップをさらに備えたことを特徴とする請求項１記載のコンピューターに実装される方法。
4. 前記特定のカスタマイズ画像の形と陰影の少なくとも一部が、前記付されたマークアップの形と陰影に対応することを特徴とする請求項１記載のコンピューターに実装される方法。
5. 前記赤外線写真の一部に基づいて、輝度情報を決定するステップと、
   前記可視光写真の一部に基づいて、デザインの形状情報を決定するステップと、
   をさらに備え、
   前記製品の前記カスタマイズ画像をレンダリングする前記命令が、前記輝度情報と前記デザインの形状情報の一部に基づいて決定されることを特徴とする請求項１に記載のコンピューターに実装される方法。
6. 色セグメンテーション処理を前記可視光写真に基づく画像に施して、デジタルで格納された色分け画像を結果として得るステップをさらに備え、
   前記色分け画像の一部に基づいて、前記製品の前記カスタマイズ画像をレンダリングする前記命令を決定することを特徴とする請求項１記載のコンピューターに実装される方法。
7. 前記可視光写真に基づいて画像から輝度を除いて、正規化された可視光写真を決定するステップをさらに備え、
   前記製品の前記カスタマイズ画像をレンダリングする命令が、前記正規化された可視光写真の一部に基づいて決定されることを特徴とする請求項１記載のコンピューターに実装される方法。
8. 格納されたマークアップが付されていない前記製品のデジタル画像が、前記可視光写真と前記赤外線写真に基づいて自動的に決定されるステップをさらに備え、
   前記製品の前記カスタマイズ画像をレンダリングする命令が、マークアップが付されていない前記製品の前記画像と前記デザインの形状情報の少なくとも一部に基づいて決定されることを特徴とする請求項１記載のコンピューターに実装される方法。
9. 特定の画像の少なくとも一部に基づいて、第１の色を選択した色選択画像と第２の色を選択した色選択画像が決定されるステップをさらに備え、
   前記特定の画像は前記可視光写真または前記可視光写真に基づいた画像であり、前記マークアップは複数の色で構成され、
   前記複数の色のうちの第１の色を持つ前記特定の画像の各領域に対して、前記第１の色選択画像の同じ領域が特定の色で着色され、前記第１の色選択画像の残りの領域が前記特定の色とは異なる色で着色され、
   前記複数の色のうちの第２の色を持つ前記特定の画像の各領域に対して、前記第２の色選択画像の同じ領域が前記特定の色で着色され、前記第２の色選択画像の残りの領域が前記特定の色とは異なる色で着色されることを特徴とする請求項１記載のコンピューターに実装される方法。
10. 前記第１の色選択画像と前記第２の色選択画像に基づいて、デザインマスク画像が決定されるステップをさらに備え、
    前記第１の色選択画像または前記第２の色選択画像のいずれかの特定の色で着色された前記デザインマスク画像の各領域が、前記デザインマスク画像の特定のマスクカラーであり、
    前記デザインマスク画像の残りの領域は前記特定のマスクカラーとは異なる色であることを特徴とする請求項９記載のコンピューターに実装される方法。
11. 前記第１の色選択画像と前記第２の色選択画像に基づいて、グリッド画像を決定するステップをさらに備え、
    前記グリッド画像は、前記特定の画像中の前記第１の色の１以上の領域に前記第２の色の１以上の領域が隣接した位置を指すものであることを特徴とする請求項９記載のコンピューターに実装される方法。
12. 前記特定のカスタマイズを指定するカスタマイズ仕様を受信するステップと、
    前記特定のカスタマイズを描画した前記製品の前記カスタマイズ画像をレンダリングする前記命令を実行させるステップと、
    前記特定のカスタマイズを描いた前記製品の前記カスタマイズ画像の表示を行うステップと、
    をさらに備えたことを特徴とする請求項３記載のコンピューターに実装される方法。
13. 前記カスタマイズ画像をレンダリングする前記命令の少なくとも一部が特定の視点に関連づけられ、
    前記方法が、
    前記特定の視点に関連付けられたカスタマイズの少なくとも一部を指定するカスタマイズ仕様を受信するステップと、
    前記カスタマイズ仕様に基づいて、実行する前記特定の視点と関連付けられた前記カスタマイズ画像をレンダリングする前記命令の部分を選択するステップと、
    をさらに備えたことを特徴とする請求項１記載のコンピューターに実装される方法。
14. 前記製品は第１の製品であり、前記カスタマイズ画像は第１のカスタマイズ画像であり、
    前記方法が、
    前記特定のカスタマイズを指定するカスタマイズ仕様を受信するステップであって、
    該カスタマイズ仕様の受信に応じて、
    前記製品の前記カスタマイズ画像をレンダリングする前記命令を実行して、前記カスタマイズ仕様で指定された前記特定のカスタマイズを描画させ、
    前記第１の製品と異なる第２の製品の第２のカスタマイズ画像をレンダリングする第２の命令を実行して前記特定のカスタマイズを描画させるステップと、
    前記特定のカスタマイズを描画した前記製品の前記第１のカスタマイズ画像と前記特定のカスタマイズを描画した前記第２の製品の前記第２のカスタマイズ画像を表示させるステップと、
    をさらに備えたことを特徴とする請求項１記載のコンピューターに実装される方法。
15. １以上のプロセッサにより実行されることにより、１以上の処理を実行させる１以上の命令が記憶されたコンピューター読み取り可能な記録媒体であって、
    前記１以上の処理が、
    可視光写真では見えるが赤外線写真では見えないマークアップが付された製品の赤外線写真を受信するステップと、
    前記同じマークアップが付された前記同じ製品の可視光写真を受信するステップと、
    特定のカスタマイズを描いた前記製品のカスタマイズ画像をレンダリングする命令が、前記赤外線写真と可視光写真の一部に基づいて、決定されるステップと、
    を含み、
    前記特定のカスタマイズは、前記赤外線写真または前記可視光写真にはないことを特徴とする記録媒体。
16. 前記カスタマイズは、前記製品の１以上のデザイン領域に付する１以上のデザイン、または、前記製品の少なくとも一部の色を指定するものであることを特徴とする請求項１５記載の記録媒体。
17. 前記命令が、前記１以上のプロセッサに、
    前記カスタマイズ画像をレンダリングする命令を決定した後に、前記特定のカスタマイズを決定し、前記特定のカスタマイズが前記カスタマイズ画像をレンダリングする前記命令の入力として与えられるステップをさらに実行させることを特徴とする請求項１５記載の記録媒体。
18. 前記特定のカスタマイズ画像の形と陰影の少なくとも一部が、前記付されたマークアップの形と陰影に対応することを特徴とする請求項１５記載の記録媒体。
19. 前記命令が、前記１以上のプロセッサに、
    前記赤外線写真の一部に基づいて、輝度情報を決定するステップと、
    前記可視光写真の一部に基づいて、デザインの形状情報を決定するステップと、
    をさらに実行させ、
    前記製品の前記カスタマイズ画像をレンダリングする前記命令が、前記輝度情報と前記デザインの形状情報の一部に基づいて決定されることを特徴とする請求項１５に記載の記録媒体。
20. 前記命令が、前記１以上のプロセッサに、
    色セグメンテーション処理を前記可視光写真に基づく画像に施して、デジタルで格納された色分け画像を結果として得るステップをさらに実行させ、
    前記色分け画像の一部に基づいて、前記製品の前記カスタマイズ画像をレンダリングする前記命令を決定することを特徴とする請求項１５記載の記録媒体。
21. 前記命令が、前記１以上のプロセッサに、
    前記可視光写真に基づいて画像から輝度を除いて、正規化された可視光写真を決定するステップをさらに実行させ、
    前記製品の前記カスタマイズ画像をレンダリングする命令が、前記正規化された可視光写真の一部に基づいて決定されることを特徴とする請求項１５記載の記録媒体。
22. 前記命令が、前記１以上のプロセッサに、
    格納されたマークアップが付されていない前記製品のデジタル画像が、前記可視光写真と前記赤外線写真に基づいて自動的に決定されるステップをさらに実行させ、
    前記製品の前記カスタマイズ画像をレンダリングする命令が、マークアップが付されていない前記製品の前記画像と前記デザインの形状情報の少なくとも一部に基づいて決定されることを特徴とする請求項１９記載の記録媒体。
23. 前記命令が、前記１以上のプロセッサに、
    特定の画像の少なくとも一部に基づいて、第１の色を選択した色選択画像と第２の色を選択した色選択画像が決定されるステップをさらに実行させ、
    前記特定の画像は前記可視光写真または前記可視光写真に基づいた画像であり、前記マークアップは複数の色で構成され、
    前記複数の色のうちの第１の色を持つ前記特定の画像の各領域に対して、前記第１の色選択画像の同じ領域が特定の色で着色され、前記第１の色選択画像の残りの領域が前記特定の色とは異なる色で着色され、
    前記複数の色のうちの第２の色を持つ前記特定の画像の各領域に対して、前記第２の色選択画像の同じ領域が前記特定の色で着色され、前記第２の色選択画像の残りの領域が前記特定の色とは異なる色で着色されることを特徴とする請求項１５記載の記録媒体。
24. 前記命令が、前記１以上のプロセッサに、
    前記第１の色選択画像と前記第２の色選択画像に基づいて、デザインマスク画像が決定されるステップをさらに実行させ、
    前記第１の色選択画像または前記第２の色選択画像のいずれかの特定の色で着色された前記デザインマスク画像の各領域が、前記デザインマスク画像の特定のマスクカラーであり、
    前記デザインマスク画像の残りの領域は前記特定のマスクカラーとは異なる色であることを特徴とする請求項２３記載の記録媒体。
25. 前記命令が、前記１以上のプロセッサに、
    前記第１の色選択画像と前記第２の色選択画像に基づいて、グリッド画像を決定するステップをさらに実行させ、
    前記グリッド画像は、前記特定の画像中の前記第１の色の１以上の領域に前記第２の色の１以上の領域が隣接した位置を指すものであることを特徴とする請求項２３記載の記録媒体。
26. 前記命令が、前記１以上のプロセッサに、
    前記特定のカスタマイズを指定するカスタマイズ仕様を受信するステップと、
    前記特定のカスタマイズを描画した前記製品のカスタマイズ画像をレンダリングする前記命令を実行させるステップと、
    前記特定のカスタマイズを描いた前記製品の前記カスタマイズ画像の表示を行うステップと、
    をさらに実行させることを特徴とする請求項１７記載の記録媒体。
27. 前記カスタマイズ画像をレンダリングする前記命令の少なくとも一部が特定の視点に関連づけられ、
    前記命令が、前記１以上のプロセッサに、
    前記特定の視点に関連付けられたカスタマイズの少なくとも一部を指定するカスタマイズ仕様を受信するステップと、
    前記カスタマイズ仕様に基づいて、実行する前記特定の視点と関連付けられたカスタマイズ画像をレンダリングする前記命令の部分を選択するステップと、
    をさらに実行させることを特徴とする請求項１５記載の記録媒体。
28. 前記製品は第１の製品であり、前記カスタマイズ画像は第１のカスタマイズ画像であり、
    前記命令が、前記１以上のプロセッサに、
    前記特定のカスタマイズを指定するカスタマイズ仕様を受信するステップであって、
    該カスタマイズ仕様の受信に応じて、
    前記製品の前記カスタマイズ画像をレンダリングする前記命令を実行して、前記カスタマイズ仕様で指定された前記特定のカスタマイズを描画させ、
    前記第１の製品と異なる第２の製品の第２のカスタマイズ画像をレンダリングする第２の命令を実行して前記特定のカスタマイズを描画させるステップと、
    前記特定のカスタマイズを描画した前記製品の前記第１のカスタマイズ画像と前記特定のカスタマイズを描画した前記第２の製品の前記第２のカスタマイズ画像を表示させるステップと、
    をさらに実行させることを特徴とする請求項１５記載の記録媒体。