JP2017129901A - 書籍探索装置、方法及びプログラム - Google Patents

Abstract

【課題】画像情報に基づいて書籍を探索することができる書籍探索技術を提供する。【解決手段】書籍探索装置は、書籍の代表画像を、その書籍を構成する複数のページの中の絵が含まれる所定の一ページの画像として、検索対象となる書籍の代表画像から複数の画像特徴量を抽出する第一画像特徴量抽出部１と、複数の書籍のそれぞれの代表画像に対応する複数の画像特徴量を記憶する画像特徴量記憶部２と、抽出された検索対象となる書籍の代表画像に対応する複数の画像特徴量と、画像特徴量記憶部２から読み込んだ複数の書籍の代表画像に対応する複数の画像特徴量とを用いて、検索対象となる書籍の代表画像と類似性が高い代表画像を有する１個以上の書籍を複数の書籍の中から探索する探索部３と、を備えている。【選択図】図１

Description

この発明は、書籍を探索する技術に関する。

書籍を探索する技術として、書誌情報に基づく検索技術が知られている（例えば、非特許文献１参照。）。書誌情報に基づく検索技術では、各書籍についての、著者名、タイトル等の書誌情報を事前にデータベースに登録しておく。検索のキーワードが入力されると、そのデータベースを参照して、その検索のキーワードを含む書誌情報を有する書籍を検索する。そして、検索により見つかった書籍をユーザーに提示する。このように、書誌情報に基づく検索技術では、テキスト情報を用いた検索が行われていた。

国立国会図書館、［平成 27 年 12 月 14日検索］、インターネット〈URL：http://www.ndl.go.jp/〉

しかしながら、従来の書籍を探索する技術では、書籍に含まれる画像情報に基づく探索をすることができなかった。

この発明の目的は、画像情報に基づいて書籍を探索することができる書籍探索装置、方法及びプログラムを提供することである。

この発明の一態様による書籍探索装置は、書籍の代表画像を、その書籍を構成する複数のページの中の絵が含まれる所定の一ページの画像として、検索対象となる書籍の代表画像から複数の画像特徴量を抽出する第一画像特徴量抽出部と、複数の書籍のそれぞれの代表画像に対応する複数の画像特徴量を記憶する画像特徴量記憶部と、抽出された検索対象となる書籍の代表画像に対応する複数の画像特徴量と、画像特徴量記憶部から読み込んだ複数の書籍の代表画像に対応する複数の画像特徴量とを用いて、検索対象となる書籍の代表画像と類似性が高い代表画像を有する１個以上の書籍を複数の書籍の中から探索する探索部と、を備えている。

画像情報に基づいて書籍を探索することができる。

書籍探索装置の例を説明するためのブロック図。 書籍探索方法の例を説明するための流れ図。 ステップＳ３の処理の例を説明するための流れ図。 領域の分割の例を説明するため図。 領域の分割の例を説明するため図。 領域の分割の例を説明するため図。 領域の分割の例を説明するため図。 領域の分割の例を説明するため図。 領域の分割の例を説明するため図。 重み設定部の表示の例を説明するため図。 重み設定部の表示の例を説明するため図。 重み設定部の表示の例を説明するため図。 重み設定部の表示の例を説明するため図。 重み設定部の表示の例を説明するため図。 仮探索結果グラフの例を説明するため図。 仮探索結果グラフの例を説明するため図。 仮探索結果グラフの統合の例を説明するため図。 仮探索結果グラフの統合の例を説明するため図。 表示部の表示の例を説明するため図。 表示部の表示の例を説明するため図。 表示部の表示の例を説明するため図。 カラーヒストグラムの例を説明するための図。 カラーヒストグラムの例を説明するための図。 カラーヒストグラムの例を説明するための図。 カラーヒストグラムの例を説明するための図。 特徴点の例を説明するための図。 特徴点の例を説明するための図。 特徴点の例を説明するための図。 特徴点の対応関係の例を説明するための図。

［書籍探索装置及び方法］
以下、図面を参照して、書籍探索装置及び方法の一実施形態について説明する。書籍探索装置は、図１に示すように、第一画像特徴量抽出部１、画像特徴量記憶部２、探索部３、第二画像特徴量抽出部４、代表画像記憶部５、重み設定部６及び探索書籍表示装置である７を例えば備えている。書籍探索装置の各部が、図２の各ステップの処理を行うことにより、書籍探索方法が実現される。

＜第一画像特徴量抽出部１＞
第一画像特徴量抽出部１には、検索のキーとなる書籍の代表画像が入力される。この検索のキーとなる書籍のことを、「検索対象となる書籍」とも呼ぶことにする。

検索対象となる書籍の代表画像は、代表画像記憶部５に記憶されている複数の書籍のそれぞれの代表画像の中からユーザーにより例えば選択される。また、スキャナーによるスキャンやデジタルカメラによる撮影により、検索対象となる書籍の代表画像が入力されてもよい。さらに、検索対象となる書籍の代表画像がサーバー等に格納されている場合には、その検索対象となる書籍の代表画像のＵＲＬ等のアドレスをユーザーが入力することにより、検索対象となる書籍の代表画像が選択されてもよい。

書籍は、絵、文章等を筆写又は印刷した紙の束を綴じ合わせた本、絵本又は雑誌等の書物であってもよいし、これらの書物を電磁的に記録した電子書籍であってもよい。

書籍の代表画像とは、その書籍を構成する複数のページの中の絵が含まれる所定の一ページの画像である。書籍の代表画像の例は、その書籍の表紙の画像である。代表画像には、絵のみならず、文字、記号が含まれていてもよい。

第一画像特徴量抽出部１は、検索対象となる書籍の代表画像から複数の画像特徴量を抽出する（ステップＳ１）。抽出された複数の画像特徴量は、探索部３に出力される。

第一画像特徴量抽出部１により抽出される複数の画像特徴量には、色合いを表す画像特徴量のグループ、レイアウトを表す画像特徴量のグループ、形状を表す画像特徴量のグループ及び書き込み度合いを表す画像特徴量のグループの中の少なくとも２個のグループのそれぞれに属する画像特徴量が含まれている。言い換えれば、第一画像特徴量抽出部１は、少なくとも２種類のグループに属する画像特徴量を抽出する。

抽出する複数の画像特徴量の種類については、予め設定されていてもよいし、ユーザーにより適宜選択することができるようになっていてもよい。

（色合いを表す画像特徴量のグループに属する画像特徴量）
色合いを表す画像特徴量のグループに属する画像特徴量は、例えばカラーヒストグラム(color histogram)である。カラーヒストグラムは、RGB, RGBA, sRGB, AdobeRGB等の加法混合系の色空間におけるカラーヒストグラムであってもよいし、CMYK,CMK等の減法混合系の色空間におけるカラーヒストグラムであってもよい。もちろん、カラーヒストグラムは、HSV,HLS等の他の色空間におけるカラーヒストグラムであってもよい。また、代表画像を減色加工により例えばグレースケール等の減色された色体系にした上で、その減色された色体系におけるカラーヒストグラムが用いられてもよい。

色合いを表す画像特徴量のグループに属する画像特徴量として、RGBの色空間におけるカラーヒストグラムを用いた場合の画像特徴量の計算の例について説明する。

第一画像特徴量抽出部１は、既存のカラーヒストグラム計算アルゴリズムにより、代表画像を、R（赤）、G（グリーン）、B（青）の３個の次元のそれぞれの次元において０から２５５までの２５６段階の色調の値で表す。

第一画像特徴量抽出部１は、それぞれの次元において、２５６段階の色調の値を６４個のビンに分ける処理を行う。例えば、１個目のビンが０から３段階目の色調に対応しているとし、２個目のビンが４から７段階目の色調に対応しているとし、…、６４個目のビンが２５２から２５５段階目の色調に対応しているとする。すなわち、ｉ=1,2,…,64として、ｉ番目のビンが（ｉ−１）×４から（ｉ−１）×４＋３段階目の色調に対応しているとする。そして、各ビンの値を、その各ビンに対応する段階目の色調の値の総和とする。Rの次元を例に挙げて説明すると、ｉ=1,2,…,64として、Rの次元におけるｉ番目のビンの値r_iを、（ｉ−１）×４段階目の色調の値と、（ｉ−１）×４＋１段階目の色調のピクセルの数と、（ｉ−１）×４＋２段階目の色調の値と、（ｉ−１）×４＋３段階目の色調の値とを加算した数とする。このビンに分ける処理をR,G,Bのそれぞれの次元において行うことにより、ベクトル(r₁,r₂,…,r₆₄,g₁,g₂,…,g₆₄,b₁,b₂,…,b₆₄)が得られる。ｉ=1,2,…,64として、g_iはGの次元におけるｉ番目のビンの値であり、b_iはBの次元におけるｉ番目のビンの値である。

第一画像特徴量抽出部１は、ベクトル(r₁,r₂,…,r₆₄,g₁,g₂,…,g₆₄,b₁,b₂,…,b₆₄)の要素の和が１となるように各要素を正規化したベクトルCH=(ch₁, ch₂,…, ch₁₉₂)を求める。ここで、Σ_k=1 ¹⁹²ch_k=1である。正規化を行うのは、例えばべた塗の絵と滑らかに色使いが変化する絵を区別するために、頻度そのものよりも分布の形を比べたいためである。

このベクトルCHが、色合いを表す画像特徴量のグループに属する画像特徴量であるカラーヒストグラムの一例である。

色合いが徐々には変化しないべた塗の絵はカラーヒストグラムの分散が小さくなるが、色合いが徐々に変化する絵はカラーヒストグラムの分散が大きくなるという特徴がある。

色合いが徐々には変化しないべた塗の絵の例である図２２の絵のカラーヒストグラムを図２３に示す。また、色合いが徐々には変化するべた塗の絵の例である図２４の絵のカラーヒストグラムを図２５に示す。図２３及び図２５のそれぞれにおいて、一番上のグラフはB（青）の次元のカラーヒストグラムであり、真ん中のグラフはG（緑）の次元のカラーヒストグラムであり、一番下のグラフはR（赤）の次元のカラーヒストグラムである。各カラーヒストグラムにおいて、横軸は色調の段階を表し、縦軸は頻度を表す。

図２３及び図２５から、色合いが徐々には変化しないべた塗の絵の例である図２２の絵のカラーヒストグラムの分散は、色合いが徐々に変化する絵の例である図２４の絵のカラーヒストグラムの分散よりも小さいことがわかる。この例のように、べた塗の絵と滑らかに色使いが変化する絵では、カラーヒストグラムの分布の形が互いに異なる。べた塗の絵とは、例えば、境界がはっきりしており、境界によって区切られた各領域が同一の色で塗られた絵のことである。

このため、カラーヒストグラムは、画風が近い書籍を探索するための画像特徴量として有効である。

（レイアウトを表す画像特徴量のグループに属する画像特徴量）
レイアウトを表す画像特徴量のグループに属する画像特徴量は、例えばキャニー法等のエッジ検出により検出されたエッジピクセルの分布である。エッジピクセルを検出することができれば、例えば参考文献１に記載されたエッジ検出法等の、キャニー法以外の他の既存のエッジ検出法によりエッジ検出が行われてもよい。

〔参考文献１〕Lindeberg, Tony (2001), "Edge detection", in Hazewinkel, Michiel, Encyclopedia of Mathematics, Springer, ISBN 978-1-55608-010-4

レイアウトを表す画像特徴量のグループに属する画像特徴量として、エッジピクセルの分布を用いた場合の画像特徴量の計算の例について説明する。

第一画像特徴量抽出部１は、既存のエッジ検出法により、代表画像のエッジピクセルを検出する。

第一画像特徴量抽出部１は、代表画像のエッジピクセルの分布ベクトルを求める。代表画像のエッジピクセルの分布ベクトルは、その代表画像を複数の領域に分割したときの、各領域に含まれるエッジピクセルの数を要素とするベクトルである。例えば、図４に示すように代表画像は格子状に９個の領域(1)から(9)に分割される。以下では、代表画像はn個の領域(1)から(n)に分割されているとする。i=1,2,…,nとして、領域(i)に含まれるエッジピクセルの数をed_iとする。この場合、代表画像のエッジピクセルの分布ベクトルEDは、ED=(ed₁,ed₂,…,ed_n)である。なお、代表画像毎のエッジピクセル総数の異なりの影響を排除するため、分布ベクトルED=(ed₁,ed₂,…,ed_n)のノルムを一定の値に正規化したベクトルED^*=(ed₁ ^*,ed₂ ^*,…,ed_n ^*)を、最終的な代表画像のエッジピクセルの分布ベクトルとしてもよい。ノルムとしては、例えば１に正規化されたユークリッドノルム||ED^*||₂=((ed₁ ^*)²+(ed₂ ^*)²+…+(ed_n ^*)²)^1/2=1を用いることができる。

エッジピクセルの分布等の画像特徴量を求めるために行われる代表画像の複数の領域への分割は、図４に例示する分割以外の分割であってもよい。

例えば、図５に示すように、代表画像の縦横の長さが異なる場合には、長辺の分割数を短辺の分割数よりも小さくする等の方法により、縦横の分割数を異ならせてもよい。また、図６に示すように、代表画像の中心ほど領域の面積が小さくなるように代表画像を分割してもよい。これは、代表画像の中心ほど書き込みが多いことを考慮したものである。また、図７に示すように縦方向にのみ領域分割してもよいし、図８に示すように横方向のみに領域分割してもよい。さらに、図９に示すように同心円状に領域分割をしてもよい。

レイアウトを表す画像特徴量のグループに属する画像特徴量は、Scale-Invariant Feature Transform(以下、SIFTと略記する。), Oriented-BRIEF(以下、ORBと略記する。), Speeded Up Robust Features(以下、SURFと略記する。)等の処理により検出される特徴点（キーポイント）の分布であってもよい。

図２６に、図２２の絵についてSIFTの処理を行うことにより得られたSIFTの特徴点の例を表す。図２６では、特徴点は円と線分で示されている。円の中心座標が特徴点の位置を示す。

レイアウトを表す画像特徴量のグループに属する画像特徴量として、SIFT,ORB,SURF等の処理により検出される特徴点の分布を用いた場合の画像特徴量の計算の例について説明する。

第一画像特徴量抽出部１は、SIFT,ORB,SURF等の処理により、代表画像の特徴点を検出する。

第一画像特徴量抽出部１は、代表画像の特徴点の分布ベクトルを求める。代表画像の特徴点の分布ベクトルは、その代表画像を複数の領域に分割したときの、各領域に含まれる特徴点の個数を要素とするベクトルである。例えば、図４に示すように代表画像は格子状に９個の領域(1)から(9)に分割される。図５から図９に例示するように代表画像の領域分割の方法はどのようなものであってもよい。例えば、縦長あるいは横長の代表画像を入力する場合に、代表画像のアスペクト比を考慮して、図５のように縦横の分割数を異ならせてもよい。また、代表画像の種類によってはオブジェクトや文字が画像の一部に集中することが多いことに注目して、たとえば中心部の分解能を上げられるように図６のように中心部に近いほど分割を細かくしてもよい。以下では、代表画像はn個の領域(1)から(n)に分割されているとする。i=1,2,…,nとして、領域(i)に含まれる特徴点の個数をskd_iとする。この場合、代表画像の特徴点の分布ベクトルSKDは、SKD=(skd₁,skd₂,…,skd_n)である。なお、代表画像毎の特徴点総数の異なりの影響を排除するため、分布ベクトルSKD=(skd₁,skd₂,…,skd_n)のノルムを一定の値に正規化したベクトルSKD^*=(skd₁ ^*,skd₂ ^*,…,skd_n ^*)を、最終的な代表画像の特徴点の分布ベクトルとしてもよい。ノルムとしては、例えば１に正規化されたユークリッドノルム||SKD^*||₂=((skd₁ ^*)²+(skd₂ ^*)²+…+(skd_n ^*)²)^1/2=1を用いることができる。

エッジピクセル又は特徴点が多い領域ほど書き込みが多く、エッジピクセル又は特徴点が少ない領域ほど書き込みが少ない。このため、エッジピクセルの分布又は特徴点の分布は、入力代表画像中の領域毎の書き込みの多寡を比較するために用いることができる、レイアウトを表す画像特徴量と考えることができる。絵本については、キャラクターや背景、文字などの書き込みの領域毎の多少を比べることになるため、書き込み位置が類似した絵本同士、例えば上部にテキストが配され、中央部にキャラクターが描かれ、それ以外は背景色のべた塗であるような絵本同士は、類似のエッジピクセルの分布及び特徴点の分布を持つと考えられる。このため、エッジピクセルの分布又は特徴点の分布は、レイアウトの観点から画風が近い書籍を探索するための画像特徴量として有効である。

後述する書き込み度合いを表す画像特徴量のグループに属する画像特徴量は代表画像全体の粗密に注目した特徴量であるのに対して、エッジピクセルの分布又は特徴点の分布は代表画像の各領域の粗密に注目した特徴量でありレイアウトを表現した特徴と考えることができる。

（形状を表す画像特徴量のグループに属する画像特徴量）
形状を表す画像特徴量のグループに属する画像特徴量は、例えばSIFT,ORB,SURF等の処理により検出される特徴点である。

この場合、第一画像特徴量抽出部１は、SIFT,ORB,SURF等の処理により、代表画像の特徴点を検出し、検出された特徴点を画像特徴量とする。

ある代表画像の特徴点と別の代表画像の特徴点との対応が綺麗に取れるほど、言い換えればこれらの特徴点をmatch SIFT descripter関数やmatch ORB descripter関数に入力したときの出力値が小さくなるほど、そのある代表画像とその別の代表画像の有する特徴点同士の表す形状が似ているというという特徴がある。ここで、match SIFT descripter関数は２個の画像のSIFT特徴間の距離を求める関数であり、match ORB descripter関数は２個の画像のORB特徴間の距離を求める関数であるとする。特に絵本に対して適用した場合、デフォルメで表現されたキャラクターの目などのパーツ同士、あるいはタイトル中に現れる同種のひらがな同士が類似する絵本同士はmatch SIFT descripter関数やmatch ORB descripter関数に入力したときの出力値が小さくなる。このため、特徴点は、類似の形状の書き込みが存在するという観点で画風が近い書籍を探索するための画像特徴量として有効である。

図２７に「ひとりでよめたよ」という絵本の表紙を正面から見たときの画像の特徴点の例を示す。また、図２８に「ひとりでよめたよ」という絵本の表紙を斜めから見たときの画像の特徴点の例を示す。図２７及び図２８では、互いに類似する３０個の特徴点が選択されている。図２９に、図２７の特徴点と図２８の特徴点との対応関係の例を示す。図２９では、文字の部分や、キャラクターの手、や尾の模様、帽子等の部分で対応関係が取れている。一般に、２つの画像間の対応関係が綺麗にとれるほど、match SIFT descripter関数やmatch ORB descripter関数に入力したときの出力値が小さくなる。ここで、対応関係が綺麗にとれるとは、２つの画像中に何らかの類似度尺度で類似度の高い、あるいは何らかの距離尺度で距離が小さい、もしくは全く同一の特徴点が存在し、その個数が多いことである。

（書き込み度合いを表す画像特徴量のグループに属する画像特徴量）
書き込み度合いを表す画像特徴量のグループに属する画像特徴量は、例えばキャニー法等のエッジ検出により検出されたエッジピクセルの数を総ピクセル数で割った値である。この値のことを「エッジ率」と呼ぶことにする。エッジピクセルを検出することができれば、例えば参考文献１に記載されたエッジ検出法等の、キャニー法以外の他の既存のエッジ検出法によりエッジ検出が行われてもよい。

書き込み度合いを表す画像特徴量のグループに属する画像特徴量として、エッジ率を用いた場合の画像特徴量の計算の例について説明する。

第一画像特徴量抽出部１は、既存のエッジ検出法により、代表画像のエッジピクセルを検出する。

第一画像特徴量抽出部１は、代表画像のエッジピクセルの数をその代表画像の総ピクセル数で割り算した値を求め、求まった値を画像特徴量とする。例えば、エッジピクセルの数がeであり、代表画像の横のピクセル数がxであり、代表画像の縦のピクセル数がyである場合には、エッジ率＝e/(xy)である。

代表画像全体に多くの線が描かれている場合、エッジ率は高くなるが、書き込みが少ない絵のエッジ率が低くなるという特徴がある。絵本の場合、キャラクターや背景、文字などの書き込みが多い絵のエッジ率は高くなるが、書き込みが少ない絵のエッジ率が低くなるという特徴がある。このため、エッジ率は、オブジェクトの多寡の観点で画風が近い書籍を探索するための画像特徴量として有効である。

書き込み度合いを表す画像特徴量のグループに属する画像特徴量は、SIFT,ORB,SURF等の処理により検出される特徴点の個数であってもよい。

この場合、第一画像特徴量抽出部１は、SIFT,ORB,SURF等の処理により、代表画像の特徴点を検出する。第一画像特徴量抽出部１は、検出された特徴点の個数を画像特徴量とする。

単純な絵は特徴点の数が少なくなるが、複雑な絵は特徴点の数が多くなるという特徴がある。絵本の場合、多数のキャラクターが描かれている場合や多くの文字が描かれている場合に特徴点の数が多くなる。このため、特徴点の数は、エッジ率と同様に、オブジェクトの多寡の観点で画風が近い書籍を探索するための画像特徴量として有効である。

検索対象となる書籍の代表画像の画像特徴量が既に抽出されている場合には、第一画像特徴量抽出部１の処理は行われなくてもよい。検索対象となる書籍の代表画像の画像特徴量が既に抽出されている場合とは、例えば、代表画像記憶部５に記憶されている複数の書籍のそれぞれの代表画像の画像特徴量が第二画像特徴量抽出部４により既に抽出されている場合であって、これらの代表画像記憶部５に記憶されている複数の書籍のそれぞれの代表画像の中から検索対象となる書籍が選択される場合である。

＜代表画像記憶部５＞
代表画像記憶部５には、複数の書籍のそれぞれの代表画像が記憶されている。これらの複数の書籍が、検索の被対象となる書籍の集合である。すなわち、これらの複数の書籍の中から、検索対象となる書籍と似ている書籍が探索される。

＜第二画像特徴量抽出部４＞
第二画像特徴量抽出部４は、代表画像記憶部５から読み込んだ複数の書籍のそれぞれの代表画像から複数の画像特徴量を抽出して、それらの抽出された複数の画像特徴量を複数の書籍のそれぞれの代表画像に対応する複数の画像特徴量として画像特徴量記憶部２に記憶させる（ステップＳ２）。

第二画像特徴量抽出部４が抽出する複数の画像特徴量の種類は、第一画像特徴量抽出部１が抽出する複数の画像特徴量の種類と同じである。第二画像特徴量抽出部４による複数の画像特徴量の抽出方法は、第一画像特徴量抽出部１による複数の画像特徴量の抽出方法と同様であるため、ここでは重複説明を省略する。

代表画像記憶部５に記憶されている複数の書籍のそれぞれの代表画像の画像特徴量が既に抽出されている場合には、第二画像特徴量抽出部４によるステップＳ２の処理は行われなくてもよい。代表画像記憶部５に記憶されている複数の書籍のそれぞれの代表画像の画像特徴量が既に抽出されている場合とは、例えば、ある検索対象となる書籍の代表画像類似性が高い代表画像を有する１個以上の書籍を代表画像記憶部５に記憶されている複数の書籍の中から探索するステップＳ１からステップＳ３の処理（「第１回目の処理」とする。）が一度行われている場合において、次に、別の検索対象となる書籍の代表画像類似性が高い代表画像を有する１個以上の書籍を代表画像記憶部５に記憶されている複数の書籍の中から探索する処理（「第２回目の処理」とする。）を行う場合である。この場合は、第１回目の処理の中のステップＳ２の処理において、代表画像記憶部５に記憶されている複数の書籍のそれぞれの代表画像の画像特徴量が既に抽出され画像特徴量記憶部２に記憶されているため、第２回目の処理では、第二画像特徴量抽出部４によるステップＳ２の処理は省略され、画像特徴量記憶部２に既に記憶されている複数の書籍に対応する複数の画像特徴量を用いてステップＳ３の探索処理が行われる。

また、第一画像特徴量抽出部１によるステップＳ１の処理の前に、第二画像特徴量抽出部４によるステップＳ２の処理が事前に行われてもよい。

＜画像特徴量記憶部２＞
画像特徴量記憶部２には、複数の書籍のそれぞれの代表画像に対応する複数の画像特徴量が記憶されている。

画像特徴量記憶部２に記憶されている複数の書籍のそれぞれの代表画像に対応する複数の画像特徴量は、第二画像特徴量抽出部４により抽出されたものである。

＜重み設定部６＞
重み設定部６には、ユーザーにより選択された複数の重みが入力される。重み設定部６により入力された複数の重みは、それぞれ複数の画像特徴量に対応付けられる。重み設定部６で設定された重みは、探索部３に出力される。

重み設定部６は、画像特徴量のグループごとに重みを設定可能であってもよい。この場合、重み設定部６により設定された画像特徴量のグループの重みは、その画像特徴量のグループに属する画像特徴量に対応付けられた重みとなる。

重み設定部６は、表示部７に表示されていてもよい。例えば、図１０から図１４に例示する重み設定部６が表示部７に表示される。もちろん、重み設定部６の表示は、ユーザーが重みを設定又は入力することができれば、図１０から図１４の例に限られない。

図１０に例示するように、重み設定部６は、複数の画像特徴量のそれぞれの重みを０から１０までの値に設定可能なスライドバーであってもよい。「color histogram」はカラーヒストグラムの画像特徴量であり、「edge distribution」はエッジピクセルの分布の画像特徴量であり、「edge percentage」はエッジ率の画像特徴量であり、「sift distribution」はSIFTにより検出された特徴点の分布の画像特徴量であり、「sift keypoints」はSIFTにより検出された特徴点の数の画像特徴量であり、「sift match」はSIFTにより検出された特徴点の画像特徴量であり、「orb match」はORBにより検出された特徴点の画像特徴量である。

図１０に例示するように、「色合い重視」「レイアウト重視」「形状重視」という、複数の画像特徴量にそれぞれ対応付けられている複数の重みを予め定められた複数の重みに設定可能なボタンが重み設定部６に設けられていてもよい。例えば、「色合い重視」では、色合いを表す画像特徴量のグループに属する画像特徴量に対応する重みの値が大きく、他の画像特徴量の重みの値が小さくなるような所定の重みが設定される。また、「レイアウト重視」レイアウトを表す画像特徴量のグループに属する画像特徴量に対応する重みの値が大きく、他の画像特徴量の重みの値が小さくなるような所定の重みが設定される。また、「形状重視」では、形状を表す画像特徴量のグループに属する画像特徴量に対応する重みの値が大きく、他の画像特徴量の重みの値が小さくなるような所定の重みが設定される。このように、プリセットした重みに設定することができるようにすることにより、ユーザーは更に容易に画像情報に基づく探索をすることができる。

図１１に例示するように、重み設定部６は、複数の画像特徴量のそれぞれの重みを入力可能な入力ボックスであってもよい。

図１２に例示するように、重み設定部６は、複数の画像特徴量のそれぞれの重みをボタン操作で変更可能であってもよい。図１２の例では、上矢印↑のボタンを選択すると対応する画像特徴量の重みの値が増え、下矢印↓のボタンを選択すると対応する画像特徴量の重みの値が減る。

図１３，図１４に例示するように、重み設定部６は、複数の画像特徴量にそれぞれ対応付けられている複数の重みの中の少なくとも２個の重みを同時に変更可能であってもよい。これにより、２個の重みの一方をより重視することができる。

図１３，図１４では、３個の画像特徴量のそれぞれの領域の大きさに応じた重みが対応付けられる。図１３では、３個の画像特徴量のそれぞれの領域の大きさは、棒グラフで表されており、領域の境界を表す線を移動させることにより変更可能である。領域の境界を表す線を移動させることにより、その線を境界とする２個の領域の面積を変えることができるため、それらの２個の領域にそれぞれ対応する２個の重みを同時に変更可能となる。

図１４では、３個の画像特徴量のそれぞれの領域の大きさは、円グラフで表されており、領域の境界を表す点を移動させることにより変更可能である。図１３，図１４のように、、複数の画像特徴量のそれぞれを表す領域を可変として、複数の画像特徴量のそれぞれに、そのそれぞれの画像特徴量を表す領域の大きさに応じた重みを対応付けてもよい。領域の境界を表す点を移動させることにより、その点を境界とする２個の領域の面積を変えることができるため、それらの２個の領域にそれぞれ対応する２個の重みを同時に変更可能となる。

図１３，図１４に例示するように、一定の領域を複数の領域に分割することにより、これらの複数の領域にそれぞれ対応する複数の重みを変更可能であってもよい。

なお、少なくとも２個の領域を入れ替え可能であることにより、少なくとも２個の重みを同時に変更可能であってもよい。例えば、図１３において、「１⇔３」というボタンを選択すると、画像特徴量１の領域と画像特徴量３の領域とが入れ替わり、それらの２個の領域にそれぞれ対応する２個の重みを同時に変更可能となる。

重み設定部６により、ユーザーは重みを適宜設定又は入力することができるため、画像情報に基づく探索を容易に行うことができる。

＜探索部３＞
探索部３には、第一画像特徴量抽出部１で抽出された検索対象となる書籍の代表画像に対応する複数の画像特徴量と、画像特徴量記憶部２から読み込んだ複数の書籍の代表画像に対応する複数の画像特徴量とが入力される。

探索部３は、第一画像特徴量抽出部１で抽出された検索対象となる書籍の代表画像に対応する複数の画像特徴量と、画像特徴量記憶部２から読み込んだ複数の書籍の代表画像に対応する複数の画像特徴量とを用いて、検索対象となる書籍の代表画像と類似性が高い代表画像を有する１個以上の書籍を複数の書籍の中から探索する（ステップＳ３）。探索結果である、検索対象となる書籍の代表画像と類似性が高い代表画像を有する１個以上の書籍についての情報は、探索書籍表示装置である表示部７に出力される。

複数の画像特徴量にそれぞれ複数の重みが対応付けられている場合には、探索部３は、重みが大きいほどその重みに対応する画像特徴量の類似性に対する影響が大きい探索を行ってもよい。

なお、画像特徴量のグループごとに重みが対応付けられており、その画像特徴量のグループに属する画像特徴量にその画像特徴量のグループに対応付けられた重みと同じ重みが対応付けられている場合、探索部３は、重みが大きいほどその重みに対応する画像特徴量のグループに属する画像特徴量の類似性に対する影響が大きい探索を行うことになる。

以下、探索部３のステップＳ３の処理の一例について説明する。ステップＳ３の処理は、以下に説明するステップＳ３１からステップＳ３３の処理から例えば構成されている。

<<ステップＳ３１>>
まず、探索部３は、複数の画像特徴量のそれぞれごとに、検索対象となる書籍の代表画像と類似性が高い代表画像を有する上位N個の書籍を検索する処理を行う（ステップＳ３１）。Nは所定の正の整数である。探索部３は、例えば所定のグラフ検索アルゴリズムを用いて、複数の画像特徴量のそれぞれごとに、検索対象となる書籍の代表画像と類似性が高い代表画像を有する上位N個の書籍を表すグラフを検索結果として得る。

以下、所定のグラフ検索アルゴリズムを用いて、検索対象となる書籍の代表画像と類似性が高い代表画像を有する上位N個の書籍を表すグラフを検索結果として得る処理の例について説明する。この処理は、ステップＳ３１１からステップＳ３１３の処理により構成される。ステップＳ３１の処理が複数の画像特徴量のそれぞれにおいて行われるため、ステップＳ３１１からステップＳ３１３の処理も複数の画像特徴量のそれぞれにおいて行われることになる。

所定のグラフ検索アルゴリズムが実行される事前準備として、探索部３は、被検索対象データである複数の書籍のそれぞれの代表画像の画像特徴量に基づいて、グラフ索引構築アルゴリズム、GRネットワーク生成アルゴリズム（例えば、参考文献２参照。）等の所定のグラフ構築アルゴリズムにより、複数の書籍についてのグラフを構築しておく（ステップＳ３１１）。構築するグラフ（「グラフ索引」とも言う。）はgreedy reachableな性質を持つグラフ構造であれば，近傍グラフでもよいし、近傍グラフの一例であるk近傍グラフでもよいし、k近傍（k-NN: k Nearest Neighbor）グラフの一例であるk-DR（Degree-Reduced k-NN）グラフでもよい（例えば、参考文献３参照。）。

〔参考文献２〕特開２００８−３０５０７２号公報
〔参考文献３〕Aoyama Kazuo, 外３名, "Fast approximate similarity search based on degree-reduced neighborhood graphs", Proceedings of the 17th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2011.

グラフ索引構築アルゴリズムにより例えば構築される近傍グラフは、各頂点が各書籍を表すとして、類似の頂点間に辺（エッジ）が結ばれたものである。近傍グラフが例えばk近傍グラフである場合には、k順位以内に存在する頂点間にエッジが結ばれる。kは所定の正の整数である。頂点Aと頂点Bとの類似は、書籍Aの代表画像の画像特徴量と書籍Bの代表画像の画像特徴量との類似度（あるいは距離などの非類似度）により判断される。

探索部３は、事前準備により構築されたグラフに基づいて、検索対象となる書籍の代表画像の画像特徴量に近い画像特徴量を有する上位N個の書籍を選択する（ステップＳ３１２）。言い換えれば、探索部３は、事前準備により構築されたグラフに基づいて、検索対象となる書籍の代表画像の画像特徴量と類似度が高い（あるいは距離などの非類似度が小さい）画像特徴量を有する上位N個の書籍を選択する。

そして、探索部３は、検索対象となる書籍の代表画像の画像特徴量と、上位N個の書籍のそれぞれの代表画像の画像特徴量とを用いて、k-NNグラフ構築アルゴリズム等の所定のグラフ構築アルゴリズムにより、検索対象となる書籍と上位N個の書籍とについてのグラフを構築する（ステップＳ３１３）。この構築されたグラフを「仮探索結果グラフ」と呼ぶことにする。仮探索結果グラフが、検索対象となる書籍の代表画像と類似性が高い代表画像を有する上位N個の書籍を表すグラフとなる。

仮探索結果グラフは、上位N個の書籍を表す頂点と、頂点と頂点とを結ぶエッジと、エッジに付けられた重みであるエッジウェイトとを含んでいる。互いに類似性が高い書籍に対応する頂点を結ぶエッジに付けられたエッジウェイトほど、大きな値を有するようにエッジウェイトは付けられる。エッジウェイトの計算方法の例は、例えば参考文献４を参照のこと。

〔参考文献４〕Shaoting Zhang, 外４名, "Query Specific Rank Fusion for Image Retrieval", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.37, NO.4. APRIL 2015

仮探索結果グラフの例を図１５，図１６（ａ），図１６（ｂ）に示す。

図１５では、検索対象となる書籍に対応する頂点qと、頂点２、頂点３、頂点６及び頂点７のそれぞれとがエッジで結ばれている。また、頂点６と頂点７とがエッジで結ばれており、頂点３と頂点７とがエッジで結ばれている。各エッジに付けらえたエッジウェイトは１である。

図１６（ａ）では、検索対象となる書籍に対応する頂点qと、頂点１、頂点３及び頂点７のそれぞれとがエッジで結ばれている。また、頂点３と頂点４とがエッジで結ばれており、頂点３と頂点７とがエッジで結ばれており、頂点３と頂点８とがエッジで結ばれている。各エッジに付けらえたエッジウェイトは１である。

図１６（ｂ）では、検索対象となる書籍に対応する頂点qと、頂点１、頂点３及び頂点７のそれぞれとがエッジで結ばれている。これらのエッジに付けられたエッジウェイトは１である。また、頂点３と頂点４とがエッジで結ばれており、頂点３と頂点７とがエッジで結ばれており、頂点３と頂点８とがエッジで結ばれている。これらのエッジに付けられたエッジウェイトは０．８である。また、頂点４と頂点９とがエッジで結ばれている。このエッジに付けらえたエッジウェイトは０．６４である。検索対象となる書籍とは直接類似しない書籍の影響を低下させるため、図１６（ｂ）に例示するように、検索対象となる書籍に対応する頂点qから遠いエッジほど小さなエッジウェイトが付けられてもよい。図１６（ｂ）では、頂点qから１ホップ離れるごとに減衰係数０．８を乗じたエッジウェイトが付けられている。

ステップＳ３１１からステップＳ３１３のそれぞれの処理は、上記説明したように、画像特徴量の類似度に基づいて行われる。以下、画像特徴量ごとの類似度の定義の例について説明する。

（色合いを表す画像特徴量のグループに属する画像特徴量の類似度）
色合いを表す画像特徴量のグループに属する画像特徴量であるカラーヒストグラムの類似度としては、例えばBhattacharyya coefficient,Hellinger distance, Hkullback-Leibler divergence等の距離尺度を用いることができる。もちろん、カラーヒストグラムの類似度を比較できれば類似度として他の距離尺度を用いてもよい。なお、２個のカラーヒストグラムを表すベクトルをそれぞれCHA=(cha₁, cha₂,…,cha₁₉₂), CHB=(chb₁, chb₂,…,chb₁₉₂)とすると、Bhattacharyya coefficient BC(CHA, CHB)は、BC(CHA, CHB)=Σ_k=1 ¹⁹²(cha_k×chb_k)^(1/2)と定義することができる。

（レイアウトを表す画像特徴量のグループに属する画像特徴量の類似度）
レイアウトを表す画像特徴量のグループに属する画像特徴量として、エッジピクセルの分布が用いられたとする。

この場合、エッジピクセルの分布の類似度としては、例えばコサイン類似度等の距離尺度を用いることができる。もちろん、エッジピクセルの分布の類似度を比較できれば他の距離尺度を用いてもよい。なお、２個のエッジピクセルの分布を表すベクトルをそれぞれEDA=(eda₁,eda₂,…,eda_n), EBD=(edb₁,edb₂,…,edb_n)とするこれらのベクトルEDA,EDBはユークリッドノルムが１となるように正規化されているものとする。このとき、コサイン類似度cos(EDA,EDB)は、cos(EDA,EDB)=EDA・EDB=Σ_k=1 ⁿ(eda_k×edb_k)と定義することができる。

レイアウトを表す画像特徴量のグループに属する画像特徴量として、SIFT,ORB,SURF等の処理により検出される特徴点の分布が用いられたとする。

この場合、特徴点の分布の類似度としては、例えばコサイン類似度等の距離尺度を用いることができる。もちろん、２個の特徴点の分布の類似度を比較できれば他の距離尺度を用いてもよい。なお、２個の特徴点の分布を表すベクトルをそれぞれSKDA=(skda₁,skda₂,…,skda_n), SKDB=(skdb₁,skdb₂,…,skdb_n)とするこれらのベクトルSKDA, SKDBはノルムが１となるように正規化されているものとする。このとき、コサイン類似度cos(SKDA, SKDB)は、cos(SKDA, SKDB)=SKDA・SKDB=Σ_k=1 ⁿ(skda_k×skdb_k)と定義することができる。

（書き込み度合いを表す画像特徴量のグループに属する画像特徴量の類似度）
書き込み度合いを表す画像特徴量のグループに属する画像特徴量として、エッジ率が用いられたとする。

この場合、エッジ率の類似度としては、例えば２個のエッジ率の差の絶対値等の距離尺度を用いることができる。もちろん、２個のエッジ率の類似度を比較できれば他の距離尺度を用いてもよい。

書き込み度合いを表す画像特徴量のグループに属する画像特徴量として、SIFT,ORB,SURF等の処理により検出される特徴点の個数が用いられたとする。

この場合には、特徴点の個数の類似度としては、例えば特徴点の個数の差の絶対値等の距離尺度を用いることができる。もちろん、特徴点の個数の距離を比較できれば他の距離尺度を用いてもよい。

（形状を表す画像特徴量のグループに属する画像特徴量の類似度）
形状を表す画像特徴量のグループに属する画像特徴量として、SIFT,ORB,SURF等の処理により検出される特徴点が用いられたとする。

この場合には、特徴点の類似度としては、例えばmatch SIFT descripter関数やmatch ORB descripter関数の出力値等の距離尺度を用いることができる。もちろん、特徴点の類似度を比較できれば他の距離尺度を用いてもよい。

<<ステップＳ３２>>
探索部３は、複数の画像特徴量のそれぞれごとに得られた検索結果を、複数の画像特徴量にそれぞれ対応付けられている複数の重みを用いて統合する（ステップＳ３２）。

ステップＳ３１の処理の探索結果として仮探索結果グラフが得られた場合には、探索部３は例えば以下の処理の例により、複数の画像特徴量ごとに求まった仮探索結果グラフを複数の重みを用いて統合することにより、探索結果グラフを得る。

上記説明したように、仮探索結果グラフは、上位N個の書籍を表す頂点と、頂点と頂点とを結ぶエッジと、エッジに付けられた重みであるエッジウェイトとを含んでいる。第一画像特徴量抽出部１及び第二画像特徴量抽出部４により抽出される画像特徴量の種類の数をMとし、m=1,2,…,Mとして、画像特徴量mに基づいてステップＳ３１の処理により求められた仮探索結果グラフにおける頂点iと頂点jとを結ぶのエッジのエッジウェイトをw^m(i,j)と表記する。また、画像特徴量mに対応する重みをw_mとする。また、F(w_m, w^m(i,j))を、w_m及びw^m(i,j)のそれぞれについての非減少関数F(w_m, w^m(i,j))とする。F(w_m, w^m(i,j))の例は、F(w_m, w^m(i,j))= w_m×w^m(i,j)である。

このとき、探索部３は、複数の画像特徴量ごとに求まった仮探索結果グラフを結合し、
結合された仮探索結果グラフの頂点iと頂点jとを結ぶエッジウェイトを例えばΣ_m=1 ^M F(w_m, w^m(i,j))とする。

複数の画像特徴量ごとに求まった仮探索結果グラフを結合については、例えば上記参照文献４を参照のこと。

第一画像特徴量抽出部１及び第二画像特徴量抽出部４により抽出される画像特徴量の種類は、図１５の仮探索結果グラフに対応する画像特徴量と図１６（ａ）の仮探索結果グラフに対応する画像特徴量との２種類であるとする。また、図１５の仮探索結果グラフに対応する画像特徴量についての重みが２であり、図１６（ａ）の仮探索結果グラフに対応する画像特徴量についての重みが１であり、F(w_m, w^m(i,j))= w_m×w^m(i,j)であるとする。この場合の図１５の仮探索結果グラフと図１６（ａ）の仮探索結果グラフとをこれらの重みを用いて統合する例について説明する。まず、図１５のエッジウェイトに重みである２が乗算される。この結果、図１７に示すエッジウェイトを有する仮探索結果グラフが得られる。この図１７に示すエッジウェイトを有する仮探索結果グラフと図１６（ａ）の仮探索結果グラフとが結合され、図１８の探索結果グラフが得られる。図１８の探索結果グラフのエッジウェイトは、図１６（ａ）及び図１７の対応するエッジウェイトの加算値となっている。

<<ステップＳ３３>>
探索部３は、統合された検索結果により定まる、検索対象となる書籍の代表画像と類似性が高い代表画像を有する上位N個の書籍についての情報を出力する（ステップＳ３３）。

ステップＳ３２の処理により探索結果グラフが得られた場合には、探索部３は探索結果グラフに基づいて、検索対象となる書籍の代表画像と類似性が高い代表画像を有する１個以上の書籍についての情報を出力する。探索結果グラフに基づいて、検索対象となる書籍の代表画像と類似性が高い代表画像を有する１個以上の書籍を選択する方法には、RageRank法等の既存の手法を用いることができる（例えば、参考文献４及び参考文献５を参照。）。

〔参考文献５〕Amy N. Langville, 外１名, "Google's PageRank and Beyond", Princeton University Press, 2006.

なお、複数の画像特徴量にそれぞれ対応する複数の重みの組み合わせが複数あってもよい。この場合、複数の重みの異なる組み合わせのそれぞれについて探索部３は探索処理を行ってもよい。この場合、複数の重みの異なる組み合わせのそれぞれについての探索部３の探索結果が表示部７に出力される。複数の重みの異なる組み合わせには、重み設定部６によりユーザーにより設定又は入力された複数の重みの組み合わせが含まれていてもよい。また、複数の重みの異なる組み合わせには、ある画像特徴量の重みが大きく他の画像特徴量の重みが小さい複数の重みの組み合わせが含まれていてもよい。例えば、複数の重みの異なる組み合わせには、ある画像特徴量の重みが１であり他の画像特徴量の重みが０である複数の重みの組み合わせが含まれていてもよい。

例えば、複数の重みの第一の組み合わせと、複数の重みの第二の組み合わせという２個の、複数の重みの組み合わせがあるとする。この場合、探索部３は、複数の重みの第一の組み合わせについて探索処理を行いその探索結果を表示部７に出力し、複数の重みの第二の組み合わせについて探索処理を行いその探索結果を表示部７に出力する。

＜表示部７＞
探索書籍表示装置である表示部７は、CRT、液晶ディスプレイ、有機ELディスプレイ等の表示装置である。

探索書籍表示装置である表示部７は、探索部３により探索された、検索対象となる書籍の代表画像と類似性が高い代表画像を有する１個以上の書籍をユーザーに提示する（ステップＳ４）。

表示部７による、探索部３の探索結果の表示の例を図１９から図２１に示す。

図１９では、検索対象となる書籍の代表画像と類似性が高い代表画像を有する上位１５個の書籍の代表画像とタイトルが表示されている。

複数の重みの異なる組み合わせのそれぞれについて探索部３の処理が行われた場合には、表示部７は、複数の重みの異なる組み合わせのそれぞれにより探索された、検索対象となる書籍の代表画像と類似性が高い代表画像を有する１個以上の書籍を表示してもよい。図２０は、そのような表示の一例である。

図２０の「fused」は、ユーザーにより選択された複数の重みの組み合わせについての探索結果である。「color histogram」はカラーヒストグラムの画像特徴量の重みが１であり他の画像特徴量の重みが０である複数の重みの組み合わせについての探索結果である。「edge distribution」はエッジピクセルの分布の画像特徴量の重みが１であり他の画像特徴量の重みが０である複数の重みの組み合わせについての探索結果である。「edge percentage」はエッジ率の画像特徴量の重みが１であり他の画像特徴量の重みが０である複数の重みの組み合わせについての探索結果である。「sift distribution」はSIFTにより検出された特徴点の分布の画像特徴量の重みが１であり他の画像特徴量の重みが０である複数の重みの組み合わせについての探索結果である。「sift match」はSIFTにより検出された特徴点の画像特徴量の重みが１であり他の画像特徴量の重みが０である複数の重みの組み合わせについての探索結果である。「orb match」はORBにより検出された特徴点の画像特徴量の重みが１であり他の画像特徴量の重みが０である複数の重みの組み合わせについての探索結果である。

このように、複数の重みの異なる組み合わせのそれぞれにより探索された、検索対象となる書籍の代表画像と類似性が高い代表画像を有する１個以上の書籍を表示することにより、ユーザーは自分が意図しない様々な観点からの探索結果を見ることができ、所望の書籍を探索することができる可能性が高まる。また、ユーザーは自分の感覚に合う重みの組み合わせ、言い換えれば自分が重視している重みを知ることができる。これにより、ユーザーは探索の重み付けにフィードバックをかけることができ、言い換えればユーザーは次回の探索で自分が重視している重みの値を大きくすることができ、所望の書籍を探索することができる可能性が更に高まる。

なお、図２１のように、探索された書籍の表示欄に「Similar Picture」というボタンの表示があってもよい。この「Similar Picture」のボタンを選択すると、その「Similar Picture」のボタンに対応する書籍の代表画像と類似性が高い代表画像を有する１個以上の書籍の探索及び表示が行われる。

［プログラム及び記録媒体］
書籍探索装置又は探索書籍表示装置における各処理をコンピュータによって実現する場合、書籍探索装置又は探索書籍表示装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、その各処理がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、各処理手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

［変形例］
重みを用いない場合には、重み設定部６は書籍探索装置に設けられなくてもよい。

上記のステップＳ３１からステップＳ３３の処理の例では、複数の画像特徴量のそれぞれで行われた探索結果を統合するときに重みが考慮されたが、重みは画像特徴量の類似度を計算する段階で考慮されてもよい。

具体的には、検索対象となる書籍をxとし、複数の書籍をy(y=1,2,…,Y)として、探索部３は、画像特徴量mに基づく書籍xと書籍yの類似度S^m(x,y)を計算する。Yは、複数の書籍の個数である。類似度S^m(x,y)の計算は、画像特徴量m(m=1,2,…,M)ごとに行われる。このとき、探索部３は、書籍xと書籍yの統合された類似度S(x,y)を、S(x,y)=G(w_m, S^m(x,y))とする。G(w_m, S^m(x,y))は、w_m及びS^m(x,y)のそれぞれについての非減少関数である。探索部３は、統合された類似度S(x,y)が大きい上位N個の書籍yを、検索対象となる書籍の代表画像と類似性が高い代表画像を有する１個以上の書籍を複数の書籍として出力する。

上記説明した処理は、記載の順にしたがって時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

１ 第一画像特徴量抽出部
２ 画像特徴量記憶部
３ 探索部
４ 第二画像特徴量抽出部
５ 代表画像記憶部
６ 重み設定部
７ 表示部

Claims (11)

1. 書籍の代表画像を、その書籍を構成する複数のページの中の絵が含まれる所定の一ページの画像として、
   検索対象となる書籍の代表画像から複数の画像特徴量を抽出する第一画像特徴量抽出部と、
   複数の書籍のそれぞれの代表画像に対応する複数の画像特徴量を記憶する画像特徴量記憶部と、
   上記抽出された上記検索対象となる書籍の代表画像に対応する複数の画像特徴量と、上記画像特徴量記憶部から読み込んだ上記複数の書籍の代表画像に対応する複数の画像特徴量とを用いて、上記検索対象となる書籍の代表画像と類似性が高い代表画像を有する１個以上の書籍を上記複数の書籍の中から探索する探索部と、
   を含む書籍探索装置。
2. 請求項１の書籍探索装置であって、
   上記複数の書籍のそれぞれの代表画像が記憶されている代表画像記憶部と、
   上記代表画像記憶部から読み込んだ複数の書籍のそれぞれの代表画像から複数の画像特徴量を抽出して、それらの抽出された複数の画像特徴量を上記複数の書籍のそれぞれの代表画像に対応する複数の画像特徴量として上記画像特徴量記憶部に記憶させる第二画像特徴量抽出部と、
   を更に含む書籍探索装置。
3. 請求項１又は２の書籍探索装置であって、
   上記複数の画像特徴量は、色合いを表す画像特徴量のグループ、レイアウトを表す画像特徴量のグループ、形状を表す画像特徴量のグループ及び書き込み度合いを表す画像特徴量のグループの中の少なくとも２個のグループのそれぞれに属する画像特徴量を含んでいる、
   書籍探索装置。
4. 請求項１から３の何れかの書籍探索装置であって、
   上記書籍の代表画像は、その書籍の表紙の画像である、
   書籍探索装置。
5. 請求項１から４の何れかの書籍探索装置であって、
   上記複数の画像特徴量にそれぞれ複数の重みが対応付けられているとして、
   上記探索部は、上記重みが大きいほどその重みに対応する画像特徴量の上記類似性に対する影響が大きい探索を行う、
   書籍探索装置。
6. 請求項５の書籍探索装置であって、
   上記複数の重みが入力される重み設定部を更に含む、
   書籍探索装置。
7. 書籍の代表画像を、その書籍を構成する複数のページの中の絵が含まれる所定の一ページの画像として、
   第一画像特徴量抽出部が、検索対象となる書籍の代表画像から複数の画像特徴量を抽出する第一画像特徴量抽出ステップと、
   探索部が、上記抽出された上記検索対象となる書籍の代表画像に対応する複数の画像特徴量と、複数の書籍のそれぞれの代表画像に対応する複数の画像特徴量を記憶する画像特徴量記憶部から読み込んだ上記複数の書籍の代表画像に対応する複数の画像特徴量とを用いて、上記検索対象となる書籍の代表画像と類似性が高い代表画像を有する１個以上の書籍を上記複数の書籍の中から探索する探索ステップと、
   を含む書籍探索方法。
8. 請求項７の書籍探索方法であって、
   第二画像特徴量抽出部が、上記複数の書籍のそれぞれの代表画像が記憶されている代表画像記憶部から読み込んだ複数の書籍のそれぞれの代表画像から複数の画像特徴量を抽出して、それらの抽出された複数の画像特徴量を上記複数の書籍のそれぞれの代表画像に対応する複数の画像特徴量として上記画像特徴量記憶部に記憶させる第二画像特徴量抽出ステップ、
   を更に含む書籍探索方法。
9. 請求項７又は８の書籍探索方法であって、
   上記複数の画像特徴量は、色合いを表す画像特徴量のグループ、レイアウトを表す画像特徴量のグループ、形状を表す画像特徴量のグループ及び書き込み度合いを表す画像特徴量のグループの中の少なくとも２個のグループのそれぞれに属する画像特徴量を含んでいる、
   書籍探索方法。
10. 請求項７から９の何れかの書籍探索方法であって、
    上記書籍の代表画像は、その書籍の表紙の画像である、
    書籍探索方法。
11. 請求項１から６の何れかの書籍探索装置の各部としてコンピュータを機能させるためのプログラム。