JP2012113627A - 携帯端末、カロリー推定方法及びカロリー推定プログラム - Google Patents

Abstract

【課題】本発明は、ユーザに煩雑な操作を強いることなく、少ないデータ量で処理負荷を低減して料理のカロリーを推定する。
【解決手段】本発明は、撮像部１５により斜め方向から撮像された料理の料理画像Ｇ１から器ＣＴを検出し、該器ＣＴの形状、色及び器ＣＴに盛られた料理の色を検出し、検出された器ＣＴの形状、ＣＴの色及び料理の色に基づいて料理推定データベースＤＢから料理及びそのカロリーを推定するので、ユーザに煩雑な操作を強いることなく、また処理負荷及びデータ容量を低減して料理及びそのカロリーを推定することができる。
【選択図】図１０

Description

本発明は、携帯端末、カロリー推定方法及びカロリー推定プログラムに関し、例えばカメラで撮影した食事のカロリーを推定する場合に適用して好適なものである。

近年、メタボリックシンドロームや生活習慣病が社会問題となっており、これらの予防及び改善や日々の健康管理のために食事ごとの摂取カロリーを確認及び管理することが重要である。

そこで、近赤外線を照射して撮影された近赤外線画像から、料理における赤外線の吸収率を測定することにより該料理のカロリーを算出するようになされたものが提案されている（例えば、特許文献１参照）。

また、撮影した料理の画像と、予め記憶された多数の料理の画像とを比較して、最も似ているものを選出することにより該料理の栄養成分を抽出するようになされたものも提案されている（例えば、特許文献２参照）。

特開２００６−１０５６５５公報 特開２００７−２２６６２１公報

ところで、上述した近赤外線を照射して画像を撮影する装置では、近赤外線を照射する光源及び近赤外線画像を撮影する近赤外カメラを設けなくてはならず、ユーザに容易に撮影させることができないといった問題があった。

また、上述した撮影された料理の画像と予め記憶された多数の料理の画像とを比較する装置においては、予め多数の料理の画像を記憶しておかなくてはならずデータ量が膨大になる共に、各画像に対するマッチングの処理負荷が大きいといった問題があった。特に携帯端末のように記憶できるデータ量が限られかつ処理能力が高くない装置では、この問題が重大な問題となる。

本発明は以上の点を考慮してなされたもので、ユーザに煩雑な操作を強いることなく、少ないデータ量で処理負荷を低減して料理のカロリーを推定し得る携帯端末、カロリー推定方法及びカロリー推定プログラムを提案しようとするものである。

かかる課題を解決するため本発明の携帯端末においては、撮像部と、複数の料理及び該料理のカロリーが器の形状及び料理の色に対応付けられるデータベースが記憶される記憶部と、撮像部で撮像された画像から器を検出する器検出部と、器検出部により検出された器の形状を検出する器形状分類部と、器検出部により検出された器における料理が盛られているとされる領域の色を料理の色として検出する色検出部と、器検出部により検出された器の形状と、色検出部により検出された料理の色とに基づいてデータベースから料理及びそのカロリーを推定する料理推定部とを有する。
また、本発明の携帯端末は、前記記憶部のデータベースが、複数の料理及び該料理のカロリーが、さらに器の色に対応付けられており、前記色検出部が、さらに前記器とされる領域の色を検出するものであり、前記料理推定部がさらに該器の色とに基づいて該データベースから料理及びそのカロリーを推定するものである。

また本発明においては、カロリー推定方法であって、水平方向に対して所定の角度傾けられた斜め方向から撮像された料理の画像から、該料理が盛られた器を検出する器検出ステップと、器検出ステップにより検出された器の形状を分類する器形状分類ステップと、器検出ステップにより検出された器における料理が盛られているとされる領域の色を料理の色として検出する色検出ステップと、器検出ステップにより検出された器の形状と、色検出ステップにより検出された料理の色とに基づいて、複数の料理及び該料理のカロリーが器の形状及び料理の色に対応付けられるデータベースから料理及びそのカロリーを推定する料理推定ステップとを有する。
また、本発明のカロリー推定方法は、前記色検出ステップが、さらに前記器とされる領域の色を検出するものであり、前記料理推定ステップが、複数の料理及び料理のカロリーが、さらに器の色に対応付けてられる前記データベースから、料理およびそのカロリーを推定するものである。

また本発明においては、カロリー推定プログラムであって、水平方向に対して所定の角度傾けられた斜め方向から撮像された料理の画像から、該料理が盛られた器を検出する器検出ステップと、器検出ステップにより検出された器の形状を分類する器形状分類ステップと、器検出ステップにより検出された器における料理が盛られているとされる領域の色を料理の色として検出する色検出ステップと、器検出ステップにより検出された器の形状と、色検出ステップにより検出された料理の色とに基づいて、複数の料理及び該料理のカロリーが器の形状及び料理の色に対応付けられるデータベースから料理及びそのカロリーを推定する料理推定ステップとを実行させる。
また、本発明のカロリー推定プログラムは、前記色検出ステップが、さらに前記器とされる領域の色を検出するものであり、前記料理推定ステップが、複数の料理及び料理のカロリーが、さらに器の色に対応付けてられる前記データベースから、料理およびそのカロリーを推定するものである。

これにより、ユーザに対して料理の画像を１枚撮影させるだけで該画像に写る器の形状及び器に盛られた料理の色、あるいはさらに器の色を検出し、該器の形状、色及び器に盛られた料理の色に基づいて料理及びそのカロリーを算出することができる。

本発明によれば、ユーザに対して料理の画像を１枚撮影させるだけで該画像に写る器の形状及び器に盛られた料理の色、あるいはさらに器の色を検出し、該器の形状、色及び器に盛られた料理の色に基づいて料理及びそのカロリーを算出することができ、かくしてユーザに煩雑な操作を強いることなく、少ないデータ量で処理負荷を低減して料理のカロリーを推定することができる。

携帯端末の外観構成を示す略線図である。 携帯端末の回路構成を示す略線図である。 ＣＰＵの機能的構成を示す略線図である。 料理画像を示す略線図である。 器の形状（１）を示す略線図である。 器の形状（２）を示す略線図である。 器の形状（３）を示す略線図である。 器の楕円領域及び輪状領域を示す略線図である。 料理推定データベースを示す略線図である。 カロリー推定処理手順を示すフローチャートである。 器形状分類処理手順を示すフローチャートである。 学習処理手順を示すフローチャートである。

以下に、図面について、本発明の一実施の形態を詳述する。

〔１．携帯端末の構成〕
〔１−１．携帯端末の外観構成〕
図１（Ａ）及び（Ｂ）に示すように、例えば携帯電話機である携帯端末１は、手のひらサイズの略直方体に形成された扁平形状であり、その前面１Ａに表示部２が設けられ、該表示部２の上面にユーザのタッチ操作を受け付けるタッチパネル３が設けられる。

表示部２は、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイなどが適応される。タッチパネル３は、抵抗膜方式や静電容量方式などが適応される。

携帯端末１は、背面１Ｂにカメラ４が設けられる。また携帯端末１は、カメラ４の撮像開始を行わせるためのシャッタボタン５Ａが上側面１Ｃに設けられ、カメラ４のズームの倍率を変更させるためのズームインボタン５Ｂ及びズームアウトボタン５Ｃが横側面１Ｄに設けられる。

なお、シャッタボタン５Ａ、ズームインボタン５Ｂ及びズームアウトボタン５Ｃをまとめて操作ボタン５とも呼ぶ。

〔１−２．携帯端末の回路構成〕
携帯端末１は、図２に示すように、ＣＰＵ（Central Processing Unit)１１、ＲＡＭ（Random Access Memory）１２、ＲＯＭ（Read Only Memory）１３、操作入力部１４、撮像部１５、記憶部１６及び表示部２がバス１７を介して接続される。

ＣＰＵ１１は、ＲＯＭ１３に格納された基本プログラムをＲＡＭ１２に読み出して実行することより全体を統括制御すると共に、ＲＯＭ１３に記憶された各種アプリケーションプログラムをＲＡＭ１２に読み出して実行することにより各種処理を実行する。

操作入力部１４は、操作ボタン５及びタッチパネル３により構成される。撮像部１５は、カメラ４及び該カメラ４により撮像された像を画像に変換するとともに各種画像処理を施す画像処理部１８により構成される。記憶部１６は、例えば不揮発性メモリなどが適応される。

〔２．カロリー推定処理〕
次に携帯端末１が行うカロリー推定処理について説明する。ＣＰＵ１１は、ＲＯＭ１３に記憶されたカロリー推定処理プログラムをＲＡＭ１２に読み出して実行することによりカロリー推定処理を実行する。

ＣＰＵ１１は、カロリー推定処理を実行する際、図３に示すように、画像取得部２１、器検出部２２、器形状分類部２３、色検出部２４、料理推定部２５及び表示制御部２６として機能する。

画像取得部２１は、カロリー推定処理を実行すると、例えば「料理全体が写るように斜めから撮影してください」等のメッセージを表示部２に表示すると共に、撮像部１５を制御して画像を撮像させる。

これにより画像取得部２１は、ユーザに、料理全体が斜め（例えば水平に対して４５度）から写るようにズームインボタン５Ｂ又はズームアウトボタン５Ｃを操作して画角を調整させ、料理全体が斜めに写っている状態でシャッタボタン５Ａを押下操作することを促す。

撮像部１５は、ユーザにズームインボタン５Ｂ又はズームアウトボタン５Ｃを介して画角が設定され、シャッタボタン５Ａが押下操作されると、ＡＦ（Auto Focus）機能によりカメラ４の焦点を料理に合わせた後、被写体（料理）から発せられる光をカメラ４の撮像素子に結像した後に光電変換し、該光電変換したことにより得られた画像信号を画像処理回路１８に送出する。

画像処理回路１８は、カメラ４から供給された画像信号に画像処理を施した後にＡ／Ｄ（Analog / Digital）変換して画像データを生成する。

画像取得部２１は、画像処理回路１８により生成された画像データに対応する画像を表示部２に表示すると共に、該画像データに対して撮影時のカメラ４のフラッシュの有無や焦点距離などの画像情報を例えばＥｘｉｆ（Exchangeable Image File Format）形式で関連付けて記憶部１６に記憶する。

器検出部２２は、記憶部１６に記憶された例えば図４に示すような料理全体が撮像された料理画像Ｇ１の画像データを読み出すと、該料理画像Ｇ１から料理が盛られた器ＣＴ（ＣＴａ、ＣＴｂ、・・・）を検出する。

具体的に器検出部２２は、例えば、料理画像Ｇ１に対してエッジ検出処理を施し、背景と器との境界を示すエッジに囲まれた所定面積を有する領域を器ＣＴとして検出する。また別例としては、器検出部２２は、料理画像Ｇ１に対してＨｏｕｇｈ変換を行って該料理画像Ｇ１から直線や円を検出し、該直線又は円に囲まれた所定面積を有する領域を器ＣＴとして検出するようにしてもよい。なお、料理画像Ｇ１から他の方法により器ＣＴを検出するようにしてもよい。

器形状分類部２３は、図５〜７に示すように、検出した器ＣＴにおける最も画素数が多い列及び行を器ＣＴにおける最も長い横幅（以下、これを最長横幅とも呼ぶ）ＭＷ、及び最も長い縦幅（以下、これを最長縦幅とも呼ぶ）ＭＬを検出する。また器形状分類部２３は、検出した最長横幅ＭＷ及び最長縦幅ＭＬの長さを、該最長横幅ＭＷ及び最長縦幅ＭＬの画素数と料理画像Ｇ１に関連付けられた焦点距離との関係に基づいて算出する。

また器形状分類部２３は、最長横幅ＭＷ及び最長縦幅ＭＬの交点を器ＣＴの中心点ＣＰとして検出する。

最長横幅ＭＷは、器ＣＴが丸皿、碗、どんぶり、小鉢、コップ、ジョッキ等である場合には該器ＣＴの口径であり、角皿である場合にはその一辺の長さとなる。中心点ＣＰは、器ＣＴが丸皿、碗、どんぶり、小鉢、コップ、ジョッキ等である場合には器ＣＴの口部の中心となる。

ところで食事で用いられる器は大きく分けて、角皿、丸皿、碗、どんぶり、小鉢、コップ、ジョッキ及びカップ等が用いられる。

そこで器形状分類部２３は、器検出部２２により検出された器ＣＴを例えば角皿、丸皿、碗、どんぶり、小鉢、コップ、ジョッキ、カップ及びその他のいずれかに分類する。

器形状分類部２３は、器検出部２２により検出された器ＣＴの輪郭とされる上述したエッジ検出処理で検出されたエッジから直線成分を検出し、該直線成分を４つ有するものを図５（Ａ）に示すような角皿ＣＴａに分類する。

器形状分類部２３は、角皿ＣＴａとして分類されたもの以外の器ＣＴの最長横幅ＭＷに対する最長縦幅ＭＬの比（以下、これを縦横比とも呼ぶ）を算出し、該縦横比が所定の縦横閾値よりも大きいものと小さいものに分ける。

ここで縦横閾値とは、丸皿、碗、どんぶり、カップ、小鉢及びその他と、コップ及びジョッキとを分けるために設定された値である。これは、コップ及びジョッキは細長い形状をしており最長縦幅ＭＬに比べて最長横幅ＭＷが長く、それ以外の器は細長い形状をしておらず最長横幅ＭＷに対して最長縦幅ＭＬが短い又は同等程度であり、これらを分けられるように設定される。

従って、縦横比が縦横閾値より大きいと判断された器ＣＴはコップ又はジョッキのどちらか分類されるものであり、縦横比が縦横閾値より小さいと判断された器ＣＴは丸皿、碗、どんぶり、カップ、小鉢又はその他のどれかに分類されるものである。

縦横比が縦横閾値より大きいと判断された器ＣＴはコップであるかジョッキであり、またその大きさにより大よそ判断され、器形状分類部２３は、縦横比が縦横閾値より大きいと判断された器ＣＴのうち、例えば最長横幅ＭＷがコップ又はジョッキとされる境界の長さより長いものをジョッキＣＴｂに分類し、該最長横幅ＭＷの長さがコップ又はジョッキとされる境界の長さより短いものをコップＣＴｃに分類する。

一方、器形状分類部２３は、縦横比が縦横閾値より小さいと判断された器ＣＴの最長縦幅ＭＬにおける中心点ＣＰから上側の長さ（以下、これを上縦幅長さと呼ぶ）ＵＬ及び下側の長さ（以下、これを下縦幅長さと呼ぶ）ＬＬを算出し、上縦幅長さＵＬに対する下縦幅長さＬＬの比（以下、これを上下比とも呼ぶ）を算出する。

ここで、図６（Ａ）に示すように、丸皿ＣＴｄは、浅く平たい形状であり、斜め方向から撮像された場合、上縦幅長さＵＬと下縦幅長さＬＬがほぼ一致するか、下縦幅長さＬＬが上縦幅長さＵＬより若干長い。

一方、図６（Ｂ）〜（Ｅ）に示すように、碗ＣＴｅ、どんぶりＣＴｆ、小鉢ＣＴｇ及びカップＣＴｈは、丸皿ＣＴｄよりも深い形状をしており、斜め方向から撮像された場合、下縦幅長さＬＬが上縦幅長さＵＬより長い。

また図７（Ａ）に示すように、例えば丸皿にケーキなどの高さのある料理が盛られている場合、斜め方向から撮像されると料理の一部が丸皿より上に写る。この場合、器検出部２２が器ＣＴを検出する際に料理とともに検出されてしまうので、下縦幅長さＬＬが上縦幅長さＵＬより短くなる。

また図７（Ｂ）に示すように、例えば茶碗蒸しのように料理が盛られた器が該器の口径よりも大きい口径でなる下皿の上に置かれる場合、最長横幅ＭＷとして下皿の口径を測定することになるので、下縦幅長さＬＬが上縦幅長さＵＬより短くなる。

従って器形状分類部２３は、上下比に基づいて、丸皿ＣＴｄであるか、碗ＣＴｅ、どんぶりＣＴｆ、小鉢ＣＴｇ及びカップＣＴｈのいずれかであるか、またはその他の器ＣＴｉであるかを判別できる。

そこで器形状分類部２３は、算出した器ＣＴの上下比と第１及び第２の上下閾値とを比較する。ここで第１の上下閾値は、下縦幅長さＬＬが上縦幅長さＵＬより短いとされるその他の器ＣＴｉの上下比と丸皿ＣＴｄとされる上下比との境界値に設定される。また第２の上下閾値は、丸皿ＣＴｄとされる上下比と碗ＣＴｅ、どんぶりＣＴｆ、小鉢ＣＴｇ及びカップＣＴｈのいずれかとされる上下比との境界値に設定される。

器形状分類部２３は、比較結果として上下比が第１の上下閾値未満の場合、その器ＣＴをその他の器ＣＴｉに分類する。また器形状分類部２３は、上下比が第１の上下閾値以上でかつ第２の上下閾値未満の器ＣＴを丸皿ＣＴｄに分類する。

さらに器形状分類部２３は、上下比が第２の上下閾値以上の器ＣＴを碗ＣＴｅ、どんぶりＣＴｆ、小鉢ＣＴｇ及びカップＣＴｈのいずれかと判断する。

器形状分類部２３は、碗ＣＴｅ、どんぶりＣＴｆ、小鉢ＣＴｇ及びカップＣＴｈのいずれかと判断した場合、それらの器ＣＴの最長横幅ＭＷの長さ（口径）と、予め設定された碗ＣＴｅ、どんぶりＣＴｆ、小鉢ＣＴｇ及びカップＣＴｈとされる口径と比較することにより、碗ＣＴｅ、どんぶりＣＴｆ、小鉢ＣＴｇ及びカップＣＴｈのいずれかに分類する。

これにより、器検出部２２により検出された器ＣＴは、角皿ＣＴａ、ジョッキＣＴｂ、コップＣＴｃ、丸皿ＣＴｄ、碗ＣＴｅ、どんぶりＣＴｆ、小鉢ＣＴｇ、カップＣＴｈ及びその他の器ＣＴｉのいずれかに分類される。

色検出部２４は、図８に示すように、器ＣＴの中心点ＣＰを中心として最長横幅ＭＷの半分の例えば６０％を長辺とし、上縦幅長さＵＬ及び下縦幅長さＬＬのうちの短い方の例えば６０％を短辺とした楕円領域ＥＡの色成分を料理の色として検出する。

また色検出部２４は、ジョッキＣＴｂ及びコップＣＴｃ以外の器ＣＴについて、楕円領域ＥＡの外側で、中心点ＣＰを中心とした器ＣＴの外縁から最長横幅辺ＭＷの半分の例えば２０％に相当する長さを幅とする輪状領域ＲＡを器ＣＴの色として検出する。

この楕円領域ＥＡは、中心点ＣＰが器ＣＴの口の中心に位置するので、該中心点ＣＰを中心とした料理が盛られているであろう領域である。従って、楕円領域ＥＡの色成分を検出することにより料理の色を検出することができる。

また輪状領域ＲＡは、楕円領域ＥＡの外側であり器ＣＴの外縁から料理が盛られていないであろう一定領域である。従って、輪状領域ＲＡの色成分を検出することにより器ＣＴの色を検出することができる。

一方、ジョッキＣＴｂ及びコップＣＴｃはそのほとんどが透明なガラスが用いられているので、色検出部２４は、ジョッキＣＴｂ及びコップＣＴｃについては輪状領域ＲＡの色を検出することなく器の色を透明とする。

料理推定部２５は、器形状分類部２３により分類された器ＣＴの形状、色検出部２４により検出された料理の色あるいはさらに器ＣＴの色に基づき、図９に示すような料理推定データベースＤＢから該器ＣＴに盛られた料理及びそのカロリーを推定する。

ここで料理推定データベースＤＢは、予め記憶部１６に記憶されており、例えば数十種類の料理（料理名）及びその料理のカロリーに対して器の形状、器の色及び料理の色が対応付けられている。

また料理推定データベースＤＢには、器の形状、器の色及び料理の色が対応付けられていない料理及びそのカロリーも多数登録されており、後述する学習処理においてユーザ操作に応じて料理及びそのカロリーに対して器の形状、器の色及び料理の色を対応付けることができる。

従って料理推定部２５は、器形状分類部２３により分類された器ＣＴの形状、色検出部２４により検出された料理の色、あるいはさらに器ＣＴの色の組み合わせと一致する料理及びそのカロリーを料理推定データベースＤＢから検索し、一致した料理及びそのカロリーを器ＣＴに盛られた料理及びそのカロリーと推定する。例えば、料理推定部２５は、器ＣＴの形状が「丸皿」で料理の色が「茶」の場合、料理を「ハンバーグ」、カロリーを「５００ｋｃａｌ」と推定する。

そして料理推定部２５は、料理画像Ｇ１と、料理画像Ｇ１に写る推定した料理及びそのカロリーと、料理画像Ｇ１が撮像された日時とを対応付けて記憶部１６に記憶されたカロリー管理データベースに追加する。

表示制御部２６は、料理推定部２５により推定された料理名及びそのカロリーを料理画像Ｇ１における対応する器ＣＴの近傍に重ねて表示する。

ところで１回の食事では複数回に分けて料理が提供される場合があるので、料理推定部２５は、例えば１時間以内に複数の料理画像Ｇ１が撮像された場合、その複数の料理画像Ｇ１を１回の食事として対応付けて記憶する。

また表示制御部２６は、ユーザの操作入力部１４に対する入力操作に応じて例えば１週間などの期間が選択されると、現在の日時を基準として該基準から選択された期間分の各食事ごとの摂取カロリーをカロリー管理データベースから読み出して表示部２に一覧表示する。

これにより、ユーザは自身が摂取した料理及びそのカロリーを容易に把握することができるとともに、推定された料理が異なる場合には後述する学習処理を実行してその料理を変更及び学習させることができる。

ところで、上述したカロリー推定処理では器の形状、器の色及び料理の色に基づいて料理を推定するため、おおまかにしか料理を推定することができない。しかしながら、ユーザに煩雑な操作を強いることなく食事の度に摂取カロリーを記録させるためには、普段から持ち歩いている計算処理能力及びデータ容量が限られる携帯電話機等の携帯端末１で１枚だけ食事の写真を撮像させるだけでカロリーを推定できることが重要である。

すなわち、多少の正確さを犠牲にしてでも毎食のカロリーを記録していく方が健康管理には重要なのである。そこで本発明は１枚の料理画像Ｇ１に写る食事をおおまかに推定してカロリーを算出する。

一方で、より正確に料理及びカロリーを推定してほしいと望むユーザに対しては学習処理を実行させることにより料理画像Ｇ１に写る器ＣＴに盛られた料理を学習していき、料理及びそのカロリーの推定精度を向上することができる。

〔３．学習処理〕
ＣＰＵ１１は、ＲＯＭ１３に記憶された学習処理プログラムをＲＡＭ１２に読み出して実行することにより学習処理を実行する。ＣＰＵ１１は、学習処理を実行する際、学習部として機能する。

ＣＰＵ１１は、記憶部１６に記憶されたカロリー管理データベースの中からユーザの操作入力部１４に対する入力操作に応じて学習対象の料理画像Ｇ１が選択されると、その料理画像Ｇ１に対して該料理画像Ｇ１に対応付けられた料理名及びそのカロリーを重ねて表示部２に表示する。

そしてＣＰＵ１１は、料理画像Ｇ１に写る器ＣＴのいずれかが例えばタッチパネル３を介して選択されると、料理推定データベースＤＢに記憶された料理名を表示部２に一覧表示し、該器ＣＴに盛られた料理を選択させる。

ＣＰＵ１１は、一覧表示した料理名の内の一つが例えばタッチパネル３を介して選択されると、その選択された料理及びそのカロリーをその器ＣＴの形状、器ＣＴの色及び料理の色に対応付けて料理推定データベースＤＢのリストに追加する。

これにより、料理推定部２５により推定された料理名が誤っている場合には正しい料理名に変更して料理推定データベースＤＢに追加し、次回以降の推定の精度を向上させることができる。

これは、自分の行きつけの店がある場合にはその店で出される料理と器は毎回同じものであることが多いので特に有効である。

〔４．カロリー推定処理手順〕
次に上述したカロリー推定処理の手順について図１０及び図１１に示すフローチャートに従って説明する。

ＣＰＵ１１は、ルーチンＲＴ１の開始ステップから次のステップＳＰ１に移り、撮像部１５により料理全体が斜めから撮像された料理画像Ｇ１を取得し、次のステップＳＰ２に移る。

ステップＳＰ２においてＣＰＵ１１は、料理画像Ｇ１から器ＣＴを検出し、次のサブルーチンＳＲＴに移って該器ＣＴの形状を分類する。

サブルーチンＳＲＴ（図１１）でＣＰＵ１１は、ステップＳＰ１１において料理画像Ｇ１から検出された器ＣＴの最長横幅ＭＷ、最長縦幅ＭＬ及び中心点ＣＰを検出し、次のステップＳＰ１２に移る。

ステップＳＰ１２においてＣＰＵ１１は、器ＣＴの輪郭に直線成分が４つ有するか否かを判断し、肯定結果が得られるとステップＳＰ１３に移って該器ＣＴを角皿ＣＴａに分類し、否定結果が得られるステップＳＰ１４に移る。

ステップＳＰ１４においてＣＰＵ１１は、器ＣＴの縦横比を算出し、ステップＳＰ１５に移って該縦横比が縦横閾値以上か否かを判断する。ここで肯定結果が得られるとＣＰＵ１１はステップＳＰ１６に移って、最長横幅ＭＷに基づいてジョッキＣＴｂ及びコップＣＴｃに分類する。

ステップＳＰ１５において否定結果が得られるとＣＰＵ１１は、ステップＳＰ１７に移って器ＣＴの上下比を算出し、ステップＳＰ１８に移って該上下比が第１の上下閾値未満か否かを判断する。ここで肯定結果が得られるとＣＰＵ１１はステップＳＰ１９に移って、その器ＣＴをその他の器ＣＴｉに分類する。

一方、ステップＳＰ１８で否定結果が得られるとＣＰＵ１１はステップＳＰ２０に移って、上下比が第１の上下閾値以上でかつ第２の上下閾値未満か否かを判断する。

ここで肯定結果が得られるとＣＰＵ１１はステップＳＰ２１に移って、その器ＣＴを丸皿ＣＴｄに分類する。またここで否定結果が得られるとＣＰＵ１１はステップＳＰ２２に移って、器ＣＴの最長横幅ＭＷの長さ（口径）に基づいて碗ＣＴｅ、どんぶりＣＴｆ、小鉢ＣＴｇ及びカップＣＴｈのいずれかに分類する。

ＣＰＵ１１は、サブルーチンＳＲＴを終了すると次のステップＳＰ３に移り、器ＣＴにおける楕円領域ＥＡ及び輪状領域ＲＡの色成分を料理の色及び器ＣＴの色として検出し、次のステップＳＰ４に移る。

ステップＳＰ４においてＣＰＵ１１は、器ＣＴの形状及び料理の色に基づいて、あるいはさらに器ＣＴの色に基づいて料理推定データベースＤＢから料理及びそのカロリーを推定し、次のステップＳＰ５に移る。

ステップＳＰ５においてＣＰＵ１１は、料理画像Ｇ１に写る全ての器ＣＴについて料理及びそのカロリーを推定したか否かを判断し、まだ料理及びそのカロリーが推定されていない器ＣＴがある場合には、全ての器ＣＴに対してサブルーチンＳＲＴ、ステップＳＰ３及びＳＰ４を行って料理及びそのカロリーを推定する。

ステップＳＰ５において全ての器ＣＴに対して料理及びそのカロリーが推定されていると判断された場合、ＣＰＵ１１はステップＳＰ６に移って、料理画像Ｇ１に対して料理名及びそのカロリーを重ねて表示し、次のステップＳＰ７に移る。

ステップＳＰ７においてＣＰＵ１１は、料理画像Ｇ１と、料理画像Ｇ１に写る推定した料理及びそのカロリーと、料理画像Ｇ１が撮像された日時とを対応付けてカロリー管理データベースに追加し、処理を終了する。

〔５．学習処理手順〕
次に上述した学習処理の手順について図１２に示すフローチャートに従って説明する。

ＣＰＵ１１は、開始ステップから入ってステップＳＰ３１に移り、カロリー管理データベースの中から学習対象の料理画像Ｇ１が選択されたか否かを判断し、選択された場合にはステップＳＰ３２に移ってその料理画像Ｇ１に対して対応付けられた料理名及びそのカロリーを重ねて表示し、次のステップＳＰ３３に移る。

ステップＳＰ３３においてＣＰＵ１１は、料理画像Ｇ１に写る器ＣＴのいずれかが選択されると、料理推定データベースＤＢに記憶された料理名を一覧表示する。そしてＣＰＵ１１は、一覧表示した料理名の内の一つが選択されると、その選択された料理名及びそのカロリーをその器ＣＴの形状、器ＣＴの色及び料理の色に対応付けて料理推定データベースＤＢのリストに追加し、処理を終了する。

〔６．動作及び効果〕
以上の構成において携帯端末１は、撮像部１５により斜め方向から撮像された料理の料理画像Ｇ１から器ＣＴを検出し、該器ＣＴの形状を分類すると共に該器ＣＴの色及び該器ＣＴに盛られた料理の色を検出する。

そして携帯端末１は、複数の料理及びそのカロリーが器の形状及び料理の色、あるいはさらに器の色に対応付けられる料理推定データベースＤＢから検出された器ＣＴの形状、器ＣＴの色及び料理の色に基づいて、該器ＣＴに盛られた料理及びそのカロリーを推定する。

これにより携帯端末１は、ユーザに対して水平方向に対して所定の斜め方向から料理の料理画像Ｇ１を１枚撮影させるだけで料理及びそのカロリーを推定することができるので、ユーザに煩雑な操作を強いることなく容易に料理及びそのカロリーを推定することができる。

また携帯端末１は、器ＣＴの形状及び料理の色、あるいはさらに器ＣＴの色から料理及びそのカロリーを推定するので、例えば多数の料理の画像を記憶しておき該多数の料理の画像とマッチングするような従来と比して処理負荷及びデータ容量を低減することができる。

以上の構成によれば携帯端末１は、撮像部１５により斜め方向から撮像された料理の料理画像Ｇ１から器ＣＴを検出し、該器ＣＴの形状及び器ＣＴに盛られた料理の色、あるいはさらに器の色を検出し、検出された器ＣＴの形状及び料理の色、あるいはさらに器ＣＴの色に基づいて料理推定データベースＤＢから料理及びそのカロリーを推定するので、ユーザに対して料理の料理画像Ｇ１を１枚撮影させるだけの簡易な操作でユーザに煩雑な操作を強いることなく、また処理負荷及びデータ容量を低減することができる。

〔７．他の実施の形態〕
なお上述した実施の形態においては、器ＣＴから角皿ＣＴａを分類する方法として、器ＣＴの輪郭とされるエッジから直線成分を検出して該直線成分を４つ有するものを角皿ＣＴａとして分類するようにした場合について述べた。本発明はこれに限らず、料理画像Ｇ１に対してＨｏｕｇｈ変換を行って該料理画像Ｇ１から器ＣＴを検出した場合、該Ｈｏｕｇｈ変換を行った際に検出された器ＣＴの輪郭として直線が４つ以上検出されたものを角皿ＣＴａとして分類するようにしてもよい。

また、料理画像Ｇ１から検出された器ＣＴに対して四角形とパターンマッチングを行い、所定の類似度以上となったものを角皿ＣＴａとして分類するようにしてもよい。

上述した実施の形態においては、器ＣＴをいずれかに分類した後に、該器ＣＴの色及び料理の色を検出するようにした場合について述べたが、本発明はこれに限らず、器ＣＴの色及び料理の色を検出した後に器ＣＴをいずれかに分類するようにしてもよい。この場合、色検出部２４が最長横幅ＭＷ及び最長縦幅ＭＬを算出するとともに中心点ＣＰを検出する。

上述した実施の形態においては、器ＣＴの形状、器ＣＴの色及び料理の色に基づいて、料理推定データベースＤＢから検出された該器ＣＴに盛られた料理及びそのカロリーを推定するようにした場合について述べた。本発明はこれに限らず、例えば携帯端末１にＧＰＳが設けられている場合、該ＧＰＳから料理画像Ｇ１が撮像された現在位置を取得し、該現在位置を料理画像Ｇ１に関連付け、学習処理において器ＣＴの形状、器ＣＴの色及び料理の色に加えて現在位置を料理及びそのカロリーに対応付けるようにしてもよい。これにより、例えばよく行く店での料理を精度よく推定できる。

上述した実施の形態においては、料理推定データベースＤＢから器ＣＴに盛られた料理を推定するようにした場合について述べたが、本発明はこれに限らず、例えば検出した器ＣＴの形状、器ＣＴの色及び料理の色の組み合わせが料理推定データベースＤＢから判断できない場合、ユーザにタッチパネル３を介して選択させるようにしてもよい。

この場合ＣＰＵ１１は、料理及びそのカロリーが推定できない器ＣＴを表示部２に表示すると共に、例えば洋食、和食、中華、麺類などの候補を表示して選択させる。この場合、ユーザに煩雑な作業をさせないために料理推定データベースＤＢに記憶された料理名を全て表示するのではなく２０個位の選択肢から選択させる。

上述した実施の形態においては、ＣＰＵ１１がＲＯＭ１３に格納されているプログラムに従い、上述した各種処理を行うようにした場合について述べた。本発明はこれに限らず、記憶媒体からインストールしたり、インターネットからダウンロードしたプログラムに従って上述した各種処理を行うようにしても良い。またその他種々のルートによってインストールしたプログラムに従って上述した各種処理を行うようにしても良い。

本発明は、例えば携帯電話機、ＰＤＡ（Personal Digital Assistant）、携帯音楽プレーヤ、ゲーム機等の携帯端末に適用することができる。

１……携帯端末、２……表示部、３……タッチパネル、４……カメラ、５……操作ボタン、１１……ＣＰＵ、１２……ＲＡＭ、１３……ＲＯＭ、１４……操作入力部、１５……撮像部、１６……記憶部、１７……バス、２１……画像取得部、２２……器検出部、２３……器形状分類部、２４……色検出部、２５……料理推定部、２６……表示制御部。

Claims (8)

1. 撮像部と、
   複数の料理及び該料理のカロリーが器の形状及び料理の色に対応付けられるデータベースが記憶される記憶部と、
   水平方向に対して所定の角度傾けられた斜め方向から前記撮像部により料理が撮像された画像から、該料理が盛られた器を検出する器検出部と、
   前記器検出部により検出された器の形状を分類する器形状分類部と、
   前記器検出部により検出された器における料理が盛られているとされる領域の色を料理の色として検出する色検出部と、
   前記器検出部により検出された器の形状と、前記色検出部により検出された料理の色とに基づいて前記データベースから料理及びそのカロリーを推定する料理推定部と
   を具える携帯端末。
2. 前記器形状分類部は、
   前記器検出部により検出された器における最長とされる横幅及び縦幅を検出し、該横幅及び縦幅の比に基づいて器の形状を分類する
   請求項１に記載の携帯端末。
3. 前記器形状分類部は、
   前記横幅及び縦幅の交わる中心点を検出し、前記縦幅における前記中心点から上側の長さ及び下側の長さの比に応じて器の形状を分類する
   請求項２に記載の携帯端末。
4. 前記記憶部のデータベースが、複数の料理及び該料理のカロリーが、さらに器の色に対応付けられており、前記色検出部が、さらに前記器とされる領域の色を検出するものであり、前記料理推定部がさらに該器の色とに基づいて該データベースから料理及びそのカロリーを推定するものである
   請求項１に記載の携帯端末。
5. 前記器形状分類部は、
   前記器検出部により検出された器における最長とされる横幅及び縦幅の交わる中心点を検出し、
   前記色検出部は、
   前記中心点を中心とした所定範囲の色成分を前記料理の色として検出すると共に、前記器における前記所定範囲の外側の所定範囲の色成分を前記器の色として検出する
   請求項４に記載の携帯端末。
6. 前記画像におけるユーザに選択された料理が盛られた器に対して、ユーザにより料理名を選択させるために前記データベースの料理名を一覧表示する表示制御部と、
   前記一覧表示された料理名のいずれかが選択されると、選択された料理名に対応する料理及びそのカロリーを前記ユーザに選択された器の形状及び料理の色を対応付けて前記データベースに追加する学習部と
   をさらに具える請求項１に記載の携帯端末。
7. 水平方向に対して所定の角度傾けられた斜め方向から撮像された料理の画像から、該料理が盛られた器を検出する器検出ステップと、
   前記器検出ステップにより検出された器の形状を分類する器形状分類ステップと、
   前記器検出ステップにより検出された器における料理が盛られているとされる領域の色を料理の色として検出する色検出ステップと、
   前記器検出ステップにより検出された器の形状と、前記色検出ステップにより検出された料理の色とに基づいて、複数の料理及び該料理のカロリーが器の形状及び料理の色に対応付けられるデータベースから料理及びそのカロリーを推定する料理推定ステップと
   を有するカロリー推定方法。
8. コンピュータに対して、
   水平方向に対して所定の角度傾けられた斜め方向から撮像された料理の画像から、該料理が盛られた器を検出する器検出ステップと、
   前記器検出ステップにより検出された器の形状を分類する器形状分類ステップと、
   前記器検出ステップにより検出された器における料理が盛られているとされる領域の色を料理の色として検出する色検出ステップと、
   前記器検出ステップにより検出された器の形状と、前記色検出ステップにより検出された料理の色とに基づいて、複数の料理及び該料理のカロリーが器の形状及び料理の色に対応付けられるデータベースから料理及びそのカロリーを推定する料理推定ステップと
   を実行させるカロリー推定プログラム。

Images