JP7726191B2 - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法、及び情報処理プログラム

Info

Publication number
JP7726191B2
JP7726191B2 JP2022184420A JP2022184420A JP7726191B2 JP 7726191 B2 JP7726191 B2 JP 7726191B2 JP 2022184420 A JP2022184420 A JP 2022184420A JP 2022184420 A JP2022184420 A JP 2022184420A JP 7726191 B2 JP7726191 B2 JP 7726191B2
Authority
JP
Japan
Prior art keywords
data
spectral data
unknown
spectral
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022184420A
Other languages
English (en)
Other versions
JP2024073299A (ja
Inventor
哲也 庄司
正雄 矢野
亮太 波留
亮 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2022184420A priority Critical patent/JP7726191B2/ja
Priority to US18/377,492 priority patent/US12614321B2/en
Publication of JP2024073299A publication Critical patent/JP2024073299A/ja
Priority to JP2024230973A priority patent/JP7694790B2/ja
Application granted granted Critical
Publication of JP7726191B2 publication Critical patent/JP7726191B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00Two-dimensional [2D] image generation
    • G06T11/20Drawing from basic elements
    • G06T11/26Drawing of charts or graphs
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • G01N2201/126Microprocessor processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)

Description

本開示は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
特許文献1には、複数のスペクトル成分を用いて対象を分析する際に、分析の精度と効率化の両立を図る電子機器およびその制御方法が開示されている。この電子機器は、機械学習によって生成された複数のパラメータのうちのいずれかを選択し、選択されたパラメータを用いて、分析対象の食品から反射された光を受けて複数のスペクトル成分のスペクトル強度を示すスペクトルデータの分析を行う(例えば、[要約])。
特開2020-176951号公報
一般的に、ある材料に対する分析を実行する場合には、その材料のスペクトルデータを計測する必要がある。材料に対する分析を実行する場合には、計測されたそのスペクトルデータを用いて、その材料に対する各種分析が実行される。
一方で、ユーザは、例えば、自らが望む性能を有している材料は、どのようなスペクトルデータに対応しているのか、といった点を知りたい場合がある。この場合には、ユーザが所望する性能を有する材料が未知であり、そのスペクトルデータが未計測である場合には、その材料のスペクトルデータを何らかの方法で取得する必要がある。
特許文献1の電子機器は、機械学習によって生成された複数のパラメータのうちのいずれかを選択し、選択されたパラメータを用いて、分析対象の食品から反射された光を受けて複数のスペクトル成分のスペクトル強度を示すスペクトルデータの分析を行う。
しかし、特許文献1の電子機器は、スペクトルデータが計測されていない材料のスペクトルデータを取得するものではない。
本開示は、スペクトルデータが計測されていない材料のスペクトルデータを生成することができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。
第1態様に係る情報処理装置は、複数の材料の各々から計測されたスペクトルデータの各々をベクトルデータとして設定する設定部と、複数の前記ベクトルデータに対して次元削減手法を適用することにより、複数の前記ベクトルデータの各々を複数のプロット点の各々として2次元へ投影した2次元マップデータを生成する生成部と、前記2次元マップデータ上に既に存在するプロット点とは異なるプロット点を表す未知データを特定する特定部と、前記未知データをスペクトルデータへと変換する変換部と、変換された前記スペクトルデータを出力する出力部と、を備える情報処理装置である。第1態様に係る情報処理装置によれば、スペクトルデータが計測されていない材料のスペクトルデータを生成することができる。具体的には、ユーザが望む性能値を有する材料が想定される場合、その性能値を有すると予想される未知の材料のスペクトルデータを実際に計測することなく、その未知の材料のスペクトルデータを得ることができる。
第2態様に係る情報処理装置の前記スペクトルデータは、材料の画像を周波数解析することにより生成されたデータであり、前記変換部は、前記未知データを前記スペクトルデータへと変換すると共に、変換された前記スペクトルデータから未知の材料の画像を生成し、前記出力部は、変換された前記スペクトルデータと生成された前記材料の画像を出力する。第2態様に係る情報処理装置によれば、ユーザが望む性能値を有する材料が想定される場合、その性能値を有すると予想される未知の材料の画像を実際に撮像することなく、その未知の材料の画像を得ることができる。また、ユーザ自らが望む性能値を有する材料の画像はどのような画像なのか、といったことをユーザが認識することができる。なお、第2形態においては、スペクトルデータと画像とが対応付けられた教師データを複数用意し、複数の教師データに基づいて学習済みモデルを生成し、その学習済みモデルを利用して画像を生成するようにしてもよい。この場合には、学習済みモデルは、既知の画像生成用の機械学習モデルが利用される。学習済みモデルは、例えば、深層学習アルゴリズムを用いて機械学習モデルを学習させることにより生成される。
第3態様に係る情報処理装置の前記未知データは、ユーザによって指定された前記2次元マップデータ上のデータであり、前記変換部は、ユーザによって指定された前記未知データをスペクトルデータへと変換し、前記出力部は、変換された前記スペクトルデータを表示部へ表示させる。第3態様に係る情報処理装置によれば、ユーザの操作によって指定されたプロット点に対応する、未知の材料のスペクトルデータを得ることができる。
第4態様に係る情報処理方法は、複数の材料の各々から計測されたスペクトルデータの各々をベクトルデータとして設定し、複数の前記ベクトルデータに対して次元削減手法を適用することにより、複数の前記ベクトルデータの各々を複数のプロット点の各々として2次元へ投影した2次元マップデータを生成し、前記2次元マップデータ上に既に存在するプロット点とは異なるプロット点を表す未知データを特定し、前記未知データをスペクトルデータへと変換し、変換された前記スペクトルデータを出力する、処理をコンピュータが実行する情報処理方法である。第4態様に係る情報処理方法によれば、スペクトルデータが計測されていない材料のスペクトルデータを生成することができる。
第5態様に係る情報処理プログラムは、複数の材料の各々から計測されたスペクトルデータの各々をベクトルデータとして設定し、複数の前記ベクトルデータに対して次元削減手法を適用することにより、複数の前記ベクトルデータの各々を複数のプロット点の各々として2次元へ投影した2次元マップデータを生成し、前記2次元マップデータ上に既に存在するプロット点とは異なるプロット点を表す未知データを特定し、前記未知データをスペクトルデータへと変換し、変換された前記スペクトルデータを出力する、処理をコンピュータに実行させるための情報処理プログラムである。第5態様に係る情報処理プログラムによれば、スペクトルデータが計測されていない材料のスペクトルデータを生成することができる。
以上説明したように本開示によれば、スペクトルデータが計測されていない材料のスペクトルデータを生成することができる、という効果がある。
実施形態に係る情報処理システム10の機能構成の一例を示すブロック図である。 2次元マップデータとスペクトルデータとを説明するための図である。 実施形態に係るサーバ及びユーザ端末のコンピュータの構成例を示す図である。 実施形態に係るサーバで行われる処理の一例を示すフローチャートである。 スペクトルデータから画像の生成を説明するための図である。 性能と相関が高いスペクトルデータの一部分を画像へと変換する処理を説明するための図である。
以下、図面を用いて実施形態の情報処理システムについて説明する。
図1は、実施形態に係る情報処理システム10の機能構成の一例を示すブロック図である。情報処理システム10は、図1に示されるように、ユーザ端末12と情報処理装置の一例であるサーバ14とを備える。ユーザ端末12とサーバ14とは、例えば、インターネット等のネットワーク16を介して通信可能に接続される。
本実施形態の情報処理システム10は、複数の材料の各々から計測されたスペクトルデータの各々を2次元マップデータ上に投影する。なお、2次元マップデータ上の1つのプロット点が1つのスペクトルデータに対応し、1つのスペクトルデータが1つの材料に対応する。スペクトルデータは、例えば、各種手法によって計測されたデータである。
そして、本実施形態の情報処理システム10は、2次元マップデータ上に既に存在するプロット点とは異なるプロット点であって、かつユーザによって指定されたプロット点を表す未知データをスペクトルデータへと変換する。これにより、スペクトルデータが計測されていない材料のスペクトルデータを生成することができる。以下、具体的に説明する。
(ユーザ端末)
ユーザ端末12は、ユーザによって操作される。ユーザ端末12は、機能的には、図1に示されるように、制御部120と、表示部122とを備えている。
制御部120は、ユーザ端末12の動作を制御する。表示部122は、制御部120による制御に応じて、各種の情報を表示する。
(サーバ)
サーバ14は、機能的には、図1に示されるように、取得部140と、データ記憶部141と、設定部142と、生成部144と、特定部146と、変換部148と、出力部150とを備えている。
取得部140は、ユーザ端末12から送信された複数のスペクトルデータを取得する。そして、取得部140は、複数のスペクトルデータをデータ記憶部141へ格納する。
データ記憶部141には、複数の材料の各々から計測されたスペクトルデータの各々が格納される。
設定部142は、複数のスペクトルデータの各々をベクトルデータとして設定する。例えば、横軸が周波数を表し、縦軸がスペクトル値を表すグラフにスペクトルデータが図示されている場合、各周波数に対応するスペクトル値の各々を成分として持つベクトルデータが設定される。
生成部144は、複数のベクトルデータに対して次元削減手法の一例である主成分分析を適用する。そして、生成部144は、主成分分析を適用した結果に基づいて、複数のベクトルデータの各々を複数のプロット点の各々として2次元へ投影した2次元マップデータを生成する。生成部144は、その2次元マップデータと関連情報とをユーザ端末12へ送信する。
図2は、2次元マップデータと関連情報との一例を示す図である。図2の関連情報として、バー表示されている主成分値(以下、単に「PC値」とも称する。)と、その主成分値に対応するスペクトルデータとが示されている。ユーザは、自らのユーザ端末12を操作し、図2に示されるような2次元マップデータと関連情報とをユーザ端末12の表示部122に表示させる。
図2(A)の2次元マップデータの横軸の「pc1」は第1主成分の値を表し、縦軸の「pc2」は第2主成分の値を表す。図2(A)に示される1つのプロット点は、1つのスペクトルデータに対応する。また、図2(A)に示されるように、プロット点の色の濃さは、そのプロット点に対応する材料の性能の良さを表す。具体的には、プロット点の色が白色である場合にはその材料の性能は悪いことを表し、プロット点の色が黒色である場合にはその材料の性能は良いことを表している。このため、図2(A)の右方向に位置するプロット点であるほど、高性能な材料に対応する。図2(A)の「戻る」ボタンが押下されると、別の画面へ遷移する。
図2(B)(C)(D)は、バー表示されている主成分値と、その主成分値に対応するスペクトルデータとの一例を示す図である。図2(B)(C)(D)の左側には、pc1~pc10までの10個のPC値がバー表示されている。また、図2(B)(C)(D)の右側には、左側のPC値に対応するスペクトルデータが示されている。PC値からスペクトルデータへの変換は一意に決定される。なお、図2(B)(C)(D)に示される「0SET」のボタンは、pc1~pc10までの10個のPC値をゼロにするためのボタンである。また、図2(B)(C)(D)に示される「RESET」のボタンは、変更されたpc1~pc10までの10個のPC値を元に戻すためのボタンである。
図2(A)の2次元マップデータ上においては、各プロットの位置が調整可能なように構成されている。このため、例えば、ユーザは、自らのユーザ端末12を操作することにより、図2(A)に示される2次元マップデータのプロット点Pを2次元マップデータ上で移動させる。ユーザは、自らのユーザ端末12を操作し、2次元マップデータ上に既に存在するプロット点を移動させることにより、既に存在するプロット点とは異なるプロット点を指定する。既に存在するプロット点とは異なるプロット点は、スペクトルデータが存在しない未知データである。また、未知データは、ユーザによって指定された2次元マップデータ上のデータでもある。
例えば、ユーザは、図2(A)に示されるプロット点Pを、計測されていない未知のスペクトルデータに対応するプロット点PU1へと移動させる。2次元マップデータ上のプロット点Pがプロット点PU1へと移動されることにより、図2(B)に示されるpc1の値(図2(B)の「1.75」)は、図2(D)に示されるpc1の値(図2(D)の「2.16」)へと変化する。
また、例えば、ユーザは、図2に示されるプロット点Pを未知のプロット点PU2へと移動させる。2次元マップデータ上のプロット点Pがプロット点PU2へと移動されることにより、図2(A)に示されるpc1の値(図2(A)の「1.75」)は、図2(C)に示されるpc1の値(図2(C)の「0.41」)へと変化する。
PC値の変化により、図2の右側に示されているスペクトルデータの波形も変化する。なお、スペクトルデータのグラフの横軸は例えば周波数を表し、縦軸はスペクトル値を表す。例えば、スペクトルデータWAは、pc1の値の変化によって図2(C)に示されるスペクトルデータWBへと変化する。また、スペクトルデータWAは、pc1の値の変化によって図2(D)に示されるスペクトルデータWCへと変化する。
このように、本実施形態のサーバ14は、2次元マップデータ上に既に存在するプロット点とは異なるプロット点(具体的には、上述したようにユーザによって指定された点)に対応する未知データをスペクトルデータへと変換する。そして、サーバ14は、図2(B)(C)(D)の右側に示されるように、変換されたスペクトルデータを出力する。これにより、スペクトルデータが計測されていない未知の材料のスペクトルデータを生成することができる。
例えば、図2(A)に示されているように、スペクトルデータのpc1の値が高いほどその材料が高性能であるような場合には、ユーザはプロット点PU1を指定することにより、高性能な材料の擬似的なスペクトルデータを確認することができる。このため、ユーザが高性能な材料であると予想されるプロット点を指定すれば、そのプロット点に相当するスペクトルデータが生成されるため、ユーザは、高性能化を実現するスペクトルはどのようなものであるのかを知ることができる。
なお、図2に示されるバー表示されているPC値が調整可能なように構成されていてもよい。例えば、図2に示される矢印D1,D2のようにPC値を変化させることにより、スペクトルデータの波形を変化させるようにしてもよい。この場合には、バー表示されている主成分値(PC値)を変更調整することに応じて、スペクトルデータの波形が変化するため、ユーザは主成分値(PC値)の意味を理解することもできる。
特定部146は、生成部144により生成された2次元マップデータ上に既に存在するプロット点とは異なるプロット点を表す未知データを特定する。具体的には、特定部146は、上述したようにユーザによって指定されたプロット点を表す未知データ(例えば、そのプロット点に相当するPC値)を特定する。
変換部148は、特定部146によって特定された未知データをスペクトルデータへと変換する。なお、未知データからスペクトルデータへの変換は、既知の手法によって実現可能である。
出力部150は、変換部148によって変換されたスペクトルデータと各PC値とを出力する。出力部150から出力されたデータはユーザ端末12へ送信される。
ユーザは、ユーザ端末12を操作し、ユーザ端末12の表示部122に表示される情報を確認する。例えば、ユーザは、図2に示されるような2次元マップデータと関連情報とを参照し、自らが指定した未知データに対応するスペクトルデータ(例えば、性能が高い材料に相当する擬似的なスペクトルデータ)がどのような形状であるのかを確認する。
ユーザ端末12及びサーバ14は、例えば、図3に示すようなコンピュータ50によって実現することができる。ユーザ端末12及びサーバ14を実現するコンピュータ50は、CPU51、一時記憶領域としてのメモリ52、及び不揮発性の記憶部53を備える。また、コンピュータ50は、入出力装置等(図示省略)が接続される入出力interface(I/F)54、及び記録媒体59に対するデータの読み込み及び書き込みを制御するread/write(R/W)部55を備える。また、コンピュータは、インターネット等のネットワークに接続されるネットワークI/F56を備える。CPU51、メモリ52、記憶部53、入出力I/F54、R/W部55、及びネットワークI/F56は、バス57を介して互いに接続される。
記憶部53は、Hard Disk Drive(HDD)、Solid state drive(SSD)、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部53には、コンピュータを機能させるためのプログラムが記憶されている。CPU51は、プログラムを記憶部53から読み出してメモリ52に展開し、プログラムが有するプロセスを順次実行する。
次に、実施形態の情報処理システム10の作用について説明する。
例えば、ユーザは、複数の材料に対して所定の計測処理を実行することにより得られたデータである複数のスペクトルデータを、自身が操作するユーザ端末12へ入力する。
ユーザ端末12の制御部120は、ユーザによる操作に応じて複数のスペクトルデータを受け付ける。そして、制御部120は、ユーザによる操作に応じて、複数のスペクトルデータをサーバ14へ送信する。
ユーザ端末12からサーバ14へ複数のスペクトルデータが送信されると、サーバ14の取得部140は、ユーザ端末12から送信された複数のスペクトルデータを取得する。そして、取得部140は、複数のスペクトルデータをデータ記憶部141へ格納する。
サーバ14が、ユーザ端末12から送信された所定の指示信号を受け付けると、図4に示す情報処理ルーチンを実行する。
ステップS100において、サーバ14の設定部142は、データ記憶部141に格納されている複数のスペクトルデータの各々を読み出し、それら複数のスペクトルデータの各々をベクトルデータとして設定する。
ステップS102において、サーバ14の生成部144は、複数のベクトルデータに対して次元削減手法の一例である主成分分析を適用する。そして、サーバ14の生成部144は、主成分分析を適用した結果に基づいて、複数のベクトルデータの各々を複数のプロット点の各々として2次元へ投影した2次元マップデータを生成する。サーバ14の生成部144は、図2に示されるような2次元マップデータと関連情報とをユーザ端末12へ送信する。
ユーザ端末12の制御部120は、ステップS102でユーザ端末12から送信された2次元マップデータと関連情報とを受信する。ユーザは、自らのユーザ端末12を操作することにより、図2に示される2次元マップデータと関連情報とを表示部122へ表示させる。そして、ユーザは、自らのユーザ端末12を操作し、2次元マップデータ上に既に存在するプロット点を移動させることにより、既に存在するプロット点とは異なるプロット点を指定する。既に存在するプロット点とは異なるプロット点は、スペクトルデータが存在しない未知データである。ユーザによって指定された未知データは、ユーザ端末12からサーバ14へ送信される。
ステップS104において、サーバ14の特定部146は、ユーザ端末12から送信された未知データを特定する。具体的には、特定部146は、上述したようにユーザによって指定されたプロット点を表す未知データ(例えば、そのプロット点に相当するPC値)を特定する。
ステップS106において、サーバ14の変換部148は、ステップS104で特定された未知データをスペクトルデータへと変換する。
ステップS108において、サーバ14の出力部150は、ステップS106で得られた未知データのスペクトルデータと、その他の情報(例えば、図2(A)に示されるような2次元マップデータと図2(B)(C)(D)の左側のバー形式のPC値)とをユーザ端末12へ送信する。
ユーザ端末12を操作するユーザは、サーバ14から出力されたデータを確認し、自らが望む材料のスペクトルデータがどのようなものか確認する。
以上説明したように、実施形態に係る情報処理システムのサーバは、複数の材料の各々から計測されたスペクトルデータの各々をベクトルデータとして設定する。サーバは、複数のベクトルデータに対して次元削減手法を適用することにより、複数のベクトルデータの各々を複数のプロット点の各々として2次元へ投影した2次元マップデータを生成する。サーバは、2次元マップデータ上に既に存在するプロット点とは異なるプロット点を表す未知データを特定する。サーバは、未知データをスペクトルデータへと変換する。そして、サーバは、変換されたスペクトルデータを出力する。これにより、スペクトルデータが計測されていない材料のスペクトルデータを生成することができる。具体的には、ユーザが望む性能値を有している材料が想定される場合、その性能値を有すると予想される未知の材料のスペクトルデータを実際に計測することなく、その未知の材料のスペクトルデータを得ることができる。また、ユーザ自らが望む性能値を有する材料のスペクトルデータはどのようなデータなのか、といったことをユーザが認識することができる。また、ユーザの操作によって指定されたプロット点に対応する、未知の材料のスペクトルデータを得ることができる。
また、上記の各実施形態におけるコンピュータ50で行われる処理は、プログラムを実行することにより行われるソフトウエア処理として説明したが、これに限るものではない。例えば、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、及びFPGA(Field-Programmable Gate Array)等のハードウエアで行う処理としてもよい。或いは、ソフトウエア及びハードウエアの双方を組み合わせた処理としてもよい。また、ソフトウエアの処理とした場合には、プログラムを各種記憶媒体に記憶して流通させるようにしてもよい。
さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
例えば、上記実施形態のスペクトルデータは、材料の画像から生成されたスペクトルデータであってもよい。例えば、スペクトルデータは、電子顕微鏡等によって材料を撮像することにより得られた画像を周波数解析することにより生成されたデータであってもよい。この場合、情報処理システム10のサーバ14の変換部148は、未知データをスペクトルデータへと変換すると共に、変換されたスペクトルデータから未知の材料の画像を生成する。そして、出力部150は、変換されたスペクトルデータと生成された材料の画像を出力する。
図5は、変換されたスペクトルデータから未知の材料の画像を生成する場合の例を説明するための図である。図5の上段に示されるように、ユーザが2次元マップデータ上に既に存在するプロット点Pを未知データに対応するプロット点PUへ移動させた場合を考える。この場合、実際に撮像された材料の画像IM1から生成されたスペクトルデータがプロット点Pに相当し、画像が撮像されていない未知データがプロット点PUに相当する。図5の中段に示されている画像IM1は実際に撮像された材料の画像であり、画像IM2は未知の材料の画像である。画像IM2は、情報処理システム10のサーバ14の変換部148によって生成された画像の例である。
また、図5の下段の左側にはバー形式のPC値が示されており、図5の下段の右側には実際の画像IMから生成されたスペクトルデータ(図5の実線)と、未知データに対応するスペクトルデータ(図5の破線)とが示されている。スペクトルデータのグラフの横軸は例えば周波数を表し、縦軸はスペクトル値を表す。
この場合、情報処理システム10のサーバ14は、未知データに対応するプロット点PUを特定し、その未知データに対応するスペクトルデータ(図5の破線)を計算する。上述したように、未知データに対応するPC値からスペクトルデータへの変換は一意に決定可能である。一方、スペクトルデータから未知の画像IM2への変換は一意に決まらない。
そのため、情報処理システム10のサーバ14は、スペクトルデータから画像への変換処理を実行する際には、例えば、画像IM1を元に複数の画像候補をランダムに生成し、その画像候補からスペクトルデータに近い画像候補を選択する。例えば、サーバ14は、ユーザによって指定されたプロット点Pに対応する画像IM1を構成する画素値をランダムに変更するなどして、複数の画像候補を生成する。そして、サーバ14は、複数の画像候補の各々を周波数解析することにより、複数の画像候補毎のスペクトルデータを生成する。そして、サーバ14は、複数の画像候補毎のスペクトルデータと、未知データに対応するプロット点PUに対応するスペクトルデータとの間の差異が小さい(又は閾値以下の)画像候補を、未知データに対応する画像IM2として選択する。
又は、例えば、情報処理システム10のサーバ14は、スペクトルデータと画像とが対応付けられた教師データを複数用意し、複数の教師データに基づいて学習済みモデルを生成し、その学習済みモデルを利用して画像を生成するようにしてもよい。この場合には、図5に示されている実線のスペクトルデータと画像IM1とが教師データとして予め設定される。また、例えば、学習済みモデルは、既知の画像生成用の機械学習モデルが利用される。学習済みモデルは、例えば、深層学習アルゴリズムを用いて機械学習モデルを学習させることにより生成される。例えば、情報処理システム10のサーバ14は、図5に示されている破線のスペクトルデータを学習済みモデルへ入力することにより、その未知のスペクトルデータに対応する画像IM2を生成する。
これにより、ユーザが望む性能値を有する材料が想定される場合、その性能値を有すると予想される未知の材料の画像を実際に撮像することなく、その未知の材料の画像を得ることができる。また、ユーザ自らが望む性能値を有する材料の画像はどのような画像なのか、といったことをユーザが認識することができる。また、スペクトルデータから画像を生成することにより、ユーザは、スペクトルデータのPC値と画像との関係も理解することができる。
なお、例えば、図6に示されているように、スペクトルデータのうち、材料の性能と相関を有する部分のみを画像へ変換するようにしてもよい。例えば、図6の主成分分析によって得られたPC値が、材料のある性能との間において正の相関があるとされる場合を考える。例えば、高次元ベクトルデータである各PC値のうち高い値を有している部分に相当する、スペクトルデータSxの部分領域RX1のみを画像IMXへ変換するようにしてもよい。又は、高次元ベクトルデータである各PC値のうち低い値を有している部分に相当する、スペクトルデータSxの部分領域RY1のみを画像へ変換するようにしてもよい。スペクトルデータの一部分から画像を生成することにより、ユーザは、スペクトルデータの一部分と画像との関係も理解することができる。これにより、ユーザは、どのような画像であれば所望の性能が得られるのか、といったことも理解することができる。
また、出力部150は、未知データに対応する各次元の値(例えば、主成分分析のPC値)をバー表示させ、変換部148は、バー表示された各次元の値(例えば、主成分分析のPC値)に対するユーザの操作(例えば、バーの操作)に応じて、PC値をスペクトルデータへ変換するようにしてもよい。これにより、ユーザ端末12の表示部122に表示された次元圧縮結果の各次元の値(例えば、主成分分析のPC値)に対するユーザの操作に応じて、未知の材料のスペクトルデータを表示することができる。また、ユーザは次元圧縮結果の各次元の値(例えば、主成分分析のPC値)の意味を理解することができる。
また、変換部148は、ユーザの操作(例えば、バーを操作)に応じて、2次元マップデータに既に存在しているプロット点の平均に対応するスペクトルデータを生成し、出力部150は、平均に対応するスペクトルデータを出力するようにしてもよい。これにより、ユーザの操作に応じて、2次元マップデータに既に表示されている複数のスペクトルデータの平均を表示させることができる。
また、変換部148は、材料の性能値(例えば、機械強度、表面の反射率、及び透明性等)と、次元削減手法の一例である主成分分析を適用することにより得られた各次元の値(例えば、主成分分析のPC値)との間における回帰分析を実行するようにしてもよい。この場合、出力部150は、変換部148により得られた回帰分析結果を更に出力するようにしてもよい。これにより、材料の性能値と次元圧縮結果の各次元の値(例えば、主成分分析のPC値)との回帰分析結果を得ることができる。
また、2次元マップデータ上のプロット点の各々には、材料の性能値(例えば、機械強度、表面の反射率、及び透明性等)に応じた色(例えば、性能値が高いほど赤色など)が付加されているようにしてもよい。材料の性能値に応じた色がプロット点に付加されていることにより、ユーザはその色を手掛かりにプロット点を指定することにより、自らが望む性能値の材料のスペクトルデータを得ることができる。
10 情報処理システム
12 ユーザ端末
14 サーバ
50 コンピュータ
53 記憶部
140 取得部
141 データ記憶部
142 設定部
144 生成部
146 特定部
148 変換部
150 出力部

Claims (4)

  1. 複数の材料の各々から計測されたスペクトルデータの各々をベクトルデータとして設定する設定部と、
    複数の前記ベクトルデータに対して次元削減手法を適用することにより、複数の前記ベクトルデータの各々を複数のプロット点の各々として2次元へ投影した2次元マップデータを生成する生成部と、
    前記2次元マップデータ上に既に存在するプロット点とは異なるプロット点を表す未知データを特定する特定部と、
    前記未知データをスペクトルデータへと変換する変換部と、
    変換された前記スペクトルデータを出力する出力部と、
    を備え、
    前記スペクトルデータは、材料の画像を周波数解析することにより生成されたデータであり、
    前記変換部は、前記未知データを前記スペクトルデータへと変換すると共に、変換された前記スペクトルデータから未知の材料の画像を生成し、
    前記出力部は、変換された前記スペクトルデータと生成された前記材料の画像とを出力する、
    情報処理装置。
  2. 前記未知データは、ユーザによって指定された前記2次元マップデータ上のデータであり、
    前記変換部は、ユーザによって指定された前記未知データをスペクトルデータへと変換し、
    前記出力部は、変換された前記スペクトルデータを表示部へ表示させる、
    請求項に記載の情報処理装置。
  3. 複数の材料の各々から計測されたスペクトルデータの各々をベクトルデータとして設定し、
    複数の前記ベクトルデータに対して次元削減手法を適用することにより、複数の前記ベクトルデータの各々を複数のプロット点の各々として2次元へ投影した2次元マップデータを生成し、
    前記2次元マップデータ上に既に存在するプロット点とは異なるプロット点を表す未知データを特定し、
    前記未知データをスペクトルデータへと変換し、
    変換された前記スペクトルデータを出力する、
    処理をコンピュータが実行する情報処理方法であって、
    前記スペクトルデータは、材料の画像を周波数解析することにより生成されたデータであり、
    前記未知データをスペクトルデータへと変換する際には、前記未知データを前記スペクトルデータへと変換すると共に、変換された前記スペクトルデータから未知の材料の画像を生成し、
    変換された前記スペクトルデータと生成された前記材料の画像とを出力する、
    情報処理方法。
  4. 複数の材料の各々から計測されたスペクトルデータの各々をベクトルデータとして設定し、
    複数の前記ベクトルデータに対して次元削減手法を適用することにより、複数の前記ベクトルデータの各々を複数のプロット点の各々として2次元へ投影した2次元マップデータを生成し、
    前記2次元マップデータ上に既に存在するプロット点とは異なるプロット点を表す未知データを特定し、
    前記未知データをスペクトルデータへと変換し、
    変換された前記スペクトルデータを出力する、
    処理をコンピュータに実行させるための情報処理プログラムであって、
    前記スペクトルデータは、材料の画像を周波数解析することにより生成されたデータであり、
    前記未知データをスペクトルデータへと変換する際には、前記未知データを前記スペクトルデータへと変換すると共に、変換された前記スペクトルデータから未知の材料の画像を生成し、
    変換された前記スペクトルデータと生成された前記材料の画像とを出力する、
    情報処理プログラム。
JP2022184420A 2022-11-17 2022-11-17 情報処理装置、情報処理方法、及び情報処理プログラム Active JP7726191B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022184420A JP7726191B2 (ja) 2022-11-17 2022-11-17 情報処理装置、情報処理方法、及び情報処理プログラム
US18/377,492 US12614321B2 (en) 2022-11-17 2023-10-06 Information processing device, information processing method, and non-transitory computer-readable storage medium for measured and unknown material
JP2024230973A JP7694790B2 (ja) 2022-11-17 2024-12-26 情報処理装置、情報処理方法、及び情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022184420A JP7726191B2 (ja) 2022-11-17 2022-11-17 情報処理装置、情報処理方法、及び情報処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024230973A Division JP7694790B2 (ja) 2022-11-17 2024-12-26 情報処理装置、情報処理方法、及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2024073299A JP2024073299A (ja) 2024-05-29
JP7726191B2 true JP7726191B2 (ja) 2025-08-20

Family

ID=91080248

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022184420A Active JP7726191B2 (ja) 2022-11-17 2022-11-17 情報処理装置、情報処理方法、及び情報処理プログラム
JP2024230973A Active JP7694790B2 (ja) 2022-11-17 2024-12-26 情報処理装置、情報処理方法、及び情報処理プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024230973A Active JP7694790B2 (ja) 2022-11-17 2024-12-26 情報処理装置、情報処理方法、及び情報処理プログラム

Country Status (2)

Country Link
US (1) US12614321B2 (ja)
JP (2) JP7726191B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120134582A1 (en) 2007-01-16 2012-05-31 Chemimage Corporation System and Method for Multimodal Detection of Unknown Substances Including Explosives
JP2019200211A (ja) 2013-12-17 2019-11-21 キヤノン株式会社 データ処理装置、データ表示システム、試料データ取得システム、及びデータ処理方法
CN114219724A (zh) 2021-11-25 2022-03-22 中国科学院深圳先进技术研究院 多光谱图像生成方法、终端设备及计算机可读存储介质
WO2022075094A1 (ja) 2020-10-05 2022-04-14 パナソニックIpマネジメント株式会社 処理装置、システム、方法、コンピュータプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6075891A (en) * 1998-07-06 2000-06-13 General Dynamics Government Systems Corporation Non-literal pattern recognition method and system for hyperspectral imagery exploitation
CN110326022B (zh) * 2016-09-06 2023-10-03 本-古里安大学B.G.内盖夫技术和应用公司 从图像中恢复高光谱数据的装置和方法
US10578486B2 (en) * 2017-07-12 2020-03-03 nanoLambda Korea Method of calibrating spectrum sensors in a manufacturing environment and an apparatus for effecting the same
JP7271286B2 (ja) 2019-04-19 2023-05-11 キヤノン株式会社 電子機器およびその制御方法
US11436716B2 (en) 2019-04-19 2022-09-06 Canon Kabushiki Kaisha Electronic apparatus, analysis system and control method of electronic apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120134582A1 (en) 2007-01-16 2012-05-31 Chemimage Corporation System and Method for Multimodal Detection of Unknown Substances Including Explosives
JP2019200211A (ja) 2013-12-17 2019-11-21 キヤノン株式会社 データ処理装置、データ表示システム、試料データ取得システム、及びデータ処理方法
WO2022075094A1 (ja) 2020-10-05 2022-04-14 パナソニックIpマネジメント株式会社 処理装置、システム、方法、コンピュータプログラム
CN114219724A (zh) 2021-11-25 2022-03-22 中国科学院深圳先进技术研究院 多光谱图像生成方法、终端设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Raghav Aggarwal,翻訳 マテリアルズインフォマティクス,第1版,日本,株式会社エヌ・ティー・エス 吉田 隆,2017年06月01日,pp.215-229

Also Published As

Publication number Publication date
JP2025063888A (ja) 2025-04-16
US20240169616A1 (en) 2024-05-23
JP2024073299A (ja) 2024-05-29
US12614321B2 (en) 2026-04-28
JP7694790B2 (ja) 2025-06-18

Similar Documents

Publication Publication Date Title
JP6870346B2 (ja) データ分析システム、データ分析方法およびプログラム
KR102408045B1 (ko) 카메라 기반 구조색 센서의 스트레인 측정 방법 및 이를 위한 시스템
JP4692632B2 (ja) 画像処理方法、画像処理プログラム、および画像処理装置
JP5956814B2 (ja) 外観検査装置、外観検査方法及びコンピュータプログラム
CN109478316A (zh) 实时自适应阴影和高光增强
JP2020139905A (ja) 検査装置、検査方法、およびプログラム
US11310349B1 (en) Transforming multivariate time series data into image data to generate image-based predictions
US20190066734A1 (en) Image processing apparatus, image processing method, and storage medium
JP7726191B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
EP4220078A1 (en) Distance information generation device and distance information generation method
JP4332123B2 (ja) パッチ色比較装置、パッチ色比較プログラムおよびパッチ色比較システム
CN110244924B (zh) 图像传感器、系统、其数据生成方法及记录介质
JP7377215B2 (ja) 粒子分析器画像の画像制御および表示のための方法および装置
JP2024106977A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP7309134B2 (ja) 可視化方法、これに用いるプログラム、および、可視化装置、並びに、これを備える判別装置
JP7823600B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP2019169910A (ja) 画像処理装置、画像処理方法及びプログラム
JP2018132452A (ja) 画像処理装置、画像処理方法及びプログラム
JP7279697B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP7318619B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP7623929B2 (ja) システムおよびプログラム
JP7613142B2 (ja) プログラム、情報処理装置、判断方法
JP2006260410A (ja) 画像処理アルゴリズムの評価装置、生成装置、評価方法、生成方法、コンピュータをその評価装置として機能させるためのプログラム、およびコンピュータをその生成装置として機能させるためのプログラム
WO2026058499A1 (ja) 画像処理装置およびコンピュータプログラム
JP2023065135A (ja) 判定装置、判定方法及び判定プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250721

R150 Certificate of patent or registration of utility model

Ref document number: 7726191

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150