JPH0887572A - ソフトマージン分類システム - Google Patents

ソフトマージン分類システム

Info

Publication number
JPH0887572A
JPH0887572A JP7164394A JP16439495A JPH0887572A JP H0887572 A JPH0887572 A JP H0887572A JP 7164394 A JP7164394 A JP 7164394A JP 16439495 A JP16439495 A JP 16439495A JP H0887572 A JPH0887572 A JP H0887572A
Authority
JP
Japan
Prior art keywords
data vector
vector
data
parameter
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP7164394A
Other languages
English (en)
Inventor
Corinna Cortes
コーテス コリンナ
Vladimir Vapnik
ヴァプニック ヴラディミア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AT&T Corp
Original Assignee
AT&T Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AT&T Corp filed Critical AT&T Corp
Publication of JPH0887572A publication Critical patent/JPH0887572A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

(57)【要約】 【目的】 ソフトマージン分類システムおよび方法は、
ソフトマージン隣接最適ハイパープレーンにより分離さ
れた階級にトレーニングセットの入力データを処理する
ために開示される。 【構成】 スラック変数が供給され、トレーニングセッ
トにおける誤ったまたは異なったデータを最適ハイパー
プレーンを決定するうえで考慮されるようにする。トレ
ーニングデータ内の分離不能データは、障害データの再
少数のエラー分類を有する最適ハイパープレーンを決定
することにより分離を障害するデータを取り除くことな
く分離される。トレーニングセットから生成された最適
ハイパープレーンのパラメータは、経験データを分類す
るために決定関数もしくは分離符号を決定する。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、自動データ分類システ
ムに関する。特に、本発明は、自動データ処理のアプリ
ケーションにおいて入力データを２グループに分類する
装置および方法に関する。
【０００２】
【従来の技術】たとえばパターン識別や光学的文字認識
などのデータ識別アプリケーションのための自動化シス
テムは、入力データをさらに容易に処理可能なサブセッ
トに分けることにより入力データのセットを処理する。
そのようなデータ処理は、少なくとも２つのグループへ
の分類を用いる、すなわち、入力データを２つのサブセ
ットに分類する。
【０００３】当業界において知られているように、人工
ニューラルネットワーク（ＡＮＮ）などの学習システム
のいくつかは、所定のエラー許容限界内で経験的データ
において学習された学習システムが実行できるように、
入力トレーニングデータからの学習を必要とする。Ｙ．
Ｌｅ Ｃｕｎ等の「バックプロパゲーション・ネットワ
ークを用いた手書き数字の認識（Handwritten Digit Re
cognition with a Backpropagation Network）」（D. T
ouretzky 編集）ニューラル・インフォメーション処理
システムにおける進歩（ADVANCES IN NEURAL INFORMATI
ON PROCESSINGSYSTEMS）第２巻、Morgan Kaufman １９
９０年に記述されたように、一例では、５層バックプロ
パゲーション・ニューラル・ネットワークが、実際のメ
ールから記憶した７３００のトレーニングパターンと２
０００のテストパターンとを含む１６×１６ピクセルの
ビットマップで示された数字の米国ポスタル・サービス
・データベースにおいて、手書き数字の識別に適用され
ている。
【０００４】当業界で知られた分類方法は、Ｂ．Ｅ．Ｂ
ｏｓｅｒ、Ｉ．ＧｏｙａｎおよびＶ．Ｎ．Ｖａｐｎｉｋ
の最適マージン分類のための学習アルゴリズム（A trai
ning Algorithm for Optimal Margin Classifiers）計
算学習理論の第４ワークショップの会報（PROCEEDINGS
OF THE FOURTH WORKSHOP OF COMPUTATIONAL LEARNING T
HEORY）第４巻 Morgan Kaufman カルフォルニア州サン
マティオ１９９２年に記述された最適マージン分類（Ｏ
ＭＣ）手順である。ＯＭＣ方法のひとつのアプリケーシ
ョンは、「最適マージン・メモリベースの決定システム
（AN OPTIMALMARGIN MEMORY-BASED DECISION SYSTEM）
というタイトルで１９９３年７月２７日に出願された通
常に譲渡される米国特許出願第０８／０９７，７８５号
に記述されており、ここに参照により組み込まれる。
【０００５】一般に、ｎ次元空間における１セットのベ
クトルを入力データとして用いて、ＯＭＣは、入力パタ
ーンが変換された空間内の最適ハイパープレーンにより
線形分離のためのドット積のたたき込みを用いる新たな
空間への非線形変換を被るところの、非線形決定面を有
する入力データを分類する。たとえば、図１では、×と
○とで示された階級における２次元ベクトルについて示
している。この開示における、「ハイパープレーン」と
いう語は、ｎ次元面を意味し、１次元面および２次元
面、すなわち点および線をも含み、高い次元におけるデ
ータの階級を分ける。図１では、データベクトルの階級
は、多数のハイパープレーン２、４により分けられてい
る。ＯＭＣは、階級を分ける最適ハイパープレーンを決
定する。
【０００６】線形的に分けられないオリジナルのトレー
ニングパターンもしくはドット積変換トレーニングパタ
ーンを有する場合、そこから学習した学習システムは、
データの潜在的オーバーフィッティングを導く自由パラ
メータの数を増加することにより非分離能力（insepara
bility）にアドレスを決めるであろう。あるいは、非分
離能力は、 Ｖ．Ｎ．Ｖａｐｎｉｋの「経験データをベ
ースとした依存の推測（ESTIMATION OF DEPENDENCIES B
ASED ON EMPIRICAL DATA）」ニューヨーク、Springer-V
erlag、３５５〜３６９ページ、１９８２年に記述され
たようにトレーニングパターン障害物分離能力を考慮し
て枝刈りをし、それに次いで、枝刈りされたセットのト
レーニングパターンにおいて学習プロセスを再始動する
ことによりアドレスを決められてもよい。枝刈りは、誤
ったトレーニングパターンや範囲外のトレーニングパタ
ーン、異なったトレーニングパターンなどの障害物デー
タを位置決めおよび取り除くように決定面に関する位置
的決定を含む。
【０００７】
【発明が解決しようとする課題】階級間のソフトマージ
ン内でこのような分離障害トレーニングパターンを吸収
し、そのような分離障害トレーニングパターンの位置決
めにおける大域のアプローチを用いて線形的に分離可能
でないトレーニングパターンを分類することが好まし
い。枝刈りのため異なるトレーニングパターンの検出を
再始動することを回避する学習方法を実行することもま
た、有利である。
【０００８】
【課題を解決するための手段】１階級における各データ
ベクトルのメンバーシップステータスを示す分類信号を
生成するためにデータベクトルを識別するソフトマージ
ン分類システムが開示される。ソフトマージン分類シス
テムは、トレーニングセットにおけるデータベクトルを
記憶するためのメモリを有する処理装置と、データベク
トル処理プログラムを含む記憶プログラムと、記憶プロ
グラムにより制御されるプロセッサとを含む。プロセッ
サは、データベクトルからスラック変数を含むパラメー
タを決定するための決定手段であって、そのパラメータ
は階級に関してデータベクトルを識別する多次元面を示
すところの決定手段と、データベクトルとパラメータと
から分類信号を生成する手段とを含む。
【０００９】生成手段は、パラメータの決定関数および
各データベクトルを評価し、階級内の各データベクトル
のメンバーシップを示し、分類信号を生成する。決定手
段は、トレーニングセット内のすべてのデータベクトル
のための重量ベクトルおよびバイアスを含むパラメータ
を決定し、複数の制約から各データベクトルのためのス
ラック変数の最小非負数の値を決定する。決定手段は、
複数の制約を満たすように費用関数を最小限にする。決
定手段は、最適ハイパープレーン分離階級Ａ、Ｂを表わ
す重量ベクトルおよびバイアスを決定する。入力装置
は、データベクトルのトレーニングセットを入力するた
めに設けられ、プロセッサは、ドット積のたたき込みを
用いるデータベクトルを変換する手段を含む。
【００１０】メモリ内にデータベクトルを記憶する工程
と、データベクトル処理プログラムを含む記憶されたプ
ログラムを用いてデータベクトルを処理する工程と、デ
ータベクトルからスラック変数を含むパラメータを決定
する工程と、パラメータは、１階級についてデータベク
トルを識別する多次元面を示し、データベクトルとパラ
メータとから分類信号を生成する工程とからなる、階級
におけるメンバーシップを示すためのパターンベクトル
を識別する方法も開示される。ソフトマージン分類シス
テムおよび方法の特徴は、添付の図面とともに、次の本
発明の実施例の詳細な説明を参照することによりより容
易に明白となり、また、より良く理解される。
【００１１】
【実施例】似通った参照符号が同様または同等の要素を
示すものとし、図面を詳細に参照して、本発明の開示
は、図２に示されたように、プロセッサ２０と、メモリ
２５と、行列減少プログラムを含む記憶プログラム３０
とを有する処理ユニット１５と、入力装置３５と、出力
装置４０とを含むソフトマージン分類システム１０を実
行する装置および方法を説明する。１実施例では、処理
ユニット１５は、連想ＲＡＭメモリと４００メガバイト
容量のハードまたは固定ドライブとをメモリ２５として
有するＳｕｎマイクロシステムズ社から入手可能なＳＰ
ＡＲＣワークステーションが好ましい。開示されるソフ
トマージン分類システムおよび方法を実行するアプリケ
ーションプログラムおよびサブルーチンを提供する記憶
プログラム３０としてアプリケーションソフトを駆動す
るため、ＵＮＩＸオペレーティングシステムを用いて、
プロセッサ２０は作動する。
【００１２】プロセッサ２０は、キーボードおよび／ま
たはフロッピーディスクのような記憶メディアからトレ
ーニングパターンデータを受け取るためのディスクドラ
イブなどのデータ読み取り装置を含む入力装置３５を介
してトレーニングパターン・データソース４５からコマ
ンドとトレーニングパターンデータとを受け取る。受け
取られたトレーニングパターンデータは、後述するよう
に最適ハイパープレーンのパラメータを決定する次の処
理のためにメモリ２５に記憶される。パラメータは、決
定関数としてプロセッサ１５により用いられ、入力経験
データを分類するため入力装置３５を介してユーザによ
り入力された分離値に対応して特定の階級のメンバーか
メンバーでないかをを示す入力経験データに相当する分
類信号を生成する。分類信号は、決定関数により分類さ
れる入力データを表示するためディスプレイなどの出力
装置４０に送られる。あるいは、出力装置３０は、生成
された分類信号を決定関数を示す他次元ハイパープレー
ンのディスプレイ用グラフィックに変換するため専用の
グラフィックプログラムを含んでいてもよい。付随的実
施例では、生成された分類信号は、ディスプレイもしく
はハードコピーのプリンタである出力装置４０によりテ
キストのコラムやテーブルとしての出力のための入力ト
レーニングパターンを有するファイルにリストされた、
重量ベクトル、バイアスおよびスラック変数を含む。
【００１３】ソフトマージン分類システム１０は、図３
および４を参照して以下に記述される、ＬＩＳＰインタ
ーフェイスとともにＣプログラム言語における対応した
原始コードから実行される、アプリケーションプログラ
ムおよびサブルーチンを実行する。本発明は、メモリ内
にデータベクトルを記憶する工程と、データベクトル処
理プログラムを含む記憶プログラムを用いてデータベク
トルを処理する工程と、データベクトルからスラック変
数を含むパラメータを決定する工程と、パラメータは、
１階級についてデータベクトルを識別する多次元面を示
し、データベクトルとパラメータとから分類信号を生成
する工程とからなる、入力トレーニングパターンから分
類信号を生成する方法を含む。
【００１４】１実施例では、図３および４に示されたよ
うに、ソフトマージン分類システム１０は、データベク
トル処理プログラムを用いてステップ６０で分類手順を
開始する。分類手順は、ステップ６５で、トレーニング
パターンのデータソースからトレーニングセットのデー
タベクトルを受け取る工程と、ステップ７０で、階級ラ
ベルを得るため受け取られたデータベクトルを構文解析
する工程と、ステップ７５で、データベクトルの分類の
ため入力装置を通じてユーザにより選択される階級を示
す入力分離値を受け取る工程と、ステップ８０で、分離
値に従って階級においてデータベクトルを分類する分離
符号のパラメータを決定する工程と、これは所定のベク
トルマッピングに従ってステップ８５で入力データベク
トルを変換することを含み、ステップ９０で、スラック
変数を用いてソフトマージンにより構成解析されたデー
タベクトルを分離する最適多次元のパラメータを決定す
る工程と、ステップ９５で、分離値に相当するパラメー
タからの決定関数を決定する工程とを含む。
【００１５】ステップ８０でパラメータを決定したあ
と、分類手順は、ステップ１００で、階級における各デ
ータベクトルのメンバーシップステータスを示すため決
定関数から分類信号を生成する工程と、ステップ１０５
で、分類信号を出力する工程とを実行する。ステップ９
０で、パラメータの決定が図４に示されたサブルーチン
によって実行される。ステップ１１０で最適多次元面の
パラメータの決定を開始する工程と、ステップ１１５
で、二次最適化により費用関数を最小限にする工程と、
ステップ１２で、重量ベクトルとバイアスとを決定する
工程と、ステップ１２５で、ソフトマージン制約を満た
す最小非負数のスラッグ変数を決定する工程と、ステッ
プ１３０で決定した重量ベクトル、バイアスおよびスラ
ッグ変数を戻し、図３に示されたステップ９５に進む。
１実施例では、ソフトマージン分類システム１０は、数
字０、１、‥‥９ごとに１０の分離符号を生成する。こ
こで、分離符号は、それぞれ、トレーニングセットから
生じた決定関数を決定する分類信号もしくはパラメータ
のセットである。トレーニングセットから生じた決定関
数は、選択された階級に関して経験的入力データを分類
するために用いられる。
【００１６】ビットマップで示された数字を認識するた
めに用いられる実施例では、トレーニングセットＴにお
けるデータの各パターンｔｉは、数字Ｄのビットマップ
ｓｉおよびラベルｙｉを含む。ここで、パターンｓｉ
は、再フォーマットの際に、数字Ｄの形状および外観を
決定する。データパターンｔｉは、ベクトルとして参照
されるが、ｔｉは、たとえば行列、データブロック、座
標などの同等のまたは匹敵する他の形状であってもよ
い。各データパターンｔｉは、その対応するラベルｙｉ
によりセットＹＤと関連する。ここで、ＹＤは、数字Ｄ
のビットマップであるすべてのパターンのセットであ
る。このようにして、データパターンｔｉは、パターン
ｓｉがラベルｙｉと、ｓｉ∈ＹＤ（セットＹＤに依存す
る）と、数字Ｄのビットマップを示すｓｉとを有するこ
とを示すベクトル（ｓｉ、ｙｉ）により表示されてもよ
い。また、ＹＤに関しては、その補数ＹＤ’＝（ＹＤ）
でない。ここで、ＹＤ’は、数字Ｄのビットマップを示
さない対応するビットマップデータを有するパターンｔ
ｉすべてのセットである。したがって、ＹＤ∪ＹＤ’＝
Ｔである。
【００１７】図５に示されたように、１４のパターン
は、下にそれぞれ表示された数字に対応するラベルをと
もなった数字のビットマップである。したがって、図５
の参照符号５０で示されたデータパターンｓ１は、数字
６のビットマップであり、ゆえにｓ１は、Ｙ６と関連
し、ｓ∈Ｙ６である。同様に、図５の参照符号５５で示
されたデータパターンｓ２は、数字５のビットマップで
あり、ゆえにｓ２∈Ｙ５、ｓ２≠∈Ｙ６、ｓ１≠∈Ｙ５
である。上記例において、ｓ１、ｓ２∈Ｔは、１６×１
６ピクセルのビットマップであり、各データパターンｓ
１、ｓ２の長さは、１６×１６＝２５６ビットであり、
それぞれは、２５６コンポーネント・ベクトルにより上
記例において示されている。運転中ソフトマージン分類
システム１０は、ラベルｙｉの各パターンｔｉ＝（ｓ
ｉ，ｙｉ）を構成解析し、データベクトルｓｉが残さ
れ、各ベクトルｓｉは、変換されたデータベクトルＸｉ
にドット積のたたき込みにより変換される。この変換に
より、非線形決定面を用いて分類できる。すなわち、上
で取り上げたＯＭＣ方法の最適ハイパープレーンにより
線形分離を許容する新しく変換されたスペースへ入力ス
ペース内の入力パターンにおいて非線形変換が行われ
る。
【００１８】所定のｋ次元ベクトル関数は、
【数２】 各ｎ次元トレーニングベクトルｓｉを新しいｋ次元トレ
ーニングベクトルｘｉ＝Ｖ（ｓｉ）にマップする。後述
するように、ｋ次元重量ベクトルｗおよびバイアスｂ
は、階級Ａの決定関数分類関数ｆＡが線形分離符号とな
るように変換されたトレーニングベクトルｘｉの各数字
Ｄについて構成される。ここで、
【数３】
【００１９】実施例では、入力データベクトルを分類す
る決定関数または分離符号を生成するためのＡ＝ＹＤお
よびＢ＝ＹＤ’は、各階級Ａ、Ｂにおける入力データベ
クトルのメンバーシップステータスを決定する。すなわ
ち、各入力データベクトルが数字Ｄを示すか否かを決定
する。ＯＭＣ方法におけるような最適ハイパープレーン
を用いて分離符号を構成するにおいて、重量ベクトル
は、次のように書かれる。
【数４】 ここで、ｘｉは、変換されたトレーニングデータベクト
ルである。
【００２０】ドット積の線形性は、知られざる経験デー
タのための階級Ａの決定関数ｆＡは、次の式にしたがっ
てドット積に依存することを意味する。
【数５】 分類方法は、ドット積の異なる形式を考慮することによ
り普遍化されてもよい。
【数６】 Ｒ．ＣｏｕｒａｎｔおよびＤ．Ｈｉｌｂｅｒｔの「数理
物理学の方法（METHODS OF MATHEMATICAL PHYSICS）」
インターサイエンス、ニューヨーク、１２２〜１４２ペ
ージ１９５３年に記述されたような、ヒルベルト−シュ
ミット定理によれば、いかなる対称関数ｋ（ｕ，ｖ）
も、形式
【数７】 で展開される。ここで、λｉ∈ＲおよびＶｉは、それぞ
れ積分方程式の固有値および固有関数である。
【数８】
【００２１】変換されたベクトルの正数のノルムを確実
にするに十分な条件は、上記の式（６）の展開における
固有値すべてが正数であることである。これら係数は、
正数であることを保証するため、条件
【数９】 が、
【数１０】 となるようにすべてのｇについて満たされることが必要
かつ十分である（マーサーの定理によると）。したがっ
て、マーサーの定理を満たす関数は、ドット積として用
いられる。Ｍ．Ａｉｚｅｒｍａｎ等の「パターン認識学
習における正数関数の方法の理論的基礎（Theoretical
foundations of the potential function method in pa
tternrecognition learning）」オートメーション＆リ
モートコントロール、２５：８２１〜８３７、１９６４
年６月に記述されたように、正数関数は、形式
【数１１】 のものである。
【００２２】上で引用したＢｏｓｅｒ等の出版物では、
最適ハイパープレーン方法は、ドット積のたたき込み方
法と組み合わされていた、また加えて、上記式（１０）
におけるように正数関数に対して、形式
【数１２】 の多項分類が考慮される。異なるドット積Ｋ（ｕ，ｖ）
を用いて、任意形状の決定面を有する異なる学習機械を
構成することができる。それら学習機械すべては、オリ
ジナルの最適ハイパープレーン方法と同じ解法スキーム
に従い、有効な停止基準と同じ利点を有する。式（１
１）におけるような形式の多項式が、ここで記述された
ソフトマージン分類システム１０に用いられている。使
用において、米国ポスタル・サービス・データベースの
分類における未処理のエラーは、ｄ＝２から４につい
て、４．３〜４．７％の間であることが分かった。ま
た、ｄが増えるについてエラーは減少した。ｄ＝４につ
いては、未処理のエラーは、４．３％であった。次数ｄ
を増加することにより、式（１１）に示されたような単
一非線形変換は、結局は分離へと導くが、分離スペース
の次元の数は、トレーニングパターンの数よりも大きく
なる。学習機械のより良い普遍化能力、および、データ
のより少ない正数のオーバーフィッティングは、ここで
記述されたソフトマージン分類システム１０および方法
で実行されたようにトレーニングセットにおけるエラー
を考慮する場合に成し遂げられる。
【００２３】上述したＯＭＣ方法は、変換されたベクト
ルを分離する中間ハイパープレーンのいずれかの側面上
にマージンを用いて、中間ハイプレーンの１側面もしく
は他方の側面上にあるとして変換されたベクトルを分類
する。マージンは、次の式における＋１および−１によ
り決定される。
【数１３】 ソフトマージン分類システム１０において、マージン
は、「ソフト」である。すなわち、変換されたスペース
における分類されたデータベクトルを分離するハイパー
ブレーンは、スラック変数の値に依存する。マージン
は、
【数１４】 となるようにスラック変数から決定される。ここで、各
パターンのξｉ（ｗ，ｂ）は、非負数のスラック変数で
ある。ξｉ（ｗ，ｂ）の値は、変換されたデータパター
ンｘｉが式（１３）における不等式を満たすようにする
最も小さな非負数である決定面のパラメータ（ｗ，ｂ）
の関数である。
【００２４】図６は、それぞれ×と○によって示された
階級Ａ、Ｂのベクトル間の最適ハイパープレーンに関係
するスラック変数の使用を示す。ハイパープレーン１３
５、１４０は、それぞれｗ・ｘ＋ｂ＝−１およびｗ・ｘ
＋ｂ＝１に対応し、ソフトマージンは、各ハイパーブレ
ーン１３５、１４０から延在する。ハイパープレーン１
４５は、ｗ・ｘ＋ｂ＝０に対応し、ハイパープレーン１
３５、１４０の中間である。図６に示されたように、デ
ータベクトル１５０は、階級Ａにあるが、データベクト
ルは、階級Ｂのメンバーとしてデータベクトルを識別す
るハイパープレーン１３５、１４０により決定された範
囲内に存在するため階級Ｂのメンバーとしてソフトマー
ジン分類システム１０により分類される。同様に、階級
Ｂのデータベクトル１５５、１６０は、ハイパープレー
ン１３５、１４０を用いてソフトマージン分類システム
１０により階級Ａと同様に識別される。図６に示された
ように、スラック変数ξの値は、データベクトル１５
０、１５５、１６０については１よりも大きく、すなわ
ち、データベクトル１５０、１５５、１６０は、誤った
データであると考えられる。これらの誤ったデータベク
トルは、後述するように、トレーニングセットからこれ
らデータベクトルを除去することなく、且つ、識別方法
をリスタートすることなく、最適ハイパープレーンの決
定において、ソフトマージン分類システム１０により考
慮される。図６はまた、ξ＝０を有する、すなわちそれ
ぞれハイパープレーン１３５、１４０上にある階級Ａお
よびＢのデータベクトル１６５、１７０を示す。
【００２５】ソフトマージン分類システム１０は、パタ
ーンの２つの集合Ａ、Ｂ上の最も少ない数のエラーを有
する重量ベクトルｗとバイアスｂとを決定する。パター
ンｘｉがｗ・ｘｉ＋ｂのサインにしたがって分類される
ので、ξｉ（ｗ，ｂ）＞１の値は、パターンｘｉ上のエ
ラーに対応する。最適解は、次の式を最小限にする（ｗ
*，ｂ*）となることが分かる。
【数１５】 図７に示されたように、Θは、ステップ関数であり、Θ
（ｘ）＝ｘのとき１＞０および、特に符号１７５で示さ
れたように、ゼロが成り立つ。式１４の最小化は、非常
に非線形な問題である。エラーの数上の上限のための解
析式は、次の制約を用いて得られる。
【数１６】 ここで、Δ＞０である。
【００２６】図７に示されたように、Δ＞１において
は、エラーの費用は、所望の値からのパターンの偏差を
ともなうξΔのグラフ１８０により示されたように直線
的以上に増加する。図７に見られるように、エラーな
し；すなわち、０＜ξ＜１を有するパターンは、符号１
８５で示されたように、ξΔにより合計ε（ｗ，ｂ）に
対して小さな貢献をし、ステップ関数によりゼロイング
アウトをエラーなしに近似化することができる。すべて
Δ→０であると、ξ＞１は、符号１９０で示されたよう
にξΔが約１であるところのステップ関数を用いて１と
同じ費用で貢献し、Δ→０の場合、これはΔ≧１である
とき各ξの貢献に対して好ましい。
【００２７】式（１５）内の形式の制約は、ＯＭＣにお
ける二次のプログラムミング問題から逸脱し、Δ＝１ま
たは２でない限り、保証された集束時間から逸脱する。
ソフトマージン分類システム１０の好ましい実施例で
は、Δ＝１は、所望の制約に近い制約を供給するため最
良のモードである。別の実施例では、計算的複雑さにお
ける適切な増加を供給する０≦ξ≦１についてΔ＝２と
ξ≧１についてΔ＝１とをともなうソフトマージン分類
システムによりハイブリッド方法が実行される。二次の
最適化問題に対する唯一の解が、次のコスト関数により
得られる。
【数１７】 ここで、η、γは、最適化の下に固定された、費用関数
のパラメータである。費用関数は、次の制約に関して、
図４のステップ１１５において最小化される。
【数１８】 費用関数における用語は、異なる目的を行う。ε２とい
う用語は、小数のエラーを実施する。ε２の同じ値でい
くつかの解が存在する場合、さらに‖ｗ‖２＋γξ２を
最小にする唯一を選択する。‖ｗ‖２という用語は、Ｏ
ＭＣと共通であり、正しく分類されたパターンの凸状部
間の距離をできるだけ離れて保持する傾向がある。ξ２
という用語は、唯一の解を得るために選択され、ゆえ
に、乗数γは、小さな正数値に保持される。
【００２８】最適ハイパープレーンを決定するためのＯ
ＭＣにおけるのと同様の方法でラグランジュの乗数（La
grange multipliers）の二元的スペースにおいて、式
（１６）を解くことができる、追加のｍ＋１非負数のラ
グランジュの乗数が導かれる。ｍ乗数、εｉは、制約ξ
ｉ≧０を実施し、乗数δは、式（１７）の最後の制約を
実施する。ＯＭＣにおいて、関数Ｗは、次の式により定
義される。
【数１９】 ここで、
【数２０】 および
【数２１】 である。
【００２９】ここで開示されるソフトマージン分類シス
テムおよび方法において、式（１８）における関数Ｗ
は、２ｍ＋１非負数乗数が最大にされることに関して、
【数２２】 となるように変えられる。ここでΨは、２ｍ＋１次元ベ
クトル
【数２３】 および、Ａは、正数定数（２ｍ＋１）×（２ｍ＋１）行
列である。最適重量ベクトルＷ*およびバイアスｂ*は、
図４のステップ１２０において、制約下で
【数２４】 によって決定される。
【００３０】次元ｎ＋ｍ＋１のベクトルＵ、ｌ、ｕｉ、
Ｖｉ、ｅｉは、次のように定義される。
【数２５】
【数２６】
【数２７】 また、非負数のラグランジュの乗数α、βｉ、εｉおよ
びδは、制約のために適用される。最適化問題に対応す
るラグランジュ関数は、この表記法を用いて、ここで、
Ｑは、ｎ＋ｍ＋１×ｎ＋ｍ＋１の対角行列であり、
【数２８】
【数２９】 である。
【００３１】Ｕに関する式（２７）の最小化は、次のキ
ューン・タッカーの制約に従って行われる。
【数３０】 式（２９）の最初の５つの式を式（２７）に後戻りして
代入することにより、αｉ、βｉ、εｉ、δ：
【数３１】 の２ｍ＋１次元乗数における最大化の問題を決定する。
上記において、Ｗは、式（２２）で定義されたｎ＋ｍ＋
１次元ベクトルΨの導きにより、乗数の二次形式であ
る。ひとつは、
【数３２】 とともに
【数３３】
【数３４】 および
【数３５】 を得る。ここで、ｎ＋ｍ＋１次元ブロック行列Ａにおけ
る行列Ｈは、ベクトル： ｈｉｊ＝ｙｉｙｊｘｉ・ｘｊ 間のサインされたドット積であり、ｍ*は、解における
ゼロでないξを有するパターンの数である。
【００３２】制約：
【数３６】 は、合計がすべてゼロでないξにとって代えられる場合
有効である。また、同様にξのいかなるサブセットにお
いても満たされなければならない。ラグランジュ乗数、
パターンのすべてのサブセットに対応するξ１、ξ２、
‥‥ξｐは、中間の解を得るために考慮された。ラグラ
ンジュ乗数のスペースの次元は、現在ｎ＋ｍ＋ｐであ
り、キューン・タッカーの制約は、次の式を解く（rea
d）：また、Ｇ行列の最後の欄および列は、幅ｐの帯域
に広げられる。すべてのサブセット、ξがメンバーであ
るところのｊにおいて、ポジション（ｉ，ｎ＋ｍ＋
ｊ）、（ｊ＋ｍ，ｎ＋ｍ＋ｊ）、（ｎ＋ｍ＋ｊ，ｉ）お
よび（ｎ＋ｍ＋ｊ，ｉ＋ｍ）において上記で定義された
エントリｋが存在することとなる。
【数３７】 右下ｐ×ｐのブロックは、形式
【数３８】 にある。ここで、ｍ１*＋ｍ２*は、両サブセット１およ
び２におけるξベクトルである。上記行列の対角外行列
は、個別的にδとは無関係に最適化を行うため、また中
間の解におけるサポートパターンの数を減少するために
無視されるであろう。そのようにして、得られた解は、
真の最適に対する（ｗ*，ｂ*）のために正確な近似を提
供する。
【００３３】図４のステップ１２０で決定され、図４の
ステップ１２５でスラック変数ξが最小化されると、決
定関数ｆＡ（ｘｅ）の値のサインから階級Ａに関して、
分類信号が生成される。ここで、ｘｅは、ドット積マッ
ピング関数および入力により決定された決定関数に変換
された経験データである。図６とともに式（１３）を参
照すると、エラーでないパターンについて、スラック変
数ξは、不等式０＜ξ≦１を満たし、かつ式（１３）を
満たす、ゆえにｆＡ（ｘ）のサインは、ｘ∈Ａであると
き１であり、ｆＡ（ｘ）のサインは、ｘ≠∈Ａであると
き−１である。そのようにして、ｆＡ（ｘ）は、経験的
データパターンｘｅの分類を一意に決定し、トレーニン
グセットｘｉに基づき、階級間の最適ハイパープレーン
についてのソフトマージンで最適に決定された、経験的
データパターンの予想分類を提供する。
【００３４】上述した実施例は、１６×１６ピクセルの
ビットマップで示された数字のピクセルを表わすデータ
パターンを２つのグループの分類するために用いられる
ソフトマージン分類システム１０に適用する。ここで、
ＡおよびＢは、Ａ＝数字Ｄを表わすパターンすべての集
合となり、Ｂ＝数字Ｄを表わさないパターンすべての集
合となるようなパターンの補階級である。しかしなが
ら、アルファベットや記号のビットマップまたはその
逆、財政上のデータなどのパターン認識アプリケーショ
ンが、上述のシステムおよび方法に従って、分類される
ことも意図している。さらに、上で引用したパターン認
識アプリケーションにおける分類を実行する上で、階級
ＡおよびＢは、オーバーラップしてもよく（すなわち、
相補的でない）、トレーニングパターンは、ひとつ以上
のラベルを含んでもよいことも意図する。たとえば、多
数のラベルが、特定の数字と、表示されたビットマップ
で示された数字の曲線または直線部と、奇数および偶数
などの任意の階級におけるメンバーシップを示してもよ
い。その時、トレーニングパターンは、特別なラベルに
関して分類を行うために構文解析されてもよい。開示さ
れたソフトマージン分類システムおよび方法は、好まし
い実施例に関して特に示され記述されたが、形式や詳細
にさまざまな修正が本発明の範囲および趣旨を逸脱する
ことなく当業者により行い得ることは自明である。した
がって、上記で提案し、しかしそれに限られない、変更
は、本発明の範囲内である。
【図面の簡単な説明】
【図１】ＯＭＣ方法による２次元分類の１例を示す。
【図２】ここに開示されたソフトマージン分類システム
の構成要素を示す。
【図３】ソフトマージン分類システムの捜査のブロック
図を示す。
【図４】パラメータ決定手順を実行するサブルーチンの
ブロック図を示す。
【図５】トレーニングパターンとしてビット・マップの
数字を例示する。
【図６】パターンベクトルのソフトマージン分類システ
ムの１例を示す。
【図７】スラック変数からエラー貢献（error contribu
tions）を示す。
【符号の説明】
２０ プロセッサ ２５ メモリ ３０ 記憶プログラム １５ 処理ユニット ３５ 入力装置３５ ４０ 出力装置 １０ ソフトマージン分類システム ４５ トレーニングパターン・データソース
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ヴラディミア ヴァプニック アメリカ合衆国 07748 ニュージャーシ ィ，ミドルタウン，クノールウッド ドラ イヴ 811

Claims (31)

    【特許請求の範囲】
  1. 【請求項１】 １階級内の各データベクトルのメンバー
    シップステータスを示すための信号を生成するためデー
    タベクトルを識別するためのシステムにおいて、 前記データベクトルを記憶するためのメモリと、データ
    ベクトル処理プログラムを含む記憶プログラムと、前記
    記憶プログラムにより制御されるプロセッサとを含む処
    理ユニットと、 前記データベクトルからスラック変数を含むパラメータ
    を決定するための決定手段であって、前記パラメータは
    前記階級に関する前記データベクトルを識別する多次元
    面を示すところの決定手段と、 前記データベクトルと前記パラメータとから前記信号を
    生成する手段とからなるシステム。
  2. 【請求項２】 前記生成手段は、前記パラメータの決定
    関数および各データベクトルを評価し、前記階級内の各
    データベクトルのメンバーシップを示し、前記信号を生
    成することを特徴とする請求項１のシステム。
  3. 【請求項３】 前記生成手段は、評価された前記決定関
    数の値のサイン関数から前記信号を生成することを特徴
    とする請求項２のシステム。
  4. 【請求項４】 前記決定手段は、複数の制約から重量ベ
    クトルおよびバイアスを含むパラメータを決定すること
    を特徴とする請求項３のシステム。
  5. 【請求項５】 前記決定手段は、前記バイアスおよび前
    記重量ベクトルと各データベクトルとのドット積の線形
    合計から決定関数を評価することを特徴とする請求項４
    のシステム。
  6. 【請求項６】 前記設定手段は、前記複数の制約を満た
    す前記重量ベクトルおよび前記バイアスから各データベ
    クトルのためのスラック変数の最小非負数の値を決定す
    ることを特徴とする請求項４のシステム。
  7. 【請求項７】 複数の階級に関して各データベクトルの
    メンバーシップステータスを示すための信号を生成する
    ためデータベクトルを分類するための分類システムにお
    いて、 分類されるべきデータベクトルを供給するための手段
    と、 前記データベクトルとデータベクトル処理プログラムを
    含む記憶プログラムとを受取り、記憶するためのメモリ
    と、 前記データベクトル処理プログラムにより制御されるプ
    ロセッサとからなり、 前記プロセッサは、前記データベクトルからスラック変
    数を含むパラメータを決定するための決定手段であっ
    て、前記パラメータは前記複数の階級へ前記データベク
    トルを分離する多次元面を示すところの決定手段と、 前記データベクトルと前記パラメータとから前記信号を
    生成する手段とを含むことを特徴とする分類システム。
  8. 【請求項８】 前記決定手段は、複数の制約を満たすよ
    うに複数の乗数を含むパラメータを決定することを特徴
    とする請求項７の分類システム。
  9. 【請求項９】前記決定手段は、最適多次元面を示すよう
    にパラメータを決定することを特徴とする請求項７の分
    類システム。
  10. 【請求項１０】 前記決定手段は、前記スラック変数の
    費用関数を最小にし、最適多次元面を示すようにパラメ
    ータを決定することを特徴とする請求項８の分類システ
    ム。
  11. 【請求項１１】 前記分類システムは、階級分離符号値
    を入力するための手段をさらに有し、 前記プロセッサは、階級ラベルを抽出するように前記デ
    ータベクトルを構文解析するための手段をさらに含み、 前記決定手段は、前記階級分離符号値に対応する決定関
    数としてパラメータを決定し、 前記生成手段は、前記階級分離符号値に対応する階級の
    メンバーであるクラスラベルに対応捨てデータベクトル
    を示す信号を生成することを特徴する請求項７の分類シ
    ステム。
  12. 【請求項１２】 前記決定手段は、所定のベクトルマッ
    ピングを用いてデータベクトルを変換し、前記変換され
    たデータベクトルから前記パラメータを決定することを
    特徴とする請求項１１の分類システム。
  13. 【請求項１３】 前記分類システムは、前記データベク
    トルとしてパターンベクトルのトレーニングセットを分
    類し、前記生成手段は、前記クラスに関して前記トレー
    ニングセットにおける各パターンベクトルのメンバーシ
    ップを示すため前記信号を生成することを特徴とする請
    求項７の分類システム。
  14. 【請求項１４】 少なくとも２つの階級Ａ、Ｂへデータ
    ベクトルのトレーニングセットに関連するベクトルパタ
    ーンｘｉを分類するためのソフトマージン分類システム
    において、前記ソフトマージン分類システムは、データ
    ベクトルを供給するソースと処理ユニットからなり、前
    記処理ユニットは、 前記ソースからトレーニングセット内のベクトルパター
    ンを受け取るためのデータベクトル処理プログラムを含
    む記憶プログラムを有するメモリと、 前記記憶プログラムにより制御されるプロセッサであっ
    て、ソフトマージン条件： 【数１】 を同時に満たす、重量ベクトルｗと、バイアスｂと、ス
    ラック変数ξｉとを決定するための手段と、 各ｘｉのためのｆ（ｘｉ）の各サインから信号を生成
    し、出力する手段とを含むプロセッサとを含むことを特
    徴とするソフトマージン分類システム。
  15. 【請求項１５】 前記決定手段は、各ｘｉのためのξｉ
    の最小非負数値を決定することを特徴とする請求項１４
    のソフトマージン分類システム。
  16. 【請求項１６】 前記決定手段は、ｗ、ｂおよび各ξｉ
    の費用関数を最小にするようｗ、ｂを決定することを特
    徴とする請求項１４のソフトマージン分類システム。
  17. 【請求項１７】 前記決定手段は、複数の制約を満たす
    よう費用関数を最小にすることを特徴とする請求項１４
    のソフトマージン分類システム。
  18. 【請求項１８】 前記決定手段は、階級Ａ、Ｂを分離す
    る最適ハイパーブレーンを示す重量ベクトルｗとバイア
    スＢとを決定することを特徴とする請求項１４のソフト
    マージン分類システム。
  19. 【請求項１９】 前記ソフトマージン分類システムは、
    データベクトルのトレーニングセットｔｉを入力するた
    めの入力装置をさらに有し、 前記プロセッサは、データベクトルｔｉをベクトルパタ
    ーンｘｉへ変換する手段を含むことを特徴とする請求項
    １４のソフトマージン分類システム。
  20. 【請求項２０】 １階級におけるメンバーシップを示す
    ためパターンベクトルを識別する方法において、 メモリ内にデータベクトルを記憶する工程と、 データベクトル処理プログラムを含む記憶プログラムを
    用いて前記データベクトルを処理する工程と、 前記データベクトルからスラック変数を含むパラメータ
    を決定する工程と、前記パラメータは、階級に関して前
    記データベクトルを識別する多次元面を示し、 前記データベクトルおよび前記パラメータから信号を生
    成する工程とからなる方法。
  21. 【請求項２１】 前記生成する工程は、前記パラメータ
    の決定関数と、各データベクトルを評価することを含む
    ことを特徴とする請求項２０の方法。
  22. 【請求項２２】 前記生成する工程は、評価された前記
    決定関数の値のサイン関数を評価することを含むことを
    特徴とする請求項２１の方法。
  23. 【請求項２３】 前記決定する工程は、複数の制約から
    重量ベクトルとバイアスとを決定することを特徴とする
    請求項２０の方法。
  24. 【請求項２４】 前記決定する工程は、前記バイアス
    と、前記重量ベクトルと各データベクトルとのドット積
    との線形合計を評価することを特徴とする請求項２３の
    方法。
  25. 【請求項２５】 前記決定する工程は、複数の制約を満
    たす前記重量ベクトルと前記バイアスとから各データベ
    クトルのためのスラック変数の非負数の値を最小にする
    ことを含むことを特徴とする請求項２３の方法。
  26. 【請求項２６】 パターンベクトルを分類する方法にお
    いて、 データソースから分類されるべきデータベクトルを供給
    する工程と、 メモリ内にデータベクトルを受取り、記憶する工程と、 前記データベクトルから、重量ベクトルとバイアスとス
    ラック変数とを含むパラメータを決定する工程と、前記
    パラメータは、複数の階級へ前記データベクトルを分離
    する多次元面を示し、 前記データベクトルおよび前記パラメータから信号を生
    成する工程とからなる方法。
  27. 【請求項２７】 前記決定する工程は、最適多次元面を
    示すようにパラメータを決定することを含むことを特徴
    とする請求項２６の方法。
  28. 【請求項２８】 最適多次元面を決定するように前記ス
    ラック変数の費用関数を最小にする複数のスラック変数
    を決定することを含むことを特徴とする請求項２７の方
    法。
  29. 【請求項２９】 前記決定する工程は、複数の制約を満
    たす複数の乗数を含むパラメータを決定することを含む
    ことを特徴とする請求項２６の方法。
  30. 【請求項３０】 前記方法は、対応する階級ラベルを抽
    出するように受け取ったデータベクトルを構文解析する
    工程と、 階級分離符号の値を入力する工程とをさらに有し、 前記生成する手段は、前記階級分離符号の値に対応する
    前記階級のメンバーである階級ラベルに対応してデータ
    ベクトルを示す信号を生成することを含むことを特徴と
    する請求項２６の方法。
  31. 【請求項３１】 前記方法は、所定のベクトルマッピン
    グを用いて受け取ったデータベクトルを変換する工程を
    さらに有し、 前記決定する工程は、変換された前記データベクトルか
    らパラメータを決定することを含むことを特徴とする請
    求項２６の方法。
JP7164394A 1994-06-30 1995-06-30 ソフトマージン分類システム Withdrawn JPH0887572A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/268361 1994-06-30
US08/268,361 US5640492A (en) 1994-06-30 1994-06-30 Soft margin classifier

Publications (1)

Publication Number Publication Date
JPH0887572A true JPH0887572A (ja) 1996-04-02

Family

ID=23022643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7164394A Withdrawn JPH0887572A (ja) 1994-06-30 1995-06-30 ソフトマージン分類システム

Country Status (4)

Country Link
US (1) US5640492A (ja)
EP (1) EP0690406A3 (ja)
JP (1) JPH0887572A (ja)
CA (1) CA2149468A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003098201A1 (fr) * 2002-05-21 2003-11-27 Jfe Steel Corporation Procede d'analyse de defauts de surface
WO2011086643A1 (ja) 2010-01-14 2011-07-21 日本電気株式会社 パターン認識装置、パターン認識方法及びパターン認識用プログラム

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5787408A (en) * 1996-08-23 1998-07-28 The United States Of America As Represented By The Secretary Of The Navy System and method for determining node functionality in artificial neural networks
US6269323B1 (en) * 1996-10-04 2001-07-31 At&T Support vector method for function estimation
US5950146A (en) * 1996-10-04 1999-09-07 At & T Corp. Support vector method for function estimation
US6192353B1 (en) * 1998-02-09 2001-02-20 Motorola, Inc. Multiresolutional classifier with training system and method
US6327581B1 (en) * 1998-04-06 2001-12-04 Microsoft Corporation Methods and apparatus for building a support vector machine classifier
US6658395B1 (en) * 1998-05-01 2003-12-02 Biowulf Technologies, L.L.C. Enhancing knowledge discovery from multiple data sets using multiple support vector machines
GB9824552D0 (en) * 1998-11-09 1999-01-06 Royal Holloway University Of L Data classification apparatus and method thereof
US6622134B1 (en) * 1999-01-05 2003-09-16 International Business Machines Corporation Method of constructing data classifiers and classifiers constructed according to the method
US6337927B1 (en) 1999-06-04 2002-01-08 Hewlett-Packard Company Approximated invariant method for pattern detection
US6523015B1 (en) 1999-10-14 2003-02-18 Kxen Robust modeling
AUPQ684400A0 (en) * 2000-04-11 2000-05-11 Telstra R & D Management Pty Ltd A gradient based training method for a support vector machine
US6983068B2 (en) * 2001-09-28 2006-01-03 Xerox Corporation Picture/graphics classification system and method
US7119924B2 (en) * 2001-09-28 2006-10-10 Xerox Corporation Detection and segmentation of sweeps in color graphics images
US6947597B2 (en) * 2001-09-28 2005-09-20 Xerox Corporation Soft picture/graphics classification system and method
US6985628B2 (en) * 2002-01-07 2006-01-10 Xerox Corporation Image type classification using edge features
US6996277B2 (en) * 2002-01-07 2006-02-07 Xerox Corporation Image type classification using color discreteness features
US20070063548A1 (en) * 2003-08-19 2007-03-22 Konrad Eipper Supporting frame structure
US7636716B1 (en) 2003-12-03 2009-12-22 Trend Micro Incorporated Method and architecture for blocking email spams
US8495144B1 (en) * 2004-10-06 2013-07-23 Trend Micro Incorporated Techniques for identifying spam e-mail
US20060112026A1 (en) * 2004-10-29 2006-05-25 Nec Laboratories America, Inc. Parallel support vector method and apparatus
US20060200370A1 (en) * 2005-03-04 2006-09-07 Sabre, Inc. Availability-based pricing for multi-channel distribution
US7406450B2 (en) * 2005-09-28 2008-07-29 Nec Laboratories America, Inc. Spread kernel support vector machine
US7756535B1 (en) 2006-07-07 2010-07-13 Trend Micro Incorporated Lightweight content filtering system for mobile phones
US7788576B1 (en) 2006-10-04 2010-08-31 Trend Micro Incorporated Grouping of documents that contain markup language code
US8023974B1 (en) 2007-02-15 2011-09-20 Trend Micro Incorporated Lightweight SVM-based content filtering system for mobile phones
US20080199084A1 (en) * 2007-02-19 2008-08-21 Seiko Epson Corporation Category Classification Apparatus and Category Classification Method
JP2008234623A (ja) * 2007-02-19 2008-10-02 Seiko Epson Corp カテゴリー識別装置、カテゴリー識別方法、及び、プログラム
US20080232696A1 (en) * 2007-03-23 2008-09-25 Seiko Epson Corporation Scene Classification Apparatus and Scene Classification Method
JP2008282085A (ja) * 2007-05-08 2008-11-20 Seiko Epson Corp シーン識別装置、及び、シーン識別方法
JP2008282267A (ja) * 2007-05-11 2008-11-20 Seiko Epson Corp シーン識別装置、及び、シーン識別方法
US7949771B1 (en) 2007-09-05 2011-05-24 Trend Micro Incorporated Authentication of unknown parties in secure computer communications
US7961952B2 (en) * 2007-09-27 2011-06-14 Mitsubishi Electric Research Laboratories, Inc. Method and system for detecting and tracking objects in images
WO2010013473A1 (ja) * 2008-07-30 2010-02-04 日本電気株式会社 データ分類システム、データ分類方法、及びデータ分類プログラム
US9342589B2 (en) 2008-07-30 2016-05-17 Nec Corporation Data classifier system, data classifier method and data classifier program stored on storage medium
US8606010B2 (en) 2011-03-18 2013-12-10 Seiko Epson Corporation Identifying text pixels in scanned images
US8838992B1 (en) 2011-04-28 2014-09-16 Trend Micro Incorporated Identification of normal scripts in computer systems
US8516592B1 (en) 2011-06-13 2013-08-20 Trend Micro Incorporated Wireless hotspot with lightweight anti-malware
US9811664B1 (en) 2011-08-15 2017-11-07 Trend Micro Incorporated Methods and systems for detecting unwanted web contents
US8700913B1 (en) 2011-09-23 2014-04-15 Trend Micro Incorporated Detection of fake antivirus in computers
JPWO2014136316A1 (ja) * 2013-03-04 2017-02-09 日本電気株式会社 情報処理装置、情報処理方法、及びプログラム
US9697469B2 (en) 2014-08-13 2017-07-04 Andrew McMahon Method and system for generating and aggregating models based on disparate data from insurance, financial services, and public industries
US9672207B2 (en) * 2015-10-19 2017-06-06 International Business Machines Corporation System, method, and recording medium for determining and discerning items with multiple meanings
US10169581B2 (en) 2016-08-29 2019-01-01 Trend Micro Incorporated Detecting malicious code in sections of computer files
CN119717687B (zh) * 2025-03-03 2025-05-30 福建富昌维控电子科技股份有限公司 一种数控机床故障分析方法及终端

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4120049A (en) * 1977-06-24 1978-10-10 Scan-Optics, Inc. Line memory
US4122443A (en) * 1977-06-24 1978-10-24 Scan Optics, Inc. Character position detector
WO1987003411A1 (en) * 1985-11-27 1987-06-04 The Trustees Of Boston University Pattern encoding system
FR2659817B1 (fr) * 1990-03-13 1992-05-29 Thomson Csf Dispositif de reconnaissance de sequences dans un signal multidimensionnel.
US5271090A (en) * 1990-03-21 1993-12-14 At&T Bell Laboratories Operational speed improvement for neural network
DE69120854T2 (de) * 1990-04-24 1996-11-21 Sharp Kk Lernverfahren fÜr Datenverarbeitungssystem
US5245696A (en) * 1990-11-21 1993-09-14 Ricoh Co. Ltd. Evolution and learning in neural networks: the number and distribution of learning trials affect the rate of evolution
US5239594A (en) * 1991-02-12 1993-08-24 Mitsubishi Denki Kabushiki Kaisha Self-organizing pattern classification neural network system
US5263124A (en) * 1991-02-27 1993-11-16 Neural Systems Corporation Method for producing a binary tree, pattern recognition and binary vector classification method using binary trees, and system for classifying binary vectors
US5333209A (en) * 1992-03-24 1994-07-26 At&T Bell Laboratories Method of recognizing handwritten symbols
US9778593B2 (en) 2014-12-24 2017-10-03 Ricoh Company, Ltd. Image forming apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003098201A1 (fr) * 2002-05-21 2003-11-27 Jfe Steel Corporation Procede d'analyse de defauts de surface
WO2011086643A1 (ja) 2010-01-14 2011-07-21 日本電気株式会社 パターン認識装置、パターン認識方法及びパターン認識用プログラム
US8750628B2 (en) 2010-01-14 2014-06-10 Nec Corporation Pattern recognizer, pattern recognition method and program for pattern recognition

Also Published As

Publication number Publication date
EP0690406A3 (en) 1996-07-03
EP0690406A2 (en) 1996-01-03
US5640492A (en) 1997-06-17
CA2149468A1 (en) 1995-12-31

Similar Documents

Publication Publication Date Title
JPH0887572A (ja) ソフトマージン分類システム
CN101373519B (zh) 字符识别装置和方法
US5903884A (en) Method for training a statistical classifier with reduced tendency for overfitting
EP0887761A2 (en) Method and apparatus for improving the efficiency of support vector machines
JPH06176202A (ja) 文字認識用の管理されたトレーニング増加多項式法および装置
US7778949B2 (en) Method and apparatus for transductive support vector machines
JP2925434B2 (ja) 入力分類方法、トレーニング方法、及び装置
Calvo-Zaragoza et al. Prototype generation on structural data using dissimilarity space representation
Cloppet Feature selection combining genetic algorithm and adaboost classifiers
Chumuang et al. Model for handwritten recognition based on artificial intelligence
Zanwar et al. Handwritten English character recognition using swarm intelligence and neural network
Law A simple introduction to support vector machines
Demidova et al. Training set forming for SVM algorithm with use of the fuzzy clustering algorithms ensemble on base of cluster tags vectors similarity matrices
Davila et al. Bio-inspired fine-tuning for selective transfer learning in image classification
Abbas et al. Feature extraction in six blocks to detect and recognize english numbers
US20070168305A1 (en) Learning machine that considers global structure of data
Salah et al. Branched variational autoencoder classifiers
Verikas et al. Using unlabelled data to train a multilayer perceptron
Jain et al. Handwritten Marathi character image recognition using convolutional neural network
Kotsiantis et al. Local voting of weak classifiers
US6549899B1 (en) System for analyzing and synthesis of multi-factor data
Siddiqui et al. Review on Isolated Urdu Character Recognition: Offline Handwritten Approach
Bozorgtabar et al. Comparison of different PCA based face recognition algorithms using genetic programming
Laanaya et al. Feature selection using genetic algorithm for sonar images classification with support vector
Back Classification using support vector machines

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20020903