JP2020009444A - ニューラルネットワークにおいてパラメータを処理する方法及び装置 - Google Patents

ニューラルネットワークにおいてパラメータを処理する方法及び装置 Download PDF

Info

Publication number
JP2020009444A
JP2020009444A JP2019124747A JP2019124747A JP2020009444A JP 2020009444 A JP2020009444 A JP 2020009444A JP 2019124747 A JP2019124747 A JP 2019124747A JP 2019124747 A JP2019124747 A JP 2019124747A JP 2020009444 A JP2020009444 A JP 2020009444A
Authority
JP
Japan
Prior art keywords
value
gradient value
weight
neural network
bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019124747A
Other languages
English (en)
Other versions
JP7349835B2 (ja
Inventor
俊行 李
Toshiyuki Ri
俊行 李
▲ひょん▼宣 朴
HyunSun PARK
▲ひょん▼宣 朴
準鎬 宋
Junko So
準鎬 宋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=65443702&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2020009444(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2020009444A publication Critical patent/JP2020009444A/ja
Application granted granted Critical
Publication of JP7349835B2 publication Critical patent/JP7349835B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/483—Computations with numbers represented by a non-linear combination of denominational numbers, e.g. rational numbers, logarithmic number system or floating-point numbers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/50—Adding; Subtracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Neurology (AREA)
  • Nonlinear Science (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)
  • Complex Calculations (AREA)
  • Machine Translation (AREA)

Abstract

【課題】 ニューラルネットワークにおいて、パラメータを処理する方法及びその装置を提供する。【解決手段】 低精度ナンバーシステムを利用するニューラルネットワークにおいて、パラメータを処理する方法及びその装置に係り、ニューラルネットワークのウェートをアップデートするための個別グラジエント値と残余グラジエント値とを計算し、加算器を利用し、個別グラジエント値、残余グラジエント値及びウェートを合算し、合算結果に基づいて、ウェート及び残余グラジエント値をアップデートする方法及びその装置である。【選択図】 図７

Description

本発明は、ニューラルネットワークにおいてパラメータを処理する方法及び装置に関する。
ニューラルネットワーク（neural network）は、生物学的脳をモデリングしたコンピュータ科学的アーキテクチャ（computational architecture）を参照する。最近、ニューラルネットワーク技術の発展により、多種の電子システムにおいて、ニューラルネットワーク装置を使用して入力データを分析し、有効な情報を抽出する研究が活発に進められている。
ニューラルネットワーク装置は、複雑な入力データに係わる多量の演算を必要とする。該ニューラルネットワーク装置が入力をリアルタイムで分析し、情報抽出のために、ニューラルネットワーク演算を効率的に処理することができる技術が要求される。例えば、該ニューラルネットワーク装置の複雑な入力データの処理に必要な演算量を低減させながらも、精度損失を最小化させることができる技術が要求される。
特開２０１２−１９８８０４号公報 特開２０１２−２０８８４３号公報
本発明が解決しようとする課題は、ニューラルネットワークにおいて、パラメータを処理する方法及びその装置を提供するところにある。本実施形態がなす技術的課題は、前述のような技術的課題に限定されるものではなく、以下の実施形態から、他の技術的課題も類推される。
前述の技術的課題を達成するための技術的手段として、本開示の第１側面は、低精度ナンバーシステム（low-precision number system)を利用するニューラルネットワークにおいて、パラメータを処理する方法において、前記ニューラルネットワークのウェートをアップデートするための個別グラジエント値を計算する段階と、前記個別グラジエント値を累積した累積グラジエント値、及び前記ウェートのビット桁に基づいて、残余グラジエント値を計算する段階と、前記残余グラジエント値のビット桁に対応するように、前記個別グラジエント値を調整する段階と、加算器を利用し、前記調整された個別グラジエント値、前記残余グラジエント値及び前記ウェートを合算する段階と、前記合算結果に基づいて、前記ウェート及び前記残余グラジエント値をアップデートする段階と、を含む方法を提供することができる。
また、前記累積グラジエント値のうち、前記ウェートのビット桁に合算可能な値を有効グラジエント値と決定する段階と、前記累積グラジエント値から前記有効グラジエント値を減算することにより、前記残余グラジエント値を計算する段階と、を含む方法を提供することができる。
また、前記個別グラジエント値のうち、前記残余グラジエント値の最下位ビット桁未満の値が省略されるように、前記個別グラジエント値を量子化する段階と、前記残余グラジエント値の最上位ビット（ＭＳＢ：most significant bit）桁に対応するビット桁まで値が存在するように、前記量子化された個別グラジエント値をパッディング（padding）する段階と、を含む、方法を提供することができる。
また、前記加算器のビット数に基づいて、前記調整された個別グラジエント値及び前記残余グラジエント値を前記加算器にマッピングし、前記加算器を利用して中間合算値を計算する段階と、前記加算器のビット数に基づいて、前記ウェートを前記加算器にマッピングし、前記加算器を利用し、前記中間合算値及び前記ウェートを合算する段階と、を含む方法を提供することができる。
また、前記加算器の全てのビット桁に値がマッピングされるように、前記調整された個別グラジエント値、前記残余グラジエント値及び前記ウェートをパッディングする段階と、前記加算器を利用し、前記パッディングされた個別グラジエント値、前記パッディングされた中間合算値、及び前記パッディングされたウェートを合算する段階と、を含む方法を提供することができる。
また、前記ウェートのビット桁に対応する前記合算結果のビット桁の値を前記ウェートにアップデートし、前記ウェートのビット桁に対応しない前記合算結果のビット桁の値を前記残余グラジエント値にアップデートする段階と、を含む方法を提供することができる。
また、前記合算結果の最上位ビットである符号ビットを獲得する段階と、前記符号ビットが前記アップデートされたウェート、及び前記アップデートされた残余グラジエント値のうち少なくともいずれか１つの最上位ビットになるように追加する段階と、をさらに含む方法を提供することができる。
本開示の第２側面は、低精度ナンバーシステムを利用するニューラルネットワークにおいて、パラメータを処理する方法において、前記ニューラルネットワークのウェートをアップデートするための個別グラジエント値を計算する段階と、前記個別グラジエント値を累積した累積グラジエント値、及び前記ウェートのビット桁に基づいて、残余グラジエント値を計算する段階と、前記残余グラジエント値のビット桁に対応するように、前記個別グラジエント値を調整する段階と、前記残余グラジエント値から符号ビットを除外した残りの値を前記ウェートに連結（concatenation）して中間連結値を計算する段階と、加算器を利用し、前記調整された個別グラジエント値、及び前記中間連結値を合算する段階と、前記合算結果に基づいて、前記ウェート及び前記残余グラジエント値をアップデートする段階と、を含む、方法を提供することができる。
本開示の第３側面は、低精度ナンバーシステムを利用するニューラルネットワークを実施（implement）する装置において、少なくとも１つのプログラムが保存されたメモリと、及び前記少なくとも１つのプログラムを実行することにより、前記ニューラルネットワークにおいて、パラメータを処理する少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、前記ニューラルネットワークのウェートをアップデートするための個別グラジエント値を計算し、前記個別グラジエント値を累積した累積グラジエント値、及び前記ウェートのビット桁に基づいて、残余グラジエント値を計算し、前記残余グラジエント値のビット桁に対応するように、前記個別グラジエント値を調整し、加算器を利用し、前記調整された個別グラジエント値、前記残余グラジエント値及び前記ウェートを合算し、前記合算結果に基づいて、前記ウェート及び前記残余グラジエント値をアップデートする装置を提供することができる。
本開示の第４側面は、低精度ナンバーシステムを利用するニューラルネットワークを実施する装置において、少なくとも１つのプログラムが保存されたメモリ；及び前記少なくとも１つのプログラムを実行することにより、前記ニューラルネットワークにおいて、パラメータを処理する少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、前記ニューラルネットワークのウェートをアップデートするための個別グラジエント値を計算し、前記個別グラジエント値を累積した累積グラジエント値、及び前記ウェートのビット桁に基づいて、残余グラジエント値を計算し、前記残余グラジエント値のビット桁に対応するように、前記個別グラジエント値を調整し、前記残余グラジエント値から符号ビットを除外した残りの値を前記ウェートに連結し、中間連結値を計算し、加算器を利用し、前記調整された個別グラジエント値、及び前記中間連結値を合算し、前記合算結果に基づいて、前記ウェート及び前記残余グラジエント値をアップデートする装置を提供することができる。
本開示の第５側面は、第１側面の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することができる。
一実施形態によるニューラルネットワークにおいて、浮動小数点フォーマットのパラメータを、固定小数点フォーマットのパラメータに量子化する例示について説明する図面である。 一実施形態によるニューラルネットワークで行われる演算について説明するための図面である。 一実施形態による浮動小数点値の例示を図示した図面である。 一実施形態による固定小数点値の一例を図示した図面である。 一実施形態による固定小数点値の他の例を図示した図面である。 一実施形態による、ニューラルネットワークのパラメータがアップデートされる過程について説明するための図面である。 一実施形態によるニューラルネットワークにおいて、パラメータを処理する方法の一例を示すフローチャートである。 一実施形態による、固定小数点パラメータ形式のウェートがアップデートされる例示について説明するための図面である。 一実施形態による、ウェート及び残余グラジエント値をアップデートする第１例示を示す図面である。 一実施形態による、ウェート及び残余グラジエント値をアップデートする第２例示を示す図面である。 一実施形態による、加算器を利用し、ウェート及び残余グラジエント値をアップデートする第１例示を示す図面である。 一実施形態による、加算器を利用し、ウェート及び残余グラジエント値をアップデートする第２例示を示す図面である。 一実施形態による、加算器を利用し、ウェート及び残余グラジエント値をアップデートする第３例示を示す図面である。 一実施形態による、加算器を利用し、ウェート及び残余グラジエント値をアップデートする第４例示を示す図面である。 一実施形態による、ウェート及び残余グラジエント値をアップデートする方法について説明するためのフローチャートである。 一実施形態によるニューラルネットワーク装置のハードウェア構成を図示したブロック図である。
本明細書において、多様なところに記載される「一部実施形態において」または「一実施形態において」というような語句は、必ずしもいずれも同一実施形態を示すものではない。
本開示の一部実施形態は、機能的なブロック構成、及び多様な処理段階によっても示される。そのような機能ブロックの一部または全部は、特定機能を実行する多様な個数のハードウェア構成及び／またはソフトウェア構成によっても具現される。例えば、本開示の機能ブロックは、１以上のマイクロプロセッサによって具現されるか、あるいは所定機能のための回路構成によっても具現される。また、例えば、本開示の機能ブロックは、多様なプログラミング言語またはスクリプティング言語によっても具現される。該機能ブロックは、１以上のプロセッサで実行されるアルゴリズムによっても具現される。また、本開示は、電子的な環境設定、信号処理、及び／またはデータ処理などのために、従来技術を採用することができる。「メカニズム」、「要素」、「手段」及び「構成」のような用語は、汎用され、機械的であって物理的な構成として限定されるものではない。
また、図面に図示された構成要素間の連結線または連結部材は、機能的な連結及び／または物理的または回路的な連結を例示的に示したものに過ぎない。実際の装置においては、代替可能であったり、追加されたりする多様な機能的な連結、物理的な連結または回路連結によっても、構成要素間の連結が示される。
以下、図面を参照し、本発明の実施形態について詳細に説明する。
図１は、一実施形態によるニューラルネットワークにおいて、浮動小数点フォーマットのパラメータを、固定小数点フォーマットのパラメータに量子化する例示について説明する図面である。
図１を参照すれば、ニューラルネットワーク学習器１０は、ニューラルネットワークを生成するか、あるいはニューラルネットワークを訓練する（train）（または、学習させる（learn））か、浮動小数点フォーマットのニューラルネットワークを、固定小数点フォーマットのニューラルネットワークに量子化するか、あるいはニューラルネットワークを再訓練（retrain）する機能のような多様なプロセッシング機能を有するコンピュータデバイスに該当する。例えば、ニューラルネットワーク学習器１０は、ＰＣ（personal computer）、サーバデバイス、モバイルデバイスのような多種のデバイスによっても具現される。
ニューラルネットワーク学習器１０は、与えられた初期ニューラルネットワークを反復的に訓練する（学習させる）ことにより、訓練されたニューラルネットワーク１１を生成することができる。このとき、該初期ニューラルネットワークは、ニューラルネットワークの処理精度を確保する観点から、浮動小数点フォーマットのパラメータ、例えば、３２ビット浮動小数点精度（３２bit floating point precision）のパラメータを有することができる。ここで、該パラメータは、例えば、ニューラルネットワークの入出力アクティベーション、ウェート、バイアスのような、ニューラルネットワークに入出力される多種のデータを含んでもよい。ニューラルネットワークの反復的な訓練が進められることにより、ニューラルネットワークの浮動小数点パラメータは、与えられた入力に対して、さらに正確な出力を演算するためにも調整される（tuned）。
ニューラルネットワーク学習器１０は、訓練されたニューラルネットワーク１１を、ニューラルネットワーク推論器２０のようなハードウェアアクセラレータに伝達することができる。ニューラルネットワーク推論器２０は、モバイルデバイス、埋め込み（embedded）デバイスなどにも含まれる。ニューラルネットワーク推論器２０は、ニューラルネットワーク２１の駆動のための専用ハードウェアであり、比較的、低電力または低性能に具現されるために、浮動小数点演算よりは、固定小数点演算において、さらに適して具現される。一方、ニューラルネットワーク推論器２０は、ニューラルネットワーク駆動のための専用モジュールであるＴＰＵ（tensor processing unit）、ニューラルエンジン（Ｎeural Ｅngine）などに該当するが、それらに制限されるものではない。
量子化されたニューラルネットワーク２１を駆動するニューラルネットワーク推論器２０は、ニューラルネットワーク学習器１０とは別途の独立したデバイスによっても具現され得る。しかし、それに制限されるものではなく、ニューラルネットワーク推論器２０は、ニューラルネットワーク学習器１０と同一デバイス内にも具現される。
一方、該浮動小数点は、該固定小数点に比べ、相対的に多くの演算量と、多くのメモリアクセス頻度とが要求される。特に、ニューラルネットワーク処理に必要となる演算量のほとんどは、多様なパラメータの演算を行うＭＡＣ（multiplication and accumulation）演算であることが知られている。従って、比較的処理性能が低いスマートフォン、タブレット、ウェアラブルデバイスなどに含まれたニューラルネットワーク推論器２０においては、浮動小数点フォーマットのパラメータを使用するニューラルネットワークの処理は必ずしも円滑なものではない。結局、そのようなデバイスにおいて、演算量を十分に低減させながら、許容可能な精度損失内において、ニューラルネットワークを駆動させるためには、ニューラルネットワークで処理される浮動小数点フォーマットのパラメータは、量子化されることが望ましい。ここで、該パラメータ量子化は、固定精度の浮動小数点フォーマットのパラメータを、低精度の固定小数点フォーマットのパラメータに変換することを意味する。
該ニューラルネットワーク量子化装置は、訓練されたニューラルネットワーク１１のパラメータを、所定ビットの固定小数点フォーマットに変換する量子化を行う。該ニューラルネットワーク量子化装置は、ニューラルネットワーク学習器１０、ニューラルネットワーク推論器２０に含まれて動作するか、あるいは独立した第３のハードウェアアクセラレータとして動作することができる。該ニューラルネットワーク量子化装置は、ニューラルネットワークが採用される（deployed）ニューラルネットワーク推論器２０のデバイスの処理性能を考慮し、訓練されたニューラルネットワーク１１のパラメータを、所定ビットの固定小数点フォーマットに変換する量子化を行い、量子化されたニューラルネットワーク２１を採用するニューラルネットワーク推論器２０に伝達することができる。
量子化されたニューラルネットワーク２１が採用されるニューラルネットワーク推論器２０は、具体的な例示として、ニューラルネットワークを利用した音声認識、映像認識などを行う自律走行自動車、ロボティックス、スマートフォン、タブレットデバイス、ＡＲ（augmented reality）デバイス、ＩｏＴ（internet of things）デバイスなどにも含まれるが、それらに制限されるものではない。
図２は、一実施形態によるニューラルネットワークで行われる演算について説明するための図面である。図２を参照すれば、ニューラルネットワーク２は、入力レイヤ、隠れ層及び出力レイヤを含む構造を有し、受信される入力データ（例えば、Ｉ１及びＩ２）を基に演算を行い、遂行結果を基に、出力データ（例えば、Ｏ１及びＯ２）を生成することができる。
ニューラルネットワーク２は、前述のように、２層以上の隠れ層を含むＤＮＮ（deep neural network）またはｎ階層ニューラルネットワークでもある。例えば、図２に図示されているように、ニューラルネットワーク２は、入力レイヤ（Layer １）、２層の隠れ層（Layer ２及びLayer ３）、及び出力レイヤ（Layer ４）を含むＤＮＮであってもよい。ニューラルネットワーク２がＤＮＮアーキテクチャによって具現された場合、有効な情報を処理することができるさらに多いレイヤを含むので、ニューラルネットワーク２は、シングルレイヤを有するニューラルネットワークより複雑なデータ集合を処理することができる。一方、ニューラルネットワーク２は、４層のレイヤを含むように図示されているが、それは、例示に過ぎず、ニューラルネットワーク２は、さらに少なかったり多かったりするレイヤを含むか、あるいはさらに少なかったり多かったりするノードを含んでもよい。すなわち、ニューラルネットワーク２は、図２に図示されたところとは異なる、多様な構造のレイヤを含んでもよい。
ニューラルネットワーク２に含まれたレイヤそれぞれは、複数のノードを含んでもよい。該ノードは、ニューロン（neuron）、プロセッシングエレメント（ＰＥ：processing element）、ユニット（unit）、またはそれらと類似した用語として知られた、複数の人工ノード（artificial node）にも該当する。例えば、図２に図示されているように、Layer １は、２個のノード、Layer ２及びLayer ３それぞれは、３個のノードを含んでもよい。ただし、それらは、例示に過ぎず、ニューラルネットワーク２に含まれたレイヤそれぞれは、多様な個数のノードを含んでもよい。
ニューラルネットワーク２のレイヤそれぞれに含まれたノードは、互いに連結されてデータを処理することができる。例えば、１つのノードは、他のノードからデータを受信して演算することができ、該演算結果をさらに他のノードに出力することができる。
ノードそれぞれの入力及び出力のそれぞれは、入力アクティベーション及び出力アクティベーションともされる。すなわち、該アクティベーションは、１ノードの出力であると共に、次のレイヤに含まれたノードの入力に該当するパラメータでもある。一方、ノードそれぞれは、以前レイヤに含まれたノードから受信されたアクティベーション、ウェート及びバイアスに基づいて、自体のアクティベーションを決定することができる。該ウェートは、各ノードでの出力アクティベーションを計算するために利用されるパラメータであり、ノード間の連結関係に割り当てられる値でもある。
該ノードそれぞれは、入力を受信して出力アクティベーションを出力する演算ユニット（computational unit）またはプロセッシングエレメント（processing element）によっても処理され、ノードそれぞれの入力・出力は、マッピングされる。例えば、σは、アクティベーション関数（activation function）であり、ｗｉ ｊｋは、（ｉ−１）番目レイヤに含まれたｋ番目ノードから、ｉ番目レイヤに含まれたｊ番目ノードへのウェートであり、ｂｉ ｊは、ｉ番目レイヤに含まれたｊ番目ノードのバイアスであり、ａｉ ｊは、ｉ番目レイヤのｊ番目ノードのアクティベーションであるとするとき、該アクティベーションａｉ ｊは、次のような数式（１）を利用しても計算される。

図２に図示されているように、２番目レイヤ（Layer ２）の最初ノードＣＨ１のアクティベーションは、ａ２ １とも表現される。また、ａ２ １は、数式（１）により、
ａ２ １＝σ（ｗ２ １，１×ａ１ １＋ｗ２ １，２×ａ１ ２＋ｂ２ １）
の値を有することができる。ただし、前述の数式（１）は、ニューラルネットワーク２において、データを処理するために利用されるアクティベーション、ウェート及びバイアスについて説明するための例示であるのみ、それに制限されるものではない。該アクティベーションは、以前レイヤから受信されたアクティベーションの加重値和（weighted sum）をsigmoid関数やＲｅＬＵ（Rectified Linear Unit）関数などのアクティベーション関数に通過させることによって獲得された値でもある。
一方、ニューラルネットワーク２は、低精度ナンバーシステム（low-precision number system）を利用することができる。低精度ナンバーシステムは、従来のニューラルネットワークより相対的に少ないビット個数を有する値をパラメータとして利用することにより、精度（precision）を低くしながら、演算量を低減させるシステムを意味する。例えば、３２ビットまたは６４ビットの浮動小数点または固定小数点値を利用する従来のニューラルネットワークとは異なり、低精度ナンバーシステムを利用するニューラルネットワーク２は、８ビットまたは１６ビットの浮動小数点または固定小数点値をパラメータとして利用することができる。
ニューラルネットワーク２が、８ビットまたは１６ビットの浮動小数点または固定小数点値を利用するということは、ニューラルネットワーク２のアクティベーション値、ウェート及びノードのバイアス値などのパラメータが、８ビットまたは１６ビットの浮動小数点または固定小数点形式を有するということを意味する。ただし、低精度ナンバーシステムを利用するニューラルネットワーク２は、さらに少ないビット個数を有する浮動小数点または固定小数点データをパラメータとして利用することもでき、前述の例示に制限されるものではない。
ニューラルネットワーク２においては、多くのデータ集合が相互連結された複数のノード間で交換され、レイヤを過ぎながら、多くの演算過程を経る。低精度ナンバーシステムを利用するニューラルネットワーク２は、多くの演算過程において、従来のニューラルネットワークより少ないビット個数を有するデータを利用するので、従来のニューラルネットワークと比較し、演算量が低減される。ただし、該低精度ナンバーシステムを利用するニューラルネットワーク２は、演算量を低減させながらも、精度損失を最小化させることができる技術が要求される。
図３Ａは、一実施形態による浮動小数点値の例示を図示した図面であり、図３Ｂは、一実施形態による固定小数点値の一例を図示した図面であり、図３Ｃは、一実施形態による固定小数点値の他の例を図示した図面である。
図３Ａを参照すれば、浮動小数点値３０は、符号ビット３１０、指数部３２０、仮数部３３０及びバイアス３４０からも構成される。該浮動小数点は、１つの数を、小数点部分を示す部分と小数点位置を示す部分とに分けて表現する表記法である。
仮数部３３０は、小数点部分を示す部分に対応し、指数部３２０は、小数点位置を示す部分に対応する。符号ビット３１０は、浮動小数点値３０の符号を決定することができる。バイアス３４０は、指数部３２０に加減される値であり、負の指数を表現するために決定される値でもある。浮動小数点値３０は、符号ビット３１０、指数部３２０に対応するビット、及び仮数部３３０に対応するビットを含んでもよい。バイアス３４０は、浮動小数点値３０に対して事前に決定され、別途に保存される。
一方、浮動小数点値３０は、符号ビット３１０をsign、指数部３２０をexponent、仮数部３３０をmantissa、バイアス３４０をbiasとするとき、次のような数式（２）による値を有することができる。

図３Ｂを参照すれば、固定小数点値３５は、符号ビット３１５、整数部３２５、小数部３３５及び小数点３４５から構成される。該固定小数点は、小数点を使用し、固定された桁数の小数を示す表記法を意味する。
符号ビット３１５は、固定小数点値３５の符号を決定し、整数部３２５は、固定小数点値３５の整数を示す部分に対応し、小数部３３５は、固定小数点値３５の小数を示す部分に対応する。小数点３４５は、固定小数点値３５の整数部３２５及び小数部３３５を区分する基準になる点を意味する。
一方、固定小数点値３５が示す値は、図３Ｃを参照しても説明される。図３Ｃを参照すれば、固定小数点値３５は、８ビット固定小数点値でもある。また、固定小数点値３５は、整数部３２５、小数部３３５及び小数点３４５からも構成される。
整数部３２５及び小数部３３５を示すビットそれぞれは、１または０の値を有することができる。また、図３Ｃに図示されているように、整数部３２５及び小数部３３５を示すビットは、順に−８、＋４、＋２、＋１、＋０．５、＋０．２５、＋０．１２５及び＋０．０６２５の値を示すことができる。整数部３２５の最上位ビット（ＭＳＢ：most significant bit）が１である場合、整数部３２５の最上位ビットが示す値は、−８であるので、整数部３２５及び小数部３３５に含まれる他のビットがいかなる値を有するにしても、固定小数点値３５が示す値は、負数である。整数部３２５の最上位ビットは、固定小数点値３５の符号を決定する符号ビット３１５に対応する。
ただし、図３Ｃは例示に過ぎず、固定小数点値３５は、１６ビット固定小数点値でもあり、任意の適切な数のビット個数を有する固定小数点値でもある。また、固定小数点値３５は、符号化表現法、１の補数法及び２の補数法のうちいずれか１つの表現法によって負数を示すことができる。
図４は、一実施形態による、ニューラルネットワークのパラメータがアップデートされる過程について説明するための図面である。
ニューラルネットワークのパラメータは、ニューラルネットワークに含まれるノード間の連結関係に割り当てられるウェートでもある。以下において、該ニューラルネットワークで処理されるパラメータをウェートとして説明するが、該パラメータは、必ずしもウェートに限定されるものではない。該パラメータは、ニューラルネットワークで処理される任意のデータを意味する。
個別グラジエント値（ｍ）は、ウェート（θ）をアップデートするために計算される値でもある。該ニューラルネットワークにおいて学習を行う対象は、ウェート（θ）であり、該ニューラルネットワークがだんだんにさらに良好な結果を出力するためには、ウェート（θ）が学習過程において、反復的にアップデートされる必要がある。
一方、ウェート（θ）を効果的にアップデートするためには、ネットワークで出す結果値と、実際の結果値との差を定義する損失関数（Ｊ（θ））の値を最小化させる必要があり、損失関数（Ｊ（θ））の値を最小化させるために、多様なOptimizerが利用される。
一実施形態においてOptimizerは、グラジエントディセント（gradient descent）方式を利用することができる。該グラジエントディセント方式は、ウェート（θ）に対して、グラジエントの反対方向に、一定サイズほど移動することを反復し、損失関数（Ｊ（θ））の値を最小化させるθ値を求める方式である。該グラジエントディセント方式は、下記数式（３）のように表現することができる。数式（３）において、∇θＪ（θ）は、損失（Ｊ（θ））の勾配であり、ηは、学習速度である。

特に、損失関数（Ｊ（θ））を計算するとき、全体学習データを使用することを、batch gradient descentと言うが、その場合、過度に多くの計算量が必要である。それを防止するために、全体データ（batch）の代わりに、一部小データの集まり（mini-batch）についてのみ損失関数（Ｊ（θ））を計算するＳＧＤ（stochastic gradient descent）方法が使用される。
図４を参照すれば、オプティマイザ（Optimizer）がグラジエントディセント方式を利用する場合、個別グラジエント値（ｍ）は、η∇θＪ（θ）∇になる。
他の実施形態において、Optimizerは、モーメンタム（momentum）方式を利用することができる。該モーメンタム方式は、グラジエントディセントを介して移動する過程において、「慣性」を与えるものである。現在グラジエントを介して、移動する方向とは別個に、過去に移動した方式を記憶しながら、その方向に一定程度追加して移動する方式である。該モーメンタム方式は、下記数式（４）のように表現することができる。数式（４）において、ｖｔは、時間ステップｔでの移動ベクトルであり、γは、いかほどモーメンタムを与えるかということに係わるモーメンタム項（momentum term）である。

図４を参照すれば、Optimizerがモーメンタム方式を利用する場合、個別グラジエント値（ｍ）は、γｖｔ−１＋η∇θＪ（θ）になる。
Optimizerは、前述のＳＧＤグラジエントディセント方式及びモーメンタム方式の以外にも、Ａｄａｇｒａｄ（Adaptive Gradient）方式、ＲＭＳＰｒｏｐ方式、ＡｄａＤｅｌｔａ（Adaptive Delta）方式、Ａｄａｍ（Adaptive Moment Estimation）方式などを利用することができる。
一方、一般的なニューラルネットワークにおいて、個別グラジエント値（ｍ）は、ウェート（θ）よりはるかに小さい値を有する。該ニューラルネットワークが低精度ナンバーシステム（例えば、８ビットまたは１６ビット）を利用する場合、個別グラジエント値（ｍ）は、ウェート（θ）が示すことができる値の範囲に含まれない。それにより、ウェート（θ）が多様なアップデート方式（ＳＧＤグラジエントディセント方式、モーメンタム方式など）によってアップデートされるとき、個別グラジエント値（ｍ）は、無視され、ウェート（θ）は、アップデートされない。該ニューラルネットワークがだんだんとさらに良好な結果を出力するためには、ウェート（θ）が反復してアップデートされなければならないにもかかわらず、個別グラジエント値（ｍ）の大きさにより、ウェートがアップデートされない。
以下では、説明の便宜上、Optimizerがグラジエントディセント方式を利用することに限定して説明する。
図５は、一実施形態によるニューラルネットワークにおいて、パラメータを処理する方法の一例を示すフローチャートである。
該ニューラルネットワークは、低精度ナンバーシステムを利用するニューラルネットワークでもある。パラメータは、ニューラルネットワークに含まれるノード間の連結関係に割り当てられるウェートでもある。以下において、ニューラルネットワークで処理されるパラメータをウェートとして説明するが、該パラメータは、必ずしもウェートに限定されるものではない。該パラメータは、ニューラルネットワークで処理される任意のデータを意味する。
図５を参照すれば、段階５１０において、ニューラルネットワーク装置は、ニューラルネットワークに含まれるノード間の連結関係に割り当てられるウェートのための個別グラジエント（individual gradient）値を計算することができる。該ウェートは、浮動小数点値または固定小数点値でもある。
該個別グラジエント値は、ウェートをアップデートするために計算される値でもある。該ニューラルネットワークで学習を行う対象は、ウェートであり、該ニューラルネットワークがだんだんとさらに良好な結果を出力するためには、該ウェートが、学習過程において反復してアップデートされる必要がある。該ウェートをアップデートするための方法のうち一つとして、例えば、傾斜下降法（gradient descent algorithm）が利用される。該傾斜下降法は、損失関数または誤差関数の最低点を求めるために、損失関数または誤差関数の勾配方向にパラメータを調整することにより、誤差を最小化させるアルゴリズムを意味する。例えば、損失関数がＬであり、該パラメータがθであり、学習速度（learning rate）がηであるとするとき、該パラメータは、次のような数式（５）によっても調整される。

パラメータをアップデートするために計算されるη（∂Ｌ／∂θ）は、損失関数の勾配方向にパラメータを調整するためのグラジエントを意味する。例えば、パラメータがウェートであるとき、η（∂Ｌ／∂θ）は、ウェートをアップデートするために計算される個別グラジエント値でもある。
一方、一般的なニューラルネットワークにおいて、個別グラジエント値η（∂Ｌ／∂θ）は、ウェートよりはるかに小さい値を有する。ニューラルネットワークが、低精度ナンバーシステム（例えば、８ビットまたは１６ビット）を利用する場合、個別グラジエント値η（∂Ｌ／∂θ）は、ウェートが示すことができる値の範囲に含まれないかもしれない。それにより、該ウェートが、数式（５）によってアップデートされるとき、個別グラジエント値η（∂Ｌ／∂θ）は、無視され、該ウェートは、アップデートされないことが懸念される。該ニューラルネットワークがだんだんとさらに良好な結果を出力するためには、ウェートが反復してアップデートされなければならないにもかかわらず、個別グラジエント値η（∂Ｌ／∂θ）の大きさに起因して、該ウェートがアップデートされない場合がある。
本開示によるニューラルネットワーク装置は、段階５２０及び段階５３０を遂行することにより、個別グラジエント値は無視されず、ウェートをアップデートする過程において反映される。段階５２０において、該ニューラルネットワーク装置は、個別グラジエント値を累積バッファ（accumulation buffer）に累積することができる。該累積バッファは、個別グラジエント値を累積するための専用ハードウェアでもあり、該個別グラジエント値を累積するために割り当てられたメモリでもある。該個別グラジエント値は、累積バッファに累積し、累積グラジエント値にもなる。該累積バッファは、累積グラジエント値を保存することができる。
低精度ナンバーシステムを利用するニューラルネットワークにおいて、個別グラジエント値がウェートをアップデートする過程において無視されないように、該ニューラルネットワーク装置は、個別アップデート値を、ウェートに影響を与えることができる大きさまで累積することができる。
段階５３０において、該ニューラルネットワーク装置は、累積バッファの累積グラジエント値が臨界値以上である場合、累積グラジエント値を利用し、ウェートをアップデートすることができる。該ニューラルネットワーク装置は、累積バッファの累積グラジエント値が臨界値以上であるか否かということを判断することができる。該臨界値は、累積グラジエント値がウェートに影響を与えることができる大きさまで累積したか否かということを決定するための値でもある。例えば、該臨界値は、ウェートの最下位ビット桁に対応する値でもある。
該ウェートが固定小数点値である場合、ウェートの最下位ビット桁は、ウェートを示すビットのうち最下位ビットに対応する桁でもある。例えば、ウェートの最下位ビットが２−４桁を示す場合、ウェートの最下位ビット桁は、２−４桁でもあり、臨界値は、その最下位ビット桁２−４桁に対応する値である２−４でもある。
該ウェートが浮動小数点値である場合、ウェートの最下位ビット桁は、ウェートの指数部を示すビットのうち最下位ビットに対応する桁でもある。ただし、該ウェートが浮動小数点値である場合には、最下位ビット桁が決定されるために、バイアスが考慮される。例えば、ウェートの指数部を示すビットのうち最下位ビットが２０桁を示したとしても、バイアスが８である場合、該ウェートの最下位ビット桁は、２の（２０）乗＝２１桁ではなく、２１−８＝２−７桁であり、該臨界値は、その最下位ビット桁２−７桁に対応する値である２−７でもある。
ただし、それは、例示に過ぎず、該臨界値は、ウェートの最下位ビット桁に対応する値と、累積グラジエント値の最上位ビット桁に対応する値との間の任意の適切な値でもある。
該累積グラジエント値が臨界値以上である場合、該累積グラジエント値は、ウェートに影響を与えることができる大きさを有するので、該ニューラルネットワーク装置は、該累積グラジエント値を利用し、ウェートをアップデートすることができる。
具体的には、該ニューラルネットワーク装置は、該累積グラジエント値のうちウェートのビット桁に合算可能な部分を有効グラジエント（effective gradient）値と決定することができる。有効グラジエント値とは、該累積グラジエント値において、ウェートをアップデートするために、実際に利用される値を意味する。該ウェートが示すことができる値の範囲は、該ウェートに割り当てられたビット桁によって限界が存在する。従って、該累積グラジエント値のうちウェートの最下位ビット桁以上の値だけがウェートに合算される。
例えば、ウェートが１ビットの符号ビット、３ビットの整数部、及び４ビットの小数部を含む８ビット固定小数点値であるとするとき、ウェートのビット桁は、２２，２１，２０，２−１，２−２，２−３及び２−４桁でもある。該ウェートが示すことができる値の範囲の限界により、該ウェートにある値が合算されるためには、その値が２２，２１，２０，２−１，２−２，２−３及び２−４のうちいずれか１つの桁に対応する値を少なくとも一つ含まなければならない。例えば、該ウェートに、１．２６５６２５（十進数）という値が合算されるべきであると仮定する。１．２６５６２５は、１×２０＋１×２−２＋１×２−６であるので、該ウェートのビット桁に対応する１×２０及び１×２−２は、ウェートに合算されるが、１×２−６は、ウェートが示すことができる値の範囲の限界に起因して、ウェートに合算されない。
一方、ウェートのビット桁に合算可能な部分は、ウェートの最下位ビット桁が示す値の倍数を含んでもよい。前述の例示において、該ウェートの最下位ビット桁に対応する値は、２−４であり、累積アップデート値のうち該ウェートのビット桁に合算可能な部分は、２２，２１，２０，２−１，２−２，２−３及び２−４桁に対応する値である２２，２１，２０，２−１，２−２，２−３及び２−４である。２２，２１，２０，２−１，２−２，２−３及び２−４は、いずれも最下位ビット桁に対応する値である２−４の倍数である。
該臨界値は、ウェートの最下位ビット桁に対応する値でもあるので、有効グラジエント値は、臨界値の倍数によっても構成される。例えば、累積グラジエント値を、Accumulated gradient、臨界値をthresholdとするとき、該有効グラジエント値は、次のような数式（６）による。
数式（６）で、L Accumulated gradient/threshold 」は、Accumulated gradientをthresholdで除した商を意味する。該有効グラジエント値は、累積グラジエント値を臨界値で除した商に臨界値を乗じた値を意味する。また、該有効グラジエント値は、該累積グラジエント値より小さい値を有する、臨界値の倍数のうち最も大きい値でもある。例えば、Accumulated gradientが２．２（十進数）であり、thresholdが１（十進数）である場合、該有効グラジエント値は、累積グラジエント値２．２より小さい値を有する、臨界値１の倍数である１、２のうちより大きい値である２である。
該ニューラルネットワーク装置は、ウェートと有効グラジエント値とを合算することができる。該有効グラジエント値は、ウェートをアップデートするために、実際に利用される値であるので、該ニューラルネットワーク装置は、該ウェートに該有効グラジエント値を合算することにより、ウェートをアップデートすることができる。
また、該ニューラルネットワーク装置は、累積バッファの累積グラジエント値から有効グラジエント値を減算することができる。該累積バッファの該累積グラジエント値のうち該有効グラジエント値がウェートに反映されるので、該ニューラルネットワーク装置は、該累積バッファの該累積グラジエント値から該有効グラジエント値を減算することができる。例えば、ウェートがアップデートされることにより、該累積グラジエント値は、次のような数式（７）をよっても減算される。

数式（７）で、L Accumulated gradient/threshold 」×thresholdは、有効グラジエント値であるので、累積バッファの累積グラジエント値は、以前累積グラジエント値から有効グラジエント値が減算された値でもある。
該ニューラルネットワーク装置は、ウェートをアップデートした後、累積バッファの累積グラジエント値に、個別グラジエント値を続けて累積することができ、前述の過程を反復することができる。本開示によるニューラルネットワークにおいて、パラメータの処理方法は、一般的にウェートよりはるかに小さい値を有する個別グラジエント値を無視したり捨てたりする代わりに、ウェートに影響を与えることができる大きさまで累積してウェートに適用することにより、低精度ナンバーシステムを利用するニューラルネットワークでの四捨五入誤差（rounding error）を最小化させることができる。また、本開示によるニューラルネットワークにおいて、パラメータ処理方法は、累積グラジエント値のうちウェートにアップデートされて残った部分も、続けて累積バッファに維持することにより、精度損失を最小化させることができる。
一方、該ニューラルネットワーク装置は、累積アップデート値が臨界値以上であるか否かということを、既設定アップデート周期ごとに判断することができる。例えば、アップデート周期ｔ＝４、すなわち、個別グラジエント値４個が計算される時間を意味するが、それに制限されるものではない。
図６は、一実施形態による、固定小数点パラメータ形式のウェートがアップデートされる例示について説明するための図面である。
図６を参照すれば、固定小数点パラメータを利用するニューラルネットワークにおいて、ウェート６０は、第１符号ビット６１０、第１整数部６２０、第１小数部６３０及び第１小数点６４０から構成された固定小数点値であり、累積グラジエント値６５は、第２符号ビット６１５、第２小数部６３５及び第２小数点（小数点）から構成された固定小数点値でもある。一実施形態によれば、ウェート６０は、第１小数点６４０が移動可能な動的固定小数点（dynamic fixed point）値でもある。第１小数点６４０が移動されることにより、第１小数部６３０のビット個数（長さ）が調整される。
累積グラジエント値６５は、整数部を含まない。例えば、第１小数点６４０及び第２小数点が同一である場合、累積グラジエント値６５は、ウェート６０に比べ、相当に小さい値のみを示すことができるので、整数部を含まず、小数部（すなわち、第２小数部６３５））のみを含んでもよい。一方、第２小数点は、第１小数点６４０と同一であってもよく、異なっていてもよい。第２小数点は、状況によっても調整される。
ウェート６０は、ｍビット（ｍは、任意の自然数）の固定小数点値でもあり、累積グラジエント値６５は、ｎビット（ｎは、任意の自然数）の固定小数点値でもある。ｍ及びｎは、同一値でもあり、異なる値でもある。低精度ナンバーシステムを利用するニューラルネットワークにおいて、ｍ及びｎそれぞれは、８または１６の値を有することができるが、それらに制限されるものではない。
累積グラジエント値６５は、ウェート６０と比較し、相対的に小さい値を有することができる。従って、ウェート６０を示すビットそれぞれに対応する値は、累積グラジエント値６５を示すビットそれぞれに対応する値より概して大きくなる。ただし、ウェート６０を示すビットのうちいずれか１つのビットに対応する値は、累積グラジエント値６５を示すビットのうちいずれか１つのビットに対応する値と同一でもある。ウェート６０がアップデートされるためには、累積グラジエント値６５の一部が、ウェート６０に合算されなければならないので、ウェート６０の下位ビットのうち一部は、累積グラジエント値６５の上位ビットのうち一部とオーバーラップする。
ウェート６０と累積グラジエント値６５との間でオーバーラップされるビット６５０がｋビット（ｋは、任意の自然数）であるとするとき、該ニューラルネットワークは、実質的に（ｍ＋ｎ−２−ｋ）ビットの固定小数点データを利用するところと同一効果を得ることができる。
ウェート６０と累積グラジエント値６５との間でオーバーラップされるビット６５０は、臨界値６６０を基準に決定されてもよい。臨界値６６０は、累積グラジエント値６５がウェート６０に影響を与えることができる大きさまで累積されているか否かということを決定するための値でもある。例えば、臨界値６６０は、ウェート６０の最下位ビット桁に対応する値でもある。オーバーラップされるビット６５０は、累積グラジエント値６５を示すビットのうち、臨界値６６０以上の値を示すビットでもある。オーバーラップされるビット６５０は、ウェート６０の下位ビットのうち一部とオーバーラップされるので、ウェート６０とも合算される。一方、ウェート６０の下位ビットは、第１小数部６３０を示すことができる。
個別グラジエント値が累積され、累積グラジエント値６５がウェート６０に影響を与えることができる大きさまで大きくなれば、該ニューラルネットワーク装置は、累積グラジエント値６５を利用し、ウェート６０をアップデートすることができる。例えば、該ニューラルネットワーク装置は、累積グラジエント値６５の第２小数部６３５を示すビットのうちウェート６０の第１小数部６３０とオーバーラップされる少なくとも１つのビット６５０が示す値をウェート６０と合算することができる。オーバーラップされる少なくとも１つのビット６５０が示す値は、有効グラジエント値に対応する。
一方、累積グラジエント値６５の第２小数部６３５を示すビットのうちウェート６０の第１小数部６３０とオーバーラップされる少なくとも１つのビット６５０が示す値をウェート６０と合算する過程において、パッディング（padding）方式が適用されてもよい。
図７は、一実施形態による、ウェート及び残余グラジエント値をアップデートする例示を示す図面である。
図７を参照すれば、ニューラルネットワーク装置は、個別グラジエント値７１０、残余グラジエント値７２０及びウェート７３０を利用し、ウェート７３０及び残余グラジエント値７２０をアップデートすることができる。一実施形態において、該ニューラルネットワーク装置は、低精度ナンバーシステムを利用し、個別グラジエント値７１０、残余グラジエント値７２０及びウェート７３０を示すことができる。例えば、個別グラジエント値７１０、残余グラジエント値７２０及びウェート７３０は、８ビットまたは１６ビットの浮動小数点または固定小数点値でもあるが、それらに制限されるものではない。
該ニューラルネットワーク装置は、ニューラルネットワークに含まれるノード間の連結関係に割り当てられるウェートのための個別グラジエント値７１０を計算することができる。個別グラジエント値７１０は、ウェート７３０をアップデートするために計算される値でもある。該ニューラルネットワークで学習を行う対象は、ウェートであり、該ニューラルネットワークがだんだんとさらに良好な結果を出力するためには、ウェート７３０が学習過程において、反復してアップデートされる必要がある。図４で説明したように、該ニューラルネットワーク装置のOptimizerは、グラジエントディセント方式、モーメンタム方式などを利用し、個別グラジエント値７１０を計算することができる。
該ニューラルネットワーク装置は、個別グラジエント値７１０を累積バッファに累積することができる。低精度ナンバーシステムを利用するニューラルネットワークにおいて、個別グラジエント値７１０がウェートをアップデートする過程で無視されないように、該ニューラルネットワーク装置は、個別グラジエント値７１０をウェートに影響を与えることができる大きさまで累積することができる。
該ニューラルネットワーク装置は、累積バッファの累積グラジエント値が臨界値以上である場合、該累積グラジエント値のうち、ウェート７３０のビット桁に合算可能な部分を有効グラジエント値と決定することができる。該ニューラルネットワーク装置は、累積グラジエント値から有効グラジエント値を減算することにより、残余グラジエント値７２０を計算することができる。
図７を参照すれば、ニューラルネットワーク装置は、個別グラジエント値７１０と残余グラジエント値７２０とを合算し、中間合算値７４０を計算することができる。図７においては、個別グラジエント値７１０及び残余グラジエント値７２０のいずれも最上位ビット（ＭＳＢ）に符号ビットを含んでおり、ニューラルネットワーク装置は、２つの値の符号ビットを考慮し、個別グラジエント値７１０と残余グラジエント値７２０との中間合算値７４０を計算することができる。
そのとき、個別グラジエント値７１０と残余グラジエント値７２０とのビット数及びビット桁が対応しない場合、該ニューラルネットワーク装置は、残余グラジエント値７２０のビット数及びビット桁に対応するように、個別グラジエント値７１０を調整することができる。一実施形態において、該ニューラルネットワーク装置は、個別グラジエント値７１０を量子化してパッディングすることにより、残余グラジエント値７２０のビット数及びビット桁に対応するように、個別グラジエント値７１０を調整することができる。
ニューラルネットワーク装置は、中間合算値７４０とウェート７３０とを合算し、最終合算値７５０を計算することができる。該ニューラルネットワーク装置は、最終合算値７５０から、アップデートされたウェート７６０及びアップデートされた残余グラジエント値７７０を獲得することができる。一実施形態において、該ニューラルネットワーク装置は、ウェート７３０のビット桁に基づいて、最終合算値７５０からアップデートされたウェート７６０、及びアップデートされた残余グラジエント値７７０を獲得することができる。例えば、該ニューラルネットワーク装置は、ウェート７３０のビット桁に対応する最終合算値７５０のビット桁の値を、アップデートされたウェート７６０として獲得することができる。また、ニューラルネットワーク装置は、ウェート７３０のビット桁に対応しない最終合算値７５０のビット桁の値を、アップデートされた残余グラジエント値７７０として獲得することができる。
そのとき、アップデートされたウェート７６０の最上位ビットは、最終合算値７５０の最上位ビットである符号ビットでもある。また、該ニューラルネットワーク装置は、最終合算値７５０の符号ビットを獲得し、獲得された符号ビットがアップデートされた残余グラジエント値７７０の最上位ビットになるように、アップデートされた残余グラジエント値７７０に追加される。
一方、アップデートされた残余グラジエント値７７０に新たな個別グラジエント値が合算されることにより、アップデートされた残余グラジエント値７７０と、新たな個別グラジエント値との合算結果である累積グラジエント値が臨界値以上になった場合、前述の過程が反復され、ウェート及び残余グラジエント値が再アップデートされる。
図８は、一実施形態による、ウェート及び残余グラジエント値をアップデートする例示を示す図面である。
図８を参照すれば、ニューラルネットワーク装置は、個別グラジエント値８１０と残余グラジエント値８２０とのビット数及びビット桁が対応しないので、該ニューラルネットワーク装置は、残余グラジエント値８２０のビット数及びビット桁に対応するように、個別グラジエント値８１０を調整することができる。一実施形態において、該ニューラルネットワーク装置は、個別グラジエント値８１０を量子化してパッディングすることにより、残余グラジエント値８２０のビット数及びビット桁に対応するように、個別グラジエント値８１０を調整することができる。
以下、便宜上、図７と重複する説明は、省略する。
該ニューラルネットワーク装置は、符号ビットが除かれた残余グラジエント値８２０をウェート８３０に連結（concatenation）し、中間連結値８４０を計算することができる。そのとき、中間連結値８４０の最上位ビットは、ウェート８３０の符号ビットに該当する。
該ニューラルネットワーク装置は、中間連結値８４０と個別グラジエント値８１０とを合算し、最終合算値８５０を計算することができる。該ニューラルネットワーク装置は、最終合算値８５０から、アップデートされたウェート８６０及びアップデートされた残余グラジエント値８７０を獲得することができる。一実施形態において、ニューラルネットワーク装置は、ウェート８３０のビット桁に基づいて、最終合算値８５０から、アップデートされたウェート８６０、及びアップデートされた残余グラジエント値８７０を獲得することができる。例えば、該ニューラルネットワーク装置は、最終合算値８５０において、ウェート８３０のビット桁に対応する最終合算値８５０のビット桁の値を、アップデートされたウェート８６０として獲得することができる。また、ニューラルネットワーク装置は、ウェート８３０のビット桁に対応しない最終合算値８５０のビット桁の値を、アップデートされた残余グラジエント値８７０として獲得することができる。
そのとき、アップデートされたウェート８６０の最上位ビットは、最終合算値８５０の最上位ビットである符号ビットでもある。しかし、アップデート以前の残余グラジエント値８２０と同様に、アップデートされた残余グラジエント値８７０は、符号ビットを含まない。すなわち、図７とは異なり、該ニューラルネットワーク装置は、最終合算値８５０の符号ビットを、アップデートされた残余グラジエント値８７０に追加しない。
一方、アップデートされた残余グラジエント値８７０に、新たな個別グラジエント値が合算されることにより、アップデートされた残余グラジエント値８７０と、新たな個別グラジエント値との合算結果である累積グラジエント値が、臨界値以上になった場合、前述の過程が反復され、ウェート及び残余グラジエント値が再アップデートされる。
図９は、一実施形態による、加算器を利用し、ウェート及び残余グラジエント値をアップデートする例示を示す図面である。
ニューラルネットワーク装置は、加算器９００を利用し、個別グラジエント値、残余グラジエント値及びウェートを合算することができる。加算器９００は、算術論理演算装置（ＡＬＵ：arithmetic logic unit）の一種であり、所定ビット数を有することができ、加算器９００のビット数により、処理能が決定される。すなわち、加算器９００のビット数により、加算器９００で合算することができるデータのビット数が決定される。
該ニューラルネットワーク装置は、個別グラジエント値９１０、残余グラジエント値９２０及びウェート９３０を利用し、ウェート９３０及び残余グラジエント値９２０をアップデートすることができる。個別グラジエント値９１０、残余グラジエント値９２０及びウェート９３０は、低精度ナンバーシステムで利用される固定小数点または浮動小数点値でもある。
図９においては、３２ビット加算器９００を利用し、１６ビットの個別グラジエント値９１０、残余グラジエント値９２０及びウェート９３０を合算する過程が図示される。
図９を参照すれば、該ニューラルネットワーク装置は、個別グラジエント値９１０のビット数及びビット桁が、残余グラジエント値９２０のビット数及びビット桁に対応するように、個別グラジエント値９１０を調整することができる。一実施形態において、ニューラルネットワーク装置は、個別グラジエント値９１０を量子化してパッディングすることにより、残余グラジエント値９２０のビット数及びビット桁に対応するように、個別グラジエント値９１０を調整することができる。
具体的には、ニューラルネットワーク装置は、個別グラジエント値９１０において、残余グラジエント値９２０の最下位ビット桁未満の値が省略されるように、個別グラジエント値９１０を量子化させることができる。また、該ニューラルネットワーク装置は、残余グラジエント値９２０の最上位ビット桁に対応するビット桁まで値が存在するように、量子化された個別グラジエント値をパッディングすることができる。すなわち、該ニューラルネットワーク装置は、個別グラジエント値９１０に、量子化及びパッディングを適用することによって調整された個別グラジエント値９１２を計算することができる。調整された個別グラジエント値９１２のビット数及びビット桁は、残余グラジエント値９２０のビット数及びビット桁に対応する。
一方、個別グラジエント値９１０のビット数及びビット桁のうち少なくともいずれか一つが残余グラジエント値９２０のビット数及びビット桁に対応する場合、個別グラジエント値９１０を量子化したりパッディングしたりする過程は、省略される。
該ニューラルネットワーク装置は、加算器９００のビット数に基づいて調整された個別グラジエント値９１２及び残余グラジエント値９２０を、加算器９００にマッピングすることができる。すなわち、３２ビット加算器９００を利用して演算することができるように、ニューラルネットワーク装置は、１６ビットの調整された個別グラジエント値９１２及び残余グラジエント値９２０を、３２ビットにマッピングすることができる。一実施形態において、ニューラルネットワーク装置は、１の補数（complement）方式または２の補数方式が適用された補数器を利用し、１６ビットの調整された個別グラジエント値９１２及び残余グラジエント値９２０を３２ビットにマッピングすることができる。しかし、マッピング方式は、それに制限されるものではない。
例えば、ニューラルネットワーク装置は、１６ビットの調整された個別グラジエント値９１２及び残余グラジエント値９２０それぞれの符号ビットを、加算器９００の最上位ビット桁にマッピングし、残り１５ビットを、加算器９００の最下位ビットを除いた残り下位１５ビット桁にマッピングすることができる。その場合、加算器９００の最上位ビットを除いた残り上位１５ビット桁及び最下位ビット桁は、パッディングされる。
ニューラルネットワーク装置は、加算器９００を利用し、加算器９００にマッピングされた個別グラジエント値９１４及び残余グラジエント値９２４を合算することにより、中間合算値９４０を計算することができる。図９においては、個別グラジエント値９１４及び残余グラジエント値９２４のいずれも、符号ビットを最上位ビットとして含んでおり、ニューラルネットワーク装置は、２つの値の符号ビットを考慮し、個別グラジエント値９１４と残余グラジエント値９２４とを合算することにより、中間合算値９４０を計算することができる。
該ニューラルネットワーク装置は、加算器９００のビット数に基づいて、ウェート９３０を、加算器にマッピングすることができる。前述のように、３２ビット加算器９００を利用して演算することができるように、ニューラルネットワーク装置は、１６ビットのウェート９３０を３２ビットにマッピングすることができる。該ニューラルネットワーク装置は、加算器９００の最上位ビット桁方向から下位ビット桁方向に、ウェート９３５をマッピングすることができる。すなわち、該ニューラルネットワーク装置は、加算器９００の上位１６ビット桁に、１６ビットのウェート９３５をマッピングすることができる。また、対応するウェート９３０が存在しない加算器９００の下位１６ビット桁は、パッディングされる。
ニューラルネットワーク装置は、加算器９００にマッピングされたウェート９３５及び中間合算値９４０を合算し、最終合算値９５０を計算することができる。該ニューラルネットワーク装置は、最終合算値９５０から、アップデートされたウェート９６０及びアップデートされた残余グラジエント値９７０を獲得することができる。
一実施形態において、ニューラルネットワーク装置は、ウェート９３０のビット桁に基づいて、最終合算値９５０からアップデートされたウェート９６０及びアップデートされた残余グラジエント値９７０を獲得することができる。該ニューラルネットワーク装置は、ウェート９３０のビット桁に対応する最終合算値９５０のビット桁の値を、アップデートされたウェート９６０として獲得することができる。また、該ニューラルネットワーク装置は、ウェート９３０のビット桁に対応しない最終合算値９５０のビット桁の値を、アップデートされた残余グラジエント値９７０として獲得することができる。
例えば、ニューラルネットワーク装置は、３２ビット加算器９００の演算結果である３２ビットの最終合算値９５０において、ウェート９３０のビット桁に対応する最終合算値９５０の上位１６ビット桁の値を、アップデートされたウェート９６０として獲得し、下位１６ビット桁の値は、アップデートされた残余グラジエント値９７０として獲得することができる。
また、該ニューラルネットワーク装置は、最終合算値９５０の最上位ビットである符号ビットを獲得し、符号ビットがアップデートされた残余グラジエント値９７０の最上位ビットになるように追加することができる。
図１０は、一実施形態による、加算器を利用し、ウェート及び残余グラジエント値をアップデートする例示を示す図面である。
以下、図９と重複する内容は、便宜上、省略する。
図１０においては、３２ビット加算器１０００を利用し、１６ビットの個別グラジエント値１０１０、残余グラジエント値１０２０及び８ビットのウェート１０３０を合算する過程が図示される。
該ニューラルネットワーク装置は、加算器１０００のビット数に基づいて、ウェート１０３０を加算器にマッピングすることができる。すなわち、３２ビット加算器１０００を利用して演算することができるように、８ビットのウェート１０３０を３２ビットにマッピングすることができる。一方、図９のウェート９３０は、１６ビットであった一方、図１０においては、ウェート１０３０が８ビットである。その場合、該ニューラルネットワーク装置は、加算器１０００の最上位桁まで値が存在するように、ウェート１０３０をパッディングすることができる。該ニューラルネットワーク装置は、加算器１０００の最上位ビット桁方向から下位ビット桁方向にパッディングされたウェートをマッピングすることができる。すなわち、該ニューラルネットワーク装置は、加算器１０００の上位１６ビット桁に、１６ビットのパッディングされたウェートをマッピングすることができる。また、対応するウェート１０３０が存在しない加算器１０００の下位１６ビット桁も、パッディングされることができる。
該ニューラルネットワーク装置は、加算器１０００にマッピングされたウェート１０３５及び中間合算値１０４０を合算し、最終合算値１０５０を計算することができる。該ニューラルネットワーク装置は、最終合算値１０５０から、アップデートされたウェート１０６０、及びアップデートされた残余グラジエント値１０７０を獲得することができる。
一実施形態において、ニューラルネットワーク装置は、ウェート１０３０のビット桁に基づいて、最終合算値１０５０からアップデートされたウェート１０６０、及びアップデートされた残余グラジエント値１０７０を獲得することができる。該ニューラルネットワーク装置は、ウェート１０３０のビット桁に対応する最終合算値１０５０のビット桁の値を、アップデートされたウェート１０６０として獲得することができる。また、該ニューラルネットワーク装置は、ウェート１０３０のビット桁に対応しない最終合算値１０５０のビット桁の値を、アップデートされた残余グラジエント値１０７０として獲得することができる。
例えば、ニューラルネットワーク装置は、３２ビット加算器１０００の演算結果である３２ビットの最終合算値１０５０において、ウェート１０３０のビット桁に対応しない下位１６ビット桁の値を、アップデートされた残余グラジエント値１０７０として獲得することができる。一方、ニューラルネットワーク装置は、３２ビットの最終合算値１０５０の上位１６ビット桁の値のうち、パッディング部（上位８ビット桁）を除いた残りビット桁の値を、アップデートされたウェート１０６０として獲得することができる。
また、ニューラルネットワーク装置は、最終合算値１０５０の最上位ビットである符号ビットを獲得した後、アップデートされたウェート１０６０の最上位ビットを、最終合算値１０５０の符号ビットに置き換え、最終合算値１０５０の符号ビットを、アップデートされた残余グラジエント値１０７０の最上位ビットになるように追加することができる。
図１１は、一実施形態による、加算器を利用し、ウェート及び残余グラジエント値をアップデートする例示を示す図面である。
以下、図９と重複する内容は、便宜上、省略する。
図１１においては、３２ビット加算器１１００を利用し、１６ビットの個別グラジエント値１１１０、残余グラジエント値１１２０及びウェート１１３０を合算する過程が図示される。
図１１を参照すれば、該ニューラルネットワーク装置は、個別グラジエント値１１１０のビット数及びビット桁が、残余グラジエント値１１２０のビット数及びビット桁に対応するように、個別グラジエント値１１１０を調整することができる。一実施形態において、該ニューラルネットワーク装置は、個別グラジエント値１１１０に、量子化及びパッディングを適用することによって調整された個別グラジエント値１１１２を計算することができる。
該ニューラルネットワーク装置は、符号ビットが除かれた残余グラジエント値１１２０をウェート１１３０に連結し、中間連結値１１４０を計算することができる。中間連結値１１４０の最上位ビットは、ウェート１０３０の符号ビットに該当し、１６ビットのウェート１１３０及び符号ビットが除かれた１５ビットの残余グラジエント値１１２０が連結になって３１ビットの中間連結値１１４０が計算されることができる。
ニューラルネットワーク装置は、中間連結値１１４０及び調整された個別グラジエント値１１１２それぞれを加算器１１００にマッピングすることができる。例えば、ニューラルネットワーク装置は、加算器１１００の上位３１ビット桁に、中間連結値１１４０をマッピングすることができる。その場合、加算器１１００の最下位ビット桁も、パッディングされる。
また、ニューラルネットワーク装置は、１６ビットの調整された個別グラジエント値１１１２の符号ビットを、加算器１１００の最上位ビット桁にマッピングし、残り１５ビットを、加算器１１００の最下位ビットを除いた残り下位１５ビット桁にマッピングすることができる。その場合、加算器１１００の最上位ビットを除いた残り上位１５ビット桁及び最下位ビット桁は、パッディングされる。
該ニューラルネットワーク装置は、中間連結値１１４０と、マッピングされた個別グラジエント値１１１４とを合算し、最終合算値１１５０を計算することができる。該ニューラルネットワーク装置は、最終合算値１１５０から、アップデートされたウェート１１６０、及びアップデートされた残余グラジエント値１１７０を獲得することができる。
一実施形態において、ニューラルネットワーク装置は、ウェート１１３０のビット桁に基づいて、最終合算値１１５０から、アップデートされたウェート１１６０及びアップデートされた残余グラジエント値１１７０を獲得することができる。例えば、該ニューラルネットワーク装置は、最終合算値１１５０において、ウェート１１３０のビット桁に対応する最終合算値１１５０のビット桁の値を、アップデートされたウェート１１６０として獲得することができる。また、ニューラルネットワーク装置は、ウェート１１３０のビット桁に対応しない最終合算値１１５０のビット桁の値を、アップデートされた残余グラジエント値１１７０として獲得することができる。
そのとき、アップデートされたウェート１１６０の最上位ビットは、最終合算値１１５０の最上位ビットである符号ビットでもある。しかし、アップデート以前の残余グラジエント値１０２０と同様に、アップデートされた残余グラジエント値１０７０は、符号ビットを含まない。
図１２は、一実施形態による、加算器を利用し、ウェート及び残余グラジエント値をアップデートする例示を示す図面である。
以下、図１０と重複する内容は、便宜上、省略する。
図１２においては、３２ビット加算器１２００を利用し、１６ビットの個別グラジエント値１２１０、残余グラジエント値１２２０及び８ビットのウェート１２３０を合算する過程が図示される。
図１２を参照すれば、該ニューラルネットワーク装置は、個別グラジエント値１２１０のビット数及びビット桁が、残余グラジエント値１２２０のビット数及びビット桁に対応するように、個別グラジエント値１２１０を調整することができる。一実施形態において、該ニューラルネットワーク装置は、個別グラジエント値１２１０に、量子化及びパッディングを適用することによって調整された個別グラジエント値１２１２を計算することができる。
該ニューラルネットワーク装置は、符号ビットが除かれた残余グラジエント値１２２０をウェート１２３０に連結し、中間連結値１２４０を計算することができる。また、該ニューラルネットワーク装置は、中間連結値１２４０を加算器１２００にマッピングすることができる。
一実施形態において、ウェート１２３０の最上位ビットである符号ビットは、加算器１２００の最上位ビット桁にもマッピングされる。一方、図１１のウェート１１３０は、１６ビットであった一方、図１２では、ウェート１２３０が８ビットである。その場合、ニューラルネットワーク装置は、加算器１２００の最上位桁まで値が存在するように、中間連結値１２４０をパッディングすることができる。また、図１１と同様に、加算器１２００の最下位ビット桁も、パッディングされる。
また、該ニューラルネットワーク装置は、１６ビットの調整された個別グラジエント値１２１２の符号ビットを、加算器１２００の最上位ビット桁にマッピングし、残り１５ビットを、加算器１２００の最下位ビットを除いた残り下位１５ビット桁にマッピングすることができる。その場合、加算器１２００の最上位ビットを除いた残り上位１５ビット桁及び最下位ビット桁は、パッディングされる。
該ニューラルネットワーク装置は、中間連結値１２４０と、マッピングされた個別グラジエント値１２１４とを合算し、最終合算値１２５０を計算することができる。該ニューラルネットワーク装置は、最終合算値１２５０から、アップデートされたウェート１２６０、及びアップデートされた残余グラジエント値１２７０を獲得することができる。
一実施形態において、該ニューラルネットワーク装置は、ウェート１２３０のビット桁に基づいて、最終合算値１２５０からアップデートされたウェート１２６０、及びアップデートされた残余グラジエント値１２７０を獲得することができる。例えば、該ニューラルネットワーク装置は、最終合算値１２５０において、ウェート１２３０のビット桁に対応する最終合算値１２５０のビット桁の値を、アップデートされたウェート１２６０として獲得することができる。また、ニューラルネットワーク装置は、ウェート１２３０のビット桁に対応しない最終合算値１２５０のビット桁の値を、アップデートされた残余グラジエント値１２７０として獲得することができる。
例えば、ニューラルネットワーク装置は、３２ビット加算器１２００の演算結果である３２ビットの最終合算値１２５０において、ウェート１２３０のビット桁に対応しない下位１６ビット桁の値を、アップデートされた残余グラジエント値１２７０として獲得することができる。一方、該ニューラルネットワーク装置は、３２ビットの最終合算値１２５０の上位１６ビット桁の値のうち、パッディング部（上位８ビット桁）を除いた残りビット桁の値を、アップデートされたウェート１２６０として獲得することができる。
また、ニューラルネットワーク装置は、最終合算値１２５０の最上位ビットである符号ビットを獲得した後、アップデートされたウェート１２６０の最上位ビットを、最終合算値１２５０の符号ビットに置き換えることができる。しかし、アップデート以前の残余グラジエント値１２２０と同様に、アップデートされた残余グラジエント値１２７０は、符号ビットを含まない。
図１３は、一実施形態による低精度ナンバーシステムを利用するニューラルネットワークにおいて、パラメータを処理する方法を図示したフローチャートである。
図１３を参照すれば、段階１３１０において、該ニューラルネットワーク装置は、ニューラルネットワークのウェートをアップデートするための個別グラジエント値を計算することができる。
該ニューラルネットワーク装置は、ニューラルネットワークに含まれるノード間の連結関係に割り当てられるウェートのための個別グラジエント値を計算することができる。該個別グラジエント値は、ウェートをアップデートするために計算される値でもある。図４で説明したように、ニューラルネットワーク装置のOptimizerは、グラジエントディセント方式、モーメンタム方式などを利用し、個別グラジエント値を計算することができる。
段階１３２０において、該ニューラルネットワーク装置は、個別グラジエント値を累積した累積グラジエント値及びウェートのビット桁に基づいて、残余グラジエント値を計算することができる。
該ニューラルネットワーク装置は、個別グラジエント値を累積バッファに累積することができる。低精度ナンバーシステムを利用するニューラルネットワークにおいて、個別グラジエント値がウェートをアップデートする過程で無視されないように、該ニューラルネットワーク装置は、個別グラジエント値をウェートに影響を与えることができる大きさまで累積することができる。
該ニューラルネットワーク装置は、累積バッファの累積グラジエント値が臨界値以上である場合、累積グラジエント値のうちウェートのビット桁に合算可能な部分を、有効グラジエント値と決定することができる。該ニューラルネットワーク装置は、累積グラジエント値から有効グラジエント値を減算することにより、残余グラジエント値を計算することができる。
段階１３３０において、該ニューラルネットワーク装置は、残余グラジエント値のビット桁に対応するように、個別グラジエント値を調整することができる。
一実施形態において、該ニューラルネットワーク装置は、個別グラジエント値を量子化してパッディングすることにより、残余グラジエント値のビット数及びビット桁に対応するように、個別グラジエント値を調整することができる。
具体的には、該ニューラルネットワーク装置は、個別グラジエント値のうち、残余グラジエント値の最下位ビット桁未満の値が省略されるように、個別グラジエント値を量子化することができる。また、該ニューラルネットワーク装置は、残余グラジエント値の最上位ビット桁に対応するビット桁まで値が存在するように、量子化された個別グラジエント値をパッディングすることができる。
一実施形態において、段階１３３０後、段階１３４０及び段階１３５０に進められる。
段階１３４０において、該ニューラルネットワーク装置は、加算器を利用して調整された個別グラジエント値、残余グラジエント値及びウェートを合算することができる。
該ニューラルネットワーク装置は、調整された個別グラジエント値と残余グラジエント値とを合算し、中間合算値を計算することができる。調整された個別グラジエント値及び残余グラジエント値のいずれも、最上位ビット（ＭＳＢ）として符号ビットを含むので、該ニューラルネットワーク装置は、２つの値の符号ビットを考慮し、個別グラジエント値と残余グラジエント値との中間合算値を計算することができる。
また、該ニューラルネットワーク装置は、中間合算値とウェートとを合算し、最終合算値を計算することができる。
段階１３５０において、該ニューラルネットワーク装置は、合算結果に基づいて、ウェート及び残余グラジエント値をアップデートすることができる。
一実施形態において、該ニューラルネットワーク装置は、ウェートのビット桁に基づいて、最終合算値からアップデートされたウェート、及びアップデートされた残余グラジエント値を獲得することができる。例えば、該ニューラルネットワーク装置は、ウェートのビット桁に対応する最終合算値のビット桁の値を、アップデートされたウェートとして獲得することができる。また、該ニューラルネットワーク装置は、ウェートのビット桁に対応しない最終合算値のビット桁の値を、アップデートされた残余グラジエント値として獲得することができる。
そのとき、アップデートされたウェートの最上位ビットは、最終合算値の最上位ビットである符号ビットでもある。また、該ニューラルネットワーク装置は、最終合算値の符号ビットを獲得し、獲得された符号ビットが、アップデートされた残余グラジエント値の最上位ビットになるように、アップデートされた残余グラジエント値に追加される。
他の実施形態において、段階１３３０後、段階１３４５、段階１３５５及び段階１３６５に進められる。
段階１３４５において、該ニューラルネットワーク装置は、残余グラジエント値から符号ビットを除外した残りの値をウェートに連結し、中間連結値を計算することができる。中間連結値８４０の最上位ビットは、ウェートの符号ビットに該当する。
段階１３５５において、該ューラルネットワーク装置は、加算器を利用して調整された個別グラジエント値及び中間連結値を合算することができる。
調整された個別グラジエント値及び中間連結値のいずれも、最上位ビット（ＭＳＢ）として符号ビットを含むので、該ニューラルネットワーク装置は、２値の符号ビットを考慮し、個別グラジエント値と中間連結値との中間合算値を合算することができる。
段階１３６５において、該ニューラルネットワーク装置は、合算結果に基づいて、ウェート及び残余グラジエント値を、アップデート合算結果に基づいて、ウェート及び残余グラジエント値をアップデートすることができる。
一実施形態において、該ニューラルネットワーク装置は、ウェートのビット桁に基づいて、最終合算値からアップデートされたウェート、及びアップデートされた残余グラジエント値を獲得することができる。例えば、該ニューラルネットワーク装置は、ウェートのビット桁に対応する最終合算値のビット桁の値を、アップデートされたウェートとして獲得することができる。また、該ニューラルネットワーク装置は、ウェートのビット桁に対応しない最終合算値のビット桁の値を、アップデートされた残余グラジエント値として獲得することができる。
そのとき、アップデートされたウェートの最上位ビットは、最終合算値の最上位ビットである符号ビットでもある。しかし、アップデート以前の残余グラジエント値と同様に、アップデートされた残余グラジエント値は、符号ビットを含まない。すなわち、該ニューラルネットワーク装置は、最終合算値の符号ビットを、アップデートされた残余グラジエント値に追加しない。
図１４は、一実施形態によるニューラルネットワーク装置のハードウェア構成を図示したブロック図である。
図１４を参照すれば、ニューラルネットワーク装置１４００は、少なくとも１つのプロセッサ１４１０及びメモリ１４２０を含んでもよい。図１４に図示されたニューラルネットワーク装置１４００には、本実施形態と係わる構成要素だけが図示されている。従って、ニューラルネットワーク装置１４００に、図１４に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいということは、当業者に自明である。例えば、ニューラルネットワーク装置１４００は、センサモジュール（小数点）、通信モジュール（小数点）及びインターフェース（小数点）などをさらに含んでもよい。
ニューラルネットワーク装置１４００は、家電製品、モバイルコンピュータデバイス及びサーバのうち少なくとも一つに含まれるか、あるいは家電製品、モバイルコンピュータデバイス及びサーバのうち少なくとも一つに、有無線で連結されるようにも具現される。また、ニューラルネットワーク装置１４００は、デバイスとサーバとの結合によっても具現される。ユーザの入力を受信するデバイスと、ニューラルネットワークを学習させるサーバとが別途に存在し、デバイスとサーバとの通信を介して、推論が行われる。ここで、単一のデバイスで推論が行われもするが、前記例示に制限されるものではないということは言うまでもない。
プロセッサ１４１０は、１個または複数個のプロセッサによっても具現される。例えば、プロセッサ１４１０は、多数の論理ゲートのアレイによっても具現され、汎用的なマイクロプロセッサと、マイクロプロセッサで実行されるプログラムが保存されたメモリとの組み合わせによっても具現される。例えば、プロセッサ１４１０は、ＣＰＵ（central processing unit）、ＧＰＵ（graphics processing unit）、ハードウェアアクセラレータなどでもある。
プロセッサ１４１０は、ニューラルネットワーク装置１４００を制御するための全般的な役割を行うことができる。例えば、プロセッサ１４１０は、ニューラルネットワーク装置１４００内のメモリ１４２０に保存されたプログラムを実行することにより、ニューラルネットワーク装置１４００を全般的に制御することができる。また、少なくとも１つのプロセッサ１４１０は、メモリ１４２０に保存されたプログラムを実行することにより、ニューラルネットワーク装置１４００の機能を並列的に遂行することができる。
少なくとも１つのプロセッサ１４１０は、該ニューラルネットワークのレイヤに含まれたノードそれぞれの機能を遂行することができる。例えば、少なくとも１つのプロセッサ１４１０は、アクティベーション値及びウェートを利用し、ニューラルネットワーク演算またはマトリックス演算を行うことができる。
プロセッサ１４１０は、図１ないし図１３で説明した低精度ナンバーシステムを利用するニューラルネットワークにおいて、パラメータを処理するための一連のプロセスを制御することができる。
メモリ１４２０は、ニューラルネットワーク装置１４００内で処理される各種データを保存するハードウェアであり、例えば、メモリ１４２０は、ニューラルネットワーク装置１４００で処理されたデータ及び処理されるデータを保存することができる。また、メモリ１４２０は、ニューラルネットワーク装置１４００によって駆動されるアプリケーション、ドライバなどを保存することができる。メモリ１４２０は、ＤＲＡＭ（dynamic random access memory）・ＳＲＡＭ（static random access memory）のようなＲＡＭ（random access memory）、ＲＯＭ（read-only memory）、ＥＥＰＲＯＭ（electrically erasable programmable read-only memory）、ＣＤ−ＲＯＭ（compact disc read only memory）、ブルーレイ（登録商標（Blu-ray））、または他の光学ディスクストレージ、ＨＤＤ（hard disk drive）、ＳＳＤ（solid state drive）、またはフラッシュメモリを含んでもよい。
また、メモリ１４２０は、ニューラルネットワーク装置１４００に含まれた少なくとも１つのプロセッサ１４１０が共有する内蔵メモリ、または少なくとも１つのプロセッサ１４１０を支援する複数の内蔵メモリをさらに含んでもよい。
本実施形態は、コンピュータによって実行されるプログラムモジュールのようなコンピュータによって実行可能な命令語を含む記録媒体の形態にも具現される。コンピュータ可読媒体は、コンピュータによってアクセスされる任意の可用媒体でもあり、揮発性及び不揮発性の媒体、分離型及び非分離型の媒体をいずれも含む。また、該コンピュータ可読媒体は、コンピュータ記録媒体及び通信媒体をいずれも含んでもよい。該コンピュータ記録媒体は、コンピュータ可読命令語、データ構造、プログラムモジュールまたはその他データのような情報保存のための任意の方法または技術によって具現された揮発性及び不揮発性、分離型及び非分離型の媒体をいずれも含む。該通信媒体は、典型的に、コンピュータ可読命令語、データ構造、プログラムモジュールのような変調されたデータ信号のその他データ、またはその他伝送メカニズムを含み、任意の情報伝達媒体を含む。
また、本明細書において、「部」は、プロセッサまたは回路のようなハードウェア構成（hardware component）、及び／またはプロセッサのようなハードウェア構成によって実行されるソフトウェア構成（software component）でもある。
前述の本明細書の説明は、例示のためのものであり、本明細書の内容が属する技術分野の当業者であるならば、本発明の技術的思想や、必須な特徴を変更せずにも、他の具体的な形態に容易に変形が可能であるということを理解することができるであろう。従って、以上で記述した実施形態は、全ての面において、例示的なものであり、限定的なものではないと理解しなければならない。例えば、単一型と説明されている各構成要素は、分散されても実施され、同様に、分散されていると説明されている構成要素も、結合された形態でも実施される。
本実施形態の範囲は、前述の詳細な説明よりは、特許請求の範囲によって示され特許請求の範囲の意味、範囲そしてその均等概念から導き出される全ての変更、または変形された形態が含まれるものであると解釈されなければならない。
本発明の、ニューラルネットワークにおいて、パラメータを処理する方法及びその装置は、例えば、情報処理関連の技術分野に効果的に適用可能である。
１０ ニューラルネットワーク学習器
１１，２１ ニューラルネットワーク
２０ ニューラルネットワーク推論器
７１０ 個別グラジエント値
７２０ 残余グラジエント値
７６０ アップデートされたウェート
７７０ アップデートされたグラジエント値
１４００ ニューラルネットワーク装置
１４１０ プロセッサ
１４２０ メモリ
特許第３３４５４７８号公報 中国特許出願公開第１０７４８０７７０号明細書

Claims (17)

  1. 低精度ナンバーシステムを利用するニューラルネットワークにおいて、パラメータを処理する方法において、
    前記ニューラルネットワークのウェートをアップデートするための個別グラジエント値を計算する段階と、
    前記個別グラジエント値を累積した累積グラジエント値、及び前記ウェートのビット桁に基づいて、残余グラジエント値を計算する段階と、
    前記残余グラジエント値のビット桁に対応するように、前記個別グラジエント値を調整する段階と、
    加算器を利用し、前記調整された個別グラジエント値、前記残余グラジエント値及び前記ウェートを合算する段階と、
    前記合算結果に基づいて、前記ウェート及び前記残余グラジエント値をアップデートする段階と、を含む方法。
  2. 前記残余グラジエント値を計算する段階は、
    前記累積グラジエント値のうち、前記ウェートのビット桁に合算可能な値を有効グラジエント値と決定する段階と、
    前記累積グラジエント値から前記有効グラジエント値を減算することにより、前記残余グラジエント値を計算する段階と、を含むことを特徴とする請求項１に記載の方法。
  3. 前記個別グラジエント値を調整する段階は、
    前記個別グラジエント値のうち、前記残余グラジエント値の最下位ビット桁未満の値が省略されるように、前記個別グラジエント値を量子化する段階と、
    前記残余グラジエント値の最上位ビット桁に対応するビット桁まで値が存在するように、前記量子化された個別グラジエント値をパッディングする段階と、を含むことを特徴とする請求項１又は２に記載の方法。
  4. 前記合算する段階は、
    前記加算器のビット数に基づいて、前記調整された個別グラジエント値及び前記残余グラジエント値を前記加算器にマッピングし、前記加算器を利用して中間合算値を計算する段階と、
    前記加算器のビット数に基づいて、前記ウェートを前記加算器にマッピングし、前記加算器を利用し、前記中間合算値及び前記ウェートを合算する段階と、を含むことを特徴とする請求項１−３のうち何れか一項に記載の方法。
  5. 前記合算する段階は、
    前記加算器の全てのビット桁に値がマッピングされるように、前記調整された個別グラジエント値、前記残余グラジエント値及び前記ウェートをパッディングする段階と、
    前記加算器を利用し、前記パッディングされた個別グラジエント値、前記パッディングされた中間合算値、及び前記パッディングされたウェートを合算する段階と、を含むことを特徴とする請求項４に記載の方法。
  6. 前記アップデートする段階は、
    前記ウェートのビット桁に対応する前記合算結果のビット桁の値を前記ウェートにアップデートし、前記ウェートのビット桁に対応しない前記合算結果のビット桁の値を前記残余グラジエント値にアップデートする段階を含むことを特徴とする請求項１−５のうち何れか一項に記載の方法。
  7. 前記方法は、
    前記合算結果の最上位ビット（ＭＳＢ）である符号ビットを獲得する段階と、
    前記符号ビットが前記アップデートされたウェート、及び前記アップデートされた残余グラジエント値のうち少なくともいずれか１つの最上位ビットになるように追加する段階と、をさらに含むことを特徴とする請求項１−６のうち何れか一項に記載の方法。
  8. 低精度ナンバーシステムを利用するニューラルネットワークにおいて、パラメータを処理する方法において、
    前記ニューラルネットワークのウェートをアップデートするための個別グラジエント値を計算する段階と、
    前記個別グラジエント値を累積した累積グラジエント値、及び前記ウェートのビット桁に基づいて、残余グラジエント値を計算する段階と、
    前記残余グラジエント値のビット桁に対応するように、前記個別グラジエント値を調整する段階と、
    前記残余グラジエント値から符号ビットを除外した残りの値を前記ウェートに連結し、中間連結値を計算する段階と、
    加算器を利用し、前記調整された個別グラジエント値、及び前記中間連結値を合算する段階と、
    前記合算結果に基づいて、前記ウェート及び前記残余グラジエント値をアップデートする段階と、を含む方法。
  9. 前記残余グラジエント値を計算する段階は、
    前記累積グラジエント値のうち、前記ウェートのビット桁に合算可能な値を有効グラジエント値と決定する段階と、
    前記累積グラジエント値から前記有効グラジエント値を減算することにより、前記残余グラジエント値を計算する段階と、を含むことを特徴とする請求項８に記載の方法。
  10. 前記個別グラジエント値を調整する段階は、
    前記個別グラジエント値のうち、前記残余グラジエント値の最下位ビット桁未満の値が省略されるように、前記個別グラジエント値を量子化する段階と、
    前記残余グラジエント値の最上位ビット桁に対応するビット桁まで値が存在するように、前記量子化された個別グラジエント値をパッディングする段階と、を含むことを特徴とする請求項８又は９に記載の方法。
  11. 前記合算する段階は、
    前記加算器のビット数に基づいて、前記調整された個別グラジエント値、及び前記中間連結値を前記加算器にマッピングし、前記加算器を利用し、前記調整された個別グラジエント値、及び前記中間連結値を合算する段階を含むことを特徴とする請求項８−１０のうち何れか一項に記載の方法。
  12. 前記合算する段階は、
    前記加算器の全てのビット桁に値がマッピングされるように、前記調整された個別グラジエント値、及び前記中間連結値をパッディングする段階と、
    前記加算器を利用し、前記パッディングされた個別グラジエント値、及び前記パッディングされた中間連結値を合算する段階と、を含むことを特徴とする請求項１１に記載の方法。
  13. 前記アップデートする段階は、
    前記ウェートのビット桁に対応する前記合算結果のビット桁の値を前記ウェートにアップデートし、前記ウェートのビット桁に対応しない前記合算結果のビット桁の値を前記残余グラジエント値にアップデートする段階と、を含むことを特徴とする請求項８−１２のうち何れか一項に記載の方法。
  14. 前記方法は、
    前記合算結果の最上位ビット（ＭＳＢ）である符号ビットを獲得する段階と、
    前記符号ビットが前記アップデートされたウェート、及び前記アップデートされた残余グラジエント値のうち少なくともいずれか１つの最上位ビットになるように追加する段階と、をさらに含むことを特徴とする請求項８−１３のうち何れか一項に記載の方法。
  15. 低精度ナンバーシステムを利用するニューラルネットワークを実施する装置において、
    少なくとも１つのプログラムが保存されたメモリと、
    前記少なくとも１つのプログラムを実行することにより、前記ニューラルネットワークにおいて、パラメータを処理する少なくとも１つのプロセッサと、を含み、
    前記少なくとも１つのプロセッサは、
    前記ニューラルネットワークのウェートをアップデートするための個別グラジエント値を計算し、前記個別グラジエント値を累積した累積グラジエント値、及び前記ウェートのビット桁に基づいて、残余グラジエント値を計算し、前記残余グラジエント値のビット桁に対応するように、前記個別グラジエント値を調整し、加算器を利用し、前記調整された個別グラジエント値、前記残余グラジエント値及び前記ウェートを合算し、前記合算結果に基づいて、前記ウェート及び前記残余グラジエント値をアップデートする装置。
  16. 低精度ナンバーシステムを利用するニューラルネットワークを実施する装置において、
    少なくとも１つのプログラムが保存されたメモリと、
    前記少なくとも１つのプログラムを実行することにより、前記ニューラルネットワークにおいて、パラメータを処理する少なくとも１つのプロセッサと、を含み、
    前記少なくとも１つのプロセッサは、
    前記ニューラルネットワークのウェートをアップデートするための個別グラジエント値を計算し、前記個別グラジエント値を累積した累積グラジエント値、及び前記ウェートのビット桁に基づいて、残余グラジエント値を計算し、前記残余グラジエント値のビット桁に対応するように、前記個別グラジエント値を調整し、前記残余グラジエント値から符号ビットを除外した残りの値を前記ウェートに連結し、中間連結値を計算し、加算器を利用し、前記調整された個別グラジエント値、及び前記中間連結値を合算し、前記合算結果に基づいて、前記ウェート及び前記残余グラジエント値をアップデートする装置。
  17. 請求項１ないし８のうちいずれか１項に記載の方法をコンピュータで実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
JP2019124747A 2018-07-04 2019-07-03 ニューラルネットワークにおいてパラメータを処理する方法及び装置 Active JP7349835B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0077894 2018-07-04
KR1020180077894A KR102732517B1 (ko) 2018-07-04 2018-07-04 뉴럴 네트워크에서 파라미터를 처리하는 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2020009444A true JP2020009444A (ja) 2020-01-16
JP7349835B2 JP7349835B2 (ja) 2023-09-25

Family

ID=65443702

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019124747A Active JP7349835B2 (ja) 2018-07-04 2019-07-03 ニューラルネットワークにおいてパラメータを処理する方法及び装置

Country Status (5)

Country Link
US (1) US12511528B2 (ja)
EP (1) EP3591583B1 (ja)
JP (1) JP7349835B2 (ja)
KR (1) KR102732517B1 (ja)
CN (1) CN110689109B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022082257A (ja) * 2020-11-20 2022-06-01 国立大学法人 熊本大学 演算装置、及び演算方法
JP2022546668A (ja) * 2019-09-03 2022-11-07 インターナショナル・ビジネス・マシーンズ・コーポレーション 効率的パラメータ・アップデートのための削減された精度パラメータを有する機械学習ハードウェア

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11157014B2 (en) 2016-12-29 2021-10-26 Tesla, Inc. Multi-channel sensor simulation for autonomous control systems
US10678244B2 (en) 2017-03-23 2020-06-09 Tesla, Inc. Data synthesis for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US12307350B2 (en) 2018-01-04 2025-05-20 Tesla, Inc. Systems and methods for hardware-based pooling
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
WO2020077117A1 (en) 2018-10-11 2020-04-16 Tesla, Inc. Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US12271810B2 (en) 2018-12-04 2025-04-08 Google Llc Federated learning with adaptive optimization
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US10769529B2 (en) * 2018-12-04 2020-09-08 Google Llc Controlled adaptive optimization
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US10776721B1 (en) * 2019-07-25 2020-09-15 Sas Institute Inc. Accelerating configuration of machine-learning models
CN114930350A (zh) * 2020-01-10 2022-08-19 富士通株式会社 神经网络系统、神经网络的学习方法以及神经网络的学习程序
US11468325B2 (en) * 2020-03-30 2022-10-11 Amazon Technologies, Inc. Multi-model training pipeline in distributed systems
US11651228B2 (en) * 2020-04-17 2023-05-16 Microsoft Technology Licensing, Llc Dual-momentum gradient optimization with reduced memory requirements
KR20220040234A (ko) 2020-09-23 2022-03-30 삼성전자주식회사 뉴럴 네트워크의 파라미터들을 양자화하는 방법 및 장치
US12147784B2 (en) * 2021-01-29 2024-11-19 Taiwan Semiconductor Manufacturing Company, Ltd. Compute in memory
JP2024535985A (ja) 2021-08-19 2024-10-04 テスラ，インコーポレイテッド シミュレートコンテンツを用いた視覚に基づくシステムの訓練
US12462575B2 (en) 2021-08-19 2025-11-04 Tesla, Inc. Vision-based machine learning model for autonomous driving with adjustable virtual camera
CN119152871B (zh) * 2024-11-13 2025-02-07 深圳市昊一源科技有限公司 神经网络的训练方法、语音降噪方法、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0784975A (ja) * 1993-09-10 1995-03-31 Hitachi Ltd 情報処理装置および学習演算処理方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5333239A (en) 1988-09-12 1994-07-26 Fujitsu Limited Learning process system for use with a neural network structure data processing apparatus
JP3236635B2 (ja) 1991-03-27 2001-12-10 豊田工機株式会社 ニューラルネットワークの学習方法
JP3345478B2 (ja) 1993-09-20 2002-11-18 株式会社東芝 ニューラルネットワーク装置およびその学習方法
US5859930A (en) * 1995-12-06 1999-01-12 Fpr Corporation Fast pattern recognizer utilizing dispersive delay line
KR100442287B1 (ko) * 1997-02-26 2005-01-15 주식회사 하이닉스반도체 신경망(NeuralNetwork)학습기
US6418378B1 (en) 2000-06-26 2002-07-09 Westerngeco, L.L.C. Neural net prediction of seismic streamer shape
US7219118B2 (en) 2001-11-06 2007-05-15 Broadcom Corporation SIMD addition circuit
US10152676B1 (en) * 2013-11-22 2018-12-11 Amazon Technologies, Inc. Distributed training of models using stochastic gradient descent
US20150324690A1 (en) * 2014-05-08 2015-11-12 Microsoft Corporation Deep Learning Training System
US10607226B2 (en) * 2015-04-14 2020-03-31 Samsung Electronics Co., Ltd. System and method for fraud detection in a mobile device
US20160328645A1 (en) * 2015-05-08 2016-11-10 Qualcomm Incorporated Reduced computational complexity for fixed point neural network
CN106297774B (zh) 2015-05-29 2019-07-09 中国科学院声学研究所 一种神经网络声学模型的分布式并行训练方法及系统
CN105160249B (zh) 2015-07-02 2018-10-26 哈尔滨工程大学 一种基于改进的神经网络集成的病毒检测方法
WO2017129325A1 (en) * 2016-01-29 2017-08-03 Fotonation Limited A convolutional neural network
US11106973B2 (en) 2016-03-16 2021-08-31 Hong Kong Applied Science and Technology Research Institute Company Limited Method and system for bit-depth reduction in artificial neural networks
CN106796668B (zh) 2016-03-16 2019-06-14 香港应用科技研究院有限公司 用于人工神经网络中比特深度减少的方法和系统
WO2017177446A1 (zh) 2016-04-15 2017-10-19 北京中科寒武纪科技有限公司 支持离散数据表示的人工神经网络反向训练装置和方法
US10552119B2 (en) * 2016-04-29 2020-02-04 Intel Corporation Dynamic management of numerical representation in a distributed matrix processor architecture
US20180075347A1 (en) * 2016-09-15 2018-03-15 Microsoft Technology Licensing, Llc Efficient training of neural networks
US11321609B2 (en) 2016-10-19 2022-05-03 Samsung Electronics Co., Ltd Method and apparatus for neural network quantization
CN110892477B (zh) * 2017-06-08 2024-06-07 D5Ai有限责任公司 用于神经网络的梯度方向数据分割的方法和计算机系统
CN107480770B (zh) 2017-07-27 2020-07-28 中国科学院自动化研究所 可调节量化位宽的神经网络量化与压缩的方法及装置
CN107797962B (zh) 2017-10-17 2021-04-16 清华大学 基于神经网络的计算阵列
KR102727052B1 (ko) 2017-10-23 2024-11-06 삼성전자주식회사 뉴럴 네트워크에서 파라미터를 처리하는 방법 및 장치
US11216719B2 (en) * 2017-12-12 2022-01-04 Intel Corporation Methods and arrangements to quantize a neural network with machine learning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0784975A (ja) * 1993-09-10 1995-03-31 Hitachi Ltd 情報処理装置および学習演算処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"AdaComp : Adaptive Residual Gradient Compression for Data-Parallel Distributed Training", ARXIV[ONLINE], JPN6023034056, 7 December 2017 (2017-12-07), ISSN: 0005132537 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022546668A (ja) * 2019-09-03 2022-11-07 インターナショナル・ビジネス・マシーンズ・コーポレーション 効率的パラメータ・アップデートのための削減された精度パラメータを有する機械学習ハードウェア
JP7525237B2 (ja) 2019-09-03 2024-07-30 インターナショナル・ビジネス・マシーンズ・コーポレーション 効率的パラメータ・アップデートのための削減された精度パラメータを有する機械学習ハードウェア
US12175359B2 (en) 2019-09-03 2024-12-24 International Business Machines Corporation Machine learning hardware having reduced precision parameter components for efficient parameter update
JP2022082257A (ja) * 2020-11-20 2022-06-01 国立大学法人 熊本大学 演算装置、及び演算方法
JP7614475B2 (ja) 2020-11-20 2025-01-16 国立大学法人 熊本大学 演算装置、及び演算方法

Also Published As

Publication number Publication date
KR20200004700A (ko) 2020-01-14
EP3591583B1 (en) 2022-01-12
CN110689109A (zh) 2020-01-14
CN110689109B (zh) 2024-04-12
KR102732517B1 (ko) 2024-11-20
US12511528B2 (en) 2025-12-30
US20200012936A1 (en) 2020-01-09
JP7349835B2 (ja) 2023-09-25
EP3591583A1 (en) 2020-01-08

Similar Documents

Publication Publication Date Title
JP7349835B2 (ja) ニューラルネットワークにおいてパラメータを処理する方法及び装置
CN109685198B (zh) 用于量化神经网络的参数的方法和装置
JP7072484B2 (ja) パラメータ処理方法及び装置
CN112673383B (zh) 神经网络核中动态精度的数据表示
CN111062475B (zh) 用于对神经网络的参数进行量化的方法和装置
CN109754066B (zh) 用于生成定点型神经网络的方法和装置
US11657254B2 (en) Computation method and device used in a convolutional neural network
CN113392962A (zh) 对神经网络的权重进行解码的方法、设备及电路
KR20210076691A (ko) 프레임워크 간 뉴럴 네트워크의 학습을 검증하는 방법 및 장치
CN112651420B (zh) 训练图像分类模型的系统及方法和对图像进行分类的方法
JP2025522114A (ja) モデル訓練方法及び関連デバイス
CN116502704A (zh) 神经网络训练方法及装置、可读存储介质及芯片
KR102704648B1 (ko) 전자 장치 및 그 제어 방법
CN120372142A (zh) 乘法累加运算器以及包括该运算器的矩阵乘法器
US20250068895A1 (en) Quantization method and apparatus for artificial neural network
KR20250050415A (ko) 연산 장치 및 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190703

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230912

R150 Certificate of patent or registration of utility model

Ref document number: 7349835

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150