TWI802418B - 線上持續學習方法及系統 - Google Patents

線上持續學習方法及系統 Download PDF

Info

Publication number
TWI802418B
TWI802418B TW111118886A TW111118886A TWI802418B TW I802418 B TWI802418 B TW I802418B TW 111118886 A TW111118886 A TW 111118886A TW 111118886 A TW111118886 A TW 111118886A TW I802418 B TWI802418 B TW I802418B
Authority
TW
Taiwan
Prior art keywords
module
feature vectors
training
model
data
Prior art date
Application number
TW111118886A
Other languages
English (en)
Other versions
TW202328961A (zh
Inventor
游聲峰
邱維辰
Original Assignee
旺宏電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 旺宏電子股份有限公司 filed Critical 旺宏電子股份有限公司
Application granted granted Critical
Publication of TWI802418B publication Critical patent/TWI802418B/zh
Publication of TW202328961A publication Critical patent/TW202328961A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Electrotherapy Devices (AREA)
  • Selective Calling Equipment (AREA)
  • Radiation-Therapy Devices (AREA)
  • Image Processing (AREA)

Abstract

提供線上持續學習方法及系統。線上持續學習方法包括：輸入一待辨識類別的複數個訓練資料；應用一離散非隨機增強操作於該待辨識類別的該些訓練資料上，以產生複數個中間類別；從該些中間類別產生複數個視景資料；從該些視景資料取出複數個特徵向量；以及根據該些特徵向量訓練一模型。

Description

線上持續學習方法及系統
本發明是有關於一種線上持續學習方法及系統。
持續學習(Continual Learning)的概念是讓模型可以接續學習大量任務(task)，而不是忘記從先前任務所學習到的知識、資料等，其中，舊任務資料只有小部份會被儲存下來。
線上持續學習系統需要接受新概念(如類別、領域、環境(例如玩新的線上遊戲)等)，但仍要維持模型性能。以目前而言，線上持續學習系統會遇到災難性忘記(catastrophic forgetting)與不平衡學習(imbalanced learning)的問題。
災難性忘記是指，在學習新概念時，會將忘記舊概念。不平衡學習是指，舊概念的資料數量小於新概念的資料數量。
故而，需要有一種線上持續學習方法及系統，能解決現有線上持續學習方法及系統的問題。
根據本案一實例，提出一種線上持續學習方法，包括：輸入一待辨識類別的複數個訓練資料；應用一離散非隨機增 強操作於該待辨識類別的該些訓練資料上，以產生複數個中間類別；從該些中間類別產生複數個視景資料；從該些視景資料取出複數個特徵向量；以及根據該些特徵向量訓練一模型。
根據本案另一實例，提出一種線上持續學習系統，包括：一語義清楚增強模組，接收一待辨識類別的複數個訓練資料，並應用一離散非隨機增強操作於該待辨識類別的該些訓練資料上，以產生複數個中間類別；一視景資料產生模組，耦接至該語義清楚增強模組，該視景資料產生模組從該些中間類別產生複數個視景資料；一特徵擷取模組，耦接至該視景資料產生模組，從該些視景資料取出複數個特徵向量；以及一訓練功能模組，耦接至該特徵擷取模組，根據該些特徵向量訓練一模型。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：
110~160:步驟
210:訓練資料
220A~220D:中間類別
230A~230D:視景資料
240:特徵擷取器
250A~250D:特徵向量
260:多層感知器
270A~270D:輸出特徵向量
310:訓練資料
320A~320D:中間類別
410~460:步驟
WABS:權重感知平衡取樣(weight-aware balanced sampling)
C:分類器模型
CE:交叉熵(cross entropy)
510:訓練資料
520A~520C:視景資料
530:特徵擷取器
540A~540D:特徵向量
610A~610B:特徵向量
620A~620C:類別
630_1~630_6:權重
710~770:步驟
800:線上持續學習系統
810:語義清楚增強模組
820:視景資料產生模組
830:特徵擷取模組
840:多工器
850:權重感知平衡取樣模組
860:分類器模型
870:第一訓練模組
880:投影模組
890:第二訓練模組
895:訓練功能模組
第1圖繪示根據本案第一實施例的線上持續學習方法流程圖。
第2A圖與第2B圖顯示根據本案第一實施例的操作示意圖。
第3圖顯示根據本案一實施例之置換操作。
第4圖繪示根據本案第二實施例的線上持續學習方法流程圖。
第5A圖與第5B圖顯示根據本案第二實施例的操作示意圖。
第6圖顯示根據本案第二實施例的完全連接層分類器模型之操作示意圖。
第7圖繪示根據本案第三實施例的線上持續學習方法流程圖。
第8圖顯示根據本案一實施例之線上持續學習系統之功能方塊圖。
本說明書的技術用語係參照本技術領域之習慣用語，如本說明書對部分用語有加以說明或定義，該部分用語之解釋係以本說明書之說明或定義為準。本揭露之各個實施例分別具有一或多個技術特徵。在可能實施的前提下，本技術領域具有通常知識者可選擇性地實施任一實施例中部分或全部的技術特徵，或者選擇性地將這些實施例中部分或全部的技術特徵加以組合。
第一實施例
第1圖繪示根據本案第一實施例的線上持續學習方法流程圖。於步驟110中，輸入待辨識類別的複數個訓練資料至線上持續學習系統。於步驟120中，應用語義清楚增強(SDA，semantically distinct augmentation)於待辨識類別的該些訓練資料上，以產生複數個中間類別。於步驟130中，從該些中間類別產生複數個視景資料(view data)。於步驟140中，從該些視景資料取出複數個特徵向量。於步驟150中，將該些特徵向量投影(project)至另一較低維度空間(例如但不受限於，為雙層感知器 (two-layers Perceptron)，以得到複數個輸出特徵向量。於步驟160中，進行訓練模型，使得從同一中間類別所得到的輸出特徵向量彼此拉近(attract)，而從不同中間類別所得到的輸出特徵向量彼此推遠(repel)。步驟160例如但不受限於為對比學習(Contrastive Learning)。
第2A圖與第2B圖顯示根據本案第一實施例的操作示意圖。請一併參照第1圖、第2A圖與第2B圖。對於所接收的待辨識類別的訓練資料210，應用語義清楚增強(SDA)於待辨識類別的訓練資料210上，以產生更多中間類別220A~220D。
在本案一實施例中，語義清楚增強(SDA)的操作必需是離散(discrete)且非隨機(deterministic)的。語義清楚增強(SDA)例如但不受限於，包括：旋轉或置換。
旋轉是指，對於待辨識類別的訓練資料210進行旋轉，以產生更多中間類別220A~220D。以第2A圖與第2B圖為例，對於待辨識類別的訓練資料210進行旋轉0度，以產生中間類別220A；對於待辨識類別的訓練資料210進行順時針旋轉90度，以產生中間類別220B；對於待辨識類別的訓練資料210進行順時針旋轉180度，以產生中間類別220C；以及對於待辨識類別的訓練資料210進行順時針旋轉270度，以產生中間類別220D。所旋轉的角度必需是離散且非隨機的。
舉例而言，原本有2類別：貓、狗。經過SDA後，產生8個中間類別：貓0、貓90、貓180、貓270、狗0、狗90、 狗180、狗270。其中，貓0、貓90、貓180、貓270分別代表將貓旋轉0度、90度、180與270度所得到的中間類別。也就是說，中間類別的數量會是原本類別數量的K倍(在上例中，K=4，但當知本案並不受限於此，其中，K代表SDA的倍數參數。)
置換是指，對於待辨識類別的訓練資料210進行置換，以產生更多中間類別。第3圖顯示根據本案一實施例之置換操作。對於待辨識類別的訓練資料310進行無置換，以產生中間類別320A；對於待辨識類別的訓練資料310進行左右置換(亦即，左半部與右半部交換)，以產生中間類別320B；對於待辨識類別的訓練資料310進行上下置換(亦即，上半部與下半部交換)，以產生中間類別320C；以及，對於待辨識類別的訓練資料310進行上下左右置換(亦即，上半部與下半部交換，與左半部與右半部交換)，以產生中間類別320D，其餘可依此類推。置換必需是離散且非隨機的。
現請參考第2A圖與第2B圖，以說明步驟130的產生該些視景資料之細節。於本案實施例中，隨機從針對該些中間類別(如第2A圖與第2B圖的中間類別220A~220B)裁切(crop)取出一部份，以對所裁切出的該部份隨機進行色彩失真(color distortion)。例如但不受限於，從中間類別220A裁切取出一部份，以對所裁切出的該部份隨機進行色彩失真(例如但不受限於，加上黃色)，以成為視景資料230A；從中間類別220A裁切取出一部份，以對所裁切出的該部份隨機進行色彩失真(例如但不受限 於，加上紅色)，以成為視景資料230B；從中間類別220D裁切取出一部份，以對所裁切出的該部份隨機進行色彩失真(例如但不受限於，加上綠色)，以成為視景資料230C；以及，從中間類別220D裁切取出一部份，以對所裁切出的該部份隨機進行色彩失真(例如但不受限於，加上紫色)，以成為視景資料230D。
對於所取得的該些視景資料230A~230D，以特徵擷取器(feature extractor)240來取出複數個特徵向量250A~250D。例如，但不受限於，從一個視景資料取出一個特徵向量，亦即，視景資料與特徵向量為一對一關係。
之後，將特徵向量250A~250D以多層感知器(Multilayer Perceptron，MLP)260來投影至另一較低維度空間，以得到輸出特徵向量270A~270D。
經由對比學習來訓練模型，使得從同一中間類別所得到的輸出特徵向量彼此拉近，而從不同中間類別所得到的輸出特徵向量彼此推遠。以第2A圖與第2B圖為例，當輸出特徵向量270A與270B是由同一中間類別(220A~220D)所得到的話，則輸出特徵向量270A與270B彼此拉近。相反地，當輸出特徵向量270A與270B是由不同中間類別(220A~220D)所得到的話，則輸出特徵向量270A與270B彼此推遠。
在本案第一實施例中，SDA可使得模型在單一訓練階段中學習到各式各樣的特徵。因而，SDA是穩定的，且面臨到較少的災難性忘記。
在本案第一實施例中，對所輸入的待辨識類別資料進行離散且非隨機的增強(旋轉、置換等)。若兩增強後影像具有相同的原始類別與增強類別，則視為同一中間類別，反之為不同中間類別。因此，調整模型參數，以使得不同中間類別的影像(特徵向量)被拉遠，而為相同中間類別的影像(特徵向量)被拉近。
此外，在本案第一實施例中，這些轉換增強(如旋轉、置換等)具有不同語義意義(semantic meaning)。故而，可利用該些轉換操作(如旋轉、置換等)來產生更多中間類別。故而，使用中間類別來學習可有助於模型來得到更多樣的特徵向量。藉此，有助於所訓練好的類別可以更加區隔於未來類別。
第二實施例
第4圖繪示根據本案第二實施例的線上持續學習方法流程圖。於步驟410中，輸入待辨識類別的複數個訓練資料至線上持續學習系統。於步驟420中，針對該待辨識類別的該些訓練資料，產生複數個視景資料。步驟420是選擇性的，可依使用者需求決定是否執行420。於步驟430中，針對該些視景資料，取出複數個特徵向量。於步驟440中，對該些特徵向量，進行權重感知平衡取樣(weight-aware balanced sampling，WABS)，以動態地調整待辨識類別的資料取樣比率。於步驟450中，利用分類器模型(C)來進行分類。於步驟460中，對於分類器模型的分類結果，進行交叉熵(cross entropy，CE)，來訓練該模型。
第5A圖與第5B圖顯示根據本案第二實施例的操作 示意圖。第5A圖例如是利用監督式對比重播(supervised contrastive replay，SCR)，而第5B圖例如是利用是監督式對比學習(supervised contrastive learning，SCL)，當然，本案並不受限於此。於第5A圖與第5B圖中，產生視景資料的步驟420是選擇性的，可依使用者需求決定是否執行420。
請一併參照第4圖、第5A圖與第5B圖。對於所接收的待辨識類別的訓練資料510，產生複數個視景資料520A~520C。在第二實施例中，產生視景資料的做法可相同或相似於第一實施例，故其細節在此省略。
對於所取得的該些視景資料520A~520C，以特徵擷取器530來取出複數個特徵向量540A~540D。
對該些特徵向量540A~540D，進行權重感知平衡取樣(WABS)，以動態地調整待辨識類別的資料取樣比率。
例如但不受限於，根據Softmax函式(歸一化指數函式)來動態產生待辨識類別的資料取樣比率rt如下公式(1)：
Figure 111118886-A0305-02-0010-1
在上述公式(1)中，tw代表自定的超參數(hyperparameter)。至於其他參數wold與wt將於底下說明之。
透過動態產生待辨識類別的資料取樣比率rt可以讓分類器得到平衡，以避免不平衡學習的問題。
在本案第二實施例中，步驟450所用的分類器模型例如但不受限於為，完全連接層(fully-connected layer)分類器 模型。
第6圖顯示根據本案第二實施例的完全連接層分類器模型之操作示意圖。完全連接層分類器模型把特徵向量610A~610B連結到類別620A~620C，每個特徵向量610A~610B都會連到所有的類別620A~620C。其中，類別620A~620B屬於已學習好的舊類別，而620C屬於欲學習的待辨識類別。第6圖顯示有6個權重(weight)630_1~630_6，該些權重630_1~630_6連結於特徵向量610A~610B與類別620A~620C之間。權重630_1、630_2、630_4與630_5乃是連結於特徵向量610A~610B與舊類別620A~620B之間，故而，將權重630_1、630_2、630_4與630_5取平均值得到舊類別權重平均值wold。權重630_3與630_6乃是連結於特徵向量610A~610B與待辨識類別620C之間，故而，將權重630_3與630_6取平均值得到待辨識類別權重平均值wt。
如果待辨識類別權重平均值wt愈大，則代表分類器模型C愈傾向於待辨識類別620C。權重的大小跟資料數量有關聯性。原則上，無法得知各類別的個別資料量，然而，在本案第二實施例中，可以知道該些權重630_1~630_6的值。故而，透過權重的值來估計各類別的個別資料量。
所以，如果待辨識類別權重平均值wt太大，則透過公式(1)可以調整使得待辨識類別的資料取樣率動態變小。
在本案第二實施例中，藉由導入完全連接層分類器 模型，可以增加訓練效率，且，在分類器分類之前，應用WABS來避免近因效應(Recency bias)。
此外，在本案第二實施例中，完全連接層分類器模型與交叉熵可以使用類別相關資訊(如權重平均值等)來訓練模型，因而，本案第二實施例可以在較少訓練回合(iteration)中來達成收斂。因此，在本案第二實施例中，藉由完全連接層分類器模型來額外訓練特徵向量，以在有限回合數中快速達成收斂。
此外，在本案第二實施例中，藉由動態調整新資料的資料取樣率，以解決不平衡學習的問題。
在本案第二實施例中，藉由完全連接層分類器模型可以加速訓練速度。
第三實施例
第7圖繪示根據本案第三實施例的線上持續學習方法流程圖。第三實施例可視為是第一實施例與第二實施例之組合。於步驟710中，輸入待辨識類別的複數個訓練資料至線上持續學習系統。於步驟720中，應用語義清楚增強於待辨識類別的該些訓練資料上，以產生更多類別。於步驟730中，針對該些類別，產生複數個視景資料。於步驟740中，針對該些視景資料，取出複數個特徵向量。於步驟750中，對該些特徵向量，進行權重感知平衡取樣(WABS)，以動態地調整待辨識類別的資料取樣比率。於步驟760中，利用分類器模型來進行分類。於步驟770中，對於分類器的分類結果，進行交叉熵，來訓練模型。
步驟710~770的細節可如第一實施例或第二實施例所述，故其細節在此省略。
第8圖顯示根據本案一實施例之線上持續學習系統之功能方塊圖。如第8圖所示，根據本案一實施例之線上持續學習系統800包括：語義清楚增強(SDA)模組810、視景資料產生模組820、特徵擷取模組830、多工器840、權重感知平衡取樣(WABS)模組850、分類器模型860、第一訓練模組870、投影模組880與第二訓練模組890。權重感知平衡取樣(WABS)模組850、分類器模型860、第一訓練模組870、投影模組880與第二訓練模組890亦可合稱為訓練功能模組895。
多工器840用以根據使用者選擇，以選擇由特徵擷取模組830所擷取出的該些特徵向量輸入至權重感知平衡取樣(WABS)模組850或投影模組880或兩者。
語義清楚增強模組810接收一待辨識類別的複數個訓練資料，並應用一離散非隨機增強操作於該待辨識類別的該些訓練資料上，以產生複數個中間類別。該語義清楚增強模組810對於該待辨識類別的該些訓練資料進行旋轉或置換，以產生該些中間類別。
視景資料產生模組820耦接至該語義清楚增強模組810，該視景資料產生模組820從該些中間類別產生複數個視景資料。
特徵擷取模組830耦接至該視景資料產生模組820， 從該些視景資料取出複數個特徵向量。
訓練功能模組895透過該多工器840耦接至該特徵擷取模組830，根據該些特徵向量訓練一模型。
權重感知平衡取樣模組850透過該多工器840耦接至該特徵擷取模組830，對該些特徵向量，進行一權重感知平衡取樣，以動態地調整該待辨識類別的一資料取樣比率。
分類器模型860耦接至該權重感知平衡取樣模組850，以該模型來進行分類。
第一訓練模組870耦接至該分類器模型860，對於該模型的一分類結果，進行交叉熵以訓練該模型。
投影模組880透過該多工器840耦接至該特徵擷取模組830，該投影模組880投影該些特徵向量至另一維度空間，以得到複數個輸出特徵向量。
第二訓練模組890耦接至該投影模組880，該第二訓練模組890根據該些輸出特徵向量訓練該模型，使得屬於同一中間類別所得到的該些輸出特徵向量彼此拉近，而從不同中間類別所得到的該些輸出特徵向量彼此推遠。
語義清楚增強(SDA)模組810、視景資料產生模組820、特徵擷取模組830、多工器840、權重感知平衡取樣模組(WABS)850、分類器模型860、第一訓練模組870、投影模組880與第二訓練模組890之細節可如上實施例所述，於此不重述。
在上述實施例中，類別的範圍也可以包括領域、環 境。例如，虛擬資料與實際資料的學習中，虛擬資料與實際資料分別屬於不同領域、環境。本案其他可能實施例可以在虛擬領域中學習後，再回到真實領域內學習。亦即，虛擬領域是已知類別，而真實領域是未知類別。
習知線上持續學習系統面臨災難性忘記。本案上述實施例的SDA可以產生具有不同語意意義的影像(中間類別)。透過學習SDA所產生的影像(中間類別)，分類器模型可以得到較好性能與較少的忘記。
線上持續學習系統面臨近因效應。本案上述實施例的WABS可解決此問題，改善訓練效率。
在客戶端裝置上的人工智慧模型必需在服務期間內學習新概念。本案上述實施例有利於模型學習，減緩災難性忘記，並解決近因效應。
綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
110~160:步驟

Claims (8)

  1. 一種線上持續學習方法，包括：輸入一待辨識類別的複數個訓練資料；應用一離散非隨機增強操作於該待辨識類別的該些訓練資料上，以產生複數個中間類別，其中，對於該待辨識類別的該些訓練資料進行旋轉或置換，以產生該些中間類別；以裁切與色彩失真從該些中間類別產生複數個視景資料；從該些視景資料取出複數個特徵向量；以及根據該些特徵向量訓練一模型。
  2. 如請求項1所述之線上持續學習方法，其中，根據該些特徵向量訓練該模型之該步驟包括：投影該些特徵向量，以得到複數個輸出特徵向量；以及根據該些輸出特徵向量訓練該模型，使得屬於同一中間類別所得到的該些輸出特徵向量彼此拉近，而從不同中間類別所得到的該些輸出特徵向量彼此推遠。
  3. 如請求項2所述之線上持續學習方法，其中，投影該些特徵向量之該步驟包括：投影該些特徵向量至另一維度空間。
  4. 如請求項1所述之線上持續學習方法，其中，根據該些特徵向量訓練該模型之該步驟包括：對該些特徵向量，進行一權重感知平衡取樣，以動態地調整該待辨識類別的一資料取樣比率； 以該模型來進行分類；以及對於該模型的一分類結果，進行交叉熵以訓練該模型。
  5. 一種線上持續學習系統，包括：一語義清楚增強模組，接收一待辨識類別的複數個訓練資料，並應用一離散非隨機增強操作於該待辨識類別的該些訓練資料上，以產生複數個中間類別，該語義清楚增強模組對於該待辨識類別的該些訓練資料進行旋轉或置換，以產生該些中間類別；一視景資料產生模組，耦接至該語義清楚增強模組，該視景資料產生模組以裁切與色彩失真從該些中間類別產生複數個視景資料；一特徵擷取模組，耦接至該視景資料產生模組，從該些視景資料取出複數個特徵向量；以及一訓練功能模組，耦接至該特徵擷取模組，根據該些特徵向量訓練一待訓練模型。
  6. 如請求項5所述之線上持續學習系統，其中，該訓練功能模組包括：一投影模組，耦接至該特徵擷取模組，該投影模組投影該些特徵向量，以得到複數個輸出特徵向量；以及一第二訓練模組，耦接至該投影模組，該第二訓練模組根據該些輸出特徵向量訓練該待訓練模型，使得屬於同一中間類別所得到的該些輸出特徵向量彼此拉近，而從不同中間類別所得到的該些輸出特徵向量彼此推遠。
  7. 如請求項6所述之線上持續學習系統，其中，該投影模組投影該些特徵向量至另一維度空間。
  8. 如請求項5所述之線上持續學習系統，其中，該訓練功能模組包括：一權重感知平衡取樣模組，耦接至該特徵擷取模組，對該些特徵向量，進行一權重感知平衡取樣，以動態地調整該待辨識類別的一資料取樣比率；一分類器模型，耦接至該權重感知平衡取樣模組，以該待訓練模型來進行分類；以及一第一訓練模組，耦接至該分類器模型，對於該分類器模型所得到的一分類結果，進行交叉熵以訓練該待訓練模型。
TW111118886A 2022-01-12 2022-05-20 線上持續學習方法及系統 TWI802418B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202263298986P 2022-01-12 2022-01-12
US63/298,986 2022-01-12

Publications (2)

Publication Number Publication Date
TWI802418B true TWI802418B (zh) 2023-05-11
TW202328961A TW202328961A (zh) 2023-07-16

Family

ID=87069748

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111118886A TWI802418B (zh) 2022-01-12 2022-05-20 線上持續學習方法及系統

Country Status (3)

Country Link
US (1) US20230222380A1 (zh)
CN (1) CN116484212A (zh)
TW (1) TWI802418B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200184374A1 (en) * 2018-12-11 2020-06-11 Exxonmobil Upstream Research Company Automated Seismic Interpretation Systems and Methods for Continual Learning and Inference of Geological Features
US20210110264A1 (en) * 2020-12-21 2021-04-15 Intel Corporation Methods and apparatus to facilitate efficient knowledge sharing among neural networks
CN113344215A (zh) * 2021-06-01 2021-09-03 山东大学 支持新模态在线学习的可扩展认知发育方法及系统
US20210383272A1 (en) * 2020-06-04 2021-12-09 Samsung Electronics Co., Ltd. Systems and methods for continual learning
US20210383158A1 (en) * 2020-05-26 2021-12-09 Lg Electronics Inc. Online class-incremental continual learning with adversarial shapley value
CN113837220A (zh) * 2021-08-18 2021-12-24 中国科学院自动化研究所 基于在线持续学习的机器人目标识别方法、系统及设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7167849B2 (en) * 2003-10-29 2007-01-23 Microsoft Corporation Invariant pattern recognition
US9171477B2 (en) * 2013-03-25 2015-10-27 University Of Rochester Method and system for recognizing and assessing surgical procedures from video
US9646226B2 (en) * 2013-04-16 2017-05-09 The Penn State Research Foundation Instance-weighted mixture modeling to enhance training collections for image annotation
JP7038499B2 (ja) * 2016-07-29 2022-03-18 株式会社野村総合研究所 分類システム、分類システムの制御方法、およびプログラム
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN111723675B (zh) * 2020-05-26 2022-08-16 河海大学 基于多重相似性度量深度学习的遥感图像场景分类方法
CN111898683B (zh) * 2020-07-31 2023-07-28 平安科技（深圳）有限公司 基于深度学习的图像分类方法、装置及计算机设备
CN112559784B (zh) * 2020-11-02 2023-07-04 浙江智慧视频安防创新中心有限公司 基于增量学习的图像分类方法及系统
CN113569774B (zh) * 2021-08-02 2022-04-08 清华大学 一种基于持续学习的语义分割方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200184374A1 (en) * 2018-12-11 2020-06-11 Exxonmobil Upstream Research Company Automated Seismic Interpretation Systems and Methods for Continual Learning and Inference of Geological Features
US20210383158A1 (en) * 2020-05-26 2021-12-09 Lg Electronics Inc. Online class-incremental continual learning with adversarial shapley value
US20210383272A1 (en) * 2020-06-04 2021-12-09 Samsung Electronics Co., Ltd. Systems and methods for continual learning
US20210110264A1 (en) * 2020-12-21 2021-04-15 Intel Corporation Methods and apparatus to facilitate efficient knowledge sharing among neural networks
CN113344215A (zh) * 2021-06-01 2021-09-03 山东大学 支持新模态在线学习的可扩展认知发育方法及系统
CN113837220A (zh) * 2021-08-18 2021-12-24 中国科学院自动化研究所 基于在线持续学习的机器人目标识别方法、系统及设备

Also Published As

Publication number Publication date
TW202328961A (zh) 2023-07-16
US20230222380A1 (en) 2023-07-13
CN116484212A (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
Zhou et al. Meta-gnn: On few-shot node classification in graph meta-learning
Chaganti et al. Image Classification using SVM and CNN
CN114511739B (zh) 一种基于元迁移学习的任务自适应的小样本图像分类方法
Xiao et al. Learning deep feature representations with domain guided dropout for person re-identification
Ertam et al. A new approach for internet traffic classification: GA-WK-ELM
Boneh et al. How relevant is the Turing test in the age of sophisbots?
CN109800785B (zh) 一种基于自表达相关的数据分类方法和装置
CN108809974A (zh) 一种网络异常识别检测方法及装置
WO2021139171A1 (zh) 人脸增强识别方法、装置、设备及存储介质
Zheng et al. Demystifying deep learning in networking
Kim et al. Classifying genuine face images from disguised face images
CN113158181B (zh) 使用神经网络对原始侧信道数据进行端到端攻击的方法
Seraj et al. Semi-supervised deep domain adaptation for deepfake detection
CN115761848A (zh) 一种小样本场景下基于双流原型的遮挡人脸识别方法
Abu-Ein et al. Analysis of the current state of deepfake techniques-creation and detection methods
TWI802418B (zh) 線上持續學習方法及系統
CN115238869A (zh) 基于图神经网络模型的成员推理攻击方法
CN112686275B (zh) 融合知识蒸馏的生成回放框架式的持续型图像识别系统和方法
Cretu et al. Investigating the effect of misalignment on membership privacy in the white-box setting
CN113011601A (zh) 一种机器学习即服务平台上的成员推理攻击方法
CN115134176B (zh) 一种基于不完全监督的暗网加密流量分类方法
Wu et al. Unconstrained facial expression recogniton based on cascade decision and gabor filters
Singh et al. Recognizing actions in motion trajectories using deep neural networks
CN115563533A (zh) 一种基于多任务学习的加密流量分类系统、方法、计算机及存储介质
Petkov et al. Generalized net model of encrypting message in an image using self organizing map neural network