TWI623888B - 藉由分段便箋用於便箋內容提取及管理之系統與方法 - Google Patents

藉由分段便箋用於便箋內容提取及管理之系統與方法 Download PDF

Info

Publication number
TWI623888B
TWI623888B TW103123518A TW103123518A TWI623888B TW I623888 B TWI623888 B TW I623888B TW 103123518 A TW103123518 A TW 103123518A TW 103123518 A TW103123518 A TW 103123518A TW I623888 B TWI623888 B TW I623888B
Authority
TW
Taiwan
Prior art keywords
note
notes
segments
content
mark
Prior art date
Application number
TW103123518A
Other languages
English (en)
Other versions
TW201528155A (zh
Inventor
黛安 瑞多特 渥克
大衛 毛利斯 瑪里
克莉絲汀 艾琳 摩倫
古魯帕賽德 索瑪桑德朗
理查 詹姆士 摩爾
Original Assignee
３Ｍ新設資產公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ３Ｍ新設資產公司 filed Critical ３Ｍ新設資產公司
Publication of TW201528155A publication Critical patent/TW201528155A/zh
Application granted granted Critical
Publication of TWI623888B publication Critical patent/TWI623888B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30176—Document

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Input (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本文揭示用於建立並操作表示實體便箋之軟體便箋的技術。一種便箋管理系統包含一感測器，其經組態以擷取一實體便箋的一影像資料，其中使用標記將該便箋分成一或多個區段，其中藉由該等標記之至少一者標記該等區段之每一者。該便箋管理系統更包含：一便箋辨識模組，其耦接至該感測器，該便箋辨識模組經組態以接收該所擷取影像資料並識別在該便箋上的該等標記；及一便箋提取模組，其經組態根據該等所識別標記判定在該所擷取影像資料內之一或多個區段的一般邊界，並使用該等一般邊界提取內容，該內容包含內容項目，該等內容項目之每一者對應於該便箋的該一或多個區段之一者。

Description

藉由分段便箋用於便箋內容提取及管理之系統與方法
本申請案主張2013年7月9日申請之美國專利臨時申請案第61/844,140號、第61/844,152號及第61/844,176號之優先權，該等申請案之各者的全部內容皆以引用方式併入本文中。
本發明係關於便箋內容擷取、辨識、提取及/或管理的工具與系統。
實體便箋(note)已廣泛運用於記錄、分享以及溝通意見與資訊。舉例來說，在協作會議期間(例如，腦力激盪會議)，參與者將意見寫在Post-It®便利貼、白板或紙上，然後彼此分享。此外，人們經常從早到晚用便箋來記下不想忘記的資訊或內容。舉其他實例，人們常會使用便箋作為提醌將來要採取之行動或會發生之事件，諸如撥一通電話，修訂一份文件，或是填寫時間表。
舉例來說，在許多情況下，參與協作會議的人們會將資訊寫在紙質便箋上，諸如Post-it®便利貼。紙質Post-it®便利貼可方便從一背膠紙質Post-it®便利貼的便條本(dispenser pad)移開，並貼至各種表面，諸如白板、文件、桌面、電話或類似物。可在紙質Post-it®便利貼離開其便條本或貼至其目標表面之前或之後將資訊寫在紙質Post- it®便利貼上。紙質Post-it®便利貼可輕易從一表面移至另一表面，諸如在文件之間或是在文件與桌面之間，便利貼可覆疊文件的邊緣或邊界、可分層，而且也可連同便利貼所貼至的物件一起移動。
目前已有軟體程式容許電腦使用者建立軟體方式的數位便箋，並在一電腦環境中運用該數位便箋。舉例來說，電腦使用者可建立一個數位便箋並將其「貼」至一電子文件、桌面或是該電腦環境所呈現的電子工作空間。
一般而言，本發明描述用於建立並操作表示實體便箋之軟體便箋的技術。
在一實例中，一種方法包含藉由一感測器擷取包含一便箋之視覺表示的影像資料，其中該便箋包含具有一或多個區段的一實體便箋，各區段具有在其上之至少一標記。該方法更包含：藉由一或多個處理器識別該便箋上的標記，並依據該等所識別標記，藉由一或多個處理器，判定該一或多個區段之影像資料內的一般邊界。該方法包含使用該等一般邊界，藉由該一或多個處理器並從該影像資料提取內容，該內容包含一組內容項目，該組內容項目之每一者對應於該便箋之該一或多個區段的一不同區段。
在另一實例中，一種便箋管理系統包含一感測器，該感測器經組態以擷取一實體便箋的一影像資料，其中使用標記將該便箋分成一或多個區段，其中藉由該等標記之至少一者標記該等區段之每一者。該便箋管理系統更包含：一便箋辨識模組，該便箋辨識模組係耦接至該感測器，並經組態以接收該所擷取影像資料並識別在該便箋上的該等標記；以及一便箋提取模組，該便箋提取模組經組態根據該等所識別標記以判定在該所擷取影像資料內之一或多個區段的一般邊界，並使用該等一般邊界提取內容，該內容包含內容項目(pieces)，該等內 容項目之每一者係對應於該便箋的該一或多個區段之一者。
在另一實例中，一非暫時性電腦可讀取儲存裝置包含指令，其造成一可程式化處理器接收包含具有複數個實體便箋之場景的視覺表示之影像資料，該複數個實體便箋之每一者具有複數個區段，該等區段之每一者具有至少一具有一已知特性之標記。該等指令令處理器處理影像資料以識別該影像資料內的標記，根據該等標記的已知特性，判定該複數個實體便箋的第一實體便箋之影像資料內的一邊界，並處理該影像資料，根據該等標記的已知特性以及為該實體便箋所判定的邊界，藉以判定該第一實體便箋之各區段的邊界。該指令令該處理器使用為實體便箋各區段所判定之邊界，為第一實體便箋之各區段從影像資料提取各自內容，建立可表示為該第一實體便箋的一具有指示出該實體便箋之各區段的資料之數位便箋，並使從影像資料提取的各自內容項目與該數位便箋之相對應區段相關聯。
10‧‧‧便箋辨識環境
12‧‧‧雲端伺服器
14‧‧‧電腦系統
15‧‧‧行動裝置
16‧‧‧行動裝置
18‧‧‧影像擷取裝置
20‧‧‧工作空間
22‧‧‧便箋
26‧‧‧使用者
28‧‧‧呈現裝置
64‧‧‧作業系統
68‧‧‧資料儲存裝置；資料庫
70‧‧‧處理器
72‧‧‧傳輸器
74‧‧‧接收器
76‧‧‧I/O
77‧‧‧使用者應用程式
78‧‧‧便箋管理應用程式
79‧‧‧圖形使用者介面(GUI)
82‧‧‧影像處理引擎
86‧‧‧便箋識別模組
88‧‧‧數位便箋產生模組
90‧‧‧影像通訊模組
94‧‧‧資料庫
95‧‧‧影像處理應用程式介面(API)
96‧‧‧影像編輯器
97‧‧‧影像
98‧‧‧使用者介面
99‧‧‧數位便箋
100A‧‧‧便箋辨識系統
100B‧‧‧便箋管理系統
110‧‧‧處理單元
120‧‧‧便箋
130‧‧‧感測器
140‧‧‧便箋內容儲存庫
150‧‧‧便箋來源
160‧‧‧呈現裝置
200A‧‧‧便箋
200B‧‧‧便箋
200C‧‧‧便箋
200D‧‧‧影像
200E‧‧‧便箋
200F‧‧‧便箋
200G‧‧‧便箋
210A‧‧‧元件
210B‧‧‧元件
210C‧‧‧元件
210D‧‧‧便箋
210E‧‧‧區段
210F‧‧‧區段
210G‧‧‧區段
210H‧‧‧標記
212D‧‧‧便箋
214D‧‧‧便箋
220A‧‧‧元件
220B‧‧‧元件
220D‧‧‧便箋
220E‧‧‧區段
220F‧‧‧區段
220G‧‧‧區段
220H‧‧‧標記
222D‧‧‧便箋
224D‧‧‧便箋
230B‧‧‧元件
230D‧‧‧便箋
230E‧‧‧區段
230F‧‧‧區段
230G‧‧‧區段
232D‧‧‧便箋
234D‧‧‧便箋
240B‧‧‧元件
240D‧‧‧便箋
240E‧‧‧區段
240F‧‧‧區段
240G‧‧‧區段
242D‧‧‧便箋
244D‧‧‧便箋
260G‧‧‧螢光筆
400‧‧‧視覺表示
410‧‧‧便箋
420‧‧‧標記
430‧‧‧邊界
500A‧‧‧視覺表示
500B‧‧‧視覺表示
510A‧‧‧便箋
510D‧‧‧內容
520‧‧‧標記
600‧‧‧便箋辨識系統
620‧‧‧便箋擷取模組
630‧‧‧便箋辨識模組
640‧‧‧便箋提取模組
650‧‧‧便箋鑑認模組
800‧‧‧便箋管理系統
820‧‧‧便箋來源
830‧‧‧便箋辨識模組
840‧‧‧便箋提取模組
850‧‧‧便箋鑑認模組
860‧‧‧便箋標示模組
870‧‧‧便箋呈現模組
910A‧‧‧便箋
910B‧‧‧便箋
910D‧‧‧板
912A‧‧‧標記
914A‧‧‧標記
915D‧‧‧標記
916A‧‧‧標記
918A‧‧‧標記
920A‧‧‧視覺表示
920B‧‧‧視覺表示
920D‧‧‧內容項目
922A‧‧‧智慧型手機
922B‧‧‧智慧型手機
930D‧‧‧內容項目
940B‧‧‧內容
940D‧‧‧內容項目
950A‧‧‧內容
950D‧‧‧內容項目
960A‧‧‧內容
970A‧‧‧內容
980A‧‧‧內容
1000A‧‧‧視覺表示
1000B‧‧‧便箋
附圖係納入本說明書，並與本發明之描述、解釋以及優點與原則一起構成本說明書的一部分。
圖1係一代表圖，其繪示一使用者使用一行動裝置上之影像擷取裝置擷取具有便箋之工作空間的影像。
圖2係一方塊圖，其繪示一行動裝置的實例。
圖3係一方塊圖，其繪示處理輸入影像的一使用者應用程式之一實例。
圖4A繪示一便箋辨識系統之一實施例。
圖4B繪示一便箋管理系統之一實施例。
圖5A至圖5D繪示具有標記之便箋之一些實例。
圖5E至圖5F繪示具有區段之便箋之一些實例。
圖5G繪示使用標記建立一便箋之區段之一實例。
圖5H繪示標記之一實例。
圖6A繪示一便箋辨識及/或管理系統之一實施例的一流程圖。
圖6B繪示提取便箋內容之一實施例的一流程圖。
圖6C繪示鑑認一便箋之一實施例的一流程圖。
圖6D繪示使用色彩分類演算法提取便箋或便箋區段的內容之一實施例的一功能流程圖。
圖6E繪示使用色彩分類演算法提取具有三種不同顏色之便箋或便箋區段內容之一實例的一功能流程圖。
圖6F繪示從具有區段的一便箋提取一組內容之一實施例的一功能流程圖。
圖6G繪示分段一便箋並為該等區段提取一組內容之一實施例的一功能流程圖。
圖7A至圖7D繪示具有一標記之便箋的內容提取程序之一實例。
圖8A至圖8D繪示具有反光標記之複數個便箋的內容提取之一實施例。
圖9繪示一便箋辨識系統之一實施例的一模組圖。
圖10A繪示一便箋管理系統之一實施例的一流程圖。
圖10B繪示一系統如何能標示一便箋的實例。
圖11繪示一便箋管理系統之一實施例的一模組圖。
圖12A繪示具有標記之分段便箋的內容提取程序之一實例。
圖12B繪示具有彩色區段的一便箋之內容提取程序之一實例。
圖12C繪示標記一白板以提取分段內容之一例示性情境。
圖13A與圖13B繪示使用顏色分類演算法提取有色便箋之一實例。
圖14繪示一分類值對顏色的圖形。
本發明描述用於建立並操作表示實體便箋之軟體便箋的技術。舉例來說，所述的技術係用於辨識在一實體環境內存在的實體便箋，自實體便箋擷取資訊並建立該等實體便箋的對應數位表示，在本文中稱之為數位便箋或以軟體為基礎的便箋。此外，本發明之至少某些觀點係關於用於管理多個便箋的技術，諸如儲存、取得、編輯該等數位便箋，分類並分組該等數位便箋，或類似技術。
便箋已廣泛運用於記錄、分享以及溝通意見與資訊。舉例來說，在協作會議期間(例如，腦力激盪會議)，參與者將意見寫在Post-ItTM便利貼、白板或紙上，然後彼此分享。本發明之至少某些態樣係關於擷取多個便箋並提取便箋內容的系統與方法。在某些實施例中，至少一些便箋包括一標記以促進便箋辨識及提取。在某些情況中，便箋是在一場景的視覺表示中被擷取並識別/辨識。舉例來說，一場景的視覺表示可以係一數位相片，或取自便箋及周遭環境之視訊的靜止畫面。此外，本發明之至少某些態樣係關於管理多個便箋的系統與方法，諸如儲存並取得便箋，分類並分組便箋，或類似操作。在某些情況中，便箋管理系統可改善從大量便箋擷取並提取便箋內容的效率。此外，便箋管理系統可改善分組及管理便箋的效率。
一般而言，便箋可包括實體便箋及數位便箋。實體便箋一般是指具有一般邊界及可辨識內容的物件。實體便箋可包括人們書寫、繪圖或藉由其他輸入類型所造成的物件，例如紙、白板，或其他可接受該等輸入的物件。舉例來說，實體便箋可包括手寫Post-ItTM便利貼、紙或投影片，具有圖畫、海報與標誌的白板。在某些情況中，可用數位方式產生實體便箋，例如列印至可列印Post-ItTM便利貼或可列印文件。在某些情況中，一物件可包括數個便箋。舉例來說，數個意見可寫在一張海報紙或白板上。在某些實施例中，為促進辨識這些便箋，可將標記(例如線條、形狀、顏色、符號、記號或貼紙)施用至便箋的 邊緣。實體便箋可以是二維或三維。實體便箋可具有不同形狀及尺寸。舉例來說，實體便箋可以是7.62×7.62cm(3×3吋)便箋；實體便箋可以是66.04×99.06cm(26×39吋)海報；以及實體便箋可以是三角形金屬標誌。在某些情況中，實體便箋可具有符合標準(例如legal、A3、A4)以及其他尺寸標準的已知形狀及/或尺寸，並且已知形狀可不限於幾何形狀，例如星形、圓形、矩形，或類似形狀。在其他情況中，實體便箋可具有非標準尺寸及/或不規則形狀。數位便箋一般是指具有資訊及/或意見的數位物件。可使用數位輸入產生數位便箋。數位輸入可包括(例如)鍵盤、觸控螢幕、數位相機、數位錄製裝置、觸控筆、數位筆，或類似物。在某些情況中，數位便箋可為實體便箋之表示。
在某些情況中，便箋可用在一協作空間中。協作空間一般是指一聚集區，容許一個以上的人彼此分享意見與想法。協作空間可包括虛擬空間，容許一群人除了在聚集區之外還能遠端分享意見與想法。
圖1繪示一便箋辨識環境10。在圖1的實例中，環境10包括一行動裝置15，用來從一工作空間20擷取並辨識一或多個便箋22。如本文中所述，行動裝置為一或多個軟體應用程式提供一執行環境，如所述，其可有效地從大量實體便箋(例如從工作空間20而來的便箋22之集合)擷取並提取便箋內容。在此實例中，便箋22可以是具有多位參與者之協作腦力激盪會議的結果。如所述，行動裝置15及其所執行的軟體可實現多種便箋相關操作，包括自動建立表示工作空間20之實體便箋22的數位便箋。
在此實例性實施方案中，行動裝置15包括(除了其他元件之外)影像擷取裝置18及一呈現裝置28。此外，雖然圖1並未顯示，行動裝置15可包括一或多個處理器、微處理器、內部記憶體及/或資料儲存裝置以及其他電路，用來執行軟體或韌體以提供本文所述的功能。
一般而言，影像擷取裝置18是一相機或其他元件，其經組態以擷取表示工作空間20及置於其內的便箋22之影像資料。換句話說，影像資料擷取一環境(例如工作空間20)的視覺表示，其具有複數個實體便箋。雖然是當作行動裝置15的相機討論，影像擷取裝置18可包含能夠擷取影像資料的其他元件，例如錄影機、紅外線相機、CCD(電荷耦合裝置)陣列、雷射掃描器，或類似物。此外，擷取影像資料可包括至少一影像、視訊、一連串影像(即，在一時段內及/或以一順序拍攝的多個影像)、大量影像，或類似物，且輸入影像一詞是用來指稱各種影像資料的實例。
呈現裝置28可包括(但不限於)電子式可定址顯示器，例如一液晶顯示器(LCD)或用於與行動裝置28一起使用的其他類型顯示裝置。在某些實施方案中，行動裝置15產生要以各種格式在呈現裝置28上顯示的內容，例如，以行及/或列分組的清單、流程圖，或類似物。在某些情況中，行動裝置15可傳達顯示資訊以供其他裝置呈現，例如平板電腦、投影機、電子看板，或其他外部裝置。
如本文所述，行動裝置15以及在其上執行的軟體，提供用於建立並操作表示實體便箋22之數位便箋之一平台。舉例來說，一般而言，行動裝置15經組態以處理由影像擷取裝置18所產生的影像資料，以偵測並辨識置於工作空間20內的實體便箋22之至少一者。在某些實例中，行動裝置15經組態以辨識便箋，此係藉由判定該(等)便箋之一般邊界。辨識出一便箋後，行動裝置15提取該一或多個便箋之至少一者的內容，其中該內容係便箋22的視覺資訊。
如後文進一步描述，行動裝置15可實施用於自動偵測並辨識實體便箋22以及提取資訊、內容或與各實體便箋相關聯之其他特性的技術。舉例來說，行動裝置15可容許使用者26微調控制由行動裝置15用來偵測並辨識實體便箋22的技術。舉例來說，行動裝置15可容許使用 者26在以記號為基礎的偵測技術與非記號為基礎的技術之間選擇，其中在以記號為基礎的偵測技術的一或多個便箋22包括在該便箋之表面上的一實體基標(fiduciary mark)，在非記號為基礎的技術中則不使用基標。
此外，行動裝置15為使用者26提供一改進的電子環境，用於產生並操作表示實體便箋22的對應數位便箋。另舉一例，行動裝置15可提供機制，容許使用者26輕易增加數位便箋至表示與工作空間20相關之腦力激盪活動的一組數位便箋，及/或從該組數位便箋刪除數位便箋。在某些實例性實施方案中，行動裝置15提供功能，藉此使用者26能夠記錄並管理多群組便箋22之間的關係。
在某些實例性實施方案中，行動裝置15提供功能，藉此使用者26能將數位便箋匯出至其他系統，例如以雲端為基礎的儲存庫(例如，雲端伺服器12)或其他運算裝置(例如，電腦系統14或行動裝置16)。
在圖1的實例中，行動裝置15繪製為一行動電話。不過，在其他實例中，行動裝置15可以是一平板電腦、個人數位助理(PDA)、膝上型電腦、媒體播放器、電子書閱讀器、穿戴運算裝置(例如，手錶、眼鏡、手套)，或適合用於執行本文所述技術的任何其他類型的可移動或不可移動運算裝置。
圖2繪示一方塊圖，其說明依據本文所述技術操作之一行動裝置的實例。為舉例之目的，會參照圖1之行動裝置15描述圖2的行動裝置。
在此實例中，行動裝置15包括各種硬體元件，該等硬體元件提供用於該裝置之操作的核心功能。例如，行動裝置15包括一或多個可程式化處理器70，其經組態以依據可執行指令(即，程式碼)操作，通常是儲存在一電腦可讀取媒體或資料儲存裝置68中，諸如靜態隨機存 取記憶體(SRAM)裝置或快閃記憶體裝置。I/O 76可包括一或多個裝置，諸如一鍵盤、相機鍵、電源按鈕、音量按鈕、首頁按鈕、返回按鈕、選單按鈕，或如圖1所述的呈現裝置28。傳輸器72及接收器74經由如圖1所述的一無線通訊介面(例如但不限於高頻射頻(RF)信號)提供與其他裝置(諸如雲端伺服器12、電腦系統14，或如圖1所述的其他行動裝置16)的無線通訊。行動裝置15可包括額外的離散數位邏輯或類比電路，未顯示於圖2中。
一般而言，作業系統64在處理器70上執行並提供用於一或多個使用者應用程式77(通常稱為「app」)之一作業環境，包括便箋管理應用程式78。例如，使用者應用程式77包含儲存在電腦可讀儲存裝置內(例如，資料儲存裝置68)的可執行程式碼以供處理器70執行。另舉其他實例，使用者應用程式77可包含韌體或在某些實例中可實施在離散邏輯中。
操作時，行動裝置15接收輸入影像資料並依據本文所述的技術處理該輸入影像資料。例如，影像擷取裝置18可擷取具有複數個便箋之環境的一輸入影像，例如圖1之具有便箋22的工作空間20。另舉一例，行動裝置15可經由接收器74從外部來源(諸如雲端伺服器15、電腦系統14，或行動裝置16)接收影像資料。一般而言，行動裝置15將影像資料儲存在資料儲存裝置68內，以供便箋管理應用程式78及/或其他使用者應用程式77存取並處理。
如圖2所示，使用者應用程式77可引動作業系統64的核心功能，以輸出一圖形使用者介面(GUI)79，用於呈現資訊給一行動裝置的使用者。如後文詳述，便箋管理應用程式78可建構並控制GUI 79，以提供一改進的電子環境，用於產生並操作表示實體便箋22的對應數位便箋。例如，便箋管理應用程式78可建構GUI 79以包括一機制，容許使用者26輕易增加數位便箋至由影像資料所辨識出的經定義組數位便箋 及/或從該等經定義組數位便箋刪除數位便箋。在某些實例性實施方案中，便箋管理應用程式78提供功能，藉此使用者26能夠藉由GUI 79記錄並管理數位便箋群組之間的關係。
圖3繪示一方塊圖，其說明依據本文所述技術操作之一便箋管理應用程式78的一實例性實施方案。雖然所述為在一行動裝置15上執行的一使用者應用程式77，本文所述實例可被實施在任何運算裝置上，諸如雲端伺服器12、電腦系統14，或其他行動裝置。
在此實例中，使用者應用程式78包括影像處理引擎82，其提供影像處理及物件辨識功能。影像處理引擎82可包括影像通訊模組90、便箋識別模組86以及數位便箋產生模組88。此外，影像處理引擎82包括影像處理應用程式介面(API)95，其提供一影像操作功能函式庫，例如影像定限、遮罩、過濾、邊緣偵測及類似物，供影像處理引擎82的其他元件使用。
一般而言，影像資料可被儲存在儲存裝置68中。在此實例中，便箋管理應用程式78將影像97儲存在資料儲存裝置68內。各影像97可包含針對具有複數個實體影像之環境(例如圖1的工作空間20)的像素資料。
如本文中所述，便箋識別模組86處理影像97並識別(即，辨識)在影像中的複數個實體便箋。可由便箋識別模組86使用記號及/或無記號偵測程序來處理輸入影像。數位便箋產生模組88產生對應於影像97中所辨識的實體便箋之數位便箋99。舉例來說，各個數位便箋99對應於輸入影像97中所識別的實體便箋之一。在此程序期間，數位便箋產生模組可更新資料庫94以包括一數位便箋記錄，而且可將自如便箋識別模組86所偵測而判定之實體便箋邊界內的輸入影像所提取資訊(例如內容)儲存在資料庫中。此外，數位便箋產生模組88可將中繼資料儲存在資料庫94中，中繼資料使數位便箋相關聯而成為一或多群組數 位便箋。
通訊模組90控制行動裝置15與外部裝置(例如雲端伺服器12、電腦系統14、行動裝置16，或影像擷取裝置18)之間的影像資料通訊。舉例來說，在某些實例中，通訊模組90可容許使用者傳達已處理或未處理的環境影像97及/或數位便箋，以及從其所提取的相關聯資訊，包括來自資料庫68的中繼資料。在某些實例中，影像通訊模組90匯出此資料至一壓縮檔，可藉由FTP、HTTP、電子郵件、藍牙或其他機制通訊。
在圖1的實例中，便箋管理應用程式78包括建構並控制GUI 79的使用者介面98。如後文所述，在某些實例中，使用者介面98可輸出以供顯示覆疊有複數個數位便箋99之一輸入影像97，其中各數位便箋覆疊在一對應實體便箋的位置。此外，使用者介面98可顯示已被使用者指定的一群組數位便箋99。舉例來說，此組數位便箋99可以係在一特殊輸入影像97中辨識的數位便箋子集。使用者介面98可在GUI 79的第二部分上顯示此指定群組(組)的數位便箋，並容許使用者26輕易從該指定群組增加或移出數位便箋99。
在某些實例性實施方案中，使用者介面98提供一影像編輯器96，容許使用者26編輯覆疊之影像及/或數位便箋。在另一實例中，數位便箋產生模組88可包括從輸入影像強化提取資訊之一程序或多個程序。
用於偵測並辨識實體便箋之便箋管理應用程式78的額外實例細節係描述於下列專利申請案中：於7月9日申請的美國專利申請案第61/844140號，名稱為「使用顏色分類用於便箋辨識及管理的系統與方法」(SYSTEMS AND METHODS FOR NOTE RECOGNITION AND MANAGEMENT USING COLOR CLASSIFICATION)；於2013年7月9日申請的美國專利申請案第61/844152號，名稱為「使用分段便箋用 於便箋內容提取及管理的系統與方法」(SYSTEMS AND METHODS FOR NOTE CONTENT EXTRACTION AND MANAGEMENT USING SEGMENTED NOTES)；以及於2013年7月9日申請的美國專利申請案第61/844176號，名稱為「藉由分段便箋而用於便箋內容提取及管理的系統與方法」(SYSTEMS AND METHODS FOR NOTE CONTENT EXTRACTION AND MANAGEMENT BY SEGMENTING NOTES)，該等申請案之各者的全部內容皆以引用方式併入本文中。
為更佳了解本發明，圖4A繪示一便箋辨識系統100A的一實施例。系統100A可包括一處理單元110、一或多個便箋120、一感測器130、以及一便箋內容儲存庫140。處理單元110可包括一或多個處理器、微處理器、電腦、伺服器，以及其他運算裝置。感測器130(例如，一影像感測器)經組態以擷取具有一或多個便箋120的一場景之視覺表示。感測器130可包括相機、錄影機、紅外線相機、CCD(電荷耦合裝置)陣列、掃描器，或類似裝置之至少一者。該視覺表示可包括影像、視訊、一連串影像(即，在一期間時段內及/或以一順序拍攝的多個影像)、大量影像或類似物之至少一者。處理單元110耦接至感測器130，並經組態以接收該視覺表示。在某些情況中，處理單元110電耦接至該感測器130。該處理單元110經組態以自該視覺表現辨認一或多個便箋120之至少一者。在某些實施例中，處理單元110經組態以藉由判定便箋之一般邊界而辨識該(等)便箋。辨識出一便箋後，處理單元110提取便箋的內容。在某些情況中，處理單元110經組態以自具有一個以上便箋120的一場景之視覺表示而辨識並提取彼等便箋120的內容。
在某些情況中，處理單元110可執行儲存在非暫時性電腦可讀取媒體中的軟體或韌體，以實施用於系統100A之各種處理程序(例如，辨識便箋、提取便箋等)。便箋內容儲存庫140可在一單一電腦、一伺 服器、一儲存裝置、一雲端伺服器或類似物上運行。在某些其他情況中，便箋內容儲存庫140可在一系列網路電腦、伺服器或裝置上運行。在某些實施方案中，便箋內容儲存庫140包括多層資料儲存裝置，其包括本機、區域性及中央性。便箋120可包括在一協作空間中按順序或隨機排列的實體便箋，且該感測器130產生在該協作空間內之該等便箋120的視覺表示。
在某些實施例中，該一或多個便箋120之至少一些包括一標記，其可促進一便箋的識別、辨識及/或鑑認(authentication)。在某些實施例中，一標記包括條碼、顏色區塊、色碼、基標、商標標誌、點、洞，以及類似物之至少一者。便箋本身的形狀及/或顏色可被用作標記，以促進一便箋的識別、辨識及/或鑑認。在某些情況中，標記可包括複數個以特定圖樣排列的元件，例如，在一矩形便箋四角的基標。在某些其他情況中，標記可包括複數個元件，其中至少某些元件係不可見元件，可用來提供鑑認資訊，例如RFID(射頻識別)標籤。舉例來說，一標記可使用至少一反光材料、光學可變墨水、彩色墨水、紅外線吸收墨水、螢光墨水、浮水印、亮面材料、虹彩材料、多層光學薄膜、膠體晶體、打孔標記、結構性顏色、浮動影像、開窗防偽線(window thread)或其類似方法之至少一者製成。在某些實施例中，處理單元110先從一視覺表示辨識在一便箋上的標記，判定該標記在視覺表示上的位置，然後根據所辨識標記提取該便箋的內容。在某些情況中，處理單元110根據所辨識標記、該便箋的預定形狀及/或在該便箋上之標記的一已知相對位置，提取便箋的內容。在某些實施方案中，處理單元110即時(即，處理在一暫時性儲存裝置中之資料)自該視覺表示提取便箋的內容，而不會將該視覺表示儲存在一非暫時性儲存裝置中。
在某些實施方案中，便箋辨識系統100A可包括一呈現裝置(圖4A 中未顯示)，以向一使用者顯示哪些便箋被辨識及/或哪些便箋的內容已被提取。此外，便箋辨識系統100A可經由該呈現裝置呈現提取的內容。在某些實施例中，處理單元110可在提取便箋的內容之前鑑認該便箋。若一便箋被鑑認，內容會被提取並儲存在便箋內容儲存庫140。在某些情況中，處理單元可從該便箋的標記提取鑑認資訊。在此等情況中，鑑認資訊在該標記上係可見或不可見。舉例來說，一便箋上的標記可包括諸如一符號、公司標誌、矩陣碼、條碼、色碼，或類似物。另舉一例，便箋上的標記可包括一標籤以儲存能被一適當讀取器取得的資訊。舉例來說，標記可包括一RFID標籤、一近場通訊(NFC)標籤，或類似物。
在某些實施例中，感測器130可產生具有多個便箋120的場景之一第一視覺表示，例如，拍攝該等便箋與周遭環境的相片或一段視訊。該等便箋之每一者具有一標記。處理單元110識別該等標記，判定標記的位置，並使用標記的位置來控制感測器130以產生具有該等便箋120的場景之一第二視覺表示，例如，拍攝該等便箋的一放大影像。處理單元110可進一步從第二視覺表示辨識並提取便箋的內容。
圖4B繪示一便箋管理系統100B的一實施例。在此實施例中，便箋管理系統100B包括處理單元110、一或多個便箋120、一或多個便箋來源150及一便箋內容儲存庫140。在某些情況中，系統100B包括一呈現裝置160。處理單元110、便箋120及便箋內容儲存庫140類似於如圖4A所示之便箋辨識系統100A。便箋來源150可包括提供實體便箋的內容(例如具有一或多個便箋的一場景之一視覺表示)的來源及提供數位便箋內容的來源，例如從一鍵盤輸入的一資料串流。在某些實施例中，便箋管理系統100B包括一第一來源以及一第二來源，且第一來源係具有一或多個便箋120的一場景之視覺表示。可由不同裝置產生第一來源與第二來源。第二來源包括文字串流、影像、視訊、檔案以 及資料輸入之至少一者。處理單元110辨識來自該第一來源之該等便箋之至少一者並提取便箋的內容，如便箋辨識系統100A中所討論者。在某些情況中，處理單元110以一類別標示該便箋。處理單元110可依據該便箋的特定形狀、顏色、內容及/或其他資訊標示一便箋。舉例來說，各群組便箋可具有不同顏色(例如，紅色、綠色、黃色等)。在某些情況中，便箋120可包括具有一或多個元件的標記，且處理單元110可依據從標記所提取的資訊標示該便箋。
在某些實施例中，便箋管理系統100B可包括一或多個呈現裝置160，以向使用者顯示便箋120的內容。呈現裝置160可包括(但不限於)一電子式可定址顯示器(例如一液晶顯示器(LCD))、平板電腦、投影機、電子看板、行動電話、膝上型電腦，或類似物。在某些實施例中，處理單元110產生要在呈現裝置160顯示的該等便箋之各種格式之內容，例如，以行及/或列分組的清單、流程圖，或類似物。
便箋辨識系統及便箋管理系統的各種元件(諸如處理單元、影像感測器及便箋內容儲存庫)可透過一通訊介面通訊。通訊介面包括(但不限於)任何有線或無線短程或長程通訊介面。舉例來說，短程通訊介面可以是區域網路(LAN)、符合一已知通訊標準的介面，諸如藍牙標準、IEEE 802標準(例如，IEEE 802.11)、一ZigBee或類似規格，諸如依據IEEE 802.15.4標準的介面，或其他公開或專屬無線通訊協定。舉例來說，長程通訊介面可包括廣域網路(WAN)、蜂巢式網路介面、衛星通訊介面等。通訊介面可能在一私人電腦網路內，諸如內部網路，或在一公用電腦網路上(例如，網際網路)。
圖5A至圖5C繪示具有貼附於其上的標記之便箋的一些實例。如圖5A所示，便箋200A上的標記具有兩個元件：元件210A及元件220A。元件210A及220A可具有不同尺寸、形狀、相對位置及/或材料組成。舉例來說，元件210A係一條碼，作為用於該便箋的一識別 碼，且元件220A係一小矩形的反光墨水，可用來判定便箋邊界。如圖5B所示，便箋200B上的標記可具有四個元件210B、220B、230B及240B。該四個元件可具有類似或不同尺寸、形狀、及材料組成。標記可用來辨識便箋的尺寸、位置、定向、變形以及其他特性，其可用於內容提取及增進。如圖5C所示，便箋200C上的標記具有一元件210C。該便箋200C具有一非矩形形狀。舉例來說，在某些實施例中，元件210C包括一識別碼，以識別一便箋之類型及群組。在某些情況中，識別碼是一獨特識別碼。
圖5D繪示具有標記之便箋的另一實例。標記為該等便箋的顏色。圖5D中顯示擷取十二個便箋的一影像200D。便箋210D、212D及214D是洋紅色。便箋220D、222D及224D是黃色。便箋230D、232D及234D是藍色。便箋240D、242D及244D是橘色。
圖5E及圖5F繪示具有區段之便箋的某些實例。圖5E繪示具有四個有色區段的便箋200E。各區段具有單色。例如，區段210E是洋紅色；區段220E是黃色；區段230E是藍色；以及區段240E是橘色。圖5F繪示一便箋200F，其具有四個區段且各區段具有一有色邊界。例如，區段210F具有一洋紅色邊界；區段220F具有一黃色邊界；區段230F具有一藍色邊界；以及區段240F具有一橘色邊界。在某些實施方案中，有色邊界具特定線寬(例如，大於0.1mm、大於該區段總寬度的2%等)，使得可由一影像處理演算法辨識該邊界。在某些情況中，區段的顏色或區段的邊界可被用來分類該區段。例如，洋紅色區段或具洋紅色邊界的區段可與一類別A相關聯，且黃色區段或具黃色邊界的區段可與一類別B相關聯。在某些其他情況中，區段的顏色或區段的邊界可被用來指定關於該便箋的狀態或其他功能資訊。例如，紅色可指定刪除便箋內容；且橘色可指定待完成的便箋。
圖5G繪示使用標記建立一便箋之區段之一實例。便箋200G可以 是任何具內容的媒體，例如，一印刷文件、具有書寫及/或圖畫的白板、具有手寫筆記的一張紙，或類似物。可使用筆(即，圖5中所示的筆或螢光筆260G)、印刷標記、旗標、貼紙、彩色膠帶、螢光筆、色紙、具有手寫內容的印刷旗標，或類似物產生標記。便箋200G具有四個區段210G、220G、230G與240G，其中該等區段之每一者具有一矩形標記。在某些實施方案中，一區段可在兩相對角落被標記，例如左上角及右下角。如圖5H所示，角落標記可以係已知尺寸的預定形狀貼附至該實體便箋，如210H及220H所示。舉例來說，一使用者可貼附標記210H、220H至一實體便箋的角落，或貼附至在一較大便箋中的一個括號區(例如，便箋200G)，其中該括號區被認為是要從中提取內容的一分離區域(區段)。標記210H與220H是肘狀且對稱。標記可包括(但不限於)一或多個線條、箭號、星狀標記、肘狀標記、矩形標記、圓形標記、橢圓形標記、多邊形標記，以及幾何形狀標記。在某些實施例中，供一角落所用的標記可以是任何幾何形狀，例如，矩形、圓形、星形，或類似形狀。此外，標記可具有不對稱的肘狀形狀。
圖6A繪示一便箋辨識及/或管理系統之一實施例的一流程圖，例如行動裝置15之便箋管理應用程式78(圖1)或便箋辨識系統100A(圖4A)。一開始，系統擷取複數個便箋的一視覺表示(步驟310A)。在某些實施例中，便箋係實體便箋，而且一次擷取一個以上的便箋更有效率。接下來，系統從該視覺表示辨識複數個便箋的一或多者(步驟320A)。舉例來說，系統可辨識在一便箋上的一特定標記，並隨即判定該便箋的一般邊界。系統提取複數個便箋的一或多個的內容(步驟330A)。此時，系統可建立表示所辨識實體便箋之一對應者的一各自數位便箋。系統可使從一給定實體便箋之視覺表示提取的內容與表示該實體便箋之對應數位便箋相關聯。在某些實施例中，在提取內容之 前，系統可對至少部分的視覺表示應用影像轉換。在某些其他實施例中，系統可應用影像強化或其他影像處理技術，以改進提取內容的品質。在又一其他實施例中，系統可進一步從提取內容辨識文字及數字。
圖6B繪示提取便箋內容之一實施例的一流程圖。首先，由該系統接收一視覺表示(步驟310B)。系統從該視覺表示辨識在一便箋上的一標記(步驟320B)。判定標記的位置及/或形狀之後，系統可選擇性執行幾何校正及裁切至該視覺表示(步驟330B)。依據便箋上標記之所辨識的位置及/或形狀，在視覺表示上辨識該便箋的一般邊界(步驟340B)。在某些實施例中，系統可接收同一組便箋的兩個視覺表示，其中各便箋具有一標記。使用適合擷取便箋上之標記的光源拍攝第一視覺表示。舉例來說，對於使用紅外線感光墨水的標記，光源可以係紅外線。在第一視覺表示中辨識標記，且判定標記的位置。第二視覺表示可擷取該組便箋，且系統可依據其個別標記判定各便箋的一般邊界。舉例來說，標記可以使用反光材料製造，且第一視覺表示可用一分開的光源擷取(例如，閃光燈等)且第二視覺表示可不需要用分開的光源擷取。在判定便箋的一般邊界後，系統提取便箋的內容(步驟350B)。此時，系統可建立表示所辨識實體便箋之一對應者的一各自數位便箋。系統可使從一給定實體便箋之視覺表示提取的內容與表示該實體便箋之對應數位便箋相關聯。另舉一例，若視覺表示係一影像，系統可依據該便箋所判定之一般邊界裁切該影像。系統可選擇性地強化便箋的內容(步驟360B)，例如藉由改變對比、亮度及/或使用其他影像處理技術(例如，白平衡、對比伸展等)。在某些情況中，系統可用指示其內容已被提取的狀態來更新便箋。
圖6C繪示鑑認一便箋之一實施例的一流程圖。首先，從一便箋或一疊便箋獲得一鑑認信號(步驟310C)。在一實施例中，鑑認資訊係 在一便箋上之一標記的一視覺元件(例如，一全像圖)，且可藉由從擷取該便箋之視覺表示提取視覺元件而獲得鑑認信號。在另一實施例中，鑑認資訊包含在一便箋上之一標記的一電子元件中(例如，一RFID標籤)，且可使用適當讀取器(例如，RFID讀取器)獲得該鑑認信號。接下來，系統驗證鑑認信號(步驟320C)。系統可啟動便箋管理應用程式，或如果便箋被鑑認，則使用便箋(步驟330C)。在某些情況中，可在擷取便箋之前完成鑑認。
圖6D繪示使用色彩分類演算法提取便箋或便箋區段的內容之一實施例的一功能流程圖。流程圖中的一或多個步驟為選擇性，例如，若有提供分類函數，則運算分類函數的訓練步驟(也稱為分類器(classifier)，步驟350D-365D)為非必要。一開始，接收在周遭環境內或不在其內擷取具有便箋區段之一或多個便箋的視覺表示之影像資料(步驟310D)。在某些情況中，如果視覺表示並不是單一影像，則係從視覺表示(影像資料)取得影像(步驟315D)。舉例來說，視覺表示係一組影像，且所取得影像係該組影像之至少部分的聚集。另舉一例，視覺表示係一視訊，且所取得影像係數個或全部視訊畫面的組合。另一選擇性步驟係將影像轉換成所要色彩空間(步驟317D)。可應用的色彩空間包括(但並不限於)RGB(紅色、綠色及藍色)、LAB(例如，Hunter 1948 L,a,b色彩空間，CIE 1976(L*,a*,b*)色彩空間、CMYK(青色、洋紅色、黃色與定位色(黑色))、HSV(色調、飽和度及值)、HSL(色調、飽和度及亮度)、HSI(色調、飽和度及強度)、sRGB(標準紅色、綠色及藍色)色彩空間。接下來，將一或多個分類函數應用至該影像中的各像素或像素群組的色值(步驟320D)。可使用訓練步驟350D至365D運算分類函數。分類演算法可以係(例如)線性判別分析、二次分類器、高斯混合模型、促進式決策樹、支援向量機，或類似演算法。
有些分類器的本質是生成式，而其他分類器則是判別式。一般 來說，生成式分類器為各級別(我們的例子中就是顏色)產生一個別模型，且查詢的像素/像素群組值被給定機率評分以表示其是否屬於該級別。另一方面，判別式分類器模型化兩個或更多級別之間邊界(分別是2級及多級分類)。生成式模型對尚未模型化的新級別(顏色)提供更簡單的通則性，而判別式模型必須針對每個現有級別(顏色)予以重新訓練。生成式分類器有許多實例係描述於Christopher M.Bishop於2006年發表之「Pattern Recognition and Machine Learning(Information Science and Statistics)」(Springer-Verlag New York,Inc.，Secaucus,NJ,USA)，該文獻的全部內容以引用方式併入本文中。生成式模型的一些實例係單純貝氏分類器(naïve Bayes classifier)、高斯混合模型及使用高斯或其他先前的其他機率性貝氏模型，以及字典學習，如描述於：Michal Aharon、Michael Elad及Alfred Bruckstein於2006年發表之「K-SVD：An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation」(EEE Transactions on Signal Processing 54(11)：4311-4322)，該文獻的全部內容以引用方式併入本文中。判別式分類模型的某些實例係自然網路、支援向量機、決策樹、線式及二次判別分類、邏輯迴歸。其他實例的分類法既非生成式又非判別式，例如最近鄰域分類演算法。此外，上述分類模型任一項的效能可藉由組合上述多個分類模型之例項的總體學習演算法而改進。總體學習可實施為引導總計法(Bagging)、推進法(Boosting)及其變化型。
使用分類演算法，依據該像素或像素群組之色值而在該影像中產生指示各像素或像素群組之色彩級別的指示符(indicator)(步驟325D)。一色彩級別包括一特定範圍的波長，或可以是參照至所關注之色彩級別旁邊的任何其他彩色之「其他」色彩級別。舉例來說，一色彩級別可以係洋紅色、黃色、藍色、橘色等。舉例來說，指示符可以由數字、代碼、符號、文數字符記、色值、灰階值或類似物予以表 示。
根據指示符，可判定便箋或便箋區段的一般邊界(步驟330D)。在一實施例中，具有相同指示符的緊鄰像素被分組成一區域，且可判定該區域的邊界。在某些情況中，判定一般邊界之前，使用影像處理原則進一步處理指示符，例如，雜訊濾波、形態斷開或類似者。在某些實施例中，一便箋或便箋區段的形狀及/或尺寸係預定，例如是在便箋製造時預先定義，其可被用來判定及/或過濾便箋或便箋區段的一般邊界。此時，系統可建立表示邊界被判定之各個實體便箋的一各自數位便箋。
使用一般邊界，可提取便箋或便箋區段的內容(步驟335D)。系統可使自用於一給定實體便箋的視覺表示所提取的內容與表示該實體便箋的對應數位便箋相關聯。在某些實施例中，便箋或便箋區段可具有彩色邊界，或在一或多個位置有彩色標記，而不是只有單色。在此類實施例中，可用一相同色彩分類演算法識別邊界或標記，並進一步提取便箋或便箋區段的內容。在某些情況中，可經由一圖形介面或在一報告中呈現一組內容(其中各內容項目對應於一便箋或便箋區段)給使用者。在某些實施例中，該組內容可依類別分組，其中各類別係與該便箋中使用的一顏色、形狀、尺寸或其組合相關聯。舉例來說，圖5D中所示的便箋210D、212D及214D係與類別A相關聯，且便箋220D、222D及224D係與類別B相關聯。另舉一例，具有洋紅色邊界的一便箋區段(例如，圖5F中所示的便箋區段210F)係與類別A相關聯，且具有黃色邊界的一便箋區段(例如，圖5F中所示的便箋區段220F)係與類別B相關聯。
在某些情況中，產生的指示符僅指示出像素或像素群組的色值是否為一特定色彩級別。舉例來說，指示符為1指示出像素或像素群組係黃色，而指示符為0指示出像素或像素群組並非黃色。在此類情 況中，針對各個關注的色彩級別產生一組指示符。在某些實施例中，針對各個關注的色彩級別(例如，洋紅色、黃色、藍色、及橘色)，重覆步驟320D至335D。
在某些實施例中，可使用圖6D中所示的步驟判定分類函數。首先，提供一組訓練影像(步驟350D)。在某些情況中，訓練影像可包括具有相同關注的色彩級別的便箋或便箋區段。可在一或多個照明條件及/或一或多個不同相機之下擷取訓練影像。舉例來說，訓練影像可為使用兩個不同相機在三種照明條件中所擷取的一組六個影像。訓練影像係可選擇性地被轉換成一所要色彩空間(步驟355D)。使用用於對應一像素或像素群組之對應色值的已知顏色來訓練分類器(步驟360D)，例如使用如下述等式(1)至(4)。接著運算用於色彩級別的該組分類函數(步驟365D)。在某些情況中，使用步驟350D至365D獲得用於僅單一色彩級別的一組分類函數。重複這些步驟以獲得用於關注的其他各個色彩級別的分類函數。
在某些實施例中，一色彩級別可包括兩個或更多類似顏色。可使用以上關注的相同程序獲得用於此色彩級別的分類函數。在某些情況中，一階層式方法可用來提取具有兩個以上顏色的便箋或便箋區段，如圖6E所示。圖6E繪示使用色彩分類演算法提取具有三種不同顏色(黃色、橘色及藍色)之便箋或便箋區段內容之一實例的一功能流程圖。一開始，系統使用一色彩分類演算法判定一像素是否具有屬於包括黃色與橘色之色彩級別的顏色(步驟310E)。如果顏色是黃色或橘色，系統會進一步評估該顏色是否為黃色(步驟320E)：如果是黃色，一用於黃色的指示符可與該像素或像素群組相關聯(步驟340E)；而且如果不是黃色，一用於橘色的指示符可與該像素或像素群組相關聯(步驟350E)。如果顏色並不屬於包括黃色與橘色的色彩級別，系統可使用色彩分類演算法評估該顏色是否為藍色(步驟330E)：如果顏色是 藍色，一用於藍色的指示符可與該像素或像素群組相關聯(步驟360E)；而且如果顏色不是藍色，一用於其他顏色的指示符可與該像素或像素群組相關聯(步驟370E)。
在一實施例中，擷取便箋或便箋區段的一影像可被轉換成LAB色彩空間。LAB色彩空間在ab平面上將不同顏色分開，且其能夠使用一臨限值方法在此色彩空間中區辨不同顏色。表1列舉使用一臨限值方法指定虛擬碼給提取便箋或便箋區段之實例。
雖然上述虛擬碼及描述解說了兩級別線性判別分類程序，可有相同程序的多級別推廣，如以下文獻所述：Christopher M.Bishop，2006年，「Pattern Recognition and Machine Learning(Information Science and Statistics)」(Springer-Verlag New York,Inc.，Secaucus,NJ,USA.)，該文獻內容以引用方式併入本文中。
在某些情況中，臨限值方法可能並未適應於各種擷取條件，諸如顏色、照明、相機類型、環境等等。為解決這個課題，可使用適應式模型，其學習用於不同顏色的最佳表示，對於各種擷取條件及額外 有色便箋穩定。一種此類模型是費雪線性判別模型或費雪線性判別分類器，如以下論文所描述：Mika,S.、Ratsch,G.、Weston,J.、Scholkopf,B.、Muller,K.「Fisher discriminant analysis with kernels」(Neural Networks for Signal Processing IX，1999年，Proceedings of the 1999 IEEE Signal Processing Society Workshop，第41-48頁，1999年8月)。
已知一組m個觀察值X(即，訓練影像)，其中在此例中各觀察值係3維(用於LAB色彩空間的L、a及b數值)，以及用於所有觀察值的對應色彩級別Y，判定一加權向量w，使得w.X+c Y=1(屬於關注的色彩級別)，且 (1) w.X+c>=0，若Y=0(並不屬於關注的色彩級別) (2)
其中w.X係一點積運算，且c係偏移值。權重w取決於各色彩級別L、a與b的平均值，以及各色彩級別的共變異數矩陣。更明確地說，權重w最大化S，其中S=σ 2 between-class/σ 2 within-class (3)即，學習w使得級別之間的方差被最大化，且級別內的方差最小化。
這導致w=(Σy=0+Σy=1)-1(μy=1-μy=0) (4)可從訓練影像估計級別平均與共方差(μ及Σ)。若假設級別共方差相同，則該模型是線性。若沒有做此假設，則類型是二次判別分類器。用於二次判別分類器的分類方法有一額外項：X T QX+wX+c(屬於關注的級別) (5)
X T QX+wX+c>=0，若Y=0(不屬於關注的級別) (6)
舉例來說，線性判別模型被應用至具有洋紅色便箋及其他背景顏色的影像之後，所得投影是純量數值，且純量投射數值之分佈顯示於圖14。分類器可進一步受訓練，以辨識使用相同程序及公式在不同條件下所擷取的影像。舉例來說，針對一組係數[w1 w2 w3 c]，其中 w1、w2與w3分別是對應於L、a與b的係數，且c是偏移，用於色彩級別藍色的係數是[w1=0.05056 w2=0.34929 w3=0.4381 c=-106.71]；且色彩級別黃色的係數是[w1=0.0068796 w2=0.027731 w3=-0.14887 c=18.812]。
表2列舉針對使用線性判別分類器之實施例的虛擬碼，以及一些過濾步驟的實例。在此，Lcoefficent、Acoefficient、Bcoefficient與offset對應於上述實例當中的w1、w2、w3與c。過濾的實例假設便箋是矩形。其他色彩空間係RGB與HSV可依循類似方法，且虛擬碼係列舉在表3以及表4。
可使用形態斷開程序來減少雜訊，其可包括形態侵蝕接著膨脹。在某些情況中，形態侵蝕及膨脹可使用為圓盤狀或圈狀的結構元件。舉例來說，針對具有最大尺寸800像素之影像將結構元件的尺寸設定為5乘5。若影像愈大，結構元件的尺寸可以愈大。這類型雜訊縮減方法係描述在下列文獻中：Jean Serra著作的「Image Analysis and Mathematical Morphology」(ISBN 0-12-637240-3(1982年))；Jean Serra著作的「Image Analysis and Mathematical Morphology,Volume 2：Theoretical Advances」(ISBN 0-12-637241-1(1988年))；及Edward R.Dougherty著作的「An Introduction to Morphological Image Processing」(SBN 0-8194-0845-X(1992年))。
圖6F繪示從具有區段的一便箋提取一組內容之一實施例的一功能流程圖。首先，系統接收具有複數個預定義彩色區段之便箋的視覺表示(步驟310F)。也就是說，可接收擷取該視覺表示的影像資料，其中實體便箋已被製成具有複數個不同彩色區段。在某些情況中，可從視覺表示取得一影像(步驟320F)，例如，如果該影像資料包含視訊或複數個影像的集合。若視覺表示係一影像，該影像可用於進一步處理。接下來，(例如)使用一色彩分類演算法，產生在該影像中各像素或像素群組的色彩級別的指示符(步驟330F)。使用該等指示符，就判定彩色區段的一般邊界(步驟340F)。從該等便箋區段提取一組內容(步驟350F)。在某些情況中，從一對應便箋區段提取各內容項目。可選擇性地，呈現一內容清單給一使用者(步驟360F)。在某些情況中，一內容項目可與一類別相關聯。一便箋管理系統可使用彩色區段中的 顏色，以選取該內容項目的類別。此時，系統可建立表示所辨識實體便箋之一對應者的一各自數位便箋。舉一例來說，可建立記錄以包含複數個資料庫欄位，包括用於儲存實體便箋之各彩色區段的特定內容的欄位。系統可使從為一給定實體便箋取得的視覺表示所提取的內容與表示實體便箋的對應數位便箋相關聯。更進一步，系統可使從各彩色區段提取的內容項目與各彩色區段的數位表示相關聯。舉例來說，系統可更新用於資料庫內的個別記錄的欄位，用以儲存用於不同色彩區段的內容項目之對應者。
圖6G繪示分段一便箋並提取該等區段之一組內容的實施例之一功能方塊圖。首先，一使用者可使用標記來分段一便箋(步驟310G)。標記可應用至一或多個隅角，以及區段邊界之至少一部分。一便箋管理系統可擷取該便箋的一影像(步驟320G)。系統進一步識別影像中的標記(步驟330G)。可判定該等區段的一般邊界(步驟340G)。某些情況中，某些額外資訊(例如標記的相對位置)可用來判定一般邊界。使用所判定邊界從該便箋區段提取一組內容(步驟350G)。某些情況中，從一對應便箋區段提取各內容項目。可選用地，呈現一內容清單給一使用者(步驟360G)。此時，系統可建立表示所辨識實體便箋之一對應者的一各自數位便箋。舉一實例，可建立記錄以包括複數個資料庫欄位，包括用於儲存該實體便箋之各色區段之特定內容的欄位。系統可使從一給定實體便箋之視覺表示所提取的內容與表示該實體便箋之對應數位便箋相關聯。進一步，系統可使從各色區段所提取的內容項目與各色區段的數位表示相關聯。舉例來說，系統可更新資料庫內各別記錄的欄位，以儲存不同色區段的內容項目之各自者。
圖7A至圖7D繪示具有一標記之便箋的內容提取程序之一實例。首先，如圖7A所示，擷取一便箋410的一視覺表示400。便箋410具有一標記420，可以是一條碼、色碼、矩陣碼、色塊，或類似物。接下 來，如圖7B所示，系統判定視覺表示上的標記之一般邊界430並辨識標記420。在某些情況中，在視覺表示400中便箋410可為傾斜，如圖7C所示。在某些其他情況中，取得的視覺表示400可能會有圖形失真。系統可使用標記420之一般邊界或標記420的一部分判定需要對視覺表示400所做的影像轉換及校正，以獲得便箋內容。圖7D繪示前述分析及/或影像處理過後，系統提取便箋410的內容。
圖8A至圖8D繪示具有反光標記之複數個便箋的內容提取之一實施例。一便箋辨識/管理系統接收一視覺表示500A，其擷取三個便箋510A，且各個便箋510A具有一標記520，該標記有兩個元件：兩個反光矩形標籤在左上及下方角落。因為反光材料的光學性質，標記520實質上係比便箋其他部分更亮。圖8B繪示標記520要比便箋510A及背景更亮。在某些實施例中，系統可使用影像處理以將如圖8A所示的視覺表示500A轉換成如圖8B所示的視覺表示500B。在某些替代實施例中，系統可採不同光源(例如手電筒)，產生三個便箋510A的另一視覺表示500B。系統可輕易從視覺表示500B識別標記520。識別標記520後，系統可提取便箋510C的內容，如圖8C所示。在某些情況中，系統可使用影像處理技術(例如，適應性直方圖等化)，以增強所提取內容510D，如圖8D所示。
圖9繪示一便箋辨識系統600之一實施例的一模組圖。在所示的實施例中，系統600包括一便箋擷取模組620、一便箋辨識模組630及一便箋提取模組640。可藉由一或多個運算裝置，包括但不限於電路、電腦、處理器、處理單元、微處理器及/或平板電腦實施便箋辨識系統600的各種元件。在某些情況中，可在一共用運算裝置上實施便箋辨識系統600的各種元件。或者，可在多個運算裝置上實施系統600的一元件。在某些實施例中，系統600的各種模組及元件可實施為軟體、硬體、韌體或其組合。在某些情況中，可在運算裝置所執行的 軟體或韌體中實施便箋辨識系統600的各種元件。此外，系統600的各種元件可經由通訊介面或被耦接至通訊介面而通訊，例如一有線或無線介面。便箋擷取模組620經組態以擷取複數個便箋的一視覺表示。在某些實施例中，便箋擷取模組620包括一影像感測器。便箋辨識模組630耦接至便箋擷取模組620，便箋辨識模組經組態以接收所擷取視覺表示，並從所擷取視覺表示判定複數個便箋之一者的一般邊界。便箋提取模組640經組態以根據該複數個便箋之一者的一般邊界，從所擷取視覺表示提取複數個便箋之一者的內容。
在某些實施例中，便箋辨識系統600包括一便箋鑑認模組650，其經組態以鑑認該複數個便箋。在某些情況中，該複數個便箋之至少某些具有標記。標記可用來促進便箋的辨識、提取及鑑認。舉例來說，便箋鑑認模組650可從便箋的一標記取得一鑑認信號，並依據該鑑認信號驗證該鑑認。在某些情況中，便箋鑑認模組650耦接至便箋辨識模組630，並提供鑑認資訊給便箋辨識模組630。在某些實施例中，便箋辨識模組630及便箋提取模組640可執行如圖6B及相關討論所示的步驟。
在某些實施例中，一便箋辨識/管理系統可使用多個辨識演算法，以辨識便箋並提取便箋的內容，例如色彩辨識、形狀辨識，以及圖樣辨識。舉例來說，系統可使用色彩空間(諸如RGB、HSV、CIELAB等)，以識別對應於用於色彩辨識之便箋的關注區域。在某些情況中，便箋係進一步依其形狀區分，並由於分別藉由形狀辨識(例如，霍夫轉換、輪廓特質等)以及圖樣辨識演算法(例如，支援向量機、交互相關、模板匹配等)偵測出有獨特圖樣存在。這些演算法協助濾除視覺表示或其他便箋內容來源中不想要的物件，並僅留下對應於便箋的關注區域。
在某些實施例中，便箋可包括使用螢光材料製成的標記，諸如 可印墨水或可塗布染料。舉例來說，一基標(諸如一標誌)可用螢光墨水印刷在便箋的書寫表面上。一適當光源會激發螢光材料。舉例來說，一行動手持裝置的白光LED(發光二極體)可以使用該LED輸出光譜的大量藍色波長分量激發螢光。在一實施例中，螢光染料可被塗在便箋的書寫表面上，或包含於製造便箋的材料當中。在此實施例中，螢光材料不僅可提供品牌產品的驗證，也可改善在便箋上的書寫資訊與該便箋本身背景之間的對比。此一標記可促進在由一影像感測器所產生視覺表示上的便箋區段辨識。在便箋是由具螢光染料的紙所製成的情況中，所擷取視覺表示可有較佳可讀性。依據用於螢光材料的激發波長範圍以及螢光波長範圍，額外光學設備(例如濾光器)可與一影像感測器(例如，相機)一起使用，以改進偵測。
圖10A繪示一便箋管理系統之一實施例的一流程圖。首先，系統從多重來源接收複數個便箋(步驟710A)。舉例來說，便箋管理系統可接收來自一相機或一智慧型手機的一組若干便箋影像，並接收從遠端位置拍攝之一組若干便箋影像。另舉一例，便箋管理系統可接收由一視訊錄影裝置所拍攝的若干便箋之視覺表示(例如，一視訊)，以及經由膝上型電腦輸入之便箋的文字串流。在某些實施例中，多重來源為從不同裝置而取得便箋內容的來源，例如，相機、掃描器、電腦等。然後，系統辨識複數個便箋之一者(步驟720A)。系統提取複數個便箋的內容(步驟730A)。在某些實施例中，某些便箋包括便箋上的標記(例如，色塊、色碼、條碼等)，且一便箋來源為某些便箋的視覺表示。在某些情況中，辨識步驟包括從視覺表示辨識出便箋上的標記，然後依據所辨識標記判定便箋的一般邊界。在某些情況中，提取步驟包括依據所辨識標記、已知便箋形狀，以及已知便箋上之標記的相對位置，提取內容。提取複數個便箋的內容之後，在某些情況中，系統可使複數個便箋的各者與一獨特識別碼相關聯(步驟740A)。系統可用 類別標示複數個便箋的每一者(步驟750A)。標示步驟將在後文詳加討論。此外，系統可在辨識便箋之前先鑑認該等便箋。或者，系統可將複數個便箋的內容呈現在一顯示器上(步驟760A)。在某些實施例中，系統可將複數個便箋所提取的內容搭配指示出該等便箋類別的輸出欄位呈現。在某些實施例中，系統在呈現便箋時可使用該等便箋的類別資訊(例如，依一群組顯示在一類別內的便箋)。
圖10B繪示一系統如何能標示一便箋的實例。在一實施例中，一便箋管理系統可依據偵測到的信號標示一便箋(710B)。舉例來說，一便箋可具有包含一條碼的標記；系統可以讀取條碼，並依據條碼標示該便箋。在某些情況中，系統可依據辨識的標記標示一便箋(720B)。舉例來說，標記可包括一圖示、標誌、色塊或指示為一特殊群組的其他圖形符號。系統可依據其內容進一步標示一便箋(730B)。在某些情況中，系統可依據歷史資料及/或預測模型標示一便箋(740B)。在某些其他情況中，系統可藉由使用者輸入標示一便箋(750B)。一便箋管理系統可使用一或多個方法來標示一便箋。系統也可使用並沒有在圖10B中列出的其他方法標示一便箋，例如，依據該便箋的形狀標示一便箋。此外，在某些情況中，一便箋可與一個以上的類別相關聯。
圖11繪示一便箋管理系統800之一模組圖。在所示的實施例中，系統800包括一或多個便箋來源820、便箋辨識模組830、便箋提取模組840及便箋標示模組860。可藉由一或多個運算裝置實施便箋管理系統800的各種元件，包括但不限於電路、電腦、處理器、處理單元、微處理器及/或平板電腦。在某些情況中，可在一共用運算裝置實施便箋管理系統800的各種元件。或者，可在多個運算裝置上實施系統800的一元件。在某些實施例中，系統800的各種模組及元件，可實施為軟體、硬體、韌體，或其組合物800的各種元件。此外，系統800的各種元件可經由通訊介面或被耦接至通訊介面而通訊，例如一有線或 無線介面。便箋來源820經組態以提供複數個便箋。在某些實施例中，便箋來源820之一者為具有一或多個便箋之場景的視覺表示。在某些情況中，便箋來源820包括複數個用於提供便箋的不同來源，例如，影像、文字串流、視訊串流，或類似物。便箋辨識模組830耦接至便箋來源820，該便箋辨識模組830經組態以接收視覺表示並判定從該視覺表示之便箋的一般邊界。便箋提取模組840經組態以依據所判定複數個便箋之一者的一般邊界，從該視覺表示提取該複數個便箋之該者的內容。便箋標示模組860經組態以用一類別標示複數個便箋之一者。
在某些實施例中，便箋管理系統800包括一便箋鑑認模組850，其經組態以鑑認該複數個便箋。在某些情況中，該複數個便箋之至少某些會具有標記。標記可用來促進便箋的辨識、提取及鑑認。舉例來說，便箋鑑認模組850可從便箋的一標記取得一鑑認信號，並依據該鑑認信號驗證該鑑認。在某些情況中，便箋鑑認模組850耦接至便箋辨識模組830，並提供鑑認資訊至該便箋辨識模組830。在某些實施例中，便箋辨識模組830及便箋提取模組840可執行如圖6B及相關討論所示的步驟。在某些實施例中，便箋標示模組860可使用一或多個標示方法，如圖10B及相關討論所示。在某些情況中，一便箋可與一個以上的類別相關聯。
在某些實施例中，便箋管理系統800可包括一便箋呈現模組870，其經組態以聚集複數個便箋的內容，並依據該等便箋的類別呈現該複數個便箋之至少一部分。舉例來說，便箋呈現模組870可將複數個便箋組織成具有相同類別的不同群組。另舉一例，便箋呈現模組870可加入不同群組便箋的連接線及/或箭號。
圖12A繪示具有標記之分段便箋的內容提取程序之一實例。藉由一成像裝置(例如，一智慧型手機922A)擷取一便箋910A的視覺表示 920A。便箋910A被分成四段，使用四組標記912A、914A、916A及918A。四個區段之每一者具有對應內容，內容A 950A、內容B 960A、內容C 970A以及內容D 980A。運算裝置可使用任何便箋提取方法提取便箋內容，並呈現給一使用者，如930A所示。此外，一類別可與具有已知幾何形狀及/或尺寸的一特定標記相關聯，如924A所示。使用類別相關性，內容項目(內容A至D)係與一類別相關聯，如930A所示。
圖12B繪示具有彩色區段的一便箋910B之內容提取程序之一實例。920B係便箋910B的視覺表示，其係由一影像感測器(例如，一智慧型手機922B)擷取。一組內容940B(各內容項目對應於一區段)係使用如上述任何便箋提取程序提取。此外，一內容項目可與依據該彩色區段的顏色之一類別相關聯，且呈現給一使用者的內容清單可依類別加以分組，如930B所示。
圖12C繪示標記一板910D以提取分段內容的一例示性方案。標記915D被附加至板910D。在某些情況中，標記的相對位置(例如，左上角、右下角)為已知，並被用來提取內容。舉例來說，可使用表5所列的虛擬碼提取內容項目920D、930D、940D及950D，其中標記915D被識別為定界框。
此簡單演算法可十分有效地提供一種用於從板上自由進行的討論提取內容之方法。
圖13A與圖13B繪示使用顏色分類演算法提取有色便箋之一實例。圖13A繪示具有不同顏色之便箋的視覺表示1000A，其中Y表示黃色，M表示洋紅色而B表示藍色。圖13B表示從視覺表示提取所有黃色便箋1000B，例如，使用表2列出的虛擬碼。
本發明不應被認為是限於本文所描述的特定實例及實施例，而應認為此等實施例是要詳細描述以促進本發明不同態様的解說。反而，應理解為本發明含括本發明的所有態様，包括合乎如附屬申請專利範圍所定義之本發明之精神及範疇的各種修改、等效程序，以及可替換的裝置。

Claims (17)

  1. 一種從一便箋(note)提取內容之方法，其係利用具有一或多個處理器及記憶體之一電腦系統，其包含：藉由一感測器擷取包含一便箋之一視覺表示(visual representation)的影像資料，其中該便箋包含具有一或多個區段的一實體便箋，該等區段之每一者具有至少一個具有一已知特性(characteristic)之標記(mark)；藉由該一或多個處理器識別在該影像資料內的若干標記；基於經識別之該等標記之若干已知特性，藉由該一或多個處理器，判定該實體便箋的一個一般邊界(general boundary)；基於經識別之該等標記之該等已知特性及經判定之該實體便箋的該邊界，藉由該一或多個處理器，判定該實體便箋之該一或多個區段之該影像資料內的若干一般邊界；使用該等一般邊界，藉由該一或多個處理器且從該影像資料提取包含一組內容項目(content pieces)之內容，該等內容項目之每一者對應於該便箋之該一或多個區段的一不同區段；藉由該一或多個處理器產生表示該實體便箋的一數位便箋，該數位便箋具有指示出該實體便箋之該等區段之各者的資料；以及藉由該一或多個處理器使從該影像資料提取的各自內容項目與該數位便箋之對應區段相關聯。
  2. 如請求項1之方法，其中該等標記包含直線、箭頭、星形標記、肘狀標記、矩形標記、圓形標記、橢圓形標記、多邊形標記，以及幾何形標記之至少一者。
  3. 如請求項1之方法，其進一步包含： 識別該一或多個標記之每一者之一形狀；比較所識別之該形狀與待貼附至該等實體便箋之標記的一組已知形狀；以及基於用於該對應區段的該至少一標記之所識別之該形狀與該組已知形狀的該比較，使從該一或多個區段之一各別者提取之該等內容項目之每一者與一類別相關聯。
  4. 如請求項1之方法，其進一步包含：識別該一或多個標記之每一者之一顏色；以及基於用於該對應區段的該至少一標記之所識別之該顏色，使從該一或多個區段之一各別者提取之該等內容項目之每一者與一類別相關聯。
  5. 如請求項3或請求項4之方法，其進一步包含：在一運算裝置之一圖形介面上以一指示其類別之指示符呈現該一或多個內容項目。
  6. 如請求項3或請求項4之方法，其進一步包含：在一運算裝置之一圖形介面上依一或多個群組呈現該等內容項目，其中在該等群組中之同一群組內的該等內容項目之每一者係與一相同類別相關聯。
  7. 如請求項1之方法，其中該判定步驟包含：基於所識別之該等標記及該一或多個區段之該等標記的若干已知相對位置，判定該等區段的該等一般邊界。
  8. 一種具有一或多個處理器及記憶體之便箋管理系統，其包含：一感測器，其經組態以擷取一實體便箋的一影像資料，其中使用標記將該便箋分成一或多個區段，其中藉由具有一已知特性之該等標記之至少一者標記該等區段之每一者，一便箋辨識模組，其耦接至該感測器，該便箋辨識模組在該 一或多個處理器上執行且經組態以接收該所擷取影像資料並識別在該影像資料內的該等標記；以及一便箋提取模組，其在該一或多個處理器上執行且經組態以基於經識別之該等標記之該等已知特性判定該實體便箋的一個一般邊界且基於所識別之該等標記及所判定之該實體便箋的該邊界判定在該所擷取影像資料內的該一或多個區段之若干一般邊界，並使用該一或多個區段之該等一般邊界提取內容，該內容包含若干內容項目，該等內容項目之每一者對應於該便箋之該一或多個區段之一者；其中該便箋提取模組進一步經組態以產生表示該實體便箋的一數位便箋，該數位便箋具有指示該實體便箋之該等區段之各者的資料，並使從該影像資料提取的各自內容項目與該數位便箋之相對應區段相關聯。
  9. 如請求項8之便箋管理系統，其中該便箋提取模組進一步經組態以基於所識別之該等標記及用於該一或多個便箋區段之該等標記的若干預定相對位置，判定該一或多個便箋區段的該等一般邊界。
  10. 如請求項8之便箋管理系統，其進一步包含：一便箋呈現模組，其經組態以在一使用者介面上呈現該組內容。
  11. 如請求項8之便箋管理系統，其中該等標記包含直線、箭頭、星形標記、肘狀標記、矩形標記、圓形標記、橢圓形標記、多邊形標記，以及幾何形標記之至少一者。
  12. 如請求項8之便箋管理系統，其中該便箋提取模組識別該一或多個標記之每一者之一形狀，並藉由用於該對應區段的該至少一標記的該形狀將該等內容項目之每一者與一類別相關聯。
  13. 如請求項8之便箋管理系統，其中該便箋提取模組識別該一或多個標記之每一者之一顏色，並將該等內容項目之每一者與藉由用於該對應區段的該至少一標記的該顏色所識別之一類別相關聯。
  14. 如請求項10之便箋管理系統，其中該便箋呈現模組以一指示其類別之指示符呈現該等內容項目之至少一者。
  15. 如請求項10之便箋管理系統，其中該便箋呈現模組進一步經組態以依一或多個群組呈現該等內容項目，其中在一群組中的該等內容項目之每一者係與一相同類別相關聯。
  16. 如請求項10之便箋管理系統，其進一步包含：一資料庫，其具有複數個記錄，用以儲存指示複數個數位便箋之資料，其中該便箋提取模組在該資料庫中建立表示由該影像資料所擷取之該實體便箋的一數位便箋，該數位便箋儲存在該資料庫內並具有指示針對該實體便箋所識別的該等區段之每一者的資料，且其中該便箋提取模組更新該等記錄，以使從該影像資料提取之各別內容項目與該數位便箋之對應彩色區段相關聯。
  17. 一種非暫時性電腦可讀儲存裝置，該非暫時性電腦可讀儲存裝置包含指令使一可程式化處理器進行以下：接收影像資料，該影像資料含有具有複數個實體便箋之一場景的一視覺表示，該複數個實體便箋之每一者具有複數個區段，該等區段之每一者具有至少一個具有一已知特性之標記；處理該影像資料，以識別在該影像資料內的該等標記，並基於該等標記的該等已知特性，判定該複數個實體便箋之一第一實體便箋之在該影像資料內的一邊界； 處理該影像資料，以基於該等標記的該已知特性及所判定之該實體便箋之該邊界，判定用於該第一實體便箋之該等區段之每一者的若干邊界；使用所判定之該實體便箋之該等區段之每一者之該等邊界，從該影像資料提取該第一實體便箋之該等區段之每一者的各別內容；產生表示該第一實體便箋之一數位便箋，該數位便箋具有指示該實體便箋之該等區段之每一者的資料；使從該影像資料提取之各別內容項目與該數位便箋的對應區段相關聯；以及基於該等標記之該已知特性使從該影像資料提取的該等內容項目之各者與複數個使用者內容類別(categories)之至少一者相關聯。
TW103123518A 2013-07-09 2014-07-08 藉由分段便箋用於便箋內容提取及管理之系統與方法 TWI623888B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361844176P 2013-07-09 2013-07-09
US201361844152P 2013-07-09 2013-07-09
US201361844140P 2013-07-09 2013-07-09
US61/844,140 2013-07-09
US61/844,152 2013-07-09
US61/844,176 2013-07-09

Publications (2)

Publication Number Publication Date
TW201528155A TW201528155A (zh) 2015-07-16
TWI623888B true TWI623888B (zh) 2018-05-11

Family

ID=51870212

Family Applications (4)

Application Number Title Priority Date Filing Date
TW103123518A TWI623888B (zh) 2013-07-09 2014-07-08 藉由分段便箋用於便箋內容提取及管理之系統與方法
TW103123715A TWI626600B (zh) 2013-07-09 2014-07-09 自便條提取內容的方法、便條管理系統及非暫時性電腦可讀儲存裝置
TW107134719A TWI692714B (zh) 2013-07-09 2014-07-09 提取便條內容之方法、便條識別系統及非暫時性電腦可讀儲存裝置
TW103123716A TWI646457B (zh) 2013-07-09 2014-07-09 提取便條內容之方法、便條識别系統及非暫時性電腦可讀儲存裝置

Family Applications After (3)

Application Number Title Priority Date Filing Date
TW103123715A TWI626600B (zh) 2013-07-09 2014-07-09 自便條提取內容的方法、便條管理系統及非暫時性電腦可讀儲存裝置
TW107134719A TWI692714B (zh) 2013-07-09 2014-07-09 提取便條內容之方法、便條識別系統及非暫時性電腦可讀儲存裝置
TW103123716A TWI646457B (zh) 2013-07-09 2014-07-09 提取便條內容之方法、便條識别系統及非暫時性電腦可讀儲存裝置

Country Status (4)

Country Link
US (7) US8977047B2 (zh)
EP (3) EP3020001B1 (zh)
TW (4) TWI623888B (zh)
WO (3) WO2015006273A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI623888B (zh) * 2013-07-09 2018-05-11 ３Ｍ新設資產公司 藉由分段便箋用於便箋內容提取及管理之系統與方法
US20150049945A1 (en) * 2013-08-19 2015-02-19 Htc Corporation Image processing apparatus and image processing method
JP6314408B2 (ja) * 2013-10-09 2018-04-25 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US9412174B2 (en) * 2013-10-16 2016-08-09 3M Innovative Properties Company Note recognition for overlapping physical notes
US9292186B2 (en) 2014-01-31 2016-03-22 3M Innovative Properties Company Note capture and recognition with manual assist
FR3017333B1 (fr) * 2014-02-07 2019-06-21 Advanced Track & Trace Procede et dispositif de securisation d'un objet, procede et dispositif de controle leur correspondant et objet securise
CN105095120A (zh) * 2015-07-03 2015-11-25 惠州Tcl移动通信有限公司 终端控制方法及附属设备
US9952821B2 (en) * 2015-09-01 2018-04-24 Electronics And Telecommunications Research Institute Screen position sensing method in multi display system, content configuring method, watermark image generating method for sensing screen position server, and display terminal
CN105354550B (zh) * 2015-11-03 2018-09-28 华东师范大学 一种基于图像局部特征点配准的表单内容提取方法
US10228775B2 (en) * 2016-01-22 2019-03-12 Microsoft Technology Licensing, Llc Cross application digital ink repository
USD836001S1 (en) 2016-03-04 2018-12-18 Discovery Inc. Bar code for a pouch
CN105828159A (zh) * 2016-03-22 2016-08-03 乐视网信息技术（北京）股份有限公司 一种电视运营角标的配置方法和装置
WO2017192716A1 (en) * 2016-05-03 2017-11-09 Leoni Engineering Products & Services, Inc. Vision system with color segmentation for operator enhanced viewing
WO2017221259A1 (en) * 2016-06-23 2017-12-28 S Jyothi Automatic recognition of indian prawn species
CN106886799B (zh) * 2017-03-17 2019-08-02 东北大学 一种基于混合集成学习的连续退火带钢质量在线检测方法
US10650288B2 (en) 2017-11-02 2020-05-12 International Business Machines Corporation Consolidation and history recording of a physical display board using an online task management system
CN108492308B (zh) * 2018-04-18 2020-09-08 南昌航空大学 一种基于相互结构引导滤波的变分光流的确定方法及系统
US10643065B2 (en) 2018-06-21 2020-05-05 Atlassian Pty Ltd Techniques for document creation based on image sections
CN109784266B (zh) * 2019-01-09 2021-12-03 江西理工大学应用科学学院 一种多模型超图的手写汉字识别算法
CN110288755B (zh) * 2019-05-21 2023-05-23 平安银行股份有限公司 基于文本识别的发票检验方法、服务器及存储介质
WO2021086725A1 (en) 2019-10-31 2021-05-06 Siemens Healthcare Diagnostics Inc. Apparatus and methods of training models of diagnostic analyzers
WO2021086724A1 (en) * 2019-10-31 2021-05-06 Siemens Healthcare Diagnostics Inc. Apparatus and methods of identifying tube assembly type
US11956563B2 (en) 2020-01-07 2024-04-09 Benq Corporation Method for identifying video signal source
CN113163144B (zh) * 2020-01-07 2024-04-09 明基智能科技（上海）有限公司 无线简报系统
TWI724746B (zh) * 2020-01-13 2021-04-11 明基電通股份有限公司 辨識視訊訊號來源的方法
US11651332B2 (en) 2020-04-28 2023-05-16 International Business Machines Corporation Distributed collaborative environment using physical notes
USD918944S1 (en) 2020-05-01 2021-05-11 3M Innovative Properties Company Display screen with transitional graphical user interface
TWI776159B (zh) * 2020-05-26 2022-09-01 林璟辰 顯示方法與電子裝置
CN112686885B (zh) * 2021-01-13 2024-06-11 北京农业信息技术研究中心 一种水果表皮缺陷检测方法及系统
CN115618812A (zh) * 2021-07-16 2023-01-17 富泰华工业（深圳）有限公司 基于色彩编码的用户信息嵌入方法、电子设备及存储介质
CN113657274B (zh) * 2021-08-17 2022-09-20 北京百度网讯科技有限公司 表格生成方法、装置、电子设备及存储介质
CN114140678A (zh) * 2021-11-23 2022-03-04 北京东方国信科技股份有限公司 刻度识别方法、装置、电子设备和存储介质
US12046016B2 (en) * 2021-12-09 2024-07-23 Abbyy Development Inc. Division of images into separate color layers
CN116363549A (zh) * 2021-12-28 2023-06-30 华为技术有限公司 一种笔记生成方法及其相关设备
USD1096938S1 (en) 2022-08-11 2025-10-07 ACCO Brands Corporation Pocket with surface indicia

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102486767A (zh) * 2010-12-02 2012-06-06 北大方正集团有限公司 内容标注方法和装置
US20130022330A1 (en) * 2011-07-18 2013-01-24 Fuji Xerox Co., Ltd. Systems and methods of capturing and organizing annotated content on a mobile device

Family Cites Families (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4905296A (en) * 1986-07-22 1990-02-27 Schlumberger Systems & Services, Inc. System for shape recognition
US5898434A (en) 1991-05-15 1999-04-27 Apple Computer, Inc. User interface system having programmable user interface elements
DE69230985T2 (de) * 1991-06-11 2000-10-05 Canon K.K., Tokio/Tokyo Bildverarbeitungssystem mit mehreren Speicheranordnungen
FR2681454B1 (fr) 1991-09-16 1995-08-18 Aerospatiale Procede et dispositif de traitement d'informations alphanumeriques et graphiques pour la constitution d'une banque de donnees.
US6650761B1 (en) 1999-05-19 2003-11-18 Digimarc Corporation Watermarked business cards and methods
JPH1186021A (ja) 1997-09-09 1999-03-30 Fuji Photo Film Co Ltd 画像処理装置
EP1025517A1 (en) 1997-10-27 2000-08-09 Massachusetts Institute Of Technology Image search and retrieval system
JP3748172B2 (ja) 1998-12-09 2006-02-22 富士通株式会社 画像処理装置
US6351559B1 (en) 1998-12-22 2002-02-26 Matsushita Electric Corporation Of America User-enclosed region extraction from scanned document images
WO2000052645A1 (en) 1999-03-01 2000-09-08 Matsushita Electric Industrial Co., Ltd. Document image processor, method for extracting document title, and method for imparting document tag information
US7406214B2 (en) 1999-05-19 2008-07-29 Digimarc Corporation Methods and devices employing optical sensors and/or steganography
US7760905B2 (en) 1999-06-29 2010-07-20 Digimarc Corporation Wireless mobile phone with content processing
US7421285B1 (en) 1999-06-04 2008-09-02 Ip Holdings, Inc. Method for providing gastronomic information and instruction with an internet server using mobile communication or computing devices and intelligent appliances
US6504956B1 (en) * 1999-10-05 2003-01-07 Ecrio Inc. Method and apparatus for digitally capturing handwritten notes
CN1223981C (zh) * 2000-02-01 2005-10-19 匹克托罗杰克公司 用于通过单个抖动显示阵量化色彩图象的方法和装置
EP1182861A3 (en) 2000-08-17 2003-04-16 Eastman Kodak Company Method, apparatus and system for organizing captured digital images
US7343415B2 (en) 2001-03-29 2008-03-11 3M Innovative Properties Company Display of software notes indicating that content from a content provider site is available for display
US7573598B2 (en) 2002-01-16 2009-08-11 Infoprint Solutions Company, Llc Method and apparatus for selectively copying documents with handwritten notations
US7072512B2 (en) 2002-07-23 2006-07-04 Microsoft Corporation Segmentation of digital video and images into continuous tone and palettized regions
US20040017400A1 (en) 2002-07-26 2004-01-29 Ly Eric Thichvi Method for project planning
WO2004068300A2 (en) 2003-01-25 2004-08-12 Purdue Research Foundation Methods, systems, and data structures for performing searches on three dimensional objects
US7992853B2 (en) 2003-06-07 2011-08-09 Opex Corporation Method and apparatus for processing mail to obtain image data of contents
US20050091578A1 (en) 2003-10-24 2005-04-28 Microsoft Corporation Electronic sticky notes
US7561310B2 (en) 2003-12-17 2009-07-14 Market Hatch Co., Inc. Method and apparatus for digital scanning and archiving
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
JP2006059075A (ja) 2004-08-19 2006-03-02 Fuji Xerox Co Ltd 文書処理装置およびプログラム
US8184155B2 (en) * 2007-07-11 2012-05-22 Ricoh Co. Ltd. Recognition and tracking using invisible junctions
US20060077468A1 (en) 2004-10-12 2006-04-13 Xerox Corporation System and method for smart color halftoning
JP4895340B2 (ja) 2005-03-31 2012-03-14 キヤノン株式会社 情報処理装置およびその方法
US8732570B2 (en) 2005-09-08 2014-05-20 Ricoh Co. Ltd. Non-symbolic data system for the automated completion of forms
US8024653B2 (en) 2005-11-14 2011-09-20 Make Sence, Inc. Techniques for creating computer generated notes
US20110285123A1 (en) 2006-01-23 2011-11-24 Cynthia Sue Hasko Wittke Pre-Printed Sticky Notes and Methods of Use
US7471209B2 (en) 2006-02-02 2008-12-30 Intuit Inc. RFID whiteboard
JP4663013B2 (ja) * 2006-06-29 2011-03-30 富士通株式会社 色類別方法、色認識方法及び色認識装置
WO2008010513A1 (en) 2006-07-19 2008-01-24 B-Core Inc. Optical symbol, article to which the optical symbol is attached, method for attaching optical symbol to article, optical symbol decoding method, related device, and related program
US7873213B2 (en) * 2006-09-26 2011-01-18 Sharp Laboratories Of America, Inc. Systems and methods for color-deficient image enhancement
TW200820004A (en) * 2006-10-27 2008-05-01 Univ Shu Te Mobile business card management device
AU2006252025B2 (en) 2006-12-13 2012-10-04 Canon Kabushiki Kaisha Recognition of parameterised shapes from document images
TWI372358B (en) * 2007-02-15 2012-09-11 Stewart Carl Note capture device
US8254712B2 (en) 2007-03-30 2012-08-28 Fujifilm Corporation Image processing apparatus, image processing method, image managing apparatus, image managing method, computer program product, and image order sheet
US7999966B2 (en) 2007-04-18 2011-08-16 Hewlett-Packard Development Company, L.P. Color content detection
US8103108B2 (en) 2007-05-01 2012-01-24 Sharp Kabushiki Kaisha Image processing apparatus, image forming apparatus, image processing system, and image processing method
JP2009020813A (ja) 2007-07-13 2009-01-29 Three M Innovative Properties Co タグおよびそれを用いた物品認識システム
EP2194512A4 (en) 2007-09-27 2012-11-14 Glory Kogyo Kk PAPER SHEET PROCESSING DEVICE
US20090086269A1 (en) 2007-09-28 2009-04-02 Kyocera Mita Corporation Image Forming Apparatus and Image Forming System
US8069173B2 (en) 2007-11-12 2011-11-29 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same, information processing method, and computer program
JP5129648B2 (ja) 2008-05-13 2013-01-30 株式会社Ｐｆｕ 画像読取装置およびマーク検出方法
US8543926B2 (en) 2008-06-10 2013-09-24 Microsoft Corporation Managing item access in a collaborative workspace
US9191238B2 (en) 2008-07-23 2015-11-17 Yahoo! Inc. Virtual notes in a reality overlay
US8520979B2 (en) 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US8385971B2 (en) 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8070061B2 (en) 2008-10-21 2011-12-06 Habraken G Wouter Card credential method and system
US8096477B2 (en) 2009-01-27 2012-01-17 Catch, Inc. Semantic note taking system
CN102292978A (zh) 2009-07-10 2011-12-21 松下电器产业株式会社 标识显示控制装置、集成电路及标识显示控制方法
JP5212334B2 (ja) 2009-10-22 2013-06-19 コニカミノルタホールディングス株式会社 会議支援システム
EP2323069A2 (en) * 2009-11-17 2011-05-18 Samsung Electronics Co., Ltd. Method, device and system for content based image categorization field
US8824785B2 (en) 2010-01-27 2014-09-02 Dst Technologies, Inc. Segregation of handwritten information from typographic information on a document
US8558913B2 (en) 2010-02-08 2013-10-15 Apple Inc. Capture condition selection from brightness and motion
US8391602B2 (en) * 2010-04-08 2013-03-05 University Of Calcutta Character recognition
US8600167B2 (en) 2010-05-21 2013-12-03 Hand Held Products, Inc. System for capturing a document in an image signal
US9406132B2 (en) 2010-07-16 2016-08-02 Qualcomm Incorporated Vision-based quality metric for three dimensional video
US8478394B2 (en) 2010-08-16 2013-07-02 Brainscope Company, Inc. Field deployable concussion assessment device
US8542889B2 (en) 2010-10-19 2013-09-24 Apple Inc. Systems, methods, and computer-readable media for capturing a signature for use in a document
WO2012070930A1 (en) 2010-11-24 2012-05-31 Greenflower Intercode Holding B.V. User -friendly method and system for compiling a unique sample code for a digital sample with the help of a user - interface
JP5488530B2 (ja) * 2011-05-23 2014-05-14 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US9858552B2 (en) 2011-06-15 2018-01-02 Sap Ag Systems and methods for augmenting physical media from multiple locations
US8917412B2 (en) 2011-06-16 2014-12-23 Ricoh Company, Ltd. System, apparatus and method for consumption management
US8935265B2 (en) 2011-08-30 2015-01-13 Abbyy Development Llc Document journaling
US8655068B1 (en) * 2011-10-07 2014-02-18 LI Creative Technologies, Inc. Color correction system
JP2015507860A (ja) 2011-12-07 2015-03-12 インテル コーポレイション 画像キャプチャのガイド
JP5783031B2 (ja) 2011-12-22 2015-09-24 コニカミノルタ株式会社 画像形成システム及びプログラム
US20130227476A1 (en) 2012-02-24 2013-08-29 Nokia Corporation Method, apparatus and computer program product for management of information on a graphic user interface
US8687104B2 (en) 2012-03-27 2014-04-01 Amazon Technologies, Inc. User-guided object identification
US20130258122A1 (en) 2012-03-27 2013-10-03 Research In Motion Limited Method and device for motion enhanced image capture
US10681304B2 (en) 2012-06-08 2020-06-09 Apple, Inc. Capturing a panoramic image using a graphical user interface having a scan guidance indicator
US8953876B2 (en) * 2012-08-22 2015-02-10 Facebook, Inc. Creation of a color profile of an image
TWI623888B (zh) 2013-07-09 2018-05-11 ３Ｍ新設資產公司 藉由分段便箋用於便箋內容提取及管理之系統與方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102486767A (zh) * 2010-12-02 2012-06-06 北大方正集团有限公司 内容标注方法和装置
US20130022330A1 (en) * 2011-07-18 2013-01-24 Fuji Xerox Co., Ltd. Systems and methods of capturing and organizing annotated content on a mobile device

Also Published As

Publication number Publication date
TW201917555A (zh) 2019-05-01
US9412018B2 (en) 2016-08-09
US9508001B2 (en) 2016-11-29
EP3020000A1 (en) 2016-05-18
US20150016716A1 (en) 2015-01-15
WO2015006275A1 (en) 2015-01-15
EP3020001B1 (en) 2022-04-27
WO2015006343A2 (en) 2015-01-15
US8891862B1 (en) 2014-11-18
US9390322B2 (en) 2016-07-12
WO2015006273A1 (en) 2015-01-15
US20150186719A1 (en) 2015-07-02
EP3020001A1 (en) 2016-05-18
EP3020002A4 (en) 2017-03-29
TWI646457B (zh) 2019-01-01
US8977047B2 (en) 2015-03-10
EP3020002A2 (en) 2016-05-18
EP3020001A4 (en) 2017-03-22
US20150055859A1 (en) 2015-02-26
TW201516889A (zh) 2015-05-01
US9251414B2 (en) 2016-02-02
TW201512965A (zh) 2015-04-01
US20160328609A1 (en) 2016-11-10
TWI692714B (zh) 2020-05-01
TW201528155A (zh) 2015-07-16
US20160117570A1 (en) 2016-04-28
EP3020002B1 (en) 2022-05-04
TWI626600B (zh) 2018-06-11
EP3020000A4 (en) 2017-03-29
US20150016718A1 (en) 2015-01-15
WO2015006343A3 (en) 2015-04-02
EP3020000B1 (en) 2022-04-27
US9779295B2 (en) 2017-10-03

Similar Documents

Publication Publication Date Title
TWI623888B (zh) 藉由分段便箋用於便箋內容提取及管理之系統與方法
EP2981931B1 (en) Systems and methods for managing notes
US10296789B2 (en) Note recognition for overlapping physical notes
US9047509B2 (en) Note recognition and association based on grouping indicators
US9378426B2 (en) Systems and methods for note recognition
US9310983B2 (en) Adding, deleting digital notes from a group of digital notes

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees