RO137528A2 - Sistem de detectare a defectelor plăcilor de lemn şi clasificarea în clase de calitate a acestora - Google Patents

Abstract

Invenţia se referă la un sistem de detectare a defectelor şi clasificare în clase de calitate a plăcilor de lemn. Sistemul conform invenţiei cuprinde o unitate de vizualizare care conţine camere foto montate pe o structură ataşată la un transportor transversal cu mecanism de întoarcere a plăcilor şi o unitate de procesare care cuprinde, la rândul ei, un subsistem de achiziţie de date, controlat de un subsistem de control şi un subsistem de procesare a datelor achiziţionate, în care subsistemul de achiziţie de date cuprinde un ansamblu de camere (1b) foto industriale, amplasate pe două rânduri, fiecare rând fiind responsabil de achiziţia de imagini a unei feţe a plăcii de lemn, achiziţie realizată de un subsistem (2b) de captare a datelor conectat cu o unitate (4) de procesare, nişte surse (1a) de iluminare şi nişte senzori (1c) laser, iar subsistemul de procesare a datelor cuprinzând un server (4a) de generare a rezultatelor, un server (4b) de procesare a datelor, o bază de date (4c) şi o unitate (4d) de stocare comună, procesarea de date incluând etapele de:- segmentare a plăcilor vizibile în fiecare imagine prin trecerea imaginilor printr-o reţea neuronală de detecţie a zonelor de lemn, masca de segmentare rezultată fiind procesată prin algoritmi de vedere computaţională pentru separarea plăcilor,- transformare a imaginilor şi măştilor corespunzătoare unor transformări holografice de bază determinate în cadrul unui proces de calibrare, acestea fiind folosite ca punct de plecare pentru a construi o imagine panoramică rafinată,- determinare a plăcii centrale, vizibilă în imagini,- determinare a conturului plăcii centrale,- eliminare a imaginilor redundante din proces, generându-se o imagine panoramică a ambelor feţe ale plăcii analizate, permiţând în acest fel identificarea defectelor şi clasificarea plăcii într-o clasă de calitate.

Description

SISTEM DE DETECTARE A DEFECTELOR PLĂCILOR DE LEMN SI CLASIFICAREA ÎN CLASE DE CALITATE A ACESTORA T

[001] Prezenta invenție se referă la un sistem de detectare a defectelor plăcilor de lemn și clasificare în clase de calitate a acestora, care folosește algoritmi avansați de inteligență artificială și vedere computațională (denumit, în continuare, pe scurt și sistem neural) utilizat pentru gradarea/clasificarea plăcilor din lemn.

[002] De-a lungul timpului, munca manuală s-a dovedit a fi una dintre cele mai mari probleme ale industriei lemnului. De la prima transformare până la obținerea de produse finite, lemnul trece prin numeroase etape de prelucrare care implică efortul fizic și decizional al unuia sau mai multor operatori umani, care nu pot oferi un grad de precizie suficient de ridicat pentru a reduce pierderile de materie primă.

[003] în procedura de tăiere a plăcilor de cherestea pentru a obține plăci de o calitate dorită, pierderile pot ajunge până la 40%. Astfel de erori pot fi drastic reduse prin digitalizarea proceselor, digitalizare care acum se află la un nivel redus în această industrie, fiind accesibilă ca preț și tehnologie doar companiilor mari. Există o nevoie urgentă pentru o soluție automatizată de procesare a lemnului pentru companiile mici și mijlocii, care depind de operatorii umani și au pierderi de materie primă majore, cu consecințe grave pentru productivitate și mediul înconjurător.

[004] în ultimii ani au fost dezvoltate o serie de tehnologii pentru automatizarea lucrărilor de gradare/clasificare a plăcilor din lemn folosind sisteme de supraveghere plasate cu camere de luat vederi plasate pe transportoarele de plăci. Cu toate acestea, puține au reușit să crească rata de clasificare și să permită reducerea intervenției umane, păstrând în același timp calitatea dorită. într-adevăr, au fost făcute o serie de încercări pentru a simplifica și accelera clasificarea lemnului. Deoarece evaluarea unui obiect necesită evaluarea unei suprafețe periferice a acestuia, s-a avut în vedere poziționarea camerelor deasupra și sub un transportor care transportă bucățile de lemn, de exemplu, dar o problemă recurentă este acumularea de resturi pe camerele de dedesubt.

[005] Se cunoaște în brevetul S.U.A. Nr. 5.412.220 eliberat lui Moore în 1995, problema acumulării de resturi pe camerele inferioare/de dedesubt este abordată prin adăugarea la transportor a unui mecanism de rotire a fiecărei piese de lemn în așa fel încât toate cele patru fețe longitudinale ale acesteia să poată fi expuse unei camere.

[006] în ciuda unor astfel de evoluții, a fost nevoie de un sistem și o metodă de evaluare și clasificare a obiectelor precum scânduri din lemn sau cherestea și piese de lemn, de exemplu, pentru tratarea ulterioară, care să permită calitate și rapiditate la un preț rezonabil și cu o performanță sporită.

[007] Invenția SUA nr. 7227165, publicată la 05.06.2007, Hubert et al., dezvăluie un sistem și o metodă de clasificare a unei piese de lemn, în special a unei plăci și, simultan, de clasificare a acesteia, permițând examinarea a patru fețe longitudinale ale acesteia, astfel încât să se determine specificațiile optime pentru o utilizare ulterioară a acesteia, cum ar fi finisarea, tăierea extremităților și alte aplicații. Sistemul cuprinde o structură (cadru) montată pe/atașată la un transportor transversal, o unitate de vizualizare și o unitate de procesare. Unitatea de vizualizare camere foto este situată parțial deasupra transportorului într-un plan înclinat față de orizontală, colectând date pe o față longitudinală laterală și superioară a unui obiect pe măsură ce obiectul se mișcă pe transportor și parțial amplasată sub transportor, la un unghi cu acesta, colectând date de la o față longitudinală laterală complementară a obiectului, precum și de la o față longitudinală inferioară a acestuia, pe măsură ce obiectul se mișcă pe transportor. Unitatea de procesare cuprinde o componentă principală/master de control și monitorizare a parametrilor de operare, având cel puțin una din componente legată direct la subsistemul de vizualizare și fiind dedicată achiziției tratării preliminare a imaginilor obiectului; o componentă de integrare a tuturor datelor referitoare la obiect, inclusiv la defectele și poziționarea acestora; o componentă computațională pentru o soluție optimă pentru obiect. Structura cuprinde brațe articulate extinzându-se și ajustându-se la diferite unghiuri pentru susținerea luminilor unității de vizualizare. Sistemul permite clasificarea pieselor din lemn conform standardelor prestabilite, la o rată de 200 de bucăți pe minut cu o marjă de eroare mai mică sau egală cu 2%.

[008] Sistemul descris în patentul nr. 7227165 are în componența sa un transportor cu bandă și camere amplasate deasupra și sub aceasta, la un unghi precis, cu o toleranță foarte mică (de 15 grade), nefiind customizabil în funcție de linia de fabricație în care este instalat. Sistemul este dependent de măsurătorile senzorilor plasați pe linia de producție.

[009] Problema tehnică pe care o rezolvă invenția este realizarea unei instalații pentru gradarea/clasificarea plăcilor din lemn, care poate fi instalată în mod facil pe orice linie de fabricație.

[010] Sistemul de detectare a defectelor plăcilor de lemn și clasificare în clase de calitate a acestora conform invenției este definit prin caracteristicile specifice evidențiate în revendicările 1-15.

[011] Prin aplicarea invenției se obțin următoarele avantaje:

- detectează în timp real diferitele tipuri de defecte ale lemnului cu precizie ridicată, calculează tăieturile optime și clasa de calitate din care placa face parte;

- oferă o procedură complexă de recompunere a imaginilor putând identifica placa de interes dintr-o imagine;

- număr variabil de senzori plasați pe linia de producție pentru măsurători, în funcție de linia de producție și specificațiile acesteia, definite de către client.

- sistemul conform invenției poate fi instalat în mod facil pe orice linie de producție cu costuri reduse, fiind astfel o soluție adecvată și pentru companiile mici și mijlocii.

[ 012] Sistemul de detectare a defectelor plăcilor de lemn și clasificare în clase de calitate a acestora, conform invenției vine ca soluție pentru gradarea automatizată a plăcilor din lemn, în special a cherestelei, folosind camere foto industriale de ultimă generație pentru a achiziționa imagini în culori (RGB) ale fețelor plăcilor, imagini care, mai departe, sunt procesate și analizate prin algoritmi avansați de inteligență artificială și vedere computațională. Sistemul neural detectează diferitele tipuri de defecte ale lemnului cu precizie ridicată, calculează tăieturile optime și clasa de calitate din care placa face parte în timp real, pe linia de producție, fiind o soluție adecvată atât pentru companiile mici și mijlocii, cât și pentru companiile mari, datorită costului redus și al modului facil de instalare pe orice linie de producție.

[ 013] Prezentăm câteva exemple calitative ce includ propunerea noastră de realizare a invenției, alături de o descriere a semnificației pentru fiecare figură în parte:

- fig. 1, schema bloc structurală a unui sistem de detectare a defectelor plăcilor de lemn și clasificare în clase de calitate a acestora, conform invenției;

- fig. 2, imagine ilustrând amplasarea camerelor foto ale sub-sistemului de achiziție a datelor, pe un transportor al unei linii de producție;

- fig. 3, schema componentelor sub-sistemului din fig.2;

- fig. 4, structura software a unui mini PC de pe linia de producție;

- fig. 5, monitorul industrial din camera tehnică;

- fig. 6, unitatea de procesare;

- fig. 7, unitatea de inventariere;

- fig. 8, rețea internă pentru transfer de date achiziționate în producție; și

- fig. 9, organigrama procesării datelor.

[014] Cu referire la fig.1, un sistem de detectare a defectelor plăcilor de lemn și clasificare în clase de calitate a acestora cuprinde o structură atașată la un transportor transversal de plăci dintr-o linie de fabricație, care are un sistem de întoarcere al acestora în timp ce se deplasează pe linie, o unitate de vizualizare montată și o unitate de procesare a imaginilor cu sistem neural. Sistemul neural, conform invenției vine ca soluție pentru gradarea automatizată a cherestelei, folosind camere foto industriale RGB de ultima generație cu rezoluție de cel puțin 16 megapixeli, cu interfața GigE și cu o dimensiune a senzorului de cel puțin 1 inch pentru a achiziționa imagini ale fețelor plăcilor, imagini care, mai departe, sunt procesate și analizate prin algoritmi avansați de inteligență artificială și vedere computațională. Sistemul neural detectează diferitele tipuri de defecte ale lemnului cu precizie ridicată, calculează tăieturile optime și clasa de calitate din care placa face parte în timp real, pe linia de producție, fiind o soluție adecvată atât pentru companiile mici și mijlocii, cât și pentru companiile mari, datorită costului redus și al modului facil de instalare pe orice linie de producție. Această instalare presupune amplasarea pe două grinzi situate perpendicular pe direcția de deplasare a plăcilor din lemn pe transportor/linia de producție, deasupra liniei de producție, una înaintea și cealaltă după mecanismul de întoarcere a plăcilor, a câte unui rând de camere foto industriale, în exemplul de realizare cu patru camere, lumini LED, senzori laser și de poziție. Fiecare rând este responsabil cu achiziția de imagini pentru câte o față a plăcii de cherestea, ambele fiind conectate cu o unitate de procesare 4 care va analiza aceste imagini și va genera rezultatele aferente.

[015] Cu referire la fig.2 și fig.3, sub-sistemul de achiziție de date este compus dintr-un ansamblu de camere de luat vederi industriale 1b (în continuare camere), lumini LED 1a și niște senzori 1c. Aceștia, din urmă, sunt folosiți pentru a determina momentul când o placă trece pe linia de producție și achiziționează imagini de rezoluție înaltă ce vor fi mai departe folosite pentru a clasifica placa într-o clasă de calitate.

[016] Luminile LED 1a industriale sunt folosite pentru a ilumina linia de producție și a reduce sensibilitatea sistemului la iluminarea ambientală.

[017] Camerele foto industriale 1b sunt dispuse pe două rânduri, câte un rând pentru fiecare față a plăcii, fiecare rând fiind compus dintr-un număr de camere foto industriale, în exemplul concret de realizare - patru camere, care sunt declanșate simultan, în momentul în care o placă trece pe linia de producție. Fiecare cameră este calibrată individual prin sistemul de calibrare. Cele două rânduri de camere sunt atașate de câte o grindă de metal rezistentă la șoc și vibrații printr-un sistem de prindere cu design personalizat. Fiecare sistem de prindere susține o cameră și un senzor, descris la punctul 1c. Obiectivul camerei este acoperit de un filtru transparent, cu scopul de a-l proteja de praf și rumeguș. Subsistemul de achiziție de date este compus din două ansambluri de camere amplasate deasupra benzii transportoare, un ansamblu înainte, iar celălalt după mecanismul de întoarcere a plăcilor, fiecare dintre ele captând o față a obiectului/plăcii din lemn, astfel încât nu necesită modificări aduse liniei de producție.

[018] Fiecare cameră poate avea un senzor laser 1c atașat, folosit pentru a determina grosimea plăcii. Pentru a avea redundanță - în cazurile în care o placă ar avea o gaură sau senzorul ar citi o valoare incorectă - fiecare rând de camere va dispune de cel puțin doi senzori.

[019] Plasați la nivelul liniei de producție, pe verticala camerelor se află o serie de senzori de poziție 1d folosiți pentru a declanșa camerele foto 1b. în momentul în care o placă trece peste un senzor 1d, senzorul își schimbă valoarea și trimite un semnal către camerele de pe rândul corespunzător acestuia pentru a achiziționa imagini. Sistemul poate acomoda maxim 3 senzori pe fiecare rând.

[020] Un subsistem de înlăturare a prafului și rumegușului 1e, cuprinde o instalație de aer comprimat care este programată pentru a sufla la intervale de timp regulate/prestabilite orice praf sau impuritate ce s-ar putea acumula peste senzorii de poziție. Astfel se asigură faptul că senzorii pot citi toate trecerile plăcilor peste linia de producție.

[021] Subsistemul de achiziție poate avea un număr variabil de camere și elemente auxiliare acestora, în funcție de distanța până la linia de producție, fiind capabil să compună într-o singură imagine panoramică obiectul inițial printr-o procedură de postprocesare care aplică algoritmi complecși de vedere computațională și inteligență artificială pentru a construi o imagine exactă a obiectului și a determina mai departe pe baza acesteia defectele și tăieturile optime, așa cum se va arăta în continuare.

[022] Cu referire la fig.5, unde este ilustrat un MINI PC 2 care este amplasat în proximitatea liniei de producție, într-o cutie certificată pentru utilizare industrială, împreună cu toate componentele de conectică necesare pentru conectarea camerelor și a senzorilor, precum și pentru transmiterea datelor către unitatea de procesare 4.

Pe acesta este implementat un server de calibrare inițială 2a și un subsistem de captare de date 2b, acesta având următoarele componente software:

- Subsistemul de calibrare inițială, implementat pe un server de calibrare

- Sistemul de mentenanță

- Sistemul de achiziție de date

- Sistemul local de logare al parametrilor camerelor și a sistemului de achiziție

[023] Pe serverul de calibrare inițială 2a este implementat un subsistem de control pentru achiziția datelor. Astfel, acesta este folosit pentru setarea inițială a sistemului, precum și pentru mentenanță. Calibrarea implică setarea inițială a focalizării obiectivului, generarea de date pentru corecția culorilor și pentru îndepărtarea efectului de vignetă (reducerea luminozității sau saturației unei imagini la periferie față de centrul acesteia), generarea matricelor de transformare de bază ce vor fi folosite pentru compunerea celor patru imagini într-o singură imagine panoramică, determinarea distanței dintre senzorii de distanță și linia de producție. Calibrarea se realizează în pași, utilizatorul fiind ghidat în acest proces printr-o interfață intuitivă, afișată pe monitorul industrial. Procedura de calibrare este unică pentru sistemul de achiziție, folosind materiale auxiliare precum tablele de șah și placa albă pentru a echilibra culorile, așa cum se arată în continuare.

[024] Bazat pe datele generate din interfață, serverul de calibrare executa următoarele acțiuni: » • Stochează imaginile cu placa albă ce vor fi folosite pentru corecția vignetei;

• Determină dacă placa albă este iluminată optim. Aceasta decizie este luată prin calculul procentului de pixeli saturați complet din întreaga imagine. Dacă acest proces se află într-un interval acceptat, salvează imaginile și încetează achiziția de date cu alte valori ale timpului de expunere de la sistemul de achiziție de date.

Altfel, trimite o cerere de creștere/scădere a valorii timpului de expunere și testează noua imagine rezultată, până când procentele de pixeli saturați sunt într-un interval acceptat. Imaginile optime vor fi salvate la o locație în unitatea de stocare comună și folosite mai departe de către unitatea de procesare 4.

• Calculează transformările de bază folosite pentru compunerea imaginilor panoramice cu plăcile de cherestea. Pentru aceasta, achiziționează de pe linia de producție patru imagini care au în zonele de intersecție dintre imaginile adiacente câte o tablă de șah de dimensiuni cunoscute. Este cunoscut persoanei de specialitate în domeniu că tablele de șah apar frecvent în teoria și practica vederii computerizate, deoarece geometria lor este adecvată pentru procesarea algoritmica. Apariția tablelor de șah în tehnicile de vedere computaționala computerizată poate fi împărțită în două domenii principale: calibrarea camerei și extragerea caracteristicilor - punctele de interes ale imaginii. între acestea, colțurile sunt o caracteristică naturală/canonică a imaginii locale exploatate în multe sisteme de vedere computaționala. în mod obișnuit, se poate defini un colț ca fiind intersecția a două margini. Colțurile sunt o caracteristică utilă a imaginii, deoarece sunt în mod necesar distincte de pixelii lor vecini. Serverul de calibrare inițială 2a determină pozițiile colțurilor tablelor de șah în toate imaginile și calculează o transformată dintre colțurile tablei din două imagini consecutive. Dacă nu reușește să identifice toate colțurile într-o imagine, generează un mesaj de eroare care îl va ghida pe utilizator să repoziționeze tabla de șah ce nu a putut fi identificată. Transformatele homografice de bază vor fi salvate în baza de date comună și folosite mai departe de către unitatea de procesare 4.

• Calculează transformata homografică de îndreptare dintre planul imaginii panoramice compuse anterior și planul ortogonal. Dat fiind faptul că cele 3 table de șah poziționate în zonele de intersecție dintre imagini sunt plasate în același plan, calculează transformata care translatează colțurile detectate în imagine în pozițiile lor corespondențe într-un plan ortogonal virtual. După prima procedura de îndreptare care ia în calcul toate colțurile celor 3 table de șah, se reaplică procedura doar folosind colțurile tablei de șah centrale. Transformarea finală va fi o compunere dintre cele două transformate intermediare și va fi salvată în baza de date comună, iar mai apoi folosită de către unitatea de procesare 4.

• Calculează maparea de bază pentru corespondența dintre pixeli și dimensiuni din lumea reală. Pe imaginea finală, transformată în pasul anterior cu matricea homografică de îndreptare, sunt detectate colțurile tablelor de șah. Dimensiunea unui pătrat de pe tabla de șah este cunoscută - 2 cm lățime. Se calculează toate distanțele dintre două colțuri consecutive și, pe baza dimensiunii mediane în pixeli, determinăm maparea px/cm de bază. Aceasta va fi salvată pentru fiecare rând de camere în baza de date comună și folosită mai departe de către unitatea de procesare 4.

[ 025] Cu referire la fig. 4, subsistemul de captare de date 2b acesta este implementat în Node RED, Node-RED este un instrument de dezvoltare bazat pe flux pentru programare vizuală, dezvoltat inițial de IBM pentru a conecta dispozitive hardware, API-uri și servicii online ca parte a Internetului lucrurilor. Node-RED oferă un editor de flux bazat pe browser web care poate fi folosit pentru a crea funcții JavaScript

[ 026] Subsistemul de achiziție de date controlează toate componentele de pe linia de producție și scrie imaginile cu porțiuni de plăci în format raw (brut/neprelucrat) pe unitatea de stocare comună. Mai mult decât atât, declanșează sistemul de procesare a datelor prin apelarea unui endpoint (un dispozitiv IT la distanță care comunică bidirecțional cu o rețea la care este conectat) de pe serverul de procesare.

Fluxul este definit astfel:

• De îndată ce o placă trece peste un senzor de poziție, subsistemul de captare de date primește informația de la senzor și trimite o comandă de declanșare către camere.

• Cele patru camere sunt declanșate deodată și datele raw (neprelucrate) sunt returnate subsistemului de captare de date.

• Subsistemul de captare de date citește datele de pe senzorii laser de distanță asociați cu fiecare cameră (acolo unde sunt disponibili).

• De îndată ce imaginile sunt scrise pe unitatea de stocare comună 2c, o cerere de procesare este trimisă către unitatea de procesare 4b, cu toate informațiile captate de pe linia de producție: locația unde au fost scrise imaginile, distanța până la linia de producție, numărul rândului de pe care sunt trimise datele, numărul de referință al imaginilor.

[027] O bază de date de logare locală 2c, conține toate informațiile referitoare la senzori, declanșarea camerelor, erori de cameră, durata de declanșare si de generare de date sunt stocate într-o bază de date locală ce servește scopului de depanare a eventualelor inconsistențe ce ar putea apărea.

[028] Cu referire la fig. 5, unde este prezentat monitorul industrial 3, este plasat în apropierea liniei de producție. Acesta este utilizat pentru afișarea interfeței de calibrare inițială, precum și pentru a afișa plăcile de cherestea care trec pe linia de producție, împreună cu rezultatele generate de către serverul de procesare pentru acestea: clasa de calitate, tăieturi optime, defecte detectate.

[029] Interfața de calibrare 3a este servită din back-end de către serverul de calibrare 2a. Procedura de calibrare va avea loc la instalarea inițială a sistemului neural și necesită ca utilizatorul să treacă prin mai mulți pași ce vor asigura faptul că sistemul neural conform invenției funcționează corespunzător. Aceeași procedură va trebui reluată dacă o cameră industrială sau un LED vor trebui înlocuite. Calibrarea se realizează în pași succesivi după cum se arată în continuare.

[030] Primul pasul îl reprezintă calibrarea focalizării în care fiecare rând de camere va fi calibrat individual. în primul pas, utilizatorul va vedea o notificare care îl va înștiința că este necesar să calibreze focalizarea obiectivului până când obiectele din imagine sunt suficient de clare. Acest lucru se va obține prin rotirea inelului de sus de pe obiectiv. Utilizatorul este ghidat să plaseze placa albă sub cameră, iar peste aceasta, tabla de șah. Deschiderea camerei trebuie setată la maxim prin rotirea în direcția acelor de ceasornic a inelului central. Fiecare cameră va fi calibrată independent, iar utilizatorul va trebui să apese pe “Next” după calibrarea fiecăreia.

[031] Al doilea pas îl reprezintă calibrarea timpului de expunere și determinarea distanțelor până la linia de producție. Utilizatorul este ghidat să îndepărteze din zona de vizibilitate a camerei tabla de șah și să păstreze doar placa albă, acoperind cât mai mult posibil din planul vizibil cu aceasta. De îndată ce acesta confirmă eliminarea tablei de șah, sistemul va începe calibrarea timpului de expunere automat prin varierea valorilor până când ajunge la valoarea optimă. în același timp, va colecta informații de la senzorii laser de distanță și va calcula distanța până la linia de producție. Toate informațiile colectate vor fi stocate în baza de date comună și pe unitatea de stocare comună, fiind mai departe folosită pentru rularea în producție a sistemului conform invenției.

De îndată ce se încheie calibrarea unei camere, timpul de expunere aferent acesteia va fi stocat în fișierul de configurare aferent acesteia din sistemul de achiziție de date și va ghida utilizatorul pentru a trece la următoarea cameră, până când toate cele patru camere sunt calibrate.

[032] Al treilea pas îl reprezintă generarea transformatelor homografice de bază pentru compunerea imaginilor panoramice.

[033] Utilizatorului i se cere să plaseze cele 3 table de șah în zonele de intersecție dintre camere. Interfața va marca zonele care trebuie să includă tablele de șah. De îndată ce utilizatorul confirmă poziționarea tablelor de șah, sistemul va captura imagini de la toate cele patru camere și va încerca să determine transformatele. Dacă tablele de șah nu sunt plasate corespunzător, utilizatorul va fi informat printr-un mesaj în interfață. Dacă s-a realizat cu succes determinarea acestora, utilizatorul va vedea afișată o imagine panoramică compusă din cele patru imagini individuale capturate anterior.

[034] Aceiași pași vor fi reluați pentru al doilea rând de camere. La orice moment de timp pe durata procesului de calibrare, utilizatorul poate naviga între pași și îi poate reface dacă este necesar. La fiecare pornire a calibrării, acesta poate decide dacă pornește de la ultima calibrare sau dacă dorește să facă o calibrare cap-coadă.

[035] Pe monitorul industrial 3 este afișată și Interfața Liniei de Producție 3b. Cât timp sistemul neural, conform invenției se află în modul rulare, monitorul industrial va afișa imagini procesate cu plăcile de cherestea, în ritmul liniei de producție. De îndată ce o placă trece pe linia de producție și ajunge la angajatul aflat în capătul liniei de producție, va afișa placa cu defectele detectate, tăieturile optime, dimensiunile acesteia și clasa de calitate. Angajatul poate schimba clasa de calitate printr-o simplă apăsare de buton, asociată cu gradul de calitate dorit. Interfața va include și o secțiune de statistici care afișează diverse date despre linia de producție: numărul de plăci procesate, plăcile grupate după clasa de calitate, volumul total grupat după grad, etc. Interfața este servită de către serverul de producție, instalat pe unitatea de procesare.

[036] Cu referire la fig. 6 și fig.9 unde este prezentată schema structurală și organigrama software a unității de procesare 4 care este amplasată într-o cameră tehnică a unei fabrici de produse din lemn și este conectată la Mini PC 2 prin fibră

optică. Această unitate cuprinde/pe această unitate sunt configurate un server de generare rezultate 4a, un server 4b de procesare date, o bază de date 4c a unității de procesare și o unitate de stocare comună 4d. Unitatea de procesare 4 este responsabilă cu procesarea imaginilor captate de pe linia de producție și generarea rezultatelor finale asociate cu o placă analizată. Rezultatele sunt stocate în baza de date comună și afișate mai departe în interfața de pe linia de producție și în interfața de inventariere.

[037] Serverul pentru linia de producție 4a este componenta unității de procesare 4 care servește ca back-end pentru interfața de pe linia de producție, descrisă în secțiunea 3b. Rezultatele finale sunt citite din baza de date comună și de pe unitatea de stocare comună și organizate într-un format specific, ușor de înțeles pentru utilizatorul final. Serverul de generare a rezultatelor 4a implementează/susține un sistem de generare a rezultatelor.

[038] Serverul de procesare a datelor 4b reprezintă o caracteristică specifică importantă a sistemului neural, conform invenției, fiind responsabilă de interpretarea informațiilor primite de la subsistemul de achiziție și generarea rezultatelor finale prezentate către utilizator.

Serverul de procesare a datelor este apelat de pe linia de producție printr-un endpointcu următorii parametri:

• Numărul de referință al plăcii. întrucât aceste plăci trec secvențial pe linia de producție, numărul de referință pentru o placă fotografiată pe primul rând al sistemului va corespunde cu aceeași placă pe rândul al doilea, astfel fiind corelate cele două fețe ale aceleiași plăci de cherestea.

• Distanțe senzor laser. Acest parametru reprezintă o listă de valori achiziționate de la senzorul laser, pe baza cărora se calculează grosimea plăcii. Cunoscând valoarea colectată în pasul de calibrare - distanța până la linia de producție, valoarea grosimii va fi diferența dintre distanța până la linia de producție și valoarea achiziționată în acest pas.

• Id-ul rândului de pe care au fost achiziționate imaginile.

• Calea pe unitatea de stocare comună unde au fost salvate imaginile.

[039] Pasul 1: Preorocesarea imaginilor 4b1 în momentul în care o nouă cerere de procesare ajunge la server, următoarea procedură este inițiată:

• Citirea imaginilor 4b1.1 ce trebuie procesate.

• Corecția distorsiunilor 4b1.2 folosind coeficienții de distorsiune si matricea intrinsecă a camerei - precalculate în laborator, identice pentru toate cele 8 camere și obiective.

• Corecția vignetei pentru fiecare imagine capturată.

• Segmentarea plăcilor 4b1.3 vizibile în fiecare imagine prin pasarea imaginilor printr-o rețea neuronală de detecție a zonelor de lemn. Masca de segmentare rezultată este procesată prin algoritmi avansați de vedere computațională pentru separarea cu mare precizie a plăcilor.

• Transformarea imaginilor și a măștilor de lemn corespunzătoare 4b1.4 cu homografiile de bază determinate în procesul de calibrare. Acestea vor fi folosite ca punct de plecare pentru a construi o imagine panoramică rafinată.

• Determinarea plăcii centrale vizibilă în imagini. Se consideră ca imagine de referință imaginea achiziționată de la camera aliniată cu senzorul de poziție declanșat. Poziționarea precisă a senzorului în structura hardware asigură vizualizarea plăcii de interes în centrul imaginii de referință.

• Determinarea conturului plăcii centrale în imaginile adiacente imaginii de referință selectate.

• Eliminarea imaginilor redundante 4b1.5 din proces pentru optimizarea timpilor de procesare.

• Corecția și echilibrarea culorilor 4b1.6 din cele patru imagini. Procedura calculează pixelii corespondenți din regiunile de intersecție dintre cele patru imagini și determină transformata care echilibrează valorile acestora, pornind de la imaginea de referință.

• Pe imaginile corectate, se aplică o procedură diferită de estimare a fluxului optic. Această metodă selectează un număr mare de pixeli uniform distribuiți din zona de suprapunere dintre imaginile transformate, alese în interiorul plăcii centrale, pentru a asigura reconstrucția imaginii finale cu o acuratețe foarte ridicată.

• Folosirea unei implementări piramidale a algoritmului Lucas-Kanade pentru a determina corespondențele punctelor alese anterior din zona de suprapunere din imaginile consecutive. Calculăm transformata afină care transpune punctele dintr-o imagine în imaginea adiacentă.

• Aplicarea unei proceduri de asigurare a acurateței algoritmului Lucas-Kanade astfel: dacă numărul de puncte transformate corect nu este suficient de mare în raport cu numărul total de puncte selectate inițial, procedura va fi eliminată și homografiile de bază vor fi folosite.

• Plecând de la asumpția/prezumția că pasul anterior a fost un succes, se reaplică o procedură de corecție și echilibrare de culoare finală 4b1.9, pe imaginile transformate în pasul anterior. Astfel, se asigură că imaginile finale vor fi uniform balansate în spectrul RGB, trecerile în zonele de suprapunere dintre două imagini consecutive nefiind vizibile.

• Placa de cherestea centrală, precum și masca de lemn corespunzătoare acesteia sunt construite din cele patru imagini transformate, folosind ca pivot imaginea de referință. Așadar, toate imaginile vor fi translatate în planul imaginii de referință.

• Pasul final este reprezentat de aplicarea îndreptării perspectivei imaginii panoramice 4b1.10 pentru a o aduce în planul ortogonal. Dat fiind faptul că unghiul camerei raportat la planul liniei de producție are o toleranță în jurul unghiului de 90 de grade, trebuie să fie compensată pentru diferența de perspectivă. în procedura de calibrare este calculată transformata care convertește tablele de șah în dreptunghiuri de aceeași dimensiune și formă. Cunoscând care sunt pozițiile colțurilor tablelor de șah într-o imagine capturată cu o cameră la 90 de grade, determinăm homografia care transformă colțurile detectate către pozițiile precalculate. Acesta reprezintă pasul care generează rezultatul final al preprocesării.

[040] Procedura de preprocesare a fost implementată într-un mediu multithreaded, de mare viteză, pentru a asigura îndeplinirea constrângerilor de timp de pe linia de producție. Fiecare pas este logat și poate fi verificat în cazul oricărei disfuncționalități a sistemului. Astfel, sistemul conform invenției dispune de o procedură complexă de recompunere a imaginilor și poate identifica placa de interes dintr-o imagine.

[041] Pasul 2: Generarea rezultatelor/procesare:

Pasul al doilea reprezintă generarea rezultatelor care vor fi afișate utilizatorului și cuprinde:

• extragerea din imaginea panoramică generată anterior, placa centrală 4b2.1. Se calculează dreptunghiul rotit de dimensiune minimă care conține zona de lemn aferentă plăcii centrale și se extrage zona RGB corespunzătoare acestui dreptunghi din imaginea panoramică;

• determinarea dimensiunilor plăcii 4b2.2 astfel: în pasul inițial al calibrării, dat fiind faptul că este cunoscută dimensiunea tablelor de șah, putem calcula o mapare de bază pixel/cm. Această mapare variază liniar cu grosimea plăcii. Cunoscând grosimea plăcii și maparea la grosimea 0, putem calcula maparea pentru placa curentă, și, pe baza acesteia, lățimea și lungimea plăcii.

• detectarea defectelor 4b2.3 astfel: regiuni distincte sunt extrase din imaginea plăcii centrale și pasate printr-o rețea neuronală de segmentare a defectelor. Masca de segmentare rezultată este binarizată și post-procesată pentru a determina conturul exact al defectelor.

• optimizarea tăieturilor 4b2.4 și gradarea fiecărei fețe a plăcii de lemn: această etapă presupune generarea de zone dreptunghiulare de lemn curat, pentru minimizarea pierderilor;

• determinarea clasei de calitate 4b2.5 este direct impactată de aria de lemn curat - procentul ariei zonelor dreptunghiulare de lemn curat din aria totală a plăcii. Unitatea de procesare determina cele mai bune tăieturi optime și clasa de calitate a feței analizate, ținând cont nu doar de regulile standard de gradare și de defectele detectate, ci și de reguli customizate definite de către companie. După ce ambele fețe ale aceleiași plăci au fost gradate, se pornește procedura de clasificare a plăcii pe baza ambelor fețe.

[042] Pasul 3: Pregătirea datelor pentru afișare:

După compunerea imaginii panoramice și generarea rezultatelor (clasa de calitate și defectele), serverul de procesare a datelor 4b va stoca toate informațiile în baza de date comună 4c, într-un format specific, și va genera imaginile ce vor fi folosite pentru afișarea pe interfața liniei de producție. O imagine cu ambele fețe este creată, defectele și tăieturile optime vor fi afișate pe aceasta și clasa de calitate va fi salvată. Informațiile stocate în baza de date comună și afișate utilizatorului sunt compuse din:

• Imagini cu ambele fețe • Dimensiunile plăcii • Tăieturi optime și dimensiunile acestora • Suprafața și unitățile de tăiere • Defectele, tipul și dimensiunea acestora • Gradul fiecărei fețe și gradul final • Numărul de referință al plăcii

Pentru a determina dimensiunile obiectului/plăcii, sistemul conform invenției folosește componenta inițială de calcul a distanței de la senzorul laser până la obiect pentru a calcula o mapare de la pixeli la o unitate de măsură din lumea reală, astfel determinând în imagine (nu prin senzori de lumină cu emițători-receptori) dimensiunile obiectului.

[043] Pasul 4: Statistici

Pe baza informațiilor salvate se afișează rapoarte complexe și grafice bazate pe caracteristicile plăcilor, precum împărțirea în clase de calitate, volume, specii, dimensiuni.

[044] O bază de date comună 4c este populată/dotată cu informațiile necesare preprocesării de către serverul de calibrare 2a. în timpul producției, serverul de procesare va folosi informațiile de preprocesare pentru a genera rezultatele și a le stoca în aceeași bază de date.

[045] Unitatea de Stocare Comună 4d utilizează protocolul NetWork File System (în continuare NFS) care este un protocol de sistem de fișiere distribuit/comun care permite unui computer client să acceseze fișiere printr-o rețea de computere, la fel cum accesează fișierele stocate local. NFS este un standard deschis, accesibil oricui să-l implementeze.

NFS-ul comun asigură faptul că Mini PC-ul și Unitatea de Procesare schimbă informații cu latențe minimale. Subsistemul de captare de date 2b scrie imaginile în locație pe disc predefinite și trimite cereri de procesare către unitatea de procesare 4, când scrierile au fost încheiate, asigurând procesarea acestora în timp util. Fișierele necesare preprocesării sunt de asemenea scrise la o locație în același NFS. Pe serverul de procesare de date aceste fișiere și toate informațiile necesare compunerii imaginilor panoramice sunt citite de pe unitatea de stocare comună la pornirea acestuia și salvate în memorie pentru a asigura eliminarea latențelor în timpul procesării.

Rezultatele generate de către serverul de procesare de date sunt de asemenea stocate pe unitatea de stocare comună și servite interfeței liniei de producție, fără a fi necesară transmiterea informațiilor prin răspunsuri HTTP.

[046] Cu referire la fig. 7, sistemul neural, conform invenției, mai poate conține o unitate de inventariere 5. Aceasta este o componentă opțională care permite angajaților din sediul central al companiei să aibă o vedere de ansamblu asupra întregii producții. Aceasta va fi folosită pentru a vizualiza interfața de inventariere ce oferă funcționalități customizate pentru utilizatorii cu drepturi administrative.

[046] O interfață de inventariere 5a, este o componentă deservită de către serverul liniei de producție 4a. Utilizatorii pot vedea în timp real ceea ce se procesează pe linia de producție, împreună cu statistici detaliate ale producției lor. Mai mult decât atât, acestea pot customiza regulile de gradare:

• Excluderea defectelor de anumite dimensiuni din procesul de gradare • Ignorarea anumitor dimensiuni de defecte din procesul de gradare • Excluderea plăcilor de anumite dimensiuni din procesul de gradare • Gradare pentru obținerea celui mai bun grad sau al celui mai mare procent de lemn curat

Aceste reguli customizate vor fi salvate în baza de date comună 4d și luate în considerare când plăcile sunt gradate, în timp real.

[ 047] Cu referire la fig. 8, ca o componenta opțională a sistemului neural conform invenției, au fost implementate proceduri de transfer de date achiziționate în producție - imagini raw (brute/neprelucrate) și informațiile specifice acestora - către rețeaua internă 6τ Datele colectate sunt folosite mai departe pentru a genera adnotări - date de antrenament pentru rețelele neuronale. Această rețea internă 6 cuprinde:

[ 048] O unitate de stocare 6a, unde imaginile salvate sunt sincronizate periodic, prin scripturi automate, cu unitatea de stocare locală, datele salvate incluzând:

• Numărul de referință al plăcii;

• Numărul rândului;

• 4 imagini asociate cu fața curentă a plăcii;

• Distanțele asociate plăcii;

• Datele de preprocesare.

[049] Un server de procesare de date 6b al rețelei interne, este o componentă care aplică aceleași proceduri ca și serverul de procesare date 4b. Datele raw sunt preprocesate și imaginile panoramice sunt generate. Mai departe, imaginile panoramice ale plăcilor de lemn sunt încărcate în interfața de etichetare de date, unde personal calificat în gradarea plăcilor marchează cu precizie foarte ridicată fiecare defect pe care îl identifică pe fețele plăcilor de lemn, împreună cu tipul acestuia și clasa de calitate a întregii plăci.

[050] Un server de adnotare 6c este folosit ca backend pentru construirea datelor de antrenament și validare a rețelelor neuronale. Fluxul este, după cum urmează:

• Imaginile raw și metadatele asociate sunt sincronizate pe componenta de stocare descrisă la punctul 6a;

• O cerere de procesare este trimisă către un endpointpe serverul de adnotare, cu parametri care definesc datele ce trebuie procesate;

• Serverul de adnotare trimite o cerere de procesare către serverul de procesare de date Fordaq;

• Serverul de procesare de date Fordaq calculează rezultatele și le trimite înapoi către serverul de adnotare;

• Serverul de adnotare inserează rezultatele în baza de date de adnotare.

[051] O bază de date de adnotare 6d care stochează informațiile necesare pentru generarea de date de antrenament - rezultatele procesării, dar și date de manageriere precum: identificatorul adnotatorului, data marcării, data descărcării, detalii cu privire la consensus, etc. Din moment ce sistemul de adnotare este construit ca un sistem de management de date, baza de date de adnotare 6d are o structură diferită de cea a bazei de date comune 4d de pe unitatea de procesare.

[051] Interfața de adnotare 6e, este servită de serverul de adnotare 6c și oferă o metodă elaborată și intuitivă de a marca defecte, tăieri optime și clase de calitate echipei de etichetare date. Echipa de etichetare de date este compusă din asistenți de gradare, gradatori certificați și inspectori în calitatea lemnului. Fiecare utilizator are un anumit nivel de drepturi care îi permit accesul la funcționalități și acțiuni, după cum urmează:

• Marcarea defectelor pe imagini cu fețele plăcilor de cherestea încărcate prin endpointul de pe serverul de adnotare. Interfața permite utilizatorilor să marcheze poligoane în jurul defectelor, împreună cu tipul defectului. De asemenea, le oferă informații relevante cu privire la placa pe care o analizează, informații care influențează gradarea: dimensiunea defectului selectat, tipul acestuia, procentul pe care-l ocupă.

• Marcarea tăieturilor optime prin plasarea de dreptunghiuri în Canvas.

• Selectarea unei clase de calitate pentru fiecare față a plăcii.

• Afișarea tuturor informațiilor ambelor fețe în aceeași pagină și gradarea plăcii • Marcarea imaginilor individuale și a plăcilor ca “Validate”. în momentul în care un adnotator încheie procesul de marcare a defectelor de pe o față a plăcii, acesta o poate eticheta ca validată. Imaginile validate sunt descărcate automat în directorul de date de antrenament într-un format specific, sub numele adnotatorului curent.

• Etichetarea imaginilor individuale și a plăcilor ca “Verificate”. Inspectorii pot verifica imaginile validate de către gradatorii certificați și de către asistenți și, în cazul în care acestea nu au probleme de marcare, le marchează ca “verificate”. Imaginile verificate sunt convertite automat într-un format specific antrenamentului și salvate în directorul de date de antrenament, sub eticheta “verificate”.

• Marcarea comună pe imagini - gradatorii pot discuta și grada împreună plăci de lemn în procesul de consensus - decid împreună tipul și forma fiecărui defect marcat. Acest proces este foarte important pentru diseminarea informațiilor în cadrul echipei și pentru evaluarea performanțelor individuale ale gradatorilor.

• Vizualizarea de statistici cu privire la volumul de date gestionat de fiecare dintre gradatori.

• Adăugarea de note/comentarii imaginilor.

• Oferirea de feedback pe imagini.

• Detalierea tipului plăcii - tangențială, radială, semi radială.

• Vizualizarea unui sumar al fiecărei fețe marcate.

• încercarea manuală de imagini în aplicație.

Munca de adnotare manuală efectuată de către echipa de adnotare este mai departe încorporată de către echipa de cercetare în procesul de antrenament, iar modelele de rețele neuronale sunt îmbunătățite folosind datele clientului, într-o buclă constantă de feedback.

Claims (15)

1. Un sistem de detectare a defectelor și clasificare în clase de calitate a plăcilor de lemn cuprinzând o unitate de vizualizare care conține camere foto montate pe o structură (cadru) atașată la un transportor transversal cu mecanism de întoarcere a plăcilor, și o unitate de procesare cuprinzând la rândul ei un subsistem industrial de achiziție de date, un subsistem de control pentru subsistemul industrial de achiziție de date, un subsistem/unitate de procesare pentru datele achiziționate, caracterizat prin aceea că subsistemul de achiziție de date cuprinde un ansamblu de camere foto industriale (1b) amplasate pe două rânduri cu un număr variabil de camere industriale, fiecare rând fiind responsabil cu achiziția de imagini pentru câte o față a plăcii de lemn, achiziție realizată de un subsistem de captare a datelor (2b) implementat pe MINI PC (2), conectat cu o unitate de procesare (4), niște surse de iluminare (1a) și niște senzori (1c) laser, deasupra liniei de producție, înainte și după mecanismul de întoarcere a plăcilor, subsistemul achiziționând imagini cu fețele plăcii ce urmează a fi clasificată;

subsistemul de control pentru achiziția datelor implementat pe serverul de calibrare inițială (2a) declanșându-se și calibrând subsistemul de achiziție de date; iar subsistemul unitate de procesare cuprinzând un server de generare rezultate (4a), un server (4b) de procesare date, o bază de date (4c) a unității de procesare și o unitate de stocare comună (4d), procesarea de date menționată incluzând etapele de:

• segmentare a plăcilor vizibile în fiecare imagine prin pasarea imaginilor printro rețea neuronală de detecție a zonelor de lemn, masca de segmentare rezultată fiind procesată prin algoritmi de vedere computațională pentru separarea plăcilor;

• transformare a imaginilor și a măștilor de lemn corespunzătoare cu transformări homografice de bază determinate în procesul de calibrare, aceasta fiind folosite ca punct de plecare pentru a construi o imagine panoramică rafinată;

• determinare a plăcii centrale vizibilă în imagini considerând ca imagine de referință imaginea achiziționată de la camera aliniată cu senzorul de poziție declanșat, ca urmare a poziționării precise a senzorului în structura hardware asigurând vizualizarea plăcii de interes în centrul imaginii de referință;

• determinare a conturului plăcii centrale în imaginile adiacente imaginii de referință selectate; si • eliminare a imaginilor redundante din proces pentru optimizarea timpilor de procesare, generându-se pe această bază o imagine panoramică a ambelor fețe ale obiectului de interes/plăcii analizate, permițând identificarea defectelor și clasificarea plăcii într-o clasă de calitate.

2. Sistemul conform revendicării 1, caracterizat prin aceea că rezultatele procesării sunt sistematizate într-un subsistem de gestiune al rezultatelor, unde, prin subsistemul menționat se prezintă și stochează imaginile procesate, defectele și clasele de calitate asociate acestora.

3. Sistemul conform revendicării 1, caracterizat prin aceea că subsistemul de achiziție de date, industrial cuprinde un număr de camere industriale (1b), lumini (1a), precum și senzori auxiliari care permit declanșarea automată a subsistemului de captare de date (2b) implementat pe MINI PC (2), care achiziționează toate informațiile necesare procesării datelor asociate unei plăci care se deplasează de pe linia de producție.

4. Sistemul conform revendicării 3, caracterizat prin aceea că subsistemul de achiziție de date este calibrat printr-o procedură de compensare a luminozității folosind o placă albă auxiliară.

5. Sistemul conform revendicării 3, caracterizat prin aceea că sistemul de achiziție de date este calibrat pentru compunerea imaginilor panoramice cu o precizie ridicată folosind un set auxiliar de table de șah.

6. Sistemul conform revendicării 3, caracterizat prin aceea că subsistemul de achiziție de date este calibrat printr-o procedură automată de determinare a mapărilor dintre dimensiunile din imagini și dimensiunile reale.

7. Sistemul conform revendicării 3, caracterizat prin aceea că sistemul de control pentru achiziția datelor este optimizat astfel încât să funcționeze la viteza benzii/liniei de producție.

8. Sistemul conform revendicării 3, caracterizat prin aceea că subsistemul/unitatea de procesare date analizează obiectul/placa și generează rezultatele asociate acestuia.

9. Sistemul conform revendicărilor 5 și 8 caracterizat prin aceea că sistemul de procesare/unitatea pentru datele achiziționate generează o imagine panoramică a obiectului analizat/plăcii analizate.

10. Sistemul conform revendicării 8, caracterizat prin aceea că subsistemul/unitatea de procesare selectează obiectul de interes din imaginea panoramică folosind algoritmi de inteligență artificială și vedere computațională.

11. Sistemul conform revendicării 8, caracterizat prin aceea că subsistemul/unitatea de procesare detectează defectele asociate cu obiectul analizat.

12. Sistemul conform revendicărilor 8, 9 și 11 caracterizat prin aceea că subsistemul/unitatea de procesare determină clasa de calitate a obiectului analizat/plăcii analizate.

13. Sistemul conform revendicării 1, caracterizat prin aceea că subsistemul/unitatea de procesare analizează ambele fețe ale obiectului/plăcii și identifică legătura dintre acestea.

14. Sistemul conform revendicării 1, caracterizat prin aceea că sistemul/serverul de gestiune al rezultatelor (4a) permite companiei să definească și modifice regulile de gradare ale obiectelor.

15. Sistemul conform revendicării 1, caracterizat prin aceea că sistemul/serverul de gestiune al rezultatelor (4a) afișează în timp real rezultatele procesării.