KR20200079059A - 비트 연산 기반의 뉴럴 네트워크 처리 방법 및 장치 - Google Patents

비트 연산 기반의 뉴럴 네트워크 처리 방법 및 장치 Download PDF

Info

Publication number
KR20200079059A
KR20200079059A KR1020180168566A KR20180168566A KR20200079059A KR 20200079059 A KR20200079059 A KR 20200079059A KR 1020180168566 A KR1020180168566 A KR 1020180168566A KR 20180168566 A KR20180168566 A KR 20180168566A KR 20200079059 A KR20200079059 A KR 20200079059A
Authority
KR
South Korea
Prior art keywords
bit
bit serial
serial block
neural network
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180168566A
Other languages
English (en)
Other versions
KR102562320B1 (ko
Inventor
손진우
손창용
이서형
정상일
최창규
한재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180168566A priority Critical patent/KR102562320B1/ko
Priority to US16/542,803 priority patent/US11586886B2/en
Priority to CN201910822391.8A priority patent/CN111352656B/zh
Priority to EP19201997.4A priority patent/EP3674986A1/en
Publication of KR20200079059A publication Critical patent/KR20200079059A/ko
Application granted granted Critical
Publication of KR102562320B1 publication Critical patent/KR102562320B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G06F17/153—Multidimensional correlation or convolution
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30018—Bit or string instructions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30029—Logical and Boolean instructions, e.g. XOR, NOT
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G06F9/3887—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by a single instruction for multiple data lanes [SIMD]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Neurology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

비트 연산 기반의 뉴럴 네트워크 처리 방법 및 장치가 개시된다. 일 실시예에 따른 뉴럴 네트워크를 이용한 처리 방법은 뉴럴 네트워크 내 타겟 레이어의 웨이트 커널들에 대응하는 데이터 중 적어도 일부인 제1 데이터에 대응하는 제1 비트 시리얼 블록을 획득하고, 상기 타겟 레이어의 입력 특징 맵들에 대응하는 데이터 중 적어도 일부인 제2 데이터를 제2 비트 시리얼 블록으로 변환하고, 상기 제1 비트 시리얼 블록 및 상기 제2 비트 시리얼 블록 간의 비트 연산에 기초하여 상기 타겟 레이어에 관한 컨볼루션 연산을 수행하는 단계들을 포함한다.

Description

비트 연산 기반의 뉴럴 네트워크 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING NEURAL NETWORK BASED ON BITWISE OPERATION}
아래 실시예들은 비트 연산 기반의 뉴럴 네트워크 처리 방법 및 장치에 관한 것이다.
최근 들어, 입력 패턴을 특정 그룹으로 분류하는 문제를 해결하는 방안으로써, 인간이 지니고 있는 효율적인 패턴 인식 방법을 실제 컴퓨터에 적용시키려는 연구가 활발히 진행되고 있다. 이러한 연구 중 하나로, 인간의 생물학적 신경 세포의 특성을 수학적 표현에 의해 모델링한 인공 뉴럴 네트워크(artificial neural network)에 대한 연구가 있다. 입력 패턴을 특정 그룹으로 분류하는 문제를 해결하기 위해, 인공 뉴럴 네트워크는 인간이 가지고 있는 학습이라는 능력을 모방한 알고리즘을 이용한다. 이 알고리즘을 통하여 인공 뉴럴 네트워크는 입력 패턴과 출력 패턴들 간의 사상(mapping)을 생성해낼 수 있는데, 이를 인공 뉴럴 네트워크가 학습 능력이 있다고 표현한다. 또한, 인공 뉴럴 네트워크는 학습된 결과에 기초하여 학습에 이용되지 않았던 입력 패턴에 대하여 비교적 올바른 출력을 생성할 수 있는 일반화 능력을 가지고 있다.
일 실시예에 따르면, 뉴럴 네트워크를 이용한 처리 방법은 뉴럴 네트워크 내 타겟 레이어의 웨이트 커널들에 대응하는 데이터 중 적어도 일부인, 제1 데이터에 대응하는 제1 비트 시리얼 블록을 획득하는 단계; 상기 타겟 레이어의 입력 특징 맵들에 대응하는 데이터 중 적어도 일부인, 제2 데이터를 제2 비트 시리얼 블록으로 변환하는 단계; 및 상기 제1 비트 시리얼 블록 및 상기 제2 비트 시리얼 블록 간의 비트 연산(bitwise operation)에 기초하여 상기 타겟 레이어에 관한 컨볼루션 연산을 수행하는 단계를 포함한다.
상기 제1 비트 시리얼 블록 및 상기 제2 비트 시리얼 블록은 각각 동일한 비트 포지션(bit position)을 갖는 비트들을 포함할 수 있다. 상기 제1 비트 시리얼 블록 내 비트들은 MSB(most significant bit) 내지 LSB(least significant bit) 중 어느 하나에 대응할 수 있고, 상기 컨볼루션 연산의 결과 값이 결정될 때, 상기 제1 비트 시리얼 블록과 다른 비트 포지션(bit position)에 대응하는 상기 타겟 레이어의 상기 웨이트 커널들의 비트 시리얼 블록들은 상기 제1 비트 시리얼 블록과 독립적으로 연산될 수 있다.
상기 제1 비트 시리얼 블록 및 상기 제2 비트 시리얼 블록은 상기 제1 데이터 및 상기 제2 데이터 각각에서 상기 입력 특징 맵들 및 상기 웨이트 커널들의 채널 방향을 따라 인터리브(interleave) 방식으로 추출되거나, 또는 상기 제1 데이터 및 상기 제2 데이터 각각에서 상기 입력 특징 맵들 및 상기 웨이트 커널들의 평면 방향을 따라 플래너(planar) 방식으로 추출될 수 있다.
상기 제1 비트 시리얼 블록 및 상기 제2 비트 시리얼 블록은 SIMD(single-instruction multiple data)를 처리하기 위한 레퍼런스 비트 폭에 기초할 수 있다. 상기 제1 비트 시리얼 블록 및 상기 제2 비트 시리얼 블록에서 상기 레퍼런스 비트 폭을 충족하지 못하는 공간은 0으로 채워질 수 있다. 상기 레퍼런스 비트 폭은 32비트, 64비트 및 128비트 중 어느 하나일 수 있다.
상기 비트 연산은 논리 앤드 연산(logical AND operation) 및 팝카운트 연산(popcount operation)을 포함할 수 있다. 상기 제1 비트 시리얼 블록 및 상기 제2 비트 시리얼 블록은 동일한 디멘젼(dimension)을 가질 수 있다. 상기 컨볼루션 연산을 수행하는 단계는 상기 제1 비트 시리얼 블록 및 상기 제2 비트 시리얼 블록 간의 논리 앤드 연산(logical AND operation)을 수행하는 단계; 상기 논리 앤드 연산의 결과 값에 관해 팝카운트 연산(popcount operation)을 수행하는 단계; 및 상기 팝카운트 연산의 결과 값에 기초하여 상기 컨볼루션 연산의 결과 값을 결정하는 단계를 포함할 수 있다. 상기 컨볼루션 연산의 결과 값을 결정하는 단계는 상기 팝카운트 연산의 결과 값에 기초하여 비트 포지셔닝을 수행하는 단계를 포함할 수 있다. 상기 비트 포지셔닝은 상기 제1 데이터의 비트 포지션에 기초하여 수행될 수 있다.
상기 제1 데이터 및 상기 제2 데이터는 8비트 미만의 비트 폭(bit width)으로 표현될 수 있다. 상기 제1 비트 시리얼 블록을 획득하는 단계는 메모리에 미리 저장된 상기 제1 비트 시리얼 블록을 상기 메모리로부터 획득하는 단계; 또는 상기 제1 데이터를 상기 제1 비트 시리얼 블록으로 변환하는 단계를 포함할 수 있다.
일 실시예에 따르면, 뉴럴 네트워크를 이용한 처리 장치는 프로세서; 및 상기 프로세서에서 읽을 수 있는 명령어를 포함하는 메모리를 포함하고, 상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 뉴럴 네트워크 내 타겟 레이어의 웨이트 커널들에 대응하는 데이터 중 적어도 일부인 제1 데이터에 대응하는 제1 비트 시리얼 블록을 획득하고, 상기 타겟 레이어의 입력 특징 맵들에 대응하는 데이터 중 적어도 일부인 제2 데이터를 제2 비트 시리얼 블록으로 변환하고, 상기 제1 비트 시리얼 블록 및 상기 제2 비트 시리얼 블록 간의 비트 연산(bitwise operation)에 기초하여 상기 타겟 레이어에 관한 컨볼루션 연산을 수행할 수 있다.
도 1은 일 실시예에 따른 처리 장치 및 뉴럴 네트워크를 나타낸 도면.
도 2는 일 실시예에 따른 컨볼루셔널 뉴럴 네트워크의 구조를 나타낸 도면.
도 3은 일 실시예에 따른 하나의 레이어에 관한 비트 연산 기반의 컨볼루션 프로세스를 나타낸 도면.
도 4는 일 실시예에 따른 비트 시리얼 블록들을 나타낸 도면.
도 5는 일 실시예에 따른 하나의 웨이트 커널에 대응하는 비트 시리얼 블록들을 나타낸 도면.
도 6은 일 실시예에 따른 비트 추출 방식들을 나타낸 도면.
도 7은 일 실시예에 따른 제로 패딩 프로세스를 나타낸 도면.
도 8은 일 실시예에 따른 하나의 웨이트 커널에 관한 비트 연산 기반의 컨볼루션 프로세스를 나타낸 도면.
도 9는 일 실시예에 따른 비트 연산 기반 처리와 MAC 연산 기반 처리를 비교하는 도면.
도 10은 일 실시예에 따른 뉴럴 네트워크를 이용한 처리 방법을 나타낸 동작 흐름도.
도 11은 일 실시예에 따른 뉴럴 네트워크를 이용한 처리 장치를 나타낸 블록도.
도 12는 일 실시예에 전자 장치를 나타낸 블록도.
아래 개시되어 있는 특정한 구조 또는 기능들은 단지 기술적 개념을 설명하기 위한 목적으로 예시된 것으로서, 아래 개시와는 달리 다른 다양한 형태로 실시될 수 있으며 본 명세서의 실시예들을 한정하지 않는다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 처리 장치 및 뉴럴 네트워크를 나타낸 도면이다. 도 1을 참조하면, 처리 장치(100)는 뉴럴 네트워크(110)의 동작을 처리할 수 있다. 예를 들어, 뉴럴 네트워크(110)의 동작은 입력 영상 내 객체를 인식하거나 인증하는 것을 포함할 수 있다. 아래에서 설명되는 뉴럴 네트워크(110)와 관련된 처리 동작의 적어도 일부는 소프트웨어로 구현되거나, 뉴럴 프로세서(neural processor)를 포함하는 하드웨어로 구현되거나, 혹은 소프트웨어 및 하드웨어의 조합으로 구현될 수 있다.
뉴럴 네트워크(110)는 컨볼루셔널 뉴럴 네트워크(convolutional neural network, CNN)를 포함할 수 있다. 뉴럴 네트워크(110)는 딥 러닝에 기반하여 비선형적 관계에 있는 입력 데이터 및 출력 데이터를 서로 매핑함으로써 객체 인식 및 객체 인증 등을 수행할 수 있다. 딥 러닝은 빅 데이터 세트로부터 영상 또는 음성 인식과 같은 문제를 해결하기 위한 기계 학습 기법이다. 딥 러닝은 준비된 트레이닝 데이터를 이용하여 뉴럴 네트워크(110)를 트레이닝하면서 에너지가 최소화되는 지점을 찾아가는 최적화 문제 풀이 과정으로 이해될 수 있다. 딥 러닝의 지도식(supervised) 또는 비지도식(unsupervised) 학습을 통해 뉴럴 네트워크(110)의 구조, 혹은 모델에 대응하는 가중치(weight)가 구해질 수 있고, 이러한 가중치를 통해 입력 데이터 및 출력 데이터가 서로 매핑될 수 있다.
뉴럴 네트워크(110)는 복수의 레이어들을 포함할 수 있다. 복수의 레이어들은 입력 레이어(input layer), 적어도 하나의 히든 레이어(hidden layer), 및 출력 레이어(output layer)를 포함할 수 있다. 제1 레이어(111) 및 제2 레이어(112)는 상기 복수의 레이어들 중 적어도 일부일 수 있다. 도 1에는 두 레이어들(111, 112)이 도시되어 있으나, 이는 설명의 편의를 위한 것으로, 뉴럴 네트워크(110)는 두 레이어들(111, 112) 외에 더 많은 레이어들을 포함할 수 있다.
CNN에서 각 레이어에 입력되는 데이터는 입력 특징 맵(input feature map)으로 지칭될 수 있고, 각 레이어에서 출력되는 데이터는 출력 특징 맵(output feature map)으로 지칭될 수 있다. 실시예에 따라 출력 특징 맵은 각 레이어 내의 컨볼루션 연산 결과, 혹은 각 레이어 내의 활성화 함수(activation function) 처리 결과에 대응할 수 있다. 입력 특징 맵 및 출력 특징 맵은 액티베이션 데이터(activation data)로 지칭될 수 있다. 예를 들어, 각 레이어 내의 컨볼루션 연산 결과, 혹은 각 레이어 내의 활성화 함수 처리 결과는 액티베이션 데이터로 지칭될 수 있다. 입력 레이어에서 입력 특징 맵은 입력 영상의 영상 데이터에 대응할 수 있다.
뉴럴 네트워크(110)에 관한 동작을 처리하기 위해, 처리 장치(100)는 각 레이어에 관해 입력 맵 및 웨이트 커널(weight kernel) 간에 컨볼루션 연산(convolution operation)을 수행할 수 있고, 컨볼루션 연산 결과에 기초하여 출력 맵을 생성할 수 있다. CNN에서는 컨볼루셔널 레이어들에 관해 딥 러닝이 수행될 수 있다. 처리 장치(100)는 컨볼루션 연산 결과에 활성화 함수를 적용하여 출력 맵을 생성할 수 있다. 활성화 함수는 시그모이드(sigmoid), 하이퍼볼릭 탄젠트(hyperbolic tangent, tanh) 및 렐루(rectified linear unit, ReLU)를 포함할 수 있으며, 활성화 함수에 의해 뉴럴 네트워크(110)에 비선형성이 부여될 수 있다. 뉴럴 네트워크(110)의 폭과 깊이가 충분히 크면 임의의 함수를 구현할 수 있을 만큼의 용량(capacity)을 가질 수 있다. 뉴럴 네트워크(110)가 적절한 트레이닝 과정을 통해 충분히 많은 양의 트레이닝 데이터를 학습하면 최적의 성능을 달성할 수 있다.
처리 장치(100)는 웨이트 커널의 비트 시리얼 및 입력 특징 맵의 비트 시리얼을 이용하여 비트 연산(bitwise operation) 기반의 컨볼루션을 수행할 수 있다. 아래에서는 제1 레이어(111)에 관한 비트 연산 기반의 컨볼루션이 설명되지만, 아래에서 설명되는 비트 연산 기반의 컨볼루션은 뉴럴 네트워크(110) 내 각 컨볼루셔널 레이어들에서 수행될 수 있다.
처리 장치(100)는 블록들(121, 122)에서 제1 레이어(111)의 웨이트 커널(w) 및 제1 레이어(111)의 입력 특징 맵(x)을 각각 비트 시리얼(s_w) 및 비트 시리얼(s_x)로 변환할 수 있다. 예를 들어, 처리 장치(100)는 웨이트 커널(w) 및 입력 특징 맵(x)을 각각 슬라이싱(slicing)하여 비트 시리얼(s_w) 및 비트 시리얼(s_x)로 변환할 수 있다. 처리 장치(100)는 웨이트 커널(w) 및 입력 특징 맵(x)의 비트 레벨을 미리 정해진 비트 레벨로 맞추기 위한 전처리 과정으로서 웨이트 커널(w) 및 입력 특징 맵(x)을 각각 양자화(quantization)할 수 있고, 양자화된 웨이트 커널(w) 및 양자화된 입력 특징 맵(x)을 각각 비트 시리얼(s_w) 및 비트 시리얼(s_x)로 변환할 수 있다. 예를 들어, 미리 정해진 비트 레벨은 로우 비트 폭(low bit width)에 대응할 수 있다. 예를 들어, 로우 비트 폭은 8비트 미만의 비트 폭을 의미할 수 있으며, 일례로 4비트의 비트 폭 혹은 2비트의 비트 폭일 수 있다.
비트 시리얼(s_w) 및 비트 시리얼(s_x)은 웨이트 커널(w) 및 입력 특징 맵(x)의 채널 방향을 따라 인터리브(interleave) 방식으로 추출되거나, 웨이트 커널(w) 및 입력 특징 맵(x)의 평면 방향을 따라 플래너(planar) 방식으로 추출될 수 있다. 웨이트 커널(w)이 미리 학습된 경우, 비트 시리얼(s_w)은 미리 학습된 웨이트 커널(w)에 기초하여 미리 변환되어 메모리에 저장될 수 있다. 이 경우, 처리 장치(100)는 블록(121)에서 웨이트 커널(w)을 비트 시리얼(s_w)로 변환하는 대신, 미리 변환된 비트 시리얼(s_w)을 메모리에서 획득할 수 있다.
웨이트 커널은 '미리' 결정된 것으로 표현될 수 있는데, 여기서 '미리'는 뉴럴 네트워크(110)가 '시작'되기 전을 나타낼 수 있다. 뉴럴 네트워크(110)가 '시작'되었다는 것은 뉴럴 네트워크(110)가 추론(inference)을 위한 준비가 된 것을 의미할 수 있다. 예를 들어, 뉴럴 네트워크(110)가 '시작'된 것은 뉴럴 네트워크(110)가 메모리에 로드된 것, 혹은 뉴럴 네트워크(110)가 메모리에 로드된 이후 뉴럴 네트워크(110)에 추론(inference)을 위한 입력 데이터가 입력된 것을 포함할 수 있다.
웨이트 커널 및 액티베이션 데이터를 구성하는 단위 데이터는 엘리먼트(element)로 표현될 수 있다. 예를 들어, 웨이트 커널이 K*K*C의 디멘젼(dimension)을 갖는 경우, 웨이트 커널은 K*K*C개의 엘리먼트들을 포함하는 것으로 표현될 수 있다. 웨이트 커널의 엘리먼트는 웨이트 값에 대응할 수 있고, 액티베이션 데이터의 엘리먼트는 액티베이션 값에 대응할 수 있다. 웨이트 커널 및 액티베이션 데이터를 구성하는 엘리먼트들은 미리 정해진 비트 폭(bit width)으로 표현될 수 있다. 예를 들어, 웨이트 커널을 구성하는 K*K*C개의 엘리먼트들은 Z-비트로 표현될 수 있다. 웨이트 커널 및 액티베이션 데이터의 엘리먼트들은 동일한 비트 폭으로 표현되거나, 혹은 서로 다른 비트폭으로 표현될 수 있다.
웨이트 커널(w)을 슬라이싱하여 비트 시리얼(s_w)로 변환한다는 것은 웨이트 커널(w)의 각 엘리먼트를 Z개의 비트 포지션(bit position) 별로 나누어서 비트 시리얼(s_w)을 구성하는 것을 포함할 수 있다. 이에 따라, 비트 시리얼(s_w)은 웨이트 커널(w)의 각 엘리먼트를 Z개의 비트 포지션 별로 구분하여 포함할 수 있다. 예를 들어, 비트 시리얼(s_w)은 MSB(most significant bit)에 대응하는 비트 시리얼 블록부터 LSB(least significant bit)에 대응하는 비트 시리얼 블록까지 Z개의 비트 시리얼 블록들을 포함할 수 있다. Z개의 비트 시리얼 블록들은 각각 동일한 비트 포지션을 갖는 K*K*C개의 비트들을 포함할 수 있다. 비트 시리얼(s_x)는 비트 시리얼(s_w)에 대응하는 데이터 구조를 가질 수 있다.
처리 장치(100)는 블록(130)에서 비트 시리얼(s_w) 및 비트 시리얼(s_x) 간의 비트 연산에 기초하여 컨볼루션 연산을 수행할 수 있다. 비트 연산은 비트 시리얼들 간의 연산을 비트 단위로 수행하는 것으로, 예를 들어 비트 연산은 논리 앤드 연산(logical AND operation) 및 팝카운트 연산(popcount operation)을 포함할 수 있다.
컨볼루션 연산은 두 벡터의 내적(inner-product)에 기초하여 계산될 수 있다. 비트 시리얼(s_w)를 M비트의 고정 소수점(fixed-point)의 정수 벡터(integer vector)라고 가정하면, 비트 시리얼(s_w)를 수학식 1과 같이 나타낼 수 있다.
Figure pat00001
수학식 1에서 cm은 바이너리 벡터(binary vector)이며, cm(s_w)의 각 엘리먼트는 s_w의 각 엘리먼트 중에 2m 자리에 위치한 비트를 나타낸다. 마찬가지로 비트 시리얼(s_x)를 K비트의 고정 소수점 정수 벡터라고 가정하면, 비트 시리얼(s_x)는 다음과 같이 나타낼 수 있다.
Figure pat00002
비트 시리얼(s_w) 및 비트 시리얼(s_x) 간의 내적은 수학식 3과 같이 계산될 수 있다.
Figure pat00003
만약 s_w, s_x가 {-1,1}로 구성된 벡터라면, 논리 앤드(and) 연산 대신 논리 노어(xnor) 연산이 사용될 수 있다. 이 경우, 수학식 1 내지 수학식 3에 일부 변경이 있을 수 있다.
일 실시예에 따르면, 웨이트 커널(w)에 대응하는 데이터 및 입력 특징 맵(x)에 대응하는 데이터는 로우 비트 폭(low bit width)으로 표현될 수 있다. 예를 들어, 로우 비트 폭은 8비트 미만의 비트 폭을 의미할 수 있으며, 일례로 4비트의 비트 폭 혹은 2비트의 비트 폭일 수 있다. 웨이트 커널(w)에 대응하는 데이터는 웨이트를 포함할 수 있고, 입력 특징 맵(x)에 대응하는 데이터는 액티베이션을 포함할 수 있다. 웨이트 및 액티베이션은 동일한 비트 폭으로 표현되거나, 혹은 서로 다른 비트폭으로 표현될 수 있다.
컨볼루션 연산은 대부분 데이터 로딩 및 ALU(arithmetic logic unit)을 이용한 연산으로 이루어질 수 있다. 에너지 소비 관점에서는 데이터를 로딩하는데 많은 에너지가 소요되므로, 데이터의 비트 폭이 적을수록 유리하다. 최근 낮은 비트 레벨에서 동작하는 네트워크가 선호되고, 낮은 비트 레벨(예: 4비트)로 최대 정밀도(full precision)에 상응하는 성능이 발휘될 것으로 기대된다.
비트 연산은 로우 비트 폭의 데이터를 효율적으로 처리할 수 있다. 소프트웨어적으로 처리 가능한 최소 데이터 단위는 캐릭터(character)이며, 캐릭터는 8비트의 사이즈를 갖는다. 따라서, 데이터가 소프트웨어적으로 처리되는 경우, 8비트 미만의 비트 폭을 갖는 데이터라도 최소한 8비트 이상의 컨테이너에 담겨서 연산이 수행될 수 있다. 예를 들어, 4비트의 비트 폭을 갖는 웨이트 커널의 엘리먼트 및 4비트의 비트 폭을 갖는 입력 특징 맵의 엘리먼트 간의 컨볼루션 연산이 MAC 연산 기반으로 수행되는 경우, 4비트의 비트 폭을 갖는 웨이트 커널의 엘리먼트 및 4비트의 비트 폭을 갖는 입력 특징 맵의 엘리먼트에 각각 8비트의 메모리 공간이 할당되어야 한다. 따라서, 8비트의 메모리 공간 중 4비트의 메모리 공간이 낭비될 수 있다.
웨이트 커널 및 입력 특징 맵이 각각 비트 시리얼로 표현되는 경우 메모리 공간의 활용도가 높아질 수 있다. 비트 시리얼은 일반적으로 8비트 이상의 길이를 가질 수 있기 때문이다. 예를 들어, 앞선 예시에서 Z개의 비트 시리얼 블록들은 각각 K*K*C개의 단일 비트들을 포함할 수 있다. 따라서, 8비트의 컨테이너가 채워진 채 연산이 수행될 수 있다. 컨테이너 공간의 활용도가 높아짐에 따라, 한 번에 많은 데이터가 로드되어 처리되므로, 메모리 로드 횟수 및 연산 횟수 역시 감소하게 된다. 따라서, 비트 연산 기반의 컨볼루션 연산은 MAC 연산과 같은 소프트웨어 기반의 컨볼루션 연산에 비해 메모리 공간의 활용 측면이나 컴퓨팅 에너지 측면에서 유리하며, 특히 모바일 단말과 같이 자원이 제한된 환경에서 그 효과는 극대화될 수 있다.
일 실시예에 따르면, 비트 시리얼(s_w) 및 비트 시리얼(s_x)은 SIMD(single-instruction multiple data)를 처리하기 위한 레퍼런스 비트 폭에 기초할 수 있다. SIMD는 하나의 명령어로 여러 개의 값들을 동시에 처리하는 데이터 처리 방식이다. 예를 들어, 레퍼런스 비트 폭은 32비트, 64비트 및 128비트 중 어느 하나일 수 있다. 128비트의 SIMD의 경우 하나의 명령어로 128비트의 데이터가 처리될 수 있다. 아래에서 다시 설명되겠지만, 비트 시리얼(s_w) 및 비트 시리얼(s_x)에서 레퍼런스 비트 폭을 충족하지 못하는 공간이 존재하는 경우, SIMD 처리를 위해 해당 공간은 0으로 채워질 수 있다.
처리 장치(100)는 블록(130)에서 비트 연산 기반의 컨볼루션을 수행하여 컨볼루션 연산의 결과 값(R)을 결정할 수 있다. 처리 장치(100)는 결과 값(R)에 기초하여 제1 레이어(111)의 출력 특징 맵(y)을 결정할 수 있다. 예를 들어, 웨이트 커널(w)은 제1 레이어(111)에서 이용되는 웨이트 커널들 중 일부일 수 있고, 웨이트 커널(w)에 대응하는 컨볼루션 연산의 결과 값은 출력 특징 맵(y)의 일부일 수 있다. 제1 레이어(111)에서 이용되는 모든 웨이트 커널들 및 입력 특징 맵(x) 간의 컨볼루션 연산이 완료되면, 제1 레이어(111)의 출력 특징 맵(y)이 결정될 수 있다. 처리 장치(100)는 양자화(quantization)와 같은 후처리 동작을 통해 컨볼루션 연산의 결과 값을 입력 특징 맵(x)에 대응하는 데이터 포맷으로 변환하여 출력 특징 맵(y)을 결정할 수 있다. 예를 들어, 처리 장치(100)는 미리 학습된 뉴럴 네트워크를 이용하여 타겟 비트 수에 대응하는 양자화 파라미터를 결정할 수 있고, 결과 값(R)에 양자화 파라미터를 곱하여 출력 특징 맵(y)을 생성할 수 있다.
처리 장치(100)는 제2 레이어(112)를 포함하는 뉴럴 네트워크(110)의 나머지 컨볼루셔널 레이어들에 관해서도 제1 레이어(111)에 관해 상술된 동작의 대응 동작을 수행할 수 있다. 제1 레이어(111)에서 컨볼루션 연산의 결과 값에 기초하여 생성된 제1 레이어(111)의 출력 특징 맵이 제2 레이어(112)의 입력 특징 맵에 대응할 수 있다.
도 2는 일 실시예에 따른 컨볼루셔널 뉴럴 네트워크의 구조를 나타낸 도면이다. 도 2의 컨볼루셔널 뉴럴 네트워크는 도 1의 뉴럴 네트워크(110) 내 어느 하나의 레이어에 대응할 수 있다.
도 2를 참조하면, 웨이트 커널들(210) 및 입력 특징 맵들(220) 간의 컨볼루션 연산에 기초하여 출력 특징 맵들(230)이 생성된다. 웨이트 커널들(211)은 K*K의 사이즈를 갖는 서브 웨이트 커널들을 C개 포함한다. 따라서, 웨이트 커널들(211)의 사이즈는 K*K*C이다. K*K*C의 사이즈는 웨이트 커널들(211)에 속한 데이터 엘리먼트들의 수를 나타낼 수 있다. 다시 말해, 웨이트 커널들(211)은 K*K*C개의 엘리먼트들을 포함하는 것으로 볼 수 있다. 웨이트 커널들(211)의 가로 및 세로 길이는 상이할 수 있다. 다시 말해, 웨이트 커널들(211)은 K1*K2*C의 사이즈를 가질 수 있고, K1 및 K2는 상이할 수 있다. 아래에서는 설명의 편의를 위해 K1 및 K2가 동일한 것으로 가정한다.
C는 입력 채널의 수를 나타낼 수 있다. 예를 들어, 컨볼루셔널 뉴럴 네트워크의 첫 번째 레이어에서 C개의 서브 웨이트 커널들은 각각 빨강(red, R) 성분, 초록(green, G) 성분 및 파랑(blue, B) 성분을 포함할 수 있다. K*K*C의 사이즈를 갖는 웨이트 커널들은 하나의 출력 채널을 구성할 수 있다. 도 2에서 K*K*C의 사이즈를 갖는 웨이트 커널들은 D개의 그룹만큼 존재하므로, 도2의 네트워크 레이어는 D개의 출력 채널을 포함하는 것으로 볼 수 있다. 다시 말해, D는 출력 채널의 수에 대응할 수 있다.
웨이트 커널들(211) 및 입력 특징 맵들(220) 내 영역(221) 간의 컨볼루션 연산에 기초하여 출력 특징 맵(232) 내 영역(231)이 결정되며, 출력 특징 맵(232)의 나머지 영역에 대해 웨이트 커널들(211) 및 입력 맵들(220) 간의 컨볼루션 연산이 순차적으로 수행됨에 따라 출력 맵(232)이 생성된다. 입력 특징 맵의 사이즈는 W1*H1이고, 출력 특징 맵의 사이즈는 W2*H2이다. 출력 특징 맵의 사이즈는 입력 맵의 사이즈보다 작을 수 있다. 입력 특징 맵들(220)은 C개의 입력 특징 맵을 포함하고, 출력 특징 맵들(230)은 D개의 출력 맵을 포함한다.
도 2의 네트워크 레이어는 도 1의 제1 레이어(111)에 대응할 수 있고, 도 2의 웨이트 커널들(211)은 도 1의 웨이트 커널(w)에 대응할 수 있고, 도 2의 입력 특징 맵들(220)은 도 1의 입력 특징 맵(x)에 대응할 수 있고, 도 2의 출력 특징 맵(232)은 도 1의 출력 특징 맵(y)에 대응할 수 있다. 이 경우, 웨이트 커널들(211)에 대응하는 비트 시리얼 및 입력 특징 맵들(220) 내 영역(221)에 대응하는 비트 시리얼 간의 비트와이즈 컨볼루션 연산에 기초하여 출력 특징 맵(232) 내 영역(231)이 결정될 수 있고, 웨이트 커널들(211)에 대응하는 비트 시리얼 및 입력 특징 맵들(220)의 나머지 부분 간의 비트와이즈 컨볼루션 연산에 기초하여 출력 특징 맵(232)의 나머지 부분이 결정될 수 있다. 웨이트 커널들(210) 전체에 관해 비트와이즈 컨볼루션 연산이 완료되면 출력 특징 맵들(230) 전체가 결정될 수 있다.
도 3은 일 실시예에 따른 하나의 레이어에 관한 비트 연산 기반의 컨볼루션 프로세스를 나타낸 도면이다. 도 3의 컨볼루션 프로세스는 도 1의 뉴럴 네트워크(110) 내 어느 하나의 레이어에 적용될 수 있다. 컨볼루션 프로세스가 적용되는 하나의 레이어는 타겟 레이어로 지칭될 수 있다.
도 3을 참조하면, 웨이트 커널들(W1 내지 WD)의 비트 시리얼 블록들(310)이 도시되어 있다. 처리 장치는 각 웨이트 커널의 데이터를 비트 포지션 별로 슬라이싱하여 비트 시리얼 블록들(310)을 생성할 수 있다. 각 비트 시리얼 블록은 K*K*C의 디멘젼을 가질 수 있다. 비트 시리얼 블록은 웨이트 커널의 데이터를 비트 포지션 별로 슬라이싱한 것이기 때문에, 각 비트 시리얼 블록의 디멘젼은 각 웨이트 커널의 디멘젼에 대응할 수 있다.
예를 들어, 웨이트 커널(W1)은 K*K*C의 디멘젼을 가질 수 있다. 웨이트 커널(W1)에 포함된 K*K*C개의 엘리먼트들의 데이터를 MSB 내지 LSB의 비트 포지션 별로 슬라이싱하여 웨이트 커널(W1)에 대응하는 비트 시리얼 블록들이 생성될 수 있다. 예를 들어, 웨이트 커널(W1)에 포함된 엘리먼트들이 Z비트의 비트 폭을 갖는 경우, 웨이트 커널(W1)에 대응하는 비트 시리얼 블록들의 수는 Z개일 수 있다. 각 비트 시리얼 블록의 엘리먼트들은 단일 비트를 포함할 수 있다. 다시 말해, 각 비트 시리얼 블록은 K*K*C의 단일 비트들을 포함할 수 있다. 도 4를 참조하여 비트 시리얼 블록들에 관해 추가로 설명한다.
도 4는 일 실시예에 따른 비트 시리얼 블록들을 나타낸다. 도 4를 참조하면, 웨이트 커널(410)은 3*3*3의 디멘젼을 가지며, 4비트의 비트 폭을 갖는 엘리먼트들을 포함한다. 웨이트 커널(410)은 4개의 비트 시리얼 블록들(420)로 변환될 수 있다. MSB 비트 시리얼 블록은 부호 비트(sign bit)를 나타낸다. 비트 시리얼 블록들(420)에 MSB 내지 LSB의 비트 포지션을 적용하여 서로 더해주면 웨이트 커널(410)을 얻을 수 있다. 웨이트 커널(410)은 도 3의 웨이트 커널들(W1 내지 WD) 중 어느 하나에 대응할 수 있고, 비트 시리얼 블록들(420)은 도 3의 웨이트 커널들(W1 내지 WD) 중 어느 하나에 대응하는 비트 시리얼 블록들에 대응할 수 있다.
다시 도 3을 참조하면, 처리 장치는 비트 시리얼 블록들(310)을 이용하여 웨이트 커널 및 입력 특징 맵 간의 컨볼루션 연산을 수행하고, 컨볼루션 연산의 결과 값에 기초하여 출력 특징 맵을 결정할 수 있다. 예를 들어, 입력 특징 맵에서 웨이트 커널(WD)에 대응하는 영역을 제1 영역으로 지칭할 수 있다. 처리 장치는 웨이트 커널(WD)에 대응하는 비트 시리얼 블록들 및 제1 영역에 대응하는 비트 시리얼 블록들을 이용하여 제1 영역에 관한 컨볼루션 연산을 수행할 수 있다.
처리 장치는 블록(321)에서 웨이트 커널(WD)의 MSB에 대응하는 비트 시리얼 블록 및 제1 영역에 대응하는 비트 시리얼 블록들 간에 MSB 컨볼루션을 수행하고, 블록(322)에서 MSB 컨볼루션의 결과 값에 비트 포지션(2MSB-1)을 적용할 수 있다. 처리 장치는 블록들(311, 332) 및 블록들(341, 342)에서도 블록들(321, 322)에 대응하는 동작을 수행할 수 있다. 블록(351)은 LSB에 관한 것이므로, 비트 포지션(20)을 곱하는 것이 생략될 수 있다. 처리 장치는 블록들(322, 332, 342, 351)의 연산 결과 값들을 합하여 제1 영역에 대응하는 출력 특징 맵의 엘리먼트 값을 결정할 수 있다. 처리 장치는 웨이트 커널(WD) 및 나머지 영역에 관한 컨볼루션 연산을 수행하여 웨이트 커널(WD)에 대응하는 출력 특징 맵을 결정할 수 있으며, 나머지 웨이트 커널들에 관한 컨볼루션 연산을 수행하여 타겟 레이어에 관한 출력 특징 맵들을 결정할 수 있다.
도 5는 일 실시예에 따른 하나의 웨이트 커널에 대응하는 비트 시리얼 블록들을 나타낸 도면이다. 도 5에 도시된 웨이트 커널(510)은 도 3의 웨이트 커널들(W1 내지 WD) 중 어느 하나에 대응할 수 있다. 처리 장치는 웨이트 커널들을 비트 시리얼들로 변환할 수 있으며, 비트 시리얼 블록은 비트 시리얼들을 데이터 특성에 따라 분류하기 위한 단위일 수 있다. 비트 시리얼 블록은 비트 시리얼 서브 블록으로 나누어질 수 있다.
도 5를 참조하면, 웨이트 커널(510)은 K*K*C 개의 엘리먼트들을 포함한다. 웨이트 커널(510) 내 각 엘리먼트는 W(x, y, z)로 표현될 수 있다. 예를 들어, 엘리먼트 그룹(520)은 W(1, 1, z)로 표현될 수 있다. 도 5에서 A는 엘리먼트 그룹(520) 내 각 엘리먼트에 포함된 비트들을 나타낸 것이고, B는 웨이트 커널(510)에 대응하는 비트 시리얼 블록들을 나타낸 것이다. A 및 B에서 각 단위 블록은 1비트의 데이터를 포함할 수 있으며, 각 단위 블록 내 W(x, y, z)의 표시는 각 비트의 대응 엘리먼트를 나타낸다. 예를 들어, MSB에 대응하는 비트 시리얼 블록의 단위 블록들 중 W(1, 1, 1)이라는 표시를 포함하는 단위 블록은 W(1, 1, 1)에 대응하는 엘리먼트의 MSB를 포함한다. 비트 시리얼 블록들을 메모리 맵이라고 보면, MSB의 W(1, 1, 1)이 메모리의 가장 낮은 주소에 대응할 수 있고, LSB의 W(K, K, C)가 메모리의 가장 높은 주소에 대응할 수 있다.
비트 시리얼 블록들은 웨이트 커널(510)에서 다양한 방식으로 추출될 수 있다. 입력 특징 맵의 비트 시리얼 블록들은 웨이트 커널(510)에서 비트 시리얼 블록들이 추출된 방식과 동일한 방식으로 추출될 수 있다.
도 6은 일 실시예에 따른 비트 추출 방식들을 나타낸다. 비트 추출 방식은 입력 특징 맵들 및 웨이트 커널들의 채널 방향을 따라 비트 시리얼 블록들을 추출하는 인터리브(interleave) 방식 및 입력 특징 맵들 및 웨이트 커널들의 평면 방향을 따라 비트 시리얼 블록들을 추출하는 플래너(planar) 방식을 포함할 수 있다. 도 6을 참조하면, 화살표(610)는 일 실시예에 따른 채널 방향을 나타낸다. 채널 방향은 W(1, 1, 1)에서 W(1, 1, 2)를 향할 수 있다. 화살표들(620, 630)은 일 실시예에 따른 평면 방향을 나타낸다. 평면 방향은 W(1, 1, 1)에서 W(1, 2, 1)를 향하거나, 혹은 W(1, 1, 1)에서 W(2, 1, 1)를 향할 수 있다. 비트 시리얼 블록 내 비트들은 그 밖에 더 다양한 방식으로 추출될 수 있다.
다시 도 5를 참조하면, 비트 시리얼 서브 블록은 데이터 처리 단위를 나타낼 수 있다. 비트 시리얼 서브 블록에 포함된 비트들의 수는 SIMD 시스템의 레퍼런스 비트 폭에 대응할 수 있다. SIMD 시스템의 경우 미리 정해진 레퍼런스 비트 폭에 따라 한 번에 처리되는 데이터의 사이즈가 결정될 수 있다. 레퍼런스 비트 폭은 32비트, 64비트 및 128비트 중 어느 하나일 수 있다.
레퍼런스 비트 폭과 C가 같은 경우, 하나의 명령에 따라 대응 디멘젼 및 대응 비트 포지션을 갖는 비트들이 한번에 처리될 수 있다. 예를 들어, 비트들(530)은 엘리먼트 그룹(520) 내 엘리먼트들의 MSB들을 나타낸다. 레퍼런스 비트 폭 및 C가 같은 경우, 하나의 명령어에 따라 비트들(530)에 관한 연산이 한번에 처리될 수 있다.
비트 시리얼 블록에서 레퍼런스 비트 폭을 충족하지 못하는 공간이 존재하는 경우, SIMD 처리를 위해 해당 공간은 0으로 채워질 수 있다. 일 실시예에 따르면, 비트 시리얼 서브 블록 별로 제로 패딩(zero padding)이 수행될 수 있다. 예를 들어, 레퍼런스 비트 폭이 128비트이고 C가 100인 경우, 비트 시리얼 서브 블록 내 마지막 28개의 비트 공간은 0으로 채워질 수 있다.
다른 실시예에 따르면, 비트 시리얼 블록 별로 제로 패딩이 수행될 수 있다. 비트 시리얼 블록은 비트 시리얼을 비트 포지션에 따라 분류한 단위를 나타낼 수 있다. 예를 들어, 웨이트 커널(510)은 MSB에 대응하는 비트 시리얼 블록부터 LSB에 대응하는 비트 시리얼 블록까지 Z개의 비트 시리얼 블록들로 변환될 수 있다. 각 비트 시리얼 블록은 K*K*C 비트의 사이즈를 가질 수 있다. 이 경우, 레퍼런스 비트 폭이 128비트이고 K가 4이고 C가 100인 경우, 128*13=1664이므로, 비트 시리얼 블록의 마지막 64개의 비트 공간이 0으로 채워질 수 있다.
도 7은 일 실시예에 따른 제로 패딩 프로세스를 나타낸 도면이다. 비트 시리얼(710)은 비트 시리얼 서브 블록 별로 제로 패딩이 수행된 실시예를 나타내고, 비트 시리얼(720)은 비트 시리얼 블록 별로 제로 패딩이 수행된 실시예를 나타낸다.
도 8은 일 실시예에 따른 하나의 웨이트 커널에 관한 비트 연산 기반의 컨볼루션 프로세스를 나타낸 도면이다.
도 8을 참조하면, 처리 장치는 웨이트 커널(810) 및 입력 특징 맵들(820) 간의 컨볼루션 연산을 비트 연산 기반으로 수행하여 출력 특징 맵(832)을 결정할 수 있다. 비트 연산 기반의 컨볼루션 연산은 비트 시리얼들 간의 비트 연산 및 비트 포지셔닝을 포함할 수 있다. 입력 특징 맵들(820) 및 출력 특징 맵들(830)은 입체적으로 표시되어 있는데, 이는 각각 입력 특징 맵 및 출력 특징 맵이 여러 장 중첩된 모습을 나타낸 것이다.
처리 장치는 웨이트 커널(810)에 대응하는 비트 시리얼 블록들(811)을 획득하고, 입력 특징 맵들(820)의 영역(821)에 대응하는 데이터를 비트 시리얼 블록들(822)로 변환한다. 영역(821)은 웨이트 커널(810)에 대응하며, 비트 시리얼 블록들(811) 및 비트 시리얼 블록들(822)은 동일한 디멘젼을 가질 수 있다. 처리 장치는 웨이트 커널(810)의 데이터(웨이트)를 비트 시리얼 블록들(811)로 변환하는 방식과 동일한 방식으로 입력 특징 맵들(820)의 영역(821)에 대응하는 데이터(액티베이션)를 비트 시리얼 블록들(822)로 변환할 수 있다. 비트 시리얼 블록들(811) 및 비트 시리얼 블록들(822)은 각각 동일한 비트 포지션을 갖는 비트들을 포함할 수 있다. 웨이트를 표현하기 위한 비트 폭(B)은 액티베이션을 표현하기 위한 비트 폭(C)과 같을 수도 있고, 다를 수도 있다. 웨이트 커널(810)은 도 3의 웨이트 커널들(W1 내지 WD) 중 어느 하나에 대응할 수 있다.
웨이트 커널(810)이 B비트의 비트 폭을 갖는다면, 웨이트 커널(810)의 웨이트를 나타내는 B비트의 수는 수학식 4로 나타낼 수 있다.
Figure pat00004
수학식 4에서 W는 웨이트를 나타내고,
Figure pat00005
내지
Figure pat00006
는 W를 구성하는 각 비트들을 나타낸다. 수학식 4에서 각 비트에 비트 포지션을 적용하면, 수학식 4는 수학식 5로 나타낼 수 있다.
Figure pat00007
W는 부호 값(signed value)으로 가정될 수 있다. W에서 첫 번째 비트는 부호 비트(sign bit)이고, W는 2의 보수로 표현될 수 있다. 수학식 2에서 비트 포지션을 적용하기 위한 계수들, 즉
Figure pat00008
및
Figure pat00009
는 보정 계수로 지칭될 수 있다. 비트 시리얼 블록들(811)은 수학식 1 및 수학식 2에 따라 자신의 비트 포지션에 해당하는 비트들을 포함한다. 예를 들어, 비트 시리얼 블록(812)은
Figure pat00010
의 비트 포지션에 대응하는 비트들을 포함할 수 있다. 비트 시리얼 블록(812)은 도 5에서 MSB 비트 시리얼 블록에 대응할 수 있고, 비트 시리얼 블록(813)은 도 5에서 LSB 비트 시리얼 블록에 대응할 수 있다.
유사하게, 입력 특징 맵들(820)이 C비트의 비트 폭을 갖는다면, 입력 특징 맵들(820)의 액티베이션 데이터를 나타내는 C비트의 수는 수학식 6으로 나타낼 수 있다.
Figure pat00011
수학식 6에서 A는 액티베이션 데이터를 나타내고,
Figure pat00012
는 A를 구성하는 각 비트들을 나타낸다. 활성화 함수 ReLU를 통과한 액티베이션 데이터는 양수일 수 있으므로, 편의상 A는 부호 비트를 포함하지 않는 것으로 가정한다. 다만, 다른 종류의 활성화 함수가 적용될 경우 A는 W와 같이 부호 비트를 포함할 수도 있다.
처리 장치는 도 8의 각 비트 연산 블록에서 수학식 7에 따른 비트 연산을 수행할 수 있다. 각 비트 연산 블록에서 수행되는 비트 연산은 논리 앤드 연산(logical AND operation) 및 팝카운트 연산(popcount operation)을 포함할 수 있다.
Figure pat00013
수학식 7에서 popcnt는 팝카운트 연산을 나타내고, and는 논리 앤드 연산을 나타낸다.
Figure pat00014
는 비트 시리얼 블록들(822)을 나타내고,
Figure pat00015
는 비트 시리얼 블록들(811)을 나타낸다. j는 비트 시리얼 블록들(811)의 비트 포지션을 나타내며, 0 내지 B-1의 값을 갖는다. 예를 들어, 비트 연산 블록(840)에서는 수학식 8에 따른 비트 연산이 수행될 수 있다.
Figure pat00016
예를 들어, 처리 장치는 비트 시리얼 블록들(811) 중 어느 하나인 제1 비트 시리얼 블록 및 비트 시리얼 블록들(822) 중 어느 하나인 제2 비트 시리얼 블록 간의 논리 앤드 연산을 수행하고, 논리 앤드 연산의 결과 값에 관해 팝카운트 연산을 수행하고, 팝카운트 연산의 결과 값에 기초하여 컨볼루션 연산의 결과 값을 결정할 수 있다. 처리 장치는 팝카운트 연산의 결과 값에 기초하여 비트 포지셔닝을 수행할 수 있다.
비트 시리얼 블록들(811) 중 어느 하나인 제1 비트 시리얼 블록 내 비트들은 MSB 내지 LSB 중 어느 하나에 대응하며, 컨볼루션 연산의 결과 값이 결정될 때, 제1 비트 시리얼 블록과 다른 비트 포지션에 대응하는 비트 시리얼 블록들은 제1 비트 시리얼 블록과 독립적으로 연산될 수 있다. 예를 들어, 비트 시리얼 블록(812)에 관한 비트 연산 및 비트 포지셔닝은 비트 시리얼 블록(813)에 관한 비트 연산 및 비트 포지셔닝과 독립적으로 처리된다.
각 비트 연산 블록에서 비트 연산이 완료되면, 처리 장치는 비트 연산의 결과 값에 비트 포지션을 적용할 수 있다. 예를 들어, 비트 연산 블록(840)에서 수행되는 비트 연산은 비트 시리얼 블록(812)에 기초하므로, 비트 연산 블록(840)의 결과 값에 비트 시리얼 블록(812)에 대응하는 -2B-1의 보정 계수를 곱할 수 있다.
이와 같이, 처리 장치는 비트 시리얼 블록들(811) 및 비트 시리얼 블록들(822) 간에 비트 연산을 수행하고, 비트 연산의 결과 값에 보정 계수를 적용하여 출력 특징 맵(832)의 엘리먼트 값(831)을 결정할 수 있다. 엘리먼트 값(831)은 웨이트 커널(810) 및 영역(821) 간의 컨볼루션 연산의 결과 값에 대응할 수 있다. 처리 장치는 입력 특징 맵들(820)에서 나머지 영역에 관해 컨볼루션 연산을 수행하여 출력 특징 맵(832)을 결정할 수 있고, 나머지 웨이트 커널들 및 입력 특징 맵들(820) 간의 컨볼루션 연산에 기초하여 출력 특징 맵들(830)을 결정할 수 있다.
도 9는 일 실시예에 따른 비트 연산 기반 처리와 MAC 연산 기반 처리를 비교하는 도면이다. 도 9를 참조하면, 웨이트 커널(910) 및 입력 특징 맵(920)은 1*1*64개의 엘리먼트들을 포함한다. 웨이트 커널(910) 및 입력 특징 맵(920)의 엘리먼트들은 2비트의 비트 폭을 가질 수 있다.
블록(950)은 웨이트 커널(910) 및 입력 특징 맵(920) 간의 컨볼루션 연산을 MAC 연산 기반으로 처리하는 경우를 나타낸다. 64비트의 SIMD가 이용되는 경우, 엘리먼트의 비트 폭이 2비트라도 한 번에 8개의 엘리먼트만 처리될 수 있다. 소프트웨어적으로 처리 가능한 최소 데이터 단위는 8비트의 사이즈를 갖는 캐릭터(character)이므로, 2비트의 엘리먼트가 8비트의 컨테이너를 차지하게 되고, 8개의 엘리먼트를 처리하는데 64비트가 사용되기 때문이다. 따라서, 웨이트 커널(910)을 메모리에서 로드하는데 8번의 로드 동작이 필요하고, 입력 특징 맵(920)을 메모리에서 로드하는데 8번의 로드 동작이 필요하다. 결국, 총 16번의 로드 동작이 필요하다. 또한, 데이터 쌍 간의 컨볼루션 연산을 위해 8번의 연산이 필요하다. 8번의 연산은 첫 번째 데이터 쌍(911, 921) 간의 컨볼루션 연산, 두 번째 데이터 쌍(912, 922) 간의 컨볼루션 연산 및 마지막 여덟 번째 데이터 쌍(918, 928) 간의 컨볼루션 연산을 포함한다.
블록(960)은 웨이트 커널(910) 및 입력 특징 맵(920) 간의 컨볼루션 연산을 비트 연산 기반으로 처리하는 경우를 나타낸다. 각 비트 시리얼 블록의 디멘젼은 1*1*64이고, 각 엘리먼트가 1비트를 포함하므로, 각 비트 시리얼 블록의 사이즈는 64비트이다. 따라서, 64비트의 SIMD가 이용되는 경우, 한 번에 하나의 비트 시리얼 블록이 로드될 수 있다. 웨이트 커널(910)을 메모리에서 로드하는데 2번의 로드 동작이 필요하고, 입력 특징 맵(920)을 메모리에서 로드하는데 2번의 로드 동작이 필요하다. 결국, 총 4번의 로드 동작이 필요하다. 또한, 데이터 쌍 간의 컨볼루션 연산을 위해 4번의 연산이 필요하다. 4번의 연산은 MSB 비트 시리얼 블록(915) 및 MSB 비트 시리얼 블록(925) 간의 컨볼루션 연산, MSB 비트 시리얼 블록(915) 및 LSB 비트 시리얼 블록(926) 간의 컨볼루션 연산, LSB 비트 시리얼 블록(916) 및 MSB 비트 시리얼 블록(925) 간의 컨볼루션 연산 및 LSB 비트 시리얼 블록(916) 및 LSB 비트 시리얼 블록(926) 간의 컨볼루션 연산을 포함한다.
따라서, 도 9의 실시예에 따르면 비트 연산 기반의 처리 시 MAC 연산 기반의 처리에 비해 데이터 로드 횟수는 4배 절감될 수 있고, 연산 횟수는 2배 절감될 수 있다.
도 10은 일 실시예에 따른 뉴럴 네트워크를 이용한 처리 방법을 나타낸 동작 흐름도이다.
도 10을 참조하면, 단계(1010)에서 처리 장치는 뉴럴 네트워크 내 타겟 레이어의 웨이트 커널들에 대응하는 데이터 중 적어도 일부인, 제1 데이터에 대응하는 제1 비트 시리얼 블록을 획득한다. 웨이트 커널들에 대응하는 데이터는 전술된 웨이트 커널들의 엘리먼트들 혹은 웨이트들에 대응할 수 있다. 단계(1010)는 메모리에 미리 저장된 상기 제1 비트 시리얼 블록을 메모리로부터 획득하는 단계, 또는 제1 데이터를 제1 비트 시리얼 블록으로 변환하는 단계를 포함할 수 있다. 메모리에 미리 저장된 상기 제1 비트 시리얼 블록을 메모리로부터 획득하는 단계는 미리 학습된 웨이트 커널이 제1 비트 시리얼 블록으로 미리 변환되어 메모리에 저장된 경우에 수행될 수 있다.
단계(1020)에서 처리 장치는 뉴럴 네트워크 내 타겟 레이어의 입력 특징 맵들에 대응하는 데이터 중 적어도 일부인, 제2 데이터를 제2 비트 시리얼 블록으로 변환한다. 입력 특징 맵들에 대응하는 데이터는 전술된 입력 특징 맵들의 엘리먼트들 혹은 액티베이션 데이터에 대응할 수 있다.
단계(1030)에서 처리 장치는 제1 비트 시리얼 블록 및 제2 비트 시리얼 블록 간의 비트 연산에 기초하여 뉴럴 네트워크 내 타겟 레이어에 관한 컨볼루션 연산을 수행한다. 타겟 레이어는 도 1의 뉴럴 네트워크(110) 내 어느 하나의 레이어에 대응할 수 있다. 처리 장치는 타겟 레이어를 변경하면서 단계들(1010 내지 1030)을 수행할 수 있다. 단계들(1010 내지 1030)은 뉴럴 네트워크 내 모든 컨볼루셔널 레이어들에 관해 반복하여 수행될 수 있다. 그 밖에, 뉴럴 네트워크를 이용한 처리 방법에는 도 1 내지 도 9를 통해 설명된 사항이 적용될 수 있다.
도 11은 일 실시예에 따른 뉴럴 네트워크를 이용한 처리 장치를 나타낸 블록도이다.
도 11을 참조하면, 처리 장치(1100)는 입력 영상을 수신하고, 입력 영상과 관련된 뉴럴 네트워크의 동작을 처리할 수 있다. 예를 들어, 뉴럴 네트워크의 동작은 입력 영상 내 객체를 인식하거나 인증하는 것을 포함할 수 있다. 처리 장치(1100)는 뉴럴 네트워크의 처리와 관련하여 본 명세서에 기술되거나 또는 도시된 하나 이상의 동작을 수행할 수 있고, 뉴럴 네트워크의 처리 결과를 사용자에게 제공할 수 있다. 처리 장치(1100)는 뉴럴 네트워크의 동작을 처리하는 과정에서 전술된 비트 연산 기반의 컨볼루션을 수행할 수 있다.
처리 장치(1100)는 하나 이상의 프로세서(1110) 및 메모리(1120)를 포함할 수 있다. 메모리(1120)는 프로세서(1110)에 연결되고, 프로세서(1110)에 의해 실행가능한 명령어들, 프로세서(1110)가 연산할 데이터 또는 프로세서(1110)에 의해 처리된 데이터를 저장할 수 있다. 웨이트 커널이 미리 학습된 경우, 미리 학습된 웨이트 커널은 비트 시리얼로 미리 변환되어 메모리(1120)에 저장될 수 있다. 처리 장치(1100)는 데이터베이스 메모리(1120)에서 미리 변환된 비트 시리얼을 획득할 수 있다. 메모리(1120)는 비일시적인 컴퓨터 판독가능 매체, 예컨대 고속 랜덤 액세스 메모리 및/또는 비휘발성 컴퓨터 판독가능 저장 매체(예컨대, 하나 이상의 디스크 저장 장치, 플래쉬 메모리 장치, 또는 기타 비휘발성 솔리드 스테이트 메모리 장치)를 포함할 수 있다.
프로세서(1110)는 도 1 내지 도 10을 참조하여 설명된 하나 이상의 동작을 실행하기 위한 명령어들을 실행할 수 있다. 예를 들어, 메모리(1120)에 저장된 명령어가 프로세서(1110)에서 실행되면, 프로세서(1110)는 뉴럴 네트워크 내 타겟 레이어의 웨이트 커널들에 대응하는 데이터 중 적어도 일부인 제1 데이터에 대응하는 제1 비트 시리얼 블록을 획득하고, 뉴럴 네트워크 내 타겟 레이어의 입력 특징 맵들에 대응하는 데이터 중 적어도 일부인 제2 데이터를 제2 비트 시리얼 블록으로 변환하고, 제1 비트 시리얼 블록 및 제2 비트 시리얼 블록 간의 비트 연산에 기초하여 타겟 레이어에 관한 컨볼루션 연산을 수행할 수 있다.
도 12은 일 실시예에 전자 장치를 나타낸 블록도이다.
도 12를 참조하면, 전자 장치(1200)는 입력 영상을 수신하고, 입력 영상과 관련된 뉴럴 네트워크의 동작을 처리할 수 있다. 예를 들어, 뉴럴 네트워크의 동작은 입력 영상 내 객체를 인식하거나 인증하는 것을 포함할 수 있다. 전자 장치(1200)는 뉴럴 네트워크의 동작을 처리하는 과정에서 전술된 비트 연산 기반의 컨볼루션을 수행할 수 있다. 전자 장치(1200)는 도 1 내지 도 10을 통해 설명된 처리 장치를 포함하거나, 도 1 내지 도 10을 통해 설명된 처리 장치의 기능을 수행할 수 있다.
전자 장치(1200)는 프로세서(1210), 메모리(1220), 카메라(1230), 저장 장치(1240), 입력 장치(1250), 출력 장치(1260) 및 네트워크 인터페이스(1270)를 포함할 수 있다. 프로세서(1210), 메모리(1220), 카메라(1230), 저장 장치(1240), 입력 장치(1250), 출력 장치(1260) 및 네트워크 인터페이스(1270)는 통신 버스(1280)를 통해 서로 통신할 수 있다.
프로세서(1210)는 전자 장치(1200) 내에서 실행하기 위한 기능 및 명령어들을 실행한다. 예를 들어, 프로세서(1210)는 메모리(1220) 또는 저장 장치(1240)에 저장된 명령어들을 처리할 수 있다. 프로세서(1210)는 도 1 내지 도 11을 통하여 설명된 하나 이상의 동작을 수행할 수 있다.
메모리(1220)는 뉴럴 네트워크의 동작을 처리하기 위한 정보를 저장한다. 메모리(1220)는 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 판독가능한 저장 장치를 포함할 수 있다. 메모리(1220)는 프로세서(1210)에 의해 실행하기 위한 명령어들을 저장할 수 있고, 전자 장치(1200)에 의해 소프트웨어 또는 애플리케이션이 실행되는 동안 관련 정보를 저장할 수 있다.
카메라(1230)는 정지 영상, 비디오 영상, 또는 이들 모두를 촬영할 수 있다. 카메라(1230)는 사용자가 얼굴 인증을 시도하기 위해 입력하는 얼굴 영역을 촬영할 수 있다. 카메라(1230)는 객체들에 관한 깊이 정보를 포함하는 3D 영상을 제공할 수 있다.
저장 장치(1240)는 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 판독가능한 저장 장치를 포함한다. 저장 장치(1240)는 웨이트 커널, 웨이트 커널의 비트 시리얼과 같이 뉴럴 네트워크를 처리하기 위한 정보를 포함하는 데이터베이스를 저장할 수 있다. 일 실시예에 따르면, 저장 장치(1240)는 메모리(1220)보다 더 많은 양의 정보를 저장하고, 정보를 장기간 저장할 수 있다. 예를 들어, 저장 장치(1240)는 자기 하드 디스크, 광 디스크, 플래쉬 메모리, 플로피 디스크 또는 이 기술 분야에서 알려진 다른 형태의 비휘발성 메모리를 포함할 수 있다.
입력 장치(1250)는 키보드 및 마우스를 통한 전통적인 입력 방식, 및 터치 입력, 음성 입력, 및 이미지 입력과 같은 새로운 입력 방식을 통해 사용자로부터 입력을 수신할 수 있다. 예를 들어, 입력 장치(1250)는 키보드, 마우스, 터치 스크린, 마이크로폰, 또는 사용자로부터 입력을 검출하고, 검출된 입력을 전자 장치(1200)에 전달할 수 있는 임의의 다른 장치를 포함할 수 있다.
출력 장치(1260)는 시각적, 청각적 또는 촉각적인 채널을 통해 사용자에게 전자 장치(1200)의 출력을 제공할 수 있다. 출력 장치(1260)는 예를 들어, 디스플레이, 터치 스크린, 스피커, 진동 발생 장치 또는 사용자에게 출력을 제공할 수 있는 임의의 다른 장치를 포함할 수 있다. 네트워크 인터페이스(1270)는 유선 또는 무선 네트워크를 통해 외부 장치와 통신할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (20)

  1. 뉴럴 네트워크 내 타겟 레이어의 웨이트 커널들에 대응하는 데이터 중 적어도 일부인, 제1 데이터에 대응하는 제1 비트 시리얼 블록을 획득하는 단계;
    상기 타겟 레이어의 입력 특징 맵들에 대응하는 데이터 중 적어도 일부인, 제2 데이터를 제2 비트 시리얼 블록으로 변환하는 단계; 및
    상기 제1 비트 시리얼 블록 및 상기 제2 비트 시리얼 블록 간의 비트 연산(bitwise operation)에 기초하여 상기 타겟 레이어에 관한 컨볼루션 연산을 수행하는 단계
    를 포함하는 뉴럴 네트워크를 이용한 처리 방법.
  2. 제1항에 있어서,
    상기 제1 비트 시리얼 블록 및 상기 제2 비트 시리얼 블록은 각각 동일한 비트 포지션(bit position)을 갖는 비트들을 포함하는, 뉴럴 네트워크를 이용한 처리 방법.
  3. 제1항에 있어서,
    상기 제1 비트 시리얼 블록 내 비트들은 MSB(most significant bit) 내지 LSB(least significant bit) 중 어느 하나에 대응하고,
    상기 컨볼루션 연산의 결과 값이 결정될 때, 상기 제1 비트 시리얼 블록과 다른 비트 포지션(bit position)에 대응하는 상기 타겟 레이어의 상기 웨이트 커널들의 비트 시리얼 블록들은 상기 제1 비트 시리얼 블록과 독립적으로 연산되는,
    뉴럴 네트워크를 이용한 처리 방법.
  4. 제1항에 있어서,
    상기 제1 비트 시리얼 블록 및 상기 제2 비트 시리얼 블록은
    상기 제1 데이터 및 상기 제2 데이터 각각에서 상기 입력 특징 맵들 및 상기 웨이트 커널들의 채널 방향을 따라 인터리브(interleave) 방식으로 추출되거나, 또는
    상기 제1 데이터 및 상기 제2 데이터 각각에서 상기 입력 특징 맵들 및 상기 웨이트 커널들의 평면 방향을 따라 플래너(planar) 방식으로 추출되는,
    뉴럴 네트워크를 이용한 처리 방법.
  5. 제1항에 있어서,
    상기 제1 비트 시리얼 블록 및 상기 제2 비트 시리얼 블록은 SIMD(single-instruction multiple data)를 처리하기 위한 레퍼런스 비트 폭에 기초하는, 뉴럴 네트워크를 이용한 처리 방법.
  6. 제5항에 있어서,
    상기 제1 비트 시리얼 블록 및 상기 제2 비트 시리얼 블록에서 상기 레퍼런스 비트 폭을 충족하지 못하는 공간은 0으로 채워지는, 뉴럴 네트워크를 이용한 처리 방법.
  7. 제5항에 있어서,
    상기 레퍼런스 비트 폭은 32비트, 64비트 및 128비트 중 어느 하나인, 뉴럴 네트워크를 이용한 처리 방법.
  8. 제1항에 있어서,
    상기 비트 연산은 논리 앤드 연산(logical AND operation) 및 팝카운트 연산(popcount operation)을 포함하는, 뉴럴 네트워크를 이용한 처리 방법.
  9. 제1항에 있어서,
    상기 제1 비트 시리얼 블록 및 상기 제2 비트 시리얼 블록은 동일한 디멘젼(dimension)을 갖는, 뉴럴 네트워크를 이용한 처리 방법.
  10. 제1항에 있어서,
    상기 컨볼루션 연산을 수행하는 단계는
    상기 제1 비트 시리얼 블록 및 상기 제2 비트 시리얼 블록 간의 논리 앤드 연산(logical AND operation)을 수행하는 단계;
    상기 논리 앤드 연산의 결과 값에 관해 팝카운트 연산(popcount operation)을 수행하는 단계; 및
    상기 팝카운트 연산의 결과 값에 기초하여 상기 컨볼루션 연산의 결과 값을 결정하는 단계
    를 포함하는, 뉴럴 네트워크를 이용한 처리 방법.
  11. 제10항에 있어서,
    상기 컨볼루션 연산의 결과 값을 결정하는 단계는
    상기 팝카운트 연산의 결과 값에 기초하여 비트 포지셔닝을 수행하는 단계를 포함하는,
    뉴럴 네트워크를 이용한 처리 방법.
  12. 제11항에 있어서,
    상기 비트 포지셔닝은 상기 제1 데이터의 비트 포지션에 기초하여 수행되는, 뉴럴 네트워크를 이용한 처리 방법.
  13. 제1항에 있어서,
    상기 제1 데이터 및 상기 제2 데이터는 8비트 미만의 비트 폭(bit width)으로 표현되는, 뉴럴 네트워크를 이용한 처리 방법.
  14. 제1항에 있어서,
    상기 제1 비트 시리얼 블록을 획득하는 단계는
    메모리에 미리 저장된 상기 제1 비트 시리얼 블록을 상기 메모리로부터 획득하는 단계; 또는
    상기 제1 데이터를 상기 제1 비트 시리얼 블록으로 변환하는 단계
    를 포함하는, 뉴럴 네트워크를 이용한 처리 방법.
  15. 제1항 내지 제14항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는 하나 이상의 프로그램을 저장한 컴퓨터 판독 가능 저장매체.
  16. 프로세서; 및
    상기 프로세서에서 읽을 수 있는 명령어를 포함하는 메모리
    를 포함하고,
    상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 뉴럴 네트워크 내 타겟 레이어의 웨이트 커널들에 대응하는 데이터 중 적어도 일부인 제1 데이터에 대응하는 제1 비트 시리얼 블록을 획득하고, 상기 타겟 레이어의 입력 특징 맵들에 대응하는 데이터 중 적어도 일부인 제2 데이터를 제2 비트 시리얼 블록으로 변환하고, 상기 제1 비트 시리얼 블록 및 상기 제2 비트 시리얼 블록 간의 비트 연산(bitwise operation)에 기초하여 상기 타겟 레이어에 관한 컨볼루션 연산을 수행하는, 뉴럴 네트워크를 이용한 처리 장치.
  17. 제16항에 있어서,
    상기 제1 비트 시리얼 블록 및 상기 제2 비트 시리얼 블록은 각각 동일한 비트 포지션(bit position)을 갖는 비트들을 포함하는, 뉴럴 네트워크를 이용한 처리 장치.
  18. 제16항에 있어서,
    상기 제1 비트 시리얼 블록 및 상기 제2 비트 시리얼 블록은 SIMD(single-instruction multiple data)를 처리하기 위한 레퍼런스 비트 폭에 기초하는, 뉴럴 네트워크를 이용한 처리 장치.
  19. 제16항에 있어서,
    상기 비트 연산은 논리 앤드 연산(logical AND operation) 및 팝카운트 연산(popcount operation)을 포함하는, 뉴럴 네트워크를 이용한 처리 장치.
  20. 제16항에 있어서,
    상기 프로세서는 상기 제1 비트 시리얼 블록 및 상기 제2 비트 시리얼 블록 간의 논리 앤드 연산(logical AND operation)을 수행하고, 상기 논리 앤드 연산의 결과 값에 관해 팝카운트 연산(popcount operation)을 수행하고, 상기 팝카운트 연산의 결과 값에 기초하여 상기 컨볼루션 연산의 결과 값을 결정하는, 뉴럴 네트워크를 이용한 처리 장치.
KR1020180168566A 2018-12-24 2018-12-24 비트 연산 기반의 뉴럴 네트워크 처리 방법 및 장치 Active KR102562320B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180168566A KR102562320B1 (ko) 2018-12-24 2018-12-24 비트 연산 기반의 뉴럴 네트워크 처리 방법 및 장치
US16/542,803 US11586886B2 (en) 2018-12-24 2019-08-16 Neural network apparatus and method with bitwise operation
CN201910822391.8A CN111352656B (zh) 2018-12-24 2019-09-02 使用按位运算的神经网络设备和方法
EP19201997.4A EP3674986A1 (en) 2018-12-24 2019-10-08 Neural network apparatus and method with bitwise operation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180168566A KR102562320B1 (ko) 2018-12-24 2018-12-24 비트 연산 기반의 뉴럴 네트워크 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200079059A true KR20200079059A (ko) 2020-07-02
KR102562320B1 KR102562320B1 (ko) 2023-08-01

Family

ID=68242357

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180168566A Active KR102562320B1 (ko) 2018-12-24 2018-12-24 비트 연산 기반의 뉴럴 네트워크 처리 방법 및 장치

Country Status (4)

Country Link
US (1) US11586886B2 (ko)
EP (1) EP3674986A1 (ko)
KR (1) KR102562320B1 (ko)
CN (1) CN111352656B (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220091987A (ko) * 2020-12-24 2022-07-01 서경대학교 산학협력단 딥러닝 하드웨어 가속기를 구비하는 bspe 및 bspe 코어
KR102482728B1 (ko) * 2022-07-06 2022-12-29 주식회사 스퀴즈비츠 비트 시리얼 연산 방법 및 컴퓨터 기록 매체
KR102482300B1 (ko) * 2022-07-06 2022-12-29 주식회사 스퀴즈비츠 변형된 할리-실 팝 카운트를 포함하는 비트 시리얼 연산 방법 및 장치
WO2024014631A1 (ko) * 2022-07-12 2024-01-18 오픈엣지테크놀로지 주식회사 데이터 스케일을 고려한 콘볼루션 데이터의 양자화 방법, 이를 위한 하드웨어 가속기, 및 이를 이용한 컴퓨팅 장치
US12585386B2 (en) 2023-08-02 2026-03-24 Samsung Electronics Co., Ltd. Memory device with computation function and operation method thereof

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12124530B2 (en) 2019-03-11 2024-10-22 Untether Ai Corporation Computational memory
US11688032B2 (en) * 2019-08-16 2023-06-27 Meta Platforms, Inc. Three-dimensional convolution pipeline with memory organizer unit
US11468002B2 (en) 2020-02-28 2022-10-11 Untether Ai Corporation Computational memory with cooperation among rows of processing elements and memory thereof
CN112114874B (zh) * 2020-08-20 2021-10-15 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和存储介质
CN111985634B (zh) * 2020-08-21 2024-06-14 北京灵汐科技有限公司 神经网络的运算方法、装置、计算机设备及存储介质
KR102756360B1 (ko) * 2020-09-02 2025-01-17 삼성전자주식회사 영상 처리 방법 및 장치
US11423058B2 (en) * 2020-09-25 2022-08-23 International Business Machines Corporation Classifying and filtering data from a data stream
CN111932437B (zh) * 2020-10-10 2021-03-05 深圳云天励飞技术股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
KR102914873B1 (ko) * 2020-12-14 2026-01-16 삼성전자 주식회사 채널 수에 기초하여 컨볼루션 연산을 수행하는 npu 장치 및 이의 동작 방법
US20220253692A1 (en) * 2021-02-05 2022-08-11 Samsung Electronics Co., Ltd. Method and apparatus of operating a neural network
CN113691792B (zh) * 2021-08-03 2022-07-29 上海交通大学 基于3d卷积的视频比特位深扩展方法、装置及介质
CN116263940B (zh) * 2021-12-13 2025-08-22 南京大学 融合噪声的基于卷积神经网络的图像位深度拓展方法
ES3023747T3 (en) * 2022-01-28 2025-06-03 Fujitsu Ltd Kernel transfer
US11886973B2 (en) * 2022-05-30 2024-01-30 Deepx Co., Ltd. Neural processing unit including variable internal memory
CN117151175A (zh) * 2022-05-30 2023-12-01 蒂普爱可斯有限公司 包括可变内部存储器的神经处理单元及其电子系统
US20260037598A1 (en) * 2024-08-02 2026-02-05 Deepmind Technologies Limited Variable-Bitwidth Matrix Multiplication

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345984B2 (en) * 2010-01-28 2013-01-01 Nec Laboratories America, Inc. 3D convolutional neural networks for automatic human action recognition
KR101687813B1 (ko) 2015-03-30 2016-12-20 상명대학교 서울산학협력단 화상 증폭 방법
US9582726B2 (en) 2015-06-24 2017-02-28 Qualcomm Incorporated Systems and methods for image processing in a deep convolution network
US10497089B2 (en) 2016-01-29 2019-12-03 Fotonation Limited Convolutional neural network
EP3465550B1 (en) 2016-05-26 2023-09-27 Samsung Electronics Co., Ltd. Accelerator for deep neural networks
CN118468126A (zh) 2016-07-17 2024-08-09 Gsi 科技公司 在恒定的处理时间内查找k个极值
US10621486B2 (en) 2016-08-12 2020-04-14 Beijing Deephi Intelligent Technology Co., Ltd. Method for optimizing an artificial neural network (ANN)
KR102631381B1 (ko) 2016-11-07 2024-01-31 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
KR102359556B1 (ko) 2016-11-11 2022-02-08 삼성전자주식회사 지문 영상을 이용한 사용자 인증 방법 및 사용자 인증을 위한 부호화 모델 생성 방법
KR102313796B1 (ko) 2017-01-25 2021-10-20 한국전자통신연구원 뉴로모픽 연산 장치
JP6865847B2 (ja) * 2017-04-19 2021-04-28 シャンハイ カンブリコン インフォメーション テクノロジー カンパニー リミテッドＳｈａｎｇｈａｉ Ｃａｍｂｒｉｃｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． 処理装置、チップ、電子設備及び方法
US20190043193A1 (en) * 2017-08-01 2019-02-07 Retina-Ai Llc Systems and Methods Using Weighted-Ensemble Supervised-Learning for Automatic Detection of Retinal Disease from Tomograms
US10853034B2 (en) * 2018-03-30 2020-12-01 Intel Corporation Common factor mass multiplication circuitry
CN108921292B (zh) * 2018-05-02 2021-11-30 东南大学 面向深度神经网络加速器应用的近似计算系统
US11275998B2 (en) * 2018-05-31 2022-03-15 Intel Corporation Circuitry for low-precision deep learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Meghan Cowan et al., Automating Generation of Low Precision Deep Learning Operators, arXiv:1810.11066v1, 1-10pages (2018. 10. 25.)* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220091987A (ko) * 2020-12-24 2022-07-01 서경대학교 산학협력단 딥러닝 하드웨어 가속기를 구비하는 bspe 및 bspe 코어
KR102482728B1 (ko) * 2022-07-06 2022-12-29 주식회사 스퀴즈비츠 비트 시리얼 연산 방법 및 컴퓨터 기록 매체
KR102482300B1 (ko) * 2022-07-06 2022-12-29 주식회사 스퀴즈비츠 변형된 할리-실 팝 카운트를 포함하는 비트 시리얼 연산 방법 및 장치
WO2024014631A1 (ko) * 2022-07-12 2024-01-18 오픈엣지테크놀로지 주식회사 데이터 스케일을 고려한 콘볼루션 데이터의 양자화 방법, 이를 위한 하드웨어 가속기, 및 이를 이용한 컴퓨팅 장치
US12585386B2 (en) 2023-08-02 2026-03-24 Samsung Electronics Co., Ltd. Memory device with computation function and operation method thereof

Also Published As

Publication number Publication date
US11586886B2 (en) 2023-02-21
KR102562320B1 (ko) 2023-08-01
CN111352656A (zh) 2020-06-30
EP3674986A1 (en) 2020-07-01
US20200202200A1 (en) 2020-06-25
CN111352656B (zh) 2024-07-09

Similar Documents

Publication Publication Date Title
KR102562320B1 (ko) 비트 연산 기반의 뉴럴 네트워크 처리 방법 및 장치
CN109754066B (zh) 用于生成定点型神经网络的方法和装置
EP3474194B1 (en) Method and apparatus with neural network parameter quantization
TWI791610B (zh) 對人工神經網路及浮點神經網路進行量化的方法及裝置
JP7349835B2 (ja) ニューラルネットワークにおいてパラメータを処理する方法及び装置
TWI806922B (zh) 對人工神經網路進行量化的方法及裝置及對浮點神經網路進行量化的方法
JP7325158B2 (ja) ニューラル・ネットワーク・コアにおける動的精度のためのデータ表現
US12443835B2 (en) Hardware architecture for processing data in sparse neural network
KR102824642B1 (ko) 뉴럴 네트워크의 양자화 방법 및 장치
US20190340499A1 (en) Quantization for dnn accelerators
CN114503125A (zh) 结构化剪枝方法、系统和计算机可读介质
CN111062475A (zh) 用于对神经网络的参数进行量化的方法和装置
WO2019168084A1 (ja) 推論装置、畳み込み演算実行方法及びプログラム
KR102655950B1 (ko) 뉴럴 네트워크의 고속 처리 방법 및 그 방법을 이용한 장치
KR20200076461A (ko) 중첩된 비트 표현 기반의 뉴럴 네트워크 처리 방법 및 장치
JP2024502225A (ja) ワークロードが平準化された活性化スパース性を用いた畳込みのための方法およびシステム
CN112200300A (zh) 卷积神经网络运算方法及装置
WO2021133422A1 (en) Flexible accelerator for sparse tensors (fast) in machine learning
CN115129386A (zh) 用于神经网络部署和执行的有效优化
KR20260015812A (ko) 딥 신경 네트워크 가속기들에서 희소성 기반 게이트 스위칭 감소
CN114254746A (zh) 执行神经网络的方法和设备
CN115080138A (zh) 用于神经网络部署和执行的有效存储器使用优化
Peng et al. MBFQuant: A multiplier-bitwidth-fixed, mixed-precision quantization method for mobile CNN-based applications
KR20230059435A (ko) 뉴럴 네트워크의 압축 장치 및 방법
CN121532782A (zh) 利用可编程阈值剪枝神经网络的激活和权重

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181224

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210629

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20181224

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20221108

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230508

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230727

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230728

End annual number: 3

Start annual number: 1

PG1601 Publication of registration