My blog's RSS Feed

욕심많은 알파카(김성익)

상세

한양대학교 정보시스템학과 재학(2017~)
한양대학교 개발동아리 Forif 활동(2017))
웹 프로그래밍 연합동아리 피로그래밍 12기 활동(2020)
웹 프로그래밍 연합동아리 피로그래밍 13기 회장(2020)
AWSKRUG 대학생 그룹 AUSG 4기 활동(2020.09~2021.08)
네이버 부스트캠프 AI Tech 1기(2021.01~2021.06)

모델 경량화 4 - 행렬 분해(Filter Decomposition)

Fri, 19 Mar 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

행렬 분해(Low-rank approximation)

행렬 분해라고 했지만, Low-rank approximation은 단순히 행렬(matrix)만 다루는 것이 아니기 때문에 저차원(저랭크) 분해(decomposition) 정도로 볼 수 있다.

Filter / Kernel / Matrix decompostion
Matrix / Tensor / Low-rank Factorization
Low-rank Approximation
위 용어들은 대부분 비슷한 의미로 사용된다.

Three maps

Map 1 : Matrix(Tensor) is a data modeling tool

전체 구성은 이렇다.

$A_{nn}$ 행렬은 Eigenvalue(Spectral) decompostion과 Diagonalization으로 나타낼 수 있다.
정사각 행렬이 아닌 $A_{mn}$ 행렬로 일반화하면, Singular value decompostion이 된다.
이 개념을 행렬이 아니라 3차원 이상의 Tensor까지 확장하면 CP decompostion이나 Tucker decompostion을 적용시킬 수 있다(Tucker decompostion이 좀 더 일반적인 방식이다).

Map 2 : Matrix(Tensor) is a linear transformation(map)

선형변환(map)이란, 차원 축의 이동을 의미한다.

좀 더 formal한 definition으로는, 변환 전과 변환 후의 덧셈과 scalar를 보존하는 변환을 의미한다.

Map 3 : terminology

강의 슬라이드를 참조하자. 선형대수학적인 용어들이 연결되어있다. 특히 노란색 박스는 꼭 숙지하자.

Gaussian elimination

가우스 소거법은 행렬의 1차방정식(row)들을 적절하게 조작하여 미지수를 소거하고, 남은 미지수에 대한 선형 결합(1차 방정식)들로 표현하는 기법이다. 이 과정에서 남은 1차 방정식들을 basis(기저)라고 할 수 있다. 기저는 공간 축을 나타낸다.

n차원 실수 공간 $\mathbb{R}^n$ 의 하위 공간인 $S$ 가 있다고 하자. $S$ 는 벡터들의 집합인데, 이 벡터들은 1. $S$ 의 span이면서 2.선형독립적이다. 1번은 해당 벡터가 기저의 변형이라는 말이고, 2번은 그 벡터가 내포한 원형 기저가 다른 벡터의 원형 기저와 다른 기저라는 의미이다. 겹치면(dependant) 동일한 기저가 될테니, 사실상 의미없는 벡터가 될 것이다.

잘 이해가 되지 않으면, $x+2y=2$ 와 $2x+4y=4$ 를 생각해보자. 두 식은 분명 다른 식이지만, 두 식의 기저, 즉 공간은 동일하다.

가우스 소거법을 행하면서 벡터를 소거하기 때문에, 기존의 rank를 축소하게 된다.

Kernel method

Kernel이란 말은 원래 알맹이, 핵심을 의미한다. 대수학에서는 V→W로 이동할 때 W의 중심으로 매핑되는 원소들의 집합을 커널이라고 한다. OS에도, 이미지 프로세싱에도 동일한 용어가 사용되어서 혼선이 있다(umbrella term). 느슨하게 말하자면 central essential part라고 볼 수 있다.

기존의 차원에서는 classify하기 힘든 정보들이, 차원을 높이면 조금 더 분리하기 쉬워질 수 있다. 위의 이미지에서처럼 2차원의 데이터들을 3차원 공간으로 이동시키면, 이들을 가르는 더 명확한 decision surface를 얻을 수 있다(항상 그런것은 아니다).

그러나, 이처럼 차원을 높여 분리하면, 두 점 $x,y$ 간의 거리를 얻기 위해 dot product를 할 때 늘어난 차원의 벡터도 추가로 계산해야 하여 연산량이 과중해진다(computationally expensive).

Kernel method는 이러한 문제점을 막기 위한 방법으로, 고차원에서 dot product한 결과를 가지고 있는 함수 $K(x,y)$ 를 토대로 결과를 내되, 기존의 차원에서 dot product하여 연산을 줄이는 기법이다.

Essential한 part는 $K(x,y)$ 가 되고, $K(x,y)$ 에서 이미 구한 부분은 불필요하니 구하지 않겠다는 방식이다.

Low-rank approximation in model compression

ML 모델에서 filter를 decompose한다.

kernel이 아니라 filter임을 유의하자. kernel은 (WxH)의 2D array이고, filter는 채널까지 포함한 3D array를 일컫는다.

Depth-wise separable Convolution을 통하여 원래의 Regular Convolution에 비하여 Computing 비용을 줄여준다. 다만 Kernel method처럼 원래의 결과와 완전히 동일하지는 않고, approximate하다.

Low-rank tensor approximation

기존의 모델은 텐서로 이루어져있다. 텐서 모델을 low-rank로 decompose하여 낮은 랭크의 텐서들로 분해시켜 근사(approximate)한다. 이 때 분해하여 얻어낸 텐서들은 essential part이므로 일종의 kernel이라고 볼수도 있다. Convolution의 그 커널과는 다른 의미이다.

대표적인 data-free 방법이다. 이미 학습된 모델을 추가데이터 없이 분해하여 사용하는 방식이기 때문이다.

Matrix decompostion

$n\times m$ 의 matrix를 $(n\times r)\cdot(r\times m)$ 으로 분해한다. 또는 matrix를 잘라내어서(truncate) 사용하기도 한다.

Eigenvalue Decompostion

고유벡터(Eigenvalue)란, 어떤 선형변환을 취했을 때 방향은 바뀌지 않고 크기만 변하는 벡터를 의미한다.

실수이면서 대칭인 (정방)행렬 A가 있다면, $P^{-1}=P^T$ 가 성립한다.

Singular Value Decompostion(SVD)

Eigenvalue Decompostion의 케이스를 그대로 들고와서, 정방행렬이 아닌 $n\times m$ 행렬에도 적용시킬 수 있다.

슬라이드를 다시 읽어보자.

(Truncated) SVD ⇒ Principal Component Analysis(PCA)

PCA는 SVD에서 한걸음 더 나아가서, 기존의 SVD에서 비교적 더 중요한 eigenvalue들, 즉 principal component들만 남기고 다 제거해버리는것이다.

이외에도 CPD, NMF, TKD 등의 여러 방법들이 있다.

Tensor decompostion

대표적인 data-free 방법이다. 이미 학습된 모델을 추가데이터 없이 분해하여 사용하는 방식이기 때문이다.

모델 경량화 2 - Quantization(양자화)

Thu, 18 Mar 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

Quantization

Fixed-point & Floating-point

Fixed Point
- 정수부와 실수부를 나누어 표기한다.
- 소수 표기 등이 쉽고, floating point에 비하여 훨씬 더 빠르고 효율적이다.
- 그러나 커버하는 범위가 적다.
Floating Point
- 지수부와 가수부로 나눈다.
- 자릿수를 바꿀 때, 지수부만 변경하면 된다. 따라서 정확성을 얼마 잃지 않고 훨씬 더 넓은 숫자 범위를 커버할 수 있다. 단, 정보의 표현능력은 같다(2^bit개만 표현할 수 있다)
- 대부분의 시스템에서 사용된다.
- FPU(Floating Point Unit)은 정수나 fixed-point 연산보다 하드웨어(특히 ARM-Mobile/IoT)에서 구현하기 훨씬 더 어렵다.

회로 공간이나 메모리 요구량에서 Integer보다 floating-point number가 더 많은 리소스를 요구한다.

Precision & Accuracy

Precision : 분산(variance)개념. 얼마나 몰려있느냐?
Accuracy : 편향(bias)개념. 목표치에서 얼마나 벗어나 있느냐?

사격으로 치면 영점이 잘맞는 것이 Accuracy가 높은 것, 탄착군 형성 시 Precision이 높다고 생각할 수 있다.

Quantization이란

모델 사이즈 축소(reduction) - 표현능력은 조금 줄어든다.
메모리 bandwidth 요구치를 맞추는 데에 도움이 된다.(감소시켜서)
on-device의 int8 연산이 float32(FLU 사용) 연산보다 더 빠르다.
양자화(Quantization)란, 추론 속도를 높이는 테크닉을 주로 말한다(양자 연산은 forward pass만 지원한다).
- 즉, 주 목적은 training time을 줄이는게 아니라 inference time을 줄이는 것이다.

양자화는 float32를 최대 256개까지밖에 표현할 수 없는 int8형태로 바꾸는 것이기 때문에, lossy conversion이다. 원래의 정보를 어느정도 잃을 수 밖에 없다.

DL은 지금까지 가장 나은 예측(highest precision)을 보여주기 위한 방법으로 사용해왔는데, 그렇다면 굳이 양자화하는 등의 low precision을 사용해야하는 필요성은 무엇인가?

→ 딥러닝은 연산량이 굉장히 많아 알고리즘으로 치면 효율이 아주 좋지 않은 기법이다. 너무 많은 파라미터를 학습해야 하므로, 어느정도 정보를 손실하고서라도 이를 줄일 가치가 있다.

Affine quantization

우리가 지금까지 배워왔던 $y=\sigma(wx+b)$ 형태의 변환을 Affine 변환이라고 한다. Affine 변환의 특징은, 변환 전 x와 y의 차이가 변환후 $f(x)-f(y)$ 의 차이로 그대로 맵핑될 수 있다는 것이다.

$m_f(x-y) = f(x)-f(y)$
이 경우, distance는 그대로 보존되지 않지만, distance의 ratio는 보존된다.

quantized value 미분

그런데 문제는 forward pass하면서 quantization하다보면, backward pass시에 미분불가능한 점들이 생겨버리므로 역전파가 불가능해진다.

이 때 $\frac{\partial y}{\partial x}$ 를 quantize 되기 전의 값으로 집어넣어 계산한다. 그러면 그냥 항등함수라 미분이 제대로 되지는 않지만, 일단 backward pass를 통과할수는 있다.
또는, quantization이 안된 값과 완전 quantization 된 값들의 중간을 취해 부드러운 계단식으로 만들어서(smoothing) 미분가능하게 하여 통과시키는 방법도 있다.

Quantization의 종류

How to quantize?
- Dynamic : weight만 quantization하고 있다가 inference 시점에만 activation quantize함
When to quantize?
- Post-training(PTQ, static) : 학습 이후에 quantization 하는것
- quantization-aware training(QAT) : 학습 과정에서 quantization을 가정하고 시뮬레이션을 같이 돌림

하드웨어(CPU, GPU, TPU 등)나 라이브러리마다 지원하는 quantization 종류가 다르다. 그 때 맞추어 적절하게 사용해야한다.

Quantization 결과 테이블 읽기

강의 자료가 굉장히 유용하다. 더 정확하게 이해하고싶다면 PDF의 reference를 모두 들어가 보자.

모델 경량화 3 - 지식 증류(Knowledge Distillation)

Thu, 18 Mar 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

Knowledge Distillation

Knowledge

Data → Information → Knowledge → Wisdom순으로 Data가 정제된다.
Knowledge distillation은 이 중 knowledge를 뽑아내는 기술이다.

추가 레퍼런스

[logit과 sigmoid, softmax의 관계]

Knowledge distillation

소금물에서 증류하여 소금을 얻어내듯이, 지식 증류(knowledge distillation)는 커다란 Teacher 모델에서 엑기스(지식)만 뽑아내어 작은 Student 모델로 전달하는 방식이다.

Transfer Learning과 Knowledge Distillation의 차이는 이렇게 비유할 수 있다. 지식을 전달한다는 점에서는 둘 모두 동일하지만, 지식 증류는 사이즈를 줄이는데에 목적이 있다.

Transfer learning - ex) 영어에서 배운 지식을 프랑스어에 적용시키는 것(도메인이 다름)
Knowledge distillation - ex) 선생님이 학생에게 역사 지식을 가르쳐주는 것(도메인은 같음)

Teacher-Student networks & Hinton loss

전체적인 과정은 다음과 같다.

$t$ = 1일 경우 익히 알고있는 softmax function이므로, 가장 큰 값(즉 가장 확신하는 값)을 제외하고는 다 버린다.
$t$ $t$ 가 1보다 큰 어떤 상수가 될 경우 $p_i$ $p_{i}$ 가 soften 되어 '덜 확신하는' 값이 된다.(soft prediction).
- 정답이라고 생각하는 값만 중요한 게 아니라, 확신의 과정에서 어느 클래스와 어느 클래스가 더 비슷하다고 생각했는지같은 것도 모두 정보의 일종이다. 이러한 개념을 제프리 힌튼 교수가 처음으로 제시했다.("The relative probablities of the incorrect outputs tell us a lot about how the model tned to generalize.")
자세한 설명은 [이전의 글]을 참조해보자.

이 상수 $t$ 가 어떻게 바뀌느냐에 따라 이렇게 바뀌게된다.

Zero-mean assumption

Zero-mean assumption
- logit값들이 zero-mean이 아닌 distillation은 Model compression이라고 부르기 어렵다는 것을 의미한다.
- 유도 과정은 [여기]에 있다.

즉, distillation ≠ compression임을 이야기한다.

모델 경량화 1 - Pruning(가지치기)

Wed, 17 Mar 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

Pruning for network compression

모델 학습 시 중요한 파라미터는 살리고 그렇지 않은 파라미터는 덜어내는(가지치기하는) 경량화 테크닉이다.

Weighted sum

가중 평균.

Decision theory에서, 중요한 것은 더 반영하고, 중요하지 않은 것은 덜 반영하는 것을 의미한다. 즉, 가중치를 두어서 평균을 내는것(value에 반영하는것)을 의미한다.

Pruning이란?

Neural Network뿐만 아니라 decision tree에서도 많이 사용되는 방법이다.

장점
- 추론 속도가 빨라진다(파라미터가 줄어드므로)
- Regularization(모델 복잡도를 줄인다)이 일반화 성능을 높인다.
단점
- 정보의 손실이 생긴다
- 입자도(granularity, 세밀함)가 하드웨어 가속 디자인의 효율성에 영향을 미친다.
  - 너무 sparse하게 만들어버리면 하드웨어 가속 효율이 떨어진다.

위의 사진을 보면 pruning 이후에 0주위의 weight distribution이 대폭 축소(outline이 10^5→10^4)된 것을 알수 있다. 이는 별로 의미가 없다고 여겨지는 0주위의 정보들을 다 잘라내는 것이다.

그런데 pruning과 이전에 배웠던 dropout 기법은 일견 비슷해 보인다. pruning과 dropout은 무엇이 다른가?

Dropout도 regularization을 위해 쓴다.
Dropout은 앙상블 효과를 낼 수 있다. 즉, 어떤 뉴런을 하나 끄고 학습할 때마다 서로 다른 structure의 네트워크를 여러 개 중복해서 학습하는 효과가 있다.
Pruning은 한번 잘라낸 뉴런을 보관하지 않는다. 그러나 Dropout은 regularization이 목적이므로 학습 시에 뉴런들을 랜덤으로 껐다가 (보관해두고) 다시 켜는 과정을 반복한다. 추론 시에는 모든 뉴런을 켜고 수행한다.

과정은 [pruning으로 mask 업데이트 → fine-tune으로 weight 업데이트]를 반복적으로 수행함으로써 이루어진다.

Regularization

randomly initialized weight $\theta$ 에서 시작해서 training을 한다.
만약 $\lambda = 0$ 이라면, regularization을 수행하지 않는다는 말이다. 그러면 파란색 점 $\theta^*$ 로 수렴한다.
그러나 만약 $\lambda > 0$ $λ > 0$ 이면, loss에 기존의 weight L2 노름 제곱을 더해준다. 즉, 원래 weight가 크면 클수록 loss가 커지므로 penalty를 먹는다.
- 따라서 자연스럽게 학습은 weight를 최소화하는 방향으로 간다. 그래서 초록점쪽으로 이동하게 된다.
- 결과적으로 둘 사이의 어중간한 빨간 점에서 멈추게 된다.

그런데 Pruning은 weight를 직접적으로 잘라내는 것이기 때문에, regularization term에 직접적으로 영향을 미친다.

위의 그래프를 보면, L2 regularization은 retrain을 했을 때와 그렇지 않을때의 차이가 극적으로 나는 것을 확인할 수 있다. L2 regularization은 곧 weight가 0이지 않으면 페널티를 먹인다는 것과 같은 말이므로, weight의 크기를 줄여 영향력을 최소화하는 것이다.

이처럼 크기가 큰 weight를 줄여 overfitting을 막고 generalize하면, pruning 기법을 수행했을 때 90%나 되는 모델의 weight를 모두 잘라버려도 남은 weight들이 충분히 일반화되어있기 때문에 accuracy에 별 차이가 없어진다. 자르기전이나, 자른 후나 weight들의 형태가 고만고만하기 때문이다.

여러 Pruning 기법

무엇을 잘라낼 것인가?(What to prune?)
- unstructured : 무작위로 개개의 weight들을 잘라내기
- structured : 단위를 잡아서 한번에 잘라내기
어떻게 잘라낼 것인가?(How to prune?)
언제 잘라낼 것인가?(When to prune?)
얼마나 자주 잘라낼 것인가?(How often?)

Pruning은 한번에 수행되지 않고, 가지치기 이후 retraining(fine tuning이나 from scratch)과정을 몇번씩 거친다. 한번에 수행되면 weight들이 다 잘려나가 성능이 급격히 떨어진다. 그보다는, 여러번 반복하여 성능을 복원했다가 야금야금 pruning하는 방법이 주로 사용된다.

Lottery ticket hypothesis

2015년에 제안되었으며, research 트렌드를 주도했던 논문이다.

위의 이미지를 보면, pruning 전에 traning을 수행한 네트워크의 accuracy와, pruning 후에 training을 수행한 accuracy가 동일함을 알 수 있다. 즉,

기존의 네트워크에서 정말로 accuracy에 영향을 미치는 부분 네트워크는 따로있다는 것

이다. 이런 가설을 제시했던 것이 lottery-ticket hypothesis이다.

subnetwork는 original 네트워크보다 파라미터도 적고, epoch을 적게 돌면서도 accuracy는 같거나 더 높은, '로또' 네트워크이다. 이 때 로또 네트워크는 반드시 original 네트워크의 random initializing을 따라가야 효과가 있는 subnetwork이다.

Searching for Tickets
- 반복적으로 Magnitude(weight의 크기) 가지치기 - 가장 낮은 것부터 일정 부분을 잘라냄
- random initialization한 네트워크를 가지고 pruning 하고, 다시 잘라낸 뒤의 네트워크를 초기 값(random initialization 했던 값)으로 다시 가지치기하고...
- 이걸 계속 반복하여 로또 티켓이 되는 노드들만 남긴 네트워크를 찾는 것.
Iterative Magnitude Pruning with Rewinding
- 반복적으로 Magnitude(weight의 크기) 가지치기 - 가장 낮은것부터 일정 부분을 잘라냄
- Searching for Tickets와 다른점은, pruning 이후 재 학습시 매번 초기값이 아니라 어느정도 학습시켜놓은(iteration k 시점의) weight로 초기화한다. → 되감기하는 것 같아서 rewinding이라고 한다.

Computer Vision 08 - Multi-modal Learning

Fri, 12 Mar 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

기계 학습에 사용되는 데이터의 종류는 다양하다. 일반적으로 이 데이터 중 특정 형태의 데이터만을 모아 학습시키는 것이 기존의 unimodal learning이었지만, multi-modal learning 에서는 각기 다른 여러 종류의 데이터를 모두 사용하여 학습한다.

서로 다른 데이터 양식(modalities)을 사용할 때 문제점이 몇 가지 생긴다.

표현하는 방법이 다르다.
- 음성은 파형, 이미지는 픽셀별 matrix, 텍스트는 워드 임베딩 벡터 등...
서로 다른 형태에서 오는 정보의 양(feature spaces)도 unbalance하다.
- 어떤 텍스트를 주고 그에 맞는 이미지를 달라고 했을 때, 텍스트의 요구사항을 만족하는 이미지는 N개가 존재한다. 거꾸로, 그 이미지 중 하나를 텍스트로 바꿀수는 없다. 1:1 대응관계가 아니라 1:N이기 때문이다.
여러 데이터를 넣더라도, 학습과정에서 모델이 사용하기 쉬운 데이터에 편향된 학습을 진행해 모델의 성능이 잘 나오지 않을 수 있다.
- 영상 데이터에서 소리를 듣지 않고 입모양으로도 말한다는 것을 catch할 수 있다면, 데이터를 모두 넣어줬더라도 소리 데이터를 비교적 적게 참조하고 영상 데이터의 학습 중 참조 비중이 커질것이다.

그럼에도 불구하고 기존의 학습 한계점들을 해결할 수 있는 방법이기때문에 연구가 활발히 지속되고 있다.

multi-modal을 사용하는 task들의 패턴은 다음과 같다.

Matching : 서로 다른 modality의 data를 공통된 영역으로 가져가 비교하여 매칭한다.
Translating : 하나의 modality data를 다른 modality data로 translation한다.
Referencing : A modality에서 B modality로 출력하고싶을 때, B와 같은 형식의 B'를 참고하여 출력한다.

Matching

Visual data & text data를 matching하는 사례를 살펴보자.

Text embedding

text 데이터는 word 단위로 dense vector로 임베딩한다. 임베딩된 dense representation들을 학습하면 일반화 성능이 생긴다.

임베딩 방식은 word2vec(Skip-gram model)을 사용한다.

text 내 한 단어의 원-핫벡터를 한 row로 하는 입력을 넣는다.
W를 곱하여 얻은 hidden-layer의 벡터가 워드 임베딩 벡터가 된다.
특정 단어의 워드임베딩 벡터를 중심으로 하여, 주위의 단어들을 예측한다. 중심 단어의 워드 임베딩 벡터에 W'를 곱하여서 만들어낸 많은 y들이 주위 단어들이다.

Skip-gram 모델은 학습 시 단어들간의 관계를 알기 위하여 N개의 이웃하는 단어들을 예측하도록 학습한다.

Joint embedding

Matching을 하기 위한 공통의 임베딩 벡터들을 학습하는 방식이다. Image Tagging의 사례를 생각해보자. 이미지가 주어지면 그 이미지를 표현하는 여러 단어들을 작성하도록 할 수도 있고, 여러 단어들을 주고 이에 해당하는 이미지를 찾을수도 있을 것이다.

각 pre-trained unimodal model들을 가져와서 각 형식의 데이터를 feature vector 형태로 표시한다. 이때, 두 모델의 output dimension은 동일한 크기로 고정한다(같은 space를 공유하도록). 이후, Joint embedding 부분에서 만약 두 output이 다르면(이미지와 단어가 잘 맞지않으면) 큰 distance를 주고, 그렇지 않으면 작은 distance를 주어 학습시킨다. 이런 방식으로 크고 작은 distance를 부여하여 학습시키는 방법을 metric learning이라고 한다.

신기하게도, 이렇게 학습을 시킨 joint embedding은 visual 데이터와 text 데이터 사이의 multi-modal analogy relationship까지 모두 가지고 있다. 개 이미지에서 개(단어)를 빼고, 고양이(단어)를 추가하면 고양이 이미지가 나온다.
이처럼 이미지와 단어의 관계까지 학습하고 있다보니, 요리 이미지를 넣었을 때 레시피(재료+요리방법)를 주거나 레시피를 넣었을 때 해당 레시피로 만든 요리 이미지를 주는 모델을 만드는 등의 응용도 가능하다. 재료와 요리 방법을 각각 다른 워드 임베딩 모델로 임베딩하여 얻어낸 feature map을 concat하고, 이미지 feature map과 dim을 맞추어 joint-embedding하면 된다.
- cosine similarity loss로 joint embedding을 학습하고, semantic regularization loss를 사용하여 high-level semantic(예를 들어 레시피와 이미지가 정확히 맞진 않더라도, '튀김요리'라는 카테고리 정도는 맞으면 좋겠다는 식의 가이드)을 학습한다.

대표적인 translation의 사례는 Image captioning이 있다. Image를 문장으로 바꾸거나(CNN), 문장을 이미지로 바꾸어(RNN) caption 관계를 만들 수 있다. 결국은 CNN과 RNN을 잘 합쳐야한다는 말이다.

Show and tell

ImageNet에서 pre-train된 CNN 모델을 인코더로 사용하고, 디코더로 LSTM 모듈을 사용한다. 하나의 fixed dimensional 벡터에서 이미지 캡션 전체를 한번에 prediction 한다.

Show, attend, tell

캡셔닝을 할 때, 좀 더 주목해야하는 단어들이 있기 마련이다. 예를 들어 공 놀이를 하는 소년의 사진이라면, '공'과 '소년'의 이미지에 주목하여 이미지를 생성해야한다. Show, attend, tell 모델은 attention을 사용하여 좀 더 정확한 의미로 캡셔닝을 수행하도록 한다.

CNN이 fixed vector을 출력하지 않고, 공간 정보를 유지하고있는 14x14 feature map을 출력하여 RNN에 넣어준다. 단어 생성시마다 이 feature map을 referencing한다.

spartial한 feature map이 RNN으로 들어오면, condition을 줘서 어디를 reference해야하는지 heat map을 만들고, 이 heat map과 feature map을 inner product한 weighted sum z 벡터를 만든다.
- attention weight는 probaility가 되고, featrue map은 weight가 된다.

Text-to-image by generative model

이미지에서 캡셔닝을 하는것이 아니라, 텍스트에서 이에 맞는 이미지를 찾아내는 것은 어떨까? 이 경우, 하나의 텍스트에 대응되는 이미지는 여러 장이 존재한다. 이처럼 1:N의 관계로 출력물을 내야하는 경우 자연스럽게 Generative Model을 사용해볼 수 있다.

Generative Model(인코더)을 학습할 때, fixed dimensional vector로 만들어주는 네트워크에 Gaussian random code를 붙여서 diverser한 output을 만들 수 있도록 해준다. Condition, Input, Sentence 정보가 모두 Generator에 들어가는 모델이다.

Discriminator Model(디코더)는 Generative model이 생성한 이미지를 받아서, row dimensional spatial vector를 뽑아내고, Generative model이 사용했던 sentence를 받아 이미지와의 정합성을 판단하도록 학습한다.

Visual question answering

영상과 질문이 주어지면 그에 맞는 대답을 하는 task이다. 텍스트는 RNN으로, 이미지는 Pre-trained NN으로, 각각의 fixed dimensional vector로 만들어준다. 이후 두 벡터들을 Point-wise multiplication으로 두 임베딩 feature가 서로 interaction 할 수 있게 만들어준다. 일종의 joint embedding space라고 볼 수 있다. 이 과정을 end-to-end로 학습시킨다.

이외에도 어텐션 메커니즘을 사용하여 cross modal reasoning을 수행할수도 있다. 각각의 modal을 referencing하며 해결하는 형태이다.

Sound Representation

Sound는 원래 wave 데이터 형태로 존재하는데, ML/DL에서 사용할 때는 Power spectrum이나 Spectogram, MFCC같은 Acoustic feature들로 변환해서 사용한다. 이런 변환 방식에 대해 알아보자.

Short-time Fourier transform(STFT )

시그널 프로세싱에서 가장 많이 사용되는 푸리에 변환을 변형시킨 방식이다. 시간 축(t) 전체를 그냥 주파수형태로 모두 옮겨버리면, 시간에 따른 변화를 파악할 수 없다. 그래서 제안된 것이 STFT이다.

위의 그림처럼 슬라이딩 윈도우로 시간축에 따른 표시를 하되, 튀는 부분들을 자르고 가운데 부분들을 강조하는 형태로 windowing을 시킨다(Hamming window). 자르는 크기와 시간등은 하이퍼파라미터이다.

다만, 윈도우를 완전히 겹치는게 아니라 너무 dense하지 않는 선에서 적당히만 overlap 시켜가며 찍어 spectogram으로 만들어준다.

푸리에 변환을 왜 할까? 시간 축의 input signal이 있을 때, 푸리에 변환을 통해 주파수의 삼각함수의 성분을 분해할 수 있기 때문이다. Power spectrum에서 각 feature 별로 frequency를 파악할 수 있게 된다.

ex - 남성의 목소리는 저주파에 있고, 여성의 목소리는 상대적으로 고주파에 있다.

spectogram은 시간축에서 spectrum들이 쌓인 것인데, 특정 성분이 많을 경우 밝은 흰색으로 표시된다. 이를 통해 특정 시간에 어떤 성분들로 이루어져있는지를 확인할 수 있다.

요새는 딥러닝 신경망을 사용할 때, spectogram을 바로 사용하는 경우도 많고, dimension을 조금 낮춰서 melspectogram을 사용하는 경우도 있다. MFCC도 검색해보자.

Joint embedding

Sound tagging

현재 소리가 어느 장소(ex - 해변, 교실 등)에서 들리는 소리인지를 파악하는 task이다.

SoundNet은 입력 이미지를 받아 두 개의 Pretrained ImageNet을 통해 Object distribution과 Scene(Place) Distribution을 출력한다. 또한, raw audio를 wave 데이터 형태로 추출해 CNN 구조에 넣어주어, 두개의 head를 최종 층에 두고 각각의 distribution을 사용하여 Place 구성을 따라하고, Object recognition을 수행하도록 한다(KL divergence minimize).

이 때 spectogram 대신 waveform을 쓴 것은 특별한 사유가 있는건 아니고, 이 논문이 나왔을 무렵 아직 spectogram 같은 변환 데이터가 자주 사용되지 않았기 때문이다.

이 방식은 기학습된 ImageNet을 fix해두고, 그 분포를 따라가도록 조그마한 CNN 모델을 학습시키는 것이기 때문에 Teacher-student 모델이라고 할 수 있다.

원하는 target task에 pre-trained 모델을 응용할수도 있을텐데, 이 경우 CNN 모델의 Pool5 feature를 뽑아서 classifier를 올려 그 부분만 target task에 대해 학습하도록 한다. 이렇게 하는 이유는 Teacher 모델의 object/scene에 너무 특화되지 않도록, generalization하기 위해서이다.

Speech2Face

음성을 듣고 그 사람의 얼굴을 상상해내는 네트워크이다. Spectogram이 input으로 들어가고, fixed dimensional vector가 들어오면 Face Decoder에 들어가서 얼굴을 생성해준다.

Speech2Face 모델은 여러 모델을 잘 조합시킨 Module Network라고 할 수 있다. Face Recognition 모델로 VGG-Face Model, Face feature를 정규화된 이미지로 reconstruction하는 Face Decoder, Spectogram을 Voice로 바꾸어주는 Voice Encoder등으로 구성되어있다. Face 벡터가 Voice를 따라하도록 된 구조이다.

Image-to-speech synthesis

이미지를 넣으면 음성을 만들어주는 방식이다.

이미지에서 단어를 바로 추출하는 것은 아니고, sub-word라고 불리는 유닛(토큰) 형태로 변환하는 Image-to-Unit 모델과, 유닛에서 음성으로 변환하는 Unit-to-Speech 모델 두개의 조합으로 이루어져있다.

Sound source localization

소리를 input으로 넣고 이미지를 주었을 때, 이미지의 어느 부분에서 이 소리가 나는지 위치를 짚어주는 task이다. 소리의 context를 파악하고, 이 소리의 semantic한 의미와 이미지의 semantic context를 추출하여 비교할 수 있어야 한다.

Visual Network에서 공간정보를 얻고, Audio Network의 출력을 Attention Network에서 내적하여 관계를 규명한다.

Ground truth가 있다면 supervised learning을 수행할 수 있다. 그러나 일반적으로 video는 sound를 동반하므로, 그냥 video을 annotation처럼 활용하여 unsupervised learning도 가능하다. Audio network의 출력물과 attention network의 출력물 visual feature을 metric learning한다.

Looking to listen at the cocktail party

하나의 비디오에서 여러 사람이 말하는 것을 분리하는 task이다. 이 경우 train data를 찾기 힘들다. 마땅한 pairwise data가 잘 없기 때문이다. 그래서 조금 더 smart한 방법으로, 한 사람이 말하는 비디오 여러 개를 합성하여 train dataset을 만든다.

Lip movements generation

sound source로부터 특정 사람의 목소리, 얼굴, 입모양을 생성해내는 task이다.

9강 실습 미완

Reference

The architecture of Skip-gram Model

Computer Vision 06 - Instance & Panoptic segmentation

Thu, 11 Mar 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

Instance,Panoptic segmentation
Instance segmentation
Semantic segmentation과의 Instance segementation이 다른 점은, 전자는 클래스만 구별하고 개체를 구별하지 않지만, 후자는 개체(Instance)까지도 구별한다는 점이다. 즉, 기존의 Semantic segmentation에서 distinguish instances라는 새로운 목표가 추가된 task이다.
Mask R-CNN
Faster R-CNN이 개량된 형태로, 큰 줄기는 비슷하다. Two-stage detector이다. 아래는 차이점들이다.
- RoI Pooling(정수 feature) → RoIAlign(소숫점 이하의 feature까지 지원)
  - Interpolation을 통해 소수점 픽셀 레벨의 pooling을 지원하며, 이를 통해 더 정교한 feature를 뽑아 뒷단의 성능까지 향상시켰다.
- Branch [class classification, box regression] → Branch [[class classification, box regression] + mask branch]
  TEXT
```
- Mask Branch는 기존의 res를 upsampling하여 80개의 채널에 대해 binary mask로 prediction하는 구조이다.(Mask FCN predictor)
- 이 때 어떤 mask를 사용할 것인지는 class classification 결과에 따라 다르다.
```
  YOLACT(You Only Look At CoefficienTs)
  Real-time으로 semantic segmentation이 가능한 Single-stage detector이다.
- FPN : Feature pyramid를 통해 고해상도의 Feature map을 얻는 Network
- Protonet : Mask는 아니지만, Mask를 합성해 낼 수 있는 base가 되는 Prototypes, 즉 여러 물체의 soft segmentation component들을 생성한다. span 가능한 basis라고 볼 수 있다.
- Prediction Head : Protonet에서 나온 Prototypes를 적절하게 합성하기 위한 계수, Mask Coefficient를 출력한다.
  TEXT
```
- 이후 prototype들과 곱해져 적절한 detection response map(우상단)을 얻게 된다.
```
  Mask를 효율적으로 생성하기 위해 Mask R-CNN처럼 Prototype 개수를 80개씩 만들지 않고 훨씬더 적은 개수를 설정하는 대신에, 그 때 그 때 coefficient와의 선형결합으로 찾아냄으로써 메모리 부담을 경감시켰다.
  YolactEdge
  YOLOACT의 방식을 Edge computing에 접목하기 위해 계산량을 획기적으로 줄인 모델이다.
- 기존의 frame 중 key frame의 feature를 다음 frame에 전달(transform)하여 계산량을 크게 줄였다.
- 성능은 비슷하면서도 연산량이 많이 줄었기 때문에 edge device에서의 사용이 가능해졌다.
  그러나 아직까지는 마스크가 떨린다던데, 깜빡인다던지 하는 문제가 있다.
  Panoptic segmentation
  Instance segmentation은 배경에 관심이 없고, 그 위의 물체(객체)를 인스턴스별로 검출하는 데에 탁월했다. 배경을 검출하려면 차라리 Instance segmentation보다는, 개체를 구별할 수 없지만 semantic segmentation이 더 나았다. 이 두가지의 문제점들을 상호 보완하고 동시에 해결하려는 시도로 panoptic segmentation이 나왔다.(Stuff + Instances of Things)
  UPSNet
  그야말로 Semantic segmentation과 Instance segmentation을 합친 형태이다.
1. Backbone Network는 FPN으로 고해상도 feature map을 뽑는다.
2. Semantic Head와 Instance Head가 각각의 역할을 수행한다.
3. 마지막에, Panoptic head가 이 결과들을 융합하여 하나의 Panoptic logit으로 나타낸다.
  Architecture of the panoptic segmentation head
- Instance Head
  - $Y_i$ : 개체 구별 Mask
- Semantic Head
  TEXT
```
- stuff(background) : 그대로 최종 출력(Panoptic logit)에 들어간다.
- 물체(thing) : Instance head의 Instance response와 더해져서 최종 출력에 추가된다. 전체 출력에서 어느 위치에 해당 물체가 검출되어야하는지 찾아준다.
    - 어느 클래스로도 분류되지 않은 물체들은 Unknown class로 모두 합쳐서 1개의 층으로 최종 출력에 추가한다.
```
  VPSNet(for video)
  단순한 이미지라면 한번의 구별로 끝이나겠지만, 비디오영상이라면 시시각각으로 움직이는 객체들이 매 순간 동일한 객체로 검출되어야할 것이다. VPSNet은 이런 문제를 각 시간별로 모든 픽셀의 대응 관계, 즉 motion을 catch하여 활용하는 Network이다.
1. 이전 시점의 frame(reference frame) feature map을 현재 시점 frame(target frame)에 align하여 검출 률을 높이고, 시간에 따라 smooth한 검출률을 만든다.
  - 여기서 Align한다는 것은 픽셀 단위로 Fusion한다는 의미이다.
2. 기존 RoI들과 새로 만들어진 현재의 RoI들을 tracking하여 매치함으로써 어떤 연관이 있는지 ML 학습한다.(Track Head) → 같은 물체는 같은 id를 가질 수 있게 된다.
3. 각 결과들을 모두 합쳐 최종 출력 panoptic map을 형성한다.
  Landmark localization
  Landmark localization(Keypoint estimation)은 키포인트를 정의하고 추정/tracking하는 데에 사용된다.
- 얼굴이나 사람의 포즈를 tracking
  Coordinate regression vs Heatmap classification
  Key points를 찾기 위해 사용할 수 있는 방법
- Coordinate regression : 가장 간단하게 생각할 수 있는 방법으로, box regression처럼 각 포인트의 (x,y)를 사용한다. landmark가 N개라면 2N개가 나올 것이다. 그러나 이 방식은 대체로 부정확하고 일반화가 힘들다는 문제가 있었다.
- Heatmap classification : semantic segmentation처럼 각 채널이 각각의 keypoint를 담당하고, 각 keypoint가 일종의 class로 분류되어서 각 픽셀별로 classification하는 방법이다. 다만 훨씬 좋은 성능을 냈지만, 연산량이 너무 많았다(모든 픽셀에 대해 수행해야하기때문에)
  Landmark location to Gaussian heatmap
  Heatmap classification에서 x,y 위치(픽셀)가 주어졌을 때, 이걸 히트맵으로 변환하는 방법은 다음과 같다.
  $G_\sigma(x,y) = exp\bigg(-\frac{(x-x_c)^2+(y-y_c)^2}{2\sigma^2}\bigg)$
- $(x_c,y_c)$ : center location
  Hourglass network
  Heatmap classification을 적절하게 활용한 네트워크구조로 Hourglass Network가 있다.
  U-Net과 비슷한 구조로, 모래시계같은 형태가 여러 겹 쌓였다고해서 Stacked Hourglass module이라고도 부른다.
  Hourglass 구조가 만들어진 이유
- 영상 전체를 작게 만들어 receptive field를 키움으로써 전반적인 context를 보고 landmark를 파악한다.
- low-level feature에서 skip-connection을 수행해서 정확한 landmark의 위치를 파악한다.
  U-Net과 비슷하지만, skip connection이 concat이 아니라 Add라는 것이다. 따라서 매 skip connection마다 dimension이 늘지 않는다. 대신, 단순히 skip하는 것이 아니라 또다른 conv layer를 통과하여 매핑해준다. 이런 점에서는 U-Net보다 FPN에 조금 더 가까운 구조라고 볼수도 있다(Add, Conv)
  더 나아가기
  DensePose
  신체의 모든 부위에 dense한 landmark를 찾는것 → 곧 3D surface를 얻는 것과 같다.
  UV map은 이러한 3D surface를 2D로 펼쳐서(flatten) 이미지 형태로 표현한 좌표 표기법이다. 즉, UV map의 2D 좌표 하나는 특정 3D 위치에 1:1로 매칭된다. 사실, UV map은 3D 모델 위에 texture map을 입히기 위해서 고안된 것이다. 이러한 좌표의 특성을 DensePose에서 차용하여 사용하고 있다.
  
  결국, 입력데이터와 출력 Patch(각 segmentation)을 잘 설계함으로써 2D 구조의 CNN으로 3D를 예측하는 방법을 고안해 낸 셈이다.
  RetinaFace
  Multiscale의 FPN을 이용해 다양한 task의 branch를 모두 넣어 다양한 task를 한번에 풀수 있도록 만든 모델이다(FPN + Multi-task branches). 또는 Multitask 학습법이라고도 부른다.
- classification, bounding box, 5 point regression, mesh regression
  이 방식들은 조금씩 차이가 있지만 공통적으로 결국 얼굴에 대한 학습이므로, 이 모든 task들을 학습했을 때 좀 더 적은 데이터로도 backbone network 자체가 강인하게 학습되는 장점이 있다.
  이러한 경향에서 볼 수 있는 현재 Computer Vision의 큰 흐름은, FPN에 Target-task에 해당하는 head branch만 만들어주어 다양한 응용 모델을 만드는 것이다.
  Detecting objects as keypoints
  Bounding Box가 아닌 Key point로 object detection을 수행하는 방법에 대해 알아보자.
  CornerNet
  CornerNet은 Bounding Box가 (좌상단, 우하단) 단 두 개의 점좌표만 있으면 unique하게 결정될 수 있다는 점에 착안하여 고안되었다.
1. Backbone network(ConvNet)에서 나온 featuremap에 Heatmap을 통하여 각 bounding box의 corner pair를 추출한다.
2. 각 포인터가 가진 정보를 표현하는 Embedding layer를 통과시킨다. 이 때, 같은 코너에서 나온 embedding point는 서로 같은 object를 표현하는 정보임을 학습시킨다.
  성능보다는 좀 더 속도에 치중한 모델이다.
  CenterNet
  1기
  CornerNet의 성능을 조금 더 보완하기 위한 방법으로, (좌상단,우하단) 뿐만 아니라 (중앙) 좌표값도 사용한다.
  2기
  좀 더 정확하게 bounding box를 표현하기 위한 방법으로, (폭, 높이, 중앙)좌표값을 사용한다.
  Reference
  YOLACT - Real Time Instance Segmentation
  Introduction To YolactEdge For Real-time Object Segmentation On Edge Device
  Panoptic Segmentation with UPSNet
  Video Panoptic Segmentation
  [분석] Stacked Hourglass Networks for Human Pose Estimation

Computer Vision 07 - 조건부 생성 모델(Conditional generative model)

Thu, 11 Mar 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

Conditional generative model

기존의 Generative 모델은 랜덤하게 샘플링만 가능했다. 그러나 단순히 생성에서 끝나는게 아니라, 원하는 모양대로 조건(condition)을 넣어 이에 맞는 모델을 생성할 수 있다면 훨씬 더 많은 응용가능성들이 있을 것이다.

오디오 음질 향상, 기계번역, 제목을 이용해 뉴스 기사 작성 등

Conditional GAN은 rough하게는 기존의 GAN에서 입력 input으로 Condition을 더 추가해주는 것으로 구현할 수 있다. 이미지 변환 기법으로도 다양한 사용 사례가 있다.

Style transfer, Super resolution(화질 향상), Colorization ...

예시 : Super resolution

입력으로 저해상도 영상이 주어지고, 출력으로 고해상도 영상이 나온다.

화질 향상 task는 사실 Conditional GAN으로만 해결할 수 있는 것은 아니고, 이전까지는 단순한 회귀 모델로 해결하려는 시도가 있었다. 저해상도 이미지를 넣어 generator가 고해상도 이미지를 출력하면, 실제 정답 (고해상도) 이미지와 MAE(L1) or MSE(L2) loss를 최소화하도록 학습하는 방식이었다.

일반적인 GAN의 generator '정말 진짜같은가'가 중요하기 때문에, 데이터를 넣었을 때 최대한 그 데이터에 가까운 형태를 뽑아내려고 한다. 즉, 실제 데이터셋에 너무 치우쳐서, 특정 형태의 정답 레이블과 거의 동일한 형태의 결과물을 만들어낸다. 이와 달리,

MAE/MSE based regression model은 학습에 사용된 모든 데이터들에 대해 비슷한 수준의 distance를 유지하는 방식으로 학습하므로, 어떤 데이터에도 치우치지 않고 중간영역을 선택한다.

따라서 결국은 어정쩡한 average 형태의 이미지, 일종의 blurry한 이미지가 나오게 되는 것이다.

예를 들어, 검은색/흰색 이미지를 가지고 학습했다고 하면, MAE/MSE 회귀 모델은 두 색상과의 distance를 모두 최소화해야하므로 어정쩡한 회색(average) 출력이 나와버린다. 그러나 GAN은 검은색이면 검은색, 흰색이면 흰색, 한 레이블에 치우쳐진 결과가 나올 것이다. 그렇게 해야 주어졌던 정답 레이블과 동일한 이미지를 만들 수 있기 때문이다.

Super resolution task에 이와 같은 MAE/MSE based regression model을 적용한 것이 SRResNet이고, GAN 방식을 적용한 것이 SRGAN이다.

Image translation GANs

Pix2Pix

Pix2Pix는 Conditional Generative Model 중 하나로, 어떤 이미지를 다른 도메인의 상응하는 이미지로 생성하는 모델을 의미한다. 이미지 변환은 input과 output의 출력해상도가 유지되는 task인데, 이런 task를 CNN 기반으로 처음 해결한 방법이다.

스타일 변환, segment to image, coloring 등...

GAN Loss와 L1(MAE) Loss를 모두 쓴다. 이유는 다음과 같다.

GAN Loss는 입력된 두개의 pair(input image와 정답 레이블)의 오차를 비교하는 것이 아니라, 단순히 real/fake 여부만 판단하기 때문에 y(정답 레이블)와 비슷하게 학습할 수 없다. 이러한 문제를 보완하기 위해 L1 Loss를 곁들여 쓴다. L1 Loss는 정답과의 차이를 최소화하고, GAN Loss는 실제같음을 추구한다.
GAN의 학습은 다른 모델에 비해 불안정하고 어려운 면이 있다. blurry한 이미지를 만들게 되거나, 학습이 잘 되지 않을 경우를 대비하여 L1 Loss도 같이 사용한다.

CycleGAN

Pix2Pix에서는 supervised learning이 들어가기 때문에, "pairwise data"가 필요했다. 그렇지만 pairwise dataset을 확보하는 것은 어렵다. 그래서 짝이 없는 데이터들도 활용할 수 있는 방법으로 CycleGAN이 제안되었다.

CycleGAN은 1:1 대응관계가 존재하지않는 데이터셋만으로도 traslation이 가능하도록 만든 모델이다.

모네의 그림 ↔ 사진, 말 ↔ 얼룩말

Loss는 양방향의 GAN Loss와 cycle-consistency loss를 모두 사용한다.

GAN Loss : 양방향으로 변환이 가능해야 하므로, X→Y, Y→X로 가는 방향 모두에 대해 동시에 학습을 수행한다.
$L(D_X)+L(D_Y)+L(G)+L(F)$
- $G,F$ : Generator
- $D_X,D_Y$ : Discriminator
Cycle-consistency Loss : 이미지를 translation하고, 그 결과물을 다시 원래 방향으로 translation했을 때 원본과 동일한 형태를 가지는가?

만약 GAN Loss만 사용한다면 어떻게 될까? 어떤 input이 들어가든지 현실과 비슷한 이미지를 생성만 해낸다면 Real로 판단할 것이므로, Input 이미지는 어떤 의미도 없어진다. 마치 local minimum에 빠지게 되는 것과 비슷하다.

따라서 단순히 실사와 비슷한 이미지를 생성하는것 뿐만 아니라, 'input 이미지라는 조건을 고려해야한다'라는 제약을 두기 위해 Cycle-consistency Loss를 사용한다(preserve contents). 이 방식은 애초에 supervise가 필요하지 않다. 즉, self-supervised learning이다. 정답 레이블 자체가 자기자신이기 때문이다. Input 이미지를 변환시켜 돌아왔을 때 자기 스스로와 비교한다.

Perceptual loss

GAN은 학습이 어렵다. 학습의 결과를 평가하기도 어렵고, 가장 쉬운 방식으로 자꾸 빠져버리는, 최빈값 함몰 문제(Mode Collapse)가 있기 때문이다. Alternating traing도 필요하다. 한번의 학습마다 Generator, Disciriminator를 각각 하나씩 만들어주어야 한다. 그럼에도 불구하고 GAN을 사용하는 이유는 퀄리티때문이다. L1 Loss나 L2 Loss를 사용하는 모델에 비해 훨씬 더 고퀄리티의 아웃풋을 낸다.

GAN을 사용하지 않고도 그 정도의 퀄리티를 내는 모델은 없을까? Perceptual loss는 그런 고퀄리티 아웃풋을 만들기 위해 나오게 된 loss이다.

GAN Loss
- 학습시키기 어렵고, 코딩이 복잡하다.(Alternating training)
- Pre-trained Network가 필요하지 않다. 학습과정에서 알아서 균형을 맞추기 때문이다.
- 기학습된 네트워크가 필요하지 않기 때문에 다양한 곳에 적용시킬 수 있다.
Perceptual Loss
- 학습과 코딩(구현)이 쉽다. 간단한 순전파&역전파로 학습한다.
- 다만, loss를 measure하기 위해서 pre-trained network가 필요하다. 이를 learned loss라고 한다.

Pre-trained classifier의 필터 response가 인간의 시각적 지각과 유사하다는 관찰 결과가 있었다. 기학습된 네트워크의 초기 layer filter값을 보면, edge를 캐치하는 부분이나 color를 캐치하는 부분이 있다. 인간의 시각도 이와 마찬가지로 시각의 초기 단계에서 이런 부분들을 캐치한다고 한다. 따라서, Perceptual loss는 이미지를 인간이 세상을 바라보는 방식, perceptual space로 변환해서 바라볼 수 있지 않을까?라는 관점에서 시작되었다.

perceptual space는 인간이 시각 정보를 중요한 것과 중요하지 않은 것으로 구별하는 것처럼, 중요한 정보와 그렇지 않은 것이 나누어진 공간이다.

이런 Perceptual loss를 사용하면, GAN과 같이 복잡한 방식을 사용하지 않고도 loss 하나만 추가를 해서 style transfer가 가능한 Generator를 학습할 수 있다.

Image Transform Net : 주어진 input 데이터에 의존하여 (이를 토대로) 출력물을 생성한다.
Loss Network : 이미지 분류 문제로 기학습된 네트워크를 사용하여, Image Transform Net의 출력물로부터 feature를 뽑아낸다. 이후 Style Target/Content Target을 이용하여 출력물과의 loss를 토대로 각자 학습하여 새로운 스타일로 변환시켜준다.
- Image Transform Net이 학습 중일때에는 Fix 되어있다(파라미터 update를 하지 않는다).

Feature reconstruction loss

Image Transform Net의 출력물(transformed image) $\hat{y}$ 를 추가적으로 변환하는 과정에서, Content target과 비교하여 input 이미지 x에 있던 content를 그대로 유지하고 있는지 확인시켜주는 loss를 Feature reconstruction loss라고 한다.

Content target에서 온 feature maps, transformed image에서 온 feature maps 두 개를 비교한 loss로 backpropagation을 수행한다. VGG Net 중간에서 얻어지는 feature map들은 어느정도 semantic한 의미를 담고있는 정보들이기 때문에, Input 이미지와 의미론적으로 비슷한지 체크할 수 있다.

Style reconstruction loss

이번에는 변환시키고 싶은 형태의 image를 넣었을 때, 그 이미지의 Style feature map을 뽑고, 이를 통해 Gram matrix를 만든다. 현재 이미지의 Gram matrix와 원하는 스타일 이미지의 Gram matrix를 비교한 Loss를 Style reconstruction loss라고 한다. Feature reconstruction loss는 각 Feature map의 직접적인 비교를 통해 얻어냈지만, Style reconstruction loss는 Gram matrices를 비교한다는 데에서 차이점이 있다.

Gram matrix가 왜 style을 비교하는 데에 쓰일 수 있는지에 대해서는 이 게시물을 참고하도록 하자.
간략하게 말해서, Gram matrix는 feature map에서 spatial information를 배제하고, 이미지 전체의 전반적인 특징인 statistic만 포함하도록 만들었다고 생각하면 된다.

이런 Style reconstruction loss를 아예 사용하지 않고, Feature reconstruction loss + L2 loss 등을 이용하여 스타일 변환없이 퀄리티 향상을 하는 경우도 있다. 이 경우 content는 동일하게 유지한 상태로, 스타일은 변하지 않는다.

Super resolution 등

Various GAN Applications

Deepfake

GAN이나 Generative Model의 응용사례 중 가장 성공적인 사례는 Deepfake이다. 이미지나 비디오에서 사람의 얼굴, 목소리를 생성할 수 있는 기술이다.

그러나 Deepfake의 발전에 따라 윤리적 위험성이 크게 증가하여, 이를 detection하거나 예방할 수 있는 방법에 대한 많은 연구도 진행되고 있다.

Face de-identification

GAN의 좋은 사례로, 사람의 익명성/privacy를 보호하는 가짜 이미지를 생성할 수도 있다. 사람의 얼굴을 조금만 변형하여, 사람들은 육안으로 누구인지 구별할 수 있지만 컴퓨터는 구별하지 못하는 가짜 얼굴을 만들 수 있다.

이를 응용하여, 올바른 패스워드를 넣었을 때에만 올바른 얼굴(original image)을 보여주고, 그렇지 않으면 변형된 다른 이미지를 넘겨주는 사례도 있다.(Face anonymization with passcode). 개인정보를 보호하는데에 사용된다.

Video translation

Pose transfer : A의 외형과 B의 포즈를 차용하여 B의 포즈를 취하고 있는 A의 영상을 만들어내기
Video-to-Video translation : semantic segmentation map을 주면, 이에 상응하는 실사 영상을 만들어주는 것 → 게임에 활용 가능!

Computer Vision 04 - 객체 검출(Object detection)

Wed, 10 Mar 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

Object detection, 객체 검출은 CV에서 가장 시장수요가 높은 task 중 하나이다. 특히 자율주행(Autonomous driving), OCR(Optical Character Recognition) 등의 핵심 기술이다.

기존의 Semantic Segmentation과 [Instance segmentation, Panoptic segementation]의 차이점은, 전자는 class를 구별하지만 후자는 개체를 구별한다는 데에 있다(Instance를 구별하는가?). 예를 들어, 전자는 이미지에 나온 모든 사람들을 '사람'이라는 하나의 class로 묶어서 동일하게 취급하는데에 비하여, 후자는 Alex, Chris 등으로 각각 다른 사람으로 구별한다. 이중 Panoptic segemetation은 Instance segementation을 포함하고 있는 좀 더 큰 기술이다.

객체 검출(Object detection)은 이미지 분류(Image Classification)와 Box Localization의 조합이다. 일반 영상인식보다 좀 더 고차원의 task로, 먼저 Box의 좌표(좌상단, 우하단)를 잡아 객체를 찾아낸 뒤, 해당 객체의 카테고리를 분류한다.

기존 기법 : 수작업하기

Gradient-based detector

"객체를 검출하기 위해, 경계선을 따면 좋지 않을까?"라는 생각으로 경계선 검출에 집중했다. 영역 내의 수평선/수직선 등의 분포를 모델링하고, linear classifier의 weight를 학습시켜 visualization했다. 예를 들어, '어깨부분에 사선이 많고, 팔다리 부분에 수직선이 많은 사진은 사람으로 판별하라'라는 등의 로직이다.

feature를 뽑아내는 부분은 사람이 직접 디자인하므로 매우 정교하고, 학습가능한 linear 모델의 weight부는 상대적으로 비중이 적은 셈이었다.

Selective Search

최근까지도 많이 사용한 기술로, 사람이나 특정 물체 뿐만 아니라, 다양한 물체 후보군의 영역 후보군을 지정해주는 방식이다. 즉, 수많은 Bounding Box(BB)를 제안해준다.

제안받은 여러 BB중 가장 객체의 영역을 tight하게 잘 잡아내는 Box를 찾도록 학습시킨다. 딥러닝을 이용한 초기 물체 탐지에도 이 방식이 많이 사용되었다.

실제로 딥러닝 기반의 Object detection 기법들은 2014년 이후 나오기 시작했으며, 크게 두 갈래로 분류할 수 있다.

Two-stage detector
Single-stage detector

Two-stage detector

R-CNN

2012년 AlexNet의 Image Classification 네트워크가 압도적인 성능을 보여주자, 바로 Object detection에 응용되었다. 기존 방법 대비 압도적으로 높은 성능을 보여주며 객체 검출영역에 데뷔한 방식이다.

Regions with CNN features의 약자로, CNN에 Region proposal 방식을 도입하였다.

작동 과정

이미지를 입력한다.
약 2000개(2k) 이하로 region proposal(BB 후보군)을 추출한다.
각 region proposal을 CNN input에 적절한 크기로 warping(이미지 사이즈 일정하게 조정)을 해준다
target task가 아닌 다른 task에 대해 학습된 Pre-trained CNN에 넣는다.
CNN의 FC layer에서 추출된 feature를 기반으로 SVM의 linear classifier만을 이용해서 클래스를 학습한다.(fine-tuning)

그러나, 이 방식은 2천개나 되는 box에 대해 일일이 다 수행을 해주므로 굉장히 느리다는 문제가 있었다. 또, region proposal은 selective search같은 수작업 알고리즘 기반이라, 학습이 불가능하다는 한계가 있었다.

Fast R-CNN

따라서 R-CNN의 단점을 보완하기 위해 영상 전체에 대한 feature를 한번에 추출하고, 미리 검출된 이 feature들을 재활용하여 객체를 검출하는 Fast R-CNN이 등장했다.

작동방식

원본 이미지에서 Convolution layer까지 feature map을 미리 검출한다.
- 이 시점의 feature map은 conv를 거쳤으므로 tensor형태(C,H,W)가 된다.
- Fully convolutional Network는 입력 사이즈를 따로 warping하지 않아도 feature map을 추출할 수 있다.
한번 뽑아놓은 feature를 여러번 재활용하기 위해 region proposal이 제시한 물체들의 후보군, 즉RoI(Region of Interest)에 해당하는 feature만을 추출한다.
RoI feature를 고정된 사이즈(fixed size)로 resampling한다. 이 과정을 RoI pooling layer라고 한다.
이후, resampling된 RoI feature를 다음의 두 과정에 동시
1. 이미지 분류 : softmax에 통과시킨다.
2. 정확한 BB 크기 찾기 : bbox regressor에 통과시킨다.

이렇게 feature만 재활용했는데도 기존의 R-CNN에 비해 18배나 빠른 수준이었다. 그러나 region proposal은 아직도 selective search를 했으므로, 학습이 불가능한 부분이 수작업 알고리즘이 존재하여, 아무리 데이터가 많더라도 여전히 한계가 존재했다.

Faster R-CNN

앞선 두 R-CNN의 최대 단점인 Selective search를 제거하고, 그 부분을 NN으로 대체하였다. 따라서 object detection 분야에서 최초의 end-to-end 모델(모든 네트워크의 컴포넌트 NN기반)이 되었다.

IOU와 Anchor boxes

IOU(Intersection over Union)는 두 영역의 overlap을 측정하는 기준을 제공하는 metric이다.

\text {IoU =}\frac{\text{Area of Overlap(교집합)}}{\text{Area of Union(합집합)}}

![anchor-box](https://www.researchgate.net/profile/Max-Ferguson/publication/327392506/figure/fig8/AS:666613162450944@1535944371721/Anchor-Boxes-at-a-certain-position-in-the-feature-map.png](https://www.researchgate.net/profile/Max-Ferguson/publication/327392506/figure/fig8/AS:666613162450944@1535944371721/Anchor-Boxes-at-a-certain-position-in-the-feature-map.png)

Anchor boxes는 각 위치에서 발생할 것 같은 box를 미리 rough하게 정의해놓은(pre-defined) 후보군이다. 위치마다, 크기마다 미리 정해놓은 box들을 가져다 붙이며 쓴다. 그 중 IoU가 0.7을 넘어가는 anchor box의 경우 positive sample, 즉 정답으로 간주하고, 0.3을 넘어가지 않는 box는 negative sample로 두고 penalty를 주도록 학습했다. box의 개수와 종류는 하이퍼파라미터이지만, Faster R-CNN에서는 총 9개를 설정했다. 즉, BB에 어떻게 loss를 적용시킬 지 결정하는 기준이다.

작동방식

시간이 오래 걸리고, 일종의 3rd-party 알고리즘이었던 Selective search 방식을 Region Proposal Network(RPN)으로 대체하였다.

![faster r-cnn](https://www.researchgate.net/profile/Giang-Son-Tran/publication/324549019/figure/fig1/AS:649929152266241@1531966593689/Faster-R-CNN-Architecture-9.png](https://www.researchgate.net/profile/Giang-Son-Tran/publication/324549019/figure/fig1/AS:649929152266241@1531966593689/Faster-R-CNN-Architecture-9.png)

Fast R-CNN과 마찬가지로, 영상 하나에서 나오는 feature를 미리 뽑아둔다.
RPN에서 region proposal을 여러가지 제공한다.
region proposal을 바탕으로 RoI Pooling을 수행하고, 그 결과를 바탕으로 classify한다.

RPN

conv feature map을 256D로 뽑아내면, 다음의 두 score를 만들어낸다

cls layer - object 여부를 판단하는 2k개의 classification scores
- 각각의 anchor box에 대해 object인지/아닌지를 계산하므로 2k개
reg layer - k개 anchor box의 정교한 위치를 회귀하는 4k개의 bounding box regression output
- BB 하나를 정하기 위해서 한 꼭짓점의 (x,y)좌표, 너비 w, 높이 h 총 4개의 변수가 필요하므로 4k개
- anchor box가 아주 촘촘하면 이렇게 하지 않아도 되겠지만, 그러면 계산속도가 아주 느려질 것이다.

Non-Maximum Suppression(NMS)

아무리 objectiveness score를 판단한다고 해도, 객체로 판단되는 BB가 너무 많을 수 있다. NMS는 이 중 하나를 정확히 특정하기 위해서 그럴듯한 BB를 모두 가져다놓고 다른 박스와의 IOU를 측정해 너무 많이 겹치는(ex-IoU≥50%) 것들을 모두 제거하는 방식이다. 이 기술은 딥러닝 이전의 방식에서도 대부분 사용되었지만, 딥러닝에서도 BB를 필터링하기 위해 사용되는 standard한 알고리즘이다.

Single-stage detector

two-stage detecor와는 다르게, 정확도를 조금 포기하더라도 속도를 올리는 데에 초점을 맞춘 real-time detector이다.

region proposal을 기반으로 한 RoI pooling을 사용하지 않고 곧바로 box regression과 classification만 사용하므로, 구조가 비교적 간단하고 속도가 훨씬 빠르다.

You Only Look Once(YOLO)

작동방식

이미지를 그리드로 나눈다.
각 grid에 대해서 score를 예측한다.
1. B개의 Bounding box마다 박스 정보 4개(x,y,w,h)와 confident score(objectiveness score) 1개를 예측한다.
2. class score(class probability)도 따로 예측한다.
최종 결과는 NMS를 통해 확정한다.

S : 마지막 conv layer의 해상도

B : anchor box의 개수

C : class의 개수

Single Shot MultiBox Detector(SSD)

YOLO의 prediction은 마지막 layer에서 단 한번만 수행하기 때문에, Faster R-CNN에 비해 localization 정확도가 조금 떨어지는 아쉬움이 있었다. 이를 보완하기 위해 SSD가 나왔다.

SSD는 Multiscale object를 더 잘 처리하기 위하여 중간 feature map을 여러 해상도에 맞추어 출력할 수 있도록 만들었다. Conv 연산을 거치면서 각 scale마다 feature map이 출력되는데, 이를 모두 활용하여 각 scale마다 다양한 크기의 object에 맞추어 대응할 수 있도록 만들어졌다.

YOLO보다 빠른 속도와 더 좋은 성능, 심지어 Faster R-CNN까지 제쳐버리며 압도적인 퍼포먼스를 달성했다(다만 Input size가 달랐다)

Two-stage detector vs Single-stage detector

Focal loss

Class imbalance problem

Single-stage detector들은 RoI Pooling을 포기했는데, 이 때문에 모든 영역에서의 loss가 계산되고 그에 따라 일정 gradient가 발생하게 된다. 일반적인 영상의 경우 검출하고자 하는 객체의 면적은 얼마 되지 않고, 나머지 대부분은 background이다. 이말은 즉, 정보가 많은 positive sample은 굉장히 적고, 유용한 정보가 없는 negative sample은 굉장히 많이 나온다는 말이다.

이런 class imbalance 문제를 해결하기 위해 focal loss라는 것이 도입되었는데, cross-entropy의 확장이라고 볼 수 있다.

\begin{aligned} \text{CE}(p_t) &= -\log(p_t) \\ \text{FL}(p_t) &= -\textcolor{red}{(1-p_t)^\gamma}\log(p_t) \end{aligned}

Cross Entropy에서 확률 term이 추가되었는데, $\gamma$ 는 잘 맞추었는지 여부에 따라 결정된다. 잘 맞추었을 경우 loss를 더 적게 주고, 못 맞추었을 경우 loss를 더 크게 주어 penalty를 강화하는 것이다. 즉, $\gamma$ 가 클수록 훨씬 더 sharp하게 변화하게 된다.

RetinaNet

Low level의 특징 layer들과 High level의 특징을 둘 다 잘 활용하면서도 각 scale별로 물체를 잘 찾기위한 multi scale구조로 만들어졌다.

중간중간 feature map들을 넘겨주고, 그 값들을 모두 더해준다(concat이 아니라 add로 fusion한다). 이후, class head와 box head가 따로 구별이 되어서 classification과 box regression을 각 위치마다 dense하게 수행된다.

SSD와 속도는 비슷하지만, 성능은 더 나은 모습을 보였다.

Detection with Transformer

NLP에서 큰 성공을 거둔 Transformer가 컴퓨터 비젼에 접목되어서 새로운 연구 결과들이 나오고 있다.

Detection Transformer(DETR)

페이스북에서 2020년 발표한 모델로, Objecte detection에 Transformer를 적용시킨 사례이다.

CNN에서 뽑아낸 feature와, input image를 각 위치의 multi dimension으로 표현한 positional encoding을 쌍으로 하여 입력 토큰을 생성한다.(position-해당 position의 feature)
Transformer encoder를 통과시키고, 정리된 feature들을 decoder에 넣어준다. 이 때, object queries도 같이 넣어 해당 위치에 어떤 feature가 존재하는지를 decoder의 출력값으로 받는다.
- object queries : 학습된 위치 인코딩(Learned positional encodings for querying)
받아낸 출력값을 토대로 detection 파트(prediction heads)에서 box를 어떻게 그려야하는지 출력해주게 된다.

이 때, 하이퍼파라미터로 N을 넣어주게 되는데, 이것은 한 이미지 내에서 검출될 수 있는 최대 object 갯수를 의미한다.

Reference

Selective Search for Object Detection | R-CNN - GeeksforGeeks

Fast R-CNN | ML - GeeksforGeeks

Anchor Boxes at a certain position in the feature map - fig 8

Faster R-CNN Architecture 9

Region Proposal Network (RPN) - Backbone of Faster R-CNN

Review: YOLOv1 - You Only Look Once (Object Detection)

Review: RetinaNet - Focal Loss (Object Detection)

Computer Vision 05 - CNN 시각화(Visualization)

Wed, 10 Mar 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

Visualizing CNN

CNN 학습 시에 어떤 과정으로 정확한 prediction을 학습하게 되는지는 블랙박스로 남아있다. 또, 성능이 잘 나오지 않는다면 어떤 이유로 학습이 잘 되지 않았는지도 알기 어렵다. 이러한 점에서 CNN의 내부 시각화의 필요성이 생긴다. 시각화 툴은 일종의 디버깅 툴처럼 사용될 수 있다.

ZFNet이 시각화 툴을 사용했던 사례

Vanilla example : filter visualization

가장 간단한 시각화 방법으로는, 필터 자체를 시각화하거나 convolution을 취한 activation map도 시각화할 수 있다. 다만, 초기 layer에는 catch하는 영역이 명확하게 보이지만, 중-후기 layer로 갈수록 앞쪽 layer의 필터들과 합성되어서 더 추상적인 정보를 detect하므로 사실상 사람이 해석가능한 정보가 별로 없어 시각화의 의미가 없다.

신경망 시각화의 유형(type)

크게 model behavior 분석과 model decision 분석으로 나눌 수 있으며, 모델에 집중하느냐 데이터에 집중하느냐의 차이이다.

Analysis of model behaviors

Embedding feature analysis

High-level layer에서 얻는 High-level feature들을 분석하는 방법이다.

Nearest neighbors(NN) in a feature space

이전에 배웠던 Nearest neighbor 방법을 활용하여, DB에 수많은 사진들을 넣어놓고 특정 Query image를 날려 해당 image와 비슷한 feature space의 images를 찾아내는지 확인한다.

이 이미지를 이용해 다음과 같이 판단할 수 있다.

눈으로 직접 보고, 의미론적으로(semantically) 비슷한 이미지들이 클러스터링되어있는지 확인한다.
간단하게, query image와 모델이 찾아낸 neighbor image 간을 픽셀별로 distance 계산하여 비슷한 이미지인지 확인한다.
- 이 경우는 위치가 다르거나 포즈가 다른 이미지들을 올바르게 판단할 수 없는 경우가 많다.
- 만약 포즈와 위치가 다른 이미지들도 명확하게 neighbor로 분류한다면, 이는 모델이 위치변화에 강인하게, 컨셉을 제대로 학습했다는 의미이므로 모델의 강건성(robustness)을 입증하는 결과가 된다.

그러나, 이 방식은 예제를 보고 판단해야 하므로 전체적인 조감도를 보기는 어렵다는 단점이 있다.

Dimensionality reduction

너무 고차원의 feature space를 상상하거나 눈으로 확인하여 판단하기 어렵기 때문에, 차원을 축소하여 분포를 확인하는 방법이다. 대표적인 방법으로 t-distributed stochastic neighbor embedding(t-SNE) 가 있다.

모여있는 형태를 보고, 튀는 데이터들과 모델이 어느 클래스들을 유사하게 생각하는지 등에 대한 정보를 알 수 있다.

Activation investigation

Middle~High level를 해석하는 해석방법이다.

Layer activation

위의 사진을 보면, conv5 layer에서 hidden unit 중 하나를 뽑아서 thresholding하여 masking했더니 어떤 노드는 얼굴만 찾아내고, 어떤 노드는 계단만 찾아내는 것을 확인할 수 있다. 이처럼 학습 과정에서 특정 노드들이 어떤 역할을 하고있는지를 시각화하여 볼 수 있다. 이런 점을 보았을 때, CNN은 층을 쌓으면서 중간의 노드들이 여러 객체(얼굴, 계단 등)의 detection 역할을 담당하고, 결과적으로 이 detection들을 합쳐서 객체를 검출해내는 역할을 한다고 해석할 여지가 생긴다.

Maximally activating patches

위 이미지는 CNN의 각 층에서 가장 높은 값을 가지는 hidden unit 주위의 영역을 뜯어낸 patch들의 사진인데, 이를 보면 해당 unit이 어떤 역할을 하고 있는지 확인할 수 있다. 어떤 유닛은 강아지의 코를, 어떤 유닛들은 색깔이 들어간 글자를 찾는 역할 등을 한다. 이 경우는 전반적인 큰 그림 보다는 국부적인 patch를 보므로 비교적 middle-level의 해석에 좋을 것이다.

과정은 다음과 같다.

특정 layer에서 channel 하나를 고른다.
예제 데이터를 backbone network에 넣어서 각 layer의 activation map을 모두 뽑고, 골랐던 채널의 activation map을 저장한다.
최대 activation value 주위의 이미지 패치를 잘라낸다(crop).
- 해당 value가 커버하는 receptive field를 찾아서 그것을 주위 영역으로 판단한다.

Class visualization

예제 데이터를 사용하지 않고, 네트워크가 기억(내재)하고 있는 이미지를 시각화하여 판단하는 방법도 있다.

위의 이미지에서는 새(bird) 클래스와 개 클래스에 대한 네트워크의 예상치를 확인한 것이다. 이 때, 우하단을 보면 개를 제외하고도 아이의 형태가 나온것을 확인할 수 있는데, 이를 통해 클래스 분류에 단순히 해당 객체만 파악하는 것이 아니라, 주변 객체와의 연관성도 파악한다고 해석할 여지가 있다. 또한, 학습데이터에서 개가 대부분 아이와 등장했다는 것을 의미하므로, 학습 데이터의 편향성도 의심해볼 수 있다.

이 방법은 최적화를 통해 구현해야하는데, 형태는 다음과 같다.

I^* = \underset{I}{\argmax}f(I) - Reg(I)\\ Reg(I) = \lambda\Vert I\Vert^2_2

$I$ : 영상 입력
$f(I)$ : 입력이 CNN 모델을 거쳐 나온 class score(ex- 개 클래스의 score)
$Reg(I)$ : 임의의 argmax 결과를 사용하다 보면, 추상적인 값이 공교롭게도 가장 큰 값일 때가 있다. 이를 우리가 이해할 수 있는 형태로 바꾸어주기 위하여 간단한 loss인 정규화 term을 추가한다.

이전에는 Loss를 최소화하는 gradient descent를 사용했지만, 여기서는 $f(I)$ 가 최대화(argmax)되도록 해야하므로 Gradient ascent를 사용한다.

Gradient ascent의 과정은 다음과 같다.

임의의 영상(dummy image)을 CNN에 넣어 타겟 클래스의 prediction socre를 얻는다.
Backpropagation으로 입력 image의 gradient를 얻는다.
- 입력이 어떻게 변해야 target score가 높아지는지 찾는다
Target score가 높아지는 방향으로 input image를 update해준다.(즉, gradient를 더해준다)
업데이트된 영상을 input image로 삼아 1-3을 반복한다.

이 때 최초의 dummy image는 여러 종류를 선택할 수 있다.

blank / monotone / noisy image 등..
이 때 최초에 넣어준 dummy image를 base로 입력 영상을 업데이트하므로, dummy image의 형태를 어느정도 따라가는 최종 image를 얻게된다.

Model decision explanation

지금까지는 모델 자체의 행동을 분석했다면, 이번엔 모델이 특정 입력을 어떤 각도로 바라보고 있는지 살펴보자.

Saliency test

영상이 주어졌을 때, 영상이 제대로 판정되기 위한 각 영역의 중요도를 추출하는 방법이다.

Occlusion map

input image를 넣을 때, occlusion patch를 이용하여 가려준다. 이 때, occlusion patch를 넣은 이미지를 주었을 때 해당 이미지를 정답으로 판별할 확률(CNN score)을 계산하여, 패치가 어떤 위치를 가리고 있느냐에 따라 이 값이 바뀌는 정도를 기록해둔다.

위의 이미지로 보았을 때, score를 heatmap으로 표시하면, 어두운 영역이 물체의 검출에 민감한 요인이 되는 중요 영역임을 알 수 있다.

via Backpropagation

gradient ascent를 이용하여 클래스 이미지를 생성했던 방법과 비슷한데, 이번엔 random image가 아니라 특정 image를 입력해 해당 image를 classification하는 데에 큰 영향을 끼친 부분을 heatmap으로 표시한다.

과정은 다음과 같다.

타겟 입력 이미지를 CNN에 넣어 class score를 얻는다.
Backpropagation으로 입력 이미지의 gradient를 구한다.
얻어진 gradient에 절댓값을 취하거나, 제곱을 하여 절대적인 크기(magnitude)를 구한다.
- 어느 쪽으로 바뀌는지보다 해당 영역이 얼마나 큰 영향을 끼치는가가 중요하므로, 부호를 버리고 magnitude를 측정한다.
해당 gradient magnitude map을 시각화한다. 필요에 따라 1-3을 반복하여 accumulate할수도 있다.

Class visualization의 gradient ascent와 다른 것은, 아무 이미지나 넣어 해당 클래스에 대한 모델의 예상치 추측을 하는것이 아니라,

특정 이미지에 대한 모델의 판단 요인을 찾는다는 것이다.

즉, 현재 데이터가 어떻게 해석되는지를 보고싶은 것이므로 data-dependent하다.

Backpropagation-based saliency

Deconvnet

일반적으로 CNN의 Forward에서는 Activation function으로 ReLU가 많이 사용된다. 따라서 음수가 0으로 마스킹되는데, 문제는 Backpropagation을 할 때에도 현재 값들을 기준으로 음수를 마스킹하지 않고 Forward 시에 0이하였던 unit들을 음수 마스킹해버린다는 것이다. Deconvnet 연산은 Backward 시에 Forward시점의 값 기준이 아니라 Backpropagation 시점의 값을 기준으로 음수를 마스킹한다. 이는 마치 역방향으로 ReLU를 재적용시킨 것과 같다. 이 경우 휴리스틱하게 좀 더 saliency를 잘 추출할 수 있었다고 한다.

\begin{aligned} \text{Forward Pass : }h^{l+1} &= \max(0,h^l)\\ \text{Backward - backpropagation : }\frac{\partial L}{\partial h^l} &= [(h^l>0)]\frac{\partial L}{\partial h^{l+1}}\\ \text{Backward - deconvnet:}\frac{\partial L}{\partial h^l} &= [(h^{l+1}>0)]\frac{\partial L}{\partial h^{l+1}} \end{aligned}

Guided backpropagation

여기서 더 한발 나아가서, Backward 시에 Forward 패턴도 마스킹하고, 현재 패턴 기준으로도 마스킹하는 방식을 Guided backpropagation 이라고한다.

\frac{\partial L}{\partial h^l} = [(h^l >0)\&(h^{l+1}>0)]\frac{\partial L}{\partial h^{l+1}}

사실 이러한 방식은 수학적으로 크게 논리적인 방식은 아니나, 결과값으로부터 이 방식이 어떤 의미를 갖는지는 해석해볼 수 있다.

일반적인 backpropagation 방식으로 Forward 패턴의 양수(즉, 정답을 올바르게 예측하는데에 영향을 미쳤던 feature)도 참조하고, deconvnet 방식에서 Backward 패턴에서의 양수도 참조한다면, 결과적으로 두 과정에서 도움이 되는 feature들을 모아 보여주므로 조금 더 깨끗한 이미지가 나오게 되는 것이라고 해석 가능하다.

Class Activation Mapping

Class Activation Map(CAM)

CAM 아키텍쳐는 CNN의 일부를 개조하여 만들어진다. CNN의 conv파트를 최종적으로 통과하고 FC layer에 진입하기 전, 즉 마지막 conv feature map을 대상으로 global average pooling을 수행하여 Gap feature를 얻는다. 이후, 단 하나의 FC layer만 통과시켜 classification한다. 마지막으로 이미지 분류 task에 대해 학습을 다시 수행한다. 즉, 일종의 pretrained된 CNN 모델로부터 유도하는 아키텍쳐에 가깝다.

\begin{aligned} S_c &= \sum_kw^c_k\textcolor{blue}{F_k}\\ &= \sum_kw^c_k\textcolor{blue}{\sum_{(x,y)}f_k(x,y)} = \sum_{(x,y)}\textcolor{red}{\underbrace{\sum_kw^c_kf_k(x,y)}_{CAM_c(x,y)}} \end{aligned}

$S_c$ : 클래스 c에 대한 score값
$k$ : 마지막 conv layer의 채널 수.
$w^c_k$ : 마지막 FC layer에서 클래스 c에 해당하는 weight
$F_k$ $F_{k}$ : 채널별 conv feature map을 공간축(여러 채널)에 대하여 global average pooling한 것
- 이 때, $F_k$ 는 결국 모든 픽셀 $(x,y)$ 에 대해서, conv feature map을 각 채널 $k$ 마다 평균 취한 것이다.
$\sum_{(x,y)}$ : Global average pooling
모든 연산들이 선형 연산이므로 순서를 바꾸어줄 수 있다.
$CAM_c(x,y)$ 는 결국 global average pooling을 적용하기 전이므로, 아직 공간에 대한 정보가 남아있다. 이것을 영상처럼 처리해서 visualization하면, 위 이미지의 하단 히트맵처럼 나오게 된다.

나오는 히트맵이 다른 방법에 비해 부드럽고 압도적으로 좋은 성능을 보여주기 때문에 자주 이용한다.

이미지 분류를 할 때, 위치에 대한 어떤 annotation 정보도 주지 않았는데도 위치까지 어느정도 찾아주기 때문에 bounding box를 만들어 object detection 등을 추가적으로 하는데에 사용되기도 한다.

이처럼 object detection과 같은 비교적 정교한 task를 좀 더 rough한 영상인식 task로 학습하여 처리하는 방식을 weakly supervised learning 이라고 부른다.

다만, CAM 적용을 위해서는 마지막 layer가 GAP과 FC layer로 이루어져야만 하며, 아키텍쳐를 바꾸고 나서 재학습을 해야한다는 단점이 있다. 이 경우 기학습된 모델에 비해 전체적 성능이 떨어지는 결과가 나올수도 있다. 최종 출력 이전에 Global average pooling과 FC layer 층이 이미 존재하므로 아키텍쳐를 수정하지 않고도 바로 CAM을 추출하기에 용이한 ResNet이나 GoogLeNet과 같은 사례들도 있다.

Grad-CAM

CAM은 최종 층의 구조를 바꿔야 해서 모든 아키텍쳐에 적용할 수는 없다는 제약사항이 있었으므로, 구조를 변경하지 않고 기학습된 네트워크에서 CAM을 뽑을 수 있는 Grad-CAM 방식이 제안되었다.

기존 pretrained된 모델 아키텍쳐를 변경할 필요가 없기 때문에, 영상 인식 task에 한정될 필요가 없어졌다. 오로지Backbone이 CNN이기만 하면 사용할 수 있다.

\sum_k\textcolor{red}{w^c}_kf_k(x,y)

기존의 CAM 식에서 알아내야 하는 부분은 $w_k^c$ , 즉 importance weight 뿐이므로, 이것을 알아내는 것이 핵심이다.

Saliency를 Backprop으로 구했던 방법을 응용해서 수행한다.

여기서의 weight는 기존의 weight와 조금 다른 개념이기 때문에 $\alpha$ 라고 하자.

기존의 Saliency test는 입력영상까지 backprop했지만, 여기에서는 원하는 activation map(즉, 특정 conv 층)까지만 backprop한다.
클래스 c에 대한 정답 레이블 $y^c$ 로부터 Loss를 구한다.
이렇게 구한 weight가 $a_k^c$ 가 된다.

L^c_{Grad-CAM} = ReLU(\sum_k\alpha_k^cA^k)

새로이 구한 weight $a_k^c$ 와 activation map $A^k$ 를 선형결합하여 ReLU를 적용한다. 따라서, 양수값만 사용한다.
이를 히트맵으로 표현하면 Grad-CAM이 된다.

Grad-CAM과 Guided Backprop을 결합하여 사용할 수도 있다. Grad-CAM은 rough하고 smooth한 형태를 가지고 있고, Guided Backprop은 sharp하지만 class 구분성이 조금 떨어지므로, 이 두 개를 결합한 Guided Grad-CAM을 이용하면 해당 클래스에 대해 명확한 인식을 가지면서도 sharp하게 모양을 잡아낼 수 있다.

SCOUTER

최근에는 Grad-CAM을 좀 더 개선해서, "이 영상을 무엇으로 판단했느냐" 뿐만 아니라 "이 영상을 왜 그렇게 판단했느냐"까지 비교대조해볼 수 있는 SCOUTER 방법도 제안되었다.

Reference

Class Activation Map

Grad-CAM- Gradient-weighted Class Activation Mapping

개인적으로 자연어처리 LSTM 이후 역대급으로 어려웠던 파트인 것 같다. 너무 많은 내용들이 나오고 방식도 생소해 제대로 이해하고 적은게 반도 안되는 듯하다. 재공부와 필기보충이 필요하다.

Computer Vision 03 - Semantic segmentation

Tue, 09 Mar 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

Semantic segmentation

이미지 분류를 영상 단위가 아니라 픽셀 별로 하는 것. 단, 같은 클래스(종류)이면서 서로 다른 물체(개체)를 구분하지는 않는다.(Don't care about instances. Only care about semantic category.)

적용 분야

의료 이미지
자율 주행
computational photography(object별로 조작할 수 있는 사진) 등

object의 구별이 쉬워지므로, object 별 이미지 수정을 하기 위한 인터페이스를 만드는 post-processing에 사용되기도 한다.

Semantic segmentation Neural Net의 종류

Fully Convolutional Networks(FCN)

최초의 end-to-end semantic segmentation NN
- 입력과 출력 페어만 있으면 신경망 내부가 자동으로 학습되는 구조
  - 이전까지는 내부 알고리즘을 직접 작성하고 결합하여 만들었었다.
학습시 사용했던 이미지와 입력 이미지의 resolution이 달라도 문제없이 작동한다(호환성이 높다).

기존의 CNN은 마지막 부분에 FC layer를 몇 단 두었었는데, FCN은 FC 대신 Fully convolutional layer만 사용한다. 이러한 방식이 어떤 차이가 있을까?

Fully connected layer : 공간 정보를 고려하지 않고, fixed vector가 input으로 주어지면, output도 fixed vector로 처리된다.
Fully convolutional layer : 입/출력이 모두 activation map(tensor)이다. 1x1 conv layer이다.

Fully connected layer는 각 채널들을 일직선으로 쭉 펴서(flatten) concat한다.

이와 달리, Fully convolutional layer는 각 채널에서 같은 feature로 분류되는 vector(즉, 같은 위치의 벡터)들을 묶어 m개의 1x1 필터와 conv 연산(내적)을 수행하여, m개의 채널을 가지는 feature map을 구성한다. 이 때, conv 연산이므로 sliding window 방식을 사용하기 때문에 좀 더 spatial한 데이터가 유지된다는 장점이 있다.

이 과정에서 Pooling 계층을 여러번 통과하고, stride가 있어 FC layer에 비해 좀 더 넓은 receptive field를 가지고 있기 때문에, high-resolution의 input이 들어오더라도 결과값은 훨씬 low-resolution의 예측 스코어(히트맵)를 가지게 된다.

그렇다면 Pooling과 Stride를 제거해버리면 어떨까? 만약 그렇게 한다면 receptive field 자체가 작아져서, 영상의 전체적인 context를 파악하지 못하게 될 것이다. 그건 의미가 없다.

Upsampling

따라서, 이런 저해상도 문제를 피하기 위해 upsampling을 사용한다.

고해상도 이미지 input에 Conv 연산과 Pooling을 거치면서, 출력값은 자연스럽게 저해상도로 Downsampling된다. 이를 마지막에 고해상도로 키워주는 연산이 Upsampling이다. 방법은 여러가지가 있지만, 최근에는 대표적으로 2가지가 사용된다.

Transposed convolution : swapping the forward and backward passes of convolution

input 픽셀 각각을 filter에 곱해주어 늘리는 것이다.

잘 이해가 가지 않는다면 다음 링크를 참조해보도록 하자.

Transposed Convolution을 이용한 Upsampling

이 때 반드시 주의해야 할 점은, checkboard artifact를 조심해야한다는 것이다. 마치 체크무늬처럼 일정 간격으로 특정 격자의 색이 진하게 나오는 것을 의미한다. 이는

sliding window 기법을 사용하는 CNN의 특성 상 stride와 kernel 크기를 잘 조절하지 않으면 overlap 되는 구간이 생기기 때문에 일어난다.

위의 이미지에서도 볼수 있듯, [az + bx] 구간처럼 overlap되는 구간은 다른 구간들보다 상대적으로 출력값이 높을 수 밖에 없다. 픽셀값이 높다는 것은 곧 진한 색상을 의미하므로, 상대적으로 진한 격자가 규칙적으로 나타나게 되는 것이다. 이는 짙은 색상의 이미지일수록 더 심하다.

Upsample and convolution : Decompose into spatial upsampling and featrue convolutoin

이러한 문제는 upsampling(정확히는 interpolution) 과정과 convolution 과정을 분리함으로써 쉽게 해결할 수 있다. Transposed convolution은 어설프게 overlap되는 구간들이 일부만 있었다면, upsampling을 통해 중첩 문제가 없이 골고루 영향을 받게 함으로써 전체적으로 평준화시켜줄 수 있다.

기존의 upsampling 연산 decomposition → [spatial upsampling + feature convolution]
- spacial upsampling : {Nearest-neighbor (NN), Bilinear sampling}같은 interpolation. 학습가능한 파라미터는 전혀 없고 그냥 해상도를 키워주는 작업.
- convolution 연산 : spatial upsampling 직후 수행하며, 파라미터가 있으므로 학습이 되어 전체적으로 learnable upsampling을 구현할 수 있다.

다시, FCN으로

그러나 아무리 Upsampling을 했다고 하더라도 한 번 떨어진 resolution을 충분히 원래대로 끌어올리기는 쉽지 않다. 연산 과정에서 잃어버린 정보들을 다시 살리는 일이기 때문이다.

결국, 목표대로 정확한 High-resolution의 output을 얻기 위해서는 두 마리 토끼를 다 잡는 미션을 수행해야 한다.

Fine/Low-level/Detail/Local, 미세한 각 부분의 디테일을 살리면서도
Coarse/Semantic/Holistic/Global, 전체적인 context를 볼 수 있는 넓은 시야를 가져야한다.

이 두 특징을 모두 가지기위해서 기존의 방법들을 모두 fusion한다.

높은 layer의 activation map을 upsampling하여 해상도를 크게 끌어올린다.
이에 맞추어 중간 layer의 activation map을 upsampling하여 가져오고, concat한다.

위에서는 FCN-8s가 가장 많은 layer들을 concat하는 형태가 된다. 이처럼 중간 layer들의 skip connection을 추가할 때 훨씬 더 명확한 이미지를 얻을 수 있다.

FCN의 특징

Faster
- 직접 짠 컴포넌트(알고리즘)에 의존하지 않고 자동적으로 학습하는 end-to-end 구조이다.
Accurate
- feature 표현과 분류가 함께 최적화된다.

Hypercolumn for object segmentation

FCN과 동일한 시기에 비슷한 내용의 연구도 있었는데, 이 경우 Fully convolutional network보다는 Hypercolumn을 강조했다.

기존의 CNN layer는 feature representation을 위해 마지막 FC layer의 출력을 사용했다. 그러나 이 방식은 한 픽셀에 모든 정보가 압축되어 있어 너무 coarse spatially했다.

이와 달리, Hypercolumn은 모든 CNN 유닛의 해당 픽셀 위치에 해당하는 값들을 stacked vector로 표현하는 방식이다.

초기 layer에서의 좀 더 미세한 국지적 정보들(fine localized information)을 추출할 수 있었다.
후기 layer에서는 더 전체적인 context를 보므로, coarse semantic information을 추출할 수 있었다.

다만 이 논문은 end-to-end가 아니라, bounding box를 구하는 sub component algorithm을 사용한 뒤 적용하는 모델로 소개되었다.

U-Net

FCN을 베이스로 만들어졌다.
낮은 층의 feature map과 높은 층의 feature map을 더 잘 결합하는 방식을 제시했다.
- FCN의 skip connection과 유사한 방식이다.
좀 더 정교한 segmentation이 가능해졌다.

구조

기존의 CNN 파트와 conv 연산을 적용하여 전체적인 feature map(holistic context)을 뽑아내는 downsampling 부분은 거의 같다. 여기서는 Contracting path라고 부른다.

3x3 conv를 사용한다.
feature 채널의 숫자를 계속 doubling한다.

그러나, upsampling 파트는 차이가 있다. 여기에서는 Expanding path, Decoding 이라고 부른다.

한번에 upsampling 하는 대신, 채널 수를 반으로 줄여가며 점진적으로 upsampling한다(즉, Contracting path의 대응되는 layer와 채널 수를 동일하게 맞춘다.).
대칭되는 Contracting path의 layer에서 skip connection을 통해 대칭되는 feature map들을 가져와서 fusion(여기서는 concat)해준다.

이 때 input 이미지와 feature 이미지의 크기는 짝수여야 한다. 만약 홀수라면, Contracting/Expanding 파트에서 나머지 정보들이 유실된다.

DeepLab

Sementic segmentation의 한 획을 그은 모델로, 기존 모델에 비해 다음과 같은 차이점을 가진다.

CRFs 후처리의 존재
Atrous convolution

Conditional Random Fields(CRFs)

픽셀과 픽셀 사이의 관계를 다 이어주고, regular한 pixel map을 그리드로 본다.

기존의 sementic segmentation에서는 feedforward 구조이므로 피드백이 없어 굉장히 blurry한 output이 나오기 마련인데, CRFs는 기존의 이미지에서 edge같은 경계선들을 활용하여 score map이 경계에 잘 들어맞도록 확산시켜주는 역할을 한다. 이 때 물체의 background와 내부에서 동시에 확산하므로, 결과적으로 경계선이 물체 형태에 맞게 명확히 잡히게 된다.

Atrous convolution

기존 convolution 필터와 달리, 필터의 수용영역 사이사이에 space를 넣어 spatial context를 캐치하는 방법이다. Dilation factor를 몇번 반복하는 것 만으로 파라미터 수는 늘리지 않으면서 receptive field는 exponential하게 키울 수 있다.

Depthwise separable convolution

기존의 convolution 연산은 하나의 필터를 모든 input 채널에 대입시켰다.

그러나 Depthwise separable convolution은 이 과정을 둘로 분리하였다.

Depthwise convolution : 채널별로 필터를 만들고, 이를 convolution하여 채널별로 activation map을 만든다.
Pointwise convolution : 뽑아낸 값들을 토대로 다시 1x1 conv를 사용함으로써 하나의 값으로 출력이 되도록 만들어준다.

이미지를 보면 알 수 있겠지만, convolution의 표현력은 유지하면서 계산량은 훨씬 더 줄어들게 되었다.

Computer Vision 01 - 이미지 분류(Image Classification)

Mon, 08 Mar 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

The theory and development of computer systems able to perform tasks that normally require human intelligence, such as visual perception, speech recognition, decision-making, and translation between languages. - from oxford dictionary

인간의 지능을 구현하기 위해서는 가장 먼저 다양한 지각능력(multi-modal perception)을 구현해야한다. 지각능력은 입력(input)과 출력(output)을 통해 구현되며, 이 때 입력은 단순히 오감에서 끝나는 것이 아니라, face/touch/speech/social같은 복합적인 감각의 이해도 포함된다.

시각적 지각능력(visual perception)은 인간 지능의 한 부분으로 취급된다. 컴퓨터 비젼(Computer Vision)은 이러한 지각능력을 재현하고자 하는 분야이다. 시각의 프로세스는 [Visual world - Sensing device(눈) - Interpreting device(뇌) - Interpretation] 네 단계로 이루어진다. 마찬가지로, 컴퓨터 비젼도 동일한 네 단계로 이루어진다. 다만 Sensing device가 눈이 아닌 카메라이고, Interpreting device가 뇌가 아닌 GPU와 알고리즘이라는 것만 다르다. 이를 통해 나오게 된 해석(Interpretation, representation)은 하이 레벨의 description이 된다. 이 representation을 통해 장면에 해당하는 이미지나 3D 모델을 재구현하는것을 Computer Graphics, 또는 렌더링(Rendering)이라고 한다. 거꾸로, 시각적 데이터(visual data)에서 representation을 추출하는 일을 Inverse Rendering이라고 하며, 컴퓨터 비젼의 task에 해당한다.

Image Classification

분류기(Classifier)는 입력을 어떤 카테고리 값과 매핑시켜 내보내는 장치이다. 이미지 분류는 이 분류기의 입력값으로 시각적 데이터만을 사용하여 추론하는 것을 일컫는다.

극단적으로 생각해보았을 때, 모든 분류 문제는 세상의 모든 시각적 데이터를 가지고 있다면 아주 쉽게 해결된다. 그냥 모든 데이터들 사이에서 비슷한 것들끼리 모으기만 하면 된다.

즉, K Nearest Neighbors(K-NN) 문제로 해결할 수 있다. K-NN 문제는 단순히 이미지 레이블 데이터 값을 주위의 다른 데이터 레이블들과 비교하여 가장 비슷하다고 판단되는 후보군으로 편입시키는 문제이다. 이렇게 해결하는 분류기가 있다면, 마치 검색엔진처럼 작동한다. 그러나, 이러한 접근 방식은 불가능하다. Time/Memory Complexity 무한대일 것이라는 점과, '비슷하다'는 기준을 어떻게 잡을건지가 모호하다는 것이 결정적인 불가능 요인이다. 따라서 컴퓨터 비젼은 방대한 데이터를 제한된 complexity의 시스템(인공 신경망)이라는 분류기에 녹여넣는 것이 목표이다.

Fully Connected Layer Network

이런 이미지 분류를 가장 간단한 형태의 인공 신경망 분류기, 즉 단일 계층의 Fully Connected Layer Network로 구현했다고 생각해보자.

기존의 이미지에 W(weight)를 내적한 것을 다시 이미지로 치환시켜보면, 아래와 같이 실제 레이블과 어느정도 관련이 있는 이미지 형상을 추출할 수 있다. 그러나 이 형태는 너무 흐릿하여 정확도가 떨어진다. 계층을 너무 얕게 쌓았기 때문에 디테일을 충분히 표현할 수 없는 것이다.

또, 모든 노드들이 출력층으로 전연결(fully-connect)되기 때문에, 전체적인 형상만을 학습한다. 따라서 만약 이 사진을 잘라낸 사진을 제공하면 인식을 전혀 할 수 없게 된다.

Convolutional Neural Network(CNN)

이러한 전연결 신경망의 한계점을 극복하기 위하여 합성곱 신경망(Convolution Neural Network, CNN)가 나오게 되었다. CNN은 모든 노드들을 다음 계층으로 전연결시키는 것이 아니라, 국소적인 연결(locally connect)을 사용한다. 동일한 국소적 sliding window를 이미지의 모든 부분에 대입시켜 feature들을 뽑아냄으로써, 치우쳐 있는 이미지나 잘린 이미지라도 feature를 추출할 수 있고, 파라미터를 재활용하여 메모리도 적게 사용할 수 있다. 이런 장점 때문에 많은 CV task의 backbone으로 활용되고 있다.

이미지 분류를 위한 CNN 아키텍쳐의 종류

간략한 역사 개요

LeNet
- 1998년 Yann Lecun
- 비교적 간단하며, 한 글자 정도의 손글씨를 인식하기 위해 사용되었다.
- 구조 : Conv-Pool-Conv-Pool-FC-FC
AlexNet
- LeNet에서 모티베이션을 따왔다.
- 파라미터와 학습 데이터를 훨씬 더 크게 늘렸다.
- 필터 사이즈가 11x11로 아주 크다. 최근에는 이런 큰 필터를 사용하지 않는다.
- 활성화 함수로 ReLU를 사용하고, dropout 정규화 기법을 사용했다.
- 논문에는 메모리 문제로 두 GPU에 올려서 학습했으며, 그 당시 명암을 조정하기 위해 사용했던 LRN(Local Response Normalization) 기법은 현재는 사용하지 않는다.
- 구조 : Conv - Pool - LRN - Conv - Pool - LRN - Conv - Conv - Conv - Pool - FC - FC - FC
VGGNet
- 3x3의 작은 필터와 2x2 max pooling 사용, LRN 제거로 아키텍쳐가 비교적 간단해졌으나 성능은 더 좋아졌다.
- 19 layer로 AlexNet(12 layer)보다 더 깊다.
  - 작은 필터크기임에도 불구하고, 더 깊이 층을 쌓아 receptive field의 크기를 키웠다.
- 미리 학습된 feature를 fine-tuning하지 않고도 다른 task에 적용 가능할 정도로 일반화가 잘 되었다.

AlexNet에서 VGGNet으로 발전하면서, 더 깊은 네트워크일수록 더 좋은 성능을 낸다는 것을 확인했다. 그렇다면 과연 층을 단순히 더 깊게 쌓으면, 항상 더 좋은 네트워크를 얻을 수 있을까? 물론 그렇지 않았다. 층을 깊게 쌓으면 쌓을수록 학습을 어렵게 만드는 문제들이 있었다.

기울기 소실/폭발(Gradient vanishing/exploding)
연산 복잡도 증가(Computationally complex)
depth가 어느정도 깊어지면, 성능이 떨어지기 시작
- ~~Overfitting이 아닐까?~~ → 기울기 소실/폭발로 인한 Degradation 문제

이러한 문제점들을 인식한 채로 새로운 네트워크 형태들이 등장하기 시작했다.

GoogLeNet
- Inception Module 을 여러 층 쌓는 형태를 제안한다.
  - 하나의 층에서 다양한 크기의 필터를 사용하여 여러 측면에서 보겠다(depth 확장이 아닌 수평확장)
  - 이 결과들은 모두 concatenation 하여 다음 층으로 넘겨주게 된다.
  - 이 때, 1x1 conv를 한 번 적용해 채널 수를 줄여 계산 복잡도를 떨어뜨린다. 이를 병목(bottleneck) 층이라고 한다.
    - 3x3, 5x5 conv 직전 / pooling 연산 직후
- Auxiliary classifier
  - 역전파 중 기울기 소실 문제를 해결하기 위해 Loss를 측정하는 Auxiliary classifier를 네트워크 중간 중간에 둔다.
    - GoogLeNet 구조 중 Pooling 계층에서 시작해 1x1 conv → FC → FC → softmax로 Loss를 측정하는 구조이다.
  - 역전파 시 여기에서도 역전파가 수행되고, 기존의 기울기와 결합하여 학습을 돕는다. 학습이 끝나면 제거한다.
  - regularization 역할도 수행하는 것으로 알려져있다.
ResNet
- 최초로 100개가 넘는 layer를 쌓음으로써, 더 깊은 layer를 쌓을수록 성능이 더 좋아진다는 것을 보여준 첫 모델이다. 또한, 인간의 지각 능력을 뛰어넘은 첫 모델이기도 하다.
- 계기
  - 네트워크 깊이를 늘리다보면 어느 순간부터 정확도(accuracy) 감소가 포화상태(saturated)에 이른다.
  - 기존 인식(가설)
    - 모델 파라미터가 너무 많아지면 overfitting 되어 training error가 더 적고 test error가 더 많은 결과가 나올 것이다.
  - 실험 결과
    - overfitting 문제가 아니다. training error든 test error든 더 깊은 층(56)의 네트워크가 더 얕은 층(20)의 네트워크보다 에러 수가 높게 나온다.
    - degradation 문제이다. 기울기 소실 때문에 최적화(optimization)이 덜 되어 깊은 층의 네트워크가 학습이 덜 된 것이다!
- residual(skip) connection : 층이 깊어질수록 기존의 input x의 영향력(기울기)이 소실되어 충분히 학습하기 어렵다. 따라서, 몇 개의 층을 지나면 기존의 x와 동일한 값(identity)를 잔차(residual)로 더해주어, 잔여부분만 학습함으로써 학습 부담을 경감시킨다. (분할정복과 비슷한 원리)
  - 역전파 시에도 gradient가 원래 네트워크 레이어 쪽과 skip connection 쪽 두 군데로 흐르므로, 한 곳에서 기울기 소실이 일어나더라도 다른 한쪽을 통해 학습을 정상적으로 지속할 수 있게 된다.
  - skip connection이 한번 일어날 때마다 역전파 gradient가 흐르는 방법의 경우의 수가 2배로 늘어나므로, 전체 경우의 수는 $2^n$ 개가 된다.
  - residual block은 2개의 3x3 conv layer로 이루어져 있다.
- 출력 직전 FC 층은 하나만 존재한다.

ResNet의 등장 이후에는 ...

DenseNet
- Dense block : x identity를 그대로 더하던 ResNet의 Residual block과 달리, 각 layer의 output을 채널 축 방향으로 concatenation한다.
  - 기울기 소실 문제 해결(Alleviate vanishing gradient problem)
  - featrue propagation 강화
  - feature 재활용 가능(Encourage the reuse of features) : concat으로 메모리는 더 많이 쓰게 되지만, 이전 층 layer들의 정보를 합치지 않고 그대로 보존하고 있어 필요할 때 꺼내 쓸 수 있게 된다.
SENet
- depth를 높이거나 connection을 사용하지 않고, 채널간의 관계를 모델링하여 중요한 특징에 Attention할 수 있도록 만드는 방법.
- Attention 생성 방법
  1. Squeeze : global average pooling으로 각 채널의 공간정보(H,W)를 없애고 분포(또는 magnitude)만 보게 한다.
  2. Excitation : FC layer를 하나 두어 Squeeze 한 값을 통과시키면서 채널간의 연관성을 나타내는(채널을 reweighting 하는) attention score를 계산한다.
EfficientNet
- 기존에 네트워크 성능을 높이는 방법
  - deep / wide / (high) resolution scaling
    - high resolution scaling : 애초에 input 이미지의 resolution이 높으면 성능이 더 좋아진다.
  - 그러나 세 방법은 각각 accuracy saturate의 시점이 다르다.
- 그래서 세 방법 모두를 적절히 섞은 compound scaling이 등장한다.
- 지금까지 나왔던 모든 방식들을 대상으로, 적은 FLOP에서도 압도적인 성능차를 보였다.
Deformable Convolution Network
- 불규칙적인 2D 이미지에 대한 convolution
  - 사람이나 동물등의 사진은 팔다리가 어떤 형태로 있느냐에 따라 다른 모양을 가진다.
- 기존의 convolution 필터에 추가로 2D offset map을 추정하기 위한 branch가 따로 결합되어있다.
  - conv 연산의 결과에 offset field를 추가시키면, offset된 feature map이 나온다.

이 모든 모델들은 단순히 말로는 이해하기 어려우니, 꼭 슬라이드와 논문을 참조해가면서 복습하도록 하자.

모델명	구조	메모리요구량	연산량	정확도	비고
AlexNet	매우 간단	높음	적음	낮음
VGGNet	간단	높음	매우 높음	높음	사용 용이
GoogLeNet	복잡	낮음	보통	매우 높음	사용하기 어려움
ResNet	보통	보통	보통	높음	사용 용이

Reference

K-Nearest Neighbor(KNN) Algorithm for Machine Learning - Javatpoint

Computer Vision 02 - 효율적인 데이터 학습을 위한 Annotation

Mon, 08 Mar 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

Annotation data efficient learning

실전에서 딥러닝을 사용할 때 가장 어려운 문제는 데이터의 레이블링이다. 레이블이 잘 붙여진 대량의 고품질 데이터가 있으면 효율적인 supervised learning을 수행할 수 있겠지만, 현실에서는 그런 경우가 거의 없거나 이를 구축하는 데에 비용이 매우 많이 든다.

따라서 주어진 데이터셋만으로 실제 데이터 분포를 따라가거나, 기학습된 정보를 이용하여 새로운 데이터셋을 더 효율적으로 학습하거나, 레이블이 없는 데이터셋까지 학습하는 다양한 data annotation 기법들을 살펴보자.

Data Augmentation

데이터셋은 항상 편향되어있다. 이미지 데이터를 예로 들자면, 구도, 사진사의 영향 등에 영향을 받기 때문에, 인간이 보기에 좋은 방향으로 치우쳐져 있다. 또 데이터셋은, 현실 데이터셋의 일부분(fractal)에 불과하므로 너무 sparse하기도 하다. 이처럼 학습에 사용되는 샘플 데이터셋과 현실 데이터셋 사이의 격차를 어떻게 메울 수 있을까?

Image Data Augmentation methods/techniques

잘라내기(Crop), 비틀기(Shear), 밝기 조절(Brightness), 원근 변환(Perspective), 회전(Rotate), 반전(Flip), 기하학 변환 등의 다양한 이미지 변환 기법이 사용된다.

OpenCV와 NumPy 라이브러리가 이러한 방식들을 지원하고 있다.

밝기조절(Brightness)
- 각 픽셀별 RGB 값에 동일한 값을 더하거나, 적당한 값을 곱하는 등으로 scaling해준다.
회전/반전(Rotate/Flip)
- 라이브러리에서 rotate 기능을 지원한다.
잘라내기(Crop)
- 사진에서 중요한 파트에 대해 더 강하게 학습할 수 있게 만들어주는 역할을 한다.
- 픽셀 범위 인덱싱으로 수행한다.
기하학 변환
- Affine transformation
  - 이미지의 선(line), 길이 비율(length ratio), 평행성(parallelism)은 보존한다.
  - 이미지의 네 꼭짓점 중 세 꼭짓점을 mapping 대응쌍을 AffineTransform 함수에 넣어준다.
  - 비틀거나, 회전하거나, 옮겨주는 기하학적 방법을 warping이라고 한다.
  - Shear transform이라고도 부른다.
최근의 변환 기법들
- CutMix
  - Cut과 Mix를 모두 사용하여, 잘라낸 각각의 두 사진을 이어붙여 학습데이터로 사용한다.. 이 때, 레이블도 동일한 비율로 조정한다.
  - 이를 통해 서로 다른 두 물체의 위치를 좀 더 정교하게 catch할 수 있게 된다.
- RandAugmentation
  - 여러가지 가능한 영상처리 기법을 어떤 방식으로 조합할 지 탐색하는 것. 즉, best sequence of augmentation을 자동으로 탐색하는 기술
  - 파라미터 : [사용할 기법의 종류(which), 기법의 강도(magnitude) ]
    - N개의 기법들 사이에서 샘플링한 뒤 수행하여 성능을 비교한다.

Leveraging pre-trained information

데이터를 적게 쓰고도 좋은 성능을 발휘하기 위해서, 다른 데이터 셋에서 학습된, 즉 pre-trained 정보를 활용 해볼 수 있다.

Transfer learning

Supervised learning에 사용되는 대용량의 데이터셋은 매우 비싸기도 하고, 사람이 만들었을 때 그 퀄리티를 보장하기 어렵다. 이를 해결하기 위한 실용적인 방법의 필요성이 대두되었다.

예를 들어, 주어진 데이터셋에서 오토바이의 바퀴를 찾아내고 싶다고 하자. 그런데 오토바이의 바퀴는 자동차의 바퀴와 비교적 비슷하게 생겼다. 따라서, 자동차의 사진들을 학습하여 바퀴를 구별해 낼 수 있는 기학습된 모델이 있다면, 해당 모델의 기학습된 정보를 이용하는 것이 좋을 것이다. 이런 경우에 전이학습(Transfer learning)을 사용한다.

기학습된 모델에서 전연결 계층(Fully connected layer)과 분류출력 부분만 제거하고, 그 대신에 새로운 전연결 계층과 내가 원하는 형태로 분류해줄 출력층을 정의한다. 이렇게 마지막 파트만 바꾼 모델을 다시 학습시킨다. 이 때, 합성곱 계층부(Convolution layers)는 Weight를 고정한다. 그래야 기존에 학습된 모든 정보들을 다 가지고 있기 때문이다. Pre-trained task에서 new task로 knowledge를 transfer하는 과정이다.

또는, 합성곱 계층부는 낮은 학습률로, 새로 바꾼 전연결 계층부는 높은 학습률로 설정하여 전체(whole model)를 모두 업데이트시키는 Fine-tuning 방법도 있다. 이 경우 부분만 학습하는 방식보다 조금 더 많은 데이터가 필요하겠으나, 당연히 성능은 더 좋을 것이다.

이 두 가지의 고전적인 방법과 더불어, 최근에는 좀 더 진보된 방식이 사용되고 있다.

Knowledge Distillation

Knowledge distillation은 대형 모델이 학습한 정보를 더 작은 별개의(another) 소형 모델로 전달해주는 방법이며, Teacher-student learning이라고도 불린다.

이는 모델 압축(model compression)에도 유용한 방법이다. 소형 모델이 대형 모델의 방식을 따라하기(mimicking) 때문이다.
최근에는 teacher model의 출력 레이블(예측)을 ground truth 레이블인 것 처럼 소형 모델에게 학습시키는 pseudo-labeling 방식으로도 사용되고 있다. 레이블이 없는 데이터에 가짜 레이블(pseudo-label)을 붙이기 때문에 붙여진 이름이다. 따라서 unsupervised learning의 일종으로도 볼 수 있다.

*위의 그림에서 Student Loss를 예측하는 부분은 Soft prediction이 아닌 Hard prediction으로, 오기입니다.

만약 레이블링이 된 데이터가 어느정도 있다면 있다면, 위와 같은 방식으로 student model의 학습을 두 갈래로 나누어 실제(ground truth) 레이블 데이터의 학습 비중을 좀 더 높이는 전략을 취할수도 있다.

Distillation Loss : pseudo-labeling을 이용한 가짜 레이블과의 Loss
- KL-Divergence(Soft label, Soft prediction)
- Teacher 모델 추론과 Student 모델 추론의 차이
- 즉, Teacher Network가 알고있는 knowledge를 (흉내냄으로써) 학습한다.
Student Loss : 실제 레이블 데이터와의 Loss
- CrossEntropy(Hard label, Soft Predction)
- Student Network의 추론과 실제 레이블간의 차이
- 정답(right answer)을 학습한다.

두 가지 Loss를 구하는 경우 중, Distillation Loss를 구할 때에는, 학습에 있어서 hard label 대신 soft label을 사용하는 Soft Prediction을 수행한다.

Hard label(one-hot vector) :, 해당 클래스가 '진짜' 정답인지 아닌지만을 명확히 판별하는 레이블. 일반적으로 데이터셋이 보유한 ground truth 레이블이다.
Soft label : 해당 데이터에 대해 모델이 어떻게 생각하는지, 즉 모델의 knowledge를 나타내주는 레이블이다. 일반적으로 모델의 output, 즉 추론한 결과이다.

Soft Prediction을 위해서는 모델의 추론 값을 Softmax에 통과시켜야 하는데, 이 때 T, 즉 Tempature라는 새로운 개념이 등장한다. 단순히 softmax만을 취하면, 입력의 값을 극단적으로 0 또는 1에 가깝게 벌려주게 된다. 이 대신에, 입력값을 temperature라는 상수로 나누어준 뒤 softmax를 취하면 output value를 어느정도 smooth하게 만들 수 있다. 이렇게 하여 output을 어느정도 입력(teacher model의 출력)을 따라가게 만듦으로써, student model이 teacher model을 더 잘 따라하게 할 수 있다.

또한, 기존에 학습된 teacher 모델의 task는 student 모델의 task와 전혀 다르기 때문에, teacher model의 각각의feature, 즉 dimension 정보는 그다지 중요하지 않다. 즉 각각의 element(node)가 가지는 semantic한 의미가 중요하지는 않다. 그보다는 teacher 모델의 행동을 추상적으로 정의하고 흉내내는 것이 student 모델의 목적이다. (Semantic information is not considered in distillation)

이처럼 두 갈래로 나누어 학습하는 경우, Distillation Loss와 Student Loss를 가중합(Weighted Sum)하여 Student 모델을 학습한다.

Leveraging unlabeled dataset for training

추가적인 레이블링 없이 성능을 올리는 방법에 대해서 살펴보자.

Semi-supervised learning

레이블이 있는 데이터는 supervised로, 레이블이 없는 데이터는 unsupervised로 학습하는 방식을 가리킨다. 레이블이 없는 데이터는 labeled data로 기학습된 모델을 이용하여 레이블이 없는 데이터들을 Pseudo-labeling하고, 이를 학습시킨다.

Self-training

위의 방법들을 잘 결합하여 새로운 지평을 연 최신 연구로, Self-training with noisy student라고도 한다. 기존의 Efficient Net에 비하여 큰 폭으로 성능이 향상되었다.

Teacher 모델이 실제 레이블을 토대로 가짜 레이블(pseudo-label)을 생성한다.
생성한 가짜 레이블과 실제 레이블을 섞어서(e.g. RandAugment) Student 모델을 학습시킨다.
기존의 Teacher 모델을 새로 만들어진 Student 모델로 갈아치운다. 즉, 학생이 자라서 선생이 된다.
1-3을 2~4회 정도 반복한다.

기존의 Knowledge Distillation에서는 Teacher 모델이 Student 모델보다 대형의 모델이었다. 그러나 이 방식을 사용하면,

각 round가 끝날때마다 Student 모델이 점점 더 커지게 된다.

Graph 07 - 그래프 신경망(Graph Neural Network)

Fri, 26 Feb 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

그래프 신경망

그래프 신경망(Graph Neural Network)은 출력으로 인코더를 얻는 귀납식 노드 임베딩 방법의 대표적인 사례이다.

GNN의 구조

그래프(의 인접행렬)와 정점의 속성 정보를 입력으로 받는다.

인접행렬 $A$ 는 $(|V|\times|V|)$ 의 이진행렬이다.
각 정점 $u$ $u$ 의 속성(Attribute) 벡터 $X_u$ $X_{u}$ 는 $m$ $m$ 차원 벡터이고, 이 때 $m$ $m$ 은 속성의 수를 의미한다.
- 속성 예시
  - 온라인 소셜 네트워크에서의 사용자 지역, 성별, 연령, 프로필 사진 등
  - 논문 인용 그래프에서 논문에 사용된 키워드에 대한 원-핫 벡터
  - PageRank 등의 정점 중심성, 군집 계수(Clustering Coefficient)

그래프 신경망은 이웃 정점들의 정보를 집계하는 것을 반복하여 임베딩을 얻는다.

위의 이미지에서, 정점 A의 임베딩을 얻기 위해 A.neighborhood의 정보를 다시 집계한다.
A.neighborhood.neighborhood에서, A가 다시 등장하는 것을 확인할 수 있다.
이처럼, 각 집계 단계를 층(Layer) 이라 부르고, 각 층마다 임베딩을 얻는다. 각 층에서는 이웃들의 이전 층 임베딩을 집계하여 새로운 임베딩을 얻는다.
- 0번 층, 즉 입력층의 임베딩으로는 정점의 속성 벡터를 사용한다.

이 때, 그래프에서 각 정점마다 이웃들이 다르므로 대상 정점마다 집계되는 정보가 상이하다. 이처럼 대상 정점별로 집계되는 구조를 계산 그래프(Computation Graph)라고 한다.

각 정점별 집계 정보가 다를지라도, 층 별 집계 함수는 공유된다. 정점 A나 정점 B나 0→1층에 사용되는 집계함수, 1→2층에 사용되는 집계함수는 동일하다.

서로 다른 층의 집계함수는 각기 다른 함수이다.
각 정점마다 연결성이 다르므로, 같은 집계함수를 사용하지만 입력의 수가 다를 수 있다. 즉, 집계함수는 서로 다른 구조의 계산 그래프를 처리할 수 있어야 한다.

집계 함수

집계 함수의 구조는 다음과 같다.

이웃들 정보의 평균을 계산한다.
- n개의 입력을 평균을 냄으로써 동일한 하나의 차원으로 축소할 수 있다.
신경망에 적용한다.

이를 수식으로 나타내면 다음과 같다.

\begin{aligned} h_v^0 &= x_v\\ h_v^k &= \sigma\Bigg(\textcolor{green}{W_k\sum_{u\in N(v)}\frac{h_u^{k-1}}{|N(v)|}}+\textcolor{blue}{B_kh_v^{k-1}}\Bigg), \forall k \in \{1,\dots,K\}\\ z_v &= h_v^K \end{aligned}

$h_v$ 는 정점 $v$ 의 임베딩을 의미한다.
0번층(입력층)의 임베딩은 정점 $v$ 의 속성 벡터로 초기화한다.
$k$ $k$ 번층(현재층)의 임베딩은 1부터 층의 수( $K$ $K$ )까지의 모든 $k$ $k$ 에 대하여 다음을 수행한다.
- $\textcolor{green}{W_k\sum_{u\in N(v)}\frac{h_u^{k-1}}{|N(v)|}}$ : 이전 층에서 계산한 이웃들의 임베딩 평균을 선형변환한다.
- $\textcolor{blue}{B_kh_v^{k-1}}$ : 이전 층에서의 정점 $v$ 의 임베딩을 선형변환한다.
- 두 선형변환한 값의 합을 비선형변환( $\sigma$ )한다.
마지막 층에서의 임베딩은 곧 출력 임베딩( $z_v$ )이다.
$W_k, B_k$ 는 GNN이 학습하는 파라미터이다.

GNN의 학습

1 - 먼저 손실함수를 정한다. 정점간 거리를 "보존"하는 것이 목표가 될 수 있다.

변환식 노드 임베딩처럼 인접성/거리 등을 기반으로 유사도를 정의하여 손실함수를 정의할 수 있다.

또는,

후속 과제(Downstream Task)의 손실함수를 이용한 End-to-End 학습도 가능

하다.

예를 들어, Node Classification이 최종 목표일 경우, 아래와 같은 과정으로 학습할 수 있다.

GNN을 이용하여 노드 임베딩을 수행하고, 임베딩 값을 얻는다.
분류기의 입력으로 임베딩 값을 사용한다.
각 노드의 유형을 분류한다.

이 때 Downstream Task인 Classifier의 손실함수, Cross Entropy를 전체 프로세스의 손실함수로 사용할 수 있다. 아래의 식은 이진분류를 위한 Cross Entropy 식이다.

\mathcal{L} = \sum_{v\in V}\textcolor{green}{y_v}(\log(\sigma(z_v^\top\textcolor{red}{\theta})) + (1-\textcolor{green}{y_v})\log(1-\sigma(z_v^\top\textcolor{red}{\theta}))

$\textcolor{green}{y_v}$ : 정점의 실제 유형으로, 0 또는 1의 값을 갖는다.
$\textcolor{red}{\theta}$ : Classifier의 학습 변수이다.

이처럼 Classifier의 손실함수를 토대로 Classfier뿐만 아니라 GNN 과정(Node Representation Learning)까지 역전파하여 한번에 학습할 수 있다.

End-to-End 학습을 통한 분류는 [Reductive Node Embedding(변환적 노드 임베딩) - Classifier 학습]보다 대체로 정확도가 더 높다.

2 - 학습에 사용할 대상 노드를 결정하여 학습 데이터를 구성한다.

선택한 일부 대상 노드들에 대해서만 계산 그래프를 구성한다. 이렇게 해도 되는 이유는, 집계함수가 공유되기 때문이다. 일부 노드에 대해서만 training하고, 다른 노드에 대해서 적용시킬 수 있다.

3 - 오차역전파를 통하여 손실함수를 최소화한다.

이 과정을 통해 신경망의 파라미터들을 학습한다.

4 - 학습된 신경망을 다른 노드들에 적용하여, 학습에 사용되지 않은 노드의 임베딩을 얻을 수 있다. 또는, 아예 다른 그래프에 적용하여 임베딩을 얻어볼수도 있다.

학습 이후에 추가된 노드의 임베딩 또한 얻을 수 있다.

그래프 신경망 변형

지금까지 보았던 GNN은 가장 기초적인 형태였고, 최근에는 이를 변형한 다양한 방법들이 대세를 이루고 있다. 가장 자주 사용되는 두 형태, 그래프 합성곱 신경망과 GraphSAGE를 알아보자.

그래프 합성곱 신경망

그래프 합성곱 신경망(Graph Convolution Network, GCN)의 집계함수는 다음과 같다.

\begin{aligned} h_v^0 &= x_v \\ h_v^k &= \sigma\Bigg(W_k\textcolor{red}{\sum_{u \in N(v)\cup v}\frac{h_u^{k-1}}{\sqrt{|N(u)||N(v)|}}}\Bigg), \forall k \in \{1,\dots,K\}\\ z_v &= h_v^K \end{aligned}

일견 기존 GNN과 큰 변화가 없어 보이지만, 다음과 같은 차이점들이 있다.

$B_k$ 파라미터가 있던 이전 층에서의 정점 $v$ 의 임베딩 값을 삭제하고, 동일 신경망을 사용하며 $W_k$ 파라미터 하나만 학습을 수행한다.
정규화 방법( $\sum$ 의 분모)이 기존에는 $v$ 의 연결성이었다면, 지금은 $v$ 와 $u$ 의 기하평균을 사용하고 있다.

GraphSAGE

GraphSAGE의 집계함수는 다음과 같다.

h_v^k = \sigma([W_k\cdot \text{AGG}(\textcolor{blue}{\{h_u^{k-1},\forall u \in N(v)\}}), \textcolor{green}{B_kh_v^{k-1}}])

이웃들( $N(v)$ )의 모든 임베딩을 AGG 함수로 합친 다음, 자신의 임베딩( $\textcolor{green}{B_kh_v^{k-1}}$ )과 연결(Concatenation)한다.

이 때 AGG 함수는 여러가지가 사용될 수 있다.

AGG 함수	수식	비고
Mean(평균)	$\text{AGG} = \sum_{u\in N(v)}\frac{h_u^{k-1}}{\\|N(v)\\|}$
Pool(풀링)	$AGG = \\gamma(\{Qh_u^{k-1}, \forall u \in N(v)\})$	$\gamma$ 는 원소별 최댓값을 의미
LSTM	$AGG = LSTM([h_u^{k-1},\forall u \in \pi(N(v))])$	$\pi$ 는 순서를 섞는다는 의미

합성곱 신경망과의 비교

그렇다면 GNN와 CNN은 어떤 유사점과 차이점이 있을까?

유사성

둘 모두 이웃의 정보를 집계하는 과정을 반복한다. 구체적으로, CNN은 이웃 픽셀의 정보를 집계한다.

차이점

CNN에서는 이웃(픽셀)의 수가 균일하지만, GNN에서는 노드별로 집계하는 이웃의 수가 다르다.

그래프의 인접 행렬에 CNN을 적용하면 효과적일까? 답은 '그렇지 않다'이다. \n CNN이 주로 사용되는 이미지는 인접 픽셀이 유용한 정보를 담고 있을 가능성이 높다. 그러나, 그래프의 인접행렬에서의 인접 원소는 제한된 정보만을 가진다. 특히, 인접 행렬의 행과 열 순서는 임의로 결정되는 경우가 많으므로, 인접 원소의 정보 유용성이 떨어진다. \n 따라서, 반드시 CNN이 아니라 GNN을 적용하여야 한다.

한계

GNN에서는 이웃들의 정보를 동일한 가중치로 평균을 낸다. GCN 또한 역시 단순히 연결성을 고려한 가중치로 평균을 낸다.

그러나 실제 그래프에서 모든 이웃들이 동등한 역할을 하는 것은 아니다. 실제 그래프에서는 이웃 별로 미치는 영향이 다를 수 있기 때문이다. 예를 들어 페이스북에서, 단순히 팔로우하는 친구보다 더 '친한 친구'가 있을 수 있다. 이런 것들을 고려할 수는 없을까?

그래프 어텐션(Attention) 신경망

Self-Attention

Graph Attention Network(GAT)는 (이웃과의 관계) 가중치 자체도 학습한다. 이 과정에서 self-attention이 사용된다.

각 층의 정점 $i$ 로부터 이웃 $j$ 로의 가중치 $a_{ij}$ 는 다음과 같이 계산한다.

해당 층의 정점 $i$ 의 임베딩 $h_i$ 에 신경망 $\textcolor{red}{W}$ 를 곱해 새로운 임베딩을 얻는다.
$\tilde{h}_i = h_i\textcolor{red}{W}$
정점 i와 j의 새로운 임베딩을 연결한 후, 어텐션 계수 벡터 $\textcolor{purple}{a}$ 를 내적한다. 어텐션 계수 $\textcolor{purple}{a}$ 는 모든 정점이 공유하는 학습변수이다.
$e_{ij} = \textcolor{purple}{a}^\top[\text{CONCAT}(\tilde{h}_i,\tilde{h}_j)]$
$e_{ij}$ 에 softmax를 적용한다.
$a_{ij} = softmax_j(e_{ij}) = \frac{\exp(e_{ij})}{\sum_{k \in N_i}\exp(e_{ik})}$

이 과정에서 사용되는 $\textcolor{red}W, \textcolor{purple} a$ 는 모두 오류역전파를 통한 학습의 결과로 얻어지는 파라미터들이다.

Multi-head attention

멀티헤드 어텐션(Multi-head Attention)으로, 여러 개의 어텐션을 동시에 학습한 뒤, 결과를 연결하여 사용할수도 있다.

h'_i = \underset{1\le k\le K}{\text{CONCAT}}\sigma\Bigg(\sum_{j \in N_i}a^k_{ij}h_jW_k\Bigg)

가중치 $a_{ij}$ 를 $k$ 개 얻어 집계한 결과를 concat하여 최종 임베딩값으로 활용한다.

GAT를 적용한 결과, GCN보다도 유의미한 성능의 향상을 볼 수 있었다.

그래프 임베딩

그래프 표현 학습, 혹은 그래프 임베딩(Graph Embedding)이란 그래프 전체를 벡터의 형태로 표현하는 것이다.

이는 개별 정점을 각각의 벡터로 표현하는 노드 임베딩과는 다른 개념이며, 그래프 임베딩은 벡터의 형태로 표현된 '그래프 자체'를 의미하기도 한다.

그래프 임베딩은 Graph Classification등에 이용되며, 그래프 형태로 표현된 화합물의 분자구조로부터 특성 예측 등에 사용될 수 있다.

그래프 풀링

그래프 풀링(Graph Pooling)이란 노드 임베딩들로부터 그래프 임베딩을 얻는 과정이다.

평균 등의 단순한 방법보다, 그래프의 구조를 고려한 방법을 사용할 경우 그래프 Classification 등의 downstream task에서 더 높은 성능을 얻는다고 알려져 있다.

미분가능한 풀링(Differentiable Pooling, DiffPool)은 군집 구조를 활용하여 임베딩을 계층적으로 집계한다.

Over-smoothing 문제

지나친 획일화(Over-smoothing) 문제란 그래프 신경망 층의 수가 증가함에 따라 정점의 임베딩이 서로 유사해지는 현상을 말한다.

이는 small-world network와도 관련있다.

위의 사진을 보면, 레이어를 층층이 쌓을수록 점점 노드들이 모이는 것을 볼 수 있다. 이는, 층을 쌓을 때마다 해당 노드를 임베딩하기 위해 확인하는 이웃 노드들의 범위가 커지기 때문이다.

1층일 때는 해당 노드의 이웃만 확인한다.
2층일 때는 해당 노드의 이웃의 이웃도 확인한다.
3층일 때는 해당 노드의 이웃의 이웃의 이웃도 확인한다.

이 과정이 반복되면서, 한 노드로 모이는 임베딩값은 결국 그래프의 넓은 부분을 커버하게 된다. 이에 따라 각 노드들의 특성 차이는 점점 희미해지고, 모든 노드들이 그래프의 대부분을 비슷하게 커버하기 때문에 비슷한 노드로 판별된다.

이처럼 그래프 신경망의 층의 수를 늘렸을 때, over-smoothing의 결과로 downstream task에서 정확도가 감소하는 현상이 발견되었다.

데이터에 따라 다르지만, 일반적으로 층을 2개 혹은 3개 정도 쌓을 때가 정확도가 가장 높다.
잔차항(Residual)을 넣어주는 것, 즉 이전 층의 임베딩을 한번 더 더해주는 것만으로는 효과가 제한적이다.

대안

이러한 Over-smoothing problem의 대안으로 JK 네트워크(Jumping Knowledge Network)는 마지막 층의 임베딩 뿐 아니라, 모든 층의 임베딩을 최종 집계함수에 같이 넣어주어 최종 임베딩을 얻는 방식을 사용한다.

APPNP는 0번째 층을 제외하고는 신경망( $W$ ) 없이 집계함수를 단순화하였다.

두 방법 모두 효과가 있는 것으로 나타났으며, 특히 APPNP의 경우 node classification downstream task에서 층의 수 증가에 따른 정확도 감소 효과가 없는 것이 확인되었다.

그래프 데이터의 증강

데이터 증강(Data Augmentation)은 다양한 기계학습 문제에서 효과적이다. 특히 이미지 관련 문제에는 더더욱 효과적이다.

그래프에도 누락되거나 부정확한 간선이 있을 수 있는데, 이를 데이터 증강을 통해 보완할 수 있다.

Random Walk를 통하여 정점간의 유사도를 계산한 뒤, 유사도가 높은 정점간의 간선을 연결하여 간선을 추가한 그래프를 GNN에 집어넣으면 더 효과가 좋다.

그래프에서 사용되는 데이터증강 기법으로는 HEAT, PPR 등이 있는데, 이러한 데이터 증강의 결과로 Node Classification의 정확도가 개선되는 것이 확인되었다.

Graph 05 - 노드 임베딩

Thu, 25 Feb 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

노드 임베딩(정점 임베딩)

정점 표현 학습

정점 표현 학습(Node Representation Learning)은 그래프의 정점들을 벡터 형태로 표현하는 것이다. 간단히 노드 임베딩(Node Embedding)이라고도 부른다.

노드 임베딩은 벡터 형태의 표현 그 자체를 의미하기도 한다. 정점이 표현되는 벡터 공간을 임베딩 공간이라고 하자.

정점 표현 학습의 입력은 그래프이다.
정점 표현 학습의 출력은 벡터표현 $z_u$ 로, 각 정점 $u$ 에 대한 임베딩을 의미한다.( $\mathbb{R}_d 차원$ )

왜 노드 임베딩을 사용하는가?

노드 임베딩을 하면 그래프의 노드들을 벡터형태로 표현할 수 있게 된다. 즉, 벡터 형태의 데이터들을 위한 도구들을 그래프에도 적용할 수 있다. 그래프를 위한 별도의 알고리즘이 아니라, 기계학습의 방식을 그래프에서 사용할 수 있는 것이다.

기계학습 도구들
- Classifier(로지스틱 회귀분석, MLP 등)
최신 ML 기법들을 정점 분류(Node Classificaiton), 군집 분석(Community Detection) 등에 사용할 수 있다.

K-Means, DBSCAN 같은 군집 분석 알고리즘들은 벡터형태로 표현된 사례(instance)들을 입력으로 받는다.

노드임베딩의 목표

노드 임베딩은 그래프에서의 정점간 유사도를 임베딩 공간에서도 보존할 수 있도록 수행되어야한다. 이 때, 유사도로는 내적(Inner Product)를 사용한다.

임베딩 공간에서의 노드 $u$ 와 노드 $v$ 의 유사도는 두 노드의 임베딩 출력값의 내적값과 같다. 내적은 두 벡터가 클 수록, 그리고 같은 방향을 향할 수록 큰 값을 갖는다.

\textrm{similarity}(u,v)\approx z^{\top}_vz_u = \Vert z_u\Vert\cdot\Vert z_v\Vert\cdot\cos(\theta)

인접성 기반 유사도

인접성 기반 유사도(Adjacency-based similarity)에서는 두 정점이 인접할 때 유사하다고 간주한다. 두 정점 $u$ 와 $v$ 가 인접하다는 것은 둘을 직접 연결하는 간선 $(u,v)$ 가 있음을 의미한다.

이를 인접행렬(Adjacency Matrix) $A$ 로 표현하였을 때, 두 정점 $u$ 와 $v$ 사이의 간선 $(u,v)$ 는 $A_{u,v}$ 로 나타낼 수 있으며, 인접하였을 경우 이 값이 1이고 그렇지 않으면 0이다. 따라서, 인접행렬의 원소 $A_{u,v}$ 를 두 정점 $u$ 와 $v$ 의 유사도로 나타낼 수 있다.

손실 함수

인접성 기반 접근법의 손실 함수(Loss Function)는 다음과 같으며, 손실을 최소화하는 노드 임베딩을 찾기 위해 SGD등이 사용된다.

\mathcal{L} = \sum_{(u,v)\in V\times V}\Vert \textcolor{purple}{z_u^{\top}z_v}-\textcolor{red}{A_{u,v}}\Vert^2

$\textcolor{purple}{z_u^{\top}z_v}$ : 임베딩 공간에서의 유사도
$\textcolor{red}{A_{u,v}}$ : 그래프에서의 유사도
임베딩 공간의 유사도와 그래프에서의 유사도 차이가 최소가 되도록 한다.

한계

그러나 인접성 기반의 접근방법은 거리가 1보다 큰 정점들의 유사도를 0으로밖에 계산하지 못하므로, 정점들간의 유사도를 제대로 비교하기에는 무리가 한계가 있다. 또한, 어느 군집에 속했는가(같은 군집인지 아닌지 여부)도 유사도에 반영되지 않는다.

거리/경로/중첩 기반 유사도

거리 기반 유사도

거리 기반 유사도(Distance-based Similarity)에서는 두 정점 사이의 거리가 '충분히' 가까운 경우 유사하다고 간주한다.

이 때, '충분히'의 기준은 임의적이다(하이퍼파라미터)

경로 기반 유사도

경로 기반 유사도(Path-based Similarity)에서는 두 정점 사이의 경로가 많을수록 유사하다고 간주한다.

두 정점 $u$ 와 $v$ 사이의 경로 중 거리가 $k$ 인 것의 수는 $A_{u,v}^k$ , 즉 인접행렬 $A$ 의 $k$ 제곱 행렬의 $u$ 행 $v$ 열 원소와 같다.

경로 기반 접근법의 손실함수는 다음과 같다.

\mathcal{L} = \sum_{(u,v)\in V\times V}\Vert z_u^{\top}z_v-A_{u,v}^\textcolor{red}k\Vert^2

중첩 기반 유사도

중첩 기반 유사도(Neighborhood-based Similarity)는 두 정점이 많은 이웃을 공유할수록 유사하다고 간주한다. 공유하는 이웃의 수에 비례하여 유사도가 높아진다.

정점 $u$ , $v$ 의 이웃집합을 각각 $N(u)$ , $N(v)$ 이라고 하자. 두 정점의 공통 이웃 수 $S_{u,v}$ 는 다음과 같이 정의한다.

S_{u,v} = |N(u)\cap N(v)| = \sum_{w\in N(u)\cap N(v)} 1

이 때 손실함수는 다음과 같다.

\mathcal{L} = \sum_{(u,v)\in V\times V}\Vert z_u^{\top}z_v-\textcolor{red}{S_{u,v}}\Vert^2

단순히 공통 이웃 수를 세는 것이 아니라, 자카드 유사도나 Adamic Adar 점수를 사용할 수도 있다.

자카드 유사도(Jaccard Similarity) : 공통 이웃의 수 대신 비율을 계산하는 방식
$0\le \frac{N(u)\cap N(v)}{N(u)\cup N(v)} \le 1$
Adamic Adar 점수 : 공통 이웃 각각에 가중치를 부여하여 가중합을 계산하는 방식. 연결성(Degree)이 높은 노드일수록 가중치가 적다.
$\sum_{w\in N(u)\cap N(v)}\frac{1}{d_w}$

임의보행 기반 유사도

임의보행 기반 유사도(Random walk-based similarity)는 한 정점에서 시작하여 랜덤 워크를 할 때 다른 정점에 도달할 확률을 유사도로 간주한다.

여기서 랜덤워크란, 현재 정점의 이웃 중 하나를 균일한 확률로 선택하여 이동하는 과정을 반복하는 것을 의미한다.

이 경우 시작 정점 주변의 이웃 노드들, 각 노드의 연결성 등에 따라서 확률이 달라진다. 또, 거리기반 유사도처럼 유사도 측정의 최대거리 $k$ 를 제한하지 않으므로, 그래프의 모든 노드들에 대하여 계산할 수 있게 된다.

따라서, 지역적 정보와 그래프 전역 정보를 모두 고려한다는 장점이 있다.

과정

각 정점에서 시작하여 랜덤 워크를 반복 수행한다.
각 정점에서 시작한 랜덤 워크 중 도달한 정점들의 리스트를 구성한다. 정점 $u$ 에서 시작하여 랜덤 워크 중 도달한 정점들의 리스트를 $N_R(u)$ 라고 한다. 한 정점을 여러번 도달한 경우, 해당 정점은 $**N_R(u)$ 에 여러번 포함될 수 있다**.
다음의 손실함수를 최소화하는 임베딩을 학습한다.
$\mathcal{L} = \textcolor{green}{\sum_{u\in V}}\textcolor{orange}{\sum_{v\in N_R(u)}} - \log(\textcolor{blue}{P(v|z_u)})$
- $\textcolor{blue}{P(v|z_u)}$ : $u$ 에서 시작한 랜덤워크가 $v$ 에 도달할 확률을 임베딩으로부터 추정한 결과를 의미한다. 이 (확률)값이 크면 클수록 좋다.
  $\textcolor{blue}{P(v|z_u)} = \frac{\exp(z_u^\top z_v)}{\sum_{n\in V}\exp(z_u^\top z_n)}$
  - 즉, 유사도 $\exp(z_u^\top z_v)$ 가 높을 수록 도달 확률이 높다.
- $\textcolor{orange}{\sum_{v\in N_R(u)}}$ : 랜덤 워크 중 실제로 마주친(도달한) 모든 정점에 대하여 합산
- $\textcolor{green}{\sum_{u\in V}}$ : 모든 시작점마다 수행하여 합산
DeepWalk와 Node2Vec
랜덤워크의 방식에 따라 DeepWalk와 Node2Vec으로 나눌 수 있다.

DeepWalk는 위에서 설명했던 것과 같이 균일한 확률의 랜덤워크를 수행한다.

Node2Vec은 2차 치우친 임의보행(Second-order Biased Random Walk)를 사용한다.

현재 정점( $v$ )과 직전에 머물렀던 정점( $u$ )을 모두 고려하여 다음 정점을 선택하며, 직전 정점의 거리를 기준으로 경우(이전의 정점과 거리가 가까워지는/유지되는/멀어지는 경우)를 구분하여 차등적인 확률을 부여한다.

이 차등적인 확률은 하이퍼파라미터이며, 어떻게 부여했는지에 따라 다른 임베딩을 얻는다. 아래의 그림은 Node2Vec 방식으로 K-means 군집 분석을 수행한 결과이다.

멀어지는 방향에 높은 확률을 부여하면, 정점의 '역할'(bridge 역할, 변두리 정점 등)이 같은 경우 임베딩이 유사해진다.
가까워지는 방향에 높은 확률을 부여하면, 같은 군집에 속한 정점들끼리 임베딩이 유사하게 나온다.

손실 함수 근사

랜덤 워크 기반의 손실함수는 정점의 수의 제곱에 비례하는 시간이 소요된다. 모든 시작점 각각에 대하여, 모든 도달점의 경우를 고려하기 때문이다.

이런 제곱합을 피하기 위해서 대부분 근사식을 사용하는데, 모든 정점에 대해 정규화하는 대신 몇개의 정점을 뽑아 비교하는 형태이다. 이 때 뽑힌 정점들을 Negative sample이라고 부른다.

\begin{aligned} \log\bigg(\frac{\exp(z_u^\top z_v)}{\sum_{n\in V}\exp(z_u^\top z_n)}\bigg)&\approx log(\sigma(z_u^\top z_n)) - \sum_{i=1}^k\log(\sigma(z_u^\top z_n)),n_i\\ &\sim P_V(확률분포) \end{aligned}

$\sigma$ : sigmoid 함수
Negative sample의 숫자가 더 많을수록 학습이 안정적이다.

변환식 노드 임베딩과 귀납식 노드 임베딩

지금까지 언급한 노드 임베딩 방식들은 변환식(Transductive) 방법으로, 학습의 결과로 정점의 임베딩 값 자체를 출력값으로 얻는다.

그런데, 이런 변환식 방법에는 여러 한계가 있다.

학습이 진행된 이후에 추가된 정점에 대해서는 임베딩을 얻을 수 없다. 다시 학습을 수행해야한다.
모든 정점에 대한 임베딩을 미리 계산하여 저장해두고 꺼내 써야한다.
정점이 속성(Attribute) 정보를 가진 경우 이를 활용할 수 없다.

따라서 이런 한계점을 극복한 노드 임베딩 방식으로, 정점을 임베딩으로 변화시키는 '함수', 즉 인코더를 얻는 귀납식(Inductive) 방법이 나오게 되었다. 귀납식 노드 임베딩 방식의 대표적인 방식이 그래프 신경망(Graph Neural Network)이다.

Graph 06 - 추천 시스템

Thu, 25 Feb 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

장점	단점
다른 사용자의 구매기록이 필요없음	부가정보가 없는 경우 사용 불가
독특한 취향의 사용자에게도 추천 가능	구매기록이 없는 사용자에게는 사용 불가
새 상품에 대한 추천 가능	Overfitting으로 지나치게 협소한 추천을 할 위험이 있음
추천의 이유를 제공할 수 있음

장점	단점
상품에 대한 부가 정보(속성 정보)가 없어도 사용 가능	충분한 수의 평점 데이터가 누적되어야함
	새 상품, 새 사용자에 대한 추천 불가
	독특한 취향의 사용자에게 추천 불가(취향이 유사한 사람을 찾아내기 어려움)

주어진 그래프에 대한 배치 모형은,

각 정점의 연결성(Degree)을 보존한 상태에서
간선들을 무작위로 재배치하여

얻은 그래프를 의미한다.

배치 모형에서 임의의 두 점 $i$ 와 $j$ 사이에 간선이 존재할 확률은 연결성에 비례한다.

군집성의 정의

배치모형이 주어지면, 군집탐색의 성공 여부를 판단하기 위해 그래프와 배치모형의 군집성(Modularity)을 확인한다.

\frac{1}{2|E|}\sum_{s \in S}(\#edges\in s \text{\ in\ Graph} - \mathbb{E}\#edges\in s \text{\ in\ ConfigModel})

배치모형에서 기댓값을 사용하는 이유는, 배치모형의 간선의 수는 무작위이기 때문이다.

이 때, 배치모형과 비교하여 그래프에서 군집 내부 간선의 수가 월등히 많을수록 성공한 군집 탐색이다.

무작위로 연결된 배치모형과의 비교를 통해 통계적 유의성을 판단한다.
정규화하기 때문에 항상 -1~1 사이의 값을 갖는다.
군집성이 일반적으로 0.3 ~ 0.7정도의 값을 가질때 그래프에 존재하는 통계적으로 유의미한 군집을 찾아냈다고 할 수 있다.

군집 탐색 알고리즘

Girvan-Newman 알고리즘

대표적인 하향식(Top-down) 군집 탐색 알고리즘으로, 전체그래프에서 군집들이 서로 분리되도록 서로 다른 군집간의 bridge 간선을 순차적으로 제거한다.

이러한 다리 간선을 찾아내기 위하여, 간선의 매개중심성(Betweenness Centrality)을 이용한다.

매개중심성이란, 해당 간선이 정점 간의 최단 경로에 놓이는 횟수를 의미한다.

정점 $i$ 로부터 $j$ 로의 최단 경로 수를 $\sigma_{i,j}$ 라고 하고, 그 중 간선 $(x,y)$ 를 포함한 것을 $\sigma_{i,j}(x,y)$ 라고 할 때, 간선 $(x,y)$ 의 매개 중심성은 다음 수식으로 계산된다.

\sum_{i<j}\frac{\sigma_{i,j}(x,y)}{\sigma_{i,j}}

그러므로, Girvan-Newman 알고리즘은 매개중심성이 높은 간선을 순차적으로 제거하여 군집을 분리하는 방식이다.

간선이 제거될 때마다, 매개 중심성을 다시 계산하여 갱신한다.
모든 간선이 제거될때까지 반복한다.

이 때 간선의 제거 정도에 따라 다른 입도(Granularity)의 군집구조가 나타나는데, 군집성이 최대가 되는 지점까지 제거한다. 단, 현재 연결 요소들을 군집으로 가정하되 입력 그래프에서 군집성을 계산한다.

군집성의 변화를 기록해두었다가, 최대가 되는 지점으로 복원한다.

Louvain 알고리즘

대표적인 상향식(Bottom-up) 군집 탐색 알고리즘으로, 개별 정점에서 시작하여 군집을 합쳐가며 점점 큰 군집을 형성한다.

개별 정점으로 구성된 크기 1의 군집들로부터 시작한다.
각 정점 $u$ 를 기존 혹은 새로운 군집으로 이동한다. 이 때, 군집성이 최대화되도록 군집을 결정한다.
더 이상 군집성이 증가하지 않을 때까지 2를 반복한다.
각 군집을 하나의 정점으로 하는 군집 레벨의 그래프를 얻은 뒤 3을 수행한다.
한개의 정점이 남을 때까지 4를 반복한다.

중첩 군집 구조

위의 Girvan-Newman 알고리즘, Louvain 알고리즘 등은 군집간의 중첩이 없다고 가정하고 있는데, 실제 그래프의 군집들은 중첩되어있는 경우가 많다. 이를 해결하기 위해 중첩 군집 모형을 따로 정의한다.

아래와 같은 중첩 군집 모형을 가정한다.

각 정점은 여러 개의 군집에 속할 수 있다.
각 군집 $A$ 에 대하여, 같은 군집에 속하는 두 정점은 $P_A$ 확률로 간선으로 직접 연결된다.
두 정점이 여러 군집에 동시에 속할 경우 간선 연결 확률은 독립적이다. 예를 들어, 군집 $A$ 와 $B$ 에 두 정점이 동시에 속할경우, 두 정점이 간선으로 연결될 확률은 $1-(1-P_A)(1-P_B)$ 이다.
어느 군집에도 함께 속하지 않는 두 정점은 낮은 확률 $\epsilon$ 으로 직접 연결된다.

중첩 군집 모형(각 정점들이 어떤 확률로 연결되어있는지)이 주어지면, 해당 그래프의 확률을 계산할 수 있다.

그래프의 확률은 다음 확률들의 곱이다.

그래프의 각 간선이 두 정점이 (모형에 의해) 직접 연결될 확률
그래프에서 직접 연결되지 않은 각 정점 쌍이 (모형에 의해)

그러나 현실에서, 대부분 중첩 그래프는 있지만, 중첩 군집 모형은 주어지지 않는 경우가 많다. 중첩 군집 탐색은 역으로 주어진 그래프의 확률을 최대화하는 중첩 군집 모형을 찾는 과정이다.

통계 용어로는 최우도 추정치(Maximum Likelihood Estimate)를 찾는 과정이다.
이 때, 각 정점의 특정 군집 소속여부가 이산적(discrete)으로 결정되기 때문이다. 따라서 연속적인 값을 최적화하는데 사용하는 일반적인 경사하강법 등을 사용할 수 없다.

따라서, 중첩 군집 탐색을 용이하게 하기 위해 완화된 중첩 군집 모형을 사용한다. 이 모형에서는 각 정점이 각 군집에 속해 있는 정도를 0(속하지 않음)과 1(속함)으로 표시하는 것이 아니라, 실숫값으로 표현한다. 중간 상태를 표현할 수 있게 된 것이다.

모형의 매개변수(간선 값)들이 실수 값(연속된 값)을 가지므로, 익숙한 최적화 도구(경사하강법 등)을 수행하여 탐색할 수 있다.

Graph 03 - 전파 모형

Tue, 23 Feb 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

전파 모델

그래프를 통한 정보 전파

온라인 소셜네트워크를 통해 전파되는 정보가 대표적인 예시이다.

트위터, 페이스북등을 통한 뉴스 전파
아이스버킷 챌린지, 펭귄 문제 등

또는 컴퓨터 네트워크의 고장 전파 상황도 예로 들 수 있다.

특정 장비의 고장은 다른 장비의 과부하로 이어져, 고장이 전파되는 양상을 띈다.
이는 파워그리드에서 정전이 퍼져나가는 현상과 유사하다.

사회에서의 질병 전파도 마찬가지이다.

코로나 19, 메르스, 사스

의사결정 기반의 전파 모형

언제 사용하는가?

주변 사람의 의사결정이 본인의 의사결정에 영향을 미친다. 주변사람들의 의사결정을 고려하여 각자 의사결정을 내리는 경우 의사결정 기반의 전파 모형을 사용한다.

친구들이 모두 페이스북 메신저를 사용하면, 카카오톡 대신 페이스북 메신저를 사용하게 될 것이다.

의사결정 기반의 전파 모형 중 가장 간단한 것으로 선형 임계치 모형(Linear Threshold Model)을 살펴보자.

선형 임계치 모형

친구 관계의 두 사람 $u$ 와 $v$ 가 있다고 할 때, 두 사람이 호환되지 않는 기술 A와 B 중 하나를 선택하여 사용하는 경우를 생각해보자.

두 사람 모두 A를 사용하면, 행복이 a만큼 증가한다.
두 사람 모두 B를 사용하면, 행복이 b만큼 증가한다.
두 사람이 각각 다른 기술을 사용하면, 행복이 증가하지 않는다(서로 교류할 수 없기 때문에)

이를 확대시켜 사회에서 적용시켜보면, 각자는 본인과 연결된 수많은 vertex가 어떤 기술을 사용하는지 고려하여 결정을 내리게 된다.

만약 $u$ 의 주위에 A를 사용하는 사람이 5명이고, B를 사용하는 사람이 8명이라고 생각해보자. $u$ 의 선택에 따라 행복은 5a가 될수도, 8b가 될수도 있다. 각자는 행복을 최대화하는 선택을 한다는 가정하에, 5a와 8b중 더 큰것을 고를 것이다.

이를 일반화하여, $p$ 비율의 이웃이 A를 선택했을 때 $1-p$ 비율의 이웃이 B를 선택했다고 가정하자. 이 때 A를 선택할 확률은 $ap$ > $b(1-p)$ 이다.

정리하면, $p>\frac{b}{a+b}$ 일때 A를 선택하며, 이때 편의상 $\frac{b}{a+b}$ 를 임계치 $q$ 라고 한다. 이 모형을 선형 임계치 모형이라고 한다.

각 정점은 이웃 중 A를 선택한 비율이 임계치 $q$ 를 넘을 때에만 A를 선택한다.

그런데, 주위 사람들이 다 B를 쓰더라도, 이와 관계없이 A를 고수하는 얼리어답터 vertex $u$ 와 $v$ 가 있다고 생각해보자. 이 두 vertex가 다른 정점들의 선택에 어떤 영향을 미칠까?

임계치가 55%일때, $u$ 와 $v$ 의 선택을 고려하면 정점들의 선택은 다음과 같이 바뀐다.

순식간에 주변 노드들의 영향을 받아 A기술을 선택하는 비율이 늘었다. 이 전파를 끝까지 지속해보면,

위와 같이 두개의 정점을 제외하고는 모두 A 기술을 쓰는 것으로 판도가 뒤바뀐다. 이 때 남은 두 노드는 임계치를 넘지 않았기 때문에 바뀌지 않는다.

확률적 전파 모형

언제 사용하는가?

의사결정 기반의 전파 모형은 전파 과정을 간단하게 표현할 수 있지만, '의지'나 '결정'이 들어가지 않은 전파에 대해서는 적합하지 않다. 예를 들어, 코로나 19 바이러스에 걸리는 상황을 가정해보자. A기술과 B기술을 선택하는것과 달리, 코로나 19 바이러스는 아무도 걸리기로 '결정'하지 않을 것이다.

이처럼 코로나 전파는 의사결정이 아닌 확률적 과정이기 때문에, 확률적 전파 모형을 고려해야 한다.

확률적 전파 모형의 가장 간단한 것으로 독립 전파 모형(Independent Cascade Model)이 있다.

독립적 전파 모형

방향성이 있고 가중치가 있는 그래프를 가정할 때, 각 간선 $(u,v)$ 의 가중치 $p_{uv}$ 는 $u$ 가 감염되었을 때 $v$ 를 감염시킬 확률이다.

이 때 $v$ 는 감염되지 않았다고 가정한다.

서로 다른 이웃이 전염되는 확률은 독립적이므로, 최초 감염자들로부터 전파가 늘어남에 따라 전파확률이 기하급수적으로 늘어나게 된다.

이 때 첫 감염자를 seed 집합이라고 한다.

이러한 형태를 가지는 모델을 독립적 전파 모형이라고 한다. 이 때 감염자의 회복을 가정하는 SIS, SIR등의 다른 전파모형도 있다.

바이럴 마케팅과 전파 최대화 문제

바이럴 마케팅은 소비자들로 하여금 긍정적인 입소문을 내도록 하여 제품을 홍보하는 기법으로, 홍보의 시작점이 아주 중요하다. 시작점이 어디인지 따라서 입소문의 전파 범위가 영향을 받기 때문이다. 이 시작점으로 소셜 인플루언서들이 자주 채택되는데, 이는 인플루언서들이 높은 광고비를 받는 이유 중 하나다.

시드 집합의 중요성

앞서 설명한 모형에서, 시드집합은 전파 크기에 큰 영향을 미쳤다. 그런데 만약 시드 집합이 막다른 정점에 있었다면, 전파가 거의 이루어지지 않게 된다. 따라서 전파 크기를 최대화시키기 위해서는 이 시드집합을 잘 골라야 한다.

이처럼 그래프, 전파 모형, 시드 집합의 크기가 주어졌을 때 전파를 최대화하는 시드집합을 찾는 문제를 전파 최대화 (Influence Maximization) 문제라고 부른다.

전파 최대화 문제

그래프의 $|V|$ 개의 정점이 있을 경우, 시드 집합 크기가 $k$ 개로 제한되더라도 경우의 수는 $_{|V|}C_k$ 가 된다. 이는 굉장히 큰 수치이고, 이론적으로 많은 전파 모형에 의해 전파 최대화 문제는 NP-hard임이 증명되었으므로 최고의 시드를 바로 구하기는 어렵다.

정점의 수가 1000개, 시드 집합의 크기가 10개라고 칠 때 경우의 수는 몇 해(垓)를 넘어간다.

대신에, 최고의 시드 집합에 근사하는 휴리스틱(heuristics)을 사용해 볼 수 있다.

휴리스틱이란, 이론적으로는 증명할 수 없지만 실험적으로는 잘 동작하는 간편추론을 일컫는다. '대충 어림짐작'쯤으로 표현할 수 있다.

전파 최대화 휴리스틱의 종류

대표적 휴리스틱으로 정점의 중심성(Node Centrality)를 사용한다. 시드 집합의 크기가 $k$ 개일 때, 정점의 중심성이 높은 순으로 $k$ 개의 정점을 선택하는 방법이다.

정점의 중심성으로는 [페이지랭크 점수, 연결 중심성, 근접 중심성, 매개 중심성] 등이 있다.
합리적인 방법이지만, 최고의 시드 집합을 찾는다는 보장은 없다. 다만 실험적으로는 좋은 결과를 낸다.

또, 탐욕 알고리즘(Greedy Algorithm) 역시 많이 사용된다. 시드 집합의 원소, 즉 최초 전파자를 한번에 한명씩 선택하며, 매 순간 시뮬레이션 하여 더 많은 전파를 일으킬 수 있는 시드를 찾아 다음 타겟으로 지목한다.

이 때, 전파의 크기를 비교하기 위해 시뮬레이션을 반복하여 평균 값을 사용한다.
이렇게 한 타겟씩 뽑는 것을 뽑은 시드 집합이 목표 크기에 도달할 때까지 반복한다.
따라서, 최초 전파자간 조합을 고려하지 않고 근시안적으로 최초 전파자를 선택하는 과정을 반복한다.

이처럼 탐욕 알고리즘은 일견 현명하지 않은 판단처럼 보일지 몰라도, 독립 전파 모형에 의해 정확도가 일부 보장된다.

탐욕 알고리즘으로 찾은 시드 집합에 의한 평균 전파 크기가, 최고(이상적) 시드집합에 의한 평균 전파크기의 최소 0.632배 이상은 된다는 것이 증명되어있다. 즉, 최저성능이 보장되어있다.

Graph 02 - 페이지랭크 알고리즘

Tue, 23 Feb 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

PageRank 알고리즘

웹은 웹페이지와 하이퍼링크로 구성된 방향성 있는 그래프(Digraph)이다.

하이퍼링크는 웹페이지에서 나가는 간선에 해당한다.

구글 이전의 검색엔진

웹에서 방대한 양의 자료를 어떻게 하면 효율적으로 검색할 수 있을까? 이에 대해 구글 이전의 검색엔진은 다음과 같은 방식들을 시도했다.

웹을 하나의 거대한 디렉토리로 보고, 카테고리별로 정리하기
- 그러나, 웹페이지의 수가 너무 많기 때문에 카테고리의 수와 깊이가 무한정 커질수밖에 없었다.
- 또, 카테고리의 구분이 모호하여 저장과 검색이 어려웠다.
키워드에 의존한 검색엔진
- 해당 키워드를 (여러 번) 포함한 웹페이지를 반환한다.
- 그러나, 검색엔진에 노출되기 위해 관련성 없는 단어들을 넣은 악의적인 웹페이지에 취약했다.

이러한 문제점들을 해결하기 위해, 구글의 창업자, 당시 스탠포드 박사과정이었던 래리 페이지와 세르게이 브린은 The PageRank Citation Ranking : Bringing Order to Web 라는 논문을 내어 PageRank 알고리즘을 제안한다.

페이지 랭크 알고리즘

페이지랭크(PageRank) 알고리즘 의 여러 정의와 원리에 대해서 알아보자.

정의 - 투표 관점

투표를 기반으로 사용자 키워드와 관련성이 높고 신뢰할 수 있는 웹페이지를 찾는다.

이 때, 투표는 '하이퍼링크'를 의미한다. 어떤 웹페이지 $u$ 가 다른 웹페이지 $v$ 로의 하이퍼링크를 포함한다면, $v$ 가 유용하다고 생각했기 때문일 것이다. 따라서,

하이퍼링크로 많이 참조된(즉, 들어오는 간선이 많은) 웹페이지일수록 투표를 많이 받은 웹페이지

로 볼 수 있다.

그러나, 들어오는 간선을 세는것만으로 충분할까? 만약 그렇게 한다면, 하이퍼링크를 많이 참조해 둔 웹페이지를 이곳 저곳 만들어 뿌려두는 것으로 악용할 수 있을 것이다. 따라서 이런 경우를 걸러내기 위해, '가중 투표'를 실시한다. 관련성이 높고 신뢰할 수 있는 웹사이트의 투표에 더 가중치를 두어 계산한다.

이 때 '관련성'과 '신뢰성'의 개념도 결국 투표로 결정될 수 있으므로, 재귀(recursion)와 연립방정식을 통해 이를 구현한다.
- 어떤 페이지의 신뢰성(페이지랭크)는 결국 다른 페이지의 신뢰성(페이지랭크)에 따라 결정되는데, 이 과정이 재귀적으로 반복된다.

위의 이미지에서 웹페이지 $j$ 의 페이지랭크 점수 $r_j$ 를 구하면, $r_j=r_i/3+r_k/4$ 이다.

이를 수식으로 일반화하면 다음과 같은 식이 된다.

r_j = \sum_{i\in N_{in}(j)}\frac{r_i}{d_{out}(i)}

그런데 이 때, 내가 참조(out)하는 페이지가 나를 참조(in)하고 있을수도 있다. 이 경우 $r_i$ 에 $r_j$ 가 포함되므로, 결국 해당 페이지의 페이지랭크를 구하려고 하는 데 해당 페이지의 페이지랭크를 알아야하는 방식이 된다.

정의 - Random Walk 관점

임의 보행(Random Walk)을 통해 웹을 서핑하는 웹 서퍼를 가정한다. 즉, 웹서퍼는 현재 웹페이지의 하이퍼링크 중 하나를 균일한 확률로 클릭한다.

웹 서퍼가 $t$ 번째 방문한 웹페이지가 웹페이지 $i$ 일 확률을 $p_i(t)$ 라고 할 때, $p(t)$ 는 길이가 웹페이지 수와 같은 확률 분포 벡터가 된다.

즉, ( $i$ 로 들어오는 간선이 있는) 모든 페이지에서 웹페이지 $i$ 를 클릭할 확률 $p_i(t)$ 를 모두 모아놓은 벡터이다. 당연히 길이가 웹페이지 수와 같아진다.

이를 일반화하면 다음과 같다.

p_j(t+1) = \sum_{i\in N_{in}(j)}\textcolor{green}{\frac{\textcolor{blue}{p_i(t)}}{d_{out}(i)}}

$\textcolor{crimson}{t+1}$ 번째에 $\textcolor{crimson}{j}$ 를 방문하기 위해서는 $\textcolor{crimson}{t}$ 번째에 $\textcolor{crimson}{j}$ 에 들어오는 이웃( $\textcolor{crimson}{i}$ )에 있어야 한다. - $\textcolor{blue}{p_i(t)}$
페이지 $\textcolor{crimson}{i}$ 에서 나가는 간선 중 $\textcolor{crimson}{j}$ 로 향하는 간선(하이퍼링크)을 클릭할 확률은 $\textcolor{green}{1/d_{out}(i)}$ 이다.
따라서, $\textcolor{crimson}{t}$ 번째에 $\textcolor{crimson}{i}$ 에 있다가 $\textcolor{crimson}{t+1}$ 번째에 $\textcolor{crimson}{j}$ 로 옮겨올 확률은 $\textcolor{green}{\textcolor{blue}{p_i(t)}/d_{out}(i)}$ 가 된다.
이를 $\textcolor{crimson}{j}$ 로 들어오는 모든 간선(하이퍼링크)에 대해서 계산하여 합치면, $\textcolor{crimson}{t+1}$ 번째에 페이지 $\textcolor{crimson}{j}$ 에 들어올 확률이 된다.

이 때, 웹 서퍼가 충분히 많이 서핑을 하게 되면(즉, $t$ 가 무한히 커지면) 확률 분포는 $p(t)$ 에 수렴하게 된다. 다시말해, $\textcolor{red}{p(t)=p(t+1)=p}$ 가 성립하게 된다.

수렴한 확률분포 $\textcolor{red}{p}$ 를 정상 분포(Stationary Distribution)이라고 부르고, 이를 통해 위의 수식을 다음과 같이 바꿀 수 있다.

p_j(t+1) = \sum_{i\in N_{in}(j)}\frac{p_i(t)}{d_{out}(i)} \Rarr \textcolor{red}{p_j = \sum_{i\in N_{in}(j)}\frac{p_i}{d_{out}(i)}}

이 수식은 투표 관점에서 정의했던 페이지 랭크 점수와 동일하다.

\underbrace{r_j = \sum_{i\in N_{in}(j)}\frac{r_i}{d_{out}(i)}}_{투표 관점\ 페이지랭크점수\ r} \quad\quad \underbrace{p_j = \sum_{i\in N_{in}(j)}\frac{p_i}{d_{out}(i)}}_{임의보행관점\ 정상분포\ p}

페이지 랭크의 계산

반복곱

페이지랭크를 정의대로 계산하기 위해 반복곱(Power Iteration)을 사용한다.

각 웹페이지 $i$ 의 페이지랭크 점수 $r_j^{(0)}$ 를 동일하게 $1/{\#page\_num}$ 로 초기화한다.
아래 식을 이용하여 각 웹페이지의 페이지랭크 점수를 갱신한다.
$r_j^{(t+1)} = \sum_{i\in N_{in}(j)}\frac{r_i^{(t)}}{d_{out}(i)}$
페이지랭크 점수가 수렴( $r^{(t)}\approx r^{(t+1)}$ )하였으면 종료하고, 아니면 2를 다시 수행한다.

문제점

그런데, 이 반복곱이 항상 수렴한다고 보장할 수 있을까?

수렴하지 않고 진동하는 경우도 있다.
이는 들어오는 간선은 있지만, 나가는 간선은 없는 정점 집합인 스파이더 트랩(Spider Trap)에 의한 문제이다. ( $a\rightleftarrows b$ 의 무한 반복)

또, 수렴한다고 하더라도 "합리적인" 점수로 수렴하는 것을 보장할 수 있을까?

페이지 랭크의 점수가 0으로 수렴하는 경우도 있다.
들어오는 간선은 있지만, 나가는 간선은 없는 막다른 정점(Dead End)에 의한 문제이다.

해결책

위에서 제기된 문제들을 해결하기 위해, 순간이동(Teleport)를 도입하여 탈출 시나리오를 끼워넣는다.

예를 들어, Random Walk 관점에서는 다음과 같이 행동한다.

현재 웹페이지에 하이퍼링크가 있는지 확인한다.
1. 없다면, 임의의 웹페이지로 순간이동하고, 처음부터 다시 시작한다.
2. 있다면, 앞면이 나올 확률이 $\alpha$ 인 동전을 던진다.
동전이 앞면이라면, 하이퍼링크 중 하나를 Random Walk로 클릭한다.
동전이 뒷면이라면, 임의의 웹페이지로 순간이동한다.

순간이동을 통한 탈출로 spider trap이나 dead end에 갇히는 일이 없어졌다.

이 때 $\alpha$ 를 감폭비율(Damping Factor)이라고 부른다.

감폭비율은 일반적으로 0.8정도를 사용한다.

이제, 페이지랭크 점수 계산을 순간이동을 도입시켜 수정해보자.

각 막다른 정점에서 (자신을 포함한) 모든 다른 정점으로 가는 간선을 추가한다.
아래 수식을 사용하여 반복곱을 수행한다.

r_j = \underbrace{\textcolor{blue}{\sum_{i\in N_{in}(j)}\bigg(\alpha\frac{r_i}{d_{out}(i)}\bigg)}}_{by\ 하이퍼링크} + \underbrace{\textcolor{red}{(1-\alpha)\frac{1}{|V|}}}_{by\ 순간이동}

위의 이미지는 수정된 페이지 랭크의 예시이다. 다음과 같은 특이점을 발견할 수 있다.

B는 여러 페이지로부터 투표(참조)를 받았으므로 점수가 높다.
점수가 낮은 페이지(보라색)들은 들어오는 간선이 없다. 그럼에도 불구하고 점수가 존재하는 이유는, 순간이동을 통해 들어올 가능성이 존재하기 때문이다.
C는 들어오는 간선이 하나밖에 없음에도, 신뢰성이 높은 페이지 B가 참조하는 단 하나의 링크이기때문에 점수가 높다.

Graph 01 - 그래프 기초와 패턴

Mon, 22 Feb 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

Graph Basic

그래프(Graph)는 정점(Vertex) 집합과, 간선(Edge) 집합으로 이루어진 수학적 구조이다. 네트워크로도 불리며, 정점은 노드(Node)로, 간선은 링크(Link)로도 불린다.

우리 주위에 있는 복잡계(Complex System)가 가진 공통적인 특성은 구성요소간의 복잡한 상호작용이다. 그래프는 이 복잡계의 상호작용을 효과적으로 표현하고, 복잡계를 분석하기 위한 언어이다.

뇌, 지식 그래프, 화학 분자, 단백질 상호작용, 세포간 유사도 그래프, 이미지 분해...

그래프를 활용한 AI Task

정점 분류(Node Classification) 문제

트위터의 공유(Retweet) 관계를 분석하여 사용자의 정치적 성향 파악하기
단백질의 상호작용을 표현하여 단백질의 역할 알아내기

연결 예측(Linked Prediction) 문제

거시적 - 페이스북 소셜네트워크는 진화 방향 예측하기
미시적 : 추천문제 - 고객에게 필요한 물건을 추천하고, 어떤 물건을 구매했을 때 만족도가 높을지 예측하기

군집 분석(Community Detection) 문제

연결관계로부터 사회적 무리(Social Circle) 찾아내기

랭킹(Ranking) 및 정보 검색(Information Retrieval) 문제

웹(Web)을 그래프로 보고, 중요한(필요한) 웹페이지를 찾아내기

정보 전파(Information Cascading) 및 바이럴 마케팅(Viral Marketing) 문제

네트워크를 통한 정보전달을 최대화하기

그래프 관련 필수 기초 개념

유형 및 분류

방향의 유무에 따라
- 방향이 없는 그래프(Undirected Graph)
  - 간선에 방향이 없음
  - ex) 협업관계 그래프, 페이스북 친구 그래프
- 방향이 있는 그래프(Directed Graph)
  - 간선에 방향이 있음
  - ex) 인용 그래프, 트위터 팔로우 그래프
가중치의 유무에 따라
- 가중치가 없는 그래프(Unweighted Graph)
  - 간선에 가중치가 없음
  - ex) 웹 그래프, 페이스북 친구 그래프
- 가중치가 있는 그래프(Weighted Graph)
  - 간선에 가중치가 있음
  - ex) 전화(횟수) 그래프, 유사도 그래프
정점의 종류 개수에 따라
- 동종 그래프(Unpartite Graph)
  - 단일 종류의 정점을 가짐
  - ex) 웹 그래프, 페이스북 친구 그래프
- 이종 그래프(Bipartite Graph)
  - 두 종류의 정점을 가짐 - 다른 종류의 정점 사이에만 간선이 연결됨
  - ex) 전자 상거래 구매내역(사용자-상품), 영화 출연 그래프(배우-영화)

표현 방식

일반적으로 정점들의 집합을 $V$ , 간선들의 집합을 $E$ , 그래프를 $G = (V,E)$ 로 적는다.
이웃(Neighbor)는 해당 정점과 연결된 다른 정점을 의미한다. 정점 v의 이웃들의 집합을 $N(v)$ $N (v)$ 혹은 $N_v$ $N_{v}$ 로 표시한다.
- 방향성이 있는 그래프에서는 나가는 이웃과 들어오는 이웃을 구분한다.
- 나가는 이웃들의 집합을 $N_{out}(v)$ , 들어오는 이웃들의 집합을 $N_{in}(v)$ 로 적는다.
간선 리스트(Edge List) - 그래프를 간선들의 리스트로 저장한다.
- 간선은 해당 간선이 연결하는 두 정점들의 순서쌍(Pair)로 저장된다.
  - ex) (1,2), (5,7)
- 방향성이 있는 간선의 경우 (출발점, 도착점) 순서로 저장된다.
인접 리스트(Adjacent List) - 각 정점들의 이웃들을 리스트로 저장한다.
- 방향성이 없는 경우
  - ex) {1: 2,4,5 }
- 방향성이 있는 경우
  - ex) 나가는 이웃 {1 : 2,4}, 들어오는 이웃 {1: 4, 2 : 1, 4 : 1}
인접 행렬(Adjacent Matrix) - 방향성이 없는 경우
- 정점 수 X 정점 수 크기의 행렬
- 방향성이 있는 경우
  - 정점 i와 j 사이에 간선이 있는 경우, 행렬 i행 j열(그리고 j행 i열)의 원소가 1, 그렇지 않으면 0
- 방향성이 없는 경우
  - 정점 i에서 j로의 간선이 있는 경우, 행렬의 i행 j열 원소가 1, 그렇지 않으면 0

Graph Pattern

실제 그래프와 랜덤 그래프

실제 그래프

실제 그래프(Real Graph)란, 다양한 복잡계로부터 얻어진 그래프를 의미한다.

소셜 네트워크, 전자상거래 구매 내역, 인터넷 ,웹, 뇌 ...

랜덤 그래프

랜덤 그래프(Random Graph)란, 확률적 과정을 통해 생성한 그래프를 의미한다. 실제 그래프와 비교하기 위한 대상으로서 사용된다.

에르되스-레니 랜덤 그래프

가장 간단한 형태의 랜덤그래프로, 임의의 두 정점 사이에 간선이 존재하는지 여부는 동일한 확률분포에 의해 결정된다.
$G(n,p)$ $G (n, p)$ 는
- $n$ 개의 정점을 가진다.
- 임의의 두 정점 사이에 간선이 존재할 확률은 $p$ 이다.
- 정점 간의 연결은 서로 독립적(Independent)이다.

경로와 거리

개념

정점 $u$ $u$ 와 $v$ $v$ 사이의 경로(Path)는 아래 조건을 만족하는 정점들의 순열(Sequence)이다.
1. $u$ 에서 시작하여 $v$ 에서 끝난다.
2. 순열에서 연속된 정점은 간선으로 연결되어 있어야 한다.
경로의 길이는 해당 경로 상에 놓이는 간선의 수로 정의된다.
정점 $u$ 와 $v$ 사이의 거리(Distance)는 $u$ 와 $v$ 사이 최단경로의 길이이다.
지름(Diameter)은 정점 간 거리의 최댓값이다.

작은 세상 효과

스탠리 밀그램의 여섯 단계 분리(Six Degrees of Separation) 실험

임의의 두 사람 간의 관계는 평균적으로 6단계로 표현되었다.

사람들이 서로 소수의 공통된 지인을 통해 연결되어 있다는 사실, 즉, 임의의 두 정점 사이의 거리가 작다는 사실을 작은 세상 효과(Small-world Effect)라고 부른다.

중복이 없다고 가정하였을 때, 모든 사람에게 100명의 지인이 있다면, 다섯 단계를 거치면 100억(=100^5)명까지도 연결될 수 있다.
물론 실제 세상에서는 중복이 있으므로 이보다 적을 것이다.

작은 세상 효과는 높은 확률로 랜덤그래프에도 존재하는데, 한 정점 당 이웃의 수가 늘어날수록, 적은 거리로도 연결되는 정점의 수가 기하급수적으로 증가하기 때문이다.

그렇다고 모든 그래프에서 작은 세상 효과가 존재하지는 않는다. 체인(Chain), 사이클(Cycle), 격자(Grid) 그래프에서는 작은 세상효과가 없다.

연결성

개념

정점의 연결성(Degree)는 그 정점과 연결된 간선의 수를 의미한다.

정점 $v$ 의 연결성은 해당 정점의 이웃들의 수와 같다.
보통 정점 $v$ 의 연결성을 $d(v)$ , $d_v$ , 혹은 $|N(v)|$ 로 적는다.
나가는 연결성은 $d_{out}(v)$ , $|N_{out}(v)|$ 로 표시하며, 들어오는 연결성은 $d_{in}(v)$ , $|N_{in}(v)|$ 로 표시한다.

두터운 꼬리 분포

실제 그래프의 연결성 분포는 두터운 꼬리(Heavy Tail)를 갖는다. 즉, 연결성이 매우 높은 허브(Hub) 정점이 존재한다.

그러나, 랜덤 그래프의 연결성 분포는 높은 확률로 정규분포와 유사하다. 즉, 허브 정점이 존재할 가능성이 0에 가깝다.

연결 요소

개념

연결 요소(Connected Component)는 다음 조건들을 만족하는 정점들의 집합을 일컫는다.

연결 요소에 속하는 정점들은 경로로 연결될 수 있다.
1의 조건을 만족하면서 정점을 추가할 수 없다.

쉽게 말하면, 뚝 뚝 떨어진 하나의 그래프 덩어리라고 볼 수 있다.

거대 연결 요소

실제 그래프에는 거대 연결 요소(Giant Connected Component)가 존재한다. 거대 연결 요소는 대다수의 정점을 포함한다.

MSN 메신저에서는 99.9%의 정점이 하나의 거대 연결 요소에 포함된다.

랜덤 그래프에도 높은 확률로 거대 연결 요소가 존재한다. 단, 정점들의 평균 연결성이 1보다 충분히 커야한다.

자세한 이유는 Random Graph Theory를 참고한다.

군집 구조

개념

군집(Community)란 다음 조건들을 만족하는 정점들의 집합이다.

집합에 속하는 정점 사이에 많은 간선이 존재한다.
집합에 속하는 정점과 그렇지 않은 정점 사이에는 적은 수의 간선이 존재한다.

수학적으로 엄밀한 정의는 아니다. '많다'와 '적다'의 정의가 모호하기 때문인 듯 하다.

지역적 군집 계수(Local Clustering Coefficient)는 한 정점에서 군집의 형성 정도를 측정한다.

정점 $i$ 의 지역적 군집 계수는 정점 $i$ 의 이웃 쌍 중 간선으로 직접 연결된 것의 비율을 의미하며, $C_i$ 로 표현한다.
즉, 정점 $i$ 와 연결된 이웃 정점들이, ( $i$ 로 연결되는 간선을 제외하고) 서로 간선들로 많이 연결되어 있을 때 지역적 군집 계수가 높다.
반면, 정점 $i$ 만 허브로 존재하고, 나머지 정점들끼리는 연관관계가 없다면 지역적 군집계수가 낮을 것이다.
연결성이 0인 정점에서는 지역적 군집계수가 정의되지 않는다.

전역 군집 계수(Global Clustering Coefficient)는 전체 그래프에서 군집의 형성 정도를 측정한다.

그래프 $G$ $G$ 의 전역 군집 계수는 각 정점에서의 지역적 군집 계수의 평균이다.
- 단, 지역적 군집계수가 정의되지 않는 정점은 제외한다.

높은 군집 계수

실제 그래프에서는 군집 계수가 높다. 즉, 많은 군집이 존재한다. 이유에는 여러가지가 있다.

동질성(Homophily) : 서로 유사한 정점끼리 간선으로 연결될 가능성이 높다.
- ex) 같은 동네에 사는 같은 나이의 아이들이 친구가 되는 경우
전이성(Transitivity) : 공통 이웃이 있는 경우, 공통 이웃이 매개 역할을 해줄 수 있다.
- ex) 친구를 서로에게 소개해 주는 경우

반면, 랜덤그래프에서는 지역적 혹은 전역 군집계수가 높지 않다. 랜덤그래프에서의 간선 연결이 독립적이기 때문이다.

랜덤그래프 $G(n,p)$ 에서의 군집 계수는 $p$ 이다.

NLP 08 - NLP에서의 Self-supervised Pretraining Model 살펴보기

Fri, 19 Feb 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

Self-supervised Pre-training Models

GPT-1

일론머스크가 참여한 비영리 재단 Open AI에서 개발한 자연어 처리 모델이다.

하나의 task 뿐만 아니라 자연어 처리와 관련된 여러 task를 모두 커버할 수 있다는 것이 특징이다.

모델 구조와 작동 과정

입력 출력 시퀀스가 별도로 있지 않고, 대량의 웹 데이터로부터 추출한 문장을 토대로 기존의 Language Modeling Task 방식으로 12개의 self-attention 블록이 학습되는 형식이다.

그러나 단순히 Lauguage Modeling 뿐만 아니라 다른 Task도 다룰 수 있게 하기 위해 새로운 Task Clasiffier 프레임워크를 제안하고 있다.

문장을 넣을 때 기존에 문장 뒤에 넣어주던 <EOS> 토큰과 조금 다른 <Extract> 토큰을 넣어인코딩한다. 인코딩 후 Extract 토큰에 해당하는 인코더의 output을 디코더에 input으로 넣어주어 (linear transformation을 거쳐) task를 위한 정보를 파악한다.

예를 들어 이미지에 나온 내포(Entailment)관계에서는, 문장 A(전제,premise)가 참이면 B(가설,hypothesis)도 참인 경우가 있다. 이 경우 두 문장을 하나의 sequence로 만들되, 문장 사이에는 Delimeter(구분자)를 넣어 분리하여 input으로 삼는다.

Extract 토큰은 처음에는 그냥 단순히 문장 마지막에 추가한 토큰이었지만, Self-attention 학습과정 중에 query로 사용되어 학습된다. 결과적으로는 task에 필요한 정보들을 입력문장으로부터 적절하게 취합/추출할 수 있는 토큰이 된다.

Transfer Learning

대량의 일반적인 task 데이터와 소량의 특정 task 데이터가 있는 경우, 통합적으로 학습한 GPT-1 모델을 전이학습(Transfer Learning)형태로 활용한다.

위의 아키텍쳐 이미지에서, 기존의 학습모델은 그대로 두고, output 부분에 main task 분류를 위한 추가적인 레이어(Task Classifier)를 하나 덧붙이는 방식으로 새로운 task에 대한 학습을 시켜줄 수 있다. 이 때 새로 들어오는 레이어는 random intialization을 거친 값으로, 빠르게 학습되어야하는 백지 파라미터이다. 따라서 기학습된 본체의 학습률을 크게 줄이고 추가된 레이어와 함께 학습시킴으로써, Task Classifier 레이어를 빠르게 다른 Task에 적용시킬 수 있게 된다.

Self-supervised Learning

Main task에 사용되는 데이터는 별도의 레이블이 필요하다. 그러나 기존의 pretrain된 main task 데이터는 별도의 레이블이 필요하지 않은 데이터이기 때문에, 데이터를 대량으로 확보하고 학습하기 편하다. 이처럼 레이블이 필요하지 않은 데이터에서 학습하는 것을 자기지도학습(Self-supervised Learning)이라고 한다.

레이블링이 필요하지 않은 대규모 데이터로부터 얻은 지식을, 소량의 데이터가 있는 task에 전이학습 형태로 제공하여 성능을 향상시킬 수 있다.

BERT

Bidectional Trasnformer(BERT) 모델은 현재까지도 가장 널리 쓰이는 pretraining 모델로, GPT-1과 마찬가지로 Language Modeling 방식으로 학습시킨 모델이다.

기존에 다음 단어를 예측하는 등의 간단한 자기지도학습을 Bi-LSTM(ELMo)으로 하려는 시도가 있었으나, 지금은 BERT로 다 대체되었다.

Masked Language Model

사실 언어는 앞 뒤 문맥을 다 봐야하는 것인데, 기존의 Language Model은 왼쪽(전) 또는 오른쪽(후)만의 정보를 이용해왔다. 이런 동기에서 나온것이 BERT의 pre-training 방식인 Masked Language Model(MLM)이다.

방식은 이렇다. 데이터가 주어지면, 이 문장 데이터 중 일정 비율( $k$ %)을 [MASK] 토큰을 이용하여 Mask 처리하여, 나머지 단어들만을 가지고 이를 맞추는 연습을 한다.이 때 Masking 할 비율 $k$ 가 얼마이느냐는 Hyperparameter이다.

$k$ 가 너무 낮으면, 학습 시간 대비 훈련량이 적어 효율이 떨어지거나 학습 속도가 느려질 수 있다.
$k$ 가 너무 높으면, 문맥을 제대로 파악할 수 없다.

문제는, pre-training 과정에서는 [MASK] 토큰이 어느 정도 비율로 있었는데, 실제 데이터에서는 [MASK] 토큰이 나올 일이 없다는 것이다. 따라서 학습과정과 실제 데이터간의 괴리가 발생한다. 이런 차이점이 학습을 방해하거나 전이학습의 효과를 저해한다.

이를 해결하기 위해, 마스킹할 $k$ %의 단어들 전부가 아니라 어느 정도만 [MASK] 토큰으로 바꾸는 방식을 생각해볼 수 있다.

전체 문장이 총 1000개의 단어이고, 이 중 15%(150개)가 모델이 맞추어내야 하는 단어라고 생각하면,
- 150개 중 120개는 [MASK]로 바꾼다.
- 150개 중 15개는 랜덤한 단어로 바꾼다.
  - 이 경우 문법적으로나 맥락으로 이 단어가 옳은지 확인해야 하므로, 학습의 난이도가 조금 더 올라간다.
- 150개 중 나머지 15개는 원본을 유지한다.
  - 이 경우는 모델이 소신있게 '이 단어가 맞아'라고 판단한 셈이 된다.

Next Sentence Prediction

BERT가 도입한 또 다른 pre-training 기법으로 Next Sentence Prediction이 있다.

두 문장을 뽑아 구분자 [SEP]을 문장끝에 넣은 뒤, 연속적으로 문장들을 잇는다. 그리고 GPT-1에서의 Extraction 토큰 역할을 하는 [CLS] 토큰을 이은 문장 가장 앞에 넣어 만든 시퀀스를 가지고, 두 문장이 서로 인접한(다음에 오는) 문장인지, 아니면 관계가 없는 문장인지 판단하는 이진분류를 수행한다.

요약

모델 구조
- (L,H,A) = (Self-attention Block, Incoding Vector Dimension ,Attention Head)
- BERT BASE : L=12, H=768, A=12
- BERT LLARGE : L=24, H=1024, A=16
Input representation
- WordPiece embeddings
  - 입력 시퀀스를 word 별로 하는 것이 아니라 subword 단위로 임베딩하여 인코딩한다.
- Learned positional embedding
  - 단어의 위치정보를 임베딩시에 matrix도 넣어준다.(positional encoding처럼)
- [CLS] - Clasffication token
- Packed Sentence Embedding [SEP]
- Segment Embedding
  - 두 문장을 묶어 하나의 세그먼트로 만들 때, 몇번째 문장인지에 해당하는 세그먼트 임베딩을 추가하여 넣어줌으로써 문장을 구별할 수 있게 한다.
Pre-trained task
- Masked Lanugage Model
- Next Sentence Prediction

Fine-tuning Process

기존에 특정 Task를 처리하도록 pre-train된 모델을, 다른 task를 수행할 수 있도록 조정하여 주는 과정을 미세조정 과정(Fine-tuning Process)이라고 한다. 기존의 모델구조를 거의 바꾸지 않고도 추가적으로 작은 조정만으로 다른 task를 수행할 수 있기 때문이다.

GPT vs BERT

OpenAI GPT

Unidirectional - 다음 단어를 예측하는것이 task이기 때문에, 다음 단어에 접근을 허용하면 안된다.
BookCorpus 데이터로 학습(80억개 단어)
배치 사이즈 32,000개 단어
모든 fine-tuning experiments에 대하여 5e-5라는 동일한 학습률 적용

BERT

Bidirectional - [MASK] 토큰으로 치환된 단어를 예측하기 위하여 앞뒤 문맥을 모두 사용한다.
BookCorpus와 Wikipedia 데이터로 학습(250억개 단어)
[SEP], [CLS], 세그먼트 임베딩
배치 사이즈 128,000개 단어
task에 따라 각기 다른 학습률 적용

일반적으로 기존의 모델들에 비해 BERT가 성능이 전반적으로 좋았다(GLUE 데이터 참조)

기계독해기반 질의응답

Machine Reading Comprehension(MRC), 즉 Question Answering은 질문만 주어지고 답을 예측하는 task가 아니라, 주어진 질문을 '잘' 이해하고, 이에 맞는 정답을 예측해내는 task이다.

이 때 기계가 비교적 독해하기 어려운 질문들을 크라우드소싱으로 모아놓은 데이터셋 SQuAD(Stanford Question Answering Data)가 있다. 출제자가 지정해놓은 정답에 해당하는 문구가 존재하는 문장이 있고, 기계가 독해하여 문맥에 맞는 정답을 추론한다.

위 그림은 SQuAD 2.0으로, 답에 해당하는 문구를 찾기 위해 다음 과정을 수행한다.

답이 있는지 없는지 판단한다. 답이 있다면 다음으로 넘어가고, 그렇지 않으면 종료한다.
- 질문과 문단을 종합적으로 보고 판단하므로, CLS토큰을 활용한다.
  - 질문과 문단을 concat해서 BERT로 인코딩하여 CLS 토큰을 얻는다.
  - 주어진 질문과 문단 쌍에서 답이 없다면(ground truth가 No Answer라면) CLS 토큰을 이진분류하는 output layer에 통과시켜, 크로스 엔트로피로 학습하게 된다.
- CLS 토큰을 통해 답이 있는지 없는지부터 예측 하고, 답이 있는 경우에만 다음 단계로 넘어간다.
단어를 벡터로 변환한다.
각 벡터를 scalar 값으로 변환시켜주는 Fully Connected Layer에 통과시킨다(이 Layer는 모든 벡터에 공통이다)
- 이 때 Fully Connected Layer의 파라미터가 Random Initialization부터 fine-tuning되는 파라미터이다.
단어에 해당하는 스칼라 값들을 모두 softmax에 통과시켜 ground truth의 첫번째에 해당하는 단어를 찾는다.(가장 확률이 높은 단어를 찾으면 된다.)
- Softmax-with-loss로 학습시킨다.
정답이 끝나는 지점을 예측할 Fully Connected Layer를 새로 만들고, Ending word의 포지션을 예측시킨다.(3-4와 동일)

SWAG 에서는 주어진 문장이 있을 때, 다음에 나타날 문장을 객관식으로 고르는 형태의 QA다. 이 경우에도 CLS 토큰을 사용한다.

4가지 선택지를 모두 하나씩 질문과 concat하여 벡터화하고, Fully Connected Layer를 통과시켜 예측 스칼라값으로 만든다.
4개의 스칼라값을 모두 softmax에 통과시켜, 정답에 해당하는 값의 확률을 높이도록 학습시킨다.

Ablation Study

알고리즘이나 모델의 feature를 제거하면서, 그 행위가 성능에 끼치는 영향을 평가하는 방식을 Ablation Study라고 한다.

Big models help a lot
- Layer를 점점 더 쌓고, 파라미터를 늘릴수록, 즉 Big model일수록 더 좋더라는 이야기.
- 데이터셋이 3600개밖에 없더라도 파라미터를 110M→340M 개로 늘리니까 더 좋아졌다.
- GPU 리소스를 늘리면 늘릴수록 더 높아지더라. 점근선(asymptote)의 형태가 아니더라! 최대한 많이 리소스를 늘려라.

Advanced Self-supervised Pre-training Models

GPT-1과 BERT 이후에 나온 자기지도 사전학습 모델을 알아보자.

GPT-2

GPT-2는 GPT-1에 비해 다음과 같은 점이 발전되었다.

Layer를 훨씬 더 많이 쌓았다. 다만 학습 방식은 Language Modeling으로 동일하다.
학습 데이터가 40GB로 늘어났다. 게다가 데이터의 퀄리티도 좀 더 신경써서 준비했다고 한다.
Language Model이 메인 task 이외의 down-stream task들을 zero-shot setting, 즉 파라미터나 아키텍쳐 조작을 전혀 하지 않고도 수행가능하다는 것을 입증했다.

모티베이션이 된 논문은 다음과 같다.

The Natural Language Decathlon : Multitask Learning as Question Answering

모든 종류의 자연어 처리 task들이 Question-Answering task로서 처리될 수 있다는 점을 시사하였다.

데이터셋

Reddit
- 외부링크를 포함한 모든 웹 텍스트를 수집했다.
- 총 45M개의 링크를 사용했다.
  - 사람이 직접 큐레이팅/필터링한 웹페이지만 수집하였다.
  - 3개 이상의 추천을 받은 게시글들만 수집하였다.
8M 크기의 위키피디아 문서
링크로부터 content를 추출하기 위하여 dragnet과 newspaper를 사용했다고 한다.

전처리

Byte Pair Encoding(BPE)를 사용하였다.

(GPT-1 대비) 구조상의 변화

Layer Normalization이 각 sub-block의 입력쪽으로 옮겨졌다(pre-activation residual network와 비슷한 형태).
마지막 self-attention block에서 Layer Normalization이 하나 추가되었다.
각 Layer를 random initialization할 때, Layer의 깊이에 비례해서 값이 더 작아지도록 초기화하였다. 따라서 위쪽에 있는 Layer가 하는 역할이 좀 더 축소되도록 하였다.

Zero-Shot Setting

Zero-Shot Setting이란, 데이터가 없이도 해당 task의 수행을 할 수 있음을 일컫는 용어이다.

Question Answering
- Task별 학습을 시키지 않고 pre-training만 시킨 GPT-2에 질문(Question)을 준 뒤, 다음에 나올 문장을 예측하라고 했더니, $F_1$ 스코어가 55가 나왔다고 한다. 잘 학습된 BERT 모델이 89의 $F_1$ 스코어를 기록하는 것을 생각해보면, 학습도 시키지 않은 것 치고는 준수한 성능이다.
Summarization
- CNN과 일간 메일 데이터셋에서 TL;DR(Too Long, Didn't Read) 이라는 어구를 기준으로 요약이 있었는데, 이 때문에 TL;DR을 GPT-3에 입력으로 주면 요약을 해 준다.
Translation
- Summarization과 같은 방식으로, [In French, In Korean, ...]이라는 어구가 있으면 번역까지 수행해준다고 한다.

GPT-3

가장 최근에 나온 GPT 모델로, 모델의 구조에 변화가 있었다기보다는, 이전과 비교할 수 없을 정도의 attention block을 쌓아 파라미터수를 어마어마하게 많이 늘렸다(150B). 또, 배치사이즈도 3.2M정도가 되도록 최대한 키우자 더 좋은 성능을 보였다고 한다.

GPT-2에 비해 눈에 띄는 특징은 다음과 같다.

GPT-2에서는 '가능성'정도로만 보였던 Zero-shot setting이 놀라운 수준으로 발전하였다.
- 학습에서 전혀 활용하지 않았던 텍스트를 translation 했을때도 정상적으로 기능한다.
하고자 하는 task(예를 들자면 번역)를 주고, 예시를 주면, 자연어 생성 task로 인식하여 정확도를 평가하고 스스로 학습한다. 이를 One-shot이라고 한다. 데이터를 단 한 쌍(예시)만 주었다는 말이다.
- 신기한 점은, 모델 자체의 파라미터를 변경시켜가며 학습한 것이 아니라, 데이터를 input 텍스트의 일부로서 제시했는데도 task를 수행했다는 것이다!
동일한 맥락으로, 몇 개 안되는 예시 데이터를 주고 task를 수행하도록 하는 Few-shot이 가능해졌다.

연구 결과에 따르면, 모델 사이즈를 키우면 키울수록, Zero/One/Few shot의 성능이 계속해서 오른다고 한다.

ALBERT

A Lite BERT(ALBERT)는 기존의 BERT를 경량화 시킨 모델이다. GPT와 같이 모델이 굉장히 거대해지고 리소스와 연산량이 많아지는 형태와는 달리, 오히려 복잡했던 BERT를 개선하는 데에 집중했다. 모델 사이즈를 줄이고, 학습시간과 리소스를 줄이면서도 성능은 크게 떨어뜨리지 않는 경량화 형태의 Pre-trained Model이다.

BERT에서 큰 버젼과 작은 버젼이 있듯이, ALBERT에도 모델 파라미터 사이즈에 따라 좀 더 큰 모델과 작은 모델이 있다. 물론 더 큰 모델을 사용할 때 좀 더 좋은 성능을 낸다.

이해하기 쉽게 잘 정리된 글이 있으니 아래의 내용들이 이해가 가지 않는다면 이 링크를 참조하자.

[ALBERT 논문 Review] ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS

Factorized Embedding Parameterization

기존의 BERT에서 Embedding vector 사이즈 $E$ 는 hidden vector size $H$ 와 항상 같아야했다. 여러 Attention Block을 쌓기 때문에, 같은 크기로 들어가고 나가야 다음 블록에 동일한 형태로 전달될 수 있다.

문제는, 단어간의 관계를 인코딩하여 저장해야하므로 많은 정보가 들어가는 dependent 벡터 $H$ 의 크기를 맞추기 위해, 단어간의 관계를 생각하지 않아도 되는 independent 벡터 $E$ 가 필요 이상으로 커진다는 것이다.

위 이미지를 보면, BERT에서는 원래 4x1 사이즈의 임베딩 벡터가 H에 맞춰주기 위하여 4x4로 늘어나는 것을 볼 수 있다.

이를 해결하기위해 ALBERT는

Embedding Matrix를 위의 이미지처럼 두 Matrix의 곱으로 쪼갠다

. 가령 H(=4)에 맞추기 위하여 4x4였던 행렬을, 4x2 크기의 행렬로 두고 추가적으로 Layer를 하나 더 두어, Word별로 구성되는 2차원 벡터를 4차원으로 선형변환(W)시켜주도록 한다. 이 때 W는 H의 크기로 변환될 수 있도록 적당한 크기를 가지면 된다.

row-rank matrix factorization이라고 하는 기법이다.
위의 예제에서는 잘 와닿지 않지만, H의 크기가 100이고 쪼갠 Matrix의 column length는 10이라고 생각해보자. 파라미터 수가 확 줄어듦이 체감될 것이다.

Self-attention block들이 가지는 학습 파라미터들에는 무엇들이 있을까?

임베딩된 input 벡터가 Query, Key, Value 각각의 역할을 하도록 변형시켜주는 $[W^Q,W^K,W^V]$ $[W^{Q}, W^{K}, W^{V}]$
- multi head라면 행렬 세트가 총 head개가 된다.
$Z^t$ 들을 concat한 후 다시 원래의 Hidden State Vector 크기의 $Z$ 로 줄여주기 위한 $W^O$

물론, 각각의 Self Attention block마다 이 파라미터값은 모두 다를것이다.

그런데 ALBERT는 서로 다른 Layer, 즉 서로 다른 Self-Attention Block에 존재하는 파라미터들을 서로 공유하는 방법을 제시한다. 이를 Cross-layer Parameter Sharing이라고 한다.

Shared-FFN : Layer 간에 feed-forward network의 파라미터만 공유한다.
Shared-attention : Layer 간에 attention 파라미터들만 공유한다.
All-shared : 둘 다 공유한다.

이처럼 파라미터를 공유하였을 때, 파라미터의 개수는 크게 줄었음에도 불구하고 모델의 성능은 그다지 크게 떨어지지 않았음을 입증하였다.

Sentence Order Prediction

BERT 이후의 후속연구에서, BERT 모델이 기존에 pretraining하던 Next Sentence Prediction task는 사실 너무 쉬워서 그다지 실효성이 없는 것으로 드러났다.

두 문장의 출처가 다르다면, 사실상 전혀 다른 내용일 확률이 높다.
따라서 그냥 비슷한 단어나 문맥이 많이 등장했는가 정도로 선후관계를 파악하게 된다.
이는 선후 관계보다는 topic prediction에 가깝다.

ALBERT에서는 해당 task의 pretraining을 빼고 좀 더 유의미한 task들을 집어넣어, 모델의 성능을 확장했다.

두 독립적인 문장을 가져와 선후관계를 파악하는 것이 아니라, 항상 연속적인 두 문장을 가져온다.
그 문장을 원래의 순서대로 concat했을 때 정방향으로 예측하고, 역순으로 concat했을 때 역방향으로 예측하도록 학습시킨다.(이진분류)
이를 negative sample이라고 하는데, 인접 문장이므로 순서와 관계없이 비슷한 단어가 당연히 많이 등장한다.
- 따라서 정말로 논리적인 흐름을 주의깊게 파악해야 task를 풀 수 있는 pretraining 형태가 되었다.

논문에 첨부된 위의 실험결과를 보면, Next Sentence Prediction(NSP)를 사용했을때는 아예 사용하지 않았을 때와 별 차이가 없거나 오히려 성능이 떨어지기까지 한다. 이에 비해 Sentence Order Prediction(SOP)는 좀 더 좋은 개선된 성능을 보여주고 있다.

ELECTRA

2020년에 발표된 논문으로, GPT의 standard한 LM이나, BERT의 Masked LM task에서 나아가, GAN 형태의 모델링을 제시하고 있다.

MLM(Masked language Modeling)을 통해 마스킹된 단어를 복원해주는 모델-Generator를 하나 두고, 또 Generator가 복원한 단어들을 받아 이 단어가 원본인지 또는 generator에 의해 복원된 단어인지를 예측하는 모델-Discriminator를 둔다.

generator는 BERT의 형태로 볼 수 있다.
이 때 Generator와 Discriminator이라는 구조를 Generative Adversarial Network(GAN)형태로 볼 수 있다.

이렇게 모델 학습을 진행할 경우에, Pre-train된 모델로서 사용할 수 있는 부분이 Generator와 Discriminator 두 부분이 된다. 이 중 ELECTRA는 Discriminator를 가져다가 downstream task에 맞게 fine-tuning하여 사용하는 방식이다.

ELECTRA의 논문에 따르면, 대부분의 BERT 모델보다 동일한 학습량 대비 성능이 더 좋다고 한다.

Light-weight Models

이외에도 최근의 모델 연구동향은 경량화 기술에 주목하고 있다. GPT-3같은 대형 모델의 성능은 놀랍지만, 연구나 활용을 하기에는 오히려 접근이 힘들다는 문제가 있다.

기존의 정확도를 유지하면서도 파라미터수나 레이어 수를 줄임으로써 모델의 크기와 학습속도를 빠르게 하려는 노력들이 이어지는 중이다. 이를 통해 클라우드나 서버를 통한 AI 적용이 아니라 휴대폰이나 IOT기기에서도 딥러닝이 가능하게 할 수 있다.

DistillBERT

Huggingface에서 2019년도 발표한 모델로, Teacher 모델과 Student 모델로 이루어져있다. 큰 사이즈의 Teacher 모델이 기존의 방식으로 학습을 수행한 후, Student 모델은 더 적은 파라미터로 Teacher 모델의 수행방식을 모사하여 비슷한 성능을 낸다.

Teacher 모델이 예측한 결과를 Student 모델이 softmax에 주는 ground-truth로 삼아 학습한다.

TinyBERT

2020년 발표된 TinyBERT 역시 BERT를 경량화시킨 모델이지만, 좀 더 발전된 형태이다.

DistillBERT과 마찬가지로 target distribution을 모사한 뒤, Student 모델에서 이를 ground-truth로 삼고 학습한다.
추가적으로, Student 모델이 Teacher 모델의 Attention Matrix와 Hidden state Vector까지도 유사하도록 모사한다.
- 최종 결과물뿐만 아니라 중간 결과물까지도 비슷하도록 모사한다고 볼 수 있다.
- MSE-Loss를 사용한다.

이 때, Student 모델의 벡터 크기가 일반적으로 Teacher 모델의 벡터보다 작기 때문에 이를 욱여넣는 과정에서 전정보의 손실이 발생할 수 있다.

이를 방지하고자 TinyBERT는 벡터간의 크기 변환 과정에 Fully Connected Layer를 두어, 기존의 정보를 어느정도 유지하면서 더 적은 벡터로 이를 모사할 수 있게 된다.

Fusing Knowledge Graph into Language Model

기존의 Pritrained 모델과 지식(knowledge) 그래프를 조합한 최신 연구동향이다.

BERT가 2018년도에 등장한 이후, BERT가 정말로 언어적인 이해를 제대로 하고 있는 것인지 분석하는 연구들이 이어지면서, BERT가 데이터셋에 나와있지 않은 종류의 문장들은 잘 이해하지 못한다는것이 드러났다.

주어진 문장에서 나타나는 지식 뿐만 아니라, 외부 지식(또는 상식)도 자연어 처리에서 중요한데, 이를 연구하는 분야가 Knowledge Graph 분야이다.

개체간의 관계, 개념등을 잘 정의하고, 정형화해서 만들어 둔 것을 Knowledge Graph라고 한다.

Knowledge graph를 어떻게 BERT등에 적용시킬 수 있을까에 대한 연구 동향으로 ERNIE, KagNET등이 있다.

Reference

논문

Improving Language Understanding with Unsupervised Learning

The Stanford Question Answering Dataset

GPT-2: How to Build "The AI That's Too Dangerous to Release"

Better Language Models and Their Implications

The Illustrated Transformer

NLP 07 - 'Attention is all you need'에 나온 Transformer 모델 알아보기

Thu, 18 Feb 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

Transformer

기존에는 Attention 모듈이 RNN이나 CNN 모듈의 Add-on 모듈로 사용되어왔다.

그러나 2017년 발표된 논문 'Attention is all you need'는 기존의 RNN과 CNN을 모두 걷어내고, 오로지 Attention만으로 구축하여 시퀀스 데이터를 입출력할 수 있는 Transformer 모델을 구축하였다.

기존 RNN 모델의 한계

RNN은 정보가 여러 time step을 거치면서, 멀리있는 정보가 유실/변질 되는 long-term dependecy 문제가 있었다.

Bi-Directional RNNs

기존 RNN은 단방향으로 정보를 전달하기 때문에 어느정도 먼 거리의 정보를 반영하기 어려웠는데, 이를 해결하고자 양방향으로 RNN을 병렬 구성한 Bi-Directional RNN이 나오게 되었다.(Forward RNN, Backward RNN)

이 때 동일한 time step에서의 hidden state vector $h^f_t$ 와 $h^b_t$ 는 concat되어 인코딩 벡터를 구성한다.

Transformer

인코더 구조

Input으로 주어진 3개의 벡터(I, go, home)는 각각 본인의 차례에서 선형변환( $W^Q$ $W^{Q}$ )되어 query 벡터로 기능하고, 자기 자신을 포함한 input 벡터들을 선형변환( $W^K$ $W^{K}$ )한 key 벡터들과 내적하여 새로운 벡터를 만들어낸다.
- 이미지에서 [3.8,-0.2,5.9]
- 이는 각 벡터간의 유사도를 검사하여, input된 단어들간의 관계를 정의한다.
이후, 이 벡터는 softmax를 거쳐 확률로 변환하여 가중치 벡터를 만든다.
다시 기존의 input 벡터들을 선형변환( $W^V$ $W^{V}$ )한 value 벡터와 가중평균내어 총합이 1이 되는 벡터(attention output vector)를 구성하고, 이것이 곧 해당 input 벡터의 인코딩 벡터가 된다.
- 구해진 유사도를 바탕으로 가중평균을 내는 과정이다.

이 과정을 통해 나온 인코딩 벡터 값으로 여러 input 중 어떤 input에 어느 정도 비율로 집중(attention)해야 할 지 알 수 있게 된다.

이 때, 선형변환(W)을 거치지 않고 input 벡터를 그대로 사용하면, 당연하게도 자기 자신과의 내적이 가장 커지기 때문에, 결과로 나온 h에서는 자기자신에 대한 attention이 가장 커져 정보의 유효성이 부족해지는 문제가 생길 수 있다.

이러한 transformer의 구조는 정보가 위치한 거리와 관계없이 유사도를 측정하여 attention을 분배함으로써 기존의 RNN구조가 가지는

Long-term Dependency 문제를 근본적으로 해결

했다고 할 수 있다.

뜯어보기

Transformer 모델에서 핵심적 역할을 하는 세 벡터, Query(이하 Q)와 Key(이하 K), Value(이하 V)에 대해서 살펴보자.

Output은 V들의 가중평균인데, 이 가중평균은 결국 Q와 K의 내적으로 구성된다.

이 때, Q와 K는 내적 가능해야하므로 반드시 같은 차원이어야 한다. ( $d_k$ )
Q,K의 차원과 V의 차원( $d_v$ )은 같을 필요가 없다. V는 결국 상수배해서 가중평균 낼 것이기 때문이다.

$A(q,K,V) = \sum_i\frac{\exp(q\cdot k_i)}{\sum_j\exp(q\cdot k_j)}v_i$

Attention 모듈의 input은 하나의 query 벡터, 모든 Key(를 concat한) 벡터와 모든 Value(를 concat한) 벡터가 된다.
분자는 i번째 key와 query 사이의 유사도, 즉 두 단어간의 유사도가 된다. 여기에 해당 단어의 value 벡터를 곱한다.
분모는 모든 key에 대한 유사도의 총합이 된다.
따라서, (해당 단어의 유사도 / 전체 단어의 유사도 총합) 형태가 되므로 가중평균을 구성하게 된다. 이 때 출력 벡터는 value 벡터의 크기가 될 것이다.

그렇다면 query를 여러개 쌓아 행렬 Q를 만든 뒤 한번에 표현해보도록 하자.

A(Q,K,V) = \text{softmax}(QK^T)V

이를 행렬의 형태로 표현하면 다음 이미지와 같다.

$\vert Q\vert$ : 쿼리의 개수
$d_k$ : 쿼리의 차원
Q와 K의 내적을 위해서는 K가 transpose되어야 한다. 내적의 결과로 나오는 $|Q|\times|K|$ 행렬에서 i번째 row는 i번째 query에 대한 input 벡터들의 유사도를 나타내는 row가 된다. 이 연산이 끝나면 softmax를 이용하여 가중치 벡터로 변환된다.
가중치 벡터와 V 벡터와의 내적을 통해 나온 $|Q|\times d_K$ 출력 행렬은 다시 기존의 Q와 동일한 형태를 이루며, 출력 행렬의 i번째 row는 input Q의 i번째 row(query)에 대한 attention의 output이 된다.

Scaled Dot-Product Attention

위의 경우는 2차원 행렬을 가정하고 수행했지만, 실제로 연산을 수행할 때에는 q와 k가 n차원일 수 있다.

이때, dimension이 커지면 커질수록 q와 k의 내적값의 쏠림현상이 심해져서, attention이 효율적으로 학습되지 못한다.

이는 서로 독립인 random variable끼리 곱했을 때 분산이 1이되고, 이 곱들을 서로 더했을 때 분산이 고스란히 더해지기 때문이다. 내적 수행 과정에서는 차원이 클수록 random variable 값끼리 더 많이 곱하고 더해지게 되는데, 이 과정에서 분산이 너무 커진다. 이는 곧 내적값의 차이가 크게 나는 것을 의미한다.
이를 직관적으로 생각해보자. 2차원 평면상에 떨어져있던 여러 점들이, 3차원 공간으로 이동하면, 점들간의 거리는 어떻게 될까? 높이(z)라는 새로운 축이 생겼으므로, 당연히 점들간의 거리는 평면상보다 대체로 멀어지고, 최선의 경우(세 점들이 같은 평면에 있을 때)에야 동일한 거리를 가지게 된다.
따라서, 차원이 늘어난다는 것은 대체로 공간상의 점좌표로 표현되는 vector간의 거리가 sparse해 진다는 것, 즉 분산이 늘어난다는 것을 직관적으로 이해할 수 있다.

A(Q,K,V) = \text{softmax}\Bigg(\frac{QK^T}{\sqrt{d_k}}\Bigg)

이런 문제를 해결하기 위해, 분산을 일정하게 유지하기 위한 방법으로 Q와 K의 내적을 차원( $d_k$ )의 제곱근으로 나누어주는 테크닉이 있다. 이 경우 분산이 분산의 제곱배만큼 축소되기 때문에, 차원이 몇차원이든 분산을 항상 1로 일정하게 Scaling할 수 있다.

Multi-Head Attention

Multi-Head Attention은 기존의 Attention 모듈을 좀 더 유용하게 확장한 모듈이다.

\text{MultiHead}(Q,K,V) = \mathrm{Concat(head_1,\dots,head_n)}W^O\\ \mathrm{Where\ head_i = Attention}(QW_i^Q,KW_i^K,VW_i^V)

Multi-head attention은 여러개의 attention 모듈을 동시에 사용한다. 이 때 각 attention 모듈의 선형변환 파라미터 $W_i$ (head)는 모듈마다 각각 다르다. 이 각기 다른 version의 모듈들을 이용하여 낸 output들을 concat( $\times i)$ 한 뒤, $W^O$ 로 선형변환하여 하나의 output을 만드는 형태이다.

이런 Multi-head attention을 사용하는 이유는, 동일한 입력문 기준으로도 필요에 따라 중점을 두어야 할 단어들이 다를 경우가 있기 때문이다.

가령, I am going to eat dinner라는 문장이 있다고 하자.
어떤 때는 '내가' 먹었다는 사실에 주목해야 해서 'I'에 집중해야 할 수도 있고, 어떤 때는 '저녁'을 먹었다는 사실에 주목하기 위해 'dinner'에 집중해야 할 수도 있다.

attention의 연산량

$n$ : sequnce 길이
$d$ : query / key 차원
$k$ : 합성곱 연산의 커널 사이즈
$r$ : restricted self-attention의 이웃 사이즈

위와 같을 때, 기존 layer들의 연산량은 다음과 같다.

Complexity per Layer
- Total Computational Complexity per Layer를 의미하는 것으로, 총 연산양의 복잡도를 의미한다. 논문 원문에서는 (연산양에 따른) 시간복잡도를 의미한 듯 한데, 공간복잡도로 해석해도 큰 무리는 없는 듯하다. 연산을 처리하는 디바이스가 1개인 상황을 가정한다고 생각하면 얼추 들어맞는다.
- Self-attention
  - $Q \times K^T = (n \times d) \times (d \times n)$
  - Q와 K를 내적하므로 각 길이 $n$ 을 제곱하고, 이를 모든 dimension마다 계산해야 하므로 $d$ 를 곱해야한다. - $O(n^2\cdot d)$
- Recurrent
  - time step의 개수가 $n$ 이고, 매 time step마다 $(d\times d)$ 크기의 $W_{hh}$ 를 곱한다. - $O(n\cdot d^2)$ 이 때 $W_{hh}$ 의 dimension $d$ 는 hidden state vector의 크기로, 하이퍼파라미터이므로 직접 정해줄 수 있다.
Sequential Operations
- 해당 연산을 얼마의 시간내에 끝낼 수 있는가를 나타낸 것으로, 연산양 자체는 무한히 많은 GPU의 병렬연산으로 한번에 처리할 수 있음을 가정한다.
- Self-attention
  - 시퀀스의 길이 $n$ 이 길어질수록 지수배로 연산복잡도가 늘어난다.
  - 이는 모든 Q와 K의 내적값을 모두 저장하고 있어야하기 때문이다.따라서 일반적인 Recurrent보다 훨씬 많은 메모리를 필요로 하게 된다.
  - 그러나 GPU는 이런 형태의 행렬 연산 병렬화에 특화되어 있고, 따라서 무한히 많은 GPU를 가지고만 있기만 하다면 이를 병렬화하여 계산할 수 있으므로, 시간 복잡도는 $O(1)$ 이 된다.
- Recurrent
  - 이전 time step의 $h_{t-1}$ 이 제공되어야 그것을 input으로 다음 $h_t$ 를 계산할 수 있기 때문에, 불가피하게 시간 복잡도는 $O(n)$ 이 된다.
Maximum Path Length - 두 단어 간의 경로 거리
- Self-attention
  - 두 단어간의 유사도를 구할 때, 행렬 연산으로 바로 곱할 수 있으므로 $O(1)$ 이다.
- Recurrent
  - 어떤 단어 a가 어느정도 떨어진 단어 b에 도달하기까지 recurrent cell을 하나씩 통과해야하기 때문에 $O(n)$ 이 된다.

Block-Based Model

처음에 시작해 Multi-Head Attention으로 가는 세개의 화살표는 각각 Q,K,V를 의미한다. 각 head마다 들어가게 된다.

그 연산 이후에 진행되는 Add&Norm 구간은 무엇일까?

Add - Residual Connection
- CV 쪽에서 깊은 레이어를 만들 때 graident vanishing을 해결하면서 더 깊은 층을 쌓도록 하는 효과적인 모델이다.
- 주어진 input vector를 Multi-Head Attention의 encoding output에 그대로 더하여 새로운 output을 만들어서, 학습시에 Multi-Head Attention이 입력 벡터 대비 정답 벡터와의 '차이나는 정보'만 학습하도록 할 수 있다.
- 이 때, Multi-Head Attention output과 input 벡터의 크기가 완전히 동일하도록 유지해야 더할 수 있다.
Norm - Normalization
- 일반적으로 신경망에서 사용되는 normalization은, (평균,분산)을 (0,1)로 만든 뒤, 원하는 평균과 분산을 주입할 수 있도록 하는 선형변환(affine transformation)으로 이루어진다.
- Batch Norm
  - 각 원소에 평균을 빼고, 표준편차로 나눈다. → (평균,분산)==(0,1)
  - affine transforamtion하여 원하는 평균과 분산으로 만든다.
    - ex ) $y= \textcolor{red}2x +\textcolor{Green}3 \rarr (평균,분산) = (\textcolor{Green}3,\textcolor{red}2)$
    - 이 때 2와 3은 Optimization 과정에서 최적화 대상인 파라미터가 된다.
- Layer Norm
  - Batch Norm과 마찬가지 방법으로 수행하되, 여러 layer가 붙어있는 행렬을 대상으로, 한 layer마다 수행한다.
  - affine transformation은 각 layer의 동일한 node 기준으로 수행한다.(normalization이 column 단위였다면 affine transformation은 row 별)
  - Batch Norm과는 일부 차이점이 있지만, 큰 틀에서 학습을 안정화한다는 점은 동일하다.

Add&Norm 구간을 거치고 나온 output은 다시 fully connected layer(Feed Forward)에 통과시켜 Word의 인코딩 벡터를 변환한다. 이후 다시 Add&Norm을 한번 더 수행하는 것까지를 끝으로 Transformer의 (self-attention 모듈을 포함한) Block Based Model이 완성된다.

Positional Encoding

RNN과 달리 self-attention 모듈 기반의 Block Based Model로 인코딩하는 경우, 순서를 고려하지 않기 때문에 input 단어들의 순서가 바뀌어도 output은 동일하다. 이는 K와 Q간의 유사도를 구하고 V로 가중치를 구해 가중합(이때 softmax를 통과한 값이므로 가중합 자체가 가중평균이다)을 도출하는 과정에서, sequence를 고려하지 않기 때문이다.

Positional Encoding은 이를 해결하기위해 벡터 내의 특정 원소에 해당 word의 순서를 알아볼 수 있는 , 마치

지문과도 같은 unique한 값을 추가하여 sequence를 고려하는 것

을 말한다.

이 때, unique한 값은 여러 주기함수의 출력 함수값을 합쳐 사용한다. 주기함수는 입력값 x의 위치에 따라 출력값이 변하기 때문이다.
단, 하나의 주기함수만 사용하면 동일한 함수값을 가지는 구간이 생기므로, 서로 다른 여러 주기함수의 출력값들을 모두 합쳐서 사용한다.

이렇게 특수한 값을 추가하여 인코딩하게 되면, input 단어의 순서가 바뀌었을 때 output 값도 달라지게 되어 순서를 구별할 수 있는 모델이 된다.

Learning Rate Scheduler

기존의 모델에서 학습률(learning rate)는 하이퍼파라미터로, 학습 내내 고정되어있는 값이었다. 그러나 학습의 과정동안 효율적인 학습률은 계속 바뀌기 마련이므로, 이를 학습 과정 내에서 효과적으로 바꾸어 줄 수 있는 방식으로 Learning Rate Scheduler가 나오게 되었다.

디코더 구조

Outputs가 디코더의 입력으로 들어올 때, 기존의 ground truth 문장에서 앞쪽에는 <SOS> 토큰을 붙여 들어오므로, 한칸 밀린(shfited right) 형태로 들어오게 된다.

디코더에서 Attention 모듈을 포함한 한차례의 과정을 거친 후 다음 Multi-Head Attention으로 갈 때, 디코더의 hidden state vector를 입력 Q로 넘겨준다. 그런데, 나머지 K와 V 입력은 외부, 즉 인코더의 최종 출력으로부터 온다. 즉, 이 부분은 디코더의 hidden state vector를 기준, 즉 Q로 해서 인코더의 hidden state vector K, V 를 가중하여 가져오는, 인코더와 디코더간의 Attention 모듈이 된다.

이 후 이미지에 나온 대로의 연산을 거치다가, 디코더의 최종 output 값이 Linear Layer와 Softmax를 거쳐 확률분포의 형태로 출력된다. 이 값은 Softmax-with-loss 손실함수를 통해 학습된다.

Masked Self-Attention

Self-Attention 모델에서, 임의의 단어 a는 Q와 K의 내적을 통해 자신과 모든 단어들의 관계를 다 알수 있다. 이 때, 학습 당시에는 배치 프로세싱을 위해 a 뒤의 단어들까지 모두 고려하도록 학습이 진행되나, 사실 실제 디코딩 상황을 고려한다면 a 뒤의 단어를 알아서는 안된다. 이는 뒤의 단어를 추론해야 하는 상황에서 뒤에 어떤 단어가 있는지 미리 알고있는, 일종의 cheating 상황이기 때문이다. 이러면 당연히 학습은 제대로 되지 않게 된다.

디코더 과정의 이미지 중 Masked Self-attention은 이를 해결하기 위한 방법으로, 기존의 attention 모듈에서 Q, K 내적과 softmax를 통과한 값에서 현재 단어 a의 뒤에 있는 단어들을 key 값으로 계산된 셀들을 모두 삭제한다. Mask 라는 단어는 이처럼 뒤쪽의 정보를 가린다(mask)는 의미다.

위의 이미지는 [I go home → 나는 집에 간다] 라는 번역을 수행하는 사례인데, Q,K의 내적을 통해 얻은 정사각 행렬을 표현하고 있다. 이 때 주대각선 위쪽의 값들은 query보다 key가 뒤쪽의 단어들인 경우로, 이 셀들의 정보를 그대로 둔 채로 학습시키지 못하도록 해당 값들을 0으로 대체한다. 그 이후, 남은 주대각선 이하의 셀들만 가지고, row단위로 총합이 1이 되도록 normalize 한 정보를 최종 output으로 내보낸다.

Reference

The Illustrated Transformer - 한국번역

Group Normalization

Transformer: All you need is Attention (설명/요약/정리)

📃 Review of "Attention Is All You Need"

NLP 05 - Seq2Seq와 Attention

Wed, 17 Feb 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

Seq2Seq

RNN의 Many-to-Many 형태에 해당한다.

인코더(Encoder)와 디코더(Decoder)로 구성되어 있으며, 인코더와 디코더는 별개의 파라미터를 가진 서로 다른 RNN 모델(이미지에서는 LSTM)이다.

인코더의 마지막 $h_n$ 은 디코더의 $h_0$ 가 되며, 디코더는 첫 입력으로 <SOS> 토큰을 받고, 마지막 출력으로 <EOS>토큰을 낸 뒤 생성을 마친다.

따라서, 인코더의 모든 정보들은 $h_0$ 이라는 하나의 hidden state vector에 담겨서 디코더에 반영된다.

Seq2Seq with attention

기존 Seq2Seq의 한계

기존의 Seq2Seq 모델은 RNN의 특성상 $h_t$ 의 dimension이 정해져 있어서, 아무리 시퀀스 데이터의 단어가 많아지더라도 그 정보들을 모두 압축하여 같은 크기의 $h_t$ 에 욱여넣어야했다.

또, LSTM에서 아무리 Long-term Dependency 문제를 해결했다고 하더라도, 마지막 time step을 기준으로 할 때 훨씬 이전에 있는 time step의 정보들을 모델을 거치면서 점점 변질되거나 소실되어 정보를 잘 저장하지 못하는 문제가 발생했다.

이에 대한 대안으로 입력값의 순서를 바꾸는 경우(i.e. I go home → go I home)도 연구되곤 했다.

Attention Module 적용

이와 달리, attention 모듈을 활용한 Seq2Seq 모델은, $h_0$ 하나에 모든 인코더의 hidden state vector을 반영하는것이 아니라, 각 time step의 모든 $h_t$ 를 전부 디코더에 제공한다. 디코더는 단어를 하나씩 생성하며, 그 때 그 때 필요한 $h_t$ 들을 선별하여 사용하게 된다.

과정

위의 이미지의 과정을 풀어보자.

프랑스어를 인코더에 집어넣고, 마지막으로 나오는 출력값 $h_4^{(e)}$ 을 디코더가 $h_0$ 로 받는다.
디코더는 입력값 $x_1$ 로 Start Token에 해당하는 워드 임베딩 벡터를 받는다.
디코더는 $x_1$ 과 $h_0$ 를 이용하여 디코더의 hidden state vector $h_1^{(d)}$ 를 얻는다.
인코더의 각 time step에서 나온 $h_1^{(e)},h_2^{(e)},h_3^{(e)},h_4^{(e)}$ 각각에 대해 $h_1^{(d)}$ 를 내적하여, 다음 단어 예측에 사용할 Attention Score를 매긴다.
Attention Score를 logit 벡터로 생각하고 softmax 함수를 적용하여, 각각의 $h_t^{(e)}$ $h_{t}^{(e)}$ 에 대응되는 확률값(Attention Distribution)을 뽑아낸다.
- 이 때, Attention Distribution은 확률값이므로 합이 1이 되는데, 이렇게 합이 1인 형태의 가중치를 Attention Module 내에서는 Attention Vector라고 부른다.
해당 확률값들은 $h_t^{(e)}$ $h_{t}^{(e)}$ 에 적용될 가중치로 사용할 수 있다. 이미지에서는, 다음 단어 생성에 $h_1^{(e)}$ $h_{1}^{(e)}$ 가 가장 많이 사용될 것이라는 것을 보여주고 있다. 각 가중치와 $h_t^{(e)}$ $h_{t}^{(e)}$ 를 곱한 뒤 합산하여 가중평균(Attention Output, context vector)을 낸다.
- 이 때, 위의 이미지에서 Attention scores, Attention distribution이 있는 부분들을 묶어 Attention Module로 말할 수 있으며, Attention 모듈의 입력은 각각의 $h_t^{(e)}$ 와 $h_1^{(d)}$ 가 되고, 출력은 Attention output이 된다.
Attention output과 $h_1^{(d)}$ 이 concat되어서 output layer의 입력으로 들어가고, output layer는 $\hat{y_1}$ 값, 즉 'the'라는 글자를 내보낸다.

이 과정을 반복하면 아래와 같은 이미지가 된다.

결국, 디코더의 hidden state vector $h_t^{(d)}$ 는 다음과 같은 두가지 역할을 한다.

$\hat{y_t}$ 를 도출하는 output layer의 input중 하나
인코더의 $[h_1^{(e)},\dots,h_n^{(e)}]$ 를 각각 얼마나 반영하여 Attention output을 낼 지 (가중치를) 결정

Backpropagation

Seq2Seq with attention의 역전파 과정에서는, Encoder 단에서 잘못 가져온 $[h_1^{(e)},\dots,h_n^{(e)}]$ 의 가중치들을 다시 재조정하여, 원하는 정보가 잘 선택 될 수 있도록 $h_t^{(d)}$ 를 학습한다.

Teacher Forcing

처음에 모델이 작동할 때, 기존에 주어진 파라미터 정보가 얼마 없으므로 모델이 잘못된 예측을 할 수 있다.

i.e. I want to go home → go to home ....

학습과정에서는 모델이 잘못된 예측을 하더라도 다음 input에 ground truth인 정답 input값을 집어넣어주어 파라미터를 학습시킬 수 있다. 이를 Teacher Forcing이라고 한다.

그러나 실제 inference 과정에서는 ground truth를 줄 수 없으므로, 학습 환경과 실제 추론 환경이 다르게 되어 파라미터가 제대로 최적화되지 않는다. 이를 피하기 위해 일정 부분까지는 파라미터를 teacher forcing으로 학습시키다가, 이후에는 완전한 inference로 학습하기도 한다.

Attention Scores 메커니즘

위에서 Attention Score는 $h_t^{(e)}$ 와 $h_t^{(d)}$ 의 유사도 역할을 하며, 이를 구하기 위해 내적을 했었다.

단순히 내적(dot product)을 하는 방식 외에도 Attention Scores를 구하는 다양한 방식들이 제안되었다.

generalized dot product
- 디코더의 $h_t$ 와 인코더 중 한 단어의 hidden state vector $\bar{h}_s$ 를 내적하는 과정에서, 중간에 하나의 가중치행렬( $W_a)$ 을 추가한다.
- 정사각행렬 내부의 원소들을 새로운 파라미터로 두어, Attention scores를 구하는 방법을 학습시킬 수 있다.
concat
- 디코더의 $h_t$ 와 인코더 중 한 단어의 hidden state vector $\bar{h}_s$ 를 concat( $;)$ 하여 입력값으로 주고, scalar 값을 도출하는 새로운 신경망을 추가한다.
- 이 경우 가중치 $W_a$ 를 곱한 뒤 비선형 변환 $\tanh$ 를 거치고, 마지막으로 선형변환인 $v_a^T$ 를 거쳐 스칼라 값(score)을 출력한다.

Attention의 의의

신경망기계번역(NMT)의 성능을 획기적으로 개선하였다.
- 디코더의 매 time step마다 source의 특정 정보들을 활용할 수 있게 되었기 때문이다.
인코더의 마지막 $h_n$ $h_{n}$ 만을 디코더에 이용할 수 있으므로 적은 양의 파라미터에 과거의 정보들이 모두 욱여넣어지는 bottlenect problem을 해결했다.
- $h_n$ 뿐만 아니라 인코더에서 각 time step의 hidden state vector를 모두 활용하기 때문이다.
Vanishing Gradient 문제를 해결했다.
- 잘못된 단어를 생성하였을 때 이를 고치기 위해 backpropagation한다고 생각해보자.
  - 먼 거리의 가중치를 업데이트하기 위해서 기존에는 time step을 차례로 거슬러 올라가야 하며, 이 과정에서 정보(gradient)가 소실될 수 있었다.
- 그러나, Attention이 있을 때는 어떤 time step도 거치지 않고 Attention 모듈의 파라미터를 통해 backpropagation하므로, 먼 거리에 있는 가중치도 정보를 소실하지 않고 바로 업데이트할 수 있게 되었다.
해석가능성을 제공해준다.
- Attention distribution 수치를 확인하여 디코더가 인코더의 어느 부분에 집중했는지 확인할 수 있다.
- Attention 모듈 신경망은 언제 어떤 단어에 집중해야 하는지도 스스로 학습한다.

Reference

Overview - seq2seq

Machine Translation, Seq2seq, & Attention

NLP 06 - Beam Search와 BLEU 평가법

Wed, 17 Feb 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

Beam Search

한계 인식

Seq2Seq의 문제점

기존의 seq2seq 모델은 매 time step마다 가장 높은 확률을 가지는 단 하나의 다음 단어를 예측하는 task를 학습한다. 이를 Greedy Decoding이라고 한다.

그러나 이 방식은 시퀀스로서의 문장 전체를 보고 예측하는 것이 아니라, 근시안적으로 현재 time step에서 가장 좋아보이는 값을 예측하므로, 잘못 예측한 단어를 한번 내놓으면 되돌릴 수 없다.

Exhaustive search

번역의 형태를 수식으로 표현하면 다음과 같다.

\begin{aligned} P(y|x) &= \textcolor{orange}{P(y_1|x)}\textcolor{purple}{P(y_2|y_1,x)P(y_3|y_2,y_1,x)\dots P(y_T|y_1,\dots,y_{T-1},x)} \\ &= \prod^t_1P(y_t|y_1,\dots,y_{t-1},x) \end{aligned}

입력 시퀀스 $x$ 가 주어졌을 때, 가장 그럴듯한 출력 시퀀스 $y$ 를 얻기 위해서는 joint probability, 즉 우변의 모든 항들이 다 곱해졌을 때( $\prod^t_1P(y_t|y_1,\dots,y_{t-1},x)$ ) 가장 큰 값이 나와야 한다.

그러나, 기존의 Seq2Seq 값은 첫번째 단어인 $y_1$ 의 확률 $\textcolor{orange}{P(y_1|x)}$ 를 구할 때, 뒤의 확률들을 고려할 여력이 없기 때문에, 단순히 $\textcolor{orange}{P(y_1|x)}$ 을 최대화시키는 greedy한 방식을 취하게 된다.

그러나 전체적인 관점에서 만약 $\textcolor{orange}{P(y_1|x)}$ 가 지금 당장은 작더라도, $\textcolor{purple}{P(y_2|y_1,x)P(y_3|y_2,y_1,x)\dots P(y_T|y_1,\dots,y_{T-1},x)}$ 가 더 커져서 결과적으로 최대의 확률을 얻을 수 있게 만드는 것이 이상적인 방법일 것이다.

이 방법을 어떻게 구현할 수 있을까? 직접 모든 가능한 시퀀스 $y$ 를 계산해볼까? (Exhaustive Search - Brute Force 방식)

이는 매 step $t$ 마다 vocabulary 크기인 $V^t$ 의 가짓수만큼(즉, $V_n^t$ 를 선택했을때의 확률들) 모두 고려해야한다는 말이다. $O(V^t)$ 는 당연히 기하급수적으로 증가하므로 현실적으로 불가능하다.

이에 대해 차선책으로 나온 방식이 Beam Search이다.

Beam Search

Beam Search란?

매 step $t$ 마다 하나의 단어만을 고려하는 Greedy와, 매 step $t$ 마다 모든 단어를 고려하는 Exhaustive의 절충안으로, Beam Search 는 정해놓은 $\textcolor{red}{k}$ 개만의 단어를 고려한다. 이 $k$ 개의 경우에 해당하는 decoding output을 hypothesis 라고 부른다.

$k$ 는 beam size라고 부르며, 일반적으로 약 5~10개이다.

최대화하고자 하는 beam 값, 즉 hypothesis는 joint probability인데, 이 값에 log를 취하게 되면 각각의 확률들을 덧셈으로 표현할 수 있게 된다.

$score(y_1,\dots,y_t)= logP_{LM}(y_1,\dots,y_t|x) = \sum^t_{i=1}logP_{LM}(y_i|y_1,\dots,y_{i-1},x)$

$\log$ 함수는 원래 단조증가하는 형태이기 때문에, $\log(x)$ 의 $x$ 가 커지면 커질수록 더 큰 값을 가지게 된다. 따라서, 로그함수를 취한 값으로도 동일하게 hypothesis를 최대화할 수 있다.

이와 같은 방식으로 Beam Search는 globally optimal solution, 전역 최적해를 가져다 주지는 않지만, exhaustive search보다는 훨씬 나은 효율을 보여준다.

동작 예시

아래의 예시는 $k$ 가 2인 예시이다.

여기서 log를 취한 값이 음수가 나옴을 알 수 있는데, log 함수의 입력값이 0과 1사이의 범위를 가지는 확률값이기 때문이다. 음수이더라도, log 함수는 단조증가 형태이므로 더 높은 확률값을 가지면 더 높은 score로 연결됨을 알 수 있다.

i.e. ['he'의 확률값 > 'I'의 확률값] → [-0.7 > -0.9]

이렇게 매번 score가 가장 높은 $k$ 개만을 골라 다음 search를 진행하므로, 고려해야할 경우의 수가 너무 크게 늘어나지 않는다.

이 과정이 마무리 되면, 나온 모든 값들 중 최종 score가 높은 하나의 시나리오를 뽑고, 해당 시나리오를 output으로 하는 decoding을 출력하게 된다.

Stopping Criterion

Beam Search 디코딩에서, 여러 hyptothesis(시나리오)들은 서로 다른 time step에서 <END>토큰을 생성하게 된다. 즉, 끝나는 시기가 각각 다르다.

<END> 토큰을 생성한 hypothesis는 완료 상태가 되어 따로 저장된다. 이후 모든 hypothesis가 끝나면 score를 비교한다.

Finishing up

최종 score는 결국 다음과 같이 도출된다.

score(y_1,\dots,y_t) = \log P_{LM}(y_1,\dots,y_t|x) = \sum^t_{i=1}\log P_LM(y_i|y_1,\dots,y_{i-1},x)

그런데 score는 joint probability에 log함수를 취하여 음수들의 덧셈연산으로 바꾼 것인데, 확률값은 0과 1 사이이므로 log 함수값들을 합치면 점점 음수가 더해진다. 따라서 길이가 길 수록 더 많은 j,

긴 hyphothesis가 더 낮은 score를 가지는 문제가 생긴다.

따라서 이를 해결하기 위하여 각 hyphotesis를 가지고있는 단어의 개수(즉, 길이)로 나누어 score를 normalize 시켜줄 수 있다.(Normalize by length)

score(y_1,\dots,y_t) = \textcolor{red}{\frac{1}{t}}\sum^t_{i=1}\log P_{LM}(y_i|y_1,\dots,y_{i-1},x)

BLEU

BLEU는 자연어 생성모델에서 모델의 품질(결과의 정확도)를 평가하는 방식이다.

기존의 Seq2Seq with attention 등의 모델을 통해 자연어 생성 task를 수행하여 문장을 만들었을 때, target 문장과 비교하여 정확도를 측정할 수 있다.

그런데 만약 time step별로 정답 문장과 예측 문장의 단어들을 비교하면, 중간에 한 단어를 빼먹거나 한 단어를 추가로 잘못 생성하기만 했어도 한칸씩 밀려서 정확도가 굉장히 낮아지게 된다. 이는 문장 전체를 비교하고 유사도를 평가하는 것이 아니므로 잘못된 방식이 될 것이다.

따라서 정확도를 측정하기 위해서는, 생성한 sequence 문장과 ground truth 문장 사이의 전체적인 유사도를 평가할 필요가 있다. 이를 위한 방식으로, precision과 recall 방식을 생각 해 볼 수 있다.

Precision과 Recall

precision(정밀도) : 예측값 중에 얼마나 정답이 많은가? - 예측의 정확도

recall(재현율) : 정답의 정보들을 얼마나 빠짐없이 재현했는가? - 정답의 재현도

예를 들어, 다음과 같은 두 문장을 생각해보자.

Reference(정답) : She put my name with yellow hearts

Predicted(예측) : She took my name and gave yellow letters

precision = \frac{\#(correct\_words)}{length\_of\_prediction} = \frac{4}{8} = 50\%\\ recall = \frac{\#(correct\_words)}{length\_of\_reference} = \frac{4}{7} = 57\%

모델의 품질을 평가하기 위해 precision과 recall이라는 각기 다른 두 값을 평균내서 나타낼수도 있을 것이다.

이 때, 평균의 종류는 3가지가 있는데, 다음과 같다.

\begin{aligned} 산술평균 &= \frac{a+b}{2} \\ 기하평균 &= \sqrt[2]{a+b} \\ 조화평균 &= \frac{1}{\frac{\frac{1}{a}+\frac{1}{b}}{2}}\\ \end{aligned}\\ 산술평균\geq 기하평균 \geq 조화평균

내분점의 관점에서 보자면, 조화평균과 기하평균은 작은 값에 더 가중치를 많이 두는 방식이다.

1:1 내분점(산술평균)보다 작은 쪽에 치우쳐져 있기 때문이다.

F-measure

F-measure = \frac{precision\times recall}{\frac{1}{2}(precision+recall)} = \frac{0.5\times0.57}{0.5\times(0.5+0.57)} = 0.53

F-measure는 precision과 recall을 이용할 때 조화평균을 이용하는 방식으로, 좀 더 작은 쪽에 가중치를 두어서 평가하는 방식이 된다.

그러나 위에서 제시한 품질평가방법들은 순서를 고려하지 않으므로, 정답 단어들이 뒤죽박죽 섞여있더라도 정확하다고 평가하는 오류를 가진다.

이를 해결하기 위해 BLEU 스코어가 나왔다.

BLUE score

BLUE score란?

BiLingual Evaluation Understudy(BLEU)는 기존의 정확도 평가 방식에 추가적으로 순서까지 고려한 평가방식이다.

BLEU = \underbrace{min(1,\frac{length\_of\_prediction}{length\_of\_reference})}_{\text{brevity penalty}}\underbrace{(\prod^n_{i=1}precision_i)^{\frac{1}{n}}}_{\text{n-gram}}

'정답 문장의 단어들과 겹치는 개별 단어가 얼마나 있는가'를 반영하면서도, 추가적으로

'n개의 연속된 단어(n-gram)가 얼마나 정답 문장의 단어연속체와 겹치는가'를 평가에 반영

한다.

이 때 n은 일반적으로 1-4개 정도이다.
precision만 반영하고, recall은 관여되지 않는다.
- 예시 : The horse is very fast.
- 위의 문장에서 very가 빠진다고 해서 번역의 질이 크게 떨어지지 않는다.
- 다만, 어떤 단어(horse)를 아예 다른 단어(morse)로 나타냈을 경우 문장의 의미가 달라져버리는 경우가 생기기 때문에 precision은 고려한다.
precision의 곱들을 기하평균 취한다.
- 산술평균에 비해 작은 쪽에 좀 더 가중치를 주기 위해서이다.
- 조화평균을 쓰지 않은것은 작은 쪽에 지나치게 큰 가중치를 주기 때문이다.

brevity penalty는

정답 문장에 비해 너무 적은 문장을 생성했을 경우 더 작은 값을 곱해주어 페널티를 주는것

이다.

예측 문장의 길이가 정답 문장의 길이보다 짧으면, 1보다 작은 수를 곱하므로 정확도가 낮아진다.
반대로 생각해보면, 정답문장의 모든 단어들이 존재하면 예측문장에 존재하면, 예측 문장의 길이가 정답 문장의 길이보다 길더라도, 최대 1밖에 곱해지지 않는다. 그런 점에서 recall의 최댓값으로 1이 나오는것과 동일하게 볼 수 있으므로, recall을 어느정도 고려한 모델이 된다.

Reference

NMT - cs234n

NLP 03 - RNN과 이를 활용한 Character Language Modeling

Tue, 16 Feb 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

RNN

구조

RNN의 가장 큰 특징은 매 timestep $t$ 마다 동일한 function $f$ 와 파라미터 셋 $W$ 가 사용된다는 것이다.

매 순간 $t$ 마다 새로운 단어(혹은 형태소)를 입력으로 받아 $t+1$ 에 연결되는 hidden state $h_t$ 를 내보내는데, 이 때 $h_t$ 를 이용하여 해당 시점에서의 예측값 $y_t$ 를 내보내는 경우도 있다. 단어의 형태소를 판단하는 RNN의 사례를 들 수 있다.

또, 매 순간 $y_t$ 를 출력하지 않고 $h_t$ 를 잘 쌓아뒀다가 마지막 순간에 $y_t$ 를 단 한번 출력하고 끝나는 경우도 있을것이다. 부정/긍정문을 판단하는 RNN을 예로 들 수 있다.

이 과정에서 사용되는 모든 파라미터 $W$ 와 function $f$ 는 매 timestep마다 동일하다. 또한, $h_t$ 의 dimension은 hyperparameter로, 모든 timestep에서 동일한 형태를 가진다.

이 때, 이를 수식으로 풀이하면 다음과 같다.

h_t = f_W(h_{t-1},x_t)\\ \begin{aligned} h_t &= \tanh(\textcolor{blue}{W_{hh}}h_{t-1} + \textcolor{red}{W_{xh}}x_t)\\ y_t &= \textcolor{green}{W_{hy}}h_t \end{aligned}

여기서 $\textcolor{blue}{W_{hh}}$ 와 $\textcolor{red}{W_{xh}}$ 이 어떤 형태인지는 다음 그림을 살펴보도록 하자.

위의 그림과 같이, $x_t$ 와 $h_{t-1}$ 을 합친 벡터에 적용되는 선형변환 $W$ 를 두 파트로 나눌 수 있다. 하나는 $x_t$ 에 적용되어 $h_t$ 를 만들 때 사용되는 $\textcolor{red}{W_{xh}}$ 과 , 나머지 하나는 $h_{t-1}$ 에 적용되어 $h_t$ 를 만들 때 사용되는 $\textcolor{blue}{W_{hh}}$ 이다. 각각의 파라미터로 선형변환하고 난 뒤, 두 값을 합쳐 비선형변환( $\tanh$ )을 적용시켜 $h_t$ 를 완성한다.

완성된 $h_t$ 에서 추가적인 변환으로 해당 시점의 예측값 $y_t$ 를 뽑아낼 수도 있다. $h_t$ 에서 $y_t$ 로 가는 변환이므로 이 때 사용되는 파라미터를 $\textcolor{green}{W_{hy}}$ 라고 한다.

위의 식에서는 편의 상 bias항을 고려하지 않았지만, 실제로 계산할 때에는 bias항이 추가됨을 유의하자.

여기서 출력된 $y_t$ 가 이진 분류(binary classification)이면 sigmoid를 적용시키고, 다중 분류(multiple classification)이면 softmax를 적용시켜 예측값(또는 확률값)으로 나타낼 수 있다.

sigmoid와 softmax의 차이에 대해서는 다음 글을 참조해보자.

#수학 : 시그모이드 함수(Sigmoid) / 소프트맥스함수(Softmax)

종류

One-to-one
- 입력과 출력이 단 하나 → 시퀀스 데이터가 아닌 모델 구조
- 이전 timestep의 hidden state $h_{t-1}$ 가 들어오지 않고, 입력으로 받은 값을 그대로 출력하므로, 시퀀스 데이터가 아님
One-to-many
- 입력이 하나의 timestep으로 이루어지고, 출력이 여러 timestep으로 이루어지는 모델 구조
- Task 사례 : Image Captioning
  - 단일 입력( $x$ : 이미지)을 받고, 캡션을 달기 위하여 필요한 단어( $y$ )들을 순차적으로 생성(출력)
- 이 경우 최초의 단일 입력 이후에 빈 입력을 넣기 위하여 같은 사이즈의 zero 벡터/행렬/텐서가 들어가게 된다.
Many-to-one
- 입력이 여러 timestep으로 이루어지고, 출력이 마지막 timestep 하나로 이루어지는 모델 구조
- Task 사례 : 긍정/부정문 판단
  - 문장 시퀀스 데이터를 받다가 마지막 순간에 문장의 긍정/부정을 판단하는 이진분류를 수행하여 출력
Many-to-many
- 입력과 출력이 모두 시퀀스 형태
- Task 1 : 기계 번역(Machine Translation)
  - 텍스트(또는 문장)의 입력이 끝나는 시점부터 해석한 정보를 바탕으로 번역된 문장의 단어를 하나씩 출력
- Task 2 : Part-of-Speech(POS) tagging
  - 각 단어별로 형태소/성분을 분석하므로, 모든 timestep에서 입력과 출력이 다 일어난다.

Language Model

언어모델(Language Model)은 주어진 문자열이나 단어의 순서를 바탕으로 다음 단어를 예측하는 task이다.

언어모델링은 철자(character) 단위나 단어(word) 단위 두 가지 경우 모두 수행할 수 있다.

Character Language Model

철자(character)가 주어졌을 때, 단어내의 다음 철자를 예상하는 언어 모델링을 생각해보자. 이는 매 timestep마다 다음 철자( $y$ )를 출력해야하므로, Many-to-many task에 해당한다.

과정

학습 시퀀스 데이터에서 unique한 철자를 모아 사전을 구축한다.
해당 철자들을 len(vocab)만큼의 차원을 가지는 원-핫 벡터로 변환한다.
$h_t$ 를 만들어내기 위해 변환을 수행한다. 이 때 $h_0$ 는 hidden state의 dimension을 가지는 영벡터/행렬/텐서로 한다.
선형변환( $W_{hy}h_t+b$ $W_{h y} h_{t} + b$ ) 시킨 후, 다중 분류이므로 Softmax를 적용하여 $y_t$ $y_{t}$ 로 내보낸다.
- 이 때 선형변환된 값을 Logit으로 여긴다. output layer에서 나온 값 중 하나를 골라 다음에 나올 철자로 예측하기 때문이다.
  - Logit : log와 odds의 합성으로, 딥러닝에서는 일반적인 0~1 구간의 확률값이 아니라 $-\infin$ ~ $\infin$ 의 범위에 있는 날확률값을 의미한다. 다중 분류에서 Softmax 함수의 입력값으로 자주 사용된다.
  - Logit의 개념을 잘 모르겠다면 로짓(Logit)이란?을 참고하자.
  - logit과 sigmoid, softmax의 관계도 참고하자.
첫 출력을 보면 'h' 다음 'e'가 와야하는데 실제로는 'o'가 4.1을 받아 출력되었음을 알 수 있는데, 이와 같은 잘못된 결과에 페널티를 주고 올바른 결과인 'e'가 더 높은 값을 얻도록 하기 위해 Softmax-loss를 적용하여 업데이트한다.

해당 모델의 학습결과는 여기서 확인하자.

The Unreasonable Effectiveness of Recurrent Neural Networks

RNN의 역전파 알고리즘, BPTT

RNN에서의 순전파는 각 timestep마다 Loss를 모두 계산하고, 역전파(Backpropagation through time, BPTT)는 $(W_{hh},W_{xh},W_{hy})$ 를 모두 연산해야하므로, 단어/철자 수가 수천/수만을 넘어가는 텍스트 데이터에서는 계산할 양이 매우 방대해진다.

따라서 이를 현실적으로 수행하기 어렵기 때문에, 시퀀스 데이터의 일부를 잘라내어 한번에 학습할 수 있는 길이를 제한시키는 truncation을 사용한다.

Searching for Interpretable Cells

그렇다면, RNN 모델에서 시퀀스 데이터에서 문맥을 이해하고, 해석가능한(interpretable) 정보는 어느 셀에 담겨있을까?

RNN에서 필요로하는 정보를 저장하는 공간은 결국 매 timestep마다 업데이트되는 hidden state vector, $h_t$ 이다.

위의 이미지는 학습시킨 RNN 모델에서 특정 hidden state vector의 dimension을 고정해놓고, 해당 dimension 값의 변화를 추적한 이미지이다. 따옴표(quote)를 기준으로 해당 dimension의 hidden state 값이 확연히 바뀌는 것을 알 수 있는데, 이는 hidden state가 따옴표가 열렸는지 닫혔는지를 해석하는 방식을 학습했다고 이해할 수 있다.

RNN 모델의 문제점

Vanishing/Exploding Gradient Problem

앞서 살펴본 (vanilla, original) RNN 모델은 훌륭하게 문맥을 파악했다. 그러나, 해당 RNN 모델의 학습 방식에는 한계가 있다.

매 $t$ 마다 동일한 matrix $W$ 를 곱해주기때문에, 역전파 과정에서 기울기 소실(Vanishing Gradient)이나 기울기 폭발(Exploding Gradient)이 생기게 된다. 이 경우 gradient가 뒤로 전파될수록 영향력이 사라지거나, 너무 커다란 영향을 미치게 된다. 따라서, long-term dependancy 문제가 제시된다.

이 문제를 해결하기 위해 LSTM과 GRU같은 RNN의 발전된 형태가 나오게 되었다.

Reference

cs231n_2017_lecture10.pdf

The Unreasonable Effectiveness of Recurrent Neural Networks

NLP 04 - RNN을 개선한 LSTM과 GRU 모델

Tue, 16 Feb 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

LSTM & GRU

LSTM

Long Short-Term Memory(LSTM)은 기존 RNN모델에서 Vanishing/Exploding Gradient 문제를 해결하고, long-term depandancy 문제를 개선한 모델이다.

hidden state를 단기(short-term)기억소자로 볼 수 있고, 보다 먼 timestep(long-term)의 정보까지 잘 반영하도록 만들었기 때문에 이러한 이름이 붙었다.

구조

기존의 RNN 모델이 다음과 같은 형태였다면,

h_t = f_w(x_t,h_{t-1})

LSTM 모델의 형태는 다음과 같다.

\{C_t,h_t\} = LSTM(x_t,C_{t-1},h_{t-1})

$C_t$ : Cell State Vector
$h_t$ : Hidden State Vector

이 중 $C_t$ 가 좀 더 완전하고 통합적인 정보를 제공한다. $h_t$ 는 $C_t$ 를 한번 더 가공(필터링)해서 해당 timestep에서 노출할 필요가 있는 정보들만 남긴 형태라고 볼 수 있다.

LSTM은 주어진 $x_t$ 와 $h_{t-1}$ 을 바탕으로 4개의 게이트(gate)를 이용해 $C_{t-1}$ 를 수정하고 $h_t$ 를 계산한다.

먼저, $x_t$ 와 $h_{t-1}$ 을 붙여 $W$ 를 이용하여 벡터로 선형변환시키고, 변환시킨 벡터를 4개로 쪼개어 각각 sigmoid와 tanh를 취해 4개의 게이트를 만든다.

i : Input gate, 셀에 해당 정보를 써 넣을 것인가?
$i_t = \sigma(W_i\cdot[h_{t-1},x_t] + b_i)$
f : Forget gate, 셀에서 정보를 얼마나 잊을 것인가? 거꾸로 말하자면, 얼마나 보존할 것인가?
$f_t = \sigma(W_f\cdot[h_{t-1},x_t] + b_f)$
o : Output gate, 현재 Cell( $C_t$ )를 출력값 $h_t$ 로 가공할 때 얼마나 필터링 할 것인가?
$o_t = \sigma(W_O[h_{t-1},x_t]+b_O)$
- $o_t$ 는 sigmoid를 거치므로 0~1 사이의 값이 된다.
  $h_t =o_t \odot \tanh(C_t)$
- 최종 출력값 $h_t$ 는 tanh를 거친 $C_t$ 에 0과 1사이의 적절한 $o_t$ 와 element-wise product함으로써 Cell state 정보를 일정 비율로 작게 만들어(filtering) 내보내는 값이다.
  - $C_t$ 는 이전까지의 모든 과거 정보를 담은 벡터, $h_t$ 는 해당 time step에서 예측값에 사용하기 위해 지금 당장 필요한 정보만을 ( $C_t$ 로부터) 필터링한 값이다.
g : Gate gate, 현재 cell에 해당 정보를 얼마나(how much) 기록할것인가?
$\begin{aligned} \tilde{C_t}&=\tanh(W_C\cdot[h_{t-1},x_t]+b_c)\\ C_t &= f_t \odot C_{t-1} + i_t \odot \tilde{C_t} \end{aligned}$
- $\tilde C_t$ 는 Gate gate 값이며, 현재 timestep에서 만들어진 정보를 의미한다.
- $i_t \odot \tilde{C_t}$ $i_{t} ⊙ \tilde{C_{t}}$ : 현재 정보를 기억할 게이트 값으로, Gate gate 값 $\tilde{C_t}$ $\tilde{C_{t}}$ 이 Input gate 값 $i_t$ $i_{t}$ 과 elemen-wise product된다.
  - 이 때, Gate gate 값 $\tilde{C_t}$ 은 tanh연산을 거쳤으므로 범위가 -1~1이다. 따라서, $i_t \odot \tilde{C_t}$ 를 Cell state에 반영시키되, $\tilde{C_t}$ 가 반영의 방향(증감)을 정한다고 볼 수 있다.
- 이후, 이전 Cell state가 forget gate 값 $f_t$ 와 더해져 새로운 $C_t$ 를 만든다.

sigmoid 사용 : i, f, o

0과 1 사이의 값을 가지는 sigmoid의 특성 상 기존의 벡터 값을 일정 부분만 떼내어 보존하는 역할을 한다.

tanh 사용 : g

-1과 1 사이의 값을 가지는 tanh의 특성 상 현재 timestep에서 계산되는 유의미한 정보(증/감)를 담는 역할을 한다.(vanilla rnn에서의 마지막 tanh와 같음)

GRU

Gated Recurrent Unit(GRU)은 LSTM의 모델 구조를 경량화하여 메모리 요구량을 줄이고 빠른 학습이 가능하도록 만든 모델이다.

구조

기존의 LSTM이 $C_t$ 와 $h_t$ 를 이원화하여 가져가는 모델이었다면, GRU는 두 state vector를 합쳐 $h_t$ 하나만 남겨놓았다. 이때, 일원화된 $h_t$ 는 LSTM에서의 핵심적인 역할을 하던 Cell state vector $C_t$ 에 의미적으로 더 유사한 값이다.

\begin{aligned} C_t &= \textcolor{red}{f_t}\cdot C_{t-1}+\textcolor{blue}{i_t}\cdot \textcolor{green}{\tilde{C_t}} \quad \textnormal{in LSTM} \\ h_t &= \textcolor{red}{(1-z_t)}\cdot h_{t-1} + \textcolor{blue}{z_t} \cdot \textcolor{green}{\tilde{h_t}} \quad \textnormal{in GRU} \end{aligned}

기존 LSTM에서는 input gate와 forget gate 값을 이용했다면, GRU에서는 input gate에 해당하는 $z_t$ 만 남겨두고,

forget gate $f_t$ 를 $(1-z_t)$ 로 바꾸어 처리

한다.

현재 값인 $\tilde{h_t}$ 와 과거의 정보를 통합한 값인 $h_{t-1}$ 의 비율을 조정하여, 합쳐서 1이 되도록 만들면서, 현재와 과거 값 간의 가중평균을 내게 된다.

이 과정에서 게이트도 하나(fortget gate) 줄이게 되어, 계산양과 메모리 요구량을 줄여 경량화
하였다.

LSTM과 GRU의 역전파

기존의 RNN은 역전파 과정에서 $W_{hh}$ 를 계속 곱해주었기 때문에 Vanishing/Exploding Gradient 문제가 생겼었다.

그러나, LSTM(과 GRU)의 역전파는 Cell State Vector $C_{t-1}$ 에 그 때 그 때 다른 값으로 이루어지는 $f_t$ 를 곱하고, 필요로 하는 정보 $\tilde{C_t}$ 관련 항을 더해주어 Vanishing/Exploding Gradient를 막았다.

또한, 이러한 덧셈 연산이 역전파과정에서 Gradient를 복사하여 매번 전달해주는 역할을 하므로,, RNN에 비해 멀리있는 timestep의 gradient까지 큰 변형없이 전달하게 되어 결과적으로 long-term depandency를 어느정도 확보하였다. 다만, LSTM과 GRU는 Long Term Dependency 문제를 완벽하게 해결하지는 못했다. 멀리 있는 정보는 곱해져 최근으로 오면서 점점 소실되게 된다.

2017년 등장한 attention 구조를 활용한 transformer가 이러한 문제를 근본적으로 해결하게 되었다.

RNN/LSTM/GRU 요약

RNN은 다양한 길이를 가질 수 있는 시퀀스 데이터에 특화된 딥러닝 모델이다.
- 아키텍쳐 디자인에 유연성을 제공한다.
Vanilla RNN은 구조가 간단하지만 Vanishing/Exploding Gradient 문제 때문에 실제로 많이 사용되지는 않는다.
LSTM과 GRU는 실제 많이 사용하고 있으며, Vanishing/Exploding Gradient 문제를 덧셈연산으로 해결한 모델이다.
- Cliping Gradient 같은 방법으로 해결할 수도 있다고 한다.

Reference

Understanding LSTM Networks

RNN vs LSTM: Vanishing Gradients

NLP 01 - NLP와 Bag-of-Words란?

Mon, 15 Feb 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

Intro to NLP

NLP

major conferences : ACL, EMNLP, NAACL

NLP란? - Natural Language Processing, 자연어처리

자연어처리가 다루는 Task

Low-level parsing
- Tokenization(문장을 단어단위로 쪼개는 것), stemming(단어의 어근 추출)
Word and phrase level
- Named entity recognition(NER) - 여러 단어의 조합을 하나의 고유명사로 인식 i.e. New York Times
- part-of-speech(POS) tagging - 문장 내에서 단어의 품사나 성분 파악
- noun-phrase chunking, dependency parsing, coreference resolution
Sentence level
- Sentiment analysis - 문장의 긍정/부정여부, 감정 등을 파악
- machine translation - 타 언어로 단어의 어감과 어순을 살려 번역
Multi-sentence and paragraph level
- Entailment prediction - 두 문장 간의 내포관계, 모순관계 등을 예측
- question answering - 질문의 대답에 해당하는 문장을 선택 i.e. 구글 검색시 미리보기
- dialog systems - 챗봇처럼 대화를 수행
- summarization

Text Mining

major conference : KDD, The WebConf(WWW), WSDM, CIKM, ICWSM

텍스트와 문서 데이터에서 유용한 정보 추출 - i.e. 방대한 뉴스데이터에서 특정 키워드에 연관된 트렌드 분석
Document clustering(topic modeling, 문서 군집화) - i.e. 뉴스데이터를 모아 주제별로 군집화
Computational social science - 빅데이터 기반 사회과학에 연관 i.e. 트위터 키워드 분석한 사회상 예측

Information retrieval 정보 검색

major conferences: SIGAR, WSDM, CIKM, RecSys

빅데이터 기반 사회과학에 연관이 있다.
자연어처리나 텍스트마이닝에 비하여 상대적으로 성숙하였기 때문에 연구가 비교적 활발하지 않다.
최근 핫한 분야인 추천시스템 쪽으로 발달하고 있다.

NLP 트렌드

Word Embedding - 주어진 텍스트 데이터를 단어단위로 분리하고, 각 단어를 다차원으로 이루어진 vector로 표현하는 것.
RNN-family models(LSTM and GRUs) - 시퀀스 데이터인 문장을 처리하는데에 특화된 RNN을 사용하는 모델. 자연어처리의 핵심 모델
Attention 모듈과 Transformer 모델 - 기존의 RNN을 self-attention으로 완전히 대체하며 큰 성능 향상을 이루었음. 2017년에 발표.

Transformer 모델처럼, 대부분의 NLP모델은 기계번역(machine translation)을 수행하기 위해 발달된 형태이다.

과거에는 특정 NLP task를 처리하기 위한 특화 모델이 각기 따로 존재했다. 그러나 Transformer가 소개된 이후로

self-attention 모듈을 계속 쌓아가는 방식을 이용하여 모델 크기를 키우고, 추가적인 labeling 없이 대규모 텍스트 데이터를 통해 자가지도학습(self-supervised learning)을 수행하는 방식이 주류

가 되었다.

BERT, GPT-3 등

이 방식으로 transfer-learning(전이 학습)을 각 task에 적용하였을 때, 기존의 특화 모델들보다 월등한 성능을 내었다. 따라서 현재는 NLP task에 있어서 대규모 데이터를 처리하는 방식이 필수적이어서, 적은 GPU 자원으로는 연구하기 어렵게 되었다.

Bag-of-Words

Bag-of-Words란, 자연어처리에 딥러닝 기술이 적용되기 이전에 사용되던 방식으로, 단어 및 문서를 숫자(벡터) 형태로 나타내는 간단한 기법이다.

과정

unique word를 포함하는 단어를 추출한다.
각 단어를 categorical variable(범주형 변수)로 판단하여 원-핫벡터로 나타낸다.
- 모든 단어 간 유클리드 거리가 $\sqrt{2}$ 이다.
- 모든 단어 간 cosine 유사도가 0이다.
문장이나 문서를 원-핫벡터의 합벡터, 즉 Bag-of-words 벡터로 나타낸다.
Bag-of-words를 사용하여 Documents Classification을 수행한다.

Naive Bayes Classifier

Bag-of-words를 사용하여 문서 분류(Documents Classification)를 수행하는 대표적인 방식이다.

베이지안 룰(Bayes' Rule)

Document $d$ 와 클래스 $c$ 가 있다고 할 때,

\begin{aligned} C_{MAP} &= \underset{c\in C}{\argmax}P(c|d)\\ &= \underset{c\in C}{\argmax}\frac{P(d|c)P(c)}{P(d)}\\ &= \underset{c\in C}{\argmax}P(d|c)P(c)\\ \end{aligned}

MAP은 'Maximum A Posteriori', 즉 most likely class를 뜻한다.
$P(d)$ 는 document $d$ 가 뽑힐 확률인데, 여기서 문서 $d$ 는 이미 정해져있다고 볼 수 있으므로 $P(d)$ 는 1이다. 따라서 분모를 제거한다.

P(d|c)P(c) = P(w_1, w_2, \dots, w_n|c)P(c) \rarr p(c)\prod_{w_i\in W}P(w_i|c)

$P(d|c)$ 는 특정 카테고리 $c$ 가 고정 되었을 때 문서 $d$ 가 나타날 확률을 의미하는데, 문서 $d$ 는 곧 $w_1,\dots,w_n$ 까지 n개 단어들이 동시에 나타나는 사건과 같다.
따라서, 각각의 단어들의 출현이 서로 독립이라고 가정할 때
, 조건부독립을 활용하여 각 단어가 나타낼 수 있는 확률을 모두 곱한 $p(c)\prod_{w_i\in W}P(w_i|c)$ 로 나타낼 수 있다.
즉, 문서 분류를 위해서는 각각의 단어들이 나타날 확률 $P(w_i|c)$ 를 구해야한다.

이 경우,

한번도 출현하지 않은(학습되지 않은) 단어를 분류하는 것은 확률이 0이 되므로 불가능하게 된다.

NLP 02 - Word Embedding 알아보기

Mon, 15 Feb 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

Word Embedding

단어 임베딩(Word Embedding)이란, 단어를 하나의 벡터로 표현함으로써, n차원의 점으로 나타내는 방식이다. 임베딩에서 단어의 의미를 잘 반영했다고 가정할 때, 약 두 단어가 서로 유사한 단어라면 두 점 간의 거리가 작을 것이고, 그렇지 않다면 크게 된다.

Word2Vec

Word2Vec은 단어 임베딩을 학습하는 대표적 방법이다.

Word2Vec은 같은 문장 내에 나타난 인접한 단어들간의 의미가 비슷할 것이라고 가정한다.

학습 방식

주어진 문장을 Tokenize한다.
unique words를 모아서 Vocabulary를 구성한다.
각 단어를 Vocab size만큼의 dimension을 가지는 원-핫벡터로 표현한다.
Sliding Window 기법을 적용하여, 한 단어를 중심으로 앞 뒤로 나타난 각 word와 함께 입출력 쌍을 구성한다.
- e.g. "I study math" → [(I,study), (study,I), (study,math), (math,study)]
원-핫벡터 size만큼의 입/출력 size를 갖는 2-layer nn를 만든다. 이 때, 입력노드와 출력노드 사이의 hidden layer의 노드 수는 hyperparameter로, 워드 임베딩을 수행할 좌표공간의 차원수로 설정한다.
- 따라서 weight는 (#hidden nodes, #input nodes), (#output nodes, #hidden nodes)의 shape가 된다.
입력값을 넣어 linear 변환을 하고, softmax 함수를 적용시켜 확률분포 벡터( $\hat{y}$ $\overset{y}{^}$ )를 만든다.
- 이 때 입력값 $x$ 는 원-핫벡터이므로, $Wx$ 내적 시에 해당 단어와 관련있는 단어들만 1이 곱해져 반영되고, 그렇지 않은 단어들은 0이 되어 반영되지 않는다.
- 따라서 실제로 구현할 때는 이 레이어를 Embedding Layer라고 부르고, 일일이 행렬곱하는 대신 반영될 column만 바로 뽑아온다(위의 사진에서 $W_1$ 의 파란 컬럼)
확률분포벡터와 ground truth(정답 레이블)를 비교하여 거리가 가까워지도록 softmax loss를 적용시킨다.
- 이 때, ground truth값과 비슷해지도록 하려면, 이론적으로는 softmax 함수의 logit값, 즉 linear 변환을 모두 통과한 값이 정답 클래스만 $\infin$ 가 되고, 나머지는 모두 $-\infin$ 가 되어야한다.

파라미터를 모두 학습시키고 난 뒤, $W_1$ 과 $W_2$ 임베딩 벡터 둘 중 아무것이나 Word2Vec의 모델로 사용해도 된다.

이는 Word2Vec이 기본적으로 단어간의 관계도를 측정하는 방식이기 때문에, 순서 상관없이 단어와 단어 간의 weight vector만 있으면 되기 때문

이다. 그러나, 컨벤션으로는

W_1

를 많이 사용한다. 또, output이 나오면 PCA(Principal Component Analysis)를 통해서 2차원으로 차원축소하여 scatter plot 형태로 시각화하곤 한다.

다른 예시가 보고싶다면, 다음 사이트를 참조해보자. 워드 임베딩 과정을 시각적으로 보여주는 사이트이다.

wevi

성질(property)

각 단어 벡터, 또는 공간상의 벡터 포인트는 단어간의 관계를 나타낸다. 같은 관계를 가진다면 같은 형태의 vector로 표시된다.

우리말로 Word2Vec을 학습시켜놓은 사이트를 참고해보자.

Korean Word2Vec

또, Word2Vec을 이용하여 여러 단어들 중 가장 상이한 단어를 골라내는 Word Intrusion Dectection을 수행할 수도 있다. 여러 단어가 주어지면, 한 단어를 중심으로 다른 단어들의 유클리드 거리를 계산하여 평균낸다. 모든 단어에 대해 이를 수행하였을 때, 유클리드 거리 평균이 가장 먼 단어, 즉 가장 관계가 없는 단어를 찾아 솎아낼 수 있다.

dhammack/Word2VecExample

적용

Word2Vec은 자연어 처리 대부분의 분야에서 성능 개선에 사용되고 있다.

단어 유사도
기계 번역(Machine Translation)
형태소 분석(Part-of-speech(POS) tagging)
개체명 인식(Named entity recognition,NER)
감정 분석
군집화
어휘 의미 구성(semantic lexicon building)

또, 이미지를 설명하는 캡션을 생성하는 Image Captioning 분야에도 사용된다.

GloVe

Glove : Gloval Vectors for Word Presentation는 Word2Vec와 함께 워드 임베딩의 가장 대표적인 기법 중 하나이다.

Word2Vec과 다른 GloVe의 차이점은

학습과정에서 두 단어가 한 윈도우 내에서 몇번이나 동시 등장했는가

를 사전에 기록해둔다는 것이다.

J(\theta) = \frac{1}{2}\sum^W_{i,j=1}f(P_{i,j})(\textcolor{blue}{u^T_i}\textcolor{red}{v_j} - log\textcolor{Green}{P_{ij}})^2

$\textcolor{blue}{u_i^T}$ : 입력 word의 임베딩 벡터
$\textcolor{red}{v_j}$ : 출력 word의 임베딩 벡터
$\textcolor{Green}{P_{ij}}$ : 두 단어가 한 윈도우 내에서 동시 출현한 count

위의 비용함수 $J(\theta)$ 에서 cost를 최소화하려면, 입력/출력 단어의 내적값(관계도)이 동시 출현한 count와 비슷해지도록 조정해야한다.

Word2Vec은 특정 입출력 단어쌍이 자주 등장할수록 여러번에 걸쳐 학습되게 하여, 학습이 빈번할수록 두 임베딩 벡터간의 내적값이 더 커지도록 만들었다.

반면, GloVe는 단어쌍이 동시에 등장한 횟수를 미리 계산하고, 이 count를 학습과정에서 $logP_{i,j}$ 라는 ground truth로 사용함으로써 계산과정의 중복을 제거하였다. 따라서

학습시간이 Word2Vec보다 더 빠르며, 더 적은 데이터에도 잘 동작

한다.

또한, GloVe는 추천 시스템에 사용되는 핵심 로직인 co-occurence matrix의 low rank matrix factorization의 task로도 이해할 수 있다.

GloVe: Global Vectors for Word Representation

딥러닝 베이직 - 08.Genarative Model 기초

Fri, 05 Feb 2021 00:00:00 GMT

본 정리 내용은 Naver BoostCamp AI Tech의 edwith에서 학습한 내용을 정리한 것입니다.
사실과 다른 부분이 있거나, 수정이 필요한 사항은 댓글로 남겨주세요.

Generative Models

시작하기 앞서서, Generative Models를 다룬 스탠퍼드대 CS236 강의 블로그를 소개한다.

필요할 때 syllabus와 슬라이드를 참고하자.

Deep Generative Models

우리는 생성 모델(Generative Model)을 생각하면 대부분 적대적 생성모델(GAN)을 떠올린다. 그러나 그럴듯한 이미지나 문장을 만드는 것이 생성 모델의 전부는 아니다.

생성모델의 학습방법

개(dog)의 이미지가 여러 장 주어졌다고 하자.

생성모델의 확률분포(probability distribution) $p(x)$ 를 학습함으로써 할 수 있는 것은 다음과 같다.

Generation : 확률분포 $p(x)$ 와 유사한 어떤 새로운 $x_{new}$ 를 만들어서 ( $x_{new} \sim p(x)$ ), 개와 유사한 이미지를 만들어낼 수 있다. (sampling)
Density estimation : 어떤 이미지 $x$ $x$ 가 개인지 아닌지 판별해낼 수 있다. $p(x)$ $p (x)$ 가 높게 나온다면 개이고, $p(x)$ $p (x)$ 가 낮게 나온다면 개가 아니다. (anomaly detection)
- 엄밀한 의미의 생성 모델은 Discriminator 모델까지 포함하고 있다. 어떤 이미지가 특정 레이블에 속하는 지 아닌지 판단할 수 있어야 한다.
- 이처럼 Discriminator를 포함한 생성 모델을 명시적 모델(Explicit Model)이라고 하며, Generation만 할 수 있는 모델을 암시적 모델(Implicit Model)이라고 한다.
Unsupervised representation learning : 이미지들 사이에서 feature(특징,공통점)을 찾아낼 수 있다.(feature learning)

그렇다면 $p(x)$ 는 무엇일까? $p(x)$ 는 $x$ 를 집어넣었을 때 나오는 값일수도 있고, $x$ 를 샘플링할 수 있는 어떤 모델일수도 있다. 이 $p(x)$ 를 알기 위해서는 먼저 확률에 대한 간단한 선행지식이 필요하다.

Basic Discrete Distributions

베르누이 분포(Bernoulli distribution) : 앞, 또는 뒤만 나오는 동전 던지기와 같다.(0,1)

$D$ = [앞면(Head), 뒷면(Tails)]
앞면이 나올 확률이 $P(X=Heads)=p$ 라면, 뒷면이 나올 확률은 $P(X=Tails) = 1-p$ 이다.
이를 $X \sim Ber(p)$ 로 표현한다.
파라미터는 1개(p 하나)

카테고리 분포(Categorical Distribution) : $m$ 개의 면을 가지는 주사위를 던지는 것과 같다.

$D$ = [1, 2, ... , m]
주사위를 던져 $i$ 가 나올 확률을 $P(Y=i)=p_i$ 라고 한다면, $\sum^m_{i=1}p_i=1$ 이다.
이를 $Y \sim Cat(p_1, \cdots,p_m)$ 이라고 한다.
파라미터는 m-1개

예시

RGB 픽셀 하나의 결합분포(joint distribution)를 모델링한다고 생각하자.

$(r,g,b) \sim p(R,G,B)$
가능한 색상의 종류(경우의 수) : $256\times 256\times 256$ 개
필요한 파라미터의 개수 : $255\times 255\times 255$ 개

단 하나의 RGB 픽셀을 표현하기 위한 파라미터 숫자가 굉장히 많다.

이번엔 $n$ 개의 binary pixels(하나의 binary image) $X_1,\dots,X_n$ 이 있다고 치자.

가능한 경우의 수 : $2\times 2\times \cdots \times 2 = 2^n$ 개
필요한 파라미터의 개수 : $2^n - 1$ 개

이처럼, 바이너리 이미지를 나타내는 데에도 너무 많은 파라미터가 필요하다.

그러나 파라미터의 개수가 늘어나면 모델의 학습은 일반적으로 잘 되지 않는다. 이 파라미터를 줄일 방법은 없을까?

Structure Through Independence

위의 binary image 사례에서, 모든 픽셀 $X_1,\dots,X_n$ 가 각각 독립적이라고 가정(independance assumption)하면, 다음과 같다.

p(x_1, \dots, x_n)= p(x_1)p(x_2)\cdots p(x_n)

가능한 경우의 수 : $2^n$ 개
$p(x_1,\dots,x_n)$ 을 구하기 위해 필요한 파라미터의 개수 : $n$ 개

동일하게 $2^n$ 개의 경우의 수를 나타낼 수 있지만, $n$ 개의 파라미터만 있으면 된다.

당연히 말이 안되는 가정이긴 하다. 이미지사진이므로 각 픽셀사이의 분포는 아무래도 인접할수록 비슷할 확률이 높은데, 이를 완전히 무시한 가정이기 때문에, 적당한 분포를 모델링하기에는 좋지 않다.

Conditional Independence

기존의 Fully Dependant 모델링과 Independent 모델링의 중간점으로 타협한 것이 Conditional Independence이다.

Conditional Indepence는 다음과 같은 3가지 핵심 룰로 동작한다.

연쇄법칙(Chain rule)
$p(x_1,\dots,x_n) = p(x_1)p(x_2|x_1)p(x_3|x_1,x_2)\cdots p(x_n|x_1,\cdots,x_{n-1})$
베이즈 정리(Bayes' rule)
$p(x|y) = \frac{p(x,y)}{p(y)}=\frac{p(y|x)p(x)}{p(y)}$
조건부독립
$\textrm{if} \ x \perp y |z, \ \textrm{then} \ p(x|y,z) = p(x|z)$
- $z$ 가 주어졌을 때 $x$ 와 $y$ 가 독립적이라면, $y,z$ 가 주어졌을 때 $x$ 가 일어날 확률은 그냥 $z$ 만 주어지더라도 $x$ 가 일어날 확률과 같다. 즉 $y$ 는 상관이 없다.
- 이것으로 연쇄법칙의 conditional 부분을 날릴 수 있다.

조건부 독립이 잘 이해되지 않는다면, 적절한 예시를 들어 잘 설명해놓은 다음 글을 참고한다.

조건부 독립 ( Conditional Independence )

그럼 binary 이미지 예제에서 연쇄법칙을 이용한다고 가정해보자.

필요한 파라미터의 개수는 몇개일까?

$p(x_1)$ : 1개
$p(x_2|x_1)$ : 2개 (하나는 $p(x_2|x_1)=0$ , 나머지 하나는 $p(x_2|x_1)=1$
$p(x_3|x_1,x_2)$ : 4개 (입력 $x_1,x_2$ 를 모두 고려한다)

따라서 , 최종적으로 필요한 파라미터의 개수는 $1+2+2^2+\cdots+2^{n-1} = 2^n-1$ 로, Fully Dependant 모델과 같다.

이제, Markov assumption을 가정해보자. 즉, $X_{i+1}$ 는 $X_{i}$ 에만 dependant하고, $X_1,\dots,X_{i-1}$ 까지에는 independent하다고 가정한다.( $X_{i+1}\perp X_1,\dots, X_{i-1}|X_i$ )

p(x_1,\dots,x_n) = p(x_1)p(x_2|x_1)p(x_3|x_2)\cdots p(x_n|x_{n-1})

이 경우 파라미터 개수는 $2n-1$ 이다.

따라서, Markov assumption을 적용시킴으로써 파라미터의 개수를 지수차원에서 끌어내릴 수 있다.

Autoregressive Model은 이 conditional independance를 잘 활용한 모델이다.

Auto-regressive Model

28x28크기의 바이너리 이미지(픽셀들의 모음)이 있다고 하자.

우리는 $x \in \{0,1\}^{784}$ 인 $x$ 에 대해 $p(x)=p(x_1,\dots,x_{784})$ 를 구해야한다. 이 때 $p(x)$ 를 어떻게 파라미터로 표현할 수 있을까?

연쇄법칙을 이용해 결합분포를 나눈다.
$p(x_{1:784})=p(x_1)p(x_2|x_1)p(x_3|x_{1:2})\cdots$
이것을 AR모델(Autoregressive Model, 자기회귀모델)이라고 한다.
- AR모델은 하나의 정보가 이전 정보에 dependant한 것을 의미한다. 바꿔말하면, Markov assumption처럼 직전 정보에만 dependant한것도 AR모델이고, 거꾸로 $x_1\dots,x_{i-1}$ 까지에 모두 dependant한 것도 AR모델이다.
- 이전의 $n$ 개 정보들을 고려하는 모델을 AR(n) 모델이라고 부른다.
이 때, 주의할 점은 바이너리 픽셀들을 1부터 784까지 순서를 매겼듯이 랜덤한 variable들에 각각 순서를 매겨야 한다는 것이다.
- 이 순서를 어떻게 정하느냐에 따라 모델의 성능이 달라질수도 있다.

어떤 식으로 Coditional Indepedency를 주는가에 따라 연쇄법칙을 이용해 결합분포를 나누는 방식에 차이가 생기므로, 결과적으로 AR모델의 structure가 달라진다.

생성모델의 종류

NADE : Neural Autoregressive Density Estimator

p(x_i|x_{1:i-1}) = \sigma(\alpha_ih_i+b_i) \ \textrm{where}\ h_i=\sigma(W_{<i}x_{1:i-1}+c)

$i$ 번째 픽셀 $x_i$ 는 그 이전까지의 모든 픽셀들에 대해 dependant하다. 픽셀의 순서가 뒤로 갈수록 받는 입력( $x_{1:i-1}$ )의 수가 많아지므로, weight의 길이가 가변적이다. 그 이외에는 AR모델과 동일하다.

NADE는 explicit 모델로, 주어진 입력값의 확률(density)를 계산할 수 있다.

784 픽셀의 바이너리 이미지라고 가정하면, 각 조건부 확률 $p(x_i|x_{1:i-1})$ 이 독립적으로 계산될 때 결합분포를 다음과 같이 계산할 수 있다.

p(x_1,\dots,x_{784})=p(x_1)p(x_2|x_1)\cdots p(x_{784}|x_{1:783})

각각의 $p(x_i|x_{1:i-1})$ 을 차례차례 계산해 대입하면, 전체 확률을 알 수 있게 된다.

NADE는 이 확률을 토대로 해당 이미지를 판별하는 discriminator 역할을 수행할 수 있다. 그래서 논문 제목에 Density Estimator라는 단어가 붙었다.

"Density Estimator"라는 단어는 explicit model을 표현할 때 많이 사용되는 단어이다.

위의 예제에서는 이산변수인 바이너리 픽셀이기때문에 sigmoid를 통과시킬 수 있었지만, 임의의 연속변수를 모델링할 때는 가우시안 혼합(Gaussian mixture) 모델을 이용할 수 있다.

Pixel RNN

Pixel RNN은 AR 모델을 만들기 위해 RNN을 활용하는 방법이다.

$n\times n$ 사이즈의 RGB 모델이 있다면,

p(x) = \prod^{n^2}_{i=1}\textcolor{red}{p(x_{i,R}|x_{<i})}\textcolor{green}{p(x_{i,G}|x_{<i},x_{i,R})}\textcolor{blue}{p(x_{i,B}|x_{<i},x_{i,R},x_{i,G})}

위와 같이 $i$ 번째 확률을 R,G,B 순으로 구해주고, 앞의 색상 확률들을 조건부로 넣어준다.

기존 모델은 $1,\dots,i-1$ 번째 입력을 고려하기 위해 AR 모델을 전연결계층(dense layer)을 가진 신경망으로 만들었다면, Pixel RNN은 RNN을 이용한다는 차이점이 있다.

이 때 입력의 순서(ordering)를 어떻게 하느냐에 따라 두가지 방법으로 나뉜다.

Row LSTM - $i$ 번째 픽셀을 만들 때 위쪽 row와 바로 직전 픽셀을 활용한다.
Diagonal BiLSTM - $i$ 번째 픽셀을 만들 때 이전의 모든 픽셀들을 활용한다.

Pixel RNN의 정확한 동작 방식에 대해서는 다음 블로그를 참고하자.

PR-024: Pixel Recurrent Neural Network

Latent Variable Models

이번에는 좀 더 실용적으로 많이 사용되는(practical) 생성모델들에 대해 알아보자.

Variational Auto-encoder

Digital Academic Repository - University of Amsterdam

Variational Auto-encoder와 달리, 그냥 Auto-encoder는 생성 모델이 아니다. Variational auto-encoder와 그냥 auto-encoder에 어떤 차이점이 있는지에 유의하면서 살펴보도록 하자.

Variational Inference(VI, 변분추론)
- VI의 목적은 사후분포(posterior distribution)과 비슷한(근사하는) variational distribution을 찾는(최적화하는)것이다.
  - 사후분포 : $p_{\theta}(z|x)$ $p_{θ} (z ∣ x)$
    - 관측값 $x$ 가 주어졌을 때 특정확률변수 $z$ 의 분포. 이 $z$ 를 잠재벡터(latent)라고 부른다.
    - 이를 거꾸로 뒤집은 $p_\theta(x|z)$ 를 Likelihood(가능도,우도)라고 부른다.
  - variational distribution: $q_\theta(z|x)$ $q_{θ} (z ∣ x)$
    - 일반적으로 사후분포를 정확히 구하는 것은 거의 불가능에 가까우므로, variational distribution을 구해서 사후분포에 근사하도록 최적화시킨다.
    - 실제 사후분포와의 `쿨백 라이블러 발산(KL Divergence)`이 최소화되는 varitional distribution을 찾는다.

그런데, 사후분포가 어떤지도 모르면서 사후분포에 근사하는 값을 찾겠다는 것은 어불성설이 아닌가? 그래서 사용하는것이 ELBO(Evidence Lower BOund) 방법이다.

\begin{aligned} p_\theta(D) &= \mathbb{E}_{q_\phi(z|x)}[\ln\ p_\theta(x)]\\ &= \mathbb{E}_{q_\phi(z|x)}\bigg[\ln\ \frac{p_\theta(x,z)}{p_\theta(z|x)}\bigg]\\ &= \mathbb{E}_{q_\phi(z|x)}\bigg[\ln\ \frac{p_\theta(x,z)q_{\theta}(z|x)}{q_{\theta}(z|x)p_\theta(z|x)}\bigg]\\ &= \mathbb{E}_{q_\phi(z|x)}\bigg[\ln\ \frac{p_\theta(x,z)}{q_\theta(z|x)}\bigg] +\mathbb{E}_{q_\phi(z|x)}\bigg[\ln\ \frac{q_\theta(x|z)}{p_\theta(z|x)}\bigg]\\ &= \underbrace{\mathbb{E}_{q_\phi(z|x)}\bigg[\ln\ \frac{p_\theta(x,z)}{q_\theta(z|x)}\bigg]}_{\textcolor{blue}{ELBO\uparrow}} +\underbrace{D_{KL}(q_{\theta}(z|x)\Vert p_\theta(z|x)}_{\textcolor{red}{Objective\downarrow}}\\ \end{aligned}

변분추론의 목적은 사후분포와 variance distribution의 KL divergence를 줄이는 것이었다. 그런데 사후분포가 무엇인지 모르므로 KL divergence를 어떻게 조작해서 줄여야할 지 모른다.

p_\theta(D)=\textcolor{blue}{ELBO}+\textcolor{red}{D_{KL}}

사후분포는 ELBO항과 KL Divergence 항의 합으로 유도할 수 있는데, 이 경우

KL Divergence를 최소화하기 위해 반대급부로 ELBO 항을 최대화시키는 테크닉이 ELBO법

이다. 이 ELBO항은 구할 수 있으므로(tractable) 이런 방식이 가능하게 된다. 이 기법을 Sandwitch method라고도 부른다.

이번엔 이 ELBO 항을 나눠보도록 하자.

\begin{aligned} \underbrace{\mathbb{E}_{q_\phi(z|x)}\bigg[\ln\ \frac{p_\theta(x,z)}{q_\theta(z|x)}\bigg]}_{\textcolor{blue}{ELBO\uparrow}} &= \int \ln\frac{p_\theta(x|z)p(z)}{q_\phi(z|x)}q_\phi(z|x)dz \\ &= \underbrace{\mathbb{E}_{q_\phi (z|x)}[p_\theta(x|z)]}_{Reconstruction \ Term}-\underbrace{D_{KL}(q_\phi(z|x)\Vert p(z))}_{Prior\ Fitting\ Term} \end{aligned}

Reconstruction Term
- 오토인코더의 reconstruction loss를 최소화한다.
- reconstruction loss는 입력값 $x$ 가 인코더를 통해 잠재공간(latent space)으로 이동했다가 다시 디코더로 돌아오는 과정에서 일어나는 loss를 의미한다.
- 즉, 이상적인 샘플링함수로부터 얼마나 잘 복원했는지를 나타낸다.
Prior Fitting Term(Regularization Term)
- 입력값 $x$ 를 잠재공간(latent space)에 점으로 표현했을 때 점들이 이루는 분포-즉 잠재분포(latent distribution)- 로 하여금 사전분포(prior distribution)과 비슷해지도록 강제한다.
- 이상적인 샘플링함수의 값이 최대한 사전분포(prior)와 유사한 값을 만들어내도록 condition을 부여한다.

다시 한번 VAE에 대해 되짚어보자.

목적 : 가지고 있는 이미지 입력값(즉, 관측 데이터) $x$ 를 잘 표현할 수 있는 잠재공간(latent space)를 찾는 것
그러나 사후분포를 정확히 예측할 수 없으므로, 잠재분포를 사후분포에 근사시키기 위하여 variational inference라는 테크닉을 사용함
이를 적용한 오토인코더 모델이 Variational Auto-Encoder(VAE)

그렇기 때문에 VAE가 Genarative Model이 될 수 있다. 사전분포와 비슷한 잠재분포를 이루도록 새로운 이미지 $x_{new}$ 를 만들기 때문이다.

반면, 그냥 AutoEncoder는 단순히 입력값을 인코딩하여 잠재공간(latent space)로 보냈다가 다시 디코딩하여 어떤 출력값을 얻어내는 모델이므로, Generative Model이라고 볼 수 없다.

단, VAE에는 몇 가지 한계점이 존재한다.

Intractable한 모델이다.
- VAE는 어떤 입력이 주어졌을 때 likelihood를 측정하여 판별할 수 없다. 즉, explicit한 모델이 아니다.
Prior Fitting Term이 미분가능해야한다.
- KL Divergence는 그 자체로 적분이 들어가있고, 이 적분이 intractable한 경우가 많다. 따라서 Gaussian prior distribution을 제외하고는 Closed Form이 잘 나오지 않는다.
  - Closed Form은 수학적으로 유한한 Term으로 표현할 수 있는 항(또는 식)을 의미한다.
- 그런데 SGD나 Adam같은 Optimizer를 사용하려면 KL Divergence를 포함한 Prior Fitting Term이 미분가능해야한다.
- 따라서 대부분의 VAE는 Gaussian prior distribution를 사용한다. 그것이 Closed Form이 나오는 몇 안되는 분포이기 때문이다.
일반적으로 isotropic Gaussian을 사용한다.
- 모든 output dimension이 independent한 Gaussian Distribution이다.
  $D_{KL}(q_\phi(z|x)\Vert \mathcal{N}(0,1)) = \frac{1}{2}\sum^D_{i=1}(\sigma^2_{z_i}+\mu^2_{z_i}-\ln(\sigma^2_{z_i})-1)$
- Gaussian prior distribution일 경우 $D_{KL}$ 은 위와 같다. 이 식을 loss function에 집어넣어 학습시키면 원하는 결과가 나온다.

변분추론의 과정이 잘 이해되지 않는다면, 다음 블로그를 참고하자.

변분추론(Variational Inference)

AutoEncoder의 모든 것을 아주 잘 설명한 이활석님의 유튜브 강의도 참고해보자.

오토인코더의 모든 것 - 1/3

해당 영상을 정리한 강의노트도 참고해보자.

[정리노트] [AutoEncoder의 모든것] Chap4. Variational AutoEncoder란 무엇인가(feat. 자세히 알아보자)

마지막으로, 머리카락으로 예시를 잘 들어놓은 다음 블로그의 글도 참고해보자.

초짜 대학원생의 입장에서 이해하는 Auto-Encoding Variational Bayes (VAE) (1)

Adversarial Auto-encoder

앞에서 살펴보았던 Variational Auto-encoder(VAE)의 문제점은, prior fitting term을 미분하기 위해 KL Divergence가 사용된다는 것이었다. 이는 곧 VAE가 사용할 수 있는 사전분포를 Gaussian prior distributtion에 한정시키므로, 다른 분포인 경우에는 활용하기가 힘들었다.

그렇다면 Gaussian Distribution이 아닌 다른 prior distribution을 활용할 수 없을까? 이런 의도에서 나온 것이 Adversarial Auto-encoder(AAE)다. 사실, AAE는 VAE의 prior fitting term을 GAN objective로 바꿔버린 것에 불과하다.

AAE는 잠재분포(latent distribution)를 샘플링한 어떤 분포라도 prior distribution에 맞출 수 있다.

성능도 VAE에 비해서 좋은 경우가 많다.

GAN

GAN(Generative Adversarial Network)이라는 방법론은 재미있는 아이디어에서 시작한다.

위조 지폐를 판별하는 경찰(Discriminator)과, 경찰을 속이려는 위조지폐범(Generator)이 있다고 하자.

경찰은 본인이 가지고 있는 진짜 지폐와 위조 지폐를 비교하여 판독하는데, 이 과정을 거듭할수록 '진짜'와 '가짜'에 대한 판별을 더욱 더 잘하게 된다.

반면, 위조지폐범은 더욱 더 정교하게 '진짜' 같은 '가짜'를 만들어 경찰을 속이려 하면서, '진짜'와 닮은 지폐를 만들어 낼 수 있게 된다.

위 과정의 반복을 통해 궁극적으로 Generator 성능을 더 높이는 것이 GAN의 목적이다. 그러나 GAN의 장점은, 무엇보다도

Generator를 학습시키는 Discriminator가 점차 좋아진다

는 데에 있다.

\underset{G}{\min}\ \underset{D}{\max}\ V(D,G) = \mathbb{E}_{x\sim p_{data}(x)}[\log D(x)] + \mathbb{E}_{z\sim p_z(z)}[\log(1- D(G(z)))]

위의 식은 GAN의 알고리즘을 나타내며, 우변은 Loss(생성값과 실제값의 오차)이다.

Generator는 이 Loss를 최소화하려고 하고, Discriminator는 이 Loss를 최대화하려고 한다.

GAN vs VAE

VAE는 다음과 같은 cycle로 $x$ 를 생성했다.

학습과정
- 입력값 $x$ 를 인코더를 통해 latent vector $z$ 로 만들고, 이 $z$ 를 다시 디코딩하여 원래 $x$ 로 복원시키도록 인코더와 디코더의 파라미터를 학습한다.
생성과정
- 잠재분포(latent distribution) $p_\theta(z)$ 를 샘플링한 뒤 디코딩을 하여 $x_{new}$ 를 출력한다.

GAN은 다음과 같은 방식을 취한다.

학습과정
- z라는 잠재분포(latent distribution)에서 출발하여 Generator를 통해 Fake를 만들어낸다.
- Discriminator는 기존의 레이블과 Fake 이미지를 비교하여 판독하며 분류기를 학습한다.
- Generator는 Discriminator가 Fake 이미지에 대해 True가 나오도록 위조기를 업데이트하여 학습한다.

GAN의 목표

GAN은 결국 generator와 discriminator 간의 minimax 게임과 같다.

minimax 알고리즘 : 적대적 상황에서 메리트를 최대로, 위기를 최소로 만드는 것을 모티브로 하는 알고리즘
- 즉, 게임 내에서 두 적대적 모델이 각 턴마다 최적의 결정을 만들어내기 위해 서로 경쟁한다.

Discriminator의 알고리즘을 수식으로 나타내면 다음과 같다. GAN 모델의 알고리즘에서 $z$ 를 제외하고 만든 식이다.

\underset{D}{\max}\ V(G,D) = \mathbb{E}_{x\sim p_{data}}[\log D(x)] + \mathbb{E}_{x\sim p_G}[\log(1- D(x))]

Generator가 고정되어있을 때 이 Disciminator를 최적화(optimalization)시키는 form은 다음과 같다.
$D^*_G(x) = \frac{p_{data}(x)}{p_{data}(x)+p_G(x)}$

Generator 알고리즘은 다음과 같다. 동일한 Loss에 대해서, Dicriminator는 최대화하려고 했다면 Generator는 최소화하려고 한다.

\underset{G}{\min}\ V(G,D) = \mathbb{E}_{x\sim p_{data}}[\log D(x)] + \mathbb{E}_{x\sim p_G}[\log(1- D(x))]

Optimal Discriminator를 Generator의 수식에 적용시키면, 다음과 같은 식을 유도할 수 있다.

\begin{aligned} V(G,D^*_G(x)) &= \mathbb{E}_{x\sim p_{data}}[\log \frac{p_{data}(x)}{p_{data}(x)+p_G(x)}] + \mathbb{E}_{x\sim p_G}[\log\frac{p_G(x)}{p_{data}(x)+p_G(x)}]\\ &= \mathbb{E}_{x\sim p_{data}}[\log \frac{p_{data}(x)}{\frac{p_{data}(x)+p_G(x)}{2}}] + \mathbb{E}_{x\sim p_G}[\log\frac{p_G(x)}{\frac{p_{data}(x)+p_G(x)}{2}}] - \log 4\\ &= \underbrace{D_{KL}\bigg[p_{data},\frac{p_{data}+p_G}{2}\bigg]+D_{KL}\bigg[p_{G},\frac{p_{data}+p_G}{2}\bigg]}_{2\times \textrm{Jenson-Shannon Divergence(JSD)}} - \log4\\ &= 2D_{JSD}[p_{data},p_G]-log4 \end{aligned}

이 수식을 통해, GAN의 목적은 실제 데이터의 분포와 학습한 데이터의 분포 사이에 Jenson-Shannon Divergence(JSD)를 최소화하는 것임을 알 수 있다.

단, 이 수식은 Discriminator가 Optimal하다는 가정 하에, Generator 알고리즘에 대입해야 나오는 식이다.

실제로는 Discriminator가 Optimal Discriminator에 수렴한다는 것을 보장하기힘들고, 이 때 Ganerator가 위의 식과 같이 전개될 수 없다. 따라서 이론적으로는 타당하나 현실적으로는 JSD를 줄이는 방식을 사용하기 힘들기는 하다.

DCGAN

최초에 이안 굿펠로우(Ian Goodfellow)가 발표한 GAN 모델은 MLP모델이었는데, 이를 이미지 도메인으로 개량한 것이 DCGAN이다.

벡터를 늘리기 위해 Generator에는 Deconvolution을 활용했고, Discriminator에는 Convolution 연산을 수행했다. 알고리즘적으로 개량된 것은 없지만, 하이퍼파라미터나 테크닉에 대한 실험적 결과를 수록하고 있다.

Info-GAN

Info-GAN은 단순히 $z$ 를 이용해 이미지만 만들어내는 것이 아니라, $c$ 라는 클래스를 집어넣는 방식이다.

C라는 나오는 컨디션벡터(원-핫벡터)를 제공하여 Generator의 multi-model distribution 학습을 돕는다.

Text2Image

Text2Image는 문장이 주어지면 이미지를 만드는 모델이다.

문장을 입력으로 받아 Conditional GAN을 통해 이미지를 출력해낸다.

OpenAI에서 제공한 DALL-E의 원조 격이다.

CycleGAN

CycleGAN은 이미지 사이의 도메인을 바꿀 수 있는 모델이다.

어떤 이미지가 주어지면, 그 이미지를 주어진 조건에 알맞은 형태로 변형시킨다. 예를 들어, 그냥 말 사진을 얼룩말 사진으로 바꿔버린다던가, 사진을 고흐의 화풍으로 그려내는 일을 할 수 있다.

이 CycleGAN은 Cycle-consistency loss라는 아주 중요한 알고리즘을 활용하고 있다.

일반적으로는 이미지를 다른 도메인으로 변경하려면 원래 도메인(ex-달리는 말)과 변경하려는 도메인(ex-달리는 얼룩말)의 사진이 모두 필요하다. 그런데 Cycle-consistency loss는 임의의 말 이미지(ex-물 먹는 말, 서 있는 말)들과 임의의 얼룩말 이미지(ex- 물 먹는 얼룩말, 서 있는 얼룩말)들을 잔뜩 모아두고, 이를 이용해 하나의 이미지를 다른 도메인의 이미지로 그냥 변형시켜준다.

이 과정에서 총 두개의 GAN모델이 사용된다.

Star-GAN

네이버 AI 인턴으로 일하고 있던 대학원생 최윤제님이 개발한 모델이다.

Star-GAN은 단순한 이미지를 원하는 형태로 control할 수 있게 만들어주는 모델이다. 예를 들어 짧은 머리의 20대 남성의 사진을 중년 남성, 또는 여성, 긴 머리의 남성 등으로 만들 수 있다.

후속 논문이 계속 나오고 있을 정도로 실용적인 기술이기도 하다.

Progressive-GAN

Progressive-GAN은 고해상도의 이미지를 잘 만들 수 있는 GAN이다.

최초에 4x4같은 작은 사이즈부터 시작해 점차 HD size까지 픽셀을 키워나가며 해상도를 점진적으로 상승(progressive)하므로 이런 이름이 붙었다.

My blog's RSS Feed

욕심많은 알파카(김성익)

상세

모델 경량화 4 - 행렬 분해(Filter Decomposition)

행렬 분해(Low-rank approximation)

Three maps

Map 1 : Matrix(Tensor) is a data modeling tool

Map 2 : Matrix(Tensor) is a linear transformation(map)

Map 3 : terminology

Gaussian elimination

Kernel method

Low-rank approximation in model compression

Low-rank tensor approximation

Matrix decompostion

Eigenvalue Decompostion

Singular Value Decompostion(SVD)

(Truncated) SVD ⇒ Principal Component Analysis(PCA)

Tensor decompostion

모델 경량화 2 - Quantization(양자화)

Quantization

Fixed-point & Floating-point

Precision & Accuracy

Quantization이란

Affine quantization

quantized value 미분

Quantization의 종류

Quantization 결과 테이블 읽기

모델 경량화 3 - 지식 증류(Knowledge Distillation)

Knowledge Distillation

Knowledge

Knowledge distillation

Teacher-Student networks & Hinton loss

Zero-mean assumption

모델 경량화 1 - Pruning(가지치기)

Pruning for network compression

Weighted sum

Pruning이란?

Regularization

여러 Pruning 기법

Lottery ticket hypothesis

Computer Vision 08 - Multi-modal Learning

Multi-modal learning

Multi-modal tasks : Image & text

Matching

Text embedding

Joint embedding

Translating : Cross modal translation

Show and tell

Show, attend, tell

Text-to-image by generative model

Referencing : Cross modal reasoning

Visual question answering

Multi-modal tasks : Audio

Sound Representation

Short-time Fourier transform(STFT )

Joint embedding

Sound tagging

Cross modal translation

Speech2Face

Image-to-speech synthesis

Sound source localization

Cross modal reasoning

Looking to listen at the cocktail party

Lip movements generation

Reference

Computer Vision 06 - Instance & Panoptic segmentation

Instance segmentation

Mask R-CNN

YOLACT(You Only Look At CoefficienTs)

YolactEdge

Panoptic segmentation

UPSNet

Architecture of the panoptic segmentation head

VPSNet(for video)

Landmark localization

Coordinate regression vs Heatmap classification

Landmark location to Gaussian heatmap

Hourglass network

더 나아가기

DensePose