[text mining] word embedding 이거면 끝!

텍스트 데이터 표현 방식

텍스트 기반의 모델을 만들기 위해서는 텍스트 데이터를 숫자로 표현해야함

텍스트 데이터를 표현하는 방식(feature representation)으로 sparse representation이 먼저 등장하였고 sparse representaion의 단점을 보완하기 위해 dense representation가 등장

sparse representation의 대표적인 기법은 one-hot encoding이고 dense representation의 대표적인 기법은 word embedding

one-hot encoding

컴퓨터는 문자를 이해하지 못하기 때문에 숫자로 표현해줘야하며 one-hot encoding은 여러 표현기법들 중 가장 기본적인 방법

sparse representation에서 가장 유명한 기법 (sparse representation에 관하여 후에 설명)

과정

1. 단어집합 생성

단어 집합 (=vocabulary)

: 텍스트내 모든 단어를 중복을 허용하지 않고 모은 집합

서로 다른 단어들의 집합을 말하며 apple과 apples과 같이 단어의 변형형태 또한 다른 단어로 간주

2. 고유한 정수 부여

단어집합이 만들어지고나면 이 단어 집합에 고유한 번호(index)를 부여(encoding과정)

예) 단어집합의 크기가 5000일 때

     apple : 1

     banana : 2

     car : 3

    ⋮

     is : 2000

    ⋮

     zoo : 5000

반응형

3. one-hot encoding

: 벡터의 차원은 단어집합의 크기이며 표현하고자하는 단어의 index에는 1부여, 그 외 index에는 0을 부여하는 vector표현방식

예) 2번의 고유한 정수부여에서 사용된 예시의 연장선

단어 \ index	1	2	3	...	2000	...	5000
apple	1	0	0	0	0	0	0
banana	0	1	0	0	0	0	0
car	0	0	1	0	0	0	0
⋮	0	0	0	⋱	0	0	0
is	0	0	0	0	1	0	0
⋮	0	0	0	0	0	⋱	0
zoo	0	0	0	0	0	0	1

한계 / 단점

• 단어의 개수가 증가할수록 벡터를 저장하기 위해 필요한 공간 또한 커짐 ⇒ 벡터의 차원 증가
• 입력 데이터의 차원이 크면 차원의 저주라는 문제가 생김
• → 입력데이터에 0이 너무 많으면 데이터에서 정보를 뽑아내기 어려워짐 → 모델의 학습이 잘 안되어 성능이 떨어짐
• 단어 벡터간 유사도를 표현하지 못함 ⭐
  예) 늑대, 호랑이, 강아지, 고양이라는 4개의 단어에 대해서 one-hot encoding을 해서 각각 [1,0,0,0], [0,1,0,0], [0,0,1,0], [0,0,0,1] 이라는 one-hot vector를 부여받았다고 가정
  이때 one-hot vector로는 강아지와 늑대가 유사하고, 호랑이와 고양이가 유사하다는 것을 표현할 수가 없음
  좀 더 극단적으로는 강아지, 개, 냉장고라는 단어가 있을 때 강아지라는 단어가 개와 냉장고라는 단어 중 어떤 단어와 더 유사한지도 알 수 없음
   ⁂ 단어간의 관계를 반영하지 못함
  • 해결방법 
    ⇒ 단어의 잠재 의미를 반영하여 다차원 공간에 벡터화 하는 기법 : word embedding을 통한 dense representation
    1. count기반 벡터화 방법
        - LSA(잠재의미분석), HAL 등
    2. 예측기반 벡터화 방법
        - RNNLM, Word2Vec, FastText 등
    3. count&예측기반 벡터화 모두 사용하는 방법
        - GloVe

•  

 

Sparse Representation (희소 표현)

• 앞서 one-hot encoding을 통해 나온 one-hot vector는 표현하고자하는 단어의 index만 1이고 이외 나머지 index는 전부 0으로 표현되어 있음
  ⇒ 이렇게 행렬/벡터의 값 중 대부분이 0으로 채워져 있는 방법을 **희소 표현(sparse representation)**이라고 함 (one-hot vector는 따라서 sparse vector)
• one-hot encoding외에도 여러 희소표현 방식(DTM 등..)이 존재하나 one-hot encoding이 가장 유명

 

Dense Representation (밀집 표현)

• sparse representation과 반대되는 표현
• distributed representation이라고 불리기도 함
• sparse representation은 단어 집합 크기 = 벡터의 차원
  dense representation은 사용자가 설정한 값으로 벡터의 차원 설정
• sparse representation은 0과 1만 가짐
  dense representation은 실수값을 가짐
  → sparse representation은 벡터의 대부분의 값이 0을 가지고 있어 sparse하지만 dense representation은 모든 차원이 값을 갖고 있는 벡터로 표현되므로 sparse의 반대말인 dense를 써서 dense representation이라 함

예시 ) 1000개의 단어가 있는 단어집합에서 사과를 표현하고자 할 때 사과를 기존의 sparse representation으로 표현하면

• sparse representation : 사과 = [ 0 0 0 1 0 0 ... 0 0 ]
  1개의 1과 999개의 0으로 이루어진 차원의 크기가 1000인 벡터로 표현됨
  
  

사과를 차원의 크기가 64인 dense representation으로 표현하면

• dense representation : 사과 = [ 0.15 1.2 0 1.8 -1.1 0.7 ... -3 -1.7 ]
  1000이었던 차원의 크기가 64로 줄어들면서 모든 값은 실수가 됨
  → ‘벡터의 차원이 조밀해졌다’하여 dense vector(밀집 벡터)라 함
  ⇒ 단어 벡터의 값들은 머신러닝을 통해 학습됨

 

장점

• 적은 차원으로 대상을 표현할 수 있음
• 일반적으로 20 ~ 200 차원 정도를 사용하며 0이 거의 없고 각각의 차원들이 모두 정보를 들고있음 (sparse representation의 몇 천 차원에 비해 훨씬 작은 차원)
  → 모델 학습이 더 잘됨
• 더 큰 일반화 능력

위의 장점들은 word embedding이 잘 학습되었다는 전제하에 성립

word embedding에 대한 설명과 어떻게 학습시키나?

word embedding

• embedding = 끼워넣다
  ⇒ 단어/문장 각각을 사용자가 지정한 N차원의 벡터로 변환하여 벡터공간에 끼워넣는다
  쉽게 말해, NLP에서 word embedding은 단어를 벡터로 표현/mapping/변환한다 라는 맥락
• word embedding을 하게되면 sparsity는 사라짐
  one-hot encoding처럼 대부분의 값이 0인 벡터가 아닌 모든 차원이 값을 갖고 있는 벡터

one-hot vector vs embedding vector

 

	one-hot vector	embedding vector
차원	고차원	저차원
다른 표현	sparse vector	dense vector
표현방법	수동	train data로부터 학습
값	0 또는 1	실수

앞서 one-hot vector의 단점으로 단어 벡터간 유사도 계산이 불가능하다는 점이 있었음

embedding vector는 이 단점을 해결해줌

 

 

 

word embedding을 학습하는 여러 알고리즘으로 LSA, Word2Vec, FastText, Glove ... 등이 있으며 word embedding을 학습하는 기법은 2가지로 나뉨

2가지 기법

1. count based method
   : 특정 단어가 이웃 단어들과 같이 등장한 횟수 계산 → 이 통계를 dense vector로 mapping
   LSA등
2. predicitive method
   : dense embedding vector로 표현된 이웃 단어를 이용하여 직접적으로 단어를 예측
   word2vec등

 

word embedding 으로 가장 유명한 word2vec은 predictive method에 해당

Word2Vec

: word embedding 방법 중 가장 유명 (구글이 개발)

• Korean Word2Vec
  해당 사이트는 우리말에 word2vec 알고리즘을 적용한 것들을 보여줌
  예시 ) 한국 - 서울 + 도쿄
  • 예시를 보면 벡터간에 덧셈 뺄셈을 함\
  • 벡터간의 덧셈 뺄셈은 해당하는 단어간의 의미의 합과 차로 반영됨
  • 벡터에 단어의 의미가 잘 담겨있음을 확인할 수 있음

 

핵심 아이디어

단어의 주변을 보면 그 단어를 안다

word2vec은 지도학습을 닮았지만 비지도학습임

 

 

word2vec은 텍스트로부터 word embedding을 학습하는 계산 효율성이 좋은 predictive modelk이며 2가지 방법으로 구현

1. CBOW(Continuous Bag-Of-Words) : 맥락으로 단어 예측
2. Skip-Gram : 단어로 맥락 예측
   (CBOW 모델을 반대로 뒤집은게 skip-gram)

CBOW

: 주변단어(즉 맥락)으로 target 단어를 예측하도록 학습

*주변단어 : 일반적으로 target 단어의 직전 몇 단어와 직후 몇 단어를 뜻하며 이 주변 단어의 범위를 window라 함

window 접근법

예시 )

“green”이 target 단어일때 “colorless”부터 “ideas”까지 창문이라고 생각하고 이 단어들만 보는 것이 window 접근법

앞과 뒤에서 몇 단어까지 볼지는 지정해줄 수 있음 (=window size)

sliding window

“green”을 target단어로 두고 “colorless”부터 “ideas”까지 한번 본 다음,
window를 밀어서 target단어를 “ideas”로 두고 본 다음,
다시 window를 밀어서 target단어를 “sleep”으로 두고 봄

⇒ 이렇게 window를 점차 옆으로 밀면서 target단어를 계속 바꾸는 방식을 sliding window라 함
    그리고 이렇게 만들어진 window 하나하나가 학습데이터가 됨

 

CBOW는 맥락으로 단어를 예측하는 문제를 품

즉, input으로 주변 단어가 입력되고, 예측해야하는 output은 target단어가 됨

이 과정에서 모델의 parameter를 학습하고 이렇게 학습된 parameter가 단어들의 벡터 표현이 됨

 

 

파라미터 학습 방법

• 일반적인 머신러닝, 딥러닝 모델의 학습방식과 동일
• 처음 parameter는 랜덤으로 초기화된 상태로 시작 (random initialization)
  이 parameter로 예측 → 실제값과 차이가 생긴만큼 parameter들을 조정
  위 과정을 학습 데이터셋을 돌아가며 반복 (backpropagation)
  원리 : gradient descent (cost function이 최소화되는 쪽으로 parameter 업데이트)

 

 

예시 )

V = 사전의 크기 (vocab size = 단어 개수)

N = hidden layer size ( = 사용자가 정한 차원 N )

 

input : one-hot encoding된 벡터

input으로 주변단어 즉, target단어의 앞 단어가 들어감. 이 단어는 V개의 요수값 중 하나만 1이고 나머지는 모두 0인 벡터로 표현됨

→ 이렇게 단어의 개수만큼의 차원을 갖는 input layer가 hidden layer에서 embedding 크기만큼의 차원의 벡터로 mapping됨

 

 

output layer에서는 다시 단어의 개수만큼의 차원을 가짐

output은 target단어이므로 단어의 개수만큼의 경우의 수가 있기 때문 (?)

 

 

Reference

• https://wikidocs.net/22660
• https://wikidocs.net/22647
• dreamgonfly.github.io/blog/word2vec-explained/