ainote

1. Word embedding word2vec이 나오기 이전에는 단어를 one-hot encoded vector로 단순하게 표현했다. 이런 방법들은 단어 간의 의미적인 유사성같은 정보를 담지 못한다. 반면 word2vec은 의미가 비슷한 단어끼리 임베딩 공간 상에서 비슷한 위치에 자리잡도록 학습한다. 그러면 emb($\cdot$)를 각 단어의 word2vec 임베딩이라고 할 때, emb(king) - emb(man) + emb(woman) = emb(queen)과 같은 additive compositionality도 가질 수 있다. 어떻게 이렇게 잘 매핑된 임베딩을 학습할 수 있을까? word2vec은 분포 가설(distributional hypothesis) 하에 고안된 알고리즘이다. 분포 가설은 비..

1. Span Verb : A Set of vectors is said to span a space if the set of all their linear combinations is the space Noun : $span(v_{1}, v_{2}) = \{ c_{1} v_{1} + c_{2} v_{2}, \forall c_{1}, c_{2} \in \mathbb{R} \}$ Note : vectors that span a space are not necessarily independent Fact : columns of $A$ span $C(A)$, special solutions of $A$ span $N(A)$ 2. Basis A Basis of a space is a set of linearly ..

1. Abstract Gated Multimodal Unit (GMU)를 소개한다. 이는 어느 딥러닝 모델이라도 내부에 쉽게 적용될 수 있는 유닛이며, 서로 다른 모달리티의 데이터의 조합으로 intermediate representation을 찾으려는 목적을 갖는다. Multiplicative gates를 이용하여 여러 모달리티가 GMU의 activation에 어떻게 영향을 끼칠지(기여할지)는 결정하는 법을 배운다. MM-IMDb라는 데이터셋을 공개했는데, 이는 저자들이 아는 한 가장 큰 멀티모달 영화 장르 예측 데이터셋이라고 한다. 2. Introduction과 Related work에 포함된 GMU의 특징 Input-dependent한 gate-activation 패턴을 배운다. 즉, 인풋의 특징에 ..