1. Span Verb : A Set of vectors is said to span a space if the set of all their linear combinations is the space Noun : $span(v_{1}, v_{2}) = \{ c_{1} v_{1} + c_{2} v_{2}, \forall c_{1}, c_{2} \in \mathbb{R} \}$ Note : vectors that span a space are not necessarily independent Fact : columns of $A$ span $C(A)$, special solutions of $A$ span $N(A)$ 2. Basis A Basis of a space is a set of linearly ..
1. Rank The rank of matrix in the number of pivots ($r(A) = \# $ of pivots) Also defiend as the maximum number of linearly independent columns (will be discussed later) The rank of a matrix gives in a sense the true size of the matrix. Consider an $(m \times n)$ matrix $A$ whose rank is few than $m$. While $A \mathbf{x} = \mathbf{0}$ seems to have $m$ linear equations, $m-r$ out of $m$ equations..
1. Vector Spaces A set of vectors $V$ is called a vector space if it satisfies the following axioms $\mathbf{u} + \mathbf{v} = \mathbf{v} + \mathbf{u}, \mathbf{v} \in V$ $(\mathbf{u}+\mathbf{v})+\mathbf{w}=\mathbf{u}+(\mathbf{v}+\mathbf{w}), \forall \mathbf{u} \mathbf{v} \mathbf{w}$ There exists a zero vector $\mathbf{0} \in V$, such that $\mathbf{v} + \mathbf{0} = \mathbf{v}, \forall \mathbf{v}..
1. Abstract Gated Multimodal Unit (GMU)를 소개한다. 이는 어느 딥러닝 모델이라도 내부에 쉽게 적용될 수 있는 유닛이며, 서로 다른 모달리티의 데이터의 조합으로 intermediate representation을 찾으려는 목적을 갖는다. Multiplicative gates를 이용하여 여러 모달리티가 GMU의 activation에 어떻게 영향을 끼칠지(기여할지)는 결정하는 법을 배운다. MM-IMDb라는 데이터셋을 공개했는데, 이는 저자들이 아는 한 가장 큰 멀티모달 영화 장르 예측 데이터셋이라고 한다. 2. Introduction과 Related work에 포함된 GMU의 특징 Input-dependent한 gate-activation 패턴을 배운다. 즉, 인풋의 특징에 ..
1. Inverse Matrices Square matrix is said to be invertible if its inverse matrix exists. Sqaure matrix that is not invertible is singular. 2. Properties of Inverse Matrix P1. $A$ is invertible if and only if (iff) guassian elimination produces $n$ pivots ($A \mathbf{x} = \mathbf{b}$ 꼴에서 $A$의 열의 linear combination 관점에서 봤을 때 모든 $x_{i}$가 유일하게 존재한다는 말이므로 span위에 $\mathbf{b}$가 존재한다) P2. $A$가 invertibl..
1. Gaussian Elimination 아래와 같은 linear equations를 풀려고 한다. \begin{align} x_{1} + x_{2} &= 2 \\ 2x_{1} - x_{2} &= -4 \end{align} 일반적으로 두 등식 간에 연산을 취하여 아래의 꼴을 만들면 답을 쉽게 구할 수 있다. \begin{align} \\ x_{1} + x_{2} &= 2 \\ -3x_{2} &= -8 \end{align} 즉, 일단 바로 위의 등식과 같은 triangular form을 얻으면 풀렸다고 봐도 된다. 이렇게 행렬을 triangular form으로 만들기 위한 방법을 Gaussian Elimination Method라고 한다. 즉, $A \mathbf{x} = \mathbf{b}$에서 $A$..
1. Abstract 본 논문은 특정 단어(예 : 숫자, 알파벳)에 대한 발음(오디오 모달리티)과 입모양(비디오 모달리티)의 표현을 잘 fusion하고, fusion된 표현을 인풋으로 받는 classifier를 학습하여 발음을 구분하는 태스크를 다룬다. 이 과정에서 fusion을 잘하기 위해 오토인코더를 도입한다. 피처 학습시 오디오와 비디오 모달리티가 주어졌다면, 모델에게 비디오 모달리티만 줘도 상대적으로 더 좋은 표현을 만든다. 모달리티 간의 공유(shared)된 표현을 어떻게 배우는지 보여준다. 이를 평가하기 위해 classifier를 오디오 모달리티로 학습시키고 테스트는 비디오 모달리티로 하거나, 그 반대로 실험을 한다. 2. Introduction 오디오, 비디오 표현을 fusion하여 발음을 ..
1. 행렬과 벡터의 곱의 계산적 의미 \begin{align*} A{x}= \left[ \begin{array}{cccc} a_{11} & a_{12} & \ldots & a_{1n}\\ a_{21} & a_{22} & \ldots & a_{2n}\\ \vdots & \vdots & \ddots & \vdots\\ a_{m1} & a_{m2} & \ldots & a_{mn} \end{array} \right] \left[ \begin{array}{c} x_1\\ x_2\\ \vdots\\ x_n \end{array} \right] = \left[ \begin{array}{c} a_{11}x_1+a_{12}x_2 + \cdots + a_{1n} x_n\\ a_{21}x_1+a_{22}x_2 + \cdots..
Linear Combination The set $\mathbb{R}^{n}$ or an infinite line can be represented as linear combinations of vectors Example 1 : $c\begin{bmatrix}1 \\ 0\end{bmatrix} + d\begin{bmatrix}0 \\ 1\end{bmatrix}$ spans $\mathbb{R}^2$ Example 2 : $c\begin{bmatrix}1 \\ 1\end{bmatrix} + d\begin{bmatrix}2 \\ 2\end{bmatrix}$ is an infinite line Lengths and Dot (Inner) Products Length : $\|v\| = \sqrt{v \cdot..