5. Subspaces

1. Vector Spaces

A set of vectors $V$ is called a vector space if it satisfies the following axioms

 

• $\mathbf{u} + \mathbf{v} = \mathbf{v} + \mathbf{u}, \mathbf{v} \in V$
• $(\mathbf{u}+\mathbf{v})+\mathbf{w}=\mathbf{u}+(\mathbf{v}+\mathbf{w}), \forall \mathbf{u} \mathbf{v} \mathbf{w}$
• There exists a zero vector $\mathbf{0} \in V$, such that $\mathbf{v} + \mathbf{0} = \mathbf{v}, \forall \mathbf{v} \in V$
• For every $\mathbf{v} \in V$, there exists a vector $-\mathbf{v} \in V$ such that $\mathbf{v} + (-\mathbf{v}) = \mathbf{0}$
• $c(\mathbf{u} + \mathbf{v}) = c\mathbf{u} + c\mathbf{v}, \forall \mathbf{u}, \mathbf{v} \in V$
• $1 \cdot \mathbf{v} = v$
• $(c_{1}c_{2})\mathbf{v} = c_{1}(c_{2}\mathbf{v})$
• $(c_{1}+c_{2})\mathbf{v} = c_{1}\mathbf{v} + c_{2}\mathbf{v}$

 

 

2. Subspaces

A subspace $S$ of a vector space $V$ is a set of vectors such that for any $\mathbf{u}, \mathbf{u} \in S$ and $c \in \mathbb{R}$,

 

• $\mathbf{v} + \mathbf{w} \in S$
• $c \mathbf{v} \in S$

$S$ is a subspace if it is closed under linear combination (즉, $S$에서 어떤 두 벡터를 골라서 선형 결합해도, 그 결과 벡터가 $S$에 있으면 $S$는 subspace이다).

 

Examples

• Subspaces : $ \left \{c \begin{bmatrix}1 \\ 1\end{bmatrix} + d \begin{bmatrix}2 \\ 3\end{bmatrix}, \forall c, d \in \mathbb{R} \right \}$
• Not a subspace : $ \left \{c \begin{bmatrix}v_{1} \\ v_{2} \end{bmatrix}, \forall v_{1}, v_{2} \geq 0 \right \}$ (음수인 스칼라를 곱하면 결과 벡터가 $S$를 벗어남)

 

Properties of Subspaces

 

• $\mathbf{0} \in S$
• 원점을 지나는 직선은 $S$이다
• $\mathbb{R}^{n}$은 자기 자신의 $S$이다
• $\mathbb{R}^{3}$의 가능한 모든 $S$ : $\{ \mathbf{0} \}$, any line through $\mathbf{0}$, any plane through $\mathbf{0}$,$ \mathbb{R}^{3}$

 

Column Space of a Matrix

Column space $C(A)$ of matrix $A$ is all linear combinations of columns in $A$, i.e., $C(A) = \{ A\mathbf{x} : \forall \mathbf{x} \}$

 

$C(A)$ is a subspace of $\mathbb{R}^{m}$ (단, m은 행의 개수)

• $v = Ay, w= Az$ 라고하면, $cv + dw = cAy + dAz = A(cy + dz)$. 여기서 $(cy+ dz) \in \forall \mathbf{x}$ 이므로 $\in C(A)$.

 

Row Space of a Matrix
Row space $R(A)$ of matrix $A$ is all linear combinations of rows in $A$, i.e., $R(A) = \{ A^{T}\mathbf{x} : \forall \mathbf{x} \}$. Therefore, $R(A) = C(A^{T})$. and $R(A)$ is a subspace of $\mathbb{R}^{n}$ (단, n은 열의 개수)

 

 

Nullspace of A

The nullspace $N(A)$ of matrix $A$ is the set of all solutions to $A \mathbf{x} = \mathbf{0}$, i.e., $N(A) = \left \{ \mathbf{x} : A \mathbf{x} = \mathbf{0}\right \}.$

• What is the nullspace of an invertible matrix? : $A \mathbf{x} = \mathbf{0} \rightarrow A^{-1}A \mathbf{x} = \mathbf{0} \rightarrow I \mathbf{x} = \mathbf{0}$. 즉, $N(A) = \{ \mathbf{0} \}$.
• $N(A)$ is subspace of $\mathbb{R}^{n}$ (단, $n$은 열의 개수)

 

 

 

2. $N(A)$ 구하는 방법

Some terminolgies

 

• Pivot column : column having pivot
• Free column : column having no pivot
• Pivot variable : variable corresponding to pivot column
• Free variable : variable corresponding to free column

 

 

 

방법1 : 각 pivot variable을 free variables의 조합으로 표현하여 $\mathbf{x}$에 넣는다. 그러면 $\mathbf{x}$는 free variables가 스칼라로 곱해진 각 벡터의 선형 결합 (이 벡터의 개수는 free variable의 개수와 같으며, special solutions이라고 한다) 으로 표현되는데, 그 선형 결합이 바로 $N(A)$이다.

 

예를들어,

\begin{align*}
\begin{bmatrix} 1 & 2 & 1 & 1 & 0 \\ 0 & 0 & 2 & 2 & 4 \\ 0 & 0 & 0 & 0 & 0  \end{bmatrix} \begin{bmatrix} x_{1} \\ x_{2} \\ x_{3} \\ x_{4} \\ x_{5} \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \\ 0 \end{bmatrix}
\end{align*}

 

에서 방법1을 적용하려고 한다. 위 linear equation은

 

\begin{align} x_{1} + 2x_{2} + x_{3} + x_{4} &= 0 \\ 2x_{3} + 2x_{4} + 4x_{5} &= 0 \end{align}

 

이다. 여기서 각 pivot variable을 free variables의 조합으로 표현하면

 

\begin{align} x_{3} &= -x_{4} -2x_{5} \\ x_{1} &= -2x_{2} + 2x_{5} \end{align}

 

이다. $\mathbf{x}$를 이 표현으로 다시 정리하면

 

\begin{align*}
\mathbf{x} = \begin{bmatrix} -2x_{2} + 2x_{5} \\ x_{2} \\ -x_{4} -2x_{5} \\ x_{4} \\ x_{5} \end{bmatrix} , \forall x_{2}, x_{4}, x_{5} \in \mathbb{R}
\end{align*}

 

\begin{align*}
\mathbf{x} = x_{2} \begin{bmatrix} -2 \\ 1 \\ 0 \\ 0 \\ 0 \end{bmatrix} + x_{4} \begin{bmatrix} 0 \\ 0 \\ -1 \\ 1 \\ 0 \end{bmatrix} + x_{5} \begin{bmatrix} 2 \\ 0 \\ -2 \\ 0 \\ 1 \end{bmatrix}
\end{align*}

 

 

방법2 : 하나의 free variable을 $1$로, 나머지 free variable을 모두 $0$으로 두고 $A \mathbf{x} = \mathbf{0}$을 푼다. 각 free variable을 $1$로 두고 이 식을 풀 때마다 special solution을 하나 씩 얻을 수 있다. special solution의 선형결합이 $N(A)$이다.

 

 

 

3. Complete Solution to $A \mathbf{x} = \mathbf{b}$

$A \mathbf{x} = \mathbf{b}$의 하나의 해인 $\mathbf{w}$를 알고 있다고 하자. $\mathbf{y} = \mathbf{w} + \mathbf{z}, \textbf{where} \ \mathbf{z} \in N(A)$는 $A \mathbf{x} = \mathbf{b}$의 complete solution이다.

 

particular solution을 구하는 방법 : 모든 free variable을 $0$으로 두고 $A \mathbf{x} = \mathbf{b}$를 풀면 된다.

 

$N(A)$가 존재하더라도 particular solution이 없다면 $A \mathbf{x} = \mathbf{b}$의 해는 없을 수 있다.