[선형대수학 #1] 주요용어 및 기본공식

이번 글은 우리가 배우는 수학 중 영상처리 뿐만 아니라 공학 및 연구개발에 있어서 실질적으로 가장 많이 활용되는 선형대수학(linear algebra)에 대한 것입니다.

사실 저도 예전에 선형대수학을 배운 적은 있지만 지금 기억나는 것은 대략적인 개념들 몇가지 뿐이고 대부분은 가물가물한 상태입니다. 그렇다고 나이도 있는데 그걸 다 다시 공부하기는 힘든 일입니다.

따라서, 선형대수학에 대한 전반적인 내용을 모두 다루기보다는 실질적인 활용도 면에 있어서 중요하다고 생각되는 것들 위주로 글을 정리할 예정입니다.

그리고 가급적 실제 활용 측면에서의 내용을 적어볼 생각입니다.

예상되는 주요 내용은 선형대수학의 핵심이라고 할 수 있는 고유값(eigenvalue)과 고유벡터(eigenvector), 대각화, 특이값분해(SVD, singular value decomposition)를 포함하여 pseudo-inverse, 케일리-해밀턴 정리, 행렬식(determinant), 최소자승법(least-square)과 선형연립방정식의 풀이, 주성분분석(principal component analysis), 2차곡선의 행렬표현 등입니다.

첫번째 내용은 선형대수학에 나오는 기본 용어 및 성질(정리, 공식)에 대한 단순 요약입니다.

1. 선형대수학이란?

선형대수학은 선형 함수(or 사상, 연산, 변환)에 대한 대수학으로서, 여기서 선형(linear)은 다음 두 관계식으로 정의된다.

 --- (1)

우리가 알고있는 행렬연산, 벡터연산, 미분, 적분 등이 위 관계식을 만족하는 선형 함수(연산)에 해당된다.

또한 대수학(代數學)은 대수(代數)라는 명칭 그대로 수를 대신하여 문자를 사용해 식을 전개하고 방정식을 푸는 방법을 연구하는 수학 분야이다.

2. 선형대수학 기초

벡터의 개념, 행렬연산, 역행렬 등 선형대수학의 기본 개념에 대해서는 http://blog.daum.net/eigenvalue/10856412 글을 참조하시길 추천합니다. 선형대수학에 대한 기본 개념을 고등학교 수학 수준에 맞추어 아주 쉽고 상세하게 설명하고 있습니다.

약 40 페이지에 걸친 한글 문서인데 저도 처음부터 끝까지 전부 읽어보았습니다. 글을 읽으면서 일종의 현기(무협지 등에서 말하는 글이나 무공에서 느껴지는 현묘한 기운, 깊은 이치)를 느낄 수 있었습니다. 그중 한 예를 들면 다음과 같은 문장입니다.

‘역행렬이 정의가 뭐야?’하고 물어보면 어떤 고등학생은 1/(ad-bc)*[d -b; -c a]요.’ 라고 대답을 한다. 그러나 이것은 ‘행렬 [a b; c d]의 역행렬을 어떻게 구하느냐?’라는 질문에 대한 대답은 되지만 처음 질문의 올바른 대답은 아니다. 

3. 선형대수학에서 나오는 용어 및 성질

- 행렬(matrix) & 벡터(vector) 표기

- 정방 행렬(square matrix)

- 단위 행렬 (identity matrix)

- 전치 행렬 (transpose of a matrix)

- 행렬식 (determinant) : 정방행렬에 대해서만 정의됨

- trace (대각 합) : 정방행렬에 대해서만 정의됨

- 대각 행렬 (diagonal matrix): 보통 정방행렬에 대해 정의

- 고유값(eigenvalue), 고유벡터(eigenvector)

- 행렬의 대각화 : 고유값 분해 (eigen decomposition)

고유값 분해 대각화는 모든 행렬에 대해 가능한 것이 아니라 정방행렬 A가 n개의 일차독립(linearly independent)인 eigenvector를 가질 때에만 가능함

- 특성 방정식(characteristic equation)

- 케일리-해밀턴 정리(Cayley-Hamilton theorem)

모든 행렬은 자신의 특성다항식의 zero이다.

즉, A의 특성다항식을 구한 후 λ에 A 자신을 대입하면 영행렬이 나온다.

만일 행렬 A의 특성다항식이 p(λ)=λⁿ+c_n-1λ^n-1+...+c₁λ+c₀ 라면 항상 Aⁿ+c_n-1A^n-1+...+c₁A+c₀ = 0 가 성립한다는 것이 케일리-해밀턴 정리

- 특정 조건을 만족하는 행렬의 명칭

- 특이값 분해 (singular value decomposition)

U의 열벡터: AA^T의 eigenvector (left-singular vectors)

V의 열벡터: A^TA의 eigenvector (right-singular vectors)

Σ: A^TA, AA^T의 eigenvalue들의 square root (singular values)

특이값 분해는 모든 행렬에 대해 가능

(A: m × n, U: m × m, V: n × n, Σ: m × n)

☞ 첫번째 글은 개인적으로도 참조할 목적이라서 거의 선형대수학 공식의 단순 나열이 되고 말았습니다.

[선형대수학 #1] 주요용어 및 기본공식

[선형대수학 #2] 역행렬과 행렬식(determinant)

[선형대수학 #3] 고유값과 고유벡터 (eigenvalue & eigenvector)

[선형대수학 #4] 특이값 분해(Singular Value Decomposition, SVD)의 활용

[선형대수학 #5] 선형연립방정식 풀이

[선형대수학 #6] 주성분분석(PCA)의 이해와 활용

by 다크 프로그래머