[선형대수학 #1] 주요용어 및 기본공식

수학 이야기 2013.10.04 20:10

이번 글은 우리가 배우는 수학 중 영상처리 뿐만 아니라 공학 및 연구개발에 있어서 실질적으로 가장 많이 활용되는 선형대수학(linear algebra)에 대한 것입니다.


사실 저도 예전에 선형대수학을 배운 적은 있지만 지금 기억나는 것은 대략적인 개념들 몇가지 뿐이고 대부분은 가물가물한 상태입니다. 그렇다고 나이도 있는데 그걸 다 다시 공부하기는 힘든 일입니다.


따라서, 선형대수학에 대한 전반적인 내용을 모두 다루기보다는 실질적인 활용도 면에 있어서 중요하다고 생각되는 것들 위주로 글을 정리할 예정입니다.


그리고 가급적 실제 활용 측면에서의 내용을 적어볼 생각입니다.


예상되는 주요 내용은 선형대수학의 핵심이라고 할 수 있는 고유값(eigenvalue)과 고유벡터(eigenvector), 대각화, 특이값분해(SVD, singular value decomposition)를 포함하여 pseudo-inverse, 케일리-해밀턴 정리, 행렬식(determinant), 최소자승법(least-square)과 선형연립방정식의 풀이, 주성분분석(principal component analysis), 2차곡선의 행렬표현 등입니다.


첫번째 내용은 선형대수학에 나오는 기본 용어 및 성질(정리, 공식)에 대한 단순 요약입니다.



1. 선형대수학이란?


선형대수학은 선형 함수(or 사상, 연산, 변환)에 대한 대수학으로서, 여기서 선형(linear)은 다음 두 관계식으로 정의된다.


 --- (1)


우리가 알고있는 행렬연산, 벡터연산, 미분, 적분 등이 위 관계식을 만족하는 선형 함수(연산)에 해당된다.


또한 대수학(代數學)은 대수(代數)라는 명칭 그대로 수를 대신하여 문자를 사용해 식을 전개하고 방정식을 푸는 방법을 연구하는 수학 분야이다.



2. 선형대수학 기초


벡터의 개념, 행렬연산, 역행렬 등 선형대수학의 기본 개념에 대해서는 http://blog.daum.net/eigenvalue/10856412 글을 참조하시길 추천합니다. 선형대수학에 대한 기본 개념을 고등학교 수학 수준에 맞추어 아주 쉽고 상세하게 설명하고 있습니다.


약 40 페이지에 걸친 한글 문서인데 저도 처음부터 끝까지 전부 읽어보았습니다. 글을 읽으면서 일종의 현기(무협지 등에서 말하는 글이나 무공에서 느껴지는 현묘한 기운, 깊은 이치)를 느낄 수 있었습니다. 그중 한 예를 들면 다음과 같은 문장입니다.


‘역행렬이 정의가 뭐야?’하고 물어보면 어떤 고등학생은 1/(ad-bc)*[d -b; -c a]요.’ 라고 대답을 한다. 그러나 이것은 ‘행렬 [a b; c d]의 역행렬을 어떻게 구하느냐?’라는 질문에 대한 대답은 되지만 처음 질문의 올바른 대답은 아니다. 



3. 선형대수학에서 나오는 용어 및 성질



- 행렬(matrix) & 벡터(vector) 표기



- 정방 행렬(square matrix)




- 단위 행렬 (identity matrix)





- 전치 행렬 (transpose of a matrix)








- 행렬식 (determinant) : 정방행렬에 대해서만 정의됨










- trace (대각 합) : 정방행렬에 대해서만 정의됨











- 대각 행렬 (diagonal matrix): 보통 정방행렬에 대해 정의









- 고유값(eigenvalue), 고유벡터(eigenvector)




- 행렬의 대각화 : 고유값 분해 (eigen decomposition)






고유값 분해 대각화는 모든 행렬에 대해 가능한 것이 아니라 정방행렬 A가 n개의 일차독립(linearly independent)인 eigenvector를 가질 때에만 가능함



- 특성 방정식(characteristic equation)






- 케일리-해밀턴 정리(Cayley-Hamilton theorem)


모든 행렬은 자신의 특성다항식의 zero이다.

즉, A의 특성다항식을 구한 후 λ에 A 자신을 대입하면 영행렬이 나온다.

만일 행렬 A의 특성다항식이 p(λ)=λn+cn-1λn-1+...+c1λ+c0 라면 항상 An+cn-1An-1+...+c1A+c0 = 0 가 성립한다는 것이 케일리-해밀턴 정리



- 특정 조건을 만족하는 행렬의 명칭







- 특이값 분해 (singular value decomposition)






U의 열벡터: AAT의 eigenvector (left-singular vectors)

V의 열벡터: ATA의 eigenvector (right-singular vectors)

Σ: ATA, AAT의 eigenvalue들의 square root (singular values)

특이값 분해는 모든 행렬에 대해 가능

(A: m × n, U: m × m, V: n × n, Σ: m × n)



☞ 첫번째 글은 개인적으로도 참조할 목적이라서 거의 선형대수학 공식의 단순 나열이 되고 말았습니다.


[선형대수학 #1] 주요용어 및 기본공식

[선형대수학 #2] 역행렬과 행렬식(determinant)

[선형대수학 #3] 고유값과 고유벡터 (eigenvalue & eigenvector)

[선형대수학 #4] 특이값 분해(Singular Value Decomposition, SVD)의 활용

[선형대수학 #5] 선형연립방정식 풀이

[선형대수학 #6] 주성분분석(PCA)의 이해와 활용


by 다크 프로그래머


저작자 표시 비영리 변경 금지
신고
  • 유익한 정보 감사드립니다 ^^
    Eigen 관련한 포스팅이 기다려지네요

  • 살았다 2013.10.24 11:22 신고 ADDR 수정/삭제 답글

    기초가 없어서 엄청 헤맸다가 우연히 여기 발견해서 진짜 도움 많이 됐습니다 ㅜㅜ 이런포스팅 백번좋아여^0^ 감사합니당

  • 허브 2014.01.07 10:11 신고 ADDR 수정/삭제 답글

    혹시 이 문서 퍼가도 될까요? 물론 출처는 밝히고요 ㅎㅎ

    • BlogIcon 다크pgmr 2014.01.07 15:54 신고 수정/삭제

      항상 고민되는 문제이긴 한데.. 개인적 참고용일 경우 따로 보관해 주시고 그렇지 않은 경우에는 링크를 걸어주시기 바랍니다.

  • gogogo 2014.02.01 16:54 신고 ADDR 수정/삭제 답글

    안녕하세요. 현재 기계전공 대학원생으로 컴퓨터 영상처리부분이 필요하여 여기저기 기웃거리다가 여기에 왔습니다. 다른 전공의 분야를 공부하려할 때 막막했는데, 님의 자료를 보면서 쉽게 접근할 수 있고, 기초 개념을 다질 수 있어 감사의 말씀을 드립니다.
    여러 게시판을 관리하시니 대단하시단 말씀밖에 드릴 수 없네요. 저도 수학을 좋아하면서 이곳 선형대수를 보고 있는데 다시 감회가 새롭습니다. 처음 선형대수를 대학교에서 배웠을 때 그 충격이란 아직도 생생합니다.^^. matrix로 모든 세계를 표현할 수 있다는 게 너무나 매력적이었어요. n차원으로 갈 때 마치 세로운 세계를 여행하는 기분~제가 수학을 좋아하는 이유가 복잡한 의미들을 간단 명료하게 표현한다는 건데 특히 선형대수가 그랬고요.
    휴일날 연구실에 나와서 혼자 주절거리고 있네요.^^
    감사함의 표현을 이렇게 글로나마 표현합니다. 감사합니다.

    • BlogIcon 다크pgmr 2014.02.02 07:49 신고 수정/삭제

      공부하는 재미를 아는 분 같습니다. 제가 배울때는 학교를 건성으로 다녀서 그런 배움의 즐거움을 잘 못느꼈었는데.. 님의 글을 읽다보니 아쉬움이 남습니다 ^^ 다른 분야의 내용을 공부하는게 어렵긴 하지만 또 새로운 재미도 많습니다. 명절인데.. 건강도 잘 챙기시기 바랍니다.

  • BlogIcon 괴델 2014.02.15 14:28 신고 ADDR 수정/삭제 답글

    감사합니다.

  • dhhong 2014.04.10 09:40 신고 ADDR 수정/삭제 답글

    정말 큰 도움이 되었습니다. 감사합니다.

  • 2014.04.13 15:11 ADDR 수정/삭제 답글

    비밀댓글입니다

    • BlogIcon 다크pgmr 2014.04.14 05:07 신고 수정/삭제

      분야마다 조금씩 다를 수는 있겠지만 선형대수학이 훨씬 실용적으로 많이 사용되는 것은 사실입니다. 그리고 미적분학과 선형대수학은 큰 연관관계가 없으며 미적분학은 기본개념 정도만 알고 있어도 큰 무리가 없을 것 같습니다.

  • 질문있어요 2015.04.30 10:49 신고 ADDR 수정/삭제 답글

    matrix 가 simple하다는 것은 무슨 의미이죠? 그리고 어떤 식으로 판단하나요? 예를 들면 A=[1 1 2;0 1 3;0 0 2]에서 고유값이 1(중근), 2이고 고유벡터가 [1 0 0], [5 3 1]이라는 것을 안다면 이 행렬 A가 simple한지 판단하는 방법이 어떻게 될까요?

    • BlogIcon 다크pgmr 2015.04.30 19:08 신고 수정/삭제

      simple matrix라는 것은 저도 처음 들어봐서 잘 모르겠습니다.

  • 을지랑 2015.06.30 01:28 신고 ADDR 수정/삭제 답글

    선형대수학 관련해서 공부하고 있었는데 도움이 많이 되고있습니다. 감사합니다 :)

  • UM 2016.09.09 10:03 신고 ADDR 수정/삭제 답글

    선생님 감사합니다. 감사합니다. 감사합니다. [진심 느껴지시나요]

  • 김선민 2017.01.23 18:46 신고 ADDR 수정/삭제 답글

    고맙습니다. 정말 오랫만에 선형대수학이 필요해서 검색하다가 여기 왔습니다.
    짧은 시간에 잘 정리되어 정말 도움이 되었습니다.
    고맙습니다.

  • BlogIcon 이수원 2017.02.07 21:12 신고 ADDR 수정/삭제 답글

    올려주신 강의랑 문서보고 진짜 도움이 많이 됐습니다!
    감사합니다!!

  • 그실력에잠이오냐 2017.09.15 03:36 신고 ADDR 수정/삭제 답글

    순수 문돌이가 진로 애매하게 잡아서 결국 수학을 전부 독학으로 하고있는데

    잘 보겠습니다 ㅠㅠ 감사합니다.

    그리고 또 감사할게요. 앞으로도 많이 감사할 것 같습니다.