저희 아이는 저랑 수학 문제 푸는 것을 매우 좋아합니다.

아직 초등학교 저학년이라서 40 더하기 53은? 이런거 묻고 푸는 정도입니다 ^^. 그래도 어쨌든 문제 푸는걸 좋아하니 나름 문제내는 재미가 있습니다. (답을 맞추면 엄청 좋아합니다)

한번은 48 더하기 16이 얼마냐고 물으니 64라고 대답합니다. 그래서 왜 64냐 한번 설명을 해 봐라고 했더니 16에서 2를 빌려다가 48에 더하면 50이고 남은 14를 더하면 64가 나온다고 합니다. 제법 놀라운 설명이라 천재 아닌가? 하고 깜짝 놀랐었는데, 나중에 알고보니 '가르기'라고 요즘은 학교에서 그런 방식을 가르치는 것 같습니다.

그리고 가끔은 곱셈 문제도 내는데, 5 곱하기 3이 뭐냐라고 물으면 15라고 대답합니다. 그럼 왜 15냐라고 물으면 5 곱하기 3은 5가 3개 있다는 것이니까, 5에 5를 더하면 10, 여기에 5를 더하면 15라고 대답합니다. 곱셈의 의미를 정확히 알고 있으니 제법 대견합니다.

그런데, 7단, 8단, 9단은 어려워서 구구단을 햇갈려 합니다. 그래서 7 곱하기 3이 뭐냐라고 물으면 24? 20? 찍기 시작합니다. 곱셈의 의미를 알고 있다고 하더라도 막상 7단에는 적용할 생각을 못하니 그래도 아직 어린아이이고 평범해서 좋습니다. ^^

그럼 이번에는 난이도를 높여서 10 곱하기 3이 뭐냐라고 물으니 30이라고 대답합니다. 그럼 3 곱하기 10은 뭐냐 하고 물으니 조금 생각하더니 30이라고 대답합니다. 그런데, 왜 3 곱하기 10이 30인지 설명해보라고 하니 10 곱하기 3은 30이고, 10 곱하기 3하고 3 곱하기 10이 같기 때문에 30이라고 답합니다. 곱셈의 순서를 바꾸어도 결과가 같다는 것을 알고 있는 것이지요.

그런데, 왜 10 곱하기 3하고 3 곱하기 10이 같아? 왜 곱셈은 순서를 바꾸어도 같아? 하고 물으니 난관에 봉착합니다. 한참 생각하더니 칠판에 동그라미 10개를 3번 그리고 나서 갯수를 셉니다. 그리고 동그라미 3개를 10번 그리고 나서 또 개수를 셉니다. 그리고 나서는 '봐바요 둘다 30으로 같잖아요'라고 합니다. 역시 어린아이다운 설명이라 좋습니다 ^^. 그래 맞아. 그런데 왜 그게 같지? 왜 그런지 설명할 수 있겠어? 하고 다시 물으니 한참을 고민하더니 답을 못합니다.

아직까지는 답을 듣지 못했습니다. 제가 설명해 줄 수도 있겠지만 그보다는 언젠가는 스스로 답을 찾게 될 날이 있겠지요.. ^^

by 다크 프로그래머

푸리에 변환(Fourier transform)에 대해서는 예전부터 한번 정리를 해야겠다고 생각만 했었는데 이번에 기회가 되어 글을 올립니다.

푸리에 변환(Fourier transform)은 신호처리, 음성, 통신 분야에서 뿐만 아니라 영상처리에서도 매우 중요한 개념으로 다양한 응용을 가지고 있습니다. 영상을 주파수 성분으로 변환하여 다양한 분석 및 처리를 할 수 있고 임의의 필터링 연산을 fft(fast Fourier transform)를 이용하여 고속으로 구현할 수도 있습니다. 그리고 푸리에 변환과 같은 근원적인 이론들은 특정 응용에 국한되지 않기 때문에 한번 알아두면 분야를 떠나서 두고두고 도움이 됩니다.

이 글에서는 푸리에 변환(Fourier transform)이 무엇이고 어디에 쓸 수 있는지, 그리고 어떻게 쓸 수 있는지 직관적 이해와 유용한 성질들, 영상처리 응용, 그리고 푸리에 변환(Fourier transform)을 실제 활용하는데 있어서 필요한 사항들을 최대한 직관적으로 정리하고자 합니다.

그동안 푸리에 변환(Fourier transform)에 대해 개인적으로 가지고 있었던 의문은 푸리에 변환을 통해 얻어지는 스펙트럼과 페이즈(phase) 중 페이즈(phase)가 무엇인가? 그리고 푸리에 주파수 공간의 좌표값을 어떻게 해석할까입니다. 아마도 비슷한 의문을 가진 분들도 꽤 있을 것으로 생각됩니다. 이 글을 통해서 그러한 의문에 대한 답도 같이 다루게 됩니다.

1. 푸리에 변환(Fourier transform) - 직관적 이해

모든 공부의 시작은 핵심 개념을 정확히 이해하는데 있다. 그리고 그 이해는 가급적 직관적일수록 좋다.

푸리에 변환(Fourier transform)을 직관적으로 설명하면 푸리에 변환은 임의의 입력 신호를 다양한 주파수를 갖는 주기함수들의 합으로 분해하여 표현하는 것이다.

좀더 들어가면, 푸리에 변환에서 사용하는 주기함수는 sin, cos 삼각함수이며 푸리에 변환은 고주파부터 저주파까지 다양한 주파수 대역의 sin, cos 함수들로 원본 신호를 분해하는 것이다.

아래 그림(그림 1)의 예를 보자. 맨 앞의 붉은 색 신호는 입력 신호이고 뒤의 파란색 신호들은 푸리에 변환(Fourier transform)을 통해 얻어진 (원본 신호를 구성하는) 주기함수 성분들이다. 각각의 주기함수 성분들은 고유의 주파수(frequency)와 강도(amplitude)를 가지고 있으며 이들을 모두 합치면 원본 붉은색 신호가 된다.

그림 1. 푸리에 변환 (그림출처: 위키피디아)

여기서 입력 신호는 전파, 음성 신호 등과 같이 시간축(time)에 대해 정의된 신호일 수도 있고 이미지(image) 등과 같이 공간축에 대해 정의된 신호일 수도 있다. 통신 분야에서는 푸리에 변환(Fourier transform)을 time domain에서 frequency domain으로의 변환이라고 하고, 컴퓨터 비전(computer vision), 영상처리 쪽에서는 spatial domain에서 frequency domain으로의 변환이라고 부른다. 명칭이야 어쨌든 그 핵심은 입력 신호를 sin, cos의 주기성분으로 분해하는 것이다.

푸리에 변환(Fourier transform)의 대단한 점은 입력 신호가 어떤 신호이든지 관계없이 임의의 입력 신호를 sin, cos 주기함수들의 합으로 항상 분해할 수 있다는 것이다. 그리고 그 과정을 수식으로 표현한 것이 푸리에 변환식이다.

2. 푸리에 변환(Fourier transform) - 수식적 이해

어떤 개념을 직관적으로 이해했다면 그 개념에 대한 수식적 이해는 그 개념을 한층 풍성하고 깊이있게 이해하게 해 준다.

푸리에 변환(Fourier transform)은 프랑스의 수학자 Joseph Fourier (1768 ~ 1830)가 제안한 방법으로서 수학사(해석학)의 역사가 새로 씌여질 정도로 대단한 발견이었다고 한다. 그 유명한 푸리에 변환의 수식은 다음과 같다.

, --- (1)

. --- (2)

여기서 j는 허수단위 , f(x)는 원본 입력 신호, e^j2πux는 주파수 u인 주기함수 성분, F(u)는 해당 주기함수 성분의 계수(coefficient)를 나타낸다.

일단 식을 있는 그대로 해석하면 식 (1)은 입력신호 f(x)가 e^j2πux들의 합으로 표현(분해)된다는 의미이다 (적분은 합한다는 의미를 갖는다). 그리고 식 (2)는 f(x)를 주기함수 성분으로 분해했을 때의 계수(coefficient) F(u)가 식 (2)로 주어진다는 의미이다. 앞서 그림 1과 연관해 보면 e^j2πux는 f(x)를 구성하는 (파란색의 주파수 u인) 주기함수 성분들이고 F(u)는 해당 주기함수 성분의 강도(amplitude)를 나타낸다.

☞ 푸리에 변환에 대한 일반적인 설명 방식은 두번째 식 (2)를 푸리에 변환이라고 정의하고 첫번째 식 (1)을 푸리에 역변환(inverse Fourier transform)이라고 정의하는 것이다. 그리고 푸리에 역변환을 하면 다시 원래의 함수로 돌아온다고 한다. 하지만 이러한 기계적인 이해(푸리에 변환을 어디 하늘에서 뚝 떨어진 정의로만 받아들이는 것)는 푸리에 변환의 본질을 이해하는데 별 도움이 되지 않는다.

이제 식으로 좀더 들어가 보자. 일단, 식 자체는 푸리에 변환의 대단함에 비추어 매우 단순하다 (Simple is the best!!). 다만 한 가지 e^j2πux의 의미만 이해하면 된다. 그리고 이를 위해서는 오일러 공식(Euler's formula)이 필요하다.

오일러 공식(Euler's formula)은 복소지수함수를 삼각함수로 변환할 수 있도록 하는 유명한 식이다.

 --- (3)

식 (3)은 증명 가능한 식이며 그 증명은 인터넷에서 어렵지 않게 찾을 수 있다. 어쨌든 오일러 공식을 이용하면 식 (1)의 e^j2πux는 실수부가 cos(2πux), 허수부가 sin(2πux)인 주기함수임을 알 수 있다.

 --- (4)

여기서 cos(2πux), sin(2πux) 모두 주기(period)가 1/u, 주파수(frequency) u인 주기함수이므로 결국 e^j2πux는 주파수 u인 정현파(sinusoidal wave)의 복소지수함수 표현임을 알 수 있다.

• 주기: 파동이 한번 진동하는데 걸리는 시간, 또는 그 길이. sin(wx)의 주기는 2π/w 임.
• 주파수: 1초 동안의 진동 횟수. 주파수와 주기는 서로 역수 관계 (주파수 = 1/주기)

☞ 정현파(sinusoidal wave)는 파형이 sin 또는 cos 함수인 파동(wave)을 말한다. 그런데, 여기서 왜 갑자기 복소수가 나오고 또 주기함수를 저렇게 표현하느냐고 따질 수 있다. 하지만 여기서는 그냥 복수지수함수는 정현파(sinusoidal wave)를 표현하는 방법 중 하나라는 정도로만 알아두자. 정현파 및 복수지수함수 표현에 대한 보다 자세한 내용은 AngeloYeo님의 페이저(phasor)에 대한 설명글을 참고하기 바란다.

이제 다시 원래의 식 (1), (2)로 돌아가 보자. 식 (1)은 함수 f(x)를 모든 가능한 주파수(u)의 주기함수들(e^j2πux)의 일차결합으로 표현한 것이다. 그리고 그 일차결합 계수 F(u)는 식 (2)로 항상 주어질 수 있다는 것이 요지이다. 이와 같이 푸리에 변환식을 볼 수 있다면 푸리에 변환의 핵심을 이해한 것이다.

☞ 식 (1), (2)의 푸리에 변환(Fourier transform)식은 언뜻 보면 정의(definition)로 보이지만 사실은 증명해야 할 정리(theorem)이다. 즉, 식 (2)의 F(u)를 식 (1)에 대입하면 항상 f(x)가 나옴을 증명해야 한다. 이것이 증명되면 모든 임의의 신호함수는 항상 주기함수들의 일차결합으로 분해될 수 있음이 증명되는 것이다 (증명은 이곳 참조).

마지막으로, (증명은 아니지만) 왜 일차결합의 계수 F(u)가 식 (2)로 주어지는지를 선형대수학과 연관지어 직관적으로 이해해 보자. 식 (1)에서 e^j2πux, u = 0, ±1, ±2, ...은 모든 신호를 생성할 수 있는 직교(orthogonal) 기저(basis) 함수들로 볼 수 있다 (편의상 u를 정수 범위로 표기했으나 u는 실수 전체 범위임). 그러면 입력 신호 f(x)를 이들 기저함수들로 분해했을 때의 계수 F(u)는 f(x)와 기저함수의 내적(dot product)으로 계산될 수 있다 (아래의 ☞선형대수학 관련 설명 참조). 식 (2)는 f(x)와 e^j2πux의 함수 내적이기 때문에 그 결과는 f(x)를 e^j2πux들로 분해했을 때의 계수가 된다. 따라서, F(u)가 식 (2)로 주어지는 이유가 설명이 되었다. 참고로, 식 (2)에서 j 앞에 -가 붙은 이유는 복소수에서의 내적은 어느 한쪽에 켤레(conjugate) 복소수를 취한 후 계산되기 때문이다.

☞ 선형대수학(linear algebra)에서는 어떤 벡터 공간을 생성할 수 있는 일차독립인 벡터들의 집합을 기저(basis)라고 한다. 만일 기저(basis) 벡터들이 v1, v2, ..., vn라 하면 이 벡터공간에 속하는 임의의 벡터 v는 v = a1v1 + a2v2 + ... + anvn (ai는 상수)와 같이 기저 벡터들의 일차결합으로 표현될 수 있다 (왜냐하면 vi들이 이 벡터공간의 모든 벡터들을 생성할 수 있으니까). 그런데 만일 기저벡터들이 서로 수직(vi·vj = 0)인 단위벡터라면 일차결합 계수 ai는 내적을 이용하여 ai = v·vi로 손쉽게 계산할 수 있다 (∵ v·vi = (a1v1 + ... + anvn)·vi = ai*(vi·vi) = ai). 어떤 벡터와 기저(basis) 벡터를 내적하면 이 벡터에 포함된 기저 성분의 계수가 얻어진다는 것은 선형대수학에서 매우 유용한 성질이다.

☞ F(u)가 식 (2)로 주어지는 이유에 대한 선형대수학적 설명은 개인적 이해 방식이라서 증명이 있거나 근거 문헌이 있는 내용은 아닙니다. 그냥 그런 식으로 이해할 수도 있구나 하고 참고만 하기 바랍니다. 정말 그런지 수학적으로 증명해 봐라 하면 골치아픕니다..

3. 이미지(영상신호)에서의 푸리에 변환(Fourier transform)

푸리에 변환(Fourier transform)을 영상처리에 적용하기 위해서는 이미지(영상신호)가 가지고 있는 몇 가지 차이점을 인지해야 한다. 먼저, 이미지는 2차원의(x축 방향의 변화와 y축 방향의 변화가 동시에 포함된) 신호이기 때문에 2차원에서 정의되는 푸리에 변환이 필요하다. 2차원 신호에 대한 푸리에 변환(Fourier transform)은 다음과 같이 정의된다.

, --- (5)

. --- (6)

단, 여기서 F(u, v)는 x축 방향으로 주파수(frequency) u, y축 방향으로 v인 주기함수 성분의 계수이다. 그리고 그 값은 식 (6)에 의해 계산된다.

그런데 이미지는 연속(continuous)이 아닌 이산(discrete) 신호이다. 그리고 한정된 유한(finite) 구간에서 정의되는 신호이다. 따라서, 이산 데이터에서 정의되는 푸리에 변환이 필요하다. W x H 크기의 이미지 f(x, y)에 대한 이산 푸리에 변환(discrete Fourier transform)은 다음과 같이 정의된다.

, ---(7)

. ---(8)

단, x = 0, 1, ..., W-1, y = 0, 1, ..., H-1이고 u = 0, 1, ..., W-1, v = 0, 1, ..., H-1.

식 (7)에서 e^{j2π(ux/W+vy/H)}는 x축 방향으로 주파수가 u/W, y축 방향으로 주파수가 v/H인 sinusoidal 주기함수이다 (by 오일러 공식). 일반적인 푸리에 변환식과는 달리 W와 H로의 나누기가 들어있음에 유의해야 하며 이는 데이터가 정의된 구간을 하나의 단위 주기(unit period)로 만드는 효과가 있다. 일종의 정규화 팩터(normalization factor)라고 생각하면 된다.

여기서 2D 이미지를 어떻게 신호로 해석할 수 있는지, 그리고 2D 정현파(sinusoidal wave) e^{j2π(ux/W+vy/H)}가 도대체 어떤 모습일지 아마도 의아해할 수 있다. 첫째, 이미지를 신호로 해석하는 문제는 x 또는 y축을 시간축으로 놓고 좌표의 변화에 따라 변하는 이미지 픽셀의 밝기 변화를 신호로 생각하면 쉽게 이해할 수 있다. 다음으로, 2D에서 정의되는 정현파(sinusoidal wave)의 모습은 아래 그림과 같이 모든 방향으로의 단면이 sinusoidal이 되는 물결 형태의 파동을 생각하면 된다.

그림 2. 2D에서의 sinusoidal wave

앞서 그림 1의 1D 푸리에 변환의 경우와 유사하게 생각해 보면, 이미지에 대한 푸리에 변환(Fourier transform)은 그림 2와 같은 형태의 다양한 2D 정현파들의 합으로 이미지를 분해하여 표현하는 것으로 이해할 수 있다.

이미지에 대한 푸리에 변환(Fourier transform)에서 한 가지 주의해야 할 것은 푸리에 변환의 계수 F(u, v)가 e^j2π(ux+vy)의 계수가 아니라 e^{j2π(ux/W+vy/H)}의 계수라는 점이다. 즉, 이산 푸리에 변환에서 F(u, v)는 주파수 u, v 성분이 아니라 주파수 u/W, v/H 성분에 대한 계수를 나타낸다.

☞ 바로 이 부분이 개인적으로 푸리에 변환에 대해서 혼동스러웠던 부분 중 하나이다. W x H 이미지의 푸리에 변환에서 F(u, v)는 주파수 u, v의 성분이 아니라 주파수 u/W, v/H 성분이다. 따라서, 주파수 공간에서 특정 F(u, v) 값이 높게 나타났다면 원래의 이미지 공간에서는 x축 방향으로 주기가 W/u 픽셀, y축 방향 주기가 H/v 픽셀인 주기성 성분이 존재한다는 의미가 된다.

참고로, 1차원에서의 함수 f(x), x = 0, 1, 2, ..., W-1에 대한 이산 푸리에 변환(discrete Fourier transform)은 다음과 같이 정의된다.

 --- (9)

 --- (10)

☞ 1차원 이산 푸리에 변환(discrete Fourier transform)식은 실제 푸리에 변환을 컴퓨터로 구현하는데 있어서 가장 기본이 되는 식이다. 왜냐하면 파동과 같은 연속 신호라 할지라도 실제 분석에 있어서는 샘플링된 이산 데이터를 이용해야 하고 2차원 푸리에 변환에 대한 구현도 내부적으로는 1차원 푸리에 변환을 이용하여 구현되기 때문이다.

4. 푸리에 스펙트럼(spectrum)과 페이즈(phase)

이제 실제로 푸리에 변환(Fourier transform)을 통해 얻어지는 F(u, v) 값들이 어떤 의미를 가지며 어떤 형태(visualization)를 갖는지 살펴보자.

푸리에 변환을 통해 얻어지는 F(u, v)는 복소수(complex number)이며 실수부(Real)와 허수부(Imaginary)로 구성된다 (1차원 푸리에 변환의 경우도 마찬가지이다).

 --- (11)

이 때, 복소수 F(u, v)의 크기 |F(u, v)|를 푸리에 변환의 spectrum(스펙트럼) 또는 magnitude라고 부르고, F(u, v)의 각도 Φ를 phase(페이즈) angle 또는 phase spectrum이라고 부른다.

 --- (12)

 --- (13)

A. 푸리에 스펙트럼(Fourier spectrum)

먼저, 푸리에 스펙트럼(Fourier spectrum)에 대해 살펴보자. 푸리에 스펙트럼은 해당 주파수 성분이 원 신호(이미지)에 얼마나 강하게 포함되어 있는지를 나타낸다. W x H 이미지를 푸리에 변환(Fourier transform)하면 식 (7), (8)에 의해 W x H의 F(u, v), u = 0, ..., W-1, v = 0, ..., H-1 가 얻어진다. 따라서, |F(u, v)|를 픽셀값으로 잡으면 아래 예와 같이 푸리에 스펙트럼을 원본 이미지와 동일한 크기의 이미지로 시각화할 수 있다.

그림 3. 푸리에 스펙트럼(spectrum)과 좌표계

(a) 입력 이미지, (b) 푸리에 스펙트럼, (c) shifted 스펙트럼

푸리에 스펙트럼(Fourier spectrum)을 이미지로 시각화하는 데에는 2가지 문제점이 있다. 먼저, 푸리에 스펙트럼은 저주파 영역은 매우 큰 값을 갖는 반면에 대부분의 다른 영역은 0에 가까운 값을 갖는다. 따라서 푸리에 스펙트럼을 그대로 이미지로 시각화하면 검은 바탕 위에 흰점 하나만 존재하는 형태가 된다. 이러한 문제를 해결하기 위해서 스펙트럼을 이미지로 표현할 때에는 그림 3(b)처럼 스펙트럼에 log를 취하는 것이 일반적이다. 다음으로, 원래의 스펙트럼 이미지는 그림 3(b)처럼 모서리로 갈수록 값이 높아지기 때문에 스펙트럼의 형태를 파악하기 힘들다. 따라서 이러한 문제를 해결하기 위해 그림 3(c)처럼 원점이 중심(center)에 오도록 스펙트럼의 위치를 이동시킨(shift) 형태의 이미지를 사용하는 것이 일반적이다 (아래 ☞설명 참조). 앞으로 푸리에 스펙트럼 이미지라 하면 그림 3(c)와 같은 shifted 스펙트럼 이미지를 생각하면 된다.

☞ 그림 3(c)와 같은 shift가 가능한 이유는 푸리에 스펙트럼이 원점대칭인 주기함수이기 때문이다. 사실 식 (9), (10)로 주어지는 이산 푸리에 변환(discrete Fourier transform)식은 f(x)가 주기함수일 때에만 성립하는 식이다. 원래의 입력신호 f(x)는 x = 0, 1, ..., W-1의 유한 구간에서 정의된 함수이다. 우리가 관심있는 부분은 0 ~ W-1 구간에서의 특성이므로 그 외의 구간에 대해서는 함수를 어떻게 정의해도 무방하다. 따라서, 푸리에 변환 적용을 위해 이 함수를 확장하여 f(x + W) = f(x)인 주기함수(0 ~ W-1에서의 함수값이 다른 구간에서도 계속 반복)로 가정하고 식을 세운 것이 식 (9), (10)이다. 이 때, F(u) 또한 f(x)와 동일한 주기(W)의 주기함수가 된다. 즉. F(u) = F(u + W). 또한 식 (10)에서 |F(u)| = |F(-u)|임도 쉽게 알 수 있다. 즉, 이산 푸리에 스펙트럼은 원점대칭이면서 W를 주기로 하는 주기함수 형태임을 알 수 있다. 2차원의 경우도 마찬가지이며 F(u, v) = F(u + W, v) = F(u, v+ H) = F(u + W, v + h), |F(u, v)| = |F(-u, -v)|인 주기함수가 된다. 그리고 이러한 원점 대칭성과 주기성으로 인해 스펙트럼 이미지를 그림 3(c)와 같이 shift하여 표현하는 것이 가능해진다.

shifted 스펙트럼을 이해하기 위해 한 예로 아래 그림 4의 왼쪽과 같은 형태의 스펙트럼 신호를 생각해 보자. 그런데 만일 스펙트럼이 원점대칭이고 W를 주기로 반복된다면 푸리에 스펙트럼은 오른쪽과 같은 형태가 될 수밖에 없음을 알 수 있다. 원래의 푸리에 스펙트럼의 형태는 구간 0 ~ W의 형태(그림 3b)이지만 (어차피 정보가 반복되기 때문에) 이를 구간 -W/2 ~ W/2 형태(그림 3c)로 shift하여 표현한 것이 shifted 스펙트럼이다.

그림 4. 푸리에 스펙트럼의 주기 특징

B. 푸리에 스펙트럼의 해석

앞서 푸리에 스펙트럼(Fourier spectrum)은 해당되는 주파수 성분의 강도를 나타난다고 했는데, 정말 그런지 그리고 이 값이 이미지 도메인에서 어떻게 해석될 수 있는지 실제 예를 통해서 살펴보자.

아래 예는 이미지에 인위적으로 주기성분을 추가하였을 때 주파수 공간에서의 푸리에 스펙트럼이 어떻게 변하는지를 보여준다. 원본 이미지의 해상도는 205 × 205 픽셀이며(W = 205, H = 205) 따라서 스펙트럼 이미지도 205 x 205 해상도를 갖는다.

그림 5. 주기성분 추가에 따른 푸리에 스펙트럼의 변화

먼저, 그림 5(a)는 원본 이미지 및 대응되는 푸리에 스펙트럼 이미지를 보여준다. 그림의 예와 같이 일반적인 푸리에 스펙트럼 이미지는 원점 F(0, 0) 주변의 저주파 영역에서 강한 피크(peak)가 나타나고 원점에서 멀어질수록 즉, 고주파 영역으로 갈수록 값이 급격히 작아지는 형태를 갖는다.

그림 5(b)는 (a)의 이미지에 5 픽셀(pixel) 간격의 수평선을 인위적으로 추가한 경우이다. 그러면 주파수 공간에서는 그림과 같이 F(0, 41), F(0,82)에 강한 피크(peak)가 나타난다. 앞서 이산 푸리에 변환에서 F(u, v)는 x축 주기 W/u 픽셀, y축 주기 H/v 픽셀인 주기성분의 계수라 했다. 그러면, F(0, 41)은 주기가 x축 방향 205/0 = ∞, y축 방향 205/41 = 5 픽셀인 주기성분에 대응된다. 그리고 이것은 그림 5(b)를 만들 때 사용한 수평선의 주기(세로방향 5픽셀)와 정확히 일치한다.

☞ F(0, 82)에도 피크(peak)가 나타나는 것은 y축 방향으로 205/82 = 2.5 픽셀 간격의 주기 성분이 입력 이미지에 있다는 의미이다. 이는 이미지에 추가한 수평선이 정현파(sinusoidal wave)가 아니라 계단 형태이기 때문에 5 픽셀 주기의 정현파와 2.5 픽셀 주기의 정현파를 합쳐서 그러한 계단 형태를 근사했기 때문이다.

다음으로, 이번에는 그림 5(c)와 같이 대각선 방향의 정현파를 (a)의 이미지에 추가해 보자. 추가한 정현파는 x축 방향 주기 20 pixel, y축 방향 주기 10 픽셀인 2D sin 함수를 이용했다. 이 때, 푸리에 스펙트럼에는 F(10, 20.5)에 강한 피크(peak)가 생성됨을 확인할 수 있다. 즉, x축 방향으로는 W/u = 205/10 = 20.5 픽셀, y축 방향으로는 H/v = 205/20.5 = 10 픽셀의 주기 성분이 입력 이미지에 있음을 의미한다. 그리고 이는 실제 입력 이미지에 추가된 주기 성분과 정확히 일치한다 (소수점 오차는 u, v좌표를 정수로 표현함에 의한 것이다).

이상으로 주파수 공간에서의 F(u, v)가 입력 이미지 공간에서 어떻게 연관되어 해석될 수 있는지를 실제 예를 통해서 살펴보았다. 마지막으로 앞서 그림 5(b), (c)에서 스펙트럼의 피크(peak) 영역을 지운 후 푸리에 역변환(inverse Fourier transform)하면 아래와 같은 재미있는 결과를 얻을 수 있다 (지운다는 의미는 해당되는 F(u, v) 값들을 0으로 만든다는 의미이다).

그림 6. 푸리에 변환을 이용한 주기 성분 제거

☞ [개발한 것들] - FFT와 모아레 제거 프로그램을 이용하면 이미지의 푸리에 변환, 특정 스펙트럼 삭제 및 역변환을 직접 테스트해 볼 수 있다.

C. 푸리에 변환의 페이즈(phase)

푸리에 변환(Fourier transform)에서 스펙트럼(spectrum)은 잘 알려진 반면 페이즈(phase)는 상대적으로 잘 알려져 있지 않다. 하지만 페이즈(phase)에도 스펙트럼(spectrum) 못지 않은 중요한 정보가 담겨 있다고 한다.

페이즈(phase)를 우리말로 번역하면 '단계'가 되고 전문용어로는 '위상'이 된다. 위키피디아에는페이즈(phase, 위상)를 '반복되는 파형의 한 주기에서 첫 시작점의 각도 혹은 어느 한 순간의 위치'라고 정의한다. 즉, 파형(wave)의 시점이 어디인지가 페이즈(phase)이다. 예를 들어, sin 파와 cos 파는 90도의 페이즈(phase, 위상) 차이가 존재하는 동일한 파형으로 볼 수 있다.

푸리에 변환의 관점에서 보면 페이즈(phase)는 원본 신호를 주기 신호로 분해했을 때 각 주기성분의 시점이 어딘인지(즉, 각 주기성분들이 어떻게 줄을 맞춰서 원본 신호를 생성했는지)를 나타내는 요소가 된다.

아래 그림은 페이즈(phase)의 영향을 보여주는 예로서 파란색 주기성분 신호들을 합쳐서 빨간색 신호가 생성되는 예를 보여준다. 왼쪽, 오른쪽 경우 모두 동일한 주파수의 주기성분들을 합쳤지만 각 성분의 페이즈(phase) 차이로 인하여 전혀 다른 신호가 생성됨을 확인할 수 있다.

그림 7. 페이즈(phase) 차이에 따른 신호 생성의 차이

다음으로 푸리에 변환의 페이즈(phase)가 어떻게 수식으로 표현되는지 살펴보자. (1차원) 푸리에 변환의 계수 F(u)는 식 (12), (13) 및 오일러 공식에 의해 다음과 같이 극좌표(polar coordinate) 형태로 표현될 수 있다 (설명의 편의상 1차원의 경우를 예로 든다).

 --- (14)

☞ 실수축이 x축, 허수축이 y축인 복소평면에서 F(u)는 x축과 이루는 각이 Φ인 막대기의 끝점 (R, I)에 대응된다. 이 때, R = |F|cosΦ, I = |F|sinΦ이므로 F = |F|cosΦ + j|F|sinΦ = |F|e^jΦ.

이제 식 (14)를 식 (1)에 대입하면,

. --- (15)

와 같이 페이즈(phase) 텀이 주기함수 성분의 시점을 조절하는 텀이 된다.

즉, 푸리에 계수 F(u)에는 대응되는 주기함수 성분의 강도(amplitude)를 나타내는 스펙트럼 정보 |F(u)|와 시점을 조절하는 페이즈(phase) 정보 Φ(u)가 함께 포함되어 있음을 알 수 있다.

참고로, 푸리에 스펙트럼(spectrum)과 페이즈(phase)에 관한 재미있는 비교 결과를 하나 소개한다. 아래 그림 8에서 (a)는 원본 이미지, (b)는 푸리에 스펙트럼을 보존하고 페이즈(phase)를 랜덤(random)하게 했을 때의 역변환 결과, (c)는 페이즈(phase)를 보존하고 스펙트럼을 랜덤하게 했을 때의 역변환 결과이다. 결과를 보면 이미지의 푸리에 변환에서 스펙트럼(spectrum)보다 페이즈(phase)에 보다 더 중요한 정보가 포함되어 있음을 확인할 수 있다.

그림 8. 푸리에 스펙트럼과 페이즈의 중요도 비교

5. 푸리에 변환의 유용한 성질들

마지막으로 푸리에 변환(Fourier transform)에 대한 몇 가지 유용한 성질들을 정리하면 다음과 같다.

- 주파수 공간의 원점 F(0, 0)의 값은 이미지의 평균값과 일치

- Impulse 함수(Dirac delta 함수)에 대한 푸리에 변환/역변환은 유니폼(uniform) 함수 (아래 식에서 푸리에 변환/역변환 관계를 ⇔ 로 표기).

- 가우시언(Gaussian) 함수의 푸리에 변환/역변환은 가우시언 함수가 됨

6. 맺음말

이상으로 푸리에 변환(Fourier transform)에 대한 정리를 마칩니다. 원래는 이렇게까지 길게 쓸 생각은 아니없는데 쓰다 보니 글이 길어졌네요.. ^^

참고자료 및 유용한 관련 글 링크

푸리에 변환 by jipark

푸리에 급수의 시작 by 전파거북이

푸리에 변환 by 전파거북이

페이저(phasor) by AngeloYeo

허수의 존재 의미에 대하여 by AngeloYeo

Magnitude and Phase by Deepa Kundur (토론토 대학)

What information is contained in the phase spectrum of a signal?

by 다크 프로그래머

얼마 전 YOLO를 다운받아서 돌려보았다. 그동안 말로만 들어왔던 딥러닝 기술을 실제로 돌려본 건 처음이다.

YOLO를 돌려본 느낌은 멋지다이다. 그리고 yolo와 darknet을 만든 Joseph Redmon이란 사람도 멋있다는 생각이 든다. 사실 이 분야에 있다보니 그동안 딥러닝에 대한 것은 많이 보고 들어 왔다. 하지만, 그것을 자신이 직접 돌려 본 느낌은 또 다른 것 같다.

이 분야에 있는 사람들은 YOLO가 무엇인지는 대부분 다 알 것이다. 이 글에서는 YOLO와 딥러닝에 대한 이런 저런 생각, 그리고 YOLO를 윈도우(window)에서 빌드하고 실행시키는 방법을 소개한다.

1. YOLO (you only look once)

2. YOLO 윈도우즈(windows) 빌드

3. YOLO의 실행

4. 딥러닝에 대한 잡담

1. YOLO (you only look once)

YOLO의 원래 의미는 you only live once이다. 한번뿐인 인생 마음 가는데로 살자는 말이다. 하지만 여기서 말하는 YOLO(욜로)는 you only look once이다. 한 번만 본다... YOLO가 무엇인지 그리고 무슨 의미인지는 YOLO의 개발자 Joseph Redmon이 최근(2017년 4월) TED에서 발표한 내용에 잘 나타나 있다.

YOLO는 무공으로 치면 사파에 해당된다. 즉, 남들이 일반적으로 따르는 정통 주류의 방법론을 따르지 않고 자신의 독자적인 무공 체계를 세워 왔다. 그리고 최근 주류의 정점에 있는 CVPR 2017에서 Best Paper Honorable Mention 상을 수상하였다.

YOLO를 실행시키기 위해서는 Darknet이 필요하다. Darknet은 Joseph Redmon이 독자적으로 개발한 신경망 프레임워크(neural network framework)로서 dnn(deep neural network)들을 학습시키고 실행시킬 수 있는 틀(framework)이다. 그리고 yolo는 학습된 신경망(결과물) 중 하나이다. Darknet을 이용하면 yolo 뿐만 아니라 AlexNet, VGG-16, Resnet, Densenet 등 기존의 정통 주류의 dnn(deep neural network)들도 돌려 볼 수 있다.

일단, 나는 '다크넷'이란 용어가 맘에 든다. 내 블로그 필명과도 유사하고 정파가 아닌 사파라는 점도 마음에 든다. Darknet은 부정적인 의미(법망에서 벗어난 어둠의 인터넷 환경)도 있지만 구속되지 않음으로 인해 자유로움이 가능한 공간으로 해석될 수도 있다. 일반적으로 보기 힘든 Joseph Redmon의 독특한 이력서(resume)도 매우 인상적이다 (관심있는 분은 이력서 링크를 한번 클릭해 보시길.. ^^).

Darknet과 yolo는 그 코드가 모두 공개되어 있으며 누구라도 사용할 수 있다.

• Darknet & YOLO 사이트: https://pjreddie.com/darknet/

2. YOLO 윈도우즈(windows) 빌드

나는 리눅스(Linux) 환경과는 별로 친하지 않다. 그래서 번거롭지만 윈도우즈(windows)에서 돌릴 수 있는 버전을 찾아서 작업을 하였다.

YOLO 윈도우즈 버전은 구글에서 검색해 보면 어렵지 않게 찾을 수 있다.

• YOLO 윈도우 버전: https://github.com/AlexeyAB/darknet/
• YOLO 원본 사이트: https://pjreddie.com/darknet/yolo/

첫 번째 사이트(AlexeyAB)에 가면 YOLO 윈도우 버전을 다운받을 수 있다. 또한 설치, 컴파일, 실행 방법까지 상세하게 설명되어 있다. 따라서 설명만 따르면 어렵지 않게 빌드 및 테스트가 가능하다.

사이트에 잘 설명되어 있긴 하지만 그래도 간단히 그 과정을 적어보면 다음과 같다.

1. 사이트에서 소스코드를 다운받는다 (git clone 또는 zip 다운로드)
2. NVIDIA 계열의 그래픽카드(GPU)가 컴퓨터에 있어야 한다 (그래픽 메모리 4GB 이상 권장). NVIDIA 그래픽카드가 없어도 CPU 버전으로 빌드 및 실행은 가능하다. 하지만 매우 매우 느리다.
3. CUDA 8.0 설치: https://developer.nvidia.com/cuda-downloads (그래픽카드가 없는 경우에는 설치할 필요가 없다)
4. 다운받은 소스에서 visual studio 프로젝트 파일(*.sIn)을 찾아서 실행시킨다. 끝.

다운받은 소스에 보면 여러 가지 설정의 Visual Studio (VS) 프로젝트 파일들이 제공된다. 나는 이 중에서 yolo_cpp_dll 버전으로 빌드 및 테스트를 했다. yolo를 dll 라이브러리로 만들어 놓으면 다른 윈도우즈 프로그램에서도 자유롭게 사용할 수 있기 때문이다.

다만, 한 가지 문제는 사이트에서 제공하는 프로젝트 파일은 Visual Studio 2015 용이기 때문에 그 이전버전의 Visual Studio(VS 2013 등)에서는 사용이 안된다는 점이다.

한 가지 해결법은 다음과 같다. (1) 먼저, *.sIn 파일을 삭제한다. (2) 이후 *.vcxproj 파일을 메모장으로 열어서 프로젝트의 버전을 자신의 VS에 맞게 수정해 준다. (3) 이후 수정된 *.vcxproj를 클릭하여 프로젝트를 연다 (프로젝트를 저장하면 *.sIn 파일이 자신의 버전에 맞게 자동 생성된다).

예를 들어, 자신이 사용하는 버전이 Visual Studio 2013라면 14.0은 12.0으로 v140은 v120으로 변경해 주면 된다.

3. YOLO의 실행

yolo를 실행시키기 위해서는 darknet에서 yolo의 cfg 파일과 weights 파일을 불러와야 한다. cfg 파일은 신경망의 구조(layer 개수, 입력 데이터의 차원 등)를 명시한 파일이고 weights 파일은 실제로 학습된 신경망의 weight 값들을 저장한 것이다.

yolo 사이트에서는 아래와 같이 다양한 버전의 미리 학습된 yolo 신경망(cfg & weights 파일)들을 제공한다. 이들 중 원하는 버전을 다운받은 후 darknet에 넣고 실행하면 된다. 자세한 실행법은 yolo 사이트의 설명문서 참조.

참고로, VOC 2007+2012 데이터에 대해 학습시킨 yolo는 20개의 물체 클래스에 대해 학습시킨 버전이고 COCO 데이터로 학습한 것은 80개의 물체 클래스에 대해 학습한 것이다. 따라서, 일반적인 목적으로는 위 그림에서 표기한 YOLOv2 608x608 버전을 다운받는 것이 무난하다. Tiny 버전은 용량도 작고 속도도 빠르지만 성능은 그다지 좋지 않다. 또한 최근에 공개된 yolo9000 모델(http://pjreddie.com/media/files/yolo9000.weights)도 한번 테스트해 봄직하다 (9000개의 물체 클래스에 대해 학습된 버전이며 cfg 파일은 git에서 다운받을 수 있다: https://github.com/pjreddie/darknet/blob/master/cfg/yolo9000.cfg).

YOLOv2 608x608의 실행 속도는 데스크탑에서 직접 돌려보니 GPU(GTX 1080)를 사용했을 때에는 35 fps, GPU 없이 CPU(i7-6700k)만으로 돌렸을 때에는 0.3 fps가 나왔다. 새삼 GPU의 위력을 실감할 수 있다..

4. 딥러닝에 대한 잡담

요즘 어딜 가나 딥러닝이다. 딥러닝이 나온 게 불과 몇년 전인데, 그동안 딥러닝으로 인한 변화는 엄청나다. 우리는 그 변화의 한가운데에 서 있으며 그 변화의 끝이 어디일지 두렵기까지 하다.

나는 사실 딥러닝에 대해서는 잘 모른다. 옛날 학생 때 인공신경망(artificial neural network)을 몇 번 학습시켜 본 것이 다이다. 그래도 몇 년 동안 이래 저래 줏어듣다 보니 몇 가지 기본적인 개념 정도는 이해하고 있는 수준이다.

요즘 사람들을 보면 모든 관심이 딥러닝에 모여지는 것 같다. 지식의 블랙홀 같기도 하고.. 그러한 변화를 따라가고 있는 사람들을 보면 대단하다는 생각도 들고 또 한편으로 우려도 된다.

딥러닝은 학생들이나 입문자들에게는 좋은 기회이다. 딥러닝의 뛰어난 성능은 수십년 동안 쌓아온 전통적인 지식 체계를 무색하게 하고 그들과 동일 선상에 설 수 있는 기회를 준다. 딥러닝은 그 사용법만 잘 알아도 창의성과 아이디어만 있다면 좋은 결과를 낼 수 있는 것으로 보인다. 그러다 보니 수십년 동안 전통적인 지식 체계를 쌓아 온 사람과 입문자가 같은 선 상에 설 수 있는 기회를 준다.

하지만 딥러닝은 지식의 추구 관점에서는 걸림돌이 될 수도 있다. 기본을 몰라도 결과를 낼 수 있으니 굳이 힘들게 체계적인 공부를 할 필요가 없기 때문이다. 딥러닝의 사용자 입장으로만 남을 것이면 사실 큰 문제가 없다. 하지만 소위 말하는 black-box implementer로만 남지 않으려면 그 시스템 안으로 조금은 들어가 볼 필요가 있다. 그리고 시스템에 들어가기 위해서, 나아가 시스템을 바꾸기 위해서는 항상 기본이 필요하다.

나는 그동안 딥러닝에 있어서는 아웃사이더(outsider)로만 있어 왔다. 인공신경망(artificial neural network) 자체도 별로 좋아하지 않고 (입력주고 원하는 출력을 주면 지가 알아서 뭔가를 만들어 내는데, 내가 할 수 있는 일이라곤 별로 없다. 열심히 학습 버튼 눌러주고.. 컴퓨터 좀 바꿔주고.. 나의 직관력이나 이해가 끼어들 여지가 별로 없다) 또 뭔가 새로운 것을 배워야 한다는 것도 귀찮기 때문이다.

하지만 어.. 하는 사이에 세상은 너무 빠르게 변해가고 이젠 어쩔 수 없이 딥러닝을 배워야 하는 것 같다. 개인적으로는 그것들을 잘 사용해서 데이터를 모으고 실제 문제를 푸는 것이 목적은 아니다. 그냥 그 안으로 들어가서 그 원리를 조금씩 보고자 한다.

by 다크 프로그래머