색의 항상성(Color Constancy)의 이해

영상처리 2017. 4. 26. 10:08

개인적으로 색의 항상성(color constancy)에 관심을 갖게 된 이유는 영상 추적(tracking)과 관련이 있다.


영상에서 물체를 추적하는 가장 기본적인 방법은 물체의 색상(color)을 추적하는 것이다. 즉, 빨간색 옷을 입은 사람을 추적하기 위해서 영상에서 빨간색 영역을 찾아서 추적하는 방식이다.


그런데 막상 영상 추적 기술을 컴퓨터로 구현하면 잘 하지 못하는 경우가 많다. 중간에 추적하던 물체를 잃어버리고 엉뚱한 물체를 추적하는 경우가 종종 발생한다. 반면에 인간은 주변 환경에 바뀌더라도 (그래서 실제 물체의 색이 바뀌더라도) 물체 본연의 색을 잘 구분하고 인지해 낸다.


이러한 차이는 어디서 오는 걸까?


그건 컴퓨터는 색을 곧이 곧대로 입력된 정보로만 해석하는 반면 인간은 입력된 색을 넘어 물체 본연의 색을 복원하여 인지하기 때문이다. 영상에서 물체의 색은 주변 환경(햇빛, 그늘, 조명 등)에 따라 시시각각 변한다. 따라서 유사한 색상만 추적하도록 프로그래밍된 컴퓨터로서는 그 변화를 따라가기가 쉽지 않다. 하지만 인간은 인간의 대표적 착시현상인 "색의 항상성(color constancy)" 기저로 인해 이러한 변화를 상쇄시키는 능력을 가지고 있다.


인간의 색 항상성(color constancy) 기저가 무엇인지에 대해서는 잘 알려져 있다. 하지만 이 글에서는 이 기저를 좀더 기계적(수학적, 수치적?)으로 분석해 보고자 한다.



색(color)의 형성


물체는 물체마다 고유의 색(color)이 있다. 잘 익은 사과는 붉은색이고 나뭇잎은 초록색이다. 그리고 사과의 과육은 흰색이며 씨앗은 짙은 갈색이다.


그림 1. 사과


그런데 이 색은 어떻게 결정되는 것일까? 일반적으로 물체의 색이 형성되는 것은 흔히 광원(햇빛, 조명 등), 물체의 재질, 그리고 인간의 시각인지 3가지 요소의 상호작용의 결과라고 알려져 있다.


우리가 흔히 보는 햇빛은 색이 없는 것처럼 보이지만 햇빛에는 적외선, 자외선, 가시광선, X선, 감마선, 등등 모든 파장대의 빛이 포함되어 있다. 햇빛을 프리즘을 통해서 보면 무지개빛이 나타나는게 그 한 예이다. 이 태양빛이 물체에 도달하면 물체의 재질에 따라서 어떤 파장대의 빛은 흡수되고 어떤 파장대의 빛은 반사된다. 즉, 물체 고유의 반사 스펙트럼(spectrum)이 형성된다. 그리고 광원의 빛 중 물체에 흡수되지 못하고 반사되는 빛이 우리 눈에 도달하면 물체 고유의 색(color)으로 인지된다. 결국 사과가 붉게 보이는 이유는 사과가 햇빛의 가시광 성분중 붉은색 성분을 가장 잘 반사시킨다는 의미가 된다.


그렇다면 만일 광원(조명)이 오직 한 가지 파장대의 빛으로만 구성되어 있다면 어떻게 될까?


덴마크 출신의 아티스트 올라퍼 엘리아슨(Olafur Eliasson, 1967)의 작품 "Room for one colour"이 좋은 예이며 이 작품에서는 모든 빛을 차단한 채 입장객으로 하여금 오직 노란색 빛만이 존재하는 공간을 체험하게 한다.


그림 2. Room for one colour, Olafur Eliasson


색(color)의 생성 원리를 이해한다면 이 공간에서는 모든 사물들이 노란색으로만 보이게 되리라는 것을 손쉽게 예측할 수 있다.


☞ 실제로 윈도우즈의 그림판 프로그램으로 위 이미지의 픽셀값들을 찍어보면 모두 노란색 성분으로 이루어져 있음을 확인할 수 있다 (밝기차만 존재). 만일 노란색 이외의 색상이 존재하는 것처럼 느껴진다면 그건 인간의 착시 현상이 발현된 것으로 볼 수 있다.



색 항상성(color constancy)


앞서 물체의 색이 어떻게 형성되고 결정되는지 살펴보았다. 색이란 결국 빛의 스펙트럼이며 우리 눈에 들어오는 빛(색)은 광원의 빛 중 물체에 흡수되지 못하고 반사된 빛이다. 그런데 우리 인간은 이 빛을 있는 그대로 인지하지 않고 특수한 변환과정을 거쳐서 인지한다.


색 항상성(color constancy)은 주변 환경(조명)의 변화로 인해 물체의 색(color)이 변하더라도 이러한 변화를 무시하고 물체를 원래의 (고유의) 색으로 인지하는 인간의 착시 현상을 일컫는다. 예를 들어 붉은 조명이 있는 카페에 처음 들어섰을 때는 모든 것이 붉게 보이지만 조금만 시간이 지나면 붉은색을 느끼지 못하는 것과 관련된다 (실제 눈에 도달하는 빛은 붉은색이지만 인간의 뇌에서는 붉은색이 없는 것으로 인지).


아래 그림은 색 항상성(color constancy)의 대표적 예로 사용되는 Edward H. Adelson의 "Checker Shadow Illusion"이다.

그림 3. Checker shadow illusion, Edward H. Adelson


잘 믿기지는 않지만 위 그림에서 A, B 위치의 보드는 서로 동일한 색이다. 인간의 눈으로 보기에는 A가 더 어두운 색으로 보이지만 위 그림을 이미지로 저장한 후 그림판 등으로 색을 확인해 보면 A, B 두 부분이 완전히 동일한 색(밝기)임을 확인할 수 있다.


☞ A, B가 정말 같은 색인지 실제로 확인해보길 추천한다. 한 쪽을 오려서 다른 쪽에 가져다 대면 같은 색임을 확인할 수 있다.


아래 그림은 인간의 착시현상을 보여주는 또 다른 예이다 (R. Beau Lotto의 "Cross-Piece Illusion").


그림 4. Cross-Piece Illusion, R. Beau Lotto


위 그림에서 두 막대가 교차하는 지점의 색상은 왼쪽은 자주색(혹은 남색), 오른쪽은 노란색으로 보인다. 하지만 역시 두 지점의 색은 실제로는 완전히 동일한 색이다.


☞ 마찬가지로 두 지점이 동일한 색임을 직접 확인해 보도록 하자.


앞서 예로 든 착시 현상들은 모두 인간이 입력된 색상을 그대로 보지 않고 배경의 영향을 제거한 물체 본연의 색으로 복원하여 인지하기 때문이다. 그리고 이러한 인간 고유의 시각 메커니즘을 우리는 "색 항상성(color constancy)"이라 부른다.



색 항상성(color constancy)의 원리


인간의 색 항상성(color constancy) 메카니즘을 이해하기 위해 위 예시 그림들을 분석해 보자. 


먼저, 두 번째 그림 cross-piece illusion 그림에 있는 중앙 교차부분 색상값을 그림판을 이용하여 확인해 보자. 그러면 원래 색은 아래와 같이 아무런 색상도 없는 무채색(회색)임을 확인할 수 있다. 단지 주위 배경의 영향으로 인해 동일한 색이 왼쪽에서는 자주색, 오른쪽에서는 노란색으로 보일 뿐이다.


그림 5. 교차지점의 실제 픽셀 값


앞서 색 항상성(color constancy)은 배경의 영향을 제거하고 본래의 색을 복원하여 인지하는 능력이라고 했다. 이를 확인하기 위해 실제 색에서 인위적으로 배경색을 제거해 보자. 먼저 cross-piece illusion 그림의 왼쪽 부분을 살펴보면 전반적으로 노란색 배경이 존재한다. 따라서 교차 부분의 실제 색에서 노란색(빨강+녹색) 성분을 일정하게 감소시켜 보면 아래 그림과 같이 우리가 착시로 인지한 색상인 자주색이 나옴을 확인할 수 있다.


그림 6. 노란색 배경 보상


이번엔 그림에서 오른편의 파란색 배경이 있는 부분을 살펴보자. 역시 마찬가지로 중앙 교차 부분의 실제 색은 그림 5와 동일한 무채색(회색)이다. 이 색에서 배경색인 파란색 성분을 제거해 보자. 아마도 이쯤되면 눈치빠른 분들은 그 결과를 예상할 수 있을 것이다. 그러면 예상했던대로 그 결과는 아래 그림과 같이 우리가 착시로 인지한 노란색 색상이 된다.


그림 7. 파란색 배경 보상


이상의 실험 결과에서 우리는 우리 인간이 인지하는 색상은 눈에 도달한 실제 색상이 아닌 주변 배경을 보상한 색으로 인지함을 확인할 수 있다.


첫 번째 예인 checker shadow illusion도 유사한 방식으로 설명될 수 있다. 그림에서 B 영역의 주변은 원기둥의 그늘로 인해 전반적으로 어두운 배경을 갖는다. 따라서 이러한 배경의 어두움을 보상하기 위한 인간 시각 메커니즘으로 인해 B 영역은 원래의 색상보다 좀더 밝은 색으로 인지된다 (그림에서 숫자는 그림판으로 확인한 실제 픽셀 밝기값).


그림 8. checker shadow illusion의 원리



색 항상성과 착시


앞서 색 항상성은 인간의 대표적 착시 현상 중 하나라고 했다. 그런데 이게 정말 착시일까?


색 항상성 기저가 우리 눈에 들어온 빛을 그대로 보지 않고 왜곡해서 본다는 점에서는 착시로 볼 수 있다. 사물을 절대적으로 인지하지 않고 항상 상대적으로 인지하기 때문에 인간이 인지한 내용을 100% 신뢰하긴 힘들다. 그리고 항상 인지 오류의 가능성을 가지고 있다. 그러한 관점에서 인간의 눈은 믿을 수 없다라고 결론을 내릴 수도 있다.


하지만 조금만 관점을 바꾸어 보면 색 항상성은 사물의 본질을 꿰뚫어 본다는 점에서 인간의 대단한 능력 중 하나라고 볼 수 있다. 그림 4 cross-piece illusion 예에서 오른편 교차 지점은 인간에게 노란색 물체로 인지된다. 만일 그림 4가 인위적으로 만들어진 이미지가 아니라 우리가 현실 세계에서 실제로 인지한 내용이었다면 교차 지점은 실제 노란색이었을까 아니면 무채색(회색)이었을까? 당연히 노란색 물체였을 것이다. 그렇다면 노란색 물체를 노란색으로 인지한 것이 착시일까 아닐까?



인간과 컴퓨터


인간은 그림 4 cross-piece illusion 예에서 오른편 교차 지점을 노란색으로 인지한다. 하지만 컴퓨터는 입력 그대로 무채색(회색)으로 인지한다.



by 다크 프로그래머