매치무브(MatchMove)의 세계

영상처리 2013.09.11 21:28

매치무브(MatchMove)에 대해 아무것도 모르면서 이런 글을 쓴다는 것 자체가 어불성설이겠지만, 그래도 영상처리, 컴퓨터 비전을 하는 사람으로서 매치무브(MatchMove)가 무엇인지 개인적 호기심이 발동하여 여기저기 인터넷을 뒤져가며 글을 적게 되었습니다.


아무래도 VFX 쪽에 대해서는 전혀 모르는 상태에서 영상처리, 컴퓨터 비전 입장에서만 쓴 글이기 때문에 조금씩 틀리거나 부족한 부분이 있을 수 있습니다. 



매치무브(MatchMove)


매치무브(MatchMove)란 영화제작 과정 중 3D VFX(Visual FX, Visual effects, 시각 효과) 파이프라인(pipeline)에서 가장 중요한 작업 단계중 하나로서, 영화 씬이나 비디오로부터 이 장면을 찍은 카메라의 위치(궤적)를 복원, 추적해 내는 일을 말합니다.


그리고 매치무브(MatchMove) 작업을 하는 사람들을 매치무브 아티스트 또는 트레킹(tracking) 아티스트라고 부릅니다.


어쩌면 이 아티스트라는 호칭 때문에 더 호기심을 느낀건지도 모르겠습니다. 사실 공학쪽은 아무리 뛰어나도 아티스트라고는 하지 않기 때문에 막연한 동경 같은 것인지도 모르겠습니다.


<유투브에서 찾은 MatchMove 동영상>


VFX는 현대 영화에서 빼놓을 수 없는 요소이며 해리포터, 라이프 오브 파이, 엑스맨, 도둑들, 국가대표 등 대부분의 영화에 3D VFX가 들어갑니다.


VFX는 결국 실사 영상에 실제로는 없는 가상의 캐릭터, 사물, 또는 배경을 삽입하여 마치 실사 영상과 동일한 영상물을 창조해 내는 것이라 볼 수 있으며, 매치무브(Matchmove)-모델링(Modeling)-텍스처(Texture)-애니메이션(Animation)-크리처(Creature)-라이팅(Lighting)-렌더링(Rendering)-컴포지팅(Compositing)-VFX편집 등의 일련의 파이프라인을 거쳐 작업이 진행된다고 합니다.


이러한 실사 영상에 가상의 모델이 자연스럽게 녹아들도록 합성(composite)하기 위해서는 먼저 실사 영상을 촬영했던 카메라를 3차원 세계에서 다시 그대로 창조해 내야 하는데 이러한 작업이 매치무브(MatchMove)입니다.


즉, 매치무브는 일련의 실사 영상으로부터 촬영당시 사용된 카메라의 3D 시점, 줌, 내부 파라미터, 왜곡 등 카메라에 대한 모든 것을 복원, 추적해 내는 작업이라고 볼 수 있습니다.


실제로 매치무브 아티스트들은 마야라이브, 매치무버, PFTrack, 3D 이퀄라이저, boujou 등의 다양한 3D 소프트웨어 툴들을 이용하여 이러한 복원, 추적 작업을 해낸다고 합니다.



매치무브(MatchMove) & 3D 비전 기술



비디오로부터 3D 카메라를 복원해내기 위한 가장 기본적인 단계는 연속된 이미지들 사이의 2D 매칭을 통한 포인트 tracking 입니다.


이론상으로, 동일한(또는 overlap되는) 장면에 대한 서로 다른 두 시점에서의 영상이 있고 이 두 이미지 사이의 매칭 쌍들을 알면 카메라와 매칭 점들 사이의 3D geometry 관계를 복원할 수 있습니다.


여기서 3D 관계를 복원한다는 의미는 두 장의 매칭되는 2D 이미지로부터 원래의 3D 공간을 재구성할 수 있으며 또한 복원된 3D 공간에서의 카메라의 3D 시점(3차원 위치 및 방향)을 알아낼 수 있다는 의미입니다 (단, 복원된 공간의 스케일은 알지 못합니다). 이와 같이 비전에서 매칭되는 두 영상 사이의 기하 관계를 다루는 것을 epipolar geometry라고 하는데, 이에 대한 간략한 소개는 http://darkpgmr.tistory.com/83 글을 참조하시기 바랍니다.


전통적으로 컴퓨터 비전 분야에서는 비디오 영상으로부터 3D 공간 및 카메라 시점을 복원하는 연구는 mono SLAM (여기서 mono의 의미는 단일 카메라라는 의미임)을 통해 이루어져 왔는데, 영국 임페리얼 칼리지의 Andrew Davison 이 이 분야의 대표적인 연구자입니다 (홈페이지: http://www.doc.ic.ac.uk/~ajd/, 논문: "MonoSLAM: Real-Time Single Camera SLAM", PAMI 2007).


<그림> mono SLAM


또한 영국 옥스포드 대학의 Active Vision Group 에서는 2007년도에 이 분야의 프레임을 바꿀 수 있는 PTAM (Parallel Tracking And Mapping) 이라는 기술을 발표하였는데, PTAM이 나온 뒤로 기존의 Visual SLAM(Simultaneous Localization And Mapping)에 대한 연구 흐름이 크게 바뀌게 되었습니다.


PTAM을 이용하면 손으로 들고 찍은 단일 카메라 영상으로부터 3D 공간이 구축되면서 상대적인 카메라의 3D 시점이 복원되며, 매끄러운 증강현실(Augmented Reality)이 가능할 정도의 성능을 자랑합니다 (PTAM에 대한 내용은 나중에 기회가 되면 별도로 포스팅할 예정입니다) => PTAM(Parallel Tracking and Mapping)과 PTAMM



<PTAM 데모 동영상>


위 유투브 동영상을 보면, 컴퓨터 비전 분야에서의 PTAM 기술이 결국 VFX에서 매치무브(MatchMove)를 통해 하고자 하는 것과 거의 유사함을 알 수 있을 것입니다.


이런 관점에서 보면 매치무브에 사용되는 상용 3D 소프트웨어 툴들도 결국 기본적으로는 컴퓨터 비전 그룹에서 하는 visual tracking 기술, 3D mapping, structure from motion 기술 등을 기반으로 함을 알 수 있습니다.


마지막으로 공학쪽에서의 역할은 그러한 소프트웨어를 잘 만드는 것일 터인데, 그러한 소프트웨어를 활용하는 매치무브 아티스트에게 있는 공학 이상의 것은 어떤 것일까에 대한 호기심은 여전히 남습니다.


또한 3D 비전을 전공한 사람이 매치무브 아티스트로서의 길을 가는게 가능한지에 대한 것도 궁금증으로 남습니다.


☞ 예전에 한 현직 매치무브 아티스트분으로부터 이메일(그냥 블로그 잘 보고 있다는 간단한 인사말 정도의 내용)을 받은 적이 있었는데, 그 뒤로 죽 관심을 가지고 있다가 문득 생각이 나서 관련 글을 작성해 보았습니다.


by 다크 프로그래머


  • a 2013.09.11 22:23 신고 ADDR 수정/삭제 답글

    매번 필독&정독 하고 있어요.ㅋ

  • 수제자 2013.09.26 12:00 신고 ADDR 수정/삭제 답글

    한동안 일이 바빠 들러지 못하다가.. 오늘에야 와서 인사드리네요..
    항상 좋은 글 감사하게 잘 보고 있습니다. ^^

    • BlogIcon 다크pgmr 2013.09.26 13:48 신고 수정/삭제

      안녕하세요, 수제자(?)님. 그동안 잘 지내셨는지요?
      추석도 지나고 벌써 가을입니다.
      놀러다니기도 좋고 무언가 집중해서 하기도 좋은 계절이네요.

  • 이제희 2015.04.14 15:42 신고 ADDR 수정/삭제 답글

    아 헷갈리던 부분을 여기와서 보고갑니다~ 감사합니다1

  • 2015.08.16 13:30 ADDR 수정/삭제 답글

    비밀댓글입니다

    • BlogIcon 다크pgmr 2015.08.17 08:13 신고 수정/삭제

      사람이 발전한다는 것은 참 좋은 일이라고 생각합니다. 덕분에 저도 분발해야겠다는 생각이 듭니다 ^^ 그리고 이렇게 현장의 생생한 이야기를 듣게 되어서 감사합니다. 덕분에 많이 배웠습니다.

    • BlogIcon 다크pgmr 2016.10.05 07:24 신고 수정/삭제

      안녕하세요. 잘 지내시는지요? 갑자기 기회가 되서 달아주신 댓글을 다시 읽어보게 되었습니다. 글 감사합니다. 글도 참 잘 쓰시고 이 글만 잘 외워도 어디가서 풍월은 읊을 수 있겠다는 생각이 듭니다 ^^. 아티스트의 감성은 아직도 미지수지만 말씀하신 프로그래머의 차가운 감성은 잘 이해가 갑니다. 그리고 저도 연구개발을 하는 사람으로서 인하우스툴에 대한 내용은 인상적이었습니다. 저도 기회가 된다면 한번 뵙고 싶다는 마음이 듭니다. 건강하세요.

  • 가을 2016.03.04 10:12 신고 ADDR 수정/삭제 답글

    안녕하세요. 3D애니메이션 전공으로 VFX를 느즈막하게 배우고있어요. vfx에대해 잘 몰라서 우왕자왕했는데, 이글 뿐만 아니라 여러 글들을 보니 정리가 잘 되는것 같습니다.
    좋은 글 많이 남겨주셔서 감사합니다. 덕택에 혼자 공부하는데 많이 힘들지 않게 배울것 같아요^^

    • BlogIcon 다크pgmr 2016.03.04 12:56 신고 수정/삭제

      네 감사합니다. 그리고 파이팅하시길 바랍니다 ^^!

  • Mamove 2016.10.04 20:06 신고 ADDR 수정/삭제 답글

    매일 매치무브일을 하고있는 현직 작업자입니다 :)
    블로그에 주옥같은 글들이 넘쳐나네요ㅎ 좋은 자료들 공유해주셔서 너무 감사합니다! 일때문에 Radial distortion 관련된 자료들 찾다가 우연히 들어오게 됐는데, 잭팟을 터트린 기분이네요 ㅋ

    • BlogIcon 다크pgmr 2016.10.05 06:54 신고 수정/삭제

      네 반갑습니다. 현직에 계시는 분들이 들르신다니 기분이 좋습니다 ^^. 조금이라도 도움이 될 수 있기를 바랍니다.

  • ㅇㄹ 2017.01.05 22:39 신고 ADDR 수정/삭제 답글

    글이 참 좋네요 왠만해서는 댓글 안남기는 눈팅족인데 글이 참 도움이 많이되어서 응원하고싶어 남깁니다. 새해 복 많이 받으세요~

    • BlogIcon 다크pgmr 2017.01.06 09:43 신고 수정/삭제

      감사합니다. 힘이나네요. 새해 복 많이 받으세요.

  • 2018.04.13 07:41 ADDR 수정/삭제 답글

    비밀댓글입니다

    • BlogIcon 다크pgmr 2018.04.13 09:14 신고 수정/삭제

      네 반갑습니다. 또 가끔 들르셨다니 좋습니다. 블로그 처음 개설했을 때가 5년 전인데 저도 감회가 새롭습니다.