공돌이 2015.07.24 13:28

안녕하세요, 항상 글 잘 보고 있습니다.
로테이션 matrix, T, intrinsic matrix가 곱해지는 과정에서 단위가 궁금합니다.
월드 좌표계에선 단위를 mm로 하였기에, X,Y,Z 단위가 mm라고 하면, Xc, Yc, Zc도 카메라 기준으로 한 3차원 좌표계이므로 단위가 mm일 것이라 생각하였는데, 결국 이미지의 단위는 픽셀이잖아요? intrinsic matrix의 구성 요소들도 단위가 픽셀이기에 K의 역행렬을 곱해도 단위가 픽셀일거고요.
그럼 그 단위가 환산될 수 있는 곳이 T밖에 없다고 생각합니다.
이론적으로는, 다크님이 위에 써주신 것과 같이 될 것 같은데, 실제로는 이런 것들이 T에서 반영되는건지, 아니라면 어디서 단위가 환산되는지 알고 싶습니다. 감사합니다!

맵핑 2015.08.12 02:41

안녕하세요?^^;
감사히 잘보고 갑니다.
그런데 혹시, 좌항(이미지 좌표(x,y,1))에서 곱해져있는 s 가 의미하는 바가 무엇인지요?
intrinsic parameters에 곱해지는 sx, sy 와는 다른 의미를 갖고 있을 것 같은데 가늠이 안되네요^^;;

Moonwalker 2016.01.16 19:59

안녕하세요. 궁금한 사항이 있는데요. 식(1)에서 Pc(Xc,Yc,Zc) 카메라 좌표 가 아니라 P ( X,Y,Z ) 가 되어야 3차원 임의의 점을 normalized plane에 투영하는 식이 맞지 않나요 ??

리리 2016.06.07 03:48

안녕하세요. 그래픽스를 처음 공부하는 학생입니다.
투영평면이 Zc = 0이고 투영 기준점을 (0, 0, -d)인 경우에
(Xc, Yc, 1+Zc/d) = (d*Xc/(Zc+d), d*Yc/(Zc+d) 에서
오른쪽 변이 어떻게 나오게 되는건지 궁금합니다.
그리고 일반적으로 투영행렬이라고 하는것은 투영변환행렬을 의미하는건가요?, 또 투영변환행렬은 s[u,v,1] = [1 0 0 0 1 0 0 ... 1/d 1][xc yc zc 1] 전체를 의미하는건가요? 아니면 [1 0 0 0 1 0 0 ... 1/d 1] 이부분만 의미하는건가요?? 답해주시면 정말 감사하겠습니다!!

라도파 2016.06.17 16:07

안녕하세요, 다크프로그래머님의 글을 잘 보고 있습니다. 일일이 답변도 다 달아주시고, 정말 감사하네요.
저도 한 가지 질문이 있어서 댓글을 달아봅니다.
외부 파라미터를 구하는 과정 - slovePnP와 같은 함수를 직접 만들어보고 있는데요, 입력좌표쌍의 월드좌표의 Z가 모두 0일 경우 r_13, r_23, r_33이 모두 쓸모없어지는게 아닌가 하구요. 매칭쌍 4개를 임의로 정한 뒤, 손으로 직접 풀어보기 위해 연립방정식을 전개해보면 r_13, r_23, r_33을 어떻게 알아내야 될지 모르겠습니다.

라도파 2016.06.17 16:21

질문을 올리고 다시 보니 너무 어이가 없는 질문 같아서 지우려고 했는데 패스워드를 모르네요 ㅎㅎ 너무 수준낮은 질문같아서~ 하여튼 저는 Z를 모두 1로 만들어서 어떻게든 해보려고 합니다.
그런데 호모지니어스 방법으로 변환행렬을 3x4로 싹 묶어서 한 번에 풀면 풀릴까요? 굳이 카메라의 좌표를 몰라도 되고 단지 월드->이미지 프로젝션만 하고 싶다면 나눌 필요가 없는 게 아닐까 생각중입니다... 였었는데 안 되네요. 해공간이 직선 이상으로 커져버립니다. 한 평면위에 있는 4개의 점은 무조건 안 되는 걸까요?

Zenties 2016.08.05 14:39

안녕하세요 다크프로그래머님. 작성하신 글을 감사히 잘읽었습니다. 제가 이번에 directx에 관심을 가지게 되어서 투영에 관해 정보를 찾아보고있는 찰나에 다크프로그래머님의 글을 읽게 되었습니다. 저는 '5.2 이미지투영'에 관해 좀더 전문적인 서적이나,, 정보들을 알고싶은데.. 제가 찾아본 서적은 "DirectX11을 이용한 3D 게임 프로그래밍 입문" 입니다 제가 알고자하는 정보가 이 서적에 참고할만한 내용이 맞는지 아니면 어디서 투영에 관한 정보를 얻을수있는지 알고자 댓글을 남깁니다. /// 제가 알고싶은것 -> "특정 게임 내에서 좌표와 카메라 행렬을 추출한뒤 추출한 데이터를 이용해 외부 프로그램(directx)을 이용해서 케릭터 위에 특정 데이터를 출력하는 방식." (제 댓글을 뒷받침 할수있는 내용 -> 유튜브.com/watch?v=06PpBTzVNts) (데이터 추출은 방법을 제가 알고있기 때문에 이 내용과 무관합니다)

새내기 2016.11.10 16:04

이제 막 비젼분야에 입문한 대학생입니다 :) 모르는 것 투성이지만 다크님 덕분에 차근차근 조금씩은 앞으로 나아가고 있는 것 같습니다. 다크님께 조언을 듣고자 댓글을 남겨봅니다

제가 고정되어 있지 않은 카메라와 바닥에 있는 물체 사이의 실제 거리를 구하고자 하는데요.
물체의 실제크기는 알지 못하는 상황입니다. 이 때 실제 거리를 어떻게 구해야 하나요?
실제 거리에 대한 이야기들을 많이 찾아보았지만 대부분 실제 크기를 아는 경우가 많더라구요ㅠ
이 때에는 epipolar 기법을 사용해서 2D에서 3D로 좌표변환을 해야 할 것 같은데 제 생각이 맞나요?
이에 대한 조언 부탁드립니다!!

calibration 2017.04.11 11:37

셀프칼리브레이션 논문 읽다가
////////// 1 0
p ~ KR [ 0 1 R't ]L
///////// 0 0

3x3 projection matrix를 위에처럼 나타냈는데 이해가 잘안되네요
K는 내부파라미터 R은 로테이션 t는 트렌스레이션 L은affine에서 Euclidean으로 바꿔주는 메트릭슨데
행렬안에 R'(전치행렬) t 가 되는 이유를 모르겠네요
혹시 다크님은 알고 있으신지요??

333 2018.02.18 17:14

첫 번째로..수식(4) 밑에
이 때, T는 4 × 3 행렬로서 다음과 같이 분해하여 표현할 수 있습니다.
-->여기서 4 x 3 이 아니라 3 x 4 아닌가요?...

두 번째로.. 수식(8)의 첫 줄에서 두번째 줄로의 변환이 이해가 잘 가지 않습니다.
수식(6)에서 수식(7)로의 변환을 설명하시면서 Tpers(1)행렬과 RT행렬을 곱해서 하나의 행렬로 표현했다고 하셨고....동일한 방법으로 행렬곱셈을 해서 풀어보려고 하는데 이게 잘 안되네요...
무슨의미로 (8)수식을 쓰셨는지는 알겠고, 어떤형태로 3개의 행렬(카메라행렬과 Tpers행렬 RT행렬)을 2개의 행렬로(카메라, RT)로 통합하셨는지도 의미적으로는 알겠는데 직접 행렬을 풀어서 해보려니 잘 안되네요..;;
(8)에서 [3x3][3x4][4x4] 이면 [3x4][4x4]가 나와야 되는데 작성된 수식은 [3x3][4x4]이기도 하고...ㅜ.. [0, 0, 0]열의 표기에 대한 규칙이 있나요?
[sxf 0 cx 0] [0 syf cy 0][0 0 1 0] 행렬과
[r11 r12 r13 tx][r21 r22 r23 ty][r31 r32 r33 tz][ 0 0 0 1] 행렬로 표현되어야 할 것 같아 문의드립니다..

nick 2018.03.05 17:23

안녕하세요
이런저런정보를 찾아보다가 찾게되었습니다.
제가 이쪽은 잘모르나.. 관련된 업무를 진행할 일이 있어서 여쭤볼게 있어서요.
저는 앱 개발자입니다.
폰에서 카메라로 비춰지는 건물이 있다고 가정하면 그 건물이 화면에 보여지면 폰 화면에서의 건물의 양끝 x좌표를 구할수 있을까요?
건물의 양끝 GPS좌표가 있다고 가정하고요. 저의 GPS를 바탕으로 거리는 구할수 있겠는데 그걸 어떤식을 풀어 나가야 할지 애매해서 이렇게 질문 남깁니다.

heben 2018.06.05 17:49

안녕하세요. 원근 투영 변환에 대해 이해가 잘 안가는 부분이 있어 질문드립니다.
1. 만약 d=1로 잡았을 경우, 원근 투영 변화는 x, y 성분을 z로 나눈 값이 된다고 이해했고,
2. 설명에서 점 P를 p'로 투영한다고 하셔서 카메라 좌표계의 점을 정규좌표계로 옮긴다고 이해했습니다.
3. 그리고 제가 알기로 정규 좌표계는 x,y 값이 -1~1 사이라고 알고있습니다.

그렇다면, 이 과정에서 카메라 모델의 x,y aspect가 고려가 되는 것인지, 그리고 카메라 내부 파라미터의 영향이 제거되는 것인지 잘 이해가 되지 않습니다.

아빠딸 2018.09.11 03:19

안녕하세요 좋은 정보 잘 보았습니다. 알려주신 방법대로 문제를 해결해 보려 하였으나
3차원 좌표에서 2차원 이미지 좌표로의 변환이 되지 않고 있습니다.ㅡㅠ
가지고 있는 정보는 3차원 좌표값과 카메라 위치와 회전정보, 카메라 내부요소 입니다.
위에 정보처럼 축 설정을 하였고 행렬을 구해보려 하였으나 3차원 모든 점이 2차원의 한점으로 수렴됩니다. 혹시 이와 관련하여 알려주실 힌드 좀 있으신가요.

아빠딸 2018.09.11 14:42

답변 감사드립니다.
간단하게 소스를 요약해드리면
R|t = mRz*mRy*mRx; //각 요소는 카메라 외부요소에 x축만 -90(라디안 변환함)
Result1 =R|t*GP+t; // GP(3차원 점Px,Py,Pz), t=이동량Matrix, 그리고 t=(GP-C); C는 카메라위치
if( Result1[2]!=1.0 )
{ // 동차좌표 표현
Result1[0] /=Result1[2]; Result1[1] /=Result[2]; Result1[2] /=Result[2];
}
Result2 =K*Result1; // K는 내부카메라요소행렬(fx =Sx*f) Sx =1mm당 픽셀수(=1/0.00345(픽셀사이즈mm), f:초점거리

이렇게 해서 나온 결과 Result2에 x,y 가 이미지 좌표라 생각하였는데
결과가 ...예를 들면,
첫번째 결과, 530.120393, 630.12456
두번째 결과, 530.124344, 630.13556
...이렇게 작은 값들만 뒤에서 변합니다.ㅠㅡㅠ
간략히 쓰긴 하였는데 이해가 되셨는지 모르겠네요.

KH 2018.09.28 11:32

안녕하세요. 실시간 프로젝션맵핑을 공부하는 사람입니다. 다크프로그래머님 정보 아주 자주 이용합니다.
하나 여쭙고 싶습니다. OPENCV의 calibratecamera 함수를 사용 중입니다. (https://www.youtube.com/watch?v=pCq7u2TvlxU) <--이렇게 구현하고 싶습니다... 3D월드좌표와 2D이미지픽셀좌표 중에 어느게 실시간으로 좌표값이 변화가 되어야하나요???? ㅜㅜ

KH 2018.09.28 14:16

계속 기본적인 질문을 드려 죄송합니다 ㅠㅠ위에서 말씀해주신 calibratecamera함수에서 objectPoints(물체의 3d월드좌표)를 제가 tracker를 단 물체의 각 꼭지점(로컬좌표)으로 계산하였습니다. 그러면 projection matrix를 제대로 변환하기 위해서는 로컬좌표를 월드좌표로 변환해야하나요?

ㅇㅇ 2018.09.29 19:31

안녕하십니까 기본기 공부중이라 항상 잘보고 있습니다. 제 업무중에 RealSense d435 카메라의 left-infrared camera와 color camera를 align 시키는 업무가 있는데요(depth image는 left-infrared camera에 이미 align 되어있음)이 depth image를 color image에 align시키는 것은 librealsense2 함수 Align을 쓰면 잘 맞춰지는데 infrared image는 align 함수가 지원이 안되더라구요. 그래서 문의를 해보니까
ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ
But one suggestion for you to have a try, Basically the mapping is a triangulation technique where we go through the intersection point of a pixel in 3D space to find its origin in another frame, this method work properly when the source data is depth (Z16 format).
One possible way to map between two none-depth stream is to play three streams (Depth+IR+RGB), then calculate the UV map for Depth to Color, and then use this UV map to remap IR frame ( remember that Depth and left IR are aligned by design).
ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ

즉 depth 에서 color image로 매핑하는 UV map이라는것을 구해서 depth랑 left-infrared camera랑 align됐으니까 똑같이 UVmap을 통해 left-infrared camera를 재매핑시키라는 거 같은데요.. 그 UV map이라는게 자세히 머가 먼지 모르겠네요... 다크프로그래머님이 설명하신 내용중에 힌트가 있을꺼같은데.. 무지함에 화만나네요.. 조언해주시면 감사하겠습니다..

KH 2018.10.05 18:12

안녕하세요. 잘보고있씁니다!! 저번에 여쭈었던것 잘 활용하였습니다.

그런데 질문이 하나 더 생겼씁니다.
1. Tracker공간의 좌표와 projector의 좌표가 달라서.. 이것을 매핑시키고 싶습니다.
Tracker의 좌표는 tracker만의 공간상에서 실시간으로 (-0.5, 0.5,3.0) 이런식으로 변화합니다.(트래커 공간상의 위치는 알고 있으며 프로젝터는 1920*1280 해상도를 가지고 있습니다.) (제가 하고 싶은 것은 프로젝터가 쏘는 물체와 트래커와 정확히 일치시키고 싶은 것입니다 ㅠㅠ)

ㅠㅠ

KH 2018.10.10 13:17

프로젝션 매핑에 선행되어야하는 projector와 tracker와의 캘리브레이션 방법은 어떻게 검색을 해야 공부를 할 수 있을까요??ㅠㅠ 초심자라 많이 힘드네요 ㅠㅠ

YY 2019.04.19 18:15

감사합니다. 너무 이해가 잘 됐어요