스테레오 카메라(Stereo Camera)는 두 개(쌍)의 렌즈와 이미지 센서를 이용해 인간의 양안 시각(Binocular Vision) 원리와 유사하게 주변 환경의 3차원 깊이(Depth) 정보를 획득하는 기술입니다. 자율 주행, 로봇 공학, 3D 스캐닝 등 다양한 분야에서 핵심적인 역할을 하고 있습니다.
1. 작동 원리: 삼각측량과 시차(Disparity)
스테레오 카메라의 핵심은 삼각측량(Triangulation) 원리를 통해 물체까지의 거리를 계산하는 것입니다.
양안 시차 (Binocular Disparity)
사람이 두 눈으로 사물을 볼 때, 왼쪽 눈과 오른쪽 눈에 맺히는 상의 위치가 약간 다릅니다. 이 두 상의 위치 차이를 시차(Disparity)라고 합니다. 물체가 가까울수록 이 시차는 커지고, 멀어질수록 작아지는 특징이 있습니다. 스테레오 카메라는 이 원리를 그대로 적용합니다.
스테레오 정합 (Stereo Matching)
두 대의 카메라가 동일한 물체를 동시에 촬영한 후, 각 이미지(좌, 우)에서 서로 대응되는(Matching) 특징점을 찾아야 합니다. 이 대응점들의 수평 방향 픽셀 위치 차이가 바로 시차 (d)가 됩니다.
3차원 거리 계산 (Depth Calculation)
두 카메라의 기하학적 정보(카메라 간 간격 및 초점 거리)와 계산된 시차를 이용하여 물체까지의 거리(Z)를 삼각측량으로 계산합니다.
2. 주요 구성 요소 및 기하학적 관계
이상적인 평행 광축(Parallel Optical Axes) 스테레오 카메라 모델을 가정할 때, 3차원 물체 점 P(X,Y,Z)와 카메라 이미지 평면상의 대응점들 간의 관계는 아래와 같습니다.
| 변수 | 설명 |
| B (Baseline) | 왼쪽 카메라 광학 중심과 오른쪽 카메라 광학 중심 사이의 거리입니다. (카메라 간 간격) |
| f (Focal Length) | 렌즈 중심과 이미지 센서 평면 사이의 초점 거리입니다. |
| Z (Depth) | 물체(P)에서 카메라 평면까지의 거리 (우리가 구하고자 하는 값)입니다. |
| xL, xR | 좌, 우 이미지 평면에서 물체(P)의 상이 맺힌 수평 좌표입니다. |
| d (Disparity) | 두 이미지에서 대응되는 픽셀 좌표의 차이(d=xL−xR)입니다. |
거리(Z) 계산 수식
기하학적 유사 삼각형의 원리(△PCLCR∼△P′QLQR)를 이용하면 다음과 같은 관계식이 도출됩니다. (여기서 CL,CR은 각 카메라의 광학 중심, $P'$는 P가 맺힌 상의 위치를 나타냅니다.)
B/Z = d/f
위 식을 거리(Z)에 대해 정리하면, 물체까지의 거리를 시차(d)를 이용해 구할 수 있습니다.
Z= Bf/d
수식에서 알 수 있는 통찰
깊이(Z)는 시차(d)에 반비례합니다.
시차(d)가 클수록 → 물체는 가깝습니다.
시차(d)가 작을수록 → 물체는 멉니다.
깊이(Z)는 베이스라인(B)과 초점 거리(f)에 비례합니다.
B가 길수록 (카메라 간격이 넓을수록) → 시차의 변화가 커져 먼 거리 측정에 유리하나, 가까운 물체의 측정 범위가 줄어들고 비용이 증가할 수 있습니다.
f가 길수록 (망원 렌즈일수록) → 시차의 변화가 커져 거리 해상도가 향상됩니다.
3. 스테레오 카메라의 종류별 특징과 장점
패시브 스테레오 (Passive Stereo)
별도의 광원(IR 프로젝터 등) 없이 오직 주변의 가시광선만으로 두 대의 카메라가 이미지를 획득하고 깊이를 계산하는 방식입니다. 인간의 눈과 가장 유사합니다.
| 특징 | 장점 및 단점 |
| 작동 원리 | 오직 주변 광(가시광선)과 대상 물체의 텍스처(Texture)를 이용해 시차를 계산합니다. |
주요 장점 | 외부 광 간섭에 강함: 밝은 야외나 태양광 아래에서도 안정적인 작동이 가능합니다.
색상 및 텍스처 정보 동시 획득: 깊이 정보와 함께 고해상도의 RGB 이미지를 얻을 수 있습니다.
구조 단순성: 별도 광원이 필요 없어 구조가 단순하고 전력 소비가 적을 수 있습니다. |
주요 단점 | 텍스처가 없는 (예: 평평하고 흰 벽) 물체 영역에서는 대응점을 찾기 어려워 깊이 정보(Disparity) 계산이 불가능하거나 부정확합니다. |
액티브 스테레오 (Active Stereo)
두 대의 카메라 외에 IR(적외선) 광원 또는 패턴 프로젝터를 추가하여 깊이 정보 계산의 안정성을 높인 방식입니다.
| 특징 | 장점 및 단점 |
| 작동 원리 | IR 광원이 물체 표면에 임의의 패턴(Random Dot Pattern)을 투사합니다. 이 패턴 덕분에 텍스처가 부족한 영역에도 인공적인 특징점이 생성되어 시차 계산이 용이해집니다. |
| 주요 장점 | 텍스처 부족 환경 보완: 패시브 방식의 단점인 텍스처 없는 영역에서도 안정적으로 깊이 정보를 획득할 수 있습니다.
저조도/실내 환경에 유리: 조명 조건이 일정하지 않은 어두운 실내 환경에서 특히 우수한 성능을 보입니다. |
| 주요 단점 | 외부 광 간섭에 취약: 강한 햇빛이 패턴을 가릴 수 있어 야외 환경에서 성능이 저하될 수 있습니다.
유효 범위 제한: IR 패턴의 투사 거리가 한정되어 측정 가능 거리가 비교적 짧습니다.
간섭 발생 가능: 여러 대의 액티브 스테레오 센서가 근접하여 사용될 경우, 패턴 간의 상호 간섭이 발생할 수 있습니다. |
4. 주요 응용 분야
자율 주행 및 ADAS: 차량 주변 장애물 인식, 차선 인식 및 거리 측정.
로봇 비전: 로봇 팔의 물체 인식 및 정밀한 위치 파악, 자율 이동 로봇(AMR)의 환경 지도 작성 및 내비게이션.
3D 측정 및 스캐닝: 산업용 검사, 건축 및 공간 측정.
스테레오 카메라(Stereo Camera)는 두 개(쌍)의 렌즈와 이미지 센서를 이용해 인간의 양안 시각(Binocular Vision) 원리와 유사하게 주변 환경의 3차원 깊이(Depth) 정보를 획득하는 기술입니다. 자율 주행, 로봇 공학, 3D 스캐닝 등 다양한 분야에서 핵심적인 역할을 하고 있습니다.
1. 작동 원리: 삼각측량과 시차(Disparity)
스테레오 카메라의 핵심은 삼각측량(Triangulation) 원리를 통해 물체까지의 거리를 계산하는 것입니다.
양안 시차 (Binocular Disparity)
사람이 두 눈으로 사물을 볼 때, 왼쪽 눈과 오른쪽 눈에 맺히는 상의 위치가 약간 다릅니다. 이 두 상의 위치 차이를 시차(Disparity)라고 합니다. 물체가 가까울수록 이 시차는 커지고, 멀어질수록 작아지는 특징이 있습니다. 스테레오 카메라는 이 원리를 그대로 적용합니다.
스테레오 정합 (Stereo Matching)
두 대의 카메라가 동일한 물체를 동시에 촬영한 후, 각 이미지(좌, 우)에서 서로 대응되는(Matching) 특징점을 찾아야 합니다. 이 대응점들의 수평 방향 픽셀 위치 차이가 바로 시차 (d)가 됩니다.
3차원 거리 계산 (Depth Calculation)
두 카메라의 기하학적 정보(카메라 간 간격 및 초점 거리)와 계산된 시차를 이용하여 물체까지의 거리(Z)를 삼각측량으로 계산합니다.
2. 주요 구성 요소 및 기하학적 관계
이상적인 평행 광축(Parallel Optical Axes) 스테레오 카메라 모델을 가정할 때, 3차원 물체 점 P(X,Y,Z)와 카메라 이미지 평면상의 대응점들 간의 관계는 아래와 같습니다.
거리(Z) 계산 수식
기하학적 유사 삼각형의 원리(△PCLCR∼△P′QLQR)를 이용하면 다음과 같은 관계식이 도출됩니다. (여기서 CL,CR은 각 카메라의 광학 중심, $P'$는 P가 맺힌 상의 위치를 나타냅니다.)
B/Z = d/f
위 식을 거리(Z)에 대해 정리하면, 물체까지의 거리를 시차(d)를 이용해 구할 수 있습니다.
Z= Bf/d
수식에서 알 수 있는 통찰
깊이(Z)는 시차(d)에 반비례합니다.
시차(d)가 클수록 → 물체는 가깝습니다.
시차(d)가 작을수록 → 물체는 멉니다.
깊이(Z)는 베이스라인(B)과 초점 거리(f)에 비례합니다.
B가 길수록 (카메라 간격이 넓을수록) → 시차의 변화가 커져 먼 거리 측정에 유리하나, 가까운 물체의 측정 범위가 줄어들고 비용이 증가할 수 있습니다.
f가 길수록 (망원 렌즈일수록) → 시차의 변화가 커져 거리 해상도가 향상됩니다.
3. 스테레오 카메라의 종류별 특징과 장점
패시브 스테레오 (Passive Stereo)
별도의 광원(IR 프로젝터 등) 없이 오직 주변의 가시광선만으로 두 대의 카메라가 이미지를 획득하고 깊이를 계산하는 방식입니다. 인간의 눈과 가장 유사합니다.
색상 및 텍스처 정보 동시 획득: 깊이 정보와 함께 고해상도의 RGB 이미지를 얻을 수 있습니다.
구조 단순성: 별도 광원이 필요 없어 구조가 단순하고 전력 소비가 적을 수 있습니다.
액티브 스테레오 (Active Stereo)
두 대의 카메라 외에 IR(적외선) 광원 또는 패턴 프로젝터를 추가하여 깊이 정보 계산의 안정성을 높인 방식입니다.
저조도/실내 환경에 유리: 조명 조건이 일정하지 않은 어두운 실내 환경에서 특히 우수한 성능을 보입니다.
유효 범위 제한: IR 패턴의 투사 거리가 한정되어 측정 가능 거리가 비교적 짧습니다.
간섭 발생 가능: 여러 대의 액티브 스테레오 센서가 근접하여 사용될 경우, 패턴 간의 상호 간섭이 발생할 수 있습니다.
4. 주요 응용 분야
자율 주행 및 ADAS: 차량 주변 장애물 인식, 차선 인식 및 거리 측정.
로봇 비전: 로봇 팔의 물체 인식 및 정밀한 위치 파악, 자율 이동 로봇(AMR)의 환경 지도 작성 및 내비게이션.
3D 측정 및 스캐닝: 산업용 검사, 건축 및 공간 측정.