[Tech]NVIDIA JETSON 하드웨어 블럭 사용에 따른 TOPs 성능차이

2024-03-13

#OnDeviceAI #TELROP #jetson #nvidia #agx #orin #ai #block #optimize #pipeline #performance #tops #dla #vpi


Deep Learning / AI 모델을 End-point 장치에 사용하려고 시도한다면 NVIDIA Jetson 플랫폼은 좋은 선택이다. 그리고, 실제로 많은 업체에서 로봇이나 자율주행 시스템, 수집장치등에서 Jetson 시리즈를 사용중이다.

아래는 AGX Orin SoC 의 블럭 다이어그램인데, Jetson 시리즈마다 내부 구조는 다르지만 여러가지 준비된 하드웨어 블럭들이 존재한다. CPU 블럭이나 GPU 블럭의 성능이 가장 중요하겠지만, 여기서 주목하려는 부분은 ACCEL (DLA, PVA, ISP, DECODE, ENCODE) 블럭부분이다.



아래의 표를 살펴보면, Jetson 시리즈는 성능과 구조, IO 의 종류에 따라서 다양한 등급으로 나눠지는것을 볼 수 있다.  그 중에 가장 중요하게 여겨지는 것이 AI Performance, 즉 TOPs(Tera Operations Per Second) 값이다. 표에서 보면, AGX Orin 64GB 모듈의 경우에는 INT8 의 경우 275 TOPs 가 나온다는 것이다.



그런데, 아래 표를 보면 275 TOPs 라는 수치가 어떻게 구성되는지를 알 수 있다. GPU 만으로는 171 TOPs 만 가능하다는 것이며, DLA(Deep Learning Accelerator) 블럭을 함께 사용해야 275 TOPs 라는 성능이 나온다는 것이다. 이 뿐 아니라 DLA 를 사용하는 경우, GPU 대비 에너지 효율측면에서도 훨씬 유리하다.



DLA 블럭 뿐만 아니라, PVA 와 VIC, OFA 등의 블럭을 가진 VPI(Vision Programming Interface)의 경우에도 단순히 CPU/GPU 만을 사용하는 것보다 성능이 탁월함을 경험할 수 있다. 즉, 최적의 운영 환경 찾는 것은 하드웨어의 특성을 이해하고, 상황에 따라 딥러닝 파이프라인을 구성하는 것이 중요하다는 것이다.



위와 같은 내용을 고려할 때, NVIDIA Jetson 시리즈의 뛰어난 AI 성능과 TOPs 값을 활용하는 것은 다양하고 빠른 처리가 요구되는 로봇환경에서는 필수적이다. DLA 같은 하드웨어 액셀러레이터의 활용은 이러한 성능을 극대화하며, TELROP 클라우드와 같은 솔루션은 사용자의 요구에 최적화된 시스템 구축을 가능하게 합니다. 




Vision 알고리즘 및 AI 모델의 NVIDIA On-Device AI 최적화

DeepStream 카메라 데이터 Pipeline 최적화
카메라를 위한 AI Inferencing, Encoding 및 Streaming 데이터 Pipeline 최적화

DLA(Deep Learning Accelerator)
AI 비전 모델 관련하여 GPU 대비 전력 효율적이고, 병렬 수행 가능하여 효과적인 AI 알고리즘 적용

VPI(Vision Programming Interface)
CPU, GPU 뿐만 아니라 PVA, VIC, OFA 등의 비전 전용 Hardware Accelerator 최적화

전력 사용량 분석 및 최적화
AI 알고리즘 구조에 따른 하드웨어 사용량 분석 및 전력 효율 최적화(GPU사용량 90% 이상 절감 가능)


TELROP 클라우드 기반 원격운영 솔루션

로봇 시스템 간소화
Lidar, radar, camera, CAN, GPS and IMU 등의 로봇에 필요한 인터페이스 Customization 지원

고품질 비전 시스템 구축
고품질의 AI 인식용 카메라 모듈, GMSL2 인터페이스 지원 및 H.265/AV1 최신 코덱 지원

용도별 최적의 시스템 적용
NVIDIA 기반의 다양한 성능의 Edge AI 장치(20~275 TOPs) 통하여 용도별 목적에 맞게 효율적인 적용





TELELIAN

B207, IT College, 1342, Seongnam-daero, Sujeong-gu, Seongnam-si, Gyeonggi-do, Republic of Korea
sales@telelian.com

Copyright ⓒ Telelian Inc.