[Tech]On Device AI 란, 그리고 적용에 대한 이야기

2024-02-28

#AI #OnDeviceAI #Jetson #TELROP #Cloud #NVIDIA #Fast


AI 분야에 대해서는 하루가 다르게 새로운 기술에 대한 뉴스와 놀라움이 이어지고 있다. 특히, 관심이 있어서 이겠지만  눈에 띄는 부분들은 LLM 이나 비전 인식에 대한 것들이다. 하지만, 이를 현장에 적용하는 것은 또 다른 문제라 할 수 있겠다. "On Device AI"는 사용자 환경과 접촉하는 하드웨어인 엣지 디바이스에 적용되는 AI 라 하겠다.


On Device AI  vs Cloud AI

클라우드 컴퓨팅을 이용한 AI 를 클라우드 AI 라 한다면, 클라우드의 연결이나 도움이 없이도 적절한 결론을 도출할수 있는 시스템을 On Device AI 라 한다. On Device AI 와 클라우드 AI 를 연결하여 사용한다면, 상호보완적인 서비스도 가능하겠다.

On Device AI 의 특징으로는 다음과 같은 점이 있다.


빠른 응답 제공

클라우드 서버와의 연결이 필요하지 않으므로, 통신 지연 없이 즉시 AI 기능 및 추론 결과를 얻을수 있다.

정보 보안 강화

클라우드 서버에 데이터를 전송하지 않고 기기 내에서 처리하므로, 데이터 보안이 강화되어 개인 정보 유출 위험으로부터 자유롭다.

에너지 소모 절감

클라우드로 데이터를 전송하는 데 필요한 에너지 소모도 적다.


Jetson 을 이용한 On Device AI 구현

온-디바이스 학습-추론을 통해 개인정보보호, 신뢰성, 실시간성등의 장점을 가질 수 있으나, 엣지 장치의 낮은 하드웨어성능으로 인해 하드웨어 블럭을 적절히 사용하는 파이프라인 최적화가 필수적이다.

그동안 다수의 NVIDIA Jetson 비전 프로세싱 프로젝트에서 각각의 하드웨어 블럭을 사용하는 것을 통해 최적화를 달성할 수 있었다.


클라우드 AI와 함께 사용한다면

On Device AI의 여러 특징들에도, 최근까지도 활발하게 구현되고 있는 높은 수준의 AI를 구현하기 위해서는 클라우드 AI를 사용하면 각각의 장점을 모두 사용할 수 있다. 즉, 실시간성이 필요한 경우 On Device AI 자원을 활용하여 대응하고, 정교하고 높은 프로세스 파워가 필요하거나 AI 성능의 수준을 높이는 학습을 할 때는 클라우드 AI 를 사용하는 방식이겠다.



On Device AI를 담당하는 Edge AI 기술은 더 많은 영역에서 클라우드와 연결되고 실시간 처리 및 에너지 효율적인 사용을 통해 지속적인 수요를 만들면 산업 전반에 걸쳐 폭넓게 사용될 것으로 보인다. 자율주행 차량이나 자동차 데이타 수집장치, 공장 자동화, 스마트시티와 더불어 최근에는 로봇과 드론등에서 더욱 효과적인 방법으로 적용되고 있다.



TELELIAN

B207, IT College, 1342, Seongnam-daero, Sujeong-gu, Seongnam-si, Gyeonggi-do, Republic of Korea
sales@telelian.com

Copyright ⓒ Telelian Inc.