현재 AI의 빠른 발전 물결 속에서 대형 언어 모델은 강력한 지능형 상호작용 능력을 보여주고 있지만, 엣지 디바이스에 배포될 때 직면하는 많은 도전 과제들, 예를 들어 컴퓨팅 파워, 메모리, 에너지 소비 등, 그리고 엣지 컴퓨팅의 글로벌 영향력은 업계의 주요 관심사가 되었습니다. **Firefly**가 출시한 NVIDIA Jetson 시리즈의 지능형 엣지 컴퓨팅 기술 제품은 뛰어난 엣지 컴퓨팅 성능과 에너지 효율성을 바탕으로 엣지에서 대형 AI 모델을 배포할 수 있는 신뢰할 수 있는 엣지 컴퓨팅 장치 지원과 엣지 컴퓨팅 솔루션을 제공합니다.
NVIDIA Jetson Orin 시리즈
이 제품들의 핵심 모듈인 NVIDIA Jetson은 다양한 AI 엣지 컴퓨팅 성능과 가격대에 적합한 가속 컴퓨팅 능력을 제공합니다. 뛰어난 성능, 우수한 에너지 효율성, 그리고 매우 쉬운 개발 경험을 통해 다양한 엣지 컴퓨팅 응용 프로그램의 요구를 충족할 수 있습니다.
| 모델 | Jetson AGX Orin | Jetson Orin NX | Jetson Orin Nano |
| NPU | 275 TOPS | 157 TOPS | 67 TOPS |
| 전력 소비 | 15W-60W | 10W-15W-25W-40W | 7W-15W-25W |
| 저장소 | 64GB eMMC 5.1 | 외부 NVMe | 외부 NVMe |
| 기능 | 대규모 AI 추론 및 다중 모델 병렬 처리와 같은 복잡한 시나리오에 적합한 플래그십 고급 엣지 컴퓨팅 플랫폼. | 컴퓨팅 파워와 크기/전력 소비 요구를 균형 잡은 고성능 엣지 장치. | 저비용과 사용 편의성에 초점을 맞춘 입문용 엣지 AI 개발 키트. |
| 응용 분야 | 자율 주행, 산업 로봇, 고성능 엣지 서버, 엣지 컴퓨팅 솔루션 등 높은 컴퓨팅 파워와 동시 처리 능력이 요구되는 분야. | 크기와 전력 효율에 민감한 중형 AI 응용 분야, 스마트 카메라, 드론, 휴대용 의료 장비 등. | 교육 실험, 프로토타입 검증, IoT 장치와 같은 낮은 복잡도의 AI 시나리오. |
NVIDIA Jetson 임베디드 시스템
엣지에서 생성 AI와 NVIDIA Metropolis 및 Isaac™ 플랫폼을 통해 엣지 컴퓨팅 사용 사례 및 로봇 응용 프로그램 개발을 위한 포괄적인 AI 소프트웨어 스택과 생태계를 제공합니다.
- AI 엔드 투 엔드 솔루션을 빠르게 구축.
- 쉬운 개발을 위한 소프트웨어 스택과 생태계.
- 컨테이너화 및 오케스트레이션과 같은 클라우드 네이티브 기술 및 워크플로우 지원.
NVIDIA Jetson과 DeepSeek
| Deepseek 모델 | Jetson 코어 모듈 |
| DeepSeek R1 Qwen-1.5B | AGX Orin 64GB, Orin NX16GB, Orin Nano 8GB |
| DeepSeek R1 Qwen-7B | AGX Orin 64GB, Orin NX16GB, Orin Nano 8GB |
| DeepSeek R1 Llama-8B | AGX Orin 64GB, Orin NX16GB, Orin Nano 8GB |
| DeepSeek R1 Qwen-32B | AGX Orin 64GB |
| DeepSeek R1 Llama-70B | AGX Orin 64GB |
많은 AI 모델 중 DeepSeek은 뛰어난 언어 이해 및 생성 능력을 자랑하며, 다중 모드 시나리오에서 강력한 추론 능력을 보여줍니다. NVIDIA Jetson의 고성능과 낮은 지연 시간의 결합을 통해 DeepSeek은 디바이스 측에서 추론 작업을 완료할 수 있어 응답 시간을 단축시키고, 지역화된 데이터 처리로 개인정보 보호를 강화하며, 더 많은 산업 분야에서 엣지 디바이스의 지능 향상에 기여합니다.
Firefly NVIDIA Jetson 시리즈
AI 엣지 컴퓨팅 서버
- 최대 10개의 컴퓨팅 노드를 구성할 수 있으며, 각 노드는 NVIDIA Jetson Orin 시리즈 프로세서를 탑재하고 있으며, 총 컴퓨팅 파워는 최대 1570 TOPS로 인공지능 및 딥러닝에 강력한 컴퓨팅 파워 지원을 제공합니다.
AI 임베디드 컴퓨터 하드웨어
- 대형 AI 모델을 탑재할 수 있는 "작은 박스" 형태의 임베디드 컴퓨터 장치로, 인공지능의 종합적인 개인 배포를 실현하며 다양한 AI 응용 시나리오에 적응합니다.
NVIDIA Jetson Orin 개발 키트
- NVIDIA Jetson AGX Orin/Jetson Orin Nano/Jetson Orin NX는 컴팩트하고 강력한 슈퍼컴퓨터로, 뛰어난 AI 성능을 제공하며 생성 AI 모델을 원활하게 실행할 수 있습니다.
NVIDIA Jetson Orin 컴퓨팅 모듈
- NVIDIA Jetson Orin 모듈은 다양한 성능 수준의 컴퓨팅 능력을 제공하며, 모듈식 설계는 하드웨어 호환성과 빠른 배치를 지원하여 다양한 자율 응용 프로그램의 요구를 충족합니다.
엣지 컴퓨팅 사례
엣지 컴퓨팅 아키텍처는 스마트 시티, 헬스케어, 리테일, 공장 물류, 산업, 건설 등 다양한 산업에 널리 사용됩니다.
