GPT에서 Llama까지: AIBOX를 사용하여 모든 AI 모델을 온프레미스에 배포

댓글 0개

AIBOX 시리즈 제품은 고성능, 저전력 소비, 뛰어난 환경 적응성을 특징으로 합니다. 컴퓨팅 성능은 6~157 TOPS에 달합니다. 다양한 딥 러닝 알고리즘을 결합하여 컴팩트한 사이즈를 자랑하며, 주류 대형 모델의 프라이빗 배포를 지원하여 여러 스마트 산업의 디지털화를 가속화합니다.

현재 Firefly는 총 9개의 AIBOX 제품을 출시했으며, 각 제품은 다양한 컴퓨팅 성능, 에너지 효율, 디자인 등을 통해 다양한 산업의 애플리케이션 시나리오에 맞게 조정됩니다.

Firefly x NVIDIA

NVIDIA의 오리지널 Jetson Orin 시리즈 코어 모듈을 탑재하여 최대 157 TOPS의 컴퓨팅 성능으로 다양한 성능 및 가격대의 가속 컴퓨팅 기능과 호환되며, NVIDIA 소프트웨어 생태계도 지원합니다. 강력한 컴퓨팅 성능, 뛰어난 에너지 효율성, 간편한 개발 환경을 통해 다양한 독립 애플리케이션의 요구를 충족할 수 있습니다.


AIBOX-OrinNX AIBOX-OrinNano
SOC NVIDIA Jetson Orin NX (16GB) NVIDIA Jetson Orin Nano (8GB)
CPU 8코어 64비트 프로세서, 최대 2.0GHz 주 주파수 6코어 64비트 프로세서, 최대 1.7GHz 주 주파수
NPU 157 TOPS 67 TOPS
비디오 인코딩 1*4K@60fps, 3*4K@30fps, 6*1080p@60fps, 12*1080p@30fps 1080p@30fps
비디오 디코딩 1*8K@30fps, 2*4K@60fps, 4K@30fps 4개, 1080p60fps 9개, 1080p@30fps 18개 4K@60fps 1개, 4K@30fps 2개, 1080p@60fps 5개, 1080p@30fps 11개
메모리 16GB LPDDR5 8GB LPDDR5
전력 소비 일반: 7.2W(12V/600mA)
최대: 33.6W(12V/2800mA)
일반: 7.2W(12V/600mA)
최대: 18W(12V/1500mA)

대규모 언어 모델

  • 로봇 모델: ROS 로봇 모델을 지원합니다.
  • 언어 모델: Llama2/ChatGLM, Qwen 및 기타 대규모 언어 모델과 같은 Transformer 아키텍처 기반의 대규모 모델을 프라이빗 배포를 위해 지원합니다.
  • 시각적 모델: ViT, Grouding DINO, SAM 및 기타 대규모 시각적 모델을 프라이빗 배포를 위해 지원합니다.
  • AI 페인팅: AIGC 필드에서 Stable Diffusion V1.5 이미지 생성 모델의 프라이빗 배포를 지원합니다.

Firefly x Rockchip

Rockchip의 플래그십 AIoT 칩을 탑재한 이 제품은 최대 2.4GHz의 주 주파수를 갖춘 대형-소형 코어 아키텍처를 채택하여 고성능 컴퓨팅 및 멀티태스킹을 위한 강력한 하드웨어 지원을 제공합니다. 동시에, 이 시리즈는 낮은 전력 소비와 긴 배터리 수명과 같은 산업용 특징을 갖추고 있어 산업 응용 분야의 요구에 부합합니다.


AIBOX-3576 AIBOX-3588  AIBOX-3588S
SOC 록칩 RK3576 록칩 RK3588 록칩 RK3588S
CPU 8코어 64비트 프로세서, 최대 2.2GHz 8코어 64비트 프로세서, 최대 2.4GHz 8코어 64비트 프로세서, 최대 2.4GHz
NPU 6 TOPS 지원 INT4/8/16/FP16/BF16/TF32 혼합 연산 6 TOPS, INT4/INT8/INT16 혼합 연산 지원 6 TOPS, INT4/INT8/INT16 혼합 연산 지원
비디오 인코딩 4K@60fps: H.264/AVC 8K@30fps:H.264 8K@30fps:H.264
비디오 디코딩 8K@30fps
4K@120fps: VP9/AVS2/AV1
4K@60fps: H.264/AVC
8K@60fps
4K@120fps: VP9/AVS2
8K@30fps: H.264/AVC/MVC
4K@60fps: AV1
1080p@60fps: MPEG-2/-1/VC-1/VP8
8K@60fps: VP9/AVS2
8K@30fps: H.264 AVC/MVC
4K@60fps: AV1
1080p@60fps:MPEG-2/-1/VC-1/VP8
메모리 LPDDR4(4/8/16GB 선택 가능) LPDDR4(4/8/16/32GB 선택 가능) LPDDR5(4/8/16/32GB 선택 가능)
전력 소비 일반: 1.2W(12V/100mA)
최대: 7.2W(12V/600mA)
절전 모드: 0.072W(12V/6mA)
일반: 2.64W(12V/220mA)
최대: 14.4W(12V/1200mA)
절전 모드: 0.18W(12V/15mA)
일반: 1.26W(12V/105mA)
최대: 13.2W(12V/1100mA)
절전 모드: 0.18W(12V/15mA)

대규모 언어 모델

  • Gemma, Llama2, ChatGLM과 같은 Transformer 아키텍처 기반 대규모 모델 지원 Qwen, Phi 및 기타 대규모 언어 모델을 비공개 배포에 사용합니다.

Firefly x SOPHON

이 시리즈에는 매우 비용 효율적인 SOPHON 시리즈 AI 프로세서가 탑재되어 있습니다. AIBOX-1684X는 최대최대 32 TOPS까지 지원하며, 주류 프로그래밍 프레임워크, 비디오 인코딩 및 디코딩을 지원하며, 클라우드 및 엣지 컴퓨팅 애플리케이션의 인공지능 추론에 적용될 수 있습니다.


AIBOX-1684X AIBOX-1684 AIBOX-1688 AIBOX-186
SOC 소폰 BM1684X 소폰 BM1684 소폰 BM1688 SOPHON CV186AH
CPU 8코어 프로세서 ARM A53, 최대 2.3GHz 8코어 프로세서 ARM A53, 최대 2.3GHz 8코어 프로세서 ARM A53, 최대 1.6GHz 6코어 프로세서 ARM A53, 최대 1.6GHz
NPU 32 TOPS 17.6 TOPS 16 TOPS 7.2 TOPS
비디오 인코딩 32채널, 1080p@25fps
12채널, 1080p@25fps H.264
2채널 1080p@25fps
H.264
최대 성능: 1920*1080@300fps 또는 3840*2160@75fps 최대 성능: 1920*1080@300fps 또는 3840*2160@75fps
비디오 디코딩 32채널 1080p@25fps
1 채널 8K@25fps
32채널 1080p@30fps
H.264
최대 성능: 1920*1080@480fps 또는 3840*2160@120fps 최대 성능: 1920*1080@480fps 또는 3840*2160@120fps
메모리 LPDDR4/LPDDR4X
(8/12/16GB 선택 가능)
LPDDR4/LPDDR4X
(8/12/16GB 선택 가능)
8GB LPDDR4
(4/8/16GB (선택 사항)
16GB LPDDR4
(4/8/16GB 선택 사항)
전력 소비 일반: 20.4W(12V/1700mA)
최대: 43.2W(12V/3600mA)
일반: 9.6W(12V/800mA)
최대: 26.4W(12V/2200mA)
일반: 7.2W(12V/600mA)
최대: 14.4W(12V/1200mA)
일반: 6W(12V/500mA)
최대: 10.8W(12V/900mA)

대규모 언어 모델

  • Llama2, ChatGLM, Qwen 및 기타 대규모 언어 모델과 같은 Transformer 아키텍처 기반 대규모 모델의 프라이빗 배포를 지원합니다.
  • ViT, Grouding DINO, SAM과 같은 대규모 시각적 모델의 프라이빗 배포를 지원합니다.
  • AIGC 분야에서 Stable DiffusionV1.5 이미지 생성 모델의 프라이빗 배포를 지원합니다.

포괄적인 AI 프라이빗 배포

대부분의 AIBOX 시리즈는 Gemma 시리즈, Llama 시리즈, ChatGLM 시리즈, Qwen 시리즈 및 기타 대규모 언어 모델과 같은 최신 주류 대규모 모델의 프라이빗 배포를 지원합니다.

  • CNN, RNN, LSTM 등과 같은 기존 네트워크 아키텍처를 지원합니다.
  • Caffe, TensorFlow, PyTorch, MXNet과 같은 다양한 딥러닝 프레임워크를 지원하고 사용자 정의 연산자 개발을 지원합니다.
  • 손쉬운 이미지 배포를 위한 Docker 컨테이너 관리 기술을 지원합니다.

비디오 코덱 지원

AIBOX 시리즈는 기본적으로 비디오 인코딩 및 디코딩을 지원하며, 최대 8K@60fps 비디오 디코딩 및 8K@30fps 비디오 인코딩을 지원합니다. 동시 인코딩 및 디코딩, 고해상도 및 다중 채널 디코딩 기능을 지원하여 대규모 모델이 비디오에서 정보를 빠르게 수집하고, 모델 학습 및 추론을 위한 더욱 풍부한 데이터를 제공하며, 시각적 분석 정확도를 향상시키고, 알고리즘 학습 및 최적화를 가속화합니다.


RK3588S 칩 탑재 신규 AIBOX 멤버 출시

Firefly & Rockchip DevCon 2025: 선구적인 AIoT 모델 혁신

댓글 남기기

댓글 게시 전에는 반드시 승인이 필요합니다.