Raspberry Pi에서 Nvidia GPU를 작동시키는 방법 | Frank

분야 AI 일반
, ,
1

Raspberry Pi에서 NVIDIA GPU 작동시키기

raspberry-pi nvidia-gpu ai #arm-systems #gpu-acceleration

핵심 요약

Raspberry Pi CM5에 NVIDIA A4000 GPU를 연결하여 완전한 GPU 가속을 구현하는 데 성공했습니다. 디스플레이 출력은 아직 지원되지 않지만, AI 워크로드를 위한 GPU 가속이 정상 작동하며, 16GB VRAM으로 Llama 3B 모델을 초당 121토큰 속도로 처리합니다. 전체 시스템 전력 소비는 약 160와트입니다. Yang Haku와 Mario의 커뮤니티 패치 덕분에 Pi 5, Pi 500, Rock 5 Model B 등 다양한 ARM 보드에서 NVIDIA 카드를 사용할 수 있게 되었습니다. 현재 AMD, NVIDIA, Intel 세 주요 브랜드의 그래픽 카드가 모두 Raspberry Pi에서 작동하며, 이는 거의 6년간의 노력의 결실입니다. NVIDIA GB10 슈퍼칩은 M2/M3 Mac 수준의 CPU와 4070급 GPU를 탑재하여 Crysis Remastered를 원활하게 구동합니다.

상세 요약

NVIDIA A4000과 Raspberry Pi CM5 통합

Raspberry Pi CM5에 NVIDIA A4000 GPU를 연결하여 GPU 가속을 구현하는 실험이 진행되고 있습니다.

  • 현재 상태: 디스플레이 출력 미지원, GPU 가속은 완전 작동
  • AI 벤치마크: Llama 3B 모델 기준 초당 121토큰 처리 속도
  • VRAM: 16GB (해당 모델에는 일부만 사용됨)
  • 전력 소비: 전체 시스템 약 160와트
  • 핵심 기술: NVIDIA OpenGPU 커널 모듈 패치 적용

커뮤니티 기여와 ARM 호환성

Yang Haku와 Mario의 패치 작업으로 Raspberry Pi 및 기타 ARM 시스템과 NVIDIA 드라이버의 호환성이 크게 향상되었습니다.

  • 호환 보드: Compute Module 5, Pi 5, Pi 500, Rock 5 Model B (RK3588 칩)
  • 지원 카드: A4000 등 최신 NVIDIA 카드
  • 제한 사항: 특정 카드에서 디스플레이 출력 미작동 (원인 조사 중)

세 주요 GPU 브랜드 지원 현황

거의 6년간의 노력 끝에 Raspberry Pi에서 세 주요 그래픽 카드 브랜드가 모두 작동하게 되었습니다.

  • AMD: 문제 없이 완전 작동
  • NVIDIA: 작동하나 디스플레이 출력 등 일부 제한 존재
  • Intel: 작동하며 드라이버 패치가 Linux 커널에 통합 진행 중, 일부 결함 존재

NVIDIA GB10 슈퍼칩 테스트

NVIDIA GB10 장치에 대한 테스트가 진행 중이며, 인상적인 성능을 보여주고 있습니다.

  • CPU 성능: M2 또는 M3 Mac과 거의 동등한 수준
  • GPU 성능: 약 RTX 4070 시리즈급
  • 게임 테스트: Crysis Remastered “Can it Run Crysis” 모드에서 원활하게 구동

System76 Thelio Astra

지구상에서 가장 빠른 ARM 데스크탑 컴퓨터로 소개됩니다.

  • CPU 코어: 128코어
  • 코어당 성능: Raspberry Pi 5보다 약간 빠른 수준
  • 특징: 개별 코어 속도보다 대규모 병렬 처리에 강점

추가 테스트 장비

다양한 하드웨어에 대한 비교 테스트가 진행 중입니다.

  • GL-INET Comet Pro: 네트워크 테스트용
  • 32GB AI Pro R9700: Raspberry Pi와의 벤치마크 비교 예정

향후 계획

Jeff Geerling은 추가 테스트와 영상 제작을 예고하고 있습니다.

  • 다양한 NVIDIA 그래픽 카드 테스트 예정
  • 디스플레이 출력 문제 해결 시도
  • 블로그 포스트를 통한 설정 가이드 공개 예정
  • Pi와 Intel Core Ultra 프로세서 시스템 간 성능/효율성 비교 계획

참고 정보