요약
Llama 4 시리즈는 최첨단 멀티모달 AI 모델로, Llama 4 Scout와 Llama 4 Maverick을 포함합니다. Llama 4 Scout는 17억 활성 파라미터와 16개의 전문가로 구성되어 있으며, 단일 NVIDIA H100 GPU에 적합합니다. Llama 4 Maverick은 128개의 전문가를 사용하여 GPT-4o와 Gemini 2.0 Flash를 능가하는 성능을 제공합니다. Llama 4 Behemoth는 288억 활성 파라미터로, STEM 벤치마크에서 GPT-4.5를 능가합니다. 이 모델들은 혼합 전문가(MoE) 아키텍처를 사용하여 효율적인 학습과 추론을 가능하게 하며, 10M의 컨텍스트 길이를 지원합니다. 오픈 소스로 제공되어 개발자들이 새로운 경험을 구축할 수 있도록 지원합니다. 안전성과 편향성 문제를 해결하기 위한 다양한 보호 장치와 테스트가 포함되어 있습니다.
메모
- 특히 한국어 문법 이해도 높다고 함