https://blogs.oracle.com/ai-and-datascience/post/announcing-new-meta-llama-releases-on-oci-gen-ai
Oracle Cloud Infrastructure(OCI)는 Meta Llama 모델의 세 가지 주요 업데이트를 발표했습니다.
첫째, Meta의 Llama 3.3 70B 모델이 일반 공개되었습니다. 이 텍스트 전용 모델은 Llama 3.1 70B와 Llama 3.2 90B보다 향상된 성능을 제공하며, 동일한 프롬프트 형식을 사용하고 128k 컨텍스트 길이와 코드 인터프리터 지원을 유지합니다. 추론, 코딩, 수학 및 지시 따라가기 측면에서 개선되었으며, 자세한 내용은 Llama 3.3 모델 카드를 참조하세요.
둘째, Meta의 최첨단 모델인 Llama 3.1 405B의 새로운 FP8 양자화 버전이 출시되어 GPU 사용량을 50% 감소시켰습니다. 이를 통해 성능은 유지하면서도 더 비용 효율적으로 전용 컴퓨팅 인스턴스를 배포할 수 있습니다.
셋째, OCI GenAI 팀은 Llama 모델에 도구 지원을 추가하여 외부 도구 및 API와의 통합을 가능하게 했습니다. 이를 통해 모델은 실시간 데이터 수집, 코드 실행, 데이터베이스 상호작용이 가능해져 응답의 정확성과 맥락적 관련성이 향상되었습니다. 이는 복잡한 쿼리 처리 및 외부 데이터나 처리가 필요한 작업 수행을 가능하게 합니다.
Oracle Cloud Infrastructure 고객은 인프라 관리 부담 없이 모델을 사용할 수 있으며, 채팅 인터페이스, API 또는 전용 엔드포인트를 통해 액세스할 수 있습니다.