LM Studio는 로컬에서 LLM을 실행하고 테스트할 수 있는 도구로, Hugging Face에서 모델을 다운로드하여 오프라인으로 실행할 수 있습니다. 또한, LM Studio SDK나 OpenAI 엔드포인트를 통해 애플리케이션과 통합할 수 있으며, 내 문서와의 채팅을 지원하는 RAG 기능도 제공합니다. 설치 후 첫 모델을 다운로드하고 로드하여 질문을 시작할 수 있으며, 다양한 설정 옵션을 통해 모델을 쉽게 조정할 수 있습니다. '사용자’와 ‘어시스턴트’ 모드 전환, 개발자 탭에서 LLM 서버 실행 및 OpenAI 호환 엔드포인트 노출 등의 기능도 제공합니다. Ollama 대신 사용할지는 아직 결정하지 않았지만, 시도해볼 가치가 있습니다.
2개의 좋아요