https://www.thoughtworks.com/insights/blog/generative-ai/how-to-evaluate-an-LLM-system
대규모 언어 모델(LLM) 기반 애플리케이션의 평가, 즉 'evals’는 성능과 신뢰성을 보장하기 위해 필수적입니다. 평가의 주요 목적은 성능 기준 설정, 일관성 및 신뢰성 확보, 개선을 위한 통찰 제공, 회귀 테스트 가능성입니다. 사전 배포 평가에서는 성능 측정과 회귀 없는 업데이트를 보장하며, 이를 위해 전문가가 생성한 기준 데이터셋과 적절한 평가 지표가 필요합니다. 배포 후에는 지속적인 모니터링과 데이터 플라이휠을 통해 성능을 최적화합니다. 평가를 개발 초기부터 통합하여 사용자 기대에 부합하는 신뢰성 높은 LLM 애플리케이션을 구축하는 것이 중요합니다.