본 슬로그는 AI 관련한 상식을 기록하기 위함입니다. LLM 서비스가 전문가 수준으로 발전했기 때문에 대부분의 소스는 LLM을 통해서 획득하겠지만 결과를 잘 검증한 후 기록하도록 하겠습니다.
제목을 변경해야겠네요. 상식이라기 보다는 기록 정도로 수정해야겠습니다.
LLM 서비스에서 Chat 모드와 Agent의 차이점은 뭐야?
from Copilot
LLM(대규모 언어 모델) 기반 서비스에서 Chat과 Agent는 비슷해 보이지만, 기능과 역할에서 차이가 있습니다.
- Chat: 주로 사용자와 자연스러운 대화를 나누며 질문에 답하거나 정보를 제공하는 방식입니다. 일반적인 채팅 모델은 기억력이 제한적이며, 사용자의 요청에 따라 답변을 생성하는 역할을 합니다. 즉, 사용자가 질문하면 그에 맞춰 즉각적인 응답을 제공하는 형태라고 볼 수 있습니다.
- Agent: 보다 능동적인 역할을 수행하는 AI 모델을 뜻합니다. 특정 목적을 위해 여러 단계를 거쳐 작업을 수행하거나, 기억을 활용해 지속적인 맥락을 유지하며 더 복잡한 문제를 해결할 수 있습니다. 예를 들어, 사용자에게 적절한 조치를 제안하거나 자동화된 작업을 수행하는 기능이 포함될 수 있습니다.
쉽게 말해, Chat은 대화 중심, Agent는 실행 중심이라고 볼 수 있습니다. 하지만 두 개념이 점차 결합되면서, 대화형 AI도 점점 더 강력한 에이전트 역할을 수행하는 방향으로 발전하고 있습니다.
SLM(Small Language Model)은 LLM에 비해 무슨 차이고 어디서 유용할까?
from Copilot
SLM(소형 언어 모델)과 LLM(대규모 언어 모델)의 가장 큰 차이는 모델 크기와 성능입니다. LLM은 수천억 개 이상의 매개변수를 가진 대규모 AI 모델로, 방대한 데이터를 학습하여 다양한 자연어 처리 작업을 수행할 수 있습니다. 반면, SLM은 수백만~수십억 개의 매개변수를 가진 소형 모델로, 특정 작업에 최적화되어 빠르고 효율적으로 작동합니다.
SLM이 유용한 분야:
- 온디바이스 AI: 스마트폰, 웨어러블 기기, IoT 디바이스에서 빠르게 실행 가능
- 실시간 응답: 챗봇, 음성 인식, 자동완성 기능 등에 적합
- 특정 도메인 최적화: 의료, 금융, 법률 등 특정 분야에서 높은 정확도 제공
- 비용 효율성: 적은 컴퓨팅 자원으로 운영 가능, 클라우드 의존도 감소
최근 AI폰과 같은 온디바이스 AI 기술이 발전하면서 SLM이 더욱 주목받고 있습니다. 반면, LLM은 창의적인 텍스트 생성, 복잡한 질의응답, 코드 작성 등 고급 작업에 적합합니다