GPU, NPU 발전에... 프롬프트 엔지니어링? ㄴㄴ 컨텍스트 엔지니어링의 시대를 열다... 에이전틱AI | 안될공학

분야 AI 일반
,
1

AI 패러다임 전환: 프롬프트 엔지니어링에서 컨텍스트 엔지니어링으로

1. AI 발전의 핵심 변화

패러다임 전환의 배경

  • AI 발전 속도와 활용 트렌드가 급속히 변화

  • 프롬프트 엔지니어링에서 컨텍스트 엔지니어링으로의 근본적 전환

  • 단순한 유행어 변화가 아닌 AI 활용 방식의 근본적 변화

  • 하나의 질문을 잘 닫는 기술에서 AI가 최상의 결과를 내도록 환경 전체를 설계하는 방향으로 발전

변화의 중심: AI 반도체 발전

  • 거대한 변화의 중심에는 AI 반도체의 발전이 위치

  • HBM, MV 링크, MV 스위치, 인피니 밴드 등 인터넥트 기술의 연관성

2. 트랜스포머 아키텍처의 등장과 영향

2017년 구글 트랜스포머의 혁신

  • 과거 RNN/LSTM의 한계: 순차적 처리로 인한 장기 의존성 문제

  • 트랜스포머의 어텐션 메커니즘: 모든 단어 간의 관계를 병렬적으로 한 번에 계산

  • 이 구조를 기반으로 BERT, GPT 등의 대형 언어모델 탄생

GPT-3의 등장과 프롬프트 엔지니어링의 부상

  • GPT-3의 놀라운 성능에 대한 열광

  • 프롬프트 엔지니어링의 화려한 등장

  • AI에게 입력하는 명령어에 따라 답변 품질이 천차만별로 변화

  • 프롬프트 엔지니어가 LLM 성능을 극한까지 끌어내는 마법사로 조명받음

3. 프롬프트 엔지니어링의 한계

기술적 한계 분석

1. 프롬프트의 취약성 문제

  • 단어 하나, 조사 하나만 바뀌어도 결과가 완전히 달라짐

  • 모델 마이너 업데이트 시 어제까지 완벽했던 프롬프트가 오늘은 먹통이 되는 현상

  • 안정적인 서비스 구축의 발목을 잡는 요인

2. 지식 단절 문제

  • AI는 특정 시점까지의 데이터로만 학습

  • 최신 정보를 알지 못함

  • 기업 내부 데이터 같은 비공개 정보 참조 불가능

  • 할루시네이션 현상: 사실이 아닌 정보를 그럴듯하게 지어내는 구조적 문제

개발자들의 깨달음

  • 완벽한 질문 하나를 만드는 것은 밑빠진 독에 물붓기

  • AI에게 질문만 던질게 아니라 답을 찾는데 필요한 재료와 환경을 시스템적으로 제공해야 함

  • 이러한 인식의 전환이 컨텍스트 엔지니어링의 등장을 이끔

4. 컨텍스트 엔지니어링의 등장

컨텍스트 엔지니어링 정의

LLM이 주어진 일을 안정적으로 해결하도록 필요한 정보, 도구, 그리고 지시 사항을 하나의 묶음(컨텍스트)으로 구성해 동적으로 제공하는 시스템을 설계하는 모든 활동

사고 방식의 근본적 변화

프롬프트 엔지니어링 vs 컨텍스트 엔지니어링

프롬프트 엔지니어링:

  • “이 질문에 똑똑하게 답해 봐라”

컨텍스트 엔지니어링:

  • “여기 관련 매뉴얼 PDF 파일들과 실시간 주가 확인 API 도구 그리고 방금까지의 대화 기록이야. 이걸 전부 참고해서 이 과업을 완수해 봐라”

핵심 철학 변화

  • “어떻게 질문할까?” → “AI가 성공하려면 무엇을 알아야 하고 무엇을 할 수 있어야 할까?”

5. RAG(검색 증강 생성) 기술

RAG의 핵심 역할

할루시네이션과 지식 단절 문제를 정면으로 돌파하는 컨텍스트 엔지니어링의 대표적 구현 기술

RAG 시스템 구조

1. 벡터 데이터베이스 활용

  • 파인콘(Pinecone), 크로마(Chroma DB) 등의 벡터 데이터베이스

  • 기업 내부 문서나 최신 정보 데이터를 미리 저장

2. RAG 처리 과정

  1. 사용자 질문 입력

  2. 질문을 벡터로 변환(임베딩): 수백수천 개 단위의 숫자로 표현

  3. 벡터 DB에서 유사한 벡터값을 가진 데이터 조각들을 검색

  4. 검색된 사실 데이터를 원래 질문과 함께 긴 컨텍스트에 담아 LLM에게 전달

  5. 답변 생성

고급 RAG 기술 발전

  • Corrective Retrieval Augmented Generation: LLM 스스로 검색 결과가 불충분하다고 판단하면 다른 검색으로 다시 질문하거나 여러 문서를 종합해 답변 생성

  • 랭체인(LangChain), 라마 인덱스(LlamaIndex) 등의 프레임워크가 복잡한 RAG 파이프라인 구축 지원

6. 하드웨어 인프라의 핵심 역할

컨텍스트 처리의 기술적 도전

  • 트랜스포머의 어텐션 메커니즘: O(n²) 즉, 컨텍스트 길이의 제곱에 비례하는 계산량

  • 컨텍스트가 두 배 길어지면 계산량은 네 배

  • 열 배 길어지면 100배로 계산량 폭증

하드웨어 솔루션의 3단계 해결책

1. GPU와 메모리 간 병목 해결

  • HBM3E, HBM3 등 고대역폭 메모리

  • 초당 테라바이트급의 데이터 전송 속도 제공

2. 서버 내 GPU 간 병목 해결

  • NVLink: GPU들을 직접 연결해 PCI Express보다 수십배 빠른 통신 가능

  • NV 스위치: NVLink들을 거미줄처럼 엮어주는 역할

  • 여덟 개의 GPU가 마치 하나의 거대한 GPU처럼 작동

3. 서버 간 병목 해결

  • 인피니밴드(InfiniBand): RDMA 기술 사용

  • CPU를 거치지 않고 원격 서버의 메모리에 직접 접근

하드웨어와 컨텍스트 엔지니어링의 상관관계

컨텍스트 엔지니어링은 컨텍스트 윈도우가 커지면서 가능해졌고, 그 컨텍스트 윈도우가 커진 것은 HBM, NV, 인피니밴드라는 세 박자가 완벽하게 맞아떨어진 하드웨어 인프라 기술 위에서 이루어진 것

7. 에이전틱 AI의 미래

에이전틱 AI의 정의

단순히 답하는 것을 넘어 목표를 가지고 계획을 세우고 API 같은 도구를 사용하며 스스로 피드백을 통해 결과를 수정해 나가는 자율적인 시스템

대표적인 사례들

코그니션 랩스의 Devin

  • 최초의 AI 소프트웨어 엔지니어를 표방

  • 사용자 요구사항을 바탕으로 스스로 코드를 작성

  • 웹브라우저와 터미널을 오가며 소프트웨어를 개발하고 디버깅

기타 사례

  • 스카이워크(SkyWork)

  • 오픈AI의 에이전트 모드

에이전트 작동을 위한 컨텍스트 요구사항

에이전트가 제대로 작동하려면 다음을 실시간으로 인식해야 함:

  • 자신의 임무

  • 계획

  • 사용 가능한 도구

  • 과거의 행동 기록

이 모든 정보가 바로 컨텍스트

ReAct 프레임워크 (스탠포드 대학)

에이전트가 **“나는 지금 X라는 정보가 부족하니 Y라는 도구를 사용해 검색해야겠다”**와 같이 생각과 행동을 순차적으로 생성하며 작업을 수행하는 방식

컨텍스트를 얼마나 정교하게 구성하고 제공하느냐가 에이전트의 성능을 좌우

프롬프트 vs 컨텍스트의 역할 비교

프롬프트의 역할

  • “출장 계획을 세워줘” (단 하나의 시작 명령)

컨텍스트의 역할

  • 출장 규정

  • 항공권 검색 API

  • 내 캘린더 정보

  • 기타 임무 수행에 기반이 되는 월드 모델 그 자체를 제공

8. 결론 및 미래 전망

패러다임 전환의 의미

AI 개발의 패러다임이 프롬프트의 기교에서 컨텍스트의 아키텍처로 넘어가는 거대한 전환

필연적 흐름

  • 프롬프트 엔지니어링의 명확한 한계 극복

  • RAG와 같은 기술을 통해 더욱 안정적이고 신뢰도 높은 AI 구현

  • 자율적인 AI 에이전트의 구현을 향한 궁극적 목표

종합적 접근의 필요성

문제를 자율적으로 풀기 위한 AI를 만들어내기 위해서는:

  • 하드웨어 인프라

  • 소프트웨어

  • 운영 알고리즘

모든 영역에서의 통합적 발전이 필요

인간과 같은 인공지능을 만들기 위한 전방위적 노력이 현재 진행 중

1개의 좋아요