마이크로소프트가 Windows 설정에서 자연어를 이해하고 설정을 변경할 수 있는 새로운 온디바이스 소형 언어 모델 'Mu’를 발표했습니다.
주요 특징:
- 330M 파라미터의 초소형 인코더-디코더 구조로 NPU에 최적화
- 초당 100개 이상의 토큰 처리 속도로 빠른 응답 제공
- Phi 모델 대비 1/10 크기지만 유사한 성능 달성
기술적 혁신:
- 인코더-디코더 아키텍처로 첫 토큰 지연시간 47% 감소, 디코딩 속도 4.7배 향상
- 듀얼 LayerNorm, RoPE(회전 위치 임베딩), GQA(그룹 쿼리 어텐션) 등 최신 기술 적용
- 8비트/16비트 양자화로 메모리 사용량 감소
Windows 설정 에이전트 적용:
- 자연어로 Windows 설정 변경 가능 (예: “밝기 높여줘”)
- 500밀리초 이내 응답으로 실시간 사용자 경험 제공
- 360만 개 샘플로 학습하여 수백 가지 설정 지원
현재 Copilot+ PC의 Windows Insider Dev 채널에서 테스트 중이며, NPU를 활용한 효율적인 온디바이스 AI 실행의 새로운 가능성을 보여주고 있습니다.