AI Models Need a Virtual Machine

이번 글은 "AI Models Need a Virtual Machine" 에 대한 내용입니다. 처음 이 글 제목을 보고 이게 무슨 뚱딴지 같은 소리야! 싶었는데요. 사실 AI 어플리케이션을 개발 할 때는 보통 컨테이너나 VM 등을 당연히 많이 사용하기 때문입니다. 근데 자세히 읽어보니 그런 내용은 아닌 것 같았습니다. 

 

https://blog.sigplan.org/2025/08/29/ai-models-need-a-virtual-machine/

AI Models Need a Virtual Machine

 

여기서 말하는 가상화는 VM 과 같은 내용이 아니라 AI 모델을 감싸고 실행을 관리하는 새로운 소프트웨어 계층을 가리키는 것이었습니다. 의미합니다. 즉, 프로그래밍을 위해서 하는 가상화가 AI 모델에서 필요하다는 의미입니다. 

 

모델을 위한 ‘가상 머신’이란?

이 블로그에서 말하는 AI 모델 즉, LLM은 본질적으로 입력 텍스트를 받아 토큰을 출력하는 언어 엔진일 뿐입니다. (사실 현재 트렌드 상 그러하긴 하지만 그렇지 않은 경우도 많습니다. 예를 들어 이미지 등을 활용한 모델도 많기 때문입니다. 여기서는 언어 모델을 주로 얘기합니다.) 하지만 실제 애플리케이션 환경에서는 단순 출력 이상의 기능이 필요합니다.

• 파일 접근
• 외부 API 호출
• 사용자 세션 관리
• 출력 결과의 안전성·적합성 검증

이런 기능을 모델에게 직접 맡길 수는 없습니다. 보안 문제나 예측 불가능한 동작이 발생하기 때문이죠. 따라서 이 모든 것을 제어·격리·관리할 중간 계층이 필요합니다. 글에서는 이를 **Model Virtual Machine (MVM)**이라 부릅니다. 즉, 전통적인 VM이 하드웨어 리소스를 추상화하듯, MVM은 모델과 외부 세계의 상호작용을 추상화하는 실행 환경이라는 것입니다.

왜 필요한가?

1. 보안과 격리
   모델이 외부 리소스에 접근할 때 허용된 범위만 쓸 수 있도록 제한합니다. 예를 들어, 파일을 읽거나 API를 호출할 때 권한 검증이 선행되어야 합니다.
2. 확장성과 이식성
   애플리케이션마다 모델이 바뀔 수 있지만, 인터페이스(MVM)는 동일하게 유지되면 손쉽게 교체 가능합니다. 운영체제 위에서 다양한 앱이 돌아가는 것과 같은 개념입니다.
3. 일관된 실행 환경
   모델이 다르더라도 동일한 추상 계층 위에서 동작하면, 개발자는 공통된 방식으로 제어·로깅·정책 관리가 가능합니다.

 

기존 시도들

글에서는 MVM과 유사한 시도로 이미 등장한 여러 접근 방식을 소개합니다.

• OpenAI의 Structured Tool Calling
  JSON 기반 함수 호출 API를 통해 모델이 도구를 안전하게 호출할 수 있도록 설계되었습니다.
• Anthropic의 MCP (Model Context Protocol)
  모델이 도구나 데이터 소스와 연결되는 방식을 표준화한 프로토콜입니다. 글에서는 이를 USB-C 포트에 비유합니다. 어디에 꽂아도 동일하게 동작하는 규격을 만들자는 것이죠.
• 보안 중심 런타임
  • FIDES: 정보 흐름을 라벨링하여 접근을 제어
  • AC4A: 계층적 권한 구조를 통해 모델의 접근 범위를 런타임에서 제한
• 에이전트 런타임 프레임워크
  • LangChain, Semantic Kernel: 모델을 쉽게 조립할 수 있는 런타임 제공
  • llguidance: 모델이 생성하는 토큰을 세밀하게 제어할 수 있도록 경량 VM 기능을 추가

 

MVM이 제공해야 하는 기능

전통적인 VM이 CPU, 메모리, I/O를 관리하는 것처럼, MVM도 모델 중심의 자원을 관리합니다.

• 모델 및 도구의 로드/초기화/종료
• 모델 호출 (컨텍스트 포함)
• 출력 파싱과 도구 호출
• 결과 저장, 사용자 입력 요청
• 조건 분기·순차 실행 같은 제어 흐름

이 모든 것은 **엄격한 형 검증(typed context)**과 권한 시스템 아래에서 동작해야 하며, 허용되지 않은 동작은 차단되어야 합니다.

 

앞으로의 방향

글의 마지막에서 강조하는 메시지는 명확합니다.

• AI 모델은 이제 단순히 API로 불러 쓰는 엔진이 아닙니다.
• 운영체제처럼 동작하는 실행 환경(MVM) 위에서 관리되어야 합니다.
• 이렇게 해야만 보안·확장성·호환성을 동시에 확보할 수 있습니다.

결국 AI 모델이 사회 곳곳에 깊게 들어가는 미래에는, MVM 같은 계층이 사실상 표준이 될 가능성이 높습니다.

 

정리해보자면, “AI Models Need a Virtual Machine”이라는 글은 AI 실행 환경을 다시 생각해야 한다는 문제 제기였습니다. 컨테이너나 VM이 아니라, 모델을 위한 VM이 필요하다는 이야기였죠. AI 모델은 더 이상 단순한 함수 호출 수준으로 다루기에는 규모와 책임이 커졌습니다. 운영체제처럼, 안전하고 일관된 실행 환경 위에서 동작하도록 만들어야 합니다. 그것이 바로 이 글이 강조하는 “AI를 위한 Virtual Machine”의 진짜 의미였습니다.

 

이 블로그를 읽으면 뭔가 내가 생각하던걸 이렇게 정리할 수 있구나 싶습니다.(숟가락 얹기...) 읽어주셔서 감사합니다.