AI 돌리는 컴퓨터 사양 완전 정리: 클라우드부터 로컬 LLM까지 (윈도우·맥)

대상: AI, LLM을 이제 써보려는 사람  ·  형식: 셋업 가이드  ·  2026-07-10

이미지: AI를 돌린다는 건 결국 내 컴퓨터의 메모리를 빌려주는 일이다. 얼마나 빌려줄 수 있느냐가 사양을 정한다.

내 AI가 화면 위에서 스스로 꺼졌다

코드를 짜다가 잠깐 자리를 비웠다. 돌아와 보니 터미널에 빨간 글씨 한 줄, "Killed". 잘 돌던 AI 도구가 갑자기 죽어 있었다.

더 이상한 건 그다음이었다. 커서 자리에 알 수 없는 숫자가 폭포처럼 쏟아졌거든. 35;55M35;94M 같은 것이 마우스를 움직일 때마다 더 늘어났다. 꼭 죽은 프로그램이 마지막으로 발작하는 것 같았지.

궁금해졌다. AI가 왜 스스로 목을 맸을까? 파고들다 보니 질문이 셋으로 정리됐다. AI 도구는 왜 갑자기 죽나, 윈도우에서 이걸 어떻게 막나, 그래서 AI를 제대로 돌리려면 대체 어떤 컴퓨터가 필요한가. 이 글은 그 셋에 순서대로 답한다.

죽은 건 자살이 아니라 타살이었다

결론부터. Killed는 프로그램이 스스로 끝난 게 아니라 운영체제가 강제로 죽인 것이다. 리눅스에는 메모리가 부족해지면 가장 많이 먹는 프로그램을 골라 쳐 죽이는 장치가 있거든. 이름도 살벌하게 "메모리 부족 처형기(OOM Killer)"라고 부른다.

그럼 AI 도구가 왜 그렇게 메모리를 먹었나. 여기서 토큰이라는 말을 알아야 한다. 토큰은 AI가 읽고 쓰는 글의 조각이다. 대화가 길어지고 문서를 많이 물릴수록, AI는 그 내용을 전부 메모리에 쌓아두고 다음 답을 만든다. 내 경우엔 대화 하나에 40만 토큰이 올라가 있었다. 책 몇 권 분량을 통째로 손에 쥔 채 일하고 있었던 셈이지.

숫자 폭포는 곁가지지만 정체가 재밌다. AI 도구는 실행 중에 터미널을 "마우스 추적 모드"로 바꿔놓는다. 정상 종료하면 원래대로 돌려놓는데, 갑자기 죽으면 그럴 틈이 없다. 그래서 마우스를 움직일 때마다 좌표 신호가 글자로 찍혔던 것. 터미널에 reset 한 줄 치면 깔끔하게 사라진다.

이미지: Killed는 프로그램이 스스로 끈 게 아니다. 메모리가 모자라자 운영체제가 강제로 내려버린 것이다.

이제 진짜 알맹이. 윈도우 사용자가 꼭 알아야 할 사실이 하나 있다. 윈도우에서 이런 AI 개발 도구를 돌리면, 사실은 윈도우 안에 숨어 있는 작은 리눅스 위에서 도는 경우가 많다. 이 리눅스를 WSL(윈도우 서브시스템 for 리눅스)이라 부른다. 문제는 이 숨은 리눅스가 쓸 수 있는 메모리가 기본값으로 묶여 있다는 것.

마이크로소프트 공식 문서를 보면, WSL의 기본 메모리는 "윈도우 전체 메모리의 50%"다. 내 컴퓨터는 물리 메모리가 32GB인데, WSL은 그중 절반인 15GB 안에서만 놀고 있었다. 브라우저와 그 15GB를 나눠 쓰다가, 40만 토큰이 순간적으로 메모리를 확 밀어 올리자 처형기가 작동한 것이다.

고치는 법은 5분이면 된다. 윈도우 사용자 폴더(C:\Users\사용자명)에 .wslconfig라는 파일을 만들고 아래처럼 적는다. 코드처럼 보여도 겁먹지 말자, 그냥 "WSL아, 메모리 22GB까지 써도 돼"라고 적어주는 쪽지다.

[wsl2]
memory=22GB
swap=16GB

[experimental]
autoMemoryReclaim=gradual

memory=22GB는 물리 32GB 중 22GB까지 WSL에 허용한다는 뜻이다. 윈도우 본체용으로 10GB쯤 남겨두는 안전선이지. swap=16GB는 메모리가 넘칠 때 디스크를 임시 메모리로 빌려 쓰는 공간인데, 기본은 메모리의 25%라 4GB뿐이었다. 이게 넉넉하면 프로그램이 즉사하는 대신 조금 느려지면서 버틴다.

마지막 autoMemoryReclaim=gradual이 핵심이다. 이게 없으면 WSL은 22GB를 한번 잡은 뒤 윈도우한테 안 돌려준다. 놀고 있어도 계속 쥐고 있는 것. gradual로 켜두면 안 쓰는 메모리를 윈도우로 슬슬 반납한다. 그래서 상한은 높게 잡되 평소엔 윈도우가 여유롭게 돌아간다.

파일을 저장하고 파워셸에서 wsl --shutdown을 한 번 실행하면 적용된다. 내 경우 WSL 메모리가 15GB에서 21GB로, 스왑이 4GB에서 16GB로 늘었다. 22GB로 적었는데 21로 보이는 건 정상이다, WSL이 자기 몫을 조금 떼가거든.

함정: WSL 메모리 늘리기는 안전망이지 무한 해결책이 아니다. 근본은 대화를 40만 토큰까지 끌고 가지 않는 습관이다. 길어지면 정리하거나 새로 시작해라. 안전망과 습관은 같이 가야 한다.

여기서 길이 갈린다: 남의 AI냐, 내 AI냐

자, 이제 큰 질문. AI를 돌리는 컴퓨터라고 하면 두 가지가 완전히 다른 이야기로 갈린다. 이 갈림을 모르고 장비부터 사면 돈을 엉뚱한 데 쓴다.

첫째, 남의 AI를 빌려 쓰는 방식이다. Claude, ChatGPT처럼 진짜 똑똑한 모델은 저 멀리 회사의 거대한 서버에서 돈다. 내 컴퓨터는 그 결과를 받아 보여주는 창구일 뿐이다. 이때 병목은 램과 인터넷이지 그래픽카드가 아니다. 앞에서 죽은 사건이 바로 이 경우였다.

둘째, 내 AI를 내 컴퓨터에서 직접 돌리는 방식이다. Llama, Qwen 같은 공개 모델을 내려받아 내 기계에서 돌린다. 인터넷도 필요 없고 내 데이터가 밖으로 안 나간다. 대신 모델 전체가 내 컴퓨터 메모리에 올라가야 한다. 여기서는 그래픽카드 메모리가 절대적인 벽이 된다.

한 줄로 정리하면 이렇다. 클라우드는 램 싸움, 로컬은 그래픽카드 싸움. 그래서 "AI용 컴퓨터 사양"이라는 질문엔 답이 두 개다.

이미지: 남의 AI(클라우드)냐, 내 AI(로컬)냐. 이 갈림이 필요한 사양을 통째로 바꾼다.

남의 AI를 쓸 때: 램이 전부다

이건 내가 매일 쓰는 영역이라 자신 있게 말할 수 있다. 클라우드 AI 도구만 쓸 거라면, 그래픽카드는 아예 신경 쓸 필요가 없다. 무거운 건 대화 내용을 담아두는 램뿐이다.

지금 웬만한 노트북이 16GB, 조금 좋은 게 32GB다. 즉 클라우드만 쓸 거면 대부분 추가 지출이 0원이다. 죽지 않게 하는 건 하드웨어가 아니라 아까 그 5분짜리 설정과 습관이거든.

이미지: 클라우드는 무거운 계산이 남의 서버에서 돈다. 내 컴퓨터는 창구라 램만 넉넉하면 된다.

내 컴퓨터로 직접 돌릴 때: 원리부터

여기서부터는 정직하게 밝힌다. 내가 매일 돌려본 건 위의 클라우드 쪽이고, 로컬 모델은 직접 오래 굴려본 게 아니라 사양을 조사하고 계산한 것이다. 그러니 숫자는 기준선으로 보되, 실제 구매 전엔 본인이 돌릴 모델로 한 번 더 확인하시길.

로컬 모델의 사양은 딱 하나의 숫자가 지배한다. 모델을 통째로 담을 메모리다. 모델 이름 뒤에 붙는 7B, 32B, 70B에서 B는 "파라미터 10억 개" 단위다(70B면 파라미터 700억 개). 이 숫자가 클수록 똑똑하지만 그만큼 메모리를 많이 먹는다.

원래 이 모델들은 그대로 담으면 파라미터당 2바이트라, 70B가 140GB나 된다. 그래서 "양자화"라는 압축을 쓴다. 흔히 쓰는 Q4(4비트) 압축을 걸면 용량이 4분의 1로 줄어든다. 품질은 거의 안 떨어지면서. 아래 숫자는 전부 이 Q4 기준이다.

실측 기준으로 대략 이렇다. 7~8B는 6GB, 14B는 10GB, 32B는 24GB, 70B는 42GB. 여기에 대화가 길어지면 그 문맥도 메모리를 추가로 먹는다. 그래서 쓸만한 코딩용의 실질 하한선이 32B급이고, 이걸 제 속도로 굴리려면 메모리 24GB가 필요한 것이다.

함정이 하나 있다. 모델이 메모리에 다 들어가야 빠르다. 조금이라도 넘쳐서 느린 일반 램으로 새면 속도가 몇 배로 떨어진다. "24GB면 32B가 되긴 된다"와 "쾌적하다"는 다른 말이다. 여유를 두고 잡아야 한다.

이미지: 로컬 모델은 그릇(메모리)에 통째로 담겨야 빠르다. 넘치는 순간 급격히 느려진다.

윈도우 장비: 그래픽카드 메모리(VRAM)가 벽

윈도우에서 로컬 모델을 돌린다면, 볼 숫자는 단 하나다. 그래픽카드에 붙은 전용 메모리 VRAM. CPU가 몇 코어인지, 램이 몇 GB인지보다 이게 먼저다.

시스템 램은 VRAM의 1.5~2배(32~64GB)를 받쳐주면 좋다. 현실적인 "마음놓고 한 대"는 RTX 5090 32GB에 램 64GB 조합이지. 이러면 32B는 여유롭고 70B도 손댈 수 있다.

CPU만으로도 로컬 모델이 돌긴 한다. 하지만 초당 몇 글자 수준이라 실무엔 못 쓴다. 로컬을 진지하게 할 거면 VRAM 큰 그래픽카드가 사실상 입장권이다.

이미지: 윈도우 로컬 구동에서 볼 숫자는 코어도 램도 아닌 그래픽카드 메모리(VRAM) 하나다.

맥 장비: 통합 메모리가 판을 뒤집는다

맥은 이 판을 흥미롭게 뒤집는다. 애플 실리콘 맥은 CPU와 그래픽이 메모리를 따로 갖지 않고 하나로 공유한다. 이걸 통합 메모리라 부른다. 그래서 큰 통합 메모리를 단 맥 한 대가, 윈도우로 치면 값비싼 그래픽카드 여러 장이 필요한 모델을 조용히 돌린다.

애플의 그래픽 엔진은 통합 메모리의 약 75%까지 모델용으로 쓸 수 있다. 64GB 맥이면 약 48GB, 128GB 맥이면 약 96GB가 모델 몫이 되는 셈이다. 이게 맥이 로컬 AI 애호가들에게 사랑받는 진짜 이유다.

단, 용량만 보면 안 된다. 토큰이 나오는 속도는 메모리 대역폭에 비례한다. 기본형 칩은 대역폭이 낮아 큰 모델이 느리고, Max·Ultra급이라야 큰 모델도 쓸 만한 속도가 난다. 큰 메모리는 어차피 Max·Ultra에만 붙으니, "메모리 크고 대역폭 넓은 조합"으로 자연히 정리된다.

이미지: 맥은 하나의 큰 통합 메모리를 CPU와 GPU가 나눠 쓴다. 그래서 조용한 한 대로 큰 모델을 돌린다.

그래서 뭘 사야 하나: 예산·용도별

전부 종합하면, 살 장비는 "얼마짜리를 살까"가 아니라 "뭘 돌릴까"에서 거꾸로 나온다. 용도별로 잘라 보자.

솔직한 결론을 하나 박겠다. 지금 겪는 대부분의 문제는 클라우드 쪽이고, 하드웨어 부족이 아니다. 로컬 모델은 프라이버시와 오프라인, 실험이라는 분명한 장점이 있다. 하지만 코딩 품질은 여전히 클라우드 최고 모델이 로컬 32~70B를 앞선다. "실무를 마음놓고"가 목표라면, 수백만 원짜리 장비를 지르기 전에 지금 컴퓨터에 클라우드 구독이 가장 가성비 높다.

장비 사기 전에, 이 순서로 점검해라

사양표를 외우는 것보다 질문 순서를 잡는 게 먼저다. 아래 순서대로 자문하면, 살지 말지와 산다면 뭘 살지가 저절로 나온다.

그래도 하나만 챙긴다면, 이것이다.

장비를 먼저 사지 마라. 뭘 돌릴지부터 정하면, 사양은 거기서 거꾸로 나온다.

근거·출처

• WSL 기본 메모리 50%, 스왑 25%, autoMemoryReclaim: Microsoft Learn, Advanced settings configuration in WSL
• 모델 크기별 필요 메모리(Q4): SitePoint, VRAM Requirements for 70B Models (2026)
• 애플 실리콘 통합 메모리 GPU 할당(~75%): SitePoint, Local LLMs on Apple Silicon Mac (2026)

로컬 모델·장비 수치는 직접 장기 실측이 아니라 조사·계산한 기준선이다. 클라우드·WSL 부분은 직접 겪고 실측했다. 그래픽카드·맥 모델명은 2026년 기준이며, 구매 전 본인 용도로 재확인을 권한다.