OpenClaw를 로컬 LLM으로 돌리려고 모델을 골랐다.

전날 벤치마크 이후 추가 테스트.

30B 이상 모델은 실전에서 애매했다.

테스트 결과.

qwen3:30b
18GB
500 error
Docker 환경 tensor overflow

codellama:34b
19GB
미작동
호스트 바이너리로 전환 후 개선

deepseek-r1:32b
19GB
벤치마크 0 tok/s
메모리 이슈

gemma3:27b
17.3GB
느림
그래도 쓸만함

패턴.

7B ~ 14B
정상

27B ~ 34B
불안정

70B 이상
너무 느림

최종 선정.

qwen3:14b
9.3GB
메인 모델
15.4 tok/s

codellama:13b
7.4GB
코딩용

deepseek-r1:7b
4.7GB
가벼운 추론용

gemma3:12b
8.1GB
범용

gemma3:27b
17.3GB
느리지만 깊은 분석용
10.11 tok/s

neural-chat:7b
4.1GB
빠른 채팅용
41.34 tok/s

gemma2:9b
5.4GB
범용 경량
28.15 tok/s

mistral:latest
4.4GB
경량 다목적
34.78 tok/s

삭제한 모델.

qwen3:30b
codellama:34b
deepseek-r1:32b
gpt-oss:20b
orca2:13b
mistral-openorca
llama3.3:70b
llama2:13b
dolphin-mixtral
phi4:14b

정리 후 구성.

기존:
18개 모델
약 500GB

최종:
8개 모델
약 61GB

삭제 명령.

ollama rm qwen3:30b
ollama rm codellama:34b
ollama rm deepseek-r1:32b
ollama rm gpt-oss:20b
ollama rm orca2:13b
ollama rm mistral-openorca
ollama rm llama3.3:70b
ollama rm llama2:13b
ollama rm dolphin-mixtral
ollama rm phi4:14b

최종 스택.

NVIDIA DGX Spark
Ollama host binary
Nginx
Prometheus
Grafana

선택은 했는데 실전에서는 못 써먹음.