어쩌다 보니 .. 회사에서 Apple Mac Studio M3 Ultra 512gb 모델을 사줘서 Local LLM을 구성해서 기존에 사용하던 클로드 코드나 코덱스등의 구독형 Ai 서비스와 병행해서 이런저런 짓을 한달 넘게 해보고 있습니다.
어쩌면 개인이 넘볼 수 있는 LocalLLM용의 가장 이상적인 장치일 순 있겠으나 .. 개인이 사비로 들여 놓기엔 매우 부담스러운 가격인 놈이긴 합니다.
M3 Ultra 512g 통합 메모리 모델 기준 4TB Sdd면 1600만원 가량, 저장공간을 16TB 까지 간다치면 2200만원이 좀 안되는 금액이니 쉽게 구입을 할 수 있는 가격대가 아닌건 사실이죠.. 저는 감사하게도 회사에서 지원을 해줘서 사비로 들이기엔 부담스러울 이놈을 책상위에 놓고 쓰게 되었는데요..
물론 개인적으로 DGX Spark 나 Amd의 스트릭스 할로우 였던가요? vram 에 98GB 까지 지정가능한 Ai 관련 제품들도 관심있게 자료를 찾아보던 중이긴 했습니다.
그럼에도 불구하고 이 제품을 LocalLLM 목적으로 구입을 해볼까 고민을 하고 계신분들이 있을것 같아서.. 이놈과 함께 LocalLLM으로 개발을 해 나가면서 얻는 정보들을 하나둘 정리해 놓으려고 카테고리를 하나 새로 파놨습니다.
우선 이놈을 받은 후에 제일먼저 고민했던 지점이 있습니다..
일반적으로 많이 사용하는 Ollama, LM Studio, llama.cpp? 뭘 쓰지?
고민할 시간에 그냥 삽질 해보는게 편한 성향이라 ..
사실 애플의 하드웨어는 Ai 시장에서 주류 하드웨어는 아닌건 사실입니다. 일단 기반을 쌓아 올린것은 Nvidia 의 GPU들이고 Ai 쪽과 관련된 무언가를 애플 진영에서 시작한 역사도 상대적으로 짧은 것도 사실이구요.
애플의 경우 MLX라는 프레임워크를 통해서 딥러닝 관련한 무언가들을 제공하는데요.. MLX 를 사용했을 때의 가장큰 이점이라고 하자면 GPU와 CPU 가 하나의 메모리를 공유하는 통합 메모리로 동작하는 하드웨어의 이점을 그대로 사용할 수 있다는 거고 .. 간단히 보자면 일반적으로 시스템 메모리와 GPU의 VRAM 간에 수 많은 복사과정과 그 복사에 소요되는 시간이 결국 총 연산 시간에 영향을 주게 되는 거다보니.. 상대적으로 다른 아키텍처에 비해서 이 부분에서의 속도 이점이 있다.. 라고 볼수 있습니다…..만!!!
일단 제가 해본 짓들을 기준으로 간단히 말씀 드리자면 ..
가장 손쉽게 허깅페이스의 mlx 커뮤니티의 mlx 모델들을 구동시킬 수 있는 mlx-ml 의 경우 우선 openai 의 api 서버를 제공은 한다 하지만 그 구조 자체가 조금 불안정합니다.. 정확한 원인까지 몰라도 .. 응답을 받는 중에 취소가 된다던지 하는 과정에서 서버가 뻗어버리는 경우도 잦고 .. 프로세스 자체를 종료하고 다시 실행해야하는 경우가 너무 잦았습니다.
다음으로 시도해본건 자체 MLX 엔진을 사용한다는 LM Studio 로 mlx 모델을 깔고 동작시켜 봤습니다만 .. 우선 LM Studio 는 클로즈 소스이고 다른 프로젝트들 대비해서 업데이트 주기가 좀 긴편이고 .. 개발자 입장으로는 너무 친절하게 대부분의 설정을 UI로 가능한 .. 그 부분이 오히려 어지러울정도로 번잡스러웠습니다. 이말은 개발자가 아니거나 그냥 GUI로 딸깍 딸깍 하길 좋아하신다면 LM Studio가 좋을수도 있다는 거겠죠.. LM Studio 를 안쓰게된 가장큰 이유는 기존에 알고 있던 정보에 비해서 MLX 모델과 GGUF 같은 다른 모델과의 속도차이가 그닥 나지 않더라는 겁니다. 동일 모델을 GGUF, MLX 모델을 설치하고 양자화 수준은 비슷한 놈으로 셋팅을 하고 동일한 프롬프트를 진행 하더라도 .. 그렇게 유의미한 효율차이가 나지 않더라는거죠..
Ollama 에서 GGUF 모델을 쓸때와 mlx-ml 내장 서버에 붙였을때는 그래도 모델따라서는 25~30% 정도의 성능차이가 나기도 햇어서 .. LM Studio 의 편의성에 기대를 했는데 .. 생각보다 맘에 안들어서 ..
결국 mlx 관련해서 어느정도 안정성이 확보되기 전까지는 Ollama를 사용하기로 결정 했습니다.
일단 512GB 의 메모리중 480GB를 VRAM 으로 사용할 수 있도록 하고 400b, 700b 대의 모델 크기만 3~400기가가 넘는 모델들도 초반에는 올려보고 돌려보고 했습니다만.. 결론적으로 이 놈들은 결과는 꽤 자세하게 만족스럽게 나와주지만 .. 속도가 글렀어요. 실사용 하기엔 무리가 있고 파라미터 수가 큰 만큼 컨텍스트의 KV와 관련한 메모리 점유율이 살벌합니다. 512GB 로도 실 사용하기엔 무리가 있는 경우가 많아서..
Kimi K2.5 같은 모델은 한대로는 조금 먼 이야기라 생각합니다.
우선 현실적으로 실 사용 가능한 수준의 모델은 70~80b 파라미터 사이의 것들이라 보시면 되겠구요.
저는 최근에는 Qwen3-coder-next 80b 모델을 주 모델로 사용중이고 자동완성이나 간단한 빠른 응답용으로는 Qwen2.5-coder 7b 모델을 사용중입니다.
이 모델은 Q4_K_M, Q8_0 두가지 양자화 모델을 ollama pull 로 다운로드 가능한데요. 저는 둘다 받아서 상황에 맞춰서 쓰고 있습니다만.. Q4와 Q8의 속도차이가 그렇게 막 심할정도로 나는건 아니라서 최근에는 Q8을 더 자주 쓰는것 같긴 합니다.
ollama create [모델명] -f 모델파일모델파일을 만들어서 사용 목적에 맞게 모델별 세부 옵션을 조정해서 새로운 모델을 만들어서 쓰고 있구요 ..
FROM qwen3-coder-next:q8_0
PARAMETER num_ctx 131072주로 컨텍스트 윈도 크기를 픽스해 넣는 목적으로 주로 쓰고 있습니다. 위와 같은 모델파일로 새로 모델을 만들면 해당 모델은 128k 컨텍스트 윈도로 동작하게 됩니다. 물론 클라이언트에서 num_ctx 같은 설정을 달고 요청이 들어오면 그 요청을 우선 하겠지만요..
어떤 모델을 사용할지 이런건 어차피 각각 개개인별로 선호하는 모델이 다를 수 있으니 ..
서버측 입장 말고 이 LocalLLM 에 붙여서 사용할 클라이언트측에 대한 써을 좀 풀어보겠습니다.
처음 LocalLLM 구성을 하고 사용해본 IDE의 플러그인은 Continue.dev, ProxyAI 가 있고, 에이전트 관련은 Opencode + Oh my Opencode 정도 될것 같네요.
IDE AI 플러그인은 Vscode 를 사용하시는 경우 Continue.dev를 쓰는게 보편적인것 같은데.. 저같이 Jetbrains사의 IDE를 사용하시는 경우에는 Continue.dev 의 경우 오류가 좀 많은것 같습니다. Diff 가 제대로 안되거나 Ctrl+I를 통해 에디터에서 선택 영역에 대해서 요청하는등의 기능이 잘 되다가 이상해지고 .. 다시 깔면 되다가도 .. 또 안되고.. 그래서 Vscode에 Contiune 를 썻습니다만.. 아무래도 Jetbrains사의 IDE가 익숙해서 ㅠㅠ
결론은 그냥 Jetbrains 사의 AI Assistant 플러그인을 쓰시면 됩니다. 유료구독 하지 않아도 Ollama 를 백엔드로 붙여 사용할 수 있습니다. 어쨋든 기능 자체도 안정성도 그렇고 역시 싸제는 정품을 못따라 가는 걸까요 ㅎㅎㅎ
Ai Assistant 구독을 하지 않더라도 LocalLLM 사용은 프리티어 상태에서도 사용 가능한것 같습니다.
이제 에이전트가 문제인데 ..
많은 분들이 Opencode 를 워낙 찬양을 하셔서 저도 Opencode + Oh my opencode .. 를 먼저 시도 했었는데요 ㅠㅠ
분명 제가 잘못하고 있는 거겠지요 ㅎㅎ
다른 분들은 32gb 램의 맥북프로나 16gb vram 의 nvidia gpu 가 달린 시스템에서도 Opencode와 Oh my opencode로 나름 유의미한 결과를 내신다고 하시는데 .. 몇일 삽질한 결과로는.. 저는 ㅠㅠ 실패했습니다.
제가 윈도 사용자라 그런건지 .. 리눅스나 맥에서 직접 구동시키면 좀더 나은 결과가 나올지는 모르겠습니다만. ㅠㅠ
장기과제로 남겨놔야 겠습니다.
그래서~! 익숙한 클로드 코드를 ollama 에 붙여서 쓰고 있습니다.
LocalLLM 으로 Ollama + 클로드 코드로 붙여 쓰고자 하시는 분들을 위해 정보공유를 하겠습니다.
우선 MS윈도 사용자이신 경우에는 Powershell 에서 클로드 코드를 구동하지 마세요. 알려진 이슈라고 하는데 제가 오퍼스나 소넷등으로 Powershell 에서 클로드 코드를 사용할때는 이런경우가 없었던것 같은데 .. Powershell 에서 구동한 클로드 코드를 통해서 툴이 실행되면 엄청나게 시간이 오래걸리는 경우가 생겼습니다.
제 경우 git bash 에서 실행하니 외부 명령을 실행할때 10분 이상 걸려서 타임아웃을 당하던 문제가 대부분 해결되었습니다.
그 외에는 이제 설정파일이나 환경변수의 설정 문제가 남겠군요 ..
{
"env" : {
"ANTHROPIC_BASE_URL": "http://192.168.0.110:11434",
"ANTHROPIC_AUTH_TOKEN": "ollama",
"ANTHROPIC_MODEL": "qwen3-coder-next",
"ANTHROPIC_SMALL_FAST_MODEL": "qwen3-coder-next",
"ANTHROPIC_DEFAULT_OPUS_MODEL": "qwen3-coder-next",
"ANTHROPIC_DEFAULT_SONNET_MODEL": "qwen3-coder-next",
"ANTHROPIC_DEFAULT_HAIKU_MODEL": "qwen2.5-coder:7b",
"CLAUDE_CODE_SUBAGENT_MODEL": "qwen3-coder-next",
"BASH_DEFAULT_TIMEOUT_MS": "600000",
"BASH_MAX_TIMEOUT_MS": "600000",
"API_TIMEOUT_MS": "3600000",
"MAX_THINKING_TOKENS": "0"
}
}이 내용은 제가 현재 Ollama 를 통해 LocalLLM으로 시험중인 프로젝트 폴더의 .claude/settings.json 파일입니다.
ANTHROPIC_BASE_URL 에 ollama 의 url을 적어 두시면 되구요. ANTHROPIC_AUTH_TOKEN는 명목상 값은 있어야 하는거라 ollama 라 넣어둿습니다.
ANTHROPIC_MODEL 이 사용할 모델이 되겟구요. ollama 에 설치된 모델중 클로드 코드를 통해 사용할 모델명을 적으시면 됩니다.
/model 을 쳐보면 Custom model 이라고 이 환경변수에 설정한 모델이 뜨는걸 볼 수 있습니다.
다른건 인터넷 찾아보시면 공식 문서에도 나오는 사항이니 뭐하는 용도인지 찾아보시구요.
제가 몇일간 개삽질 하며 찾은 한가지 환경변수에 대해서 마지막으로 이야기 하고 싶습니다.
클로드 코드 + Ollama 로 잘 진행해 가다가 먹통이 되어버리는 경우가 생기더라구요. 처음에는 Context 크기 문제인가 싶어서 256k로 늘려도보고 128k 로 줄여도 보고 64k로도 줄여보고 ..
Ollama 가 맛탱이가 간건가 싶어서 확인해보니 클로드 코드가 물고 있는 모델 제외한 나머지 모델들은 또 정상적으로 돌고 있고 ..
그래서 세부 로그를 남겨보니 ..
4분 40초~5분 사이에서 500 에러를 뱉어버리는 기록이 올라오더군요 .. 500 에러로 커넥션이 날라간 상황인데도 클로드코드는 계속 돌아가는 것 같아 보여서 반복적으로 확인을 해봤는데 ..
구글링을 해봐도 대체로 클로드 코드의 기본 타임아웃과 관련된 이슈일 것이다 클로드 코드가 5분 내에 결과를 못받으면 타임아웃 된다 같은 류의 내용만 찾아지고 .. 명확하게 정리된 무언가는 찾지 못했습니다.
그러다 우연히 찾은 정보중에 API_TIMEOUT_MS 라는 환경변수를 변경하면 클로드 코드의 전체 타임아웃을 변경가능하다는 글을 보고 이 값을 현재는 3600000로 설정해서 테스트를 해보고 있습니다. 찾아진 정보로는 클로드 코드의 기본 타임아웃이 5분이라 로컬 모델이 5분 이상 뭔가를 하게되면 문제가 발생했다고 판단되어서 타임아웃을 1시간으로 늘린 상태고 ..
동일한 프로젝트에 동일한 작업을 현재 2시간 가까이 돌아가고 있는데 아직 한번도 멈춤 없이 알아서 잘 돌아가고 있습니다.
아무래도 컨텍스트가 길어지면서 상대적으로 결과가 나오기 까지 5분은 너무 짧은 시간이 아닌가 싶네요..
LocalLLM이 Ai 서비스들 만큼 빠르고 좋은 결과를 낼 수 없다는건 모르는게 아니지만 조금 더 시간이 들어가더라도 토큰 걱정없이 맘대로 돌려보고 싶어 쓰는게 LocalLLM일건데 .. 이러한 차이때문에 클로드 코드를 버리고 Opencode 로 정착해야 하나를 고민하던 찰나에 찾아진 환경변수네요 ..
저 값이;; 클로드 코드 공식문서에선 찾아지지 않아서 한참을 고생한것 같네요.
혹시 저같이 Local LLM 구성해서 클로드코드 연동하려 하시는 분들 참고하시기 바랍니다.
댓글을 달려면 로그인해야 합니다.