Mac Studio M3 Ultra 512g + LocalLLM + Agents

여전히 클로드코드니 코덱스니 이런저런 다양한 놈들을 사용하는 와중에 틈틈히 LocalLLM 만으로 어느정도 수준까지 사용이 가능하지에 대한 많은 연구와 테스트를 해보고 있습니다.

새로운 모델이 등장하는 텀이 좀 길어지는 느낌이긴 합니다만 ..

현재까지 정말 다양한 모델을 LM Studio, Ollama, mlx-ml, llama.cpp, exo 등에서 사용을 해봤습니다만 ..

Openai API 를 통한 채팅 기반의 사용에서는 어떤 모델이든 대체로 큰 문제 없이 사용이 가능합니다만 ..

Function calling, Tool Calling의 지원이 필요한 에이전틱 코딩 같은 에이전트 기반의 무언가는 .. 현재까지 제가 사용해본 기준으론 Minimax m2.5 모델이 결과의 수준을 떠나서 동작가능한 결과를 만들어 내면서 tool 관련 문제가 없었던 유일한 모델입니다.

Kimi k2.5도 사용하는 cli 에 따라서는 특정 툴의 호출이 실패하거나 잘못된 사용으로 이상한 결과를 만들어 내는 경우가 있었구요.

Qwen 계열은 Qwen 3.5 의 경우에도 Qwen cli 에서는 아무 문제 없이 동작하지만 Opencode 에서는 많은 툴들의 명칭과 파라미터가 다르게 호출되는 경우를 보았습니다.

새로운 모델이 나오면 계속 테스트 해보겠지만 현재로썬 minimax m2.5가 .. 만족;; 을 떠나서 애초에 -_- 똑바로 돌아간 놈이 이놈하나라 매우 당황스럽네요 ㅎㅎ

template 코드를 파서 수정하는 시도도 해봤습니다만 .. 모델별로 기본적으로 작성된 템플릿 코드가 상이해서 뭘 어디서부터 어떻게 맞춰야할지 현재로썬 좀 애매하네요 .. 제가 아직 자료를 잘 못찾은건진 모르겠습니다만 ..

현재는 Opencode 에서도 Jetbrains 의 Ai Assist 플러그인에서도 Minimax m2.5를 주 모델로 사용중입니다.

IDENTIFIER                       MODEL                            STATUS    SIZE         CONTEXT    DEVICE    TTL
minimax/minimax-m2.5             minimax/minimax-m2.5             IDLE      128.68 GB    196608     Local
qwen2.5-coder-3b-instruct-mlx    qwen2.5-coder-3b-instruct-mlx    IDLE      1.75 GB      32768      Local

IDENTIFIER                       MODEL                            STATUS    SIZE         CONTEXT    DEVICE    TTL
minimax/minimax-m2.5             minimax/minimax-m2.5             IDLE      128.68 GB    196608     Local
qwen2.5-coder-3b-instruct-mlx    qwen2.5-coder-3b-instruct-mlx    IDLE      1.75 GB      32768      Local

자동완성은 qwen2.5-coder-3b 모델을 사용중이구요. 일단 크기도 작고 속도가 빠릿하고 IDE에서 FIM이 가능한 모델중에서 그나마 좀 빠른놈으로 사용중입니다.

lms ps 명령으로 minimax-m2.5가 128.68GB 라고 표시되지만 ..

보통 잔잔하게 써도 이정도 차지한다고 보시면 되겠습니다.

Opencode 에 Oh my opencode 로 병렬로 다중요청이 시작되면 거의 500기가 가까이 처먹(?)습니다. 아무래도 minimax m2.5 모델이 230b 모델이다보니 컨텍스트의 kv 크기가 클수밖에 없어서 더 그럴것이구요 .. 8bit 양자화 모델은 메모리 후달려서 아직 돌려보지 못하고 있습니다..

512g 램을 가지고도 메모리 후달린다고 말하고 있는게 좀 웃기긴 합니다만.

단순 채팅이나 IDE 플러그인에 붙여쓸 용도면 512gb 램이면 차고 넘치고 아주 널널합니다만.. 멀티로 에이전트를 붙이면 512g 도 후달리네요.

속도는 대충 간단한 프로젝트 5~10만 토큰따리 정도는 2시간 내외로 뱉어내긴 합니다.

결과물이 맘에 드냐의 문제는 ;;

이미 다들 답은 아시잖소 ㅎㅎ

신경써서 뭔가를 준비해서 떠 먹여주면 잘 나오고 .. 개떡같이 일 시키면 .. 개똥같이 나오는 ㅎㅎ

클로드코드나 코덱스 같은놈에 비해서 좀더 디테일이 필요하긴 합니다만 적응하니 꽤 쓸만 합니다?

결론은 ..

일정 수준이상 만족하고 싶으시면 그냥 minimax m2.5 쓰세요 .. 현재는 이놈만 툴이 제대로 동작하는것 같네요.