여전히 클로드코드니 코덱스니 이런저런 다양한 놈들을 사용하는 와중에 틈틈히 LocalLLM 만으로 어느정도 수준까지 사용이 가능하지에 대한 많은 연구와 테스트를 해보고 있습니다. 새로운 모델이 등장하는 텀이 좀 길어지는 느낌이긴 합니다만 .. 현재까지 정말 다양한 모델을 LM Studio, Ollama, mlx-ml, llama.cpp, exo 등에서 사용을 해봤습니다만 .. Openai API 를 통한 채팅 기반의 사용에서는 어떤 모델이든 대체로 큰 문제 없이 사용이 가능합니다만 .. Function calling, Tool Calling의 …
이번에는 많은 곳에서 언급하곤 하는 좀 큰 모델에 대한 기록을 남겨봅니다. qwen3-coder의 480b 모델이구요.. 여러 블로그나 유튭 영상등에서 제 맥스튜디오와 동일사양에서 이 모델을 올려 쓴다느니 하는 글을 봐서 받아본 모델입니다. 일단 모델 파일 용량만 290GB 정도라 다운로드받는데 2시간 가까이 걸리는 관계로 .. ollama pull 걸어두고 자고 일어났네요. 우선 제가 뭘 잘못 한건지 ollama 문제인지 mlx 모델이 아닌 gguf 모델을 써서 그런지는 모르겠습니다만.. 좀 뭔가 …
애플 맥 스튜디오 M3 Ultra 512GB 모델과 Ollama를 통해 LocalLLM 을 구성해 사용하다보니 이런저런 모델을 사용해보곤 합니다. 따로 특별히 기록을 하지 않고 그냥 그때그때 막 바꿔 쓰다보니 전에 사용하던 모델이랑 어떤 차이가 나는지 알기가 힘들어서 기록 차원에서 정보를 좀 공유해보겠습니다. qwen3-coder-next 모델에 대한 정보는 아래 링크에서 확인하시구요. https://ollama.com/library/qwen3-coder-next 에이전틱 코딩 워크플로과 로컬 개발에 최적화된 모델이라 해서 사용해보고 있습니다. Ollama의 Models 사이트에서는 q4_K_M, q8_0 2가지 …
어쩌다 보니 .. 회사에서 Apple Mac Studio M3 Ultra 512gb 모델을 사줘서 Local LLM을 구성해서 기존에 사용하던 클로드 코드나 코덱스등의 구독형 Ai 서비스와 병행해서 이런저런 짓을 한달 넘게 해보고 있습니다. 어쩌면 개인이 넘볼 수 있는 LocalLLM용의 가장 이상적인 장치일 순 있겠으나 .. 개인이 사비로 들여 놓기엔 매우 부담스러운 가격인 놈이긴 합니다. M3 Ultra 512g 통합 메모리 모델 기준 4TB Sdd면 1600만원 가량, 저장공간을 16TB …
댓글을 달려면 로그인해야 합니다.