이런 저런 ai 서비스 업체들의 모델들도 사용하면서 LocalLLM 을 병행하거나 휴일에는 100% LocalLLM 만 가지고 에이전트를 물리거나 하는 등의 실험? 프로젝트를 돌려보고 있습니다. 클로드 코드가 익숙해서 가능하면 클로드 코드를 사용하고 싶지만 .. 클로드 코드의 경우 LocalLLM 을 사용하기 위한 환경변수 설정을 하더라도 Opus, Sonnet, Haiku 같은 모델 명칭으로 픽스된 내부 기능들의 경우 LocalLLM 커넥션인 상태에선 문제가 발생하기도 해서 Opencode 를 좀 활용해 볼까 하고 …
이것저것 해보는김에 .. LM Studio 를 다시 업데이트하고 앞서 Ollama 와 mlx-ml 로 테스트 해본 Qwen3-Coder-Next의 MLX 버전 모델을 LM Studio에 올려 봤습니다. 기왕 하는김에 4Bit, 8Bit 차이도 궁금해서 둘다 받아 봤습니다. 기존에 ollama 의 mlx 가 아닌 gguf 모델의 간단한 숫자야구 게임 코드 작성의 결과는 .. q4_K_M 이 34.80tps q8_9 은 32.58 tps 정도 나왔습니다. 68.17 tok/sec 가 나왔습니다. 8Bit 양자화는 어떤지 돌려보겠습니다. …
앞서 작성한 글들에서 mlx-ml 은 불안정 해서 사용하지 못하고 있다는 내용을 작성한적 있습니다. 그래도 일단 애플 하드웨어에서 mlx의 성능차이가 궁금하신 분들이 계실겁니다. 몇몇 분은 데이터좀 알려달라고 하시기도 했구요 .. 일단 허깅페이스의 mlx커뮤니티에서 Qwen3-Coder-Next-4bit 라는 모델을 hf download 명령으로 다운로드 받았습니다. https://huggingface.co/mlx-community/Qwen3-Coder-Next-4bit Qwen/Qwen3-Coder-Next 모델을 mlx 로 변환한 모델입니다. 파일크기는 44.8기가 정도이구요. 앞서 ollama 에서 gguf 모델을 사용한 결과가 .. q4_K_M 양자화 모델에 hi를 때린 결과가 …
이번에는 많은 곳에서 언급하곤 하는 좀 큰 모델에 대한 기록을 남겨봅니다. qwen3-coder의 480b 모델이구요.. 여러 블로그나 유튭 영상등에서 제 맥스튜디오와 동일사양에서 이 모델을 올려 쓴다느니 하는 글을 봐서 받아본 모델입니다. 일단 모델 파일 용량만 290GB 정도라 다운로드받는데 2시간 가까이 걸리는 관계로 .. ollama pull 걸어두고 자고 일어났네요. 우선 제가 뭘 잘못 한건지 ollama 문제인지 mlx 모델이 아닌 gguf 모델을 써서 그런지는 모르겠습니다만.. 좀 뭔가 …
애플 맥 스튜디오 M3 Ultra 512GB 모델과 Ollama를 통해 LocalLLM 을 구성해 사용하다보니 이런저런 모델을 사용해보곤 합니다. 따로 특별히 기록을 하지 않고 그냥 그때그때 막 바꿔 쓰다보니 전에 사용하던 모델이랑 어떤 차이가 나는지 알기가 힘들어서 기록 차원에서 정보를 좀 공유해보겠습니다. qwen3-coder-next 모델에 대한 정보는 아래 링크에서 확인하시구요. https://ollama.com/library/qwen3-coder-next 에이전틱 코딩 워크플로과 로컬 개발에 최적화된 모델이라 해서 사용해보고 있습니다. Ollama의 Models 사이트에서는 q4_K_M, q8_0 2가지 …
댓글을 달려면 로그인해야 합니다.