앞서 qwen3 계열 모델들이 Tool calling 에 문제가 있다는 글을 여러번 작성 했는데요 .. 현재까지 제가 찾아보고 해본 정보로는 qwen3 모델의 경우 qwen 전용 툴로 학습되었다는 것이고 .. chat template 를 수정해서 극복 가능하지 않을까 라는 생각으로 여러 짓을 해봤으나 .. 그리 결과가 좋지는 못했습니다. 현재까지는 tps의 이점 때문에 gguf/mlx 모델을 선호해 왔습니다만 .. 아무래도 mlx 진영이 Ai 모델 시장에서는 사용자가 소수인 상황이라 상대적으로 …
이런 저런 ai 서비스 업체들의 모델들도 사용하면서 LocalLLM 을 병행하거나 휴일에는 100% LocalLLM 만 가지고 에이전트를 물리거나 하는 등의 실험? 프로젝트를 돌려보고 있습니다. 클로드 코드가 익숙해서 가능하면 클로드 코드를 사용하고 싶지만 .. 클로드 코드의 경우 LocalLLM 을 사용하기 위한 환경변수 설정을 하더라도 Opus, Sonnet, Haiku 같은 모델 명칭으로 픽스된 내부 기능들의 경우 LocalLLM 커넥션인 상태에선 문제가 발생하기도 해서 Opencode 를 좀 활용해 볼까 하고 …
이것저것 해보는김에 .. LM Studio 를 다시 업데이트하고 앞서 Ollama 와 mlx-ml 로 테스트 해본 Qwen3-Coder-Next의 MLX 버전 모델을 LM Studio에 올려 봤습니다. 기왕 하는김에 4Bit, 8Bit 차이도 궁금해서 둘다 받아 봤습니다. 기존에 ollama 의 mlx 가 아닌 gguf 모델의 간단한 숫자야구 게임 코드 작성의 결과는 .. q4_K_M 이 34.80tps q8_9 은 32.58 tps 정도 나왔습니다. 68.17 tok/sec 가 나왔습니다. 8Bit 양자화는 어떤지 돌려보겠습니다. …
이번에는 많은 곳에서 언급하곤 하는 좀 큰 모델에 대한 기록을 남겨봅니다. qwen3-coder의 480b 모델이구요.. 여러 블로그나 유튭 영상등에서 제 맥스튜디오와 동일사양에서 이 모델을 올려 쓴다느니 하는 글을 봐서 받아본 모델입니다. 일단 모델 파일 용량만 290GB 정도라 다운로드받는데 2시간 가까이 걸리는 관계로 .. ollama pull 걸어두고 자고 일어났네요. 우선 제가 뭘 잘못 한건지 ollama 문제인지 mlx 모델이 아닌 gguf 모델을 써서 그런지는 모르겠습니다만.. 좀 뭔가 …
애플 맥 스튜디오 M3 Ultra 512GB 모델과 Ollama를 통해 LocalLLM 을 구성해 사용하다보니 이런저런 모델을 사용해보곤 합니다. 따로 특별히 기록을 하지 않고 그냥 그때그때 막 바꿔 쓰다보니 전에 사용하던 모델이랑 어떤 차이가 나는지 알기가 힘들어서 기록 차원에서 정보를 좀 공유해보겠습니다. qwen3-coder-next 모델에 대한 정보는 아래 링크에서 확인하시구요. https://ollama.com/library/qwen3-coder-next 에이전틱 코딩 워크플로과 로컬 개발에 최적화된 모델이라 해서 사용해보고 있습니다. Ollama의 Models 사이트에서는 q4_K_M, q8_0 2가지 …
댓글을 달려면 로그인해야 합니다.