LM Studio/Qwen3-Coder-Next/80b/mlx
이것저것 해보는김에 .. LM Studio 를 다시 업데이트하고 앞서 Ollama 와 mlx-ml 로 테스트 해본 Qwen3-Coder-Next의 MLX 버전 모델을 LM Studio에 올려 봤습니다. 기왕 하는김에 4Bit, 8Bit 차이도 궁금해서 둘다 받아 봤습니다. 기존에 ollama 의 mlx 가 아닌 gguf 모델의 간단한 숫자야구 게임 코드 작성의 결과는 .. q4_K_M 이 34.80tps q8_9 은 32.58 tps 정도 나왔습니다. 68.17 tok/sec 가 나왔습니다. 8Bit 양자화는 어떤지 돌려보겠습니다. …
댓글을 달려면 로그인해야 합니다.