minimax-m2.5 / mlx vs unsloth
최근 주로 사용하는 minimax m2.5 모델의 gguf/mlx 모델과 unsloth 모델의 단순 프롬프트 tps 차이에 대해서 기록을 남깁니다. lmstudio-community 의 4bit 양자화 mlx 모델보다 unsloth 의 Q4_K_S 모델이 좀더 빠르네요. 일단 툴 사용에 문제는 없는 모델이지만 .. 성능에 큰 차이가 없으니 .. unsloth 모델로 교체해서 사용해봐야 겠습니다.
댓글을 달려면 로그인해야 합니다.