여전히 클로드코드니 코덱스니 이런저런 다양한 놈들을 사용하는 와중에 틈틈히 LocalLLM 만으로 어느정도 수준까지 사용이 가능하지에 대한 많은 연구와 테스트를 해보고 있습니다. 새로운 모델이 등장하는 텀이 좀 길어지는 느낌이긴 합니다만 .. 현재까지 정말 다양한 모델을 LM Studio, Ollama, mlx-ml, llama.cpp, exo 등에서 사용을 해봤습니다만 .. Openai API 를 통한 채팅 기반의 사용에서는 어떤 모델이든 대체로 큰 문제 없이 사용이 가능합니다만 .. Function calling, Tool Calling의 …
맥 스튜디오 M3 Ultra 512g 모델로 이런짓 저런짓을 좀 해보고 있는 와중에 중간 중간 관련 글을 정리해 올려보고 있습니다. 현재 사용중인 모델은 이정도 되는것 같네요 전부 mlx용 모델들입니다. 우선 한동안 minimax-m2.5 모델을 사용해서 간단한 프로젝트를 몇 가지 진행 해봤습니다. 그 전에는 Qwen3-coder-next 나 Qwen2.5-coder 같은 모델들도 꽤 주력으로 사용을 했었습니다만. 모델 목록에서 Tool, Function Calling 을 지원한다 하는 모델들중 툴을 호출하는 프롬프트나 템플릿 설정이 …
이런 저런 ai 서비스 업체들의 모델들도 사용하면서 LocalLLM 을 병행하거나 휴일에는 100% LocalLLM 만 가지고 에이전트를 물리거나 하는 등의 실험? 프로젝트를 돌려보고 있습니다. 클로드 코드가 익숙해서 가능하면 클로드 코드를 사용하고 싶지만 .. 클로드 코드의 경우 LocalLLM 을 사용하기 위한 환경변수 설정을 하더라도 Opus, Sonnet, Haiku 같은 모델 명칭으로 픽스된 내부 기능들의 경우 LocalLLM 커넥션인 상태에선 문제가 발생하기도 해서 Opencode 를 좀 활용해 볼까 하고 …
이것저것 해보는김에 .. LM Studio 를 다시 업데이트하고 앞서 Ollama 와 mlx-ml 로 테스트 해본 Qwen3-Coder-Next의 MLX 버전 모델을 LM Studio에 올려 봤습니다. 기왕 하는김에 4Bit, 8Bit 차이도 궁금해서 둘다 받아 봤습니다. 기존에 ollama 의 mlx 가 아닌 gguf 모델의 간단한 숫자야구 게임 코드 작성의 결과는 .. q4_K_M 이 34.80tps q8_9 은 32.58 tps 정도 나왔습니다. 68.17 tok/sec 가 나왔습니다. 8Bit 양자화는 어떤지 돌려보겠습니다. …
앞서 작성한 글들에서 mlx-ml 은 불안정 해서 사용하지 못하고 있다는 내용을 작성한적 있습니다. 그래도 일단 애플 하드웨어에서 mlx의 성능차이가 궁금하신 분들이 계실겁니다. 몇몇 분은 데이터좀 알려달라고 하시기도 했구요 .. 일단 허깅페이스의 mlx커뮤니티에서 Qwen3-Coder-Next-4bit 라는 모델을 hf download 명령으로 다운로드 받았습니다. https://huggingface.co/mlx-community/Qwen3-Coder-Next-4bit Qwen/Qwen3-Coder-Next 모델을 mlx 로 변환한 모델입니다. 파일크기는 44.8기가 정도이구요. 앞서 ollama 에서 gguf 모델을 사용한 결과가 .. q4_K_M 양자화 모델에 hi를 때린 결과가 …
댓글을 달려면 로그인해야 합니다.