앞서 작성한 글들에서 mlx-ml 은 불안정 해서 사용하지 못하고 있다는 내용을 작성한적 있습니다. 그래도 일단 애플 하드웨어에서 mlx의 성능차이가 궁금하신 분들이 계실겁니다. 몇몇 분은 데이터좀 알려달라고 하시기도 했구요 .. 일단 허깅페이스의 mlx커뮤니티에서 Qwen3-Coder-Next-4bit 라는 모델을 hf download 명령으로 다운로드 받았습니다. https://huggingface.co/mlx-community/Qwen3-Coder-Next-4bit Qwen/Qwen3-Coder-Next 모델을 mlx 로 변환한 모델입니다. 파일크기는 44.8기가 정도이구요. 앞서 ollama 에서 gguf 모델을 사용한 결과가 .. q4_K_M 양자화 모델에 hi를 때린 결과가 …
이번에는 많은 곳에서 언급하곤 하는 좀 큰 모델에 대한 기록을 남겨봅니다. qwen3-coder의 480b 모델이구요.. 여러 블로그나 유튭 영상등에서 제 맥스튜디오와 동일사양에서 이 모델을 올려 쓴다느니 하는 글을 봐서 받아본 모델입니다. 일단 모델 파일 용량만 290GB 정도라 다운로드받는데 2시간 가까이 걸리는 관계로 .. ollama pull 걸어두고 자고 일어났네요. 우선 제가 뭘 잘못 한건지 ollama 문제인지 mlx 모델이 아닌 gguf 모델을 써서 그런지는 모르겠습니다만.. 좀 뭔가 …
애플 맥 스튜디오 M3 Ultra 512GB 모델과 Ollama를 통해 LocalLLM 을 구성해 사용하다보니 이런저런 모델을 사용해보곤 합니다. 따로 특별히 기록을 하지 않고 그냥 그때그때 막 바꿔 쓰다보니 전에 사용하던 모델이랑 어떤 차이가 나는지 알기가 힘들어서 기록 차원에서 정보를 좀 공유해보겠습니다. qwen3-coder-next 모델에 대한 정보는 아래 링크에서 확인하시구요. https://ollama.com/library/qwen3-coder-next 에이전틱 코딩 워크플로과 로컬 개발에 최적화된 모델이라 해서 사용해보고 있습니다. Ollama의 Models 사이트에서는 q4_K_M, q8_0 2가지 …
어쩌다 보니 .. 회사에서 Apple Mac Studio M3 Ultra 512gb 모델을 사줘서 Local LLM을 구성해서 기존에 사용하던 클로드 코드나 코덱스등의 구독형 Ai 서비스와 병행해서 이런저런 짓을 한달 넘게 해보고 있습니다. 어쩌면 개인이 넘볼 수 있는 LocalLLM용의 가장 이상적인 장치일 순 있겠으나 .. 개인이 사비로 들여 놓기엔 매우 부담스러운 가격인 놈이긴 합니다. M3 Ultra 512g 통합 메모리 모델 기준 4TB Sdd면 1600만원 가량, 저장공간을 16TB …
워낙 많은 언어와 윈도,맥,리눅스등 여러 플랫폼에 대한 개발을 하다보니.. Ai 관련은 플러그인 연동이나 기타 여러 상황상 Vs code에서 진행을 한 경우가 많았습니다…만;; 아무래도 Jetbrains의 IDE가 Vscode 대비 불필요한 설정에 에너지를 덜 쓰기 때문에 최근에는 Jetbrains 의 Goland를 주력으로 사용하고 있습니다. Jetbrains에선 Java, js, c, c#등 정말 다양한 언어를 위한 ide를 판매중이지만 개인적인 경험으론 뭐라도 하나 유료구독을 하면 나머지 기타 언어들은 플러그인 설치만 하더라도 필요한 …
댓글을 달려면 로그인해야 합니다.