ds4.c 가 Deepseek 모델 외에도 Glm, Qwen 다양한 모델을 지원하기 시작하면서 부터는 기존에 같이 사용하던 omlx, llama.cpp, mlx-ml등 다른 추론엔진들은 전부 제거하고 ds4.c 하나만 local llm에 사용중입니다. 앞서 다른 글에서도 언급한적 있지만 Deepseek v4 flash 0731와 Dspark가 적용된 뒤로는 ds4.c에 남은 아쉬움 이라고는 모델 자체가 vision을 지원하지 않는다는 것, 별도로 나온 Deepseek v4 vision의 경우 기본적인 지능이 0731과 차이가 나서 코딩 작업에 사용하기 좀 …
최근 오픈소스 AI 모델은 중국쪽이 열일 하는 느낌입니다. 클로드 코드를 학습하고 있다느니 어쩌느니 이러쿵 저러쿵 말도 많긴 합니다만, 현실적으로 개인 사용자들이 사용 가능한 범주 내에서 의미 있는 모델을 주기적으로 계속 배포하고 있는 면에서는 Qwen이 가장 활발한 편이라고 볼 수 있겠네요. Qwen 3.6 과 관련해서는 클라우드 서비스 쪽에 Qwen 3.6 Plus 연나.. 여튼 클라우드 전용 모델로 먼저 공개된 모델이 평이 워낙 좋았어서 기대는 하고 있었습니다. …
LocalLLM 을 활용하다 보면 가장 많이 하게 되는 짓이 수 많은 모델들 중에 무엇을 사용해야 할지와 다운로드 받은 모델이 쓸만 할지 판단하는게 꽤나 귀찮은 일입니다. 저는 최근에는 Claude Code 의 환경변수와 설정파일을 수정해서 Claude Code 는 Opus, Sonnet, Haiku 인주 알고 돌겠지만 실제로는 제 Mac Studio M3 Ultra(512gb ram)에서 동작중인 LM Studio 의 모델들로 돌아가게 되는 식으로 설정을 변경해서 사용중인데요.. 이게 모델 교체를 해서 …
mlx-ml, vLLM, Ollama 등도 새버전이 나오곤 하면 테스트겸 가끔 사용하긴 합니다만, 주력으로 사용중인건 LM Studio 인데요. LLM관련은 업데이트가 워낙 잦고 주기도 빠른지라 하루가 멀다하고 새버전이 나옵니다. 앱 자체의 기능 추가나 버그수정일수도 있고 llama.cpp 같은 Ai 관련 런타임의 변경일수도 있습니다만.. LM Studio의 경우에는 실행시 새버전이 존재하면 업데이트 여부를 묻고 자동으로 업데이트를 진행 하도록 만들어진 프로그램인데요, 희한한 현상을 하나 겪어서 공유합니다. LM Studio 의 Setting 창을 …
맥 스튜디오 M3 Ultra 512g 모델로 이런짓 저런짓을 좀 해보고 있는 와중에 중간 중간 관련 글을 정리해 올려보고 있습니다. 현재 사용중인 모델은 이정도 되는것 같네요 전부 mlx용 모델들입니다. 우선 한동안 minimax-m2.5 모델을 사용해서 간단한 프로젝트를 몇 가지 진행 해봤습니다. 그 전에는 Qwen3-coder-next 나 Qwen2.5-coder 같은 모델들도 꽤 주력으로 사용을 했었습니다만. 모델 목록에서 Tool, Function Calling 을 지원한다 하는 모델들중 툴을 호출하는 프롬프트나 템플릿 설정이 …
댓글을 달려면 로그인해야 합니다.