Redis 개발자로 유명한 Antirez의 ds4.c 가 정말 하루가 다르게 엄청나게 발전을 하고 하나둘씩 다양한 모델을 지원하기 시작하면서 .. 최근에는 Deepseek-v4-flash, pro 뿐 아니라 glm 5.2, glm 5.3 flash, Deepseek-v4-vision, Deepseek-v4.1-flash 까지 지원하기 시작을 했습니다만 .. glm 과 deepseek 가 아키텍처가 같은 원류라 둘은 그렇다 치는데 .. 뜬금없이 Qwen 3.8 flash next 를 지원하네요? ㅎㅎㅎ 저는 사실 ds4.c 에 Deepseek-v4-flash 를 엄청 잘 쓰고 있었습니다. …
일전에 ds4.c 관련해서 꽤나 긍정적인 방향으로 글을 몇 번 써 왔습니다만. 여전히 ds4.c를 통해 LocalLLM으로 Deepseek-v4-flash를 잘 사용하고 있습니다. 최근에는 Deepseek-v4-Pro도 ds4.c에서 사용이 가능합니다만. 이놈은 워낙 덩치가 커서 디코딩 tps가 8~9tps 나 나올까 말가 할 정도라서 쓰기가 좀 부담스럽죠. ds4.c가 한동안 진짜 거의 하루에도 몇 번씩 github에 업데이트가 올라오곤 했습니다만. 꽤 긴 시간(프로젝트가 시작된 이후로 치면) 별다른 수정사항이 올라오지 않아서 그냥 현재 상태 정도로 …
앞서 DS4.c 에 대해 간단히 글을 작성 했는데요, 대략 거의 코딩을 위한 로컬LLM은 Claude Code + DS4.c(Deepseek-v4-flash) 만으로 2주를 보낸 것 같습니다. DS4.c 를 사용하기 시작한 초반 이틀 정도는 Qwen3.6 27B 나 35b-a3b 도 같이 사용을 했었습니다만. 현재는 Vision 이 필요한 작업이 아닌 이상 에이전트를 통한 LocalLLM은 DS4.c 단일로 사용중입니다. MoE 아키텍쳐라 해도 284B 파라미터이 13B 활성화 이기 때문에 높은 속도를 기대하기는 어려운 모델이긴 …
앞서 몇몇 글에서도 DeepSeek v4 Flash 에 대해서 좀 기대를 하고 있단 말을 적었습니다만 .. 아직 llama.cpp 쪽에서 deepseek v4 에 대해서 작업이 끝나지 못해서 인지 어떤 이유인지 모르지만 아직 LM Studio 나 Ollama 에 클라우드용 모델외에 직접 다운로드 해서 쓸수 있는 형태로 업데이트가 올라오고 있진 않습니다. 이미 HuggingFace 에 이런저런 양자화 모델로 등장을 하고 있는지도 꽤 지났는데 말이죠 .. 그런 와중에 제 기준으론 …
댓글을 달려면 로그인해야 합니다.