일전에 ds4.c 관련해서 꽤나 긍정적인 방향으로 글을 몇 번 써 왔습니다만. 여전히 ds4.c를 통해 LocalLLM으로 Deepseek-v4-flash를 잘 사용하고 있습니다.
최근에는 Deepseek-v4-Pro도 ds4.c에서 사용이 가능합니다만. 이놈은 워낙 덩치가 커서 디코딩 tps가 8~9tps 나 나올까 말가 할 정도라서 쓰기가 좀 부담스럽죠.
ds4.c가 한동안 진짜 거의 하루에도 몇 번씩 github에 업데이트가 올라오곤 했습니다만. 꽤 긴 시간(프로젝트가 시작된 이후로 치면) 별다른 수정사항이 올라오지 않아서 그냥 현재 상태 정도로 계속 가려는건가? 라는 생각을 해왔습니다만..
몇일 전에 정말 인상적인 업데이트가 있었네요.
Deepseek 에서 DSpark 라는 Speculative Decoding 관련해서 발표를 했었습니다만. 간단히 봐서는 조금 발전된 형태의 MTP랄까요? 아마 Qwen 3.6 의 MTP 모델을 잘 사용 하시는 분들도 계실텐데요.
간단히 봐서 추론 속도 개선에 도움이되는 무언가? 라고 생각하시면 되겠습니다.
이번에 ds4.c 에 이 DSpark 관련 업데이트가 있었습니다. 기존에 MTP관련해서 시험적으로 기능이 존재했고 Huggingface의 antirez 에 보면 Deepseek-v4-flash 에 대한 MTP용 모델파일도 따로 업로드 되어 있었습니다만.
이 MTP 기능은 프로젝트 README.md 상에도 아직 시험적 기능이고 일부 케이스에서만 동작하며 별다른 차이가 없을 가능성이 크다… 정도로 언급되어 있어씁니다. 저도 MTP의 경우 한동안 적용해 쓰다가 오히려 디코딩 TPS가 더 떨어지는 경우가 많아서 MTP 기능은 사용하지 않고 있었습니다만.
이번에 업데이트된 DSpark 는
./download_model.sh dspark-supportdownload_mode.sh 에서 별도 파라미터로 DeepSeek-V4-Flash-DSpark-support.gguf 라는 gguf 파일을 다운받아 사용하게 됩니다.
DSpark 관련해서 흔히 6~80%정도의 속도 개선이 있을 ‘수도 있다’ 라는 언급을 많이 봐 왔습니다만.
별대른 기대를 하진 않고 옵션 적용해서 사용을 해보니.
DSpark 적용 전에는 보통 컨텍스트가 별게 없을때는 24~27tps 정도 나오고 컨텍스트가 조금 차면 (저는 1M 컨텍스트를 사용중입니다.) 19~20tps 정도 디코딩 tps가 나오는게 보통인데요.
DSpark를 적용한 뒤에는 평균 디코딩 Tps가 20 후반에서 30 중반까지도 나옵니다? 1M 컨텍스트가 40% 이상 체워진 상태에서 30 tps 이상이 나온다는건 50% 이상이 증가했다는 건데요 .. 이정도면 정말 말도안되는 발전입니다 ㅎㅎ
단, 현재 DSpark는 Deepseek-v4-flash 모델에만 사용가능합니다. 사실 Pro모델에 얼마나 효과가 있을지 좀 기대를 해보곤 있습니다. 만약 Pro 모델이 디코딩 20tps 라도 나와준다면 .. ds4.c 에 flash 와 pro 모델을 필요에 따라 교체해가며 적어도 개발용, 코드작성용으로 localllm에 최고의 조합이 탄생할 것 같은데 말이죠.
Antirez의 설명대로면 이 DSpark는 추론 속도에 영향을 주니 당연히 프리필 속도에는 영향을 주진 않습니다만. 기존에 캐시 크기를 80기가에서 512기가로 늘린 영향인지 디코딩 속도가 빨라지면서 전체적으로 빠릿해 져서 그런건지 몰라도..
에이전트에서 작업을 완료하는데 소요되는 전체 시간이 꽤 많이 빨라졌습니다.
LocalLLM의 속도라는게 단순히 디코딩 TPS 만 논할게 아니긴 합니다만. DSpark 외에도 수정된 무언가가 더 있어서 그런건지 몰라도, 안그래도 엄청 마음에 들어하고 잘 사용하던 프로젝트인데..
보통 ds4.c의 Deepseek-v4-flash 와 llama.cpp 에 Qwen 3.6 35b a3b 모델 2개를 띄워 놓고 가벼운 작업(git 커밋류..)는 llama.cpp 를 쓰고 코딩은 ds4.c를 사용하곤 했습니다만.
DSpark 를 적용한 뒤에는 그냥 llama.cpp 는 안쓰고 ds4.c 만으로 가벼운 작업들도 그냥 막 잡아 돌리고 있습니다.
사실 ds4.c가 vram 사용량 자체가 그리 만만한 놈은 아닌지라 일반적인 하드웨어에선 돌려보기 힘든게 사실입니다만. 컨텍스트 조정 가능하면 128GB 부터 사용은 가능하니. 128GB 이상 맥 보유하신 경우에 한번쯤 사용해 보시기 바랍니다.
아, 그리고 안그래도 GLM 5.2 가 Deepseek 의 Sparse Attention을 사용하는걸 보고 ds4.c에 GLM 5.2 같은것도 나중에 쓸 수 있는거 아니야? 라는 생각을 해본적이 있습니다만.
ds4.c에서 GLM 5.2도 사용가능하게 업데이트 되었습니다. 커뮤니티의 글들을 보면 아직 GLM 5.2는 버그가 좀 많은 상황이고 Deepseek에 비해서 훨씬 더 느린고 리소스를 많이 사용한다는 이야기가 많긴 합니다만.
전 GLM 5.2 에 좋은 기억이 별로 없어서 사용해볼 것 같진 않네요 .
이상입니다.