제가 무슨 유명한 유튜버도 아니고 유튜브 영상은 주로 모두의 프린터 사용법 관련된 영상을 만드는게 전부긴 합니다만, 그래도 최근에는 TTS 를 통한 음성도 영상에 포함해서 만들고 있습니다. 최근에는 Typecast 라는 서비스를 구독해서 음성을 만들곤 햇습니다만, 영상을 자주 만드는 것도 아니고 보통은 기존 영상에 수정이 필요한 몇 분 내외의 음성데이터만 필요한데 계속 구독을 하는 것도 좀 돈이 아깝긴 하더라구요. 보통 TTS 에 필요한 모델들은 코딩 에이전트등에 …
최근에 올린 LLM 관련 글들에서 Unsloth 를 많이 언급해 왔습니다. 아직까지 Unsloth 프로젝트는 어쨌든 Nvidia GPU와 CUDA와 좀더 친한건 사실인데요. 그래서 mlx 모델들 대비 mlx 지원 않는 GGUF 모델이 1~20% 정도 성능이 떨어집니다. 그럼에도 불구하고 맥스튜디오 M3 Ultra, 그러니까 애플 실리콘 기반의 컴퓨터로 LocalLLM을 구동하고 있는 제가 Hugging Face 의 mlx-community에도 꽤 빠릿하게 mlx 모델들이 제공되고 있음에도 Unsloth의 모델들을 주로 사용중인 이유는 LocalLLM을 사용하고자 …
DGX-Spark 를 클러스터로 사용중인 지인이 한분 계신데요 몇일 전에 Nemotron 새 모델이 나왔다고 꽤 쓸만 하다는 말씀을 해주셔서.. 간단히 테스트를 하는 중입니다. 사실 llama-nemotron 계열 모델은 잠시 사용을 해봤었는데 일단 llama 자체가 저와는 좀 안맞는 모델이어서 아무리 nvidia 가 파인튜닝을 했다 한들 근본이 어디 가진 않을거라 생각 해서 nemotron 은 그리 관심을 두지 않았습니다. 그래도 llama가 아닌 nvidia 가 처음부터 학습 시켰다는 글들을 보고 …
최근 주로 사용하는 minimax m2.5 모델의 gguf/mlx 모델과 unsloth 모델의 단순 프롬프트 tps 차이에 대해서 기록을 남깁니다. lmstudio-community 의 4bit 양자화 mlx 모델보다 unsloth 의 Q4_K_S 모델이 좀더 빠르네요. 일단 툴 사용에 문제는 없는 모델이지만 .. 성능에 큰 차이가 없으니 .. unsloth 모델로 교체해서 사용해봐야 겠습니다.
앞서 qwen3 계열 모델들이 Tool calling 에 문제가 있다는 글을 여러번 작성 했는데요 .. 현재까지 제가 찾아보고 해본 정보로는 qwen3 모델의 경우 qwen 전용 툴로 학습되었다는 것이고 .. chat template 를 수정해서 극복 가능하지 않을까 라는 생각으로 여러 짓을 해봤으나 .. 그리 결과가 좋지는 못했습니다. 현재까지는 tps의 이점 때문에 gguf/mlx 모델을 선호해 왔습니다만 .. 아무래도 mlx 진영이 Ai 모델 시장에서는 사용자가 소수인 상황이라 상대적으로 …
댓글을 달려면 로그인해야 합니다.