최근에 올린 LLM 관련 글들에서 Unsloth 를 많이 언급해 왔습니다.
아직까지 Unsloth 프로젝트는 어쨌든 Nvidia GPU와 CUDA와 좀더 친한건 사실인데요. 그래서 mlx 모델들 대비 mlx 지원 않는 GGUF 모델이 1~20% 정도 성능이 떨어집니다.
그럼에도 불구하고 맥스튜디오 M3 Ultra, 그러니까 애플 실리콘 기반의 컴퓨터로 LocalLLM을 구동하고 있는 제가 Hugging Face 의 mlx-community에도 꽤 빠릿하게 mlx 모델들이 제공되고 있음에도 Unsloth의 모델들을 주로 사용중인 이유는
LocalLLM을 사용하고자 하거나 OpenRouter 같은 서비스를 이용하면 많이 보게되는 Qwen , DeepSeek 같은 놈들은 지들 나름대로 구독 서비스도 하는중이고 CLI 에이전트도 제공하곤 합니다.. 그러다보니 지들이 제공할 서비스에 맞춰서 학습을 시켜놔서 클로드코드나 Opencode 같은데다 물리면 이상동작을 하는 경우가 많습니다.
지금까지 제가 사용해온 경험으로는 어쨋든 한번 배포하고 끝이 아니라 지속적으로 파인튜닝을 새로해서 Tool Calling 문제라던지 새로운 방식의 양자화 라던지 좀더 좋은 무언가를 만들어 내면 기존에 업로드 했던 모델도 새로운 기술을 적용해서 다시 제공해주는 놈들은 Unsloth가 유일했습니다.
그렇다 보니 만든 놈들이 배포하는 놈에서 문제가 너무 많아서 때려 친 놈도 Unsloth 가 다시 만들어 배포하는 모델들에선 문제 없이 돌아가는 경우를 워낙 많이 경험하다 보니 tps 조금 떨어지더라도, 그냥 지금은 Unsloth 모델들만 사용중입니다.
쓰다가 뭔가 이상하면 혹시 싶어 사이트를 들어가서 확인하다 보면 새로운 업데이트가 있고, 동일 모델을 다시 받아서 사용해보면 문제가 해결되어 있는 경우가 많았습니다.
그렇게 최애 모델을 만들어 내는 무리? 단체? ㅋㅋ 여튼간에 .. 그런 놈..아니 분들께서 Unsloth Studio 라는 놈을 발표했네요.
아직 베타버전이고 .. 현재는 아직 많은 기능이 제공예정인 상황 입니다만 ..
그중에서 제가 가장 반가운건 MLX 학습 기능을 곧 추가할 예정이라는 거죠!
설마하니 학습에는 MLX 지원이라 해놓고는 모델 사용에서 MLX 지원은 않해….주진 않을것 같아서 기대중입니다.
드디어 Unsloth 에서 MLX도 신경을 써주려는 것 같아서 .. 매우 기대하는 중입니다.
Quickstart 영역에는 무려 MLX training comming very soon!!!! very soon 이랩니다! 정말 곧 나온다는 말이겠죠.
우선 주말에 한번 설치해서 사용해보던지 아니면 어느정도 기능 업데이트가 일어난 뒤에 시도할진 모르겠지만 ..
조만간 사용해 본 뒤 좀더 자세한 내용을 작성 해보겠습니다.
댓글을 달려면 로그인해야 합니다.