LocalLLM 을 활용하다 보면 가장 많이 하게 되는 짓이 수 많은 모델들 중에 무엇을 사용해야 할지와 다운로드 받은 모델이 쓸만 할지 판단하는게 꽤나 귀찮은 일입니다. 저는 최근에는 Claude Code 의 환경변수와 설정파일을 수정해서 Claude Code 는 Opus, Sonnet, Haiku 인주 알고 돌겠지만 실제로는 제 Mac Studio M3 Ultra(512gb ram)에서 동작중인 LM Studio 의 모델들로 돌아가게 되는 식으로 설정을 변경해서 사용중인데요.. 이게 모델 교체를 해서 …
비개발자들은 Ai를 업무 자동화나 채팅을 통한 정보수집? 문제해결? 그런 용도로 가장 많이 사용하지만 개발자들의 경우 IDE에서 코드작성시 코드 자동완성에 도움을 주는 방식으로도 많이 사용하십니다. Github의 Copilot이 어찌보면 선두주자였는데 지금은 좀 아쉽죠? 물론 클로드 코드 등장으로 코드작성은 개발자가 더이상 하지 않아도 된다느니 딸깍? 해줘? 하면 그만이고 코드한줄 보지 않고 무언갈 완성 했다느니 하는 시절이긴 합니다만.. 그럼에도 불구하고 세상의 모든 개발자들이 더이상 코드작성을 하지 않고 ide를 …
mlx-ml, vLLM, Ollama 등도 새버전이 나오곤 하면 테스트겸 가끔 사용하긴 합니다만, 주력으로 사용중인건 LM Studio 인데요. LLM관련은 업데이트가 워낙 잦고 주기도 빠른지라 하루가 멀다하고 새버전이 나옵니다. 앱 자체의 기능 추가나 버그수정일수도 있고 llama.cpp 같은 Ai 관련 런타임의 변경일수도 있습니다만.. LM Studio의 경우에는 실행시 새버전이 존재하면 업데이트 여부를 묻고 자동으로 업데이트를 진행 하도록 만들어진 프로그램인데요, 희한한 현상을 하나 겪어서 공유합니다. LM Studio 의 Setting 창을 …
제가 무슨 유명한 유튜버도 아니고 유튜브 영상은 주로 모두의 프린터 사용법 관련된 영상을 만드는게 전부긴 합니다만, 그래도 최근에는 TTS 를 통한 음성도 영상에 포함해서 만들고 있습니다. 최근에는 Typecast 라는 서비스를 구독해서 음성을 만들곤 햇습니다만, 영상을 자주 만드는 것도 아니고 보통은 기존 영상에 수정이 필요한 몇 분 내외의 음성데이터만 필요한데 계속 구독을 하는 것도 좀 돈이 아깝긴 하더라구요. 보통 TTS 에 필요한 모델들은 코딩 에이전트등에 …
최근에 올린 LLM 관련 글들에서 Unsloth 를 많이 언급해 왔습니다. 아직까지 Unsloth 프로젝트는 어쨌든 Nvidia GPU와 CUDA와 좀더 친한건 사실인데요. 그래서 mlx 모델들 대비 mlx 지원 않는 GGUF 모델이 1~20% 정도 성능이 떨어집니다. 그럼에도 불구하고 맥스튜디오 M3 Ultra, 그러니까 애플 실리콘 기반의 컴퓨터로 LocalLLM을 구동하고 있는 제가 Hugging Face 의 mlx-community에도 꽤 빠릿하게 mlx 모델들이 제공되고 있음에도 Unsloth의 모델들을 주로 사용중인 이유는 LocalLLM을 사용하고자 …
댓글을 달려면 로그인해야 합니다.