mlx-ml, vLLM, Ollama 등도 새버전이 나오곤 하면 테스트겸 가끔 사용하긴 합니다만, 주력으로 사용중인건 LM Studio 인데요. LLM관련은 업데이트가 워낙 잦고 주기도 빠른지라 하루가 멀다하고 새버전이 나옵니다. 앱 자체의 기능 추가나 버그수정일수도 있고 llama.cpp 같은 Ai 관련 런타임의 변경일수도 있습니다만.. LM Studio의 경우에는 실행시 새버전이 존재하면 업데이트 여부를 묻고 자동으로 업데이트를 진행 하도록 만들어진 프로그램인데요, 희한한 현상을 하나 겪어서 공유합니다. LM Studio 의 Setting 창을 …
제가 무슨 유명한 유튜버도 아니고 유튜브 영상은 주로 모두의 프린터 사용법 관련된 영상을 만드는게 전부긴 합니다만, 그래도 최근에는 TTS 를 통한 음성도 영상에 포함해서 만들고 있습니다. 최근에는 Typecast 라는 서비스를 구독해서 음성을 만들곤 햇습니다만, 영상을 자주 만드는 것도 아니고 보통은 기존 영상에 수정이 필요한 몇 분 내외의 음성데이터만 필요한데 계속 구독을 하는 것도 좀 돈이 아깝긴 하더라구요. 보통 TTS 에 필요한 모델들은 코딩 에이전트등에 …
최근에 올린 LLM 관련 글들에서 Unsloth 를 많이 언급해 왔습니다. 아직까지 Unsloth 프로젝트는 어쨌든 Nvidia GPU와 CUDA와 좀더 친한건 사실인데요. 그래서 mlx 모델들 대비 mlx 지원 않는 GGUF 모델이 1~20% 정도 성능이 떨어집니다. 그럼에도 불구하고 맥스튜디오 M3 Ultra, 그러니까 애플 실리콘 기반의 컴퓨터로 LocalLLM을 구동하고 있는 제가 Hugging Face 의 mlx-community에도 꽤 빠릿하게 mlx 모델들이 제공되고 있음에도 Unsloth의 모델들을 주로 사용중인 이유는 LocalLLM을 사용하고자 …
모두의 프린터와 모두의 PDF 둘다 해당되는 공통 문제라 글 하나 남깁니다. 제가 현재 배포중이 모든 프로그램은 기본적으로 Go라는 언어로 개발을 하는 중입니다. 최근 사용되는 대부분의 개발용 언어들 같이 Go언어도 UTF-8 을 기본으로 동작합니다. 최근 대부분의 OS들은 UTF-8을 기본 문자 인코딩으로 사용하고 vscode 등의 IDE들도 대부분 UTF-8을 사용합니다만, 마이크로스프트의 윈도라는 OS는 기본적으로 UTF-16을 기본 유니코드 인코딩으로 사용합니다. 그렇다 보니 윈도, 리눅스, 맥등을 동일 코드로 빌드가 …
DGX-Spark 를 클러스터로 사용중인 지인이 한분 계신데요 몇일 전에 Nemotron 새 모델이 나왔다고 꽤 쓸만 하다는 말씀을 해주셔서.. 간단히 테스트를 하는 중입니다. 사실 llama-nemotron 계열 모델은 잠시 사용을 해봤었는데 일단 llama 자체가 저와는 좀 안맞는 모델이어서 아무리 nvidia 가 파인튜닝을 했다 한들 근본이 어디 가진 않을거라 생각 해서 nemotron 은 그리 관심을 두지 않았습니다. 그래도 llama가 아닌 nvidia 가 처음부터 학습 시켰다는 글들을 보고 …
댓글을 달려면 로그인해야 합니다.