이런 저런 ai 서비스 업체들의 모델들도 사용하면서 LocalLLM 을 병행하거나 휴일에는 100% LocalLLM 만 가지고 에이전트를 물리거나 하는 등의 실험? 프로젝트를 돌려보고 있습니다.
클로드 코드가 익숙해서 가능하면 클로드 코드를 사용하고 싶지만 .. 클로드 코드의 경우 LocalLLM 을 사용하기 위한 환경변수 설정을 하더라도 Opus, Sonnet, Haiku 같은 모델 명칭으로 픽스된 내부 기능들의 경우 LocalLLM 커넥션인 상태에선 문제가 발생하기도 해서 Opencode 를 좀 활용해 볼까 하고 .. 이짓 저짓을 해보고 있습니다.
처음에 Opencode 를 설치했을때는 데스크톱앱 버전을 설치했는데 .. cli 버전을 설치했어야 했나봅니다. 당시엔 왜 뭔가 이상하게 삐거덕 거리는 느낌이라 그냥 좀 해보다 때려쳤는데.. 그 사이에 업데이트로 문제를 해결한건지 아니면 cli 버전은 원래 문제가 없던건지;;
여튼간에 opencode 데스크탑 앱이 뭔가 ㅄ같다면 cli 버전으로 사용해 보십시요.
한동안 qwen 계열 모델들을 잘 사용해 왔습니다. qwen2.5-coder 도 그렇고 qwen3-coder, 최근에 나온 qwen3-coder-next도 그렇구요 ..
qwen3-coder-next의 경우에는 모델의 설명에도 에이전트용으로 만들었다느니 하는 내용이 있습니다만 ..

tool calling 도 지원하고 agentic coding 과 로컬 개발에 최적화 했다고 해서 .. 붙여 써보고 있었습니다. Thinking 을 지원하지 않는 모델이라 생각하는 과정 없이 바로 진행이 되는 것도 개인적으론 장점으로 보긴 했습니다만 ..
단..지..
Opencode 와 붙여 쓸때 Qwen 계열 모델들은 Tool Calling 시에 문제가 좀 있네요.. opencode 는 todo_write 를 호출하려는데 Valid tool 목록을 보면 todowrite 라는 명칭으로 존재하고 파라미터도 다른것 같고 ..
뭔가 작업은 완료 했다는데 뭔가 파일이 빠져있고 한게 아무래도 툴 호출에 실패하면서 .. 뭔가를 읽지 못하거나 쓰지 못해서 일어난 일인가 싶습니다.
chat 기반으로 뭔가를 할때는 그냥 저냥 쓸만했고 mlx 지원 모델의 경우 성능도 봐줄만해서 .. 한동안 잘 쓰고 있었습니다만..
현재로썬 클로드 코드 대신 써볼만한게 취향상 Opencode정도인데.. 좀 애매하네요 .. 아마도 Qwen 에서도 cli 도구가 존재하다보니 그 cli 도구에 맞춰진 tool들인거 같긴 합니다..
그래서 대체할 모델을 좀 찾아보고 있긴 합니다.
근데 막상 쓸만한 모델이 그렇게 많은건 아니라서 ㅎㅎ
우선 최근에 나온 Minimax 2.5 가 Opencode 에서 Tool 관련 문제가 없다는 커뮤니티 글을 봐서 Minimax-m2.5 모델을 받아서 한바퀴 돌려는 보고 있습니다만..
하루 이틀 좀 지켜봐야 할것 같긴 합니다. 일단 메모리는 230기가 언저리 먹는것 같긴 한데 .. 다른 소형 모델도 좀 같이 붙여서 돌려보고 .. 정보 공유 하겠습니다.
댓글을 달려면 로그인해야 합니다.