DGX-Spark 를 클러스터로 사용중인 지인이 한분 계신데요 몇일 전에 Nemotron 새 모델이 나왔다고 꽤 쓸만 하다는 말씀을 해주셔서.. 간단히 테스트를 하는 중입니다. 사실 llama-nemotron 계열 모델은 잠시 사용을 해봤었는데 일단 llama 자체가 저와는 좀 안맞는 모델이어서 아무리 nvidia 가 파인튜닝을 했다 한들 근본이 어디 가진 않을거라 생각 해서 nemotron 은 그리 관심을 두지 않았습니다. 그래도 llama가 아닌 nvidia 가 처음부터 학습 시켰다는 글들을 보고 …
집에서 멀지 않은 곳에 공릉도깨비시장이 있습니다. 즐겨보는 이원일셰프와 석천이형이 나오는 유튜브 채널에 집 근처 시장이 나오는걸 보고 한번 가봐야 겠다 생각만 했는데 구정 연휴에 온가족이 마실삼아 들렀다가 전부터 궁금했던 바베큐집을 충동적으로 들어갔..네요? https://naver.me/5HrNXT10 위치는 위 링크 참고하시구요. 네이버지도, 카카오지도 할거없이 그냥 건물하나가 있는걸로 나오는데.. 실제론 저 건물을 허물고 새로 지은것 같습니다. 이렇게 주차공간도 넉넉하고 옆에 큰 커피숍이랑 주차관리인이 동일하고 영수증 지참하면 카페 할인도 해준다는 …
작년 3월 20일에 쿠팡에서 주문해서 1년 가까이 사용한 오토노스 TX370의 1년 사용후기입니다. 기존 글은 위 내용 참고하시면 될 것 같습니다. 하루 평균 10~15시간은 이 의자 위에서 보낸 것 같은데요, 80키로 중후반의 성인 남성이 1년간 앉아서 사용했으니 내구성에 대해서는 충분히 언급 가능한 기간이 아닌가 싶습니다. 우선 이 의자를 구입할때 허먼밀러 같은 100만원 넘어가는 하이엔드 의자를 구입해야하나 고민을 하다가 마지막으로 한번만 다른 의자를 사보고 그래도 아니다 …
최근 주로 사용하는 minimax m2.5 모델의 gguf/mlx 모델과 unsloth 모델의 단순 프롬프트 tps 차이에 대해서 기록을 남깁니다. lmstudio-community 의 4bit 양자화 mlx 모델보다 unsloth 의 Q4_K_S 모델이 좀더 빠르네요. 일단 툴 사용에 문제는 없는 모델이지만 .. 성능에 큰 차이가 없으니 .. unsloth 모델로 교체해서 사용해봐야 겠습니다.
앞서 qwen3 계열 모델들이 Tool calling 에 문제가 있다는 글을 여러번 작성 했는데요 .. 현재까지 제가 찾아보고 해본 정보로는 qwen3 모델의 경우 qwen 전용 툴로 학습되었다는 것이고 .. chat template 를 수정해서 극복 가능하지 않을까 라는 생각으로 여러 짓을 해봤으나 .. 그리 결과가 좋지는 못했습니다. 현재까지는 tps의 이점 때문에 gguf/mlx 모델을 선호해 왔습니다만 .. 아무래도 mlx 진영이 Ai 모델 시장에서는 사용자가 소수인 상황이라 상대적으로 …
댓글을 달려면 로그인해야 합니다.