전체 글 32

파인튜닝된 LLM 구동 시 도구를 호출하지 못하는 경우

원래 도구 호출 트레이닝이 안 되어 있으면 당연히 못하지만, 원본에 도구 호출 능력이 있는데 파인튜닝된 모델이 못한다면 그건 대화 템플릿이 잘못 설정되어 있어서이다. 일반적으로 대화의 첫 메시지에서만 도구를 호출할 수 있고, 두 번째부터는 호출이 불가능해진다. 터미널, 커맨드 프롬프트 등 적당한 도구로 아래 명령을 실행한다.pip install -U gguf그리고 아래 명령을 실행하면 대화 템플릿이 반환된다. 경로와 파일 이름은 알맞게 바꾼다.python3 -c "from gguf import GGUFReader; f = GGUFReader('path/to/model.gguf').get_field('tokenizer.chat_template'); print(f.contents())"이렇게 나온 대화 템플..

PC·모바일 23:00:17

우분투에 LLM 설치해서 쓰기

llama.cpp 다운로드 (아래는 b12412 Vulkan 버전이며 자신의 PC 세팅에 알맞은 버전으로 교체해서 다운로드하면 됨.)mkdir -p ~/llama && cd ~/llamawget https://github.com/ggml-org/llama.cpp/releases/download/b12412/llama-b12412-bin-ubuntu-vulkan-x64.tar.gztar -xzf llama-b12407-bin-ubuntu-cuda-13.5-x64.tar.gzLLM 다운로드 (아래 두 모델은 예시이며, 원하는 모델로 교체하면 됨.)mkdir -p ~/llama/models && wget -O ~/llama/models/LFM2-8B-A1B-absolute-heresy.i1-IQ4_XS.ggu..

PC·모바일 2026.11.15

노트북에 ODD 캐디(멀티부스트) 사용 후 발열이 심해졌을 때

작업 관리자를 열어 보면 System이 항상 열심히 작업 중인 것으로 나오고 CPU가 C3 상태에 진입하지 못하고 거의 항상 고클록으로 작동한다. 스위치가 달려 있는 고가형 ODD 캐디는 캐디에 달린 스위치를 조작하여 고칠 수 있다. 알리 익스프레스에서 산 캐디는 그런 거 없다. 캐디를 빼서 바닥을 위로 오게 뒤집는다. 커넥터 부분이 아래와 같이 생겼고, 4번 핀에 절연 테이프를 붙이면 된다. 붙이기 어렵다.

PC·모바일 2026.08.16