LLM 연결하기

LLM은 챗봇·MCP 답변을 문장으로 써 주고, 켜 두면 문서 분석에도 쓰여요. LLM 없이도 검색·MCP·문서 사이트는 전부 동작하고, 답변만 「문서 발췌」로 나가요. 네 가지 방식 중 고르세요 — 어느 쪽이든 검색 결과는 같아요. 어떤 문서 조각을 찾아오는지는 사내 파서·청킹·임베딩·하이브리드 검색이 정하고, LLM은 찾아온 발췌로 문장을 쓰는 마지막 단계만 맡기 때문이에요.

관리 › 온프렘 › LLM 연결의 「연결 방식」 알약에서 고르면 주소·모델명이 채워지고, 지금 설정이 사내 LLM(밖으로 0)인지 외부 상용 LLM(질문+발췌만 나감)인지 제목 옆 배지가 알려 줘요. 판정은 주소로 해요 — 사설망·.local·.internal·compose 서비스명이면 사내, 그 밖이면 외부.

방식 ① 사내에 이미 있는 LLM 연결

vLLM·llama.cpp·사내 AI 게이트웨이처럼 OpenAI 호환 API를 내는 서버가 있으면 그대로 연결돼요. 국산 모델(HyperCLOVA X·EXAONE·A.X 등)도 OpenAI 호환 주소면 돼요.

LLM 연결 — 「연결 방식」 알약에서 사내 LLM·국산 팩·외부 상용 LLM 중 고르고, 주소(/v1로 끝나는)·API 키·모델명을 넣어요. 「연결 시험」을 누르면 실제로 한 문장을 물어 보고 응답 시간·모델 이름·판정(사내/외부)이 옆에 나와요. 제목 옆 배지가 지금 설정이 「사내 LLM · 밖으로 나가는 것 0」인지 알려 줘요.

1. 주소에 https://llm.corp.local/v1처럼 /v1까지 넣어요.
2. API 키는 있을 때만. 저장한 뒤엔 칸이 비어 보여도 키는 유지돼요(바꿀 때만 다시 입력).
3. 답변 모델에 그 서버가 아는 모델 이름을 넣어요(예: exaone-4.0-32b). llama.cpp는 아무 값이나 돼요.
4. 연결 시험이 ✓이면 「LLM 사용」을 켜고 저장해요.
5. 주소가 사내 도메인이 아니라면 저장할 때 자동으로 허용 목록에 들어가요.

방식 ② 국산 LLM 팩

팀 › 온프렘에서 받은 팩(wisdombase-llm-pack-….tar.gz)을 서버로 옮기고 한 줄이면 돼요.

sudo ./add-llm-pack.sh wisdombase-llm-pack-kanana-1.5-8b-q4.tar.gz /opt/wisdombase

• 모델이 models/llm.gguf로 자리 잡고 wisdombase-llm 컨테이너가 떠요. 첫 적재에 1~3분 걸려요.
• 관리 화면에서 주소 http://llm:8080/v1, 모델명은 아무 값(예: kanana)으로 연결 시험 → 「LLM 사용」 → 저장.
• 표준(8B)은 GPU 또는 16코어 이상 CPU, 경량(2.1B)은 8코어 CPU에서도 답변해요. CPU만 있으면 한 답변에 수십 초 걸릴 수 있어요. GPU가 있으면 .env의 IMAGE_LLAMA를 llama.cpp CUDA 이미지로 바꾸고 compose에 --gpus all을 더해 주세요(안내가 필요하면 문의 주세요).

방식 ③ 외부 상용 LLM 연결(하이브리드)

「문서는 밖에 못 나가지만 답변 품질은 GPT·Claude급이어야 한다」면 이 방식이에요. 임베딩·검색은 그대로 사내에서 끝나고, 답변마다 질문과 검색된 문서 발췌만 제공사로 나가요. 문서 원본·임베딩·색인·계정 정보는 LLM 요청에 실리지 않아요.

외부 상용 LLM 연결 — OpenAI 알약을 고르면 주소와 기본 모델명이 채워지고, 배지가 「외부 상용 LLM · 질문+발췌만 나감」으로 바뀌어요. 아래 발췌 상한(기본 4,800자)이 「얼마나 나가나」의 상한이에요.

1. 「연결 방식」에서 OpenAI · Anthropic Claude · Google Gemini · Azure OpenAI · Upstage Solar · 비즈라우터 중 하나를 고르면 주소와 기본 모델명이 채워져요(Azure는 리소스 주소를 직접 적고, 모델명엔 배포 이름).
2. API 키에 제공사 키를 넣고 연결 시험 → ✓와 함께 「외부 상용 LLM · 질문+발췌만 나감」이 나오면 「LLM 사용」을 켜고 저장해요. 저장하면 그 제공사 호스트 하나만 허용 목록에 들어가요.
3. 답변 한 번에 LLM으로 보내는 발췌 상한(기본 4,800자)으로 「얼마나 나가나」의 상한을 정해요. 검색된 조각을 이 글자 수까지만 잘라 보내요.
4. 같은 화면 「이번 달 LLM 전송량」에서 요청 수·보낸 글자·밖으로 나간 글자·평균 응답을 월별로 확인해요. 감사 자료로 그대로 쓸 수 있어요.
5. 「문서 분석에도 LLM 사용」을 외부 LLM으로 켜면 가져오기 때 문서 표본(페이지당 최대 3,500자)이 나가요. 기본은 꺼져 있고, 켜도 전송량에 그대로 셈해져요.

비즈라우터로 연결하면 한 키로 GPT·Claude·Gemini·국산 모델을 모델명만 바꿔 가며 비교할 수 있어요. 검색 지연·답변 지연 실측은 wisdombase.ai/onprem/benchmark에 있어요.

방식 ④ LLM 없이 검색만

아무것도 연결하지 않으면 챗봇은 가장 관련 있는 문서 발췌와 출처로 답해요. ChatGPT·Claude 같은 클라이언트에서 MCP로 붙일 땐 그 클라이언트의 LLM이 답을 쓰므로 서버에 LLM이 없어도 잘 동작해요. 가장 보수적인 구성이에요.

「문서 분석에도 LLM 사용」은 언제 켜나요

문서를 가져올 때 유형·청킹 전략·섹션 요약을 LLM이 정하게 하는 옵션이에요. 검색 품질이 조금 좋아지지만 CPU 서빙이면 페이지당 몇 분이 걸려 가져오기가 느려져요. GPU가 있을 때만 켜고, 그 전엔 꺼 두세요(꺼도 제목 기준 분할로 바로 임베딩돼요).