자체 호스팅 LLM을 이용한 자연어 검색 질의

최근 ChatGPT와 같은 대규모 언어 모델(LLM)의 발전으로 자연어 검색이 주목받고 있습니다. 이번 글에서는 오픈소스 LLM을 로컬 환경에서 실행하여 자연어 검색 시스템을 구축하는 방법을 알아보겠습니다.

LM Studio 소개

LM Studio는 로컬 환경에서 LLM을 쉽게 실행할 수 있게 해주는 데스크톱 애플리케이션입니다. 주요 특징은 다음과 같습니다:

• 다양한 오픈소스 LLM 모델 지원
• 간단한 GUI 인터페이스
• API 서버 모드 제공
• Windows/Mac/Linux 지원
• 모델 다운로드 및 관리 기능

사용할 LLM 모델 소개

1. DeepSeek R1

DeepSeek R1은 중국 DeepSeek사에서 개발한 오픈소스 LLM입니다.

• 7B/12B 파라미터 모델 제공
• 한국어 성능이 우수
• 낮은 하드웨어 요구사항
• Apache 2.0 라이선스

2. Qwen

알리바바에서 공개한 오픈소스 LLM입니다.

• 1.8B/7B/14B/72B 파라미터 모델
• 다국어 지원 우수
• 문맥 길이 32K 토큰 지원
• 상업적 이용 가능

NL2SQL이란?

NL2SQL은 사용자가 일상적인 언어로 데이터베이스 질의를 할 수 있게 해주는 기술입니다. 예를 들어:

자연어: "서울에 사는 30대 고객의 평균 구매액을 알려줘"
SQL: SELECT AVG(purchase_amount) FROM customers WHERE city = '서울' AND age BETWEEN 30 AND 39

 

아래 화면은 백엔드는 LangChain, FastAPI 등으로 작성해 Postgresql에 저장된 공간정보를 MapLibre GL JS로 작성한 페이지입니다.

 

질문 있으신 분은 댓글 주시면 답변드리겠습니다.

 

오늘도 즐거운 하루 보내세요.