로컬로 딥시크(DeepSeek) 구동하기 (Ollama + OpenWebUI)

🐬 딥시크(deepseek)란 ?

 

DeepSeek는 2023년 7월 17일에 설립된 중국의 인공지능(AI) 스타트업 회사로, 대규모 언어 모델(LLM) 개발에 주력하고 있는데, 고급 언어 모델과 오픈소스 접근 방식으로 AI 커뮤니티에서 큰 주목을 받고 있습니다.

 

이 회사가 만든 언어 모델이 deepseek r1입니다.

 

챗GPT를 만든 오픈 AI가 마이크로소프트의 투자를 받고 있는 것처럼 딥시크는 중국 헤지펀드인 High-Flyer가 100% 자금을 지원하고 있습니다.

 

현재 사이트와 앱에서 수준이 높은 AI 모델을 무료로 사용 가능할 뿐만 아니라, 미국의 AI 업계에도 영향을 주고 있습니다.

 

 

 

 

내 PC에서 로컬로 딥시크 구동하기

 

• Ollama를 통해 CMD에서 사용하기
• Ollama + Docker + OpenWebUI에서 사용하기

 

✔ 설치해야하는 프로그램

• Ollama

Ollama는 로컬에서 LLM을 실행할 수 있도록 도와주는 오픈 소스 도구입니다.

현재 macOS, Windows 11 이상, 그리고 대부분의 Linux 배포판에서 지원됩니다.

 

1. Ollama 설치

Ollama

2. Ollama에서 DeepSeek 모델 다운 받기

deepseek-r1

 

해당 모델 부분의 코드 복사해서 터미널에 입력하고 Enter 눌러서 설치한다.

(success 나오면 제대로 설치된 것)

→ 이렇게 cmd에서 deepseek를 사용할 수 있으나, UI가 불편하기 때문에 OpenWebUI를 활용

 

• Docker

OpenWebUI는 Docker를 통해 실행되기 때문에 Docker를 먼저 설치해야한다.

Docker: Accelerated Container Application Development

 

• OpenWebUI

1. 터미널을 열고 다음 명령어를 입력하여 OpenWebUI를 Docker를 통해 설치하고 실행한다.

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 

2. OpenWebUI 접속

 

http://localhost:3000 주소로 접속하면 된다.