[AI] Ollama 다운로드 및 모델 다운 방법

Ollama 는 로컬 환경(내 PC)에서 대규모 언어 모델인 LLM을 실행할 수 있도록 설계된 도구로 Mistral, Llama 3 등 다양한 오픈소스 LLM을 지원합니다. 또 한 Hugging face에서 다운 받은 GGUF 모델을 Ollama에 올려서 사용할 수 있습니다.

 

Ollama 다운경로 

https://ollama.com/download

Download Ollama on macOS

 

올라마 설치 후 확인 cmd에 ollama 입력

ollama

올라마에서 모델 명 복사

현재 Ollama에 다운 받은 모든 모델 출력

ollama list

모델 다운 받기

xxxx에 모델 명을 넣으면 된다.

run - 모델 다운받고 실행

pull - 모델만 다운로드

ollama run xxxxx

ollama pull xxxx

모델 호출

from langchain_community.chat_models import ChatOllama
llm = ChatOllama(model="llama3")
llm.invoke("안녕")