Jak uruchomić Llamę 3 lokalnie za pomocą Ollama?

 

Aby rozpocząć, pierwszym krokiem jest instalacja programu Ollama, który jest kompatybilny z trzema głównymi systemami operacyjnymi
Ollama, bezpłatne narzędzie o otwartym kodzie źródłowym, umożliwia obsługę różnych dużych modeli językowych, takich jak Llama 3, na komputerach osobistych, nawet tych o ograniczonych możliwościach. Wykorzystuje llama.cpp, bibliotekę typu open source, która optymalizuje wydajność LLM na komputerach lokalnych przy minimalnych wymaganiach sprzętowych. Ollama oferuje również menedżera pakietów, który upraszcza proces szybkiego i wydajnego pobierania i aktywowania LLM za pomocą jednego polecenia.

LLama 3 lokalnie za pomocą Ollama krok po kroku

Aby rozpocząć, pierwszym krokiem jest instalacja programu Ollama , który jest kompatybilny z trzema głównymi systemami operacyjnymi, z aktualnie dostępną wersją systemu Windows 11 .
Po instalacji wystarczy otworzyć terminal. Polecenie aktywacji Ollama jest spójne na wszystkich obsługiwanych platformach.
ollama run llama3
Poczekaj kilka minut na pobranie i załadowanie modelu, po czym możesz rozpocząć z nim interakcję!
API Ollama
Jeśli rozważasz włączenie Ollama do swoich projektów, zapewnia ona własne API oraz kompatybilne z OpenAI. Te interfejsy API ułatwiają automatyczne ładowanie lokalnie przechowywanego LLM do pamięci, przeprowadzanie wnioskowania, a następnie rozładowywanie go po określonym czasie.

Musisz jednak najpierw pobrać modele, których chcesz używać, za pomocą wiersza poleceń, zanim będziesz mógł obsługiwać model za pośrednictwem interfejsu API.
ollama pull llama
Ollama oferuje również dedykowane interfejsy API, w tym kilka zestawów SDK specjalnie dla Javascript i Python. W przypadku podstawowego zadania generowania tekstu za pomocą interfejsu API wystarczy dostosować parametr modelu do żądanego modelu. Szczegółowe instrukcje można znaleźć w oficjalnej dokumentacji API
curl http://localhost:11434/api/generate -d ‘{

“model”: “llama”,

“prompt”:”what is artificial intelligence?”

}’
Oto metoda wnioskowania o generowaniu czatu przy użyciu interfejsu API.
curl http://localhost:11434/api/chat -d ‘{

“model”: “llama”,

“messages”: [

{ “role”: “user”, “content”: “what is artificial intelligence?” }

]

}’
Jak skonfigurować Ollamę za pomocą WebUI?
Zacznij od pobrania i zainstalowania Docker Desktop na swoim komputerze, aby skonfigurować stabilne środowisko do uruchamiania aplikacji kontenerowych. Po instalacji otwórz terminal i wykonaj następujące polecenie, aby pobrać najnowszy obraz Ollama z Docker Hub:
docker run -d \

–name ollama \

-p 11434:11434 \

-v ollama_volume:/root/.ollama \

ollama/ollama:latest
To polecenie pobiera najnowszą wersję obrazu Ollama, wraz ze wszystkimi niezbędnymi bibliotekami i zależnościami potrzebnymi do obsługi modelu:
docker run: This initiates the creation and startup of a new Docker container.
-d: Enables detached mode, allowing the container to operate in the background of your terminal.
–name ollama: Assigns the name “ollama” to the container, which simplifies future references to it via Docker commands.
-p 11434:11434: Maps port 11434 on the container to port 11434 on the host system, facilitating interaction with the application inside the container through the specified host system’s port.
-v ollama_volume:/root/.ollama: Attaches a volume named “ollama_volume” to /root/.ollama within the container for persistent storage, ensuring that data remains intact across container restarts and recreations. Docker will automatically create “ollama_volume” if it doesn’t already exist.
ollama/ollama:latest: Specifies the container image, using the “latest” version of the “ollama/ollama” image from a Docker registry such as Docker Hub.
Następnie, aby uwolnić tę funkcjonalność, wprowadź to polecenie w terminalu:
$ docker ps

aa492e7068d7   ollama/ollama:latest        “/bin/ollama serve”      9 seconds ago   Up 8 seconds   0.0.0.0:11434->11434/tcp   ollama

 

$ curl localhost: 11434

Ollama is running
Kontynuuj klonowanie oficjalnego repozytorium Ollama WebUI:
git clone https://github.com/ollama-webui/ollama-webui

cd ollama-webui
Następnie otwórz plik Compose, aby wyświetlić konfigurację YAML:
version: ‘3.6’

 

services:

ollama:

volumes:

– ollama:/root/.ollama

# Uncomment below to expose Ollama API outside the container stack

# ports:

#   – 11434:11434

container_name: ollama

pull_policy: always

tty: true

restart: unless-stopped

image: ollama/ollama:latest

 

ollama-webui:

build:

context: .

args:

OLLAMA_API_BASE_URL: ‘/ollama/api’

dockerfile: Dockerfile

image: ollama-webui:latest

container_name: ollama-webui

depends_on:

– ollama

ports:

– 3000:8080

environment:

– “OLLAMA_API_BASE_URL=http://ollama:11434/api”

extra_hosts:

– host.docker.internal:host-gateway

restart: unless-stopped

 

volumes:

ollama: {}
Przed przystąpieniem do kolejnych kroków upewnij się, że zatrzymałeś kontener Ollama Docker przy użyciu tej metody:
docker compose up -d
Przejdź do Docker Dashboard, następnie kliknij Kontenery, a następnie kliknij port WebUI.

Pomyślnie skonfigurowałeś Ollamę z jej WebUI w zaledwie dwie minuty, unikając skomplikowanych procesów wdrażania podów. Dzięki tej konfiguracji możesz uzyskać dostęp do szerokiej gamy funkcji i funkcjonalności za pośrednictwem interfejsu WebUI. Zaangażuj Ollamę do generowania różnych kreatywnych wyników tekstowych, takich jak wiersze, kod, scenariusze, kompozycje muzyczne, e-maile i listy. Możesz go także używać do łatwego tłumaczenia tekstu między różnymi językami lub otrzymywania pomocy i sugestii dotyczących kodowania.