Przepisy na AI

Lokalne modele AI — Ollama, LM Studio, llama.cpp. Przewodnik i prompty

Nie musisz płacić OpenAI ani przesyłać danych na zewnątrz. Lokalne AI — Ollama, LM Studio, llama.cpp — pozwalają uruchomić modele LLM na własnym komputerze. Oto konkretne przepisy i prompty.

Czym są lokalne modele AI?

Lokalne modele AI to modele językowe (LLM), które uruchamiasz bezpośrednio na swoim komputerze, bez potrzeby łączenia się z chmurą (np. OpenAI). To większa prywatność, brak limitów API i pełna kontrola nad danymi. Najpopularniejsze narzędzia to Ollama, LM Studio i llama.cpp.

  • Ollama — najprostszy sposób na uruchamianie modeli typu Llama 2, Mistral, Phi-3. Działa przez CLI i API.
  • LM Studio — aplikacja na Windows/Mac z graficznym interfejsem, umożliwia obsługę wielu modeli.
  • llama.cpp — narzędzie CLI/CLI API dla zaawansowanych, bardzo wydajne i elastyczne.

Wskazówka: Ollama i LM Studio są idealne na początek. Jeśli lubisz terminal i optymalizacje – sięgnij po llama.cpp.

Jak zainstalować lokalne modele?

Ollama — instalacja i uruchomienie

Wejdź na ollama.com/download i pobierz instalator. Po instalacji, uruchom terminal i wpisz:

ollama run mistral

Ten prompt pobierze i uruchomi model Mistral. Możesz go zastąpić np. llama2, phi3 lub innym modelem z katalogu Ollama.

LM Studio — pierwsze kroki

Pobierz aplikację z lmstudio.ai. Po uruchomieniu wybierz model z listy („Models”) i kliknij „Download”. Potem możesz wprowadzić prompt w oknie czatu.

llama.cpp — dla zaawansowanych

llama.cpp znajdziesz na GitHub. Wersje binarne dostępne są dla Windows/Mac/Linux. Po pobraniu skompiluj program i uruchom wybrany model:

./main -m models/llama-2-7b-chat.ggmlv3.q4_0.bin -p "Napisz prosty prompt engineering tutorial po polsku."

Tip: Modele musisz pobrać osobno (z Hugging Face lub innego źródła). Zwróć uwagę na format pliku: ggml, gguf itd.

Przykładowe prompty do lokalnych modeli

Lokalne modele świetnie sprawdzają się w automatyzacjach i zadaniach offline. Oto gotowe prompty (przepisy), które możesz wykorzystać:

1. Szybkie podsumowanie dokumentu

Podsumuj poniższy tekst w 5 punktach. Skup się na kluczowych informacjach:
---
{{tu_wklej_treść_dokumentu}}

Wklej do prompta tekst dowolnego dokumentu (np. mail, notatka, fragment PDF). Model wygeneruje streszczenie, idealne do szybkiego przeglądu zawartości.

Zastosowanie: automatyczne raportowanie, szybkie przeglądy maili, notatek ze spotkań.

2. Tworzenie checklisty z instrukcji

Przeczytaj poniższą instrukcję i przekształć ją w listę kontrolną (checkbox list):
---
{{instrukcja}}

Przydaje się przy procedurach, onboardingach czy checklistach dla zespołu.

3. Generowanie promptów do ChatGPT

Stwórz 5 różnorodnych promptów do ChatGPT na temat: "{{temat}}". Każdy powinien być konkretny i praktyczny.

Użyj, gdy chcesz mieć gotowe prompty do różnorodnych zastosowań — od nauki po automatyzację pracy.

4. Poprawianie tekstu (korekta językowa)

Popraw poniższy tekst pod względem gramatycznym i stylistycznym. Zwróć uwagę na jasność wypowiedzi:
---
{{tekst_do_poprawy}}

Działa świetnie offline, szczególnie gdy nie chcesz przesyłać tekstów do chmury.

5. Automatyczne generowanie maila na podstawie punktów

Na podstawie poniższych punktów napisz profesjonalnego maila:
---
{{punkty}}

Wklej listę tematów/ustaleń, a AI wygeneruje pełną treść maila — bez ryzyka wycieku danych.

Automatyzacje: jak wykorzystać lokalne modele AI?

CLI i API w praktyce (Ollama, llama.cpp)

Zarówno Ollama, jak i llama.cpp mogą działać jako serwery API. Dzięki temu możesz zautomatyzować wiele czynności:

  • Analiza plików tekstowych w folderze (np. streszczenia PDF, notatek)
  • Integracja z własnymi aplikacjami (np. workflow w Obsidian, automatyzacje z Zapier/Make przez webhooki lokalne)
  • Szybkie generowanie treści na podstawie szablonów

Przykład: wywołanie prompta przez API (Ollama)

curl http://localhost:11434/api/generate -d '{"model": "mistral", "prompt": "Streszcz poniższy tekst w 3 punktach: ..."}'

To polecenie zwróci odpowiedź modelu w JSON. Możesz użyć w skryptach bash, Pythonie, node.js.

Tip: LM Studio ma wbudowane API REST — sprawdź port w ustawieniach, aby zintegrować z własnymi narzędziami.

Jakie modele wybrać?

  • Mistral — szybki, uniwersalny, dobrze radzi sobie z polskim
  • Llama 2 — wszechstronny, szeroko wspierany
  • Phi-3 — lekki, idealny do prostych zadań i komputerów bez mocnego GPU
  • Gemma, Zephyr, OpenHermes — alternatywy do testów, różnią się stylem generacji

Wskazówka: Jeśli nie wiesz od czego zacząć, uruchom Mistral lub Llama 2 przez Ollama.

Podsumowanie

Lokalne modele AI (Ollama, LM Studio, llama.cpp) to realna alternatywa dla chmurowych rozwiązań. Pozwalają na automatyzację, zachowanie prywatności i pełną kontrolę nad danymi — bez abonamentu. Wystarczy komputer z 8-16GB RAM, by uruchomić nowoczesne LLM. Skorzystaj z gotowych promptów i przepisów powyżej, by przyspieszyć swoją pracę!

Automatyzacje