„Chcielibyśmy używać AI do analizy dokumentów, ale nie możemy wysyłać danych klientów do OpenAI” – to zdanie słyszymy coraz częściej od kancelarii, przychodni i firm produkcyjnych. I słusznie: nie każdy dokument może opuścić firmę. Dobra wiadomość jest taka, że własny model językowy (LLM) można dziś uruchomić na własnym serwerze – a jeśli masz już Proxmoksa, masz też idealne miejsce, żeby to zrobić.
To temat, który łączy dwie rzeczy, o których piszemy na tym blogu: praktyczną wirtualizację i zdrowy rozsądek w wydawaniu pieniędzy na IT. Zobaczmy, jak to wygląda w praktyce.
Po co firmie własny, lokalny LLM
- Prywatność i zgodność – dane nie opuszczają Twojej infrastruktury. Dla danych osobowych, medycznych czy objętych tajemnicą zawodową to często warunek konieczny.
- Przewidywalny koszt – brak rozliczania za token. Płacisz raz za sprzęt (albo używasz tego, co masz), a nie co miesiąc za zużycie API.
- Niezależność – model działa nawet bez internetu i nie znika, gdy dostawca zmieni cennik lub regulamin.
- Integracja wewnętrzna – możesz „podpiąć” model do własnych dokumentów, bazy wiedzy czy systemu zgłoszeń (tzw. RAG) bez ujawniania ich na zewnątrz.
Dlaczego akurat Proxmox
Jeśli przeszedłeś już drogę opisaną w naszym cyklu – od pytania czym jest Proxmox VE po migrację serwerów na Proxmox – to lokalny LLM jest naturalnym kolejnym workloadem. Proxmox daje tu kilka konkretnych przewag:
- Izolacja – model uruchamiasz w osobnej maszynie wirtualnej lub kontenerze, nie mieszając go z resztą usług.
- Przekazanie GPU (passthrough) – kartę graficzną można przypisać bezpośrednio do maszyny z modelem, co radykalnie przyspiesza działanie.
- Snapshoty i kopie – eksperymentujesz z modelami bez ryzyka; w razie czego wracasz do poprzedniego stanu.
VM czy kontener LXC?
To częste pytanie. Z grubsza:
- Kontener LXC – lżejszy, szybszy start, świetny gdy dzielisz jedną kartę GPU i chcesz maksymalnie wykorzystać zasoby. Więcej o tym, dlaczego kontenery LXC bywają lepsze niż pełna VM, pisaliśmy osobno.
- Maszyna wirtualna (KVM) – pełniejsza izolacja i prostszy, „czysty” GPU passthrough. Bezpieczniejszy wybór, gdy model ma być produkcyjny i odseparowany.
Jakiego sprzętu naprawdę potrzebujesz
Tu rozprawmy się z mitem, że „AI wymaga serwerowni za miliony”. Dla typowych zastosowań małej firmy:
- Małe modele (do ~8B parametrów) – działają sensownie nawet na karcie z 8-12 GB VRAM, a w wersjach skwantyzowanych potrafią ruszyć na mocnym CPU. Wystarczą do streszczania, klasyfikacji maili, prostego asystenta.
- Średnie modele (~13-34B) – komfortowo potrzebują 24 GB VRAM (np. jedna porządna karta). To rozsądny punkt dla jakościowej pracy z dokumentami po polsku.
- RAM i dysk – 32-64 GB RAM i szybki dysk NVMe na wagi modeli. Nic egzotycznego.
W praktyce wiele firm zaczyna od jednej karty GPU dołożonej do istniejącego hosta Proxmox – i to wystarcza do pierwszych realnych wdrożeń.
Stos, który po prostu działa
Nie trzeba budować niczego od zera. Sprawdzony, otwarty zestaw to:
- Ollama lub llama.cpp – silnik uruchamiający model lokalnie, z prostym API.
- Open WebUI – wygodny interfejs czatu dla pracowników, podobny do tego, co znają z sieci.
- Baza wektorowa (np. Qdrant) – gdy chcesz, by model odpowiadał na podstawie Twoich dokumentów.
Całość zamykasz w jednym kontenerze lub VM, obejmujesz monitoringiem i kopią zapasową – dokładnie tak, jak każdą inną usługę w Twojej infrastrukturze.
O bezpieczeństwie nie zapominaj
Lokalny LLM to kolejna usługa, którą trzeba zabezpieczyć. Dostęp tylko z sieci wewnętrznej, uwierzytelnianie w Open WebUI, brak wystawiania panelu do internetu – zasady są te same, co w naszym wpisie o konfiguracji Proxmoksa i hardeningu środowiska.
Co dalej w tym cyklu
W kolejnych wpisach zajmiemy się siecią w Proxmoksie, doborem storage (ZFS, Ceph, LVM) oraz utrzymaniem środowiska bez przestojów – wszystkim, co sprawia, że taki lokalny LLM działa stabilnie i produkcyjnie, a nie tylko „w demie”.
Myślisz o własnym AI, ale nie wiesz, od czego zacząć ani jaki sprzęt dobrać? Napisz do nas – pomożemy zaprojektować i wdrożyć lokalny model na Twoim Proxmoksie, dopasowany do realnych potrzeb i budżetu.