Założę się, że w ostatnim czasie zdarzyło Wam się skorzystać z usług OpenAI i porozmawiać z ChatemGPT. Dostęp do tego rozwiązania jest możliwy poprzez ich stronę internetową, ale wiąże się to z pewnymi wadami. Po pierwsze, jesteśmy uzależnieni od dostępności usługi, która może akurat mieć awarię. Po drugie, wpisując coś w ChatGPT lub inny dostępny w internecie model językowy np. Gemini od Google, udostępniamy swoje dane, co niekoniecznie chcielibyśmy robić.
A co, gdyby uruchomić duży model językowy na własnym komputerze? Tak, jest to możliwe, a nawet bardzo proste. Wszystko dzięki aplikacji LM Studio udostępnianej przez Element Labs. Oczywiście pamiętajcie, że ta aplikacja nie jest otwartoźródłowa, a przed przystąpieniem do użytkowania warto przeczytać dostępne na stronie warunki użytkowania.
Jak zainstalować LM Studio?
Aplikację LM Studio pobierzecie na swój komputer ze strony lmstudio.ai. Dostępne są tam wersje na Winowsa, Maca oraz Linuksa. Ja sprawdzałem tylko wersję na Windowsa, ale pozostałe powinny działać analogicznie. Przed instalacją weźcie pod uwagę minimalne wymagania, które zaznaczyli twórcy aplikacji, czyli:
- Apple Silicon Mac (M1/M2/M3) with macOS 13.6 or newer
- Windows / Linux PC with a processor that supports AVX2 (typically newer PCs)
- 16GB+ of RAM is recommended. For PCs, 6GB+ of VRAM is recommended
- NVIDIA/AMD GPUs supported
Do uruchomienia modelu językowego rekomendowana jest karta graficzna, najlepiej taka, która powiada co najmniej 6 GB VRAM-u. Do większej pamięci karty zmieści się większy model, co przełoży się na wyższą jakość odpowiedzi.
Jak obsługiwać LM Studio?
Po zainstalowaniu LM Studio na komputerze widzimy następujący interfejs. Mamy do dyspozycji stronę główną, szukajkę, czat oraz dodatkowe opcje. Już na stronie głównej można pobrać sugerowane modele językowe, np. Llama 3, czyli model od Mety.
W wyszukiwarce jest opcja znalezienia i pobrania praktycznie dowolnego modelu. Warunkiem jest to, że twórca tego modelu udostępnia go w formacie GGUF. Każdy model może występować w różnych wersjach, które – nie wnikając w zbędne szczegóły – różnią się rozmiarem oraz jakością.
Na poniższym zrzucie ekranu widzicie polski model językowy Bielik. Aplikacja informuje mnie, że pierwszy z przygotowanych plików po pobraniu w całości zmieści się na kartę graficzną, którą mam w komputerze. Jest to zapewne wersja skwantyzowana modelu.
Po pobraniu modelu lub modeli, które chcielibyście wykorzystać, można przejść do zakładki chat. Tam do wyboru są wszystkie modele pobrane na Wasz komputer. U mnie załadowany aktualnie model to LLama 3.
Teraz to, co nam pozostaje, to zabawa i czatowanie. Pamiętajcie jednak, że to doświadczenie może różnić się znacząco od tego, czego doświadczycie na stronie ChatGPT. Po pierwsze, modele, które pobieracie na swój komputer są o wiele mniejsze niż np. GPT4, a w związku z tym wykazują się gorszymi zdolnościami. Kolejna ważna informacja jest taka, że te modele nie są “opakowane” przez dodatkowe instrukcje. W związku z tym nie mają np. świadomości tego czym są oraz nie są ocenzurowane. Dla uzyskania lepszych odpowiedzi wymagana jest odpowiednia konfiguracja. Jednym z parametrów dla takiego modelu może być temperatura, czyli to jak bardzo będzie się on trzymał faktów lub puści wodze fantazji. Warto też zadbać o dobre układanie prompotów.
Ja, bez dodatkowej konfiguracji, zapytałem Bielika o przepis na chlebek bananowy. Odpowiedź wydaje się być całkiem satysfakcjonująca 😉
