Modele i embeddingi
Wybierz model językowy i konfigurację embeddingów.
raggy obsługuje wiele modeli embeddingów i modeli językowych. W tej sekcji wyjaśniamy, jak dobrać konfigurację do rodzaju treści, języka i wymaganej precyzji odpowiedzi.
Embeddingi
Embedding to numeryczna reprezentacja fragmentu tekstu. raggy używa go, aby odnaleźć w bazie wiedzy fragmenty najbardziej zbliżone znaczeniowo do pytania. Model embeddingów decyduje o jakości wyszukiwania i o tym, jak szybko indeksowane są Źródła.
| Model | Wymiar | Najlepszy do |
|---|---|---|
| Szybki | 384 | Duże zbiory, krótkie fragmenty, szybkie indeksowanie. |
| Zbalansowany | 768 | Domyślny wybór — dobry kompromis precyzji i kosztu. |
| Precyzyjny | 1536 | Złożone, techniczne lub prawne treści wymagające niuansów. |
| Wielojęzyczny | 768 | Bazy mieszające języki (np. polski i angielski). |
Wymiar wektora: Wyższy wymiar zwykle daje lepszą trafność, ale zwiększa rozmiar indeksu i czas wyszukiwania. Dla większości baz wiedzy Zbalansowany jest wystarczający.
Model językowy
Model embeddingów odpowiada za znalezienie właściwych fragmentów, a model językowy (LLM) generuje na ich podstawie odpowiedź w rozmowie. Po wyszukaniu kontekstu raggy przekazuje go do modelu, który formułuje spójną wypowiedź w języku pytania.
- Trafność kontekstu zależy od embeddingów — to one wybierają fragmenty.
- Styl i jakość odpowiedzi zależą od modelu językowego.
- Model językowy nie zmienia indeksu — można go przełączać w dowolnym momencie.
Bez ponownego indeksowania: Zmiana samego modelu językowego nie wymaga przetwarzania źródeł. Nowy model korzysta z istniejącego indeksu od razu.
Kiedy zmieniać model
Konfigurację warto dostosować, gdy odpowiedzi są nietrafione, baza rośnie albo zmienia się charakter treści. Pamiętaj jednak o jednej kluczowej różnicy między dwoma rodzajami modeli.
Zmiana embeddingów wymaga ponownego indeksowania: Jeśli zmienisz model embeddingów, wszystkie istniejące Źródła muszą zostać przetworzone od nowa, ponieważ stare wektory są niekompatybilne z nowym modelem. Do czasu zakończenia indeksowania wyszukiwanie może być niepełne.
Wskazówki doboru
- Zacznij od profilu Zbalansowany — sprawdza się w większości zastosowań.
- Treści w kilku językach? Wybierz model Wielojęzyczny, aby pytania i dokumenty trafiały się niezależnie od języka.
- Bardzo duża baza i nacisk na czas indeksowania? Rozważ profil Szybki.
- Treści techniczne, prawne lub mocno specjalistyczne? Profil Precyzyjny lepiej oddaje niuanse.
- Ustal konfigurację embeddingów przed masowym importem, aby uniknąć ponownego indeksowania.
Testuj na próbce: Zanim zmienisz model dla całej bazy, zaindeksuj niewielkie Repozytorium testowe i porównaj jakość odpowiedzi na typowych pytaniach.