OpenAI Playground

Co wpływa na jakość uzyskiwanych odpowiedzi?

Z systemami AI takimi jak ChatGPT albo Google Bard możemy komunikować się albo za pomocą graficznego interfejsu albo bezpośrednio przez API, które daje dużo więcej możliwości. Ta ostatnia metoda wymaga umiejętności programowania, ale istnieje sposób, aby przetestować różne modele językowe bez pisania linijki kodu i w przypadku OpenAI jest nim Playground.

Interfejs OpenAI Playground

Playground ma tę przewagę, że poza interakcją z różnymi modelami za pośrednictwem prompta, możemy definiować wartość różnych parametrów, które mają wpływ na to w jaki sposób AI generuje odpowiedzi i rezultaty dla naszych poleceń.

Każdy z wymienionych parametrów, tj. temperature, top_p, frequence i presence penalty wpływa na to w jaki sposób model będzie generować swoje odpowiedzi.

TEMPERATURA - ten parametr wpływa na losowość generowanego tekstu.

Wyższa temperatura powoduje, że model jest bardziej skłonny do wybierania mniej prawdopodobnych słów, co prowadzi do bardziej kreatywnych i zróżnicowanych odpowiedzi. Niższa temperatura powoduje, że model jest bardziej skłonny do wybierania najbardziej prawdopodobnych słów, co prowadzi do bardziej przewidywalnych i konsekwentnych odpowiedzi.

w ChatGPT domyślnie ustawiona jest niezerowa wartość, która zapewnia, że model nie jest deterministyczny - to znaczy, że dla tego samego pytania nigdy nie zwraca odpowiedzi sformułowanej w taki sam sposób, jak wcześniej.

TOP_P - ten parametr wpływa na to, jak wielu różnych słów model użyje.

Jego wartość określa, ile procent najbardziej prawdopodobnych słów model powinien rozważać. Na przykład, jeśli "top_p" wynosi 0.1, model będzie rozważał tylko 10% najbardziej prawdopodobnych słów.

Podobnie jak "temperature", wyższa wartość "top_p" prowadzi do bardziej kreatywnych i zróżnicowanych odpowiedzi, a niższa wartość prowadzi do bardziej przewidywalnych i konsekwentnych odpowiedzi.

W praktyce, "temperature" i "top_p" często są używane razem, aby uzyskać odpowiednią równowagę między kreatywnością a przewidywalnością w generowanych odpowiedziach.

Aby dać wyobrażenie o tym, jak te parametry mogą być używane w różnych scenariuszach, spójrz na tabelę z przykładowymi wartościami, które można zastosować dla różnych poleceń:

Zastosowanie	Temp	Top_p	Efekt ustawienia parametrów
Generowanie kodu	0.2	0.1	Generuje kod zgodny z ustalonymi powszechnie wzorcami i konwencjami. Przydatne do generowania poprawnego składniowo kodu.
Kreatywne pisanie	0.7	0.8	Generuje kreatywny i zróżnicowany tekst w formie storytellingu. Wyniki są bardziej odkrywcze i mniej ograniczone przez wzorce.
Rozmowa z chatbotem	0.5	0.5	Generuje odpowiedzi konwersacyjne, które równoważą spójność i różnorodność. Wyniki są bardziej naturalne i angażujące.
Generowanie komentarza do kodu	0.3	0.2	Generuje komentarze do kodu, które są bardziej zwięzłe i trafne. Dane wyjściowe są bardziej przewidywalne i zgodne z konwencjami.
Analiza danych	0.2	0.1	Generuje skrypty analizy danych, które z większym prawdopodobieństwem będą poprawne i wydajne.
Generowanie pomysłów	0.6	0.7	Generuje alternatywne rozwiązania i kreatywne podejścia. Wynik jest mniej ograniczony przez powszechne i ustalone wzorce.

FREQUENCE PENALTY - ten parametr wpływa na prawdopodobieństwo generowania często występujących słów lub fraz. Jeśli ustawisz wysoką wartość dla "frequency penalty", model będzie unikał powtarzania tych samych fraz lub słów, co może być użyteczne, jeśli chcesz, aby wygenerowany tekst był bardziej zróżnicowany.

PRESENCE PENALTY - ten parametr wpływa na to, czy model generuje słowa lub frazy, które nie pojawiły się wcześniej w tekście wejściowym. Niska wartość tego parametru sprawi, że model będzie bardziej skłonny do wprowadzania nowych słów lub koncepcji, które nie pojawiły się wcześniej. To może prowadzić do bardziej kreatywnych i nieprzewidywalnych odpowiedzi, ale może również prowadzić do tekstu, który jest mniej spójny z oryginalnym tekstem wejściowym.

Kluczowa różnica między oboma parametrami jest taka, że presence penalty skupia się koncepcji oraz treści, których dotyczy tekst, a frequency penalty ma wpływ na różnorodność słów i fraz, które zostaną użyte do ich opisania.