Czy chatbot naprawdę pamięta rozmowę? Wyjaśniamy, jak działa okno kontekstowe i kiedy gubi ustalenia

Maksymalny rozmiar okna kontekstowego jest jednym z parametrów, które producenci często podają przy swoich modelach AI. Znacznie trudniej powiedzieć jednak, co adekwatnie wynika z niego podczas zwykłej rozmowy. Większy limit sugeruje, iż chatbot może pracować na większej ilości wcześniejszych informacji, ale nie oznacza jeszcze, iż każda z nich będzie miała taki sam wpływ na odpowiedź. Jeszcze mniej oczywiste staje się to w dłuższej rozmowie, w której część ustaleń jest poprawiana, zastępowana albo po prostu przestaje być aktualna. Wtedy sama obecność informacji w historii czatu przestaje mówić o tym, z czego model faktycznie skorzysta przy kolejnej odpowiedzi. Sprawdziłam więc, jak chatbot radzi sobie właśnie z takim przypadkiem i czy długa rozmowa rzeczywiście prowadzi do momentu, w którym zaczyna gubić wcześniejsze ustalenia.