Czy to bóle wzrostowe, czy ChatGPT po prostu staje się głupszy?

 

Powszechnie ceniony duży model językowy OpenAI został okrzyknięty „po prostu najlepszym chatbotem ze sztuczną inteligencją, jaki kiedykolwiek został udostępniony ogółowi społeczeństwa” przez Kevina Roose'a, autora „Futureproof: 9 Rules for Humans in the Age of Automation” oraz „jedną z największych rzeczy, jakie kiedykolwiek zrobiono dla komputerów” przez dyrektora generalnego Nvidii, Jensena Huanga.
ChatGPT stał się tak dobry w zapewnianiu naturalnych odpowiedzi na zapytania użytkowników, że niektórzy uważają, że oficjalnie przeszedł test Turinga, od dawna mierzący zdolność maszyny do osiągnięcia ludzkiej inteligencji.

ChatGPT zdobył najwyższe percentyle egzaminów z osiągnięć w niezliczonych dziedzinach: matematyka (89.), prawo (90.) i GRE ustne (99.).

A naukowcy ze szkoły medycznej NYU poinformowali na początku lipca 2023 r., że porady udzielane przez ChatGPT w kwestiach związanych z opieką zdrowotną były prawie nie do odróżnienia od porad udzielanych przez personel medyczny.

Ale naukowcy z Uniwersytetu Stanforda i Uniwersytetu Kalifornijskiego w Berkeley nie są jeszcze gotowi, by powierzyć ChatGPT podejmowanie jakichkolwiek krytycznych decyzji.

Nawiązując do rosnącej liczby obaw wyrażanych ostatnio przez użytkowników, Lingjiao Chen, Matei Zaharia i James Zhu stwierdzili, że wydajność ChatGPT nie jest spójna. W niektórych przypadkach jest coraz gorzej.

W artykule opublikowanym 18 lipca na serwerze arXiv preprint, badacze stwierdzili, że „wydajność i zachowanie zarówno GPT-3.5, jak i GPT-4 znacznie się różnią”, a reakcje na niektóre zadania „z czasem znacznie się pogorszyły”.

Odnotowali znaczące zmiany w wynikach w okresie czterech miesięcy, od marca do czerwca.

Naukowcy skupili się na kilku obszarach, w tym rozwiązywaniu problemów matematycznych i generowaniu kodu komputerowego.

W marcu 2023 r. GPT-4 osiągnął wskaźnik dokładności 97,6% przy rozwiązywaniu problemów dotyczących liczb pierwszych. Według naukowców ze Stanford wskaźnik ten spadł do zaledwie 2,4%, gdy zastosowano zaktualizowany model z czerwca 2023 r.

ChatGPT zdobył szerokie uznanie za swoją zdolność do pomocy programistom w problemach z programowaniem i debugowaniem. W marcu GPT-4 odpowiedział na prośby programistów, wypełniając dokładne, gotowe do uruchomienia skrypty w nieco ponad 50% przypadków. Ale do czerwca stopa spadła do 10%. Chat-GPT-3.5 również wykazał znaczny spadek dokładności, z 22% w marcu do 2% w czerwcu.

Co ciekawe, ChatGPT-3.5 wykazał prawie odwrotne wyniki w zdolnościach matematycznych: osiągając zaledwie 7,4% wskaźnika dokładności w rozwiązywaniu problemów z liczbami pierwszymi w marcu, ulepszona wersja w czerwcu osiągnęła wskaźnik 86,8%.

Zhu powiedział, że trudno jest wskazać przyczynę, chociaż wydaje się oczywiste, że modyfikacje i aktualizacje systemu są czynnikami.

„Nie do końca rozumiemy, co powoduje te zmiany w odpowiedziach ChatGPT, ponieważ te modele są nieprzejrzyste” – powiedział Zhu. „Możliwe, że dostrojenie modelu w celu poprawy jego wydajności w niektórych domenach może mieć nieoczekiwane skutki uboczne w postaci pogorszenia go w innych zadaniach”.

Teoretycy spiskowi, którzy zauważyli pogorszenie niektórych wyników, sugerują, że OpenAI eksperymentuje z alternatywnymi, mniejszymi wersjami LLM w celu obniżenia kosztów. Inni uważają, że OpenAI celowo osłabia GPT-4, więc sfrustrowani użytkownicy będą bardziej skłonni zapłacić za akcesorium GitHub LLM CoPilot.

OpenAI odrzuca takie twierdzenia. W zeszłym tygodniu wiceprezes ds. produktu OpenAI, Peter Welinder, powiedział w tweecie: „Nie sprawiliśmy, że GPT-4 będzie głupszy. Wręcz przeciwnie: sprawiamy, że każda nowa wersja jest inteligentniejsza niż poprzednia”.

Zasugerował inny powód. „Kiedy używasz go intensywniej, zaczynasz zauważać problemy, których wcześniej nie widziałeś”.

Tymczasem niektórzy obserwatorzy, obawiając się wpływu destrukcyjnego „dryfu” wyników modeli, naciskają na OpenAI, aby ujawniło źródła materiałów szkoleniowych, kod i inne elementy strukturalne stojące za ChatGPG 4.0.

Sasha Luccioni z firmy zajmującej się sztuczną inteligencją Hugging Face wyjaśniła: „Wszelkie wyniki na modelach z zamkniętym źródłem nie są powtarzalne ani weryfikowalne, dlatego z naukowego punktu widzenia porównujemy szopy i wiewiórki”.

„Nie należy do naukowców ciągłe monitorowanie wdrożonych LLM” — powiedziała niedawno w wywiadzie dla ARS Technica. „Do twórców modeli należy zapewnienie dostępu do podstawowych modeli, przynajmniej do celów audytu”.