Potrzebujesz wsparcia w analizie danych, przygotowaniu publikacji naukowej lub pracy naukowej? A może analizę – badanie – raport w tym lub podobnym temacie? Nasz zespół ekspertów pomoże Ci przekuć Twoje badania w solidne, merytoryczne opracowanie. Skontaktuj się z nami, aby omówić Twój projekt.

TLDR; czyli esencja w pięciu zdaniach

Naukowcy z MIT opracowali nową metodę tworzenia „ogólnych agentów społecznych” AI, które potrafią znacznie lepiej niż dotychczasowe modele przewidywać ludzkie zachowania w zupełnie nowych sytuacjach. Kluczem jest połączenie teorii nauk społecznych z danymi empirycznymi: agenci są „uczeni” za pomocą instrukcji językowych opartych na teoriach ekonomicznych, a następnie optymalizowani na podstawie rzeczywistych danych z eksperymentów. Co najważniejsze, ich skuteczność jest weryfikowana na zestawach danych z gier o podobnej logice, ale innej strukturze, co zapobiega „przepisywaniu” wyników i promuje prawdziwe uogólnianie. Metoda ta, przetestowana na ogromnej populacji blisko 900 000 unikalnych gier strategicznych, okazała się znacznie lepsza niż standardowe modele AI i klasyczne teorie ekonomiczne. To krok w stronę stworzenia wiarygodnych symulatorów społecznych, które mogą zrewolucjonizować badania i politykę publiczną.

Dlaczego ten temat jest ważny?

Wyobraźmy sobie narzędzie, które pozwala na tanie i szybkie testowanie skutków nowych regulacji prawnych, kampanii społecznych czy strategii biznesowych, zanim zostaną one wdrożone w realnym świecie. Taka jest obietnica symulacji społecznych opartych na sztucznej inteligencji. Zamiast kosztownych i czasochłonnych eksperymentów z udziałem tysięcy ludzi, moglibyśmy przeprowadzić je w cyfrowym „laboratorium”, używając agentów AI jako symulowanych uczestników. Problem polega na tym, że dotychczasowe modele AI, mimo imponujących zdolności językowych, często zawodzą jako wiarygodne symulatory ludzkich zachowań. Ich przewidywania bywają niestabilne i często nie uogólniają się na nowe, nieznane sytuacje. Zbudowanie agentów, którzy potrafią myśleć i działać jak ludzie w szerokim spektrum kontekstów, to jedno z największych wyzwań i jednocześnie jedna z największych szans dla nauk społecznych w XXI wieku.

Porażka naiwnego podejścia: dlaczego zwykłe „promptowanie” nie działa?

Naturalnym pierwszym krokiem w tworzeniu symulacji jest instruowanie dużego modelu językowego (LLM), by zachowywał się w określony sposób. Jednak takie podejście jest pełne pułapek. Standardowe polecenia, takie jak „jesteś człowiekiem”, dają wyniki lepsze niż losowe, ale wciąż dalekie od rzeczywistych zachowań. Co gorsza, łatwo jest wpaść w pułapkę nadmiernego dopasowania (overfittingu). Można, metodą prób i błędów, znaleźć bardzo specyficzny „prompt” (np. „losowo wybieraj liczby od 6 do 9”), który idealnie odtworzy wyniki z jednego konkretnego eksperymentu. Taki model będzie jednak całkowicie bezużyteczny w każdej innej, nawet minimalnie zmienionej sytuacji. Problem nie polega na znalezieniu instrukcji, która pasuje do danych. Problemem jest znalezienie instrukcji, która oddaje ogólne, przenoszalne na inne konteksty mechanizmy ludzkiego myślenia.

Nowa metodologia: teoria jako kompas, walidacja jako mapa

Autorzy badania proponują rygorystyczną, czteroetapową metodologię, która ma przezwyciężyć te ograniczenia. Jej siła leży w połączeniu dwóch kluczowych zasad: ugruntowania w teorii i walidacji na zróżnicowanych danych.

Krok 1: Selekcja danych treningowych i testowych

Zamiast dzielić jeden zbiór danych, naukowcy celowo wybierają dane z różnych, choć koncepcyjnie powiązanych, eksperymentów. Na przykład, do trenowania agenta używają danych z gry w dyktatora o stawkę 20 dolarów, a do jego testowania – danych z tej samej gry, ale o stawkę 5 dolarów. Ta zmiana procesu generującego dane zmusza model do nauczenia się ogólnej zasady (np. „ludzie dzielą się w przybliżeniu połową stawki”), a nie tylko konkretnych liczb.

Krok 2: Projektowanie kandydatów w oparciu o teorię

Zamiast szukać instrukcji w nieskończonej przestrzeni języka naturalnego, naukowcy ograniczają pole poszukiwań do „promptów” opartych na ugruntowanych teoriach nauk społecznych. Teorie ekonomiczne i behawioralne, które opisują ludzkie podejmowanie decyzji, są idealnym materiałem do tworzenia takich instrukcji. Na przykład, model strategicznego myślenia „level-k” można przełożyć na serię „promptów” typu: „Jesteś graczem na poziomie 0”, „Jesteś graczem na poziomie 1” itd. Ugruntowanie w teorii zwiększa szansę, że instrukcje będą oddawać realne mechanizmy poznawcze.

Krok 3: Optymalizacja na danych treningowych

Następnie, przy użyciu metod optymalizacyjnych, poszukuje się optymalnej „mieszanki” teoretycznych agentów, która najlepiej odtwarza wyniki z danych treningowych. System może na przykład dojść do wniosku, że ludzkie zachowanie w danej grze najlepiej opisuje populacja składająca się w 47% z graczy na poziomie 1-3, w 34% z graczy na poziomie 0-5, a w reszcie z graczy losowych.

Krok 4: Walidacja na danych testowych

W ostatnim, kluczowym kroku, ta zoptymalizowana mieszanka agentów jest testowana na zupełnie nowym, choć powiązanym, zestawie danych. Jeśli model dobrze przewiduje wyniki również w tym nowym kontekście, zyskujemy pewność, że nie jest on tylko „przepisaną” odpowiedzią, ale że uchwycił ogólną, przenoszalną zasadę zachowania.

Dowody w praktyce: od starych gier do prognozowania nieznanego

Naukowcy przetestowali swoją metodę na przykładzie strategicznych „gier w żądanie pieniędzy” (money request games), opartych na klasycznych eksperymentach Arada i Rubinsteina.

• Trening i walidacja: Używając oryginalnych danych z eksperymentu jako danych treningowych, stworzyli mieszankę agentów opartych na teorii „level-k”. Następnie przetestowali ją na dwóch różnych wariantach tej samej gry. Wyniki były jednoznaczne: zoptymalizowani, ugruntowani w teorii agenci byli znacznie lepsi w przewidywaniu ludzkich zachowań niż standardowe, „surowe” modele AI. Co więcej, próby optymalizacji agentów opartych na instrukcjach ateoretycznych (np. postaciach historycznych czy typach osobowości Myers-Briggs) zakończyły się całkowitą porażką.

• Prognozowanie w nieznanym: Prawdziwym testem było jednak przewidzenie wyników w zupełnie nowych, nigdy wcześniej niebadanych grach. Naukowcy stworzyli cztery nowe warianty gry, zmienili zakresy liczbowe i zebrali dane od ponad 950 nowych uczestników. Wyniki były uderzające. Agenci stworzeni i zwalidowani według nowej metodologii przewidzieli zachowania nowych graczy ze znacznie większą dokładnością (błąd predykcji mniejszy o 53-73%) niż jakikolwiek inny model. Co więcej, w niektórych przypadkach prognozy agentów AI okazały się lepsze niż prognozy oparte na… najbardziej zbliżonych danych od prawdziwych ludzi z poprzednich eksperymentów!

Skalowalność i ważność zewnętrzna: test na niemal milionie gier

Aby udowodnić siłę i skalowalność swojego podejścia, badacze poszli o krok dalej. Stworzyli ogromną, heterogeniczną populację 883 320 unikalnych gier strategicznych, parametryzując oryginalną grę na wielu wymiarach. Z tej populacji losowo wybrali 1500 gier i zebrali dane od 4500 ludzkich graczy. Następnie porównali te wyniki z prognozami swoich, stworzonych wiele miesięcy wcześniej, agentów strategicznych. Wyniki potwierdziły skuteczność metody na masową skalę. Teoretycznie ugruntowani agenci byli znacznie lepszymi prognostykami niż standardowa AI, a także niż dwa klasyczne modele z teorii gier: równowaga Nasha i model hierarchii poznawczej. Ponieważ gry były losowo próbkowane z ogromnej populacji, uzyskane wyniki mają ważność zewnętrzną dla całego zbioru blisko miliona gier.

W stronę zautomatyzowanej nauki: przyszłość agentów społecznych

Badanie to jest czymś więcej niż tylko technicznym ulepszeniem. To dowód na to, że duże modele językowe nie są tylko „papugami” bezmyślnie powtarzającymi dane treningowe. Posiadają one bogate, wewnętrzne reprezentacje ludzkich zachowań, które można „uaktywnić” za pomocą odpowiednich, ugruntowanych w teorii instrukcji. Otwiera to drogę do stworzenia w pełni zautomatyzowanych pętli badawczych: systemów AI, które same będą w stanie przeglądać literaturę, generować hipotezy w formie „promptów”, testować je na danych i iteracyjnie ulepszać, prowadząc do szybkiego i efektywnego odkrywania nowych teorii ludzkiego zachowania.

FAQ – Najczęściej zadawane pytania

1. Czy to oznacza, że agenci AI mogą zastąpić ludzkich uczestników w badaniach?
   Jeszcze nie, ale to ważny krok w tym kierunku. Metoda ta pozwala na tworzenie znacznie bardziej wiarygodnych symulacji, które mogą być używane do wstępnego testowania hipotez, projektowania lepszych eksperymentów i przewidywania zachowań w sytuacjach, gdzie badania z udziałem ludzi są nieetyczne, niepraktyczne lub zbyt drogie.

2. Na czym polega różnica między „overfittingiem” do danych a „overfittingiem” do procesu generującego dane?
   „Overfitting” do danych to klasyczny problem, gdzie model uczy się na pamięć konkretnych punktów danych, ale nie potrafi generalizować. W tym badaniu autorzy wskazują na subtelniejszy problem: model może nauczyć się reguł rządzących jednym, konkretnym eksperymentem (np. grą o stawkę 20 dolarów), ale te reguły zawiodą w innej wersji tego eksperymentu (np. o stawkę 5 dolarów). Nowa metodologia, poprzez walidację na danych z różnych, choć powiązanych, procesów, wymusza na agentach naukę bardziej fundamentalnych, przenoszalnych zasad.

3. Skąd mamy pewność, że gry użyte w teście nie znajdowały się w danych treningowych modelu AI?
   W przypadku ogromnej populacji prawie miliona unikalnych gier, stworzonych przez samych badaczy poprzez kombinację parametrów, prawdopodobieństwo, że znalazły się one w danych treningowych, jest znikome. Co więcej, nawet jeśli pojedyncze gry tam były, procedura losowego próbkowania i oceny na dużej skali zapewnia, że ogólne wyniki są wiarygodne i mają ważność zewnętrzną.

4. Czy ta metoda zadziała w każdej dziedzinie nauk społecznych?
   Badanie koncentruje się na grach strategicznych i grach alokacyjnych, gdzie teorie ekonomiczne są dobrze rozwinięte. Autorzy sugerują jednak, że zasady te – ugruntowanie w teorii i walidacja na zróżnicowanych danych – mogą być stosowane w każdej dziedzinie, w której dysponujemy teoriami opisującymi zachowanie jednostek i dostępem do odpowiednich danych empirycznych.

5. Jaka jest rola naukowca-człowieka w tym procesie?
   Na obecnym etapie rola naukowca jest kluczowa. To on musi wybrać odpowiednie teorie, przełożyć je na sensowne „prompty” i zaprojektować cały proces walidacji. Jednak, jak sugerują autorzy, przyszłość może należeć do systemów, które zautomatyzują również te kroki, a rola człowieka przesunie się w stronę zadawania wielkich pytań i interpretacji wyników generowanych przez zautomatyzowane pętle badawcze.

Publikacje wykonane przez nas w podobnej tematyce

1. Automatyzacja pętli badawczej w naukach społecznych: od generowania hipotez po symulację eksperymentalną z wykorzystaniem agentów LLM.

2. Generalizowalność a wierność: analiza kompromisu w optymalizacji „promptów” dla agentów społecznych AI w zróżnicowanych kontekstach kulturowych.

3. Teoria umysłu w krzemie: badanie zdolności modeli językowych do wnioskowania o stanach mentalnych innych agentów w grach strategicznych o niepełnej informacji.

4. „Konstruktor Teoretyczny”: wykorzystanie LLM do automatycznego tłumaczenia formalnych modeli ekonomicznych na instrukcje w języku naturalnym dla agentów AI.

5. Ważność zewnętrzna symulacji agentowych: ramy statystyczne dla estymacji dokładności predykcyjnej na predefiniowanych populacjach scenariuszy.

Pomysł na doktorat

Tytuł: Opracowanie i walidacja metodologii „kontrfaktycznej walidacji promptów” dla agentów społecznych AI: wykorzystanie zasad wnioskowania przyczynowego do oceny generalizowalności w dynamicznie zmieniających się środowiskach.