Rada mędrców AI: Jak Andrej Karpathy stworzył „sejm” dla modeli językowych

Wyobraź sobie, że zadajesz pytanie, a zamiast jednej odpowiedzi od ChatGPT, dostajesz wynik debaty między najpotężniejszymi umysłami sztucznej inteligencji na świecie. GPT-5.1, Gemini 3 Pro, Claude Sonnet 4.5 i Grok 4 – wszystkie razem analizują twoje zapytanie, przedstawiają własne rozwiązania, a następnie… oceniają i krytykują nawzajem swoje odpowiedzi. Na koniec „Przewodniczący” tej rady, również będący zaawansowanym modelem AI, zbiera wszystkie te analizy i syntezuje ostateczną, najlepszą możliwą odpowiedź.

To nie jest scenariusz z filmu science fiction, ale działający projekt o nazwie llm-council, stworzony przez Andreja Karpathy’ego, jednego z najbardziej wpływowych badaczy w dziedzinie AI. Ten „hobbystyczny” projekt otwiera fascynujące okno na przyszłość interakcji z sztuczną inteligencją i pokazuje, jak można wyjść poza ograniczenia pojedynczego modelu.

Jak działa „Rada LLM”? Trzy kroki do lepszej odpowiedzi

Aplikacja, choć z zewnątrz wygląda jak zwykły interfejs czatu, pod maską realizuje złożony, trzystopniowy proces, który można porównać do burzy mózgów w zespole ekspertów:

1. Zapytanie do wielu modeli: Twoje pytanie nie trafia do jednego serwera. Jest jednocześnie wysyłane do kilku różnych, najnowocześniejszych modeli językowych (np. GPT-5.1, Gemini 3, Claude Sonnet 4.5) za pośrednictwem platformy OpenRouter, która agreguje dostęp do wielu dostawców AI.

2. Wzajemna recenzja i ranking: To najciekawszy etap. Zanim jakakolwiek odpowiedź trafi do ciebie, wszystkie modele otrzymują (w zanonimizowanej formie) odpowiedzi swoich „kolegów”. Ich zadaniem jest ocena, skrytykowanie i uszeregowanie wszystkich propozycji, włączając w to swoją własną.

3. Synteza przez „Przewodniczącego”: Na koniec, inny zaawansowany model, pełniący rolę „Przewodniczącego Rady”, otrzymuje pełen kontekst: twoje pierwotne pytanie, wszystkie wygenerowane odpowiedzi oraz komplet recenzji i rankingów. Na tej podstawie tworzy ostateczną, syntetyczną odpowiedź, która ma być lepsza niż którakolwiek z odpowiedzi składowych.

Czego możemy się nauczyć z „kłótni” modeli AI?

Projekt Karpathy’ego dostarcza kilku niezwykle cennych spostrzeżeń na temat obecnego stanu i przyszłości modeli językowych.

1. Modele są zaskakująco samokrytyczne

Jednym z najbardziej intrygujących odkryć jest to, że modele często są w stanie obiektywnie ocenić jakość odpowiedzi i przyznać, że propozycja innego modelu jest lepsza od ich własnej. To otwiera zupełnie nowe możliwości w dziedzinie ewaluacji AI. Zamiast polegać wyłącznie na ludzkich ocenach, możemy wykorzystywać „zespoły” modeli do wzajemnej weryfikacji, co może być szybszą i bardziej skalowalną metodą mierzenia ich postępów.

2. Wyłaniają się „osobowości” modeli

Podczas testów Karpathy zauważył pewne powtarzające się wzorce. Na przykład, podczas wspólnego czytania i analizowania rozdziałów książki, modele konsekwentnie chwaliły odpowiedzi GPT-5.1 jako najbardziej wnikliwe i kompleksowe. Z drugiej strony, odpowiedzi Claude’a były regularnie oceniane jako najsłabsze.

Jednak, co ważne, ludzka ocena nie zawsze pokrywa się z oceną maszyn. Karpathy zauważa, że dla niego odpowiedzi GPT-5.1 bywają zbyt rozwlekłe, podczas gdy te od Gemini 3 są bardziej skondensowane i przetworzone, a Claude – zbyt lakoniczny. To pokazuje, że „najlepsza” odpowiedź zależy od kontekstu i preferencji użytkownika, a „rada” modeli może mieć swoje własne „uprzedzenia”.

3. Zespoły AI to niedoceniany potencjał

Projekt llm-council jest prostą implementacją znacznie większej idei: tworzenia zespołów (ensembles) modeli językowych. Zamiast polegać na jednym, monolitycznym „supermózgu”, możemy budować systemy, w których różne modele, być może wyspecjalizowane w różnych zadaniach (jeden jako kreatywny generator pomysłów, inny jako surowy krytyk, a trzeci jako syntezator), współpracują ze sobą. Taka „architektura poznawcza” może prowadzić do znacznie bardziej niezawodnych, kreatywnych i odpornych na błędy systemów AI.

Poniższa tabela zestawia potencjalne role, jakie różne modele mogłyby pełnić w takim zespole.

Ograniczenia i przyszłość: dlaczego wciąż potrzebujemy platform?

Projekt Karpathy’ego, choć inspirujący, jest celowo uproszczony. Działa lokalnie, wykorzystując proste technologie, i nie posiada zaawansowanych narzędzi do zarządzania, bezpieczeństwa czy skalowania, które są kluczowe w profesjonalnych zastosowaniach. To podkreśla, dlaczego duże platformy AI wciąż mają ogromne znaczenie – dostarczają nie tylko sam model, ale całą infrastrukturę niezbędną do jego niezawodnego i bezpiecznego działania.

Jednocześnie, llm-council jest potężnym narzędziem edukacyjnym i inspiracją dla przyszłych badaczy. Pokazuje, że granice możliwości AI nie leżą tylko w skalowaniu pojedynczych modeli, ale także w projektowaniu innowacyjnych sposobów ich współpracy.

Idea „Rady LLM” doskonale wpisuje się w tematykę zaawansowanych badań nad architekturami poznawczymi AI. Projekt doktorski mógłby skupić się na systematycznym badaniu różnych „topologii” przepływu informacji w takich zespołach – od hierarchicznych „rad” po bardziej zdecentralizowane „roje” – i ocenie, które z nich są najskuteczniejsze w rozwiązywaniu różnych klas problemów. To fascynujący kierunek, który może zdefiniować następną generację systemów sztucznej inteligencji.

Najczęściej zadawane pytania (FAQ)

1. Czy mogę samemu wypróbować llm-council?
   Projekt został udostępniony jako open-source, więc teoretycznie każda osoba z odpowiednimi umiejętnościami technicznymi może go uruchomić na własnym komputerze. Wymaga to jednak posiadania dostępu do API poszczególnych modeli (np. przez OpenRouter) i podstawowej znajomości technologii webowych (FastAPI, React).

2. Czy takie podejście jest bardzo kosztowne?
   Tak. Zamiast płacić za jedno zapytanie do jednego modelu, w tym systemie płacimy za wielokrotne zapytania do kilku najdroższych modeli na rynku (jedno zapytanie pierwotne, a potem kolejne w fazie recenzji i syntezy). W obecnej formie jest to raczej eksperyment i narzędzie badawcze, a nie rozwiązanie do masowego użytku.

3. Jaka jest główna korzyść z używania „rady” zamiast jednego, najlepszego modelu?
   Główną korzyścią jest zwiększona niezawodność i redukcja błędów. Pojedynczy model, nawet najlepszy, może popełnić błąd lub „halucynować”. W systemie zespołowym istnieje duża szansa, że inne modele wychwycą ten błąd podczas wzajemnej recenzji. Prowadzi to do bardziej przemyślanych i zweryfikowanych odpowiedzi.

4. Czy modele naprawdę „rozumieją”, co oceniają?
   Modele nie „rozumieją” w ludzkim sensie. Ich oceny są wynikiem rozpoznawania wzorców w danych, na których były trenowane. Nauczyły się, jakie cechy (np. spójność, szczegółowość, poprawność logiczna) korelują z „dobrymi” odpowiedziami. Ich zdolność do samokrytyki jest więc wyuczoną umiejętnością, a nie przejawem świadomości.

5. Kim jest Andrej Karpathy?
   Andrej Karpathy to jeden z czołowych badaczy w dziedzinie sztucznej inteligencji. Był dyrektorem ds. AI w firmie Tesla, gdzie kierował rozwojem systemu Autopilota, a wcześniej naukowcem w OpenAI, gdzie wniósł kluczowy wkład w rozwój sieci konwolucyjnych i modeli generatywnych. Jest znany ze swojego talentu do przystępnego wyjaśniania skomplikowanych koncepcji AI.