Jak hodujemy masterprompt — przegląd metod

30 października 2026, 05:35. Przegląd metod samouczenia promptów i zespołów agentów oraz projekt naszego silnika ewolucji. Plan liczby rund, wariantów i przebiegów dostaniecie po kalibracji, z liczbami z prawdziwych pomiarów.

Co sprawdziliśmy

Najlepsze znane metody samouczenia promptów i zespołów agentów: GEPA i DSPy, OpenEvolve, ShinkaEvolve, AlphaEvolve, ADAS, AFlow, MASS, PromptBreeder, EvoPrompt, TextGrad, Darwin Gödel Machine, ACE i kilkadziesiąt nowszych prac z 2025–2026, do tego statystykę ocen przy dużym szumie, wiarygodność sędziów AI i to, jak ewolucja potrafi „oszukać” ocenę. Dziewięć równoległych badań na źródłach (artykuły, kod, dokumentacja).

Najważniejsze wnioski

• Żadna gotowa biblioteka nie pasuje jako rdzeń. Wszystkie zakładają tysiące szybkich, powtarzalnych ocen. U nas jedna ocena to przebieg agenta trwający od kilkudziesięciu minut do wielu godzin, z dużym rozrzutem wyników. Budujemy więc własny, mały silnik, a z gotowych metod kopiujemy to, co działa.
• Największym wrogiem jest szum, nie brak pomysłów. Gdy wygrywa „najwyższy wynik w rundzie”, wygrywa szczęściarz: w symulacji taka ewolucja w miejscu cofała się, a w dzienniku pokazywała duży postęp. Dlatego mistrz jest oceniany od nowa w każdej rundzie, a zmienia się tylko wtedy, gdy pretendent wygra z nim wyraźnie, na tych samych produktach.
• Poprawki muszą wynikać z konkretnych błędów i być małe. Najlepiej działa analiza przebiegów („co poszło źle i dlaczego”) i kilka punktowych zmian z dowodami. Przepisywanie całego promptu potrafi go zniszczyć (w jednym badaniu długi plik skurczył się do kilku zdań, a wynik spadł).
• Sędziów AI da się oszukać. Pusta odpowiedź potrafi „wygrać” w popularnych rankingach, a mocne modele same szukają luk w ocenie. Dlatego twarde sprawdzenia (czy CAD się otwiera, czy części z BOM istnieją, czy obliczenia się zgadzają) ważą więcej niż opinie sędziów, a część sędziów, produktów i Wasze ankiety nigdy nie służą do wyboru — tylko do kontroli.
• W zespołach agentów liczy się sprawdzanie i porządek, a nie liczba agentów. Równoległa praca pomaga przy szukaniu i porównywaniu, a szkodzi przy ściśle powiązanym projektowaniu. Każdy plik ma jednego autora; agenci rozmawiają bezpośrednio, ale w uporządkowanej, logowanej formie. To wspiera uwagę Marcina o eskalacji, ale pokazuje też, że swobodny „czat wszystkich ze wszystkimi” kosztuje dużo i niewiele daje.

Jak będzie działać nasza ewolucja (w skrócie)

1. Runda otwarcia: 12 naprawdę różnych sposobów organizacji zespołu (od jednego mocnego inżyniera, przez turniej koncepcji i zespoły z „czerwoną drużyną”, po potok sterowany skryptem) plus oba punkty zerowe, na zadymiarce i lampie, tanio (wymagania + koncepcja).
2. Kolejne rundy: mistrz, jego najbliższy rywal i 3–4 nowe warianty z analizy błędów i łączenia cech; jeden produkt stały przez ok. 4 rundy plus jeden rotowany; co 3–4 rundy pełne projekty finalistów.
3. „Lepszy” znaczy lepszy ponad szum; mniejsza różnica to remis. Kończymy, gdy przez kilka rund nic nie wygrywa wyraźnie (nie wcześniej niż po 6 rundach, najpóźniej po 20).
4. Na koniec sprawdzian na produktach, których ewolucja nigdy nie widziała.

Co musi pokazać kalibracja

Ile wynosi szum jednego przebiegu, ile trwa i kosztuje projekt oraz czy tania ocena (koncepcja) przewiduje wynik pełnego projektu. Od tego zależy, ile przebiegów dostaje każdy wariant. Wstępny szacunek: ok. 300 tanich i ok. 60 pełnych przebiegów, około tygodnia na jednej maszynie lub 3–4 dni na dwóch (szacunek do potwierdzenia po kalibracji).