Keď sa dobré modely nezhodnú, je to užitočná informácia

Jeden model vytvára jeden pohľad

Aj veľmi dobrý model má svoje preferencie, tréningové skreslenia, silné stránky a slabé miesta. Môže výborne syntetizovať. Iný je lepší v kritike. Ďalší si všimne technický detail, ktorý prvý ignoroval.

Ak pri dôležitej úlohe použijeme iba jeden model, jeho slepé miesto sa ľahko stane slepým miestom celého procesu. To neznamená, že tri modely sú automaticky lepšie než jeden. Znamená to, že pri správnom použití získame viac nezávislých pohľadov.

Nezávislosť musí vzniknúť pred diskusiou

Toto je podľa mňa veľmi dôležité. Ak model B najskôr uvidí odpoveď modelu A, už nevytvára úplne nezávislý pohľad. Môže sa nechať ukotviť. Začne kritizovať detaily namiesto toho, aby problém vyriešil po svojom.

Preto mi pri dôležitých úlohách dáva väčší zmysel, aby viac modelov najskôr pracovalo samostatne. Až potom sa ich odpovede porovnajú.

Zhoda nie je automaticky pravda

Ak sa tri modely zhodnú, je to zaujímavý signál. Nie dôkaz. Všetky môžu vychádzať z rovnakého populárneho predpokladu. Môžu prehliadnuť ten istý fakt. Alebo môžu mať podobné tréningové dáta.

Preto mi nestačí hlasovanie. Nechcem odpoveď:

2 : 1, vyhráva B.

Zaujíma ma kvalita dôvodov, pôvod faktov, súlad s metodikou a to, či model presne oddeľuje pozorovanie od interpretácie.

Rozpor môže ukázať skrytú neistotu

Ak jeden model odporúča A a druhý B, nemusíme okamžite hľadať víťaza. Najskôr sa oplatí zistiť, prečo sa rozchádzajú.

Možno jeden predpokladá rast a druhý ochranu marže. Možno používajú inú časovú perspektívu. Možno jeden berie do úvahy značku a druhý iba krátkodobú konverziu. Možno máme v dátach konflikt. Alebo jednoducho neexistuje jednoznačne správna odpoveď.

Vtedy je rozpor cennejší než umelý konsenzus.

Ukáže nám, kde je rozhodnutie citlivé na predpoklad.

Princípy a metodiky majú inú úlohu než modely

V našom internom spôsobe práce ma zaujíma ešte jedna vrstva: nechať modely premýšľať voľnejšie a potom ich odpovede konfrontovať s konkrétnymi princípmi, metodikami alebo dôkazmi. Nie preto, aby princíp automaticky vyhral. Ale aby sme odhalili:

KONFRONTÁCIA S PRINCÍPMITRI NÁLEZY

KREATÍVNY NÁPADale porušuje známu hranicuZAUJÍMAVÝ ZÁVERale nemá dostatočný dôkazMETODICKY ČISTÉale možno príliš konzervatívne

Tak vzniká zaujímavejší dialóg než jednoduché „model povedal“.

Človek zostáva zodpovedný za syntézu

Aj keby sme mali desať modelov a perfektný hodnotiaci systém, stále nechcem predstierať, že zodpovednosť zmizla. Niekto musí určiť, čo je dôležité, ktoré riziko je prijateľné, čo je v súlade so stratégiou a čo je iba technicky možné, ale nie žiaduce.

AI council môže zlepšiť kvalitu rozhodovacieho priestoru. Nemal by automaticky preberať autoritu.

Najzaujímavejšie odpovede vznikajú medzi pohľadmi

Jedna z vecí, ktoré ma na AI bavia najviac, je práve možnosť vytvoriť situáciu, ktorá by bola s ľuďmi často drahá a pomalá. Dať rovnaký problém viacerým nezávislým „mozgom“. Nechať ich vytvoriť vlastný pohľad. A potom systematicky skúmať rozdiely.

Nie preto, aby sme našli demokratického víťaza. Ale aby sme videli problém lepšie.

Keď sa dobré modely nezhodnú, nemusí to znamenať, že systém zlyhal. Niekedy práve vtedy začína byť naozaj užitočný.