En avhandling där agenterna höll fester

Joon Sung Park byggde en småstad. I sitt doktorandarbete vid Stanford befolkade han en simulerad plats vid namn Smallville med artificiella agenter som levde liv, formade vanor och utan uppmaning höll fester. Det var ett vackert resultat och det var, som doktorandresultat brukar vara, en demonstration och inte en produkt. Den 30 juli tog hans bolag Simile in över 200 miljoner dollar till en värdering på 2 miljarder, med Greenoaks i spetsen tillsammans med Index, Hanabi, Bain Capital Ventures, A*, Factory, Definition och CVS Health Ventures. Det är fem månader efter att bolaget lämnade det tysta med en serie A på 100 miljoner ledd av Index.

Det Simile säljer är den småstaden, riktad mot era kunder. Bolaget bygger agentiska tvillingar, genererade ställföreträdare för verkliga konsumenter som ett företag kan fråga i stället för att göra studien på människor. Den uttalade ambitionen är att simulera alla åtta miljarder människor på jorden, träffsäkert och ärligt. Lägg ambitionen åt sidan; varje grundare behöver en. Beslutet som väntar i ert eget hus är smalare och det kommer före de åtta miljarderna.

Vad 300 miljoner dollar på tolv månader faktiskt prissätter

Ett ungefär ett år gammalt bolag har nu tagit in omkring 300 miljoner dollar totalt och bär en värdering på 2 miljarder. I december tog Aaru, ett annat bolag inom syntetisk research, in en serie A till en värdering på 1 miljard. På åtta månader har kategorin dragit till sig minst 3 miljarder dollar i pappersvärde på en enda premiss: att fråga en modell om människor är en användbar ersättning för att fråga människor.

Premissen är inte orimlig. Panelundersökningar har försämrats i åratal när det gäller svarsfrekvens och yrkesrespondenter, och en välkalibrerad simulering slår en illa genomförd enkät. Lägg ändå märke till vad pengarna prissätts mot. Marknadsundersökningar finns just därför att människor är motsägelsefulla, och värdet av en verklig svarande ligger inte i träffsäkerheten utan i att hen står utanför er modell. En tvilling som genererats ur era data kan inte överraska er med något era data aldrig innehöll. Investerarna betalar inte 2 miljarder för träffsäkerhet. De betalar för att en kostnad tas bort, och kostnaden som tas bort är friktionen i kontakten med verkligheten.

Kontrollen ni slutar kunna göra

Här är fällan, och den är en slinga snarare än ett misstag. En syntetisk panel valideras genom att kalibreras mot studier ni redan gjort på verkliga människor. Bra. Sedan använder ni den i stället för att göra nya studier på verkliga människor, eftersom det är hela det ekonomiska erbjudandet. Ett halvår senare har er marknad rört sig, era kunder har sorterat om sig och kalibreringen är gammal. Ingenting i systemet kan tala om det för er, eftersom det enda instrument som skulle kunna upptäcka avdriften är just den studie ni ersatte.

Det är samma struktur som en övervakning vars larm hänger på tjänsten den övervakar. Den fungerar utmärkt fram till den dag det spelar roll. Felet är tyst genom konstruktion, och det visar sig inte som ett dåligt svar utan som ett självsäkert svar som förr stämde.

Motmedlet saknar all glans. Håll en verklig studie igång parallellt, liten och på samma fråga, i fast takt. Tvåhundra verkliga svarande per kvartal är inget forskningsprogram, de är ett kalibreringsinstrument, och de kostar en bråkdel av licensen. Förankra det, där ni kan, i något utanför båda systemen: statistikmyndigheterna, i Sverige Statistiska centralbyrån, publicerar den befolkningsstruktur ni förväntas modellera, och en tvillingpopulation som glider ifrån på ålder, region eller hushållsstorlek berättar något för er innan något svar gör det.

En flaggskeppskund som sitter i ägarkretsen

CVS Health pekas ut som flaggskeppskund hos Simile, och CVS Health Ventures deltog i den här rundan. Det är inget otillbörligt med det; koncerners riskkapitalarmar finansierar rutinmässigt de verktyg som deras rörelsedrivande delar tar i bruk, och en investerarkund får ofta det bästa stödet av alla. Det är ändå ett förhållande som ändrar referensens tyngd. En kund med ägarandel har två skäl att vara nöjd, och bara det ena är produkten.

Anvisningen är enkel och gäller långt utanför den här leverantören. När en leverantörs främsta referens dyker upp i dess egen ägarkrets, be om en andra referens som inte gör det, från er bransch, i er storlek, villig att tala om vad som inte fungerade. Är den andra referensen svår att få fram är det svaret på en fråga ni ännu inte hade ställt.

Var de förlorade kostnaderna kommer in och hur de hålls ute

Det farliga ögonblicket är inte upphandlingen. Det är månad sju, när licensen är betald, ledtiden har fallit från sex veckor till två dagar och någon föreslår att lägga verkliga pengar på en verklig studie. I det rummet ser valideringen ut som att betala två gånger för ett svar man redan har. Det argumentet vinner nästan alltid, och det står precis tvärtom: licensen är den förlorade utgiften och studien är det enda som skapar ny information.

Lyft ut beslutet ur det rummet i förväg. Finansiera kalibreringen från en egen budgetpost som inte ägs av det team som använder verktyget, fastställ takt och avvikelsegräns i avtalet, och kom överens nu om vilket resultat som skulle få er att sluta. Ett verktyg som inte kan motbevisas är inget undersökningsinstrument, det är en husåsikt med abonnemangsavgift, och skillnaden syns först på det beslut som går fel.