Een proefschrift waarin de agenten feestjes gaven

Joon Sung Park bouwde een dorp. In zijn promotieonderzoek aan Stanford bevolkte hij een gesimuleerde plaats genaamd Smallville met AI-agenten die levens leidden, gewoontes vormden en, ongevraagd, feestjes gaven. Het was een prachtig resultaat en het was, zoals promotieresultaten dat zijn, een demonstratie en geen product. Op 30 juli haalde zijn bedrijf Simile ruim 200 miljoen dollar op bij een waardering van 2 miljard, geleid door Greenoaks met Index, Hanabi, Bain Capital Ventures, A*, Factory, Definition en CVS Health Ventures ernaast. Dat is vijf maanden nadat het uit de luwte kwam met een serie A van 100 miljoen onder leiding van Index.

Wat Simile verkoopt is dat dorp, gericht op uw klanten. Het bouwt agentische tweelingen, gegenereerde plaatsvervangers van echte consumenten die een bedrijf kan bevragen in plaats van het onderzoek onder mensen te doen. De uitgesproken ambitie is alle acht miljard mensen op aarde nauwkeurig en eerlijk te simuleren. Laat de ambitie even rusten; elke oprichter heeft er een nodig. Het besluit dat in uw eigen huis speelt is smaller en het komt eerder dan die acht miljard.

Wat 300 miljoen dollar in twaalf maanden werkelijk beprijst

Een bedrijf van ongeveer een jaar oud heeft inmiddels zo'n 300 miljoen dollar in totaal opgehaald en draagt een waardering van 2 miljard. In december haalde Aaru, een ander bedrijf in synthetisch onderzoek, een serie A op bij een waardering van 1 miljard. Binnen acht maanden heeft de categorie minstens 3 miljard dollar aan papieren waarde aangetrokken op één premisse: dat een model bevragen over mensen een bruikbare vervanging is voor mensen bevragen.

Die premisse is niet absurd. Panelonderzoek verslechtert al jaren op responspercentages en beroepsrespondenten, en een goed gekalibreerde simulatie verslaat een slecht uitgevoerde enquête. Let echter op waartegen het geld wordt geprijsd. Marktonderzoek bestaat juist omdat mensen inconsistent zijn, en de waarde van een echte respondent is niet zijn nauwkeurigheid maar dat hij buiten uw model staat. Een tweeling die uit uw data is gegenereerd kan u niet verrassen met iets wat uw data nooit bevatten. Investeerders betalen geen 2 miljard voor nauwkeurigheid. Zij betalen voor het wegnemen van een kostenpost, en de kostenpost die verdwijnt is de wrijving van contact met de werkelijkheid.

De controle die u niet meer kunt uitvoeren

Hier zit de val, en het is een lus en geen fout. Een synthetisch panel wordt gevalideerd door het te kalibreren op studies die u al onder echte mensen deed. Prima. Vervolgens gebruikt u het in plaats van nieuwe studies onder echte mensen te doen, want daarin zit de hele economische belofte. Zes maanden later is uw markt verschoven, hebben uw klanten zich herschikt en is de kalibratie oud. Niets in het systeem kan u dat vertellen, want het enige instrument dat de afwijking zou opmerken is precies de studie die u verving.

Het is dezelfde structuur als een bewakingssysteem waarvan de alarmering afhangt van de dienst die het bewaakt. Het werkt prachtig tot de dag waarop het ertoe doet. De storing is door de bouw stil, en zij zal zich niet aandienen als een fout antwoord maar als een zelfverzekerd antwoord dat vroeger klopte.

De tegenmaatregel is weinig spectaculair. Houd een echte studie parallel draaiend, klein en over dezelfde vraag, met een vaste frequentie. Tweehonderd echte respondenten per kwartaal zijn geen onderzoeksprogramma, zij zijn een ijkinstrument, en zij kosten een fractie van de licentie. Anker het waar u kunt aan iets buiten beide systemen: de statistiekbureaus, in Nederland het CBS, publiceren de bevolkingsopbouw die u geacht wordt te modelleren, en een tweelingpopulatie die afdrijft op leeftijd, regio of huishoudgrootte vertelt u iets voordat enig antwoord dat doet.

Een vlaggenschipklant op de aandeelhouderslijst

CVS Health wordt genoemd als vlaggenschipklant van Simile, en CVS Health Ventures nam deel aan deze ronde. Daar is niets onoorbaars aan; bedrijfsinvesteringstakken financieren geregeld de tools die hun operationele onderdelen omarmen, en een investeerder-klant krijgt vaak de beste ondersteuning van allemaal. Het blijft een feit dat het gewicht van de referentie verandert. Een klant met een belang heeft twee redenen om tevreden te zijn, en slechts één daarvan is het product.

De instructie is eenvoudig en geldt ver buiten deze leverancier. Wanneer de kopreferentie van een leverancier op zijn eigen aandeelhouderslijst staat, vraag dan om een tweede referentie die daar niet op staat, uit uw sector, op uw schaal, bereid te vertellen wat niet werkte. Valt die tweede referentie moeilijk te leveren, dan is dat het antwoord op een vraag die u nog niet gesteld had.

Waar verzonken kosten binnenkomen en hoe u ze buiten houdt

Het gevaarlijke moment is niet de inkoop. Het is maand zeven, wanneer de licentie betaald is, de doorlooptijd van zes weken naar twee dagen is gezakt en iemand voorstelt echt geld uit te geven aan een echte studie. In die kamer lijkt valideren op dubbel betalen voor een antwoord dat u al heeft. Dat argument wint bijna altijd, en het staat precies andersom: de licentie is de verzonken uitgave en de studie is het enige dat nieuwe informatie oplevert.

Haal de beslissing vooraf uit die kamer. Financier de ijking uit een aparte budgetregel die niet toebehoort aan het team dat het instrument gebruikt, leg de frequentie en de afwijkingsdrempel vast in het contract, en spreek nu af welk resultaat u zou doen stoppen. Een instrument dat niet weerlegd kan worden is geen onderzoeksinstrument, het is een huisopvatting met een abonnementsprijs, en het verschil wordt pas zichtbaar bij het besluit dat misgaat.

Lees hierna: De Enige Positie Die Niemand Kon Opeisen  |  Een oud-topman betaalde 3 miljoen uit eigen zak