Waarom ik stop met Perplexity

0:00 Elwin Matt, welkom!

0:02 Matt Ja, dank je wel.

0:03 Elwin Leuk dat je er bent. Hé, ik had het al eerder met jou erover gehad, hè. Ik had een jaar lang Perplexity Pro gekregen toen ik die Rabbit r1 had gekocht. Ik heb toen echt heel lang fanatiek Perplexity gebruikt. Maar ja, eigenlijk moet ik eerlijk bekennen dat ik er de afgelopen twee, drie maanden mee gestopt ben. Ken je dat?

0:22 Matt Ja, dat ken ik wel.

0:23 Elwin Ja, deed zelf ook met, Perplexity.

0:25 Matt Ik heb Perplexity nooit gebruikt.

0:27 Elwin Oh.

0:27 Matt Maar toen ik er onderzoek naar heb gedaan, ja, ben ik er eigenlijk wel achter gekomen dat ik hem ook niet meer ga gebruiken.

0:33 Elwin Oké, zo slecht is het gewoon.

0:35 Matt Zo slecht.

0:37 Elwin terwijl in het begin was ik er best wel van onder de indruk. Toen het net uitkwam en dan hebben we het echt over twee jaar geleden en het zou ook door Apple worden overgenomen, geloof ik. Ze waren de hele tijd een soort van in de aanbieding had ik het idee. Werd ook veel op geïnvesteerd. Ja, ik was er wel van onder de indruk hoe dat, hoe dat werkte, want Google bood dat nog niet aan. Dat doen ze natuurlijk nu wel in Gemini. Nou, je kon ook helemaal niet searchen natuurlijk via de bekende LLM's en zij waren de enige die dat wel konden. En dan, ja, had je toch binnen een bepaalde tijd een, een antwoord klaarliggen. De vraag is inderdaad wat de waarde daarvan is van het antwoord. Blijkt achteraf natuurlijk naar je onderzoek. Maar ja, ik, ik was wel onder de indruk van het stuk software wat ze hadden gemaakt en hoe vooruitstrevend dat was twee, drie jaar geleden.

1:16 Matt Ja, ik denk uiteindelijk dat OpenAI en Anthropic ze, ja, nu hebben ingehaald.

1:22 Elwin Ja.

1:22 Matt En dat ze in het begin wel veel meer features hadden die andere bedrijven niet hadden. Maar ja, de kwaliteit is denk ik wel minder.

1:29 Elwin AI-boys, powered by Jelle. Ja, en daarnet zei ik het al even mensen. Matt Timmermans zit bij mij aan tafel en hij heeft een SEO bureau en heeft deze zomer bijna 2.000 antwoorden van ChatGPT, Gemini en Perplexity nagekeken. En daarom was je denk ik heel erg kritisch op Perplexity. En ja, dan wil ik toch beginnen met de vraag: wat liet jou nou het meest schrikken?

1:53 Matt Nou, uit mijn onderzoek bleek eigenlijk dat AI niet per se hallucineert, wat eigenlijk wel altijd, ja, wordt gedacht. Daar, spreekt men ook heel veel over. Van: ja, AI hallucineert, daar moet je mee opletten. Maar heel vaak, en dan vooral als het over merken gaat of over producten, hallucineert het niet, maar geeft het verkeerde informatie. En die komt eigenlijk uit verouderde informatie. Dus iets wat ooit waar was en dat wordt nu nog steeds gegeven als de waarheid. Ja.

2:22 Elwin Ja, want jij had ook volgens mij een onderzoek gedaan. Althans, in jouw onderzoek kwam ook Picnic naar voren over studentenkorting geloof ik, die er dan nog wel was, maar niet meer bestond.

2:31 Matt Ja, nou bij Picnic was het zo dat er was een affiliate website en die gaf een studentenkorting aan die ooit had bestaan en Picnic had die zelf overal verwijderd. Die was nergens, ook verder nergens te vinden. En toch had AI, ja, die korting opgepikt op die affiliate website. En als je dan vroeg van: goh, is er nog een studentenkorting bij Picnic? Zei die van: ja, die is er en hier is de, ja, hier kun je die vinden. Dus als klant ga je er dan van uit dat er een bepaalde korting is die er helemaal niet meer is.

2:58 Elwin Ja. Ja, ik denk dat dat het fundament van je onderzoek was, is dat het een hoop verouderde informatie is, wat je daarnet zelf ook terecht zegt. Weinig hallucinaties, maar heb je wel meegemaakt dat er hallucinaties waren waarvan je dan zei van: nou, hoe komt dit nou hier naar voren?

3:12 Matt Nee.

3:13 Elwin Dat viel dus.

3:14 Matt Dat viel eigenlijk heel erg mee.

3:15 Elwin Ja.

3:16 Matt Kijk, en dat is ook wel het interessante, want bij mij als SEO expert, ben je heel erg bezig met hoe optimaliseer je een website om beter gevonden te worden in Google. En tegenwoordig ook natuurlijk in AI chatbots, dus eigenlijk GEO. Alleen je bent niet bezig met hoe zorg je ervoor dat die AI chatbot ook de waarheid over jou vertelt. En dat past er eigenlijk wel heel erg in. En daar zijn dus heel veel bedrijven ook niet mee bezig. Die denken er niet ook over na. En dat is eigenlijk een beetje een, ja, een vergeten onderdeel. En ik denk daarom dat er, dat het nog heel vaak fout gaat en dat het voor bedrijven ook heel erg belangrijk is om, ja, daar, daarmee bezig te zijn.

3:52 Elwin Ja, je had bijvoorbeeld dat Per-Perplexity zat er 9,2% van de vragen zat ie fout. ChatGPT, die zat bij 2,7% fout. Zover ik begrijp uit jouw onderzoek. En Gemini, die zat 1,1% zat, zat, zat hij ernaast.

4:04 Matt Ja. Ja.

4:05 Elwin Dus dan denk ik als ik ernaar luister, denk ik: maar 1% fout in Gemini. Is dat echt zo'n groot probleem?

4:12 Matt Bij Gemini, inderdaad de minste fouten, dus daar maakt het niet heel veel uit. Bij Perplexity is het aantal veel groter, dus mensen die Perplexity gebruiken, zullen veel eerder een fout antwoord krijgen over een bedrijf. En het probleem is dat als bedrijf heb je geen invloed op welke tool jouw potentiële klant gebruikt. Dus je kunt wel-- kijk voor Google op het moment dat je iets optimaliseert voor Google. Je weet dat het gros van de mensen Google gebruikt om jouw bedrijf in op te zoeken of Google Maps, dus daarvoor kun je alles goed inregelen. Bij AI tools, er zijn zoveel verschillende tools waardoor je als bedrijf wel iets goed kunt neerzetten. Maar op het moment dat die AI tool niet goed werkt of niet, ja, het fout doet, heb je daar helemaal geen invloed op.

4:55 Elwin Ja, dus je hebt er geen invloed op dat Perplexity verkeerde informatie laat zien over jouw bedrijf.

5:00 Matt Je hebt er deels invloed op. Ja. Alleen uit het onderzoek bleek dat Perplexity heel erg geneigd is om ook externe bronnen te gebruiken. En daar heb je deels invloed op als bedrijf.

5:10 Elwin Oké, en wat je ook in je onderzoek terugzag, is dat 62% van de fouten kwam door verouderde informatie en 11% door verzonnen informatie. Maar dat vind ik dan nog best wel veel, 11%.

5:24 Matt Ja. Alleen op 1917, antwoorden valt het nog mee.

5:29 Elwin Ja.

5:30 Matt Ja.

5:30 Elwin Maar in, in dat opzicht, is het grootste probleem wat jij dus aangeeft van: je moet ervoor dragen dat je data up to date is als bedrijf, zodat ze de laatste informatie terugvinden-

5:42 Matt Ja

5:42 Elwin ...van jou.

5:43 Matt Ja.

5:43 Elwin Maar dan heb je wel met Perplexity te maken die het dan weer niet goed doet.

5:46 Matt Ja, nou, je kunt het-- wat je kunt doen als bedrijf is dat je dus ook, invloed uitoefen-uitoefent op wat externe websites over jou zeggen. Dus ben in contact met bijvoorbeeld affiliate websites die content over jou plaatsen. Stuur ze e-mails van: hé, dit staat nog op jullie website. Update dit. Misschien heb je externe profielen die je al een tijdje niet meer hebt geüpdatet. Ja, die kun je ook weer updaten. Dat zagen we ook terug dat heel veel Ja, bedrijven ergens een profiel hebben openstaan die al enige tijd niet meer hebben geüpdatet. En daar staan nog oude prijzen of er zijn oude personen bij en dat wordt nog steeds meegenomen in het AI-antwoord.

6:19 Elwin Ja, want dat is ook waar je het net over had. Over de prijzen natuurlijk, want prijzen en voorwaarden, die gaan drie keer zo vaak fout als een adres en een oprichtingsjaar. Bleek uit je onderzoek ook.

6:29 Matt Ja, maar de statische gegevens, die gaan vaak wel goed.

6:32 Elwin Ja dus. Maar dat komt omdat het puur statische gegevens zijn waardoor dat dan beter gaat.

6:37 Matt Ja, kijk, een adres die verandert niet zo vaak, maar een prijs, ja, die gaat-- verandert veel vaker. Ligt een beetje aan de, ja, categorie, maar verandert vaker.

6:46 Elwin Want heeft het er misschien ook mee te maken dat large language models waar we het nu dan over hebben, ja, die worden natuurlijk bijgewerkt tot en met een bepaalde datum. Weet je wel. Meestal de-- we leven nu in oktober en dan krijg je een nieuwe GPT en dan zeggen ze: nou, die is, die heeft data tot en met mei en dan kunnen ze wel nog online kunnen ze natuurlijk nog een stuk research doen, maar misschien putten ze ook nog uit die data van tot en met mei en dat dat dan conflicteert met elkaar. Of kon je dat niet terugvinden?

7:09 Matt Ja, je ziet bijvoorbeeld dat Gemini veel meer leunt op de eigen kennis, dus die gebruikt veel meer, veel minder online zoeken en anderen, bijvoorbeeld de Perplexity, die leunt wel heel erg op online zoeken. Die heeft heel weinig eigen kennis en het is heel belangrijk om als bedrijf dus ook trainingsbots toe te staan op je website als jij wilt dat die eigen kennis van het model, ja, regelmatig geüpdatet wordt. Anders moet dat model, ja, naar het internet toe om die informatie op te halen.

7:35 Elwin Ja. Ja, want ik heb zelf natuurlijk ook een, een website: aiboys.nl. En ik heb juist op Cloudflare heb ik dat uitgezet. Dat wel, dat ze kunnen, ze kunnen wel lezen om het zo maar te zeggen, maar ze kunnen er niet op trainen. Maar jij zegt dus eigenlijk: je moet die training aanzetten.

7:50 Matt Als je wil dat, dat het AI-model weet wie jij als bedrijf bent en up to date blijft, ja, dan moet je het aanzetten.

7:58 Elwin Ja.

7:59 Matt Maar als bedrijf kun je ook heel bewuste keuzes maken van: ja, ik wil niet dat mijn informatie gebruikt wordt voor het trainen van het model. En dat is ook heel logisch. Dus dat is wel een afweging die je moet maken.

8:12 Elwin Ja. Ja, want dat vind ik er zelf altijd lastig aan. Want als— maar dat is misschien ook een soort persoonlijk iets en dat zullen veel mensen denk ik wel herkennen. Dan denk ik: ja, leuk en aardig, ik wil niet dat je op mijn data traint. Dat gevoel heb ik er heel erg bij. Maar dan zeg jij eigenlijk: ja, maar aan de andere kant, als ze niet op je data trainen, dan wordt je data dus niet automatisch meegenomen in een trainingsset. Dus bij een nieuwe live gang zit jouw data dus niet in het model.

8:32 Matt Ja. Ja.

8:33 Elwin Terwijl ik hem wel dan heb opengezet op lezen, maar dan is het alleen dat een bot het uitleest.

8:38 Matt Ja.

8:38 Elwin Dus daar zit eigenlijk het grote verschil dan in.

8:40 Matt Daar zit het verschil.

8:41 Elwin Dus wat zou dan een reden zijn voor jou dat je zegt: ik zet het toch uit?

8:46 Matt Ik denk als het om gevoelige gegevens gaat. Ik denk als het gaat op het moment dat jij als bedrijf, bepaalde waarden hebt hangen aan jouw gegevens en je wilt niet dat een model ermee aan de haal gaat. Ja, het lijkt me logisch dat je, dat je dat uitzet. Ja.

9:03 Elwin Ja.

9:03 Matt Maar ik denk in heel veel gevallen dat het niet nodig is om het uit te zetten.

9:06 Elwin Nou ja, een website is meestal publiekelijk. Ik snap als er iets geheims achter zit of zo, dat je dan zegt: nou, dat wil ik niet dat er op getraind wordt, maar eigenlijk kan je het beste gewoon aan hebben staan.

9:13 Matt Ja.

9:13 Elwin Behalve als je een of andere database hebt met persoonlijke gegevens, dan kan je het beter uit hebben.

9:17 Matt Ja, precies. Waarom heb jij, jij het bijvoorbeeld, bijvoorbeeld uitgezet?

9:21 Elwin Nou, weet je wat het punt is? En dan is het interessant dat ik met jou erover spreek. Dat is meer een soort gevoelsding geweest. Weet je wel. Ik was het aan Cloudflare aan het inregelen en dan dacht ik van: oh ja, ik wil wel gewoon gevonden worden, hè, dus, d-dat vind ik dan wel prettig. Maar ja, dat trainen, ja, wij hebben ook alle transcripties, die, die staan dus online. Dus iemand die kan dan denken van: hé, ik wil eens weten hoe vaak Perplexity genoemd is in AI-boys. Dan kunnen ze dat perfect terugvinden via de website. En ik had dan zo'n idee van: ja, maar ja, ga ik een beetje GPT en Claude zitten helpen om hun, om hun modellen te verbeteren. Nou, doen ze maar lekker zelf.

9:51 Matt Nee, dat snap ik wel ja. Ja, ik had het. Zelfs ik had dat in het begin ook. Ik dacht van: ja, dat wil ik niet. Ik ga niet mijn, mijn data gratis weggeven.

9:59 Elwin Ja.

10:00 Matt Maar ja, ja, het gebeurt al, zeg maar. Er komen al zoveel crawlers op je website die van alles ervan afhalen. En al zijn het niet de grote AI-bedrijven, dan zijn het wel andere, ja, kleine tech ondernemers die een of andere scraper aan het bouwen zijn om er iets vanaf te halen. En ook al zeg je, heb je in je voorwaarden staan dat het niet mag.

10:22 Elwin Ze doen het toch.

10:23 Matt Ze doen het toch. Ja.

10:25 Elwin Maar bij Cloudflare kan je wel een hoop inregelen in dat opzicht en tackelen. Maar ja, inderdaad, als er een of andere kleine tech ondernemer is die dat dan als een soort human bot dat weer eruit trekt, dan daar doe je niks tegen.

10:35 Matt Ja, en dat gebeurt heel veel tegenwoordig.

10:37 Elwin Ja, dat geloof ik. Want ja, daar zit toch een stuk waarde in. En als je dan, ja, de zoekresultaten weer kan optimaliseren of iets in die richting, dan is dat wel interessant. Wat ik wel wat lastiger vind natuurlijk bij jouw onderzoek is dat de modellen waar jij mee getest hebt, ja, we zijn nu geloof ik al twee modellen verder. We zitten volgens mij sinds 22 september zitten we op GPT-6 Sol.

10:56 Matt Ja.

10:57 Elwin Dus ja, hoe lastig is het dan om zo'n, om eigenlijk research te blijven doen? Want dan moet je dat, ja, heb je een soort AI bot aangezet die dat dan weer opnieuw gaat doen voor je.

11:05 Matt Ja, kijk, ieder model blijft online bronnen gebruiken, dat verandert niet. De kennis van het model wordt wel geüpdatet. Daarom is het ook belangrijk dat je die, bots toelaat, zodat ze, ja, hun eigen kennis weer kunnen updaten met de nieuwe informatie van je website. Maar nog steeds gebruiken ze die online, bronnen. Het voordeel is wel dat de modellen steeds slimmer worden. Dus op een, op het moment dat ze ergens online iets zien staan dat niet klopt, kan een veel slimmer model ook zeggen van: hé, klopt het wel wat hier staat? En dat zie je misschien bij Perplexity. Dat het model gewoon niet zo slim is als bijvoorbeeld een model van ChatGPT. ChatGPT, die heeft veel meer de neiging om zelf na te denken en iets te controleren. En het gaat nog steeds soms fout, maar er vindt wel iets meer controle plaats. En ja, ik denk dat dat wel heel belangrijk is.

11:53 Elwin Ja, maar Perplexity gebruikt vaak ook gewoon de modellen van OpenAI. Want je kan Perplexity kan je zelf het model natuurlijk kiezen. Of heb jij in je onderzoek toen bewust gekozen van hun eigen model, Sonar heet het geloof ik.

12:03 Matt Ja, Sonar heb ik gebruikt.

12:04 Elwin Oké, dus je hebt echt puur Sonar gebruikt. En ja, oké, ja, dus dan. Maar dus theoretisch zou je met Perplexity dezelfde antwoorden kunnen krijgen Als je dan de OpenAI API daar weer voor gebruikt? Of dat heb je niet onderzocht?

12:16 Matt Dat heb ik niet onderzocht.

12:17 Elwin Oké, maar ja, dat ligt dan aan de data die ze natuurlijk weer bij elkaar verzamelen, dus dat weet je dan ook niet helemaal zeker.

12:22 Matt Ja.

12:22 Elwin Maar jij schrijft ook dat zelf de zoekende modellen sommige wijzigingen eerder zagen dan, jouw handmatige controle, hè, want we hadden Mon-Moneybird, Knab en Hema.

12:31 Matt Ja.

12:32 Elwin Dus zelfs, ja, dan is AI toch sneller?

12:34 Matt Ja, bij twaalf, bij twaalf feiten was ik zelfs te laat. Ik had het onderzoek uitgevoerd over een paar dagen, dus ik controleerde eerst de vragen en later bleek dus dat in de tussentijd, ja, ze iets hadden geüpdatet in de prijzen, waardoor het AI-model met, ja, de juiste kwam en dat mijn controle te oud was, ook al was het maar twee dagen. Dus dat heb ik toen helemaal opnieuw uitgevoerd. Maar ja, dat is wel een interessante bevinding, omdat heel veel mensen denken van: ja, hoe vaak gebeurt er nou dat een bedrijf zijn prijs aanpast? Maar ja, dat gebeurt, gebeurt gewoon heel vaak. En helemaal als je dat uitsmeert over een hele hoop bedrijven. Er zijn heel veel veranderingen die plaatsvinden en het is heel belangrijk dat je als bedrijf ook, ja, naar buiten uitdraagt dat die— duidelijk bent dat die update er is geweest, zodat zo'n AI-model dat ook kan meenemen.

13:20 Elwin Want hoe doe je dat dan?

13:22 Matt Heel duidelijk zijn op het moment dat een, wijziging heeft plaatsgevonden. Heel duidelijk dat op je website plaatsen. Als voorbeeld wat ik kan noemen die, je had zelf ook een prompt gedraaid.

13:33 Elwin Ja.

13:34 Matt Over de co-host van deze podcast.

13:36 Elwin Ja.

13:36 Matt Serkan. AI-modellen gaven nog steeds aan dat Serkan de co-host was. Alleen het stond niet meer op je eigen website.

13:41 Op het moment dat je eigenlijk niet duidelijk neerzet van: Serkan is niet meer de co-host sinds deze datum, weet zo'n AI-model niet dat Serkan niet meer de co-host is. En dat is eigenlijk een heel erg goed voorbeeld ervan. Je moet dus heel duidelijk ergens aangeven van: hé, ik ga alleen verder. Serkan is niet meer de co-host. Bijvoorbeeld in een blogpost of ergens anders. En dan leest zo'n AI-model dat en die zal het dan ook niet meer meenemen in de volgende antwoorden.

14:11 Elwin Oké, want ik had wel heel duidelijk bijvoorbeeld een, een aflevering gemaakt met Serkan die afscheid nam. Dat staat helemaal in de transcriptie verwerkt. Zelfs een Suno liedje gemaakt met dag Serkan, maar nog steeds is dan het AI-model, die, die weet het dan nog steeds niet. Want dat vind ik dan wel interessant, want eigenlijk staat het er heel duidelijk in via de transcriptie die ik dan heb gemaakt.

14:31 Matt Ja. Alleen als je erover na gaat denken. Dus je stelt een vraag aan bijvoorbeeld ChatGPT of een AI-model: wie zijn de hosts? Dan gaat zo'n AI-model niet de transcripten van iedere aflevering uitlezen. Die gaat kijken naar de website en naar een aantal andere pagina's en op basis daarvan geeft hij een antwoord. Dus je moet ook goed nadenken over de plaats waar je dat dan neerzet.

14:51 Elwin Ja, want is het dan niet zo dat AI dan checkt van: oké, dit is de laatste pagina die is geüpdatet. Dat kun— dat kunnen ze natuurlijk ook gewoon terugzien en d-die lees ik standaard uit.

15:03 Matt Niet per se.

15:03 Elwin Oké.

15:05 Matt Nee.

15:05 Elwin Dus hij, hij scrapt gewoon de algemene info van de website. Zo moet ik het dan zien.

15:09 Matt Ja.

15:10 Elwin Oké. Ja, want het is wel grappig dat je daar over begint, want dat was ook de hele reden natuurlijk wat we op een gegeven moment toen dacht ik van: nou, interessant onderzoek heb je gedaan. Maar ja, wat zouden ze dan over AI-boys dan vertellen? Dus ja, op 25 september had ik dus inderdaad 10 vragen over AI-boys gesteld en dat was, via de AI-modus van Google en Perplexity. Uitgelogd, hè, heb ik dus ook Perplexity gebruikt. Maar ik heb ook de duurdere versie van Perplexity gebruikt, dus, de pro versie en negen van de 10 die had Google goed, dus dat komt wel een beetje overeen met natuurlijk wat jij zei. En ChatGPT en Perplexity allebei maar vier, dus dat was wel enigszins teleurstellend.

15:44 Maar ja, het is wel grappig dus wat jij zegt dat als ik dat zelf dus onderzoek, dat het ook terugkomt. Wat ik wel weer heel leuk eraan vond, is toen jij mij contactte dat je wel zei van: hé, beste Elwin en Serkan, dus ergens kwam, jouw AI-scraper kwam er ook nog steeds fouten uit. Maar ja, zo heb ik ook weer geleerd dat het blijkbaar op de website iets anders moet. Maar wat dus inderdaad interessant is waar we het net over hadden is dus Serkan, die leeft eigenlijk voor altijd voort. Ik weet dat hij nog steeds heel graag meeluistert, dus Serkan, heel leuk dat je nog steeds— in de AI-modellen ben je nog steeds in ieder geval de man. En ja, wat ik daarnet al zei van: ik dacht dat ik dat gerepareerd had, maar nog steeds blijft dat doorgaan. Maar als ik het goed dus van jou begrijp komt dat ik niet heel duidelijk heb gezegd: Serkan zit hier niet meer.

16:27 Matt Uit het oog, maar niet uit het hart.

16:28 Elwin Ja. Ja, daar komt het inderdaad wel op neer. Ja, dus daar komen we dan op neer. En dan hebben we nog oude informatie. Die komt dus eigenlijk van onszelf. Dat viel me dan ook weer op, want ik had, ik heb inderdaad een nieuwe website gemaakt en ja, toen dacht ik dat ik iets heel moois had gemaakt, dat hij automatisch de episodes zou updaten. Maar dat deed hij dus wel, maar dan zette hij niet de aantallen op en dat haalden ze dus wel heel goed naar voren, want op de site stond dat er nog maar 57 afleveringen waren gemaakt. En dat klopt ook dat dat op de site stond. Het klopte niet, maar het klopt dat het op de site stond.

17:01 Matt Ja, want de aantal afleveringen, stonden wel 58 op Spotify.

17:05 Elwin Ja, er stonden er wel 58 op Spotify en ook 58 op de website. Alleen in de tekst stond 57.

17:11 Matt Ja. Ja. Ja, maar dat zie ik heel vaak ook soms dat de, dat er iets uit de meta description wordt gehaald of de meta title van de pagina.

17:19 Elwin Ja.

17:19 Matt Dus soms is er ook, is het heel lastig om te zeggen van: ja, waar haalt hij het nou, waarom haalt hij het precies daarvandaan? En soms is het dus een hele rare plaats en helemaal niet logisch. Dan denk je van: ja, daar staat het goed. En toch haalt hij bepaalde informatie uit een heel raar plekje op de pagina.

17:34 Elwin Ja, want is het dan zo dat je eigenlijk AI jouw pagina de hele tijd moet laten checken? Jouw eigen AI-model om te kijken van: zie je gekke dingen en trek dat eens even recht.

17:44 Matt Nou, niet continu. Het is heel lastig hoe je dat eigenlijk, hoe, hoe je dat eigenlijk kunt meten. Wat ik altijd, zelf doe en ook voorstel bij bedrijven is: ga na wat ze nou hele belangrijke vragen die klanten stellen over jouw bedrijf of over jouw dienstverlening, en stel die meerdere keren aan verschillende AI-modellen en kijk wat eruit komt. En kijk ook naar welke bronnen worden er gebruikt, en wat kun je doen om dat, ja, om daar iets aan te passen. Dus kan je eigen website zijn. En zoals ik in het begin zei, kan ook een externe partij zijn die iets verkeerds zegt.

18:17 Elwin Hmm. En als een externe partij iets verkeerds over jou zegt, dat is wat je daarnet al eerder gauw aangaf, dan moet je contact met hen opnemen. Maar dat lijkt me ook een soort fulltime job bijna dan. Want als jij een wat grotere organisatie bent, dan moet je de hele tijd gaan zitten checken wat andere bedrijven weer over jou zeggen.

18:34 Matt Ja.

18:35 Elwin Want hoe tackle je dat dan?

18:37 Matt Ja, dat is wel een beetje een onderdeel van het updaten van je website. En ja, anno 2026, mensen gebruiken nu gewoon heel veel AI chatbots en dit komt er wel bij kijken. Dus het is inderdaad wel iets, een stukje, ja, iets extra's wat erbij komt.

18:52 Elwin Ja.

18:52 Wat ik ook wel leuk vond in het onderzoek wat ik zelf heb gedaan, is ik denk van eens vragen van welke prijs ik nou heb gewonnen als AI-Voice in 2025. En dan krijg je toch echt wel de leukste dingen. Want ik, ik was wel heel erg blij met Perplexity, maar misschien wilden ze dat ik bij ze bleef, want ze zeiden dat ik de Dutch Podcast Award had gewonnen in de categorie Tech.

19:11 Matt Gefeliciteerd!

19:12 Elwin Ja, dank je wel. Dus ja, ik weet het niet. Ik— misschien dat ik hem nog krijg, hè, dus, ik sluit niks uit. Het was wel 2025. Ik heb, ja, anders had ik hem hier wel opgehangen of zo, maar ik dacht: zo, ik heb iets gewonnen zonder dat ik dat weet, dus dat is ook wel een interessante. Dus ja, dat verzinnen ze dan ook gewoon ter plekke. En als ik het uitgelogd deed, dan had ik dus iets met Golden Boy gewonnen. Maar ja, volgens mij klopt daar helemaal heel erg weinig van. Maar jij vroeg ook alles drie keer. Is een antwoord dat per keer verschilt erger dan een antwoord dat fout is? En waarom verzint de betaalde versie iets wat de gratis versie dan weer niet deed?

19:43 Matt Ja, dat is heel lastig om eigenlijk, om er iets over te zeggen. Omdat ik heb zelf niet gemeten van waar, waar zit het verschil tussen verschillende metingen eigenlijk? Waarom is bij hetzelfde model bij meting A zegt ie dit en bij meting B zegt ie dit? En dat is heel erg lastig, omdat ook, j-je weet niet hoe zo'n model precies werkt en waarom dat ie een bron kiest. Ik kan wel zien welke bronnen die kiest en ik kan er wel bepaalde conclusies uit halen. Maar bijvoorbeeld bij die, zo'n Golden Boy, waarom die de ene keer dat zegt en de andere keer zegt ie dat je de Dutch Podcast Award had gewonnen.

20:12 Ja, ik denk met de vraagstelling dwing je eigenlijk al iets af van: oké, welke prijs heeft hij gewonnen? Dus zo'n AI-model gaat dan op zoek van: oké, ik moet een prijs vinden, want de gebruiker zegt dat, ja, dat er een prijs is. Ik denk dat AI-boys ook een vrij generieke naam is, dus die kan je op bepaalde manieren, ja, interpreteren en ik denk dat het daar al heel snel fout gaat. En dan moet je dus op zoek gaan naar een prijs en dan komt ie met, ja, dit.

20:42 Elwin Ja. Terwijl ChatGPT, die zei helemaal van, AI-boys, die heeft nog niet eens een website.

20:48 Matt Nee.

20:48 Elwin Dus die herkende helemaal niks. Dat vond ik ook wel interessant.

20:51 Matt Ja.

20:51 Elwin Terwijl Google en Perplexity wel weer heel duidelijk benoemden dat we wel weer een website hadden.

20:56 Matt Ja.

20:57 Elwin Is dat ook iets wat jij herkent uit jouw onderzoek?

20:59 Matt Ja, dat heeft vooral te maken met de indexen. Iedere, ieder mo-, ieder AI-model gebruikt een andere index, zoekindex. Bijvoorbeeld Gemini gebruikt de Google zoekindex of course. De, ChatGPT leunt meer op Bing. Perplexity heeft een eigen index die veel jonger is en daarom ook veel meer, ja, eigenlijk veel meer verkeerde bronnen gebruikt. En wat je ook zei over dat je de, trainingsbot had uitgezet. Daardoor is waarschijnlijk ook de website niet opgenomen in de eigen kennis van het model.

21:28 Elwin Ja. Ja, maar, ja, kijk, die trainingsbot die ik zelf had uitgezet, dat heb ik echt pas sinds kort gedaan, want ik heb heel lang gewoon, gewoon met Linktree gewoon gewerkt. Dat zag je ook veel terug in het onderzoek, dat ze voornamelijk op Linktree, terugkwamen en dat er een aantal wel dan echt op aiboys.nl uitkwamen. Want ja, die website heb ik pas later eigenlijk gelanceerd. Het, heeft AI wat tijd gekost om dat te bouwen.

21:48 Matt Mmm, oké.

21:49 Elwin Dus, dus eigenlijk die Cloudflare-actie die ik heb gedaan, dat is misschien pas sinds twee maanden zo, dus ik denk, ja, dat betwijfel ik, dat er nu echt al trainingsdata erin zit.

21:58 Matt En de website stond live sinds?

22:00 Elwin Ja, hoe i-, kijk, aiboys.nl staat al, langer live. Alleen die werd geforward naar Linktree.

22:06 Matt Oké.

22:06 Elwin Dat heb ik heel lang gedaan en toen op een gegeven moment dacht ik van: ja, nu worden we wat groter en professioneler, dus dan moet ik ook maar een website, hè, daar moet ik maar aan geloven. En toen heb ik een website gebouwd en die staat nu live.

22:16 Matt Ja, oké.

22:17 Elwin Dus ja, en meestal dan s-, d- wat we al eerder hadden, dan wordt natuurlijk de data wordt afgesloten in het large language model, dus daar kan hij dan al zo nie, niet meer op teren. Dus ik denk dat nu pas, als ik het nu ga aanzetten, dat large language models pas over een paar maanden die data echt tot zich hebben genomen, denk ik. Die trainingsdata.

22:35 Matt Als ik dat zo hoor, dan denk ik dus je had eerst, domein. Die stuurde door naar Linktree.

22:39 Elwin Ja.

22:40 Matt Is daar, er is misschien dat geïndexeerd waardoor je nu veel Linktree, ja, als bron wordt gebruikt. Toen eigen website en toen ook weer de trainingsbot uitgezet. Dus je hebt verschillende dingen die zijn veranderd in een vrij korte periode. Over de laatste vier maanden is het allemaal denk ik gebeurd en dan wordt dat, ja, loopt dat niet helemaal soepel. Bij de ene model is die wel zo geïndexeerd, bij de andere niet.

23:03 Elwin Ja.

23:04 Matt Ja.

23:04 Elwin Nou Matt, dank je wel weer voor vandaag. En wat ik de mensen thuis wil meegeven is dat ze toch vanavond eens even aan ChatGPT drie dingen over hun eigen bedrijf zouden moeten vragen en kijken wat er verouderd is. En volgende week. Sinds augustus kun je ChatGPT betalen om genoemd te worden en de vraag is of dat werkt. En dan gaan we daar verder over doorpraten.

23:27 Matt Gaan we doen.

23:28 Elwin Ja. Dank je wel allemaal voor het luisteren en leer, bouw, maar blijf kritisch. Dit was AI-boys. Tot volgende week.