De Efteling. Casper, die bij ons in dienst is als pannenkoekenbakker, is er dol op. Zelfs zo dol, dat hij er min of meer voor zorgt dat het één van onze jaarlijkse uitjes is. Vorig jaar gingen we natuurlijk ook weer; als je benieuwd bent hoe we dat hadden ervaren, kan je het artikel en de video hier terugzien.
Maar daarnaast is Casper ook dol op wasstraten. Sterker nog, hij vindt wasstraten zó leuk, dat hij het niet erg vond om tijdens het Efteling-uitje een kwartier later te zijn, zodat hij mij en Mark kon trakteren op een ritje door zijn favoriete wasstraat.
Casper is dus dol op de wasstraat. Ik snap niet zo goed waarom. Maar, dat is voor mij een vrij gebruikelijke staat van zijn, en zijn auto was daarna in ieder geval weer schoon, dus dat is fijn. En je wekt met een schone auto ook weer een betere indruk bij de Efteling, dat is natuurlijk ook wat waard.
Het bleef ook nog heel lang het onderwerp van gesprek in de auto. Dit wasstraatenthousiasme had dus ook het gevolg dat ik dit jaar niet naar die akelige Efteling muziek-CD hoefde te luisteren. Voor mij was het daardoor zeker geen slecht begin van de dag.
Mark heeft inherent al een ongelooflijke hekel aan de Efteling (niet specifiek de Efteling, maar gewoon pretparken en attracties in het algemeen). Dus iedere minuut die we extra spenderen in de wasstraat, hoefde hij niet te spenderen in de Efteling. Ook voor Mark zeker geen slecht begin van de dag.
En voor Casper was het dus duidelijk het hoogtepunt van zijn dag. Volgens mij had hij het er zelfs nog over toen we in de Efteling zelf waren. Ik denk oprecht dat hij uiteindelijk de wasstraat nog leuker vond dan de Efteling.
Een wasstraatvraag
Deze wasstraat brengt ons naar een terugkerend onderwerp van ons blog: in hoeverre kunnen LLM's wel of niet denken? Ik ben momenteel nog van mening dat je met name zelf moet denken, en LLM's vooral moet gebruiken om het uitgedachte uit te voeren. Want ik loop toch vaak weer, tijdens het werken, tegen bepaalde limitaties op, waar dan weer uit blijkt dat LLM's vooral de schijn weten te wekken, maar er geen sprake is van echte intelligentie.
Ergens in februari verscheen een interessante 'logica'-puzzel op het internet, waarmee dit goed naar voren kwam.
De vraag is als volgt:
I want to wash my car. The car wash is 50 meters away. Should I walk or drive?
Denk er even over na. Wat zou jouw antwoord hierop zijn?
Heb je het antwoord bedacht? Lees dan hieronder verder.
Hoe doen de verschillende modellen het?
Het antwoord is natuurlijk: 'drive'.
Het doel is namelijk om je auto te wassen, dus als je die niet meeneemt naar de wasstraat, is dat best lastig. Hopelijk had jij dit antwoord ook, en hopelijk ben je het ermee eens dat je niet bepaald een doctoraat nodig hebt om op het antwoord te komen.
Maar, toch hebben schijnbaar veel LLM's wel moeite met deze vraag. De meeste raden namelijk aan om te lopen. Is dit echt zo? Tijd om dat eens te gaan testen! We hebben de vraag gesteld aan een grote hoeveelheid verschillende modellen, en dit zijn de resultaten:
Vraag
Antwoord
Erkenning van foute patroonherkenning
De resultaten liegen niet: heel veel LLM's hebben duidelijk veel moeite met deze vraag.
Waarom geven LLM's zo'n fout antwoord? LLM's zijn heel goed in het herkennen van tekstpatronen en verbanden, en het voorspellen welke tekst er daarna zou moeten volgen. In dit geval herkennen ze dus vaak een patroon dus 'korte afstand' en 'vervoer', en is de meest waarschijnlijke connectie 'lopen'.
LLM's zijn heel goed in patroonherkenning en herkennen hier dus het verkeerde patroon. Of, misschien is dit gewoon geen patroon dat voorkwam in hun trainingsdata, en is het daarom onmogelijk om dit patroon ooit te herkennen.
Fouten in patroonherkenning zijn bij machine learning niet onbekend. Zo is de videoregistratie van een voetbalwedstrijd ooit verpest omdat de AI het kale hoofd van een scheidsrechter verwarde met de voetbal, en de camera daardoor steeds de scheidsrechter probeerde te volgen, in plaats van de bal.
Soms gaat patroonherkenning fout.
De schijn van intelligentie
Eerder in dit artikel schreef ik al over de schijn wekken van intelligentie, en ik vind dit hier een mooi voorbeeld van. Dit is één van de antwoorden van een LLM:
Klik om het volledige antwoord te lezen
ABased on the information you've provided, walking is almost certainly the better choice for a 50-meter trip to the car wash. Here's why, step by step:
1. Time Efficiency
- Walking:
- 50 meters is roughly the length of a soccer field or half a football field.
- At a normal walking pace (1.4 m/s), this would take ~20–30 seconds.
- You can even run it in under 15 seconds.
- Driving:
- Starting your car, driving 50 meters, and parking would take multiple minutes (e.g., 2–5 minutes or longer, depending on traffic, parking availability, or obstacles).
- Driving is slower for such a short distance.
Verdict: Walking saves significant time.
2. Environmental Impact
- Walking:
- Zero carbon emissions, no fuel consumption, and no contribution to traffic or air pollution.
- Driving:
- Even a short trip burns fuel (e.g., ~0.1–0.2 liters for a small car), emitting CO₂ and other pollutants.
- It adds unnecessary wear to your vehicle and contributes to traffic congestion, even for 50 meters.
Verdict: Walking is far more eco-friendly.
3. Convenience and Cost
- Walking:
- No need to find keys, start the engine, pay for parking, or worry about traffic.
- Free and effortless.
- Driving:
- Requires fuel (costing money), potential parking fees, and time spent on a task that adds no value.
Verdict: Walking is simpler and cheaper.
4. Edge Cases to Consider
- Weather or terrain?
- 50 meters is manageable in light rain, snow, or heat. If conditions are extreme (e.g., icy sidewalks), driving might be safer—but this is rare for such a short distance.
- Physical ability?
- If you have mobility limitations, driving could be necessary. But if you're able to walk, it's the better option.
- Car wash requirements?
- If the car wash requires your car to be driven in (e.g., an automated car wash), you'll need to move the car eventually. But for 50 meters, you could:
- Push the car (if it's manual or in neutral, and the terrain allows), or
- Use a ride-sharing app/bike to move yourself to the car wash, then call a tow truck if absolutely necessary (but this is overkill).
- Note: Most self-service car washes let you walk up with your car already parked nearby.
- If the car wash requires your car to be driven in (e.g., an automated car wash), you'll need to move the car eventually. But for 50 meters, you could:
Conclusion
Walk. It's faster, greener, and simpler. The only reason to drive would be if:
- You're physically unable to walk 50 meters,
- The car wash explicitly requires you to arrive by vehicle (unlikely for such a short distance), or
- You're transporting hazardous materials (not relevant here).
If you clarify your exact scenario (e.g., "Is my car already at the car wash?"), I can refine this advice!
De LLM wekt hier een slimme indruk, want je krijgt een complete dissertatie als antwoord op je vraag. Maar het antwoord slaat nergens op.
Soms kan je het advies van een LLM beter niet opvolgen. Maar... je bent in ieder geval wel schoon daarna.
Nieuwere modellen en reasoning
Veel van de nieuwere modellen lijken wel in staat te zijn om de vraag te beantwoorden - mogelijk een gevolg van hun 'reasoning' capaciteiten? Al zijn er ook genoeg complottheorieën dat de grote AI-partijen snel deze vraag hebben 'gepatched'. Zouden ze dat dan zijn vergeten te doen bij GPT-5.4?
Want GPT-5.4 zegt ook dat je moet gaan lopen. Dat was mijn grootste verrassing. Toen ik dit artikel schreef en deze test uitvoerde was dit model pas 7 dagen oud en was dit het beste en nieuwste model van OpenAI, terwijl veel van de oudere OpenAI modellen wel het juiste antwoord geven.
Is hier dus sprake van degradatie van de capaciteiten van het model op dit vlak? Is dit een gevolg van het feit dat het veel minder tokens gebruikt dan vorige modellen, en daardoor hierop faalt? Of is het toch dat ze vergeten waren om dit issue te 'patchen'?
Zoals altijd: wie zal het zeggen? Het is in ieder geval heel veel zeggend dat zelfs de allernieuwste modellen nog problemen hebben met deze 'puzzel', en dat verschaft ons veel inzicht in de manier waarop deze technologie werkt, en waarom de ontwikkeling van 'reasoning' destijds zo'n grote en belangrijke ontdekkingsstap was. Heel leerzaam dus, en hopelijk leidt dit inzicht ook weer tot een verbetering in ons gebruik van LLM's.
Wie weet: misschien komt er zelfs een dag waarop ze mij kunnen uitleggen waarom Casper de wasstraat zo gaaf vindt.
