Vertaalkaarten met pensioen

Trouwe lezers van dit blog zijn wel bekend met onze vertaalkaarten en met Aquamentus, de draak die balken in drie richtingen schiet. Ik vond het altijd heel interessant om te zien hoe deze zin, die in 1990 door een gebrek aan context verkeerd vertaald werd (door de ingehuurde vertalers van Nintendo), vertaald zou worden door de hedendaagse LLM's.

Maar we zijn inmiddels weer wat verder, en het is wel duidelijk dat de meeste LLM's wel goed genoeg zijn in vertalingen voor de meeste doeleinden. De output van LLM's met elkaar vergelijken via de Aquamentus-uitdaging is dus een stuk minder zinvol geworden. Ik vond het daarom eigenlijk wel tijd om deze vertaalkaarten met pensioen te laten gaan. Hoe lang we dit pensioen vol houden weet ik niet - als er weer een keer een hele interessante LLM uitkomti, ga ik hier ongetwijfeld weer mee aan de slag. Maar tot die tijd gaan we dus afscheid nemen van Aquamentus.

Onverwachte gevolgen van een lagere vertaaldrempel

LLM's zijn voor veel vertaal-doeleinden goed genoeg, maar dat wil niet zeggen dat alle vertalingen al perfect gaan. Zo was er begin 2026 een fan-vertaling op het internet verschenen voor de game SEGAGAGA. Maar deze was erg slecht ontvangen door de fanbase, omdat het heel duidelijk was dat deze machine-translated was, en deze game juist een vertaling vereist waar veel context voor nodig is, omdat de tekst gevuld was met grappen, woordspelingen en ironische referenties.

Ik denk zelf dat de combinatie van voldoende effort, de juiste LLM, genoeg context en een menselijke vertaler (met kennis van de game en de omringende context) om het proces te begeleiden een heel goed resultaat behaald had kunnen behalen. Maar ik snap ook dat mensen daar misschien geen zin, tijd, kennis of energie voor hebben, en waarschijnlijk gewoon dachten: iets is beter dan niets. De fanbase vindt van niet: nu er een vertaling is, is de motivatie om een goede vertaling te produceren helemaal weg! Waren we misschien beter af geweest in een wereld waarin vertalingen produceren veel moeilijker is, en zo'n project alleen ondernomen wordt als dit gecombineerd is met de motivatie om het echt goed te doen?

Ik heb geen idee, en ik heb verder ook geen moraal voor dit verhaal. Ik ben hier om te schrijven over het vertalen van zinnen over draken uit games van 1986, dus tijd om daar mee verder te gaan.

Aquamentus' Afscheid

Het is dus tijd om afscheid te nemen. Maar natuurlijk niet zonder nog één enkele allerlaatste keer onze vertaalkaarten hier neer te zetten. Sterker nog: Dit artikel zal gaan functioneren als de 'definitieve vertaalkaart'.

Deze 'definitieve vertaalkaart' bevat alle huidige (in OpenRouter beschikbare) LLM modellen. We zijn ook van plan om de kaarten in dit artikel up-to-date te houden. Als er dus nieuwe modellen beschikbaar komen, voegen we die toe aan onze vertaalkaart. Kom dus gerust af en toe terug op deze pagina, als je wilt zien hoe nieuwere modellen presteren. Of als je nog een keer wilt lachen om de teksten die sommige van de vroege modellen produceerden.

Hieronder staan onze vertaalkaarten. Door op de tabjes te klikken, kun je wisselen tussen de drie teksten (Zon, Ziel, Balkendraak). Via de dropdown, of de pijltjes naast de dropdown, kun je wisselen tussen de verschillende modellen.

Een aantal van de modellen hebben van ons twee pogingen gekregen, waarbij de tweede poging de AI de kans geven om te reflecteren, door te vragen om te kijken naar zijn vorige geproduceerde vertaling, en het nogmaals te proberen. We doen dit met name bij de modellen die geen reasoning ondersteunen (in zoverre we dat konden bepalen per model). De reasoning modellen zijn geneigd uit zichzelf al dit soort reflecties te produceren.

Een geur van gebakken wortels

Ik kan het natuurlijk niet laten om een paar leuke vertalingen wat extra aandacht te geven. Want naast bundels en balken, vuurt onze draak van alles af:

Om de Triforce te verkrijgen, moet u Aquamentus verslaan, een zeer sterke vijand. Hij jaagt stralen in drië richtingen.

Om het Triforce te behalen, moet u Aquamentus, een zeer sterke tegenstander, verslaan. Hij veroorzaakt verstrooiingen in drie richtingen.

Om de Triforce te verkrijgen, dient u Aquamentus, een uiterst sterk wezen, te verslaan. Hij schiet drieledige straalgloeden af.

Er is ook een model dat de Triforce op een unieke (maar op zich niet incorrecte) manier weet te vertalen:

Om het Driehoeksteken te verkrijgen, moet u Aquamentus verslaan, een zeer sterke vijand. Hij schiet stralen in drie richtingen.

En mijn favoriet, een fragment uit de vertaling van het Mancer Weaver model:

Als je hem vanuit een goede positie aanvalt, kun je hem van achteren aanvallen met een passende aanval. Als je denkt aan verschrikkelijk heet, dat is hij de warmste. De gele stralen hebben een geur van gebakken wortels, die iets verwarmen. Megaton keerde je wat aan, maar niet teveel.

De verschuiving van onbegonnen werk naar AI-geassisteerde workflow

Claude wist de output van het model goed te omschrijven:

That Mancer Weaver model is... creative. It turned a 2-sentence Dutch text into a multi-paragraph short story about a picnic with a dog. The GPT-3.5 variants were much more disciplined.

Om deze vertaalkaarten te produceren heb ik natuurlijk Claude en Codex flink aan het werk gezet. Alhoewel de vertaalkaarten in dit artikel behoorlijk lijken op die uit de eerdere artikelen, is er achter de schermen toch flink wat aan veranderd (en verbeterd).

In een wereld vóór AI had ik deze taak gewoon nooit opgepakt, en had ik dit artikel dus nooit geschreven. Want dat was veel te veel werk (voor wat het opleverde). Maar dit was een taak waar een LLM zeer goed geschikt voor was; ruim binnen de complexiteitsdrempel waarin ze kunnen werken, en met een werkend voorbeeld om het op te baseren.

Dit bood ook weer een mooi moment van reflectie aan. Want ongeveer een jaar geleden, toen we de eerste vertaalkaart-implementatie maakten, deden we dat nog grotendeels met de hand. Ondanks het feit dat we toen al langere tijd intensief bezig waren met AI (we schreven er toen immers al blogartikelen over, en maakten er producten mee), was dit een taak die echt nog wel te complex was voor de toenmalige modellen.

Maar nu, ongeveer een jaar later, is deze feature grotendeels door AI gebouwd - al was mijn begeleiding hierbij nog wel essentieel. De wereld is dus behoorlijk veranderd in het afgelopen jaar. Ik ben heel benieuwd of we het komende jaar nog zo'n transformatie gaan meemaken.

Conclusie

De wereld is veranderd, de vertaalkaarten zijn met pensioen, maar met het testen van LLM's zijn wij voorlopig nog niet klaar. Sterker nog: in het volgende artikel gaan we het hebben over een logicavraag waar veel LLM's over leken te struikelen.

Update enkele maanden later

Dit artikel had ik oorspronkelijk geschreven in januari, maar vanwege de planning is deze steeds verder verschoven, totdat het artikel uiteindelijk in mei live mocht gaan. Bepaalde onderdelen van dit artikel, en dan met name het op een na laatste hoofdstuk, beginnen nu al verouderd aan te voelen. Waar het in januari nog vrij 'nieuw' aanvoelde om het grootste deel van de code niet meer zelf te schrijven, is dat nu niet meer dan vanzelfsprekend.