Vertalen met AI - Deel 2: It is exasperating to have squirrel food

Dit stuk borduurt voort op de bevindingen en de structuur van het eerste artikel. Als je dat nog niet onder ogen hebt gehad, is het misschien wijs om die koe alsnog bij de horens te vatten.

In het vorige artikel bleven we nog aan de oppervlakte met simpele vertalingen. Dit keer willen we de touwtjes wat strakker aantrekken. Daarom springen we in dit artikel gelijk het diepe in met een rijmende idiomatische uitdrukking.

Helaas pindakaas

De uitspraak 'Helaas pindakaas' is een typisch Nederlandse idiomatische uitdrukking. In deel 1 van de blog-serie hadden we het over context - waarin je moet weten dat een 'beam' in de context van een draak vertaald moet worden als 'straal' en niet als 'balk'. Idiomatische uitdrukkingen doen daar nog een schepje bovenop, omdat daarbij soms geen enkele 'directe' vertaling van een woord juist is.

Want de verwachting van een (foute) vertaling bij deze uitdrukking was bij mij natuurlijk direct zoiets als 'unfortunately peanutbutter'. En die gedachte snijdt hout: Want er passeerden voldoende variaties de revue, zoals 'Unfortunately, peanut butter', 'Unfortunately, it is peanut butter' en 'Regrettably, it is merely pindakaas'.

Llama3 1B stelde ook niet teleur met de meer 'creatieve' vertalingen, zoals:

• 'ze kookt vlees',
• 'Regrettably, pindakaas is the dutch word for pigeon cake'
• 'It is exasperating to have squirrel food'.

Uiteindelijk gaf Llama ons zelfs een waarschuwing:

Illegale stoffen zoals pindakaas? Ik stel me dan zoiets als dit voor:

De meeste modellen hadden het dus erg moeilijk met deze zin.

Zelfs de modellen van OpenAI zoals GPT-4o produceerden voortdurend 'Unfortunately, peanut butter', en maakten pas een aanpassing na de reflectiestap, waar het meestal 'Unfortunately, tough luck.' werd.

Slechts een klein percentage van alle (non-reasoning) modellen wisten zonder reflectie een correcte vertaling te produceren, terwijl de meeste reasoning modellen hiertoe wel al in staat waren. Mogelijk zegt dit iets over de trainingsdata - het feit dat ze na reflectie of reasoning een juiste vertaling weten te produceren laat zien dat ze wel over deze 'kennis' beschikken. Mogelijk zijn deze statistische associaties, zonder voldoende 'reasoning-tokens', veel lager dan de statistische associatie die de directe vertaling heeft. Maar dit is slechts een theorie.

Ik vond zelf dat gemini-2.5-pro, na zelfreflectie, de mooiste vertaling wist te produceren met 'That's the way the cookie crumbles'. Omdat we hier van Nederlands idioom naar Engels idioom gaan. Hier valt natuurlijk over te discussiëren: afhankelijk van de context zijn de nuances van de Engelse tekst niet helemaal hetzelfde als die van de Nederlandse, maar wat mij betreft ligt deze vertaling veel dichter bij de oorspronkelijke tekst dan de standaard 'That is unfortunate.'.

Word je heel verdrietig van deze conclusie, maar weet je niet hoe je dat moet uitdrukken? Dan is de volgende vertaling misschien iets voor je.

Hij liep met de ziel onder de arm naar huis

Onze vorige pindakaasvertaling was alleen de uitdrukking zelf - maar nu hebben we de uitdrukking verwerkt in een zin.

We observeren hier weer enkele foute letterlijke vertalingen, zoals 'He walked home with his soul under his arm', maar ook eigenaardige vertalingen zoals 'Navigation through the arduous terrain with his soul encased in his arm, he journeyed towards his dwelling' en 'He walked home with his soul in his pocket'. Een soul in his pocket... zou hij hele grote zakken hebben, of gewoon bijzonder kleingeestig zijn?

Llama3 1B is natuurlijk ook weer van de partij met:

• He leefde met de ziel onder de arm naar huis
  • En na reflectie werd dit: Ze maakte koffie
• Hij reed met de koeien rustig op de weg naar zijn woonruil
• Wij nemen een lang autoverhuurstrijd

Het model LFM-7B van Liquid AI doet ondertussen dingen die echt niet door de beugel kunnen 😱:
'He ran home with the dead body under his arm'

En na zelfreflectie maakte dit model ervan:
'He hurried home carrying the deceased under his arm'
Ja, ik zou mij ook haasten in die situatie!

Waren er ook nog goede vertalingen?
Ondanks alle gekheid op een stokje zien we hier ook voorbeelden waarin de LLM juist uitblinkt door ook weer mooie idiomatische (bijna poëtische) Engelse vertaling te genereren, zoals 'He walked home with his heart heavy with sorrow', waarin de context van de originele Nederlandse zin goed bewaart blijft, ondanks dat de letterlijke woorden heel anders zijn.

Een reden om reasoning LLM's in te schakelen

Zoals we bij 'Helaas pindakaas' zagen was de reflectiestap vaak noodzakelijk om een goede vertaling te krijgen. De reasoning LLMs hebben deze 'reflectie'-stap eigenlijk al automatisch ingebouwd zitten, en daarom zien we dat de eerste response van deze modellen vaak al voldoet.

Dit laat dus zien dat deze 'kennis' (over de idiomatische betekenis van een vertaling) meestal al 'beschikbaar' is binnen de data van een model, maar dat er toch iets meer nodig is om deze tot uitdrukking te laten komen. Mogelijk is het een voorbarige conclusie, maar mijn eerste indruk is dat reasoning LLM's dus beter zijn in het vertalen dan de non-reasoningmodellen en dat het redeneren dus de capaciteit ontsluit om betere vertalingen te produceren.

We zien dat enkele non-reasoningmodellen wel zonder reflectie deze vertaling weten te maken. Wat zou dit kunnen verklaren? Mijn theorie is dat deze modellen (vooral naarmate ze dus groter zijn) dus meer trainingsdata hebben en/of langer getraind zijn, waardoor ze wel statistisch in staat zijn om te kunnen bepalen wat de gewenste vertaling is.

De modellen waarbij deze statistische connectie nog wat zwakker is hebben dus iets meer data en/of (reasoning) tokens nodig (die dus door de reasoning en/of zelfreflectie geproduceerd worden).

Reasoning lijkt dus een manier te zijn om de capaciteiten van LLM's op bepaalde vlakken (zoals vertalingen) te verbeteren. In latere artikelen in deze blog-serie gaan we kijken naar wat er nog meer mogelijk is op dit vlak, zoals het gebruik van MCP Servers.

Mega zin

Het is tijd om onze modellen echt het vuur aan de schenen te leggen. Na lang wikken en wegen heb ik een parel van een paragraaf weten te produceren die de lat hoog legt, en waarmee we nu de modellen echt goed aan de tand gaan voelen.

Wat staat je nog meer te wachten

Je hebt tijdens het lezen vast wel gemerkt dat we zelf ook iets doorgeslagen waren in ons gebruik van idiomatische uitdrukkingen. Geen zorgen: in de volgende artikelen doen we dat natuurlijk niet meer (we verzinnen wel weer iets nieuws om jou als lezer mee te irriteren).

Wat kun je dan wel verwachten in de toekomstige artikelen in deze serie?

• De diepte in: Samen met een professionele vertaler als gast-schrijver kijken we naar de limitaties van AI als vertalers, bij echt moeilijk te vertalen zinnen. ==todo footnote==Hier was veel voorbereiding voor nodig. Je zou haast kunnen zeggen: een lange prep.
• Praktijkvoorbeeld van vertalingen binnen een systeem dat wij gebouwd hebben.
• Wat zijn in onze ervaring de top 3 LLM's (of vertaaldiensten)?