DMM #56 | Maakt het uit of je ChatGPT in het Engels of Nederlands prompt?

Hi Marketing Multispecialisten!

Deze week heb ik me zo hard op een project gestort dat m'n hersenen aanvoelden als een uitgeknepen citroen. Maar het was het waard, want ik heb weer wat interessants ontdekt over het werken met AI. Buckle up!

Het project: een positioneringsmatrix uit het niets toveren

Mijn missie? Een positioneringsmatrix maken van concurrenten, puur gebaseerd op publieke data. Geen standaard "Hé ChatGPT, doe eens gek" actie, maar echt diepgravend werk.

Weet je nog dat we het in [editie 18] hadden over het automatiseren van klantinzichten? Nou, dit is het volgende level. We hadden al wat slimme AI-trucjes om info te verzamelen, maar nu gingen we een stap verder: die berg aan data omtoveren in bruikbare inzichten.

Reviews onder de loep

Een groot deel van ons project draaide om reviews. Het idee? ChatGPT op elke review loslaten om scores te geven voor betrouwbaarheid en prijs. Klinkt als een eitje, toch? Nou, niet dus.

Hier kwam de echte uitdaging: we wilden dat ChatGPT stabiel was als een rots in de branding. Als we dezelfde review 5x lieten beoordelen, wilden we ook 5x dezelfde score krijgen. Anders zou onze data zo betrouwbaar zijn als een weerbericht voor volgend jaar.

Om dit voor elkaar te krijgen, heb ik een speeltuin gebouwd in Google Sheets. Denk aan een soort AI-pretpark, maar dan zonder achtbanen. Met een API-koppeling naar ChatGPT kon ik elk verschil in de gaten houden. Het was als het bouwen van een precisie-instrument, maar dan met spreadsheets en code.

Eerste poging: "Hé ChatGPT, beoordeel deze review op prijs en betrouwbaarheid." Het resultaat? Zo consistent als een kleuter in een snoepwinkel.

Kijk maar naar deze resultaten:

De afwijking is acceptabel, maar elke review werd op elk criteria beoordeeld. Zo gaf ChatGPT zelfs bij een review met alleen "Prima" als inhoud, scores geeft voor alle categorieën? Dat is natuurlijk zo gek als een deur.

Het effect van specifiekheid

Na urenlang prutsen kwam ik uit op een prompt van 6000 tekens. Gouden regel: wees zo specifiek als een Zwitsers uurwerk. Ik omschreef de rol van ChatGPT, gaf exacte definities voor elk cijfer, en optimaliseerde de omschrijving per categorie tot in den treure. Het resultaat:

We zien dat het model iets meer afwijkt, maar veel kritischer is dan de vorige, en de beoordelingen en cijfers kloppen ook echt met een testbestand dat we zelf ingevuld hebben!

De taalkwestie: Engels vs. Nederlands

Tijdens het perfectioneren van de prompt dropte ChatGPT opeens een bommetje:

In het Engels een betere samenwerking?! 

Natuurlijk moest ik dit checken. Ik vroeg ChatGPT in een andere chat of dit echt zo was. Het antwoord? "Nee hoor, maakt niks uit." Lekker consistent, ChatGPT. Not.

Maar goed, ik had nu een mooie speeltuin om dit zelf te testen. Ik vertaalde mijn zorgvuldig opgebouwde prompt naar het Engels en liet 'm los. De resultaten? Laten we zeggen dat het niet bepaald vuurwerk was:

Prijs was spot-on, maar betrouwbaarheid en service? Die gingen alle kanten op. Het leek wel een dronken dartspeler die probeerde de roos te raken.

Na uren ploeteren met ChatGPT kwam ik tot deze conclusie:

• Korte prompts? Maakt geen drol uit welke taal.

• Lange, ingewikkelde prompts? Engels wint vaak op stabiliteit.

Maar waarom klopte dat niet in mijn test? Mijn theorie: ik had Nederlandse voorbeelden gebruikt om het model te trainen. En laat ChatGPT nou net Nederlandse reviews beoordelen. Het was als een Engelse kok die probeert een perfecte stamppot te maken - het klopt gewoon niet helemaal.

Dit hele experiment leerde me één ding: blijf testen als een bezetene. Want in de wereld van AI is niets zeker, behalve dat alles kan veranderen.

Dan rest nog de vraag:

Tot maandag, multispecialisten! Er ligt een berg AI-nieuws op jullie te wachten die hoger is dan de Kilimanjaro. Zet je schrap!

Mathieu

Wanneer je er klaar voor bent, kan ik je op 4 manieren helpen:

1. Fractional Strategy Director: Samen bouwen we een voorspelbare marketing machine ‘Powered by AI’

2. AI Automations: Schaal jezelf of de effectiviteit van je team! We identificeren de belangrijkste usecases en ik zorg ervoor dat ze geautomatiseerd worden. In een jaar creëren we een 13e maand!

3. Marketing Multispecialist Bootcamp: In drie maanden train ik je marketing team tot echte marketing multispecialisten. Inclusief 3 workshops en 6 opdrachten.

4. AI Workshops: Specifieke AI kennis nodig? Ik maak AI workshops op maat

Meer weten? Je kan gewoon reageren op deze mail.