Onderzoeksopdracht AI Engineer – Content Generatie App voor hbo-/wo-studenten
Dit doe je op een gemiddelde dag
Je ontwikkelt een Content Quality Framework waarmee de kwaliteit van de Content Generatie App structureel gemeten, beoordeeld en verbeterd kan worden. Het framework kent twee scoringsniveaus:
Input-score: hoe goed zijn de brondocumenten in de kennisdatabase (volledig, actueel, consistent)?
Output-score: hoe goed is de gegenereerde content? Een overall content quality score die meerdere metrics combineert
Guardrail metrics: harde grenzen vanuit Responsible AI — een wijziging die de bias-score verslechtert mag niet worden doorgevoerd, ongeacht verbetering op andere metrics
Er zijn al bestaande metrics (taalkwaliteit, template matching, inclusiviteit). Jouw opdracht is om deze te valideren, uit te breiden en samen te brengen in een bruikbaar kwaliteitsoordeel.
De drie knoppen
Om de scores te verbeteren zijn er drie knoppen waaraan gedraaid kan worden. Deze aanpak vormt het vertrekpunt — je valideert kritisch of deze klopt en past het framework aan waar nodig.
1. Validatie & kwaliteit → verbetert de input-score
Brondocumenten in de RAG-database beoordelen op volledigheid, actualiteit en onderlinge consistentie
Verouderde, tegenstrijdige of ontbrekende bronnen identificeren
Semantic coverage: valideren of gegenereerde content het onderwerp volledig behandelt door vergelijking met brondocumenten
Consistentiecontrole: detecteren van tegenstrijdige informatie (prijzen, procedures, termijnen)
Onderzoeken hoe de structuur en inhoud van bronnen de kwaliteit van gegenereerde content beïnvloeden
2. Optimalisatie → verbetert de output-score
Optimalisatie door betere prompts, prompt engineering en prompt chaining
Vergelijken en evalueren van verschillende taalmodellen op kwaliteit, snelheid en kosten
A/B-testen opzetten en uitvoeren om effecten van wijzigingen te meten
Dashboards bouwen die inzicht geven in kwaliteitsverbetering
3. Content Intelligence Loop → verbetert beide scores structureel
De app moet niet alleen content genereren, maar ook leren van wat er gepubliceerd wordt:
Create: content genereren op basis van de kennisdatabase
Measure: meten hoe content presteert op kwaliteitsmetrics
Analyze: prestaties vergelijken met benchmarks en ondermaatse content identificeren
Optimize: inzichten terugvoeren naar prompts, templates en bronnen
Responsible AI als dwingende voorwaarde
Responsible AI is geen aparte pijler, maar een harde randvoorwaarde:
Mens centraal — de redacteur neemt altijd de finale beslissing; AI ondersteunt
Guardrail metrics — bias-detectie op geografische, sociaaleconomische en culturele factoren
Bronherleidbaarheid — elke claim moet herleidbaar zijn naar een brondocument
Je onderzoek
Tijdens je stage werk je aan een onderzoeksvraag. Je kiest een van onderstaande vragen, of formuleert zelf een vraag in overleg met je begeleider:
Welke metrics en scoringsmodellen zijn het meest geschikt om de kwaliteit van AI-gegenereerde overheidscontent betrouwbaar te beoordelen?
Hoe kan de volledigheid en consistentie van brondocumenten in de RAG-database systematisch worden bewaakt en verbeterd?
Wat is het effect van promptoptimalisatie en modelkeuze op de outputkwaliteitsscore, en hoe meet je dat betrouwbaar?
Hoe kan een Content Intelligence Loop structureel worden ingericht zodat de app continu leert van gepubliceerde content?
Hoe presteert AI-gegenereerde content in vergelijking met handmatig geschreven content op de metrics van het Content Quality Framework?
Je wordt aangemoedigd om zelf met aanvullende analyse-ideeën te komen die waardevol zijn voor het team.
Hier ga je aan de slag
We willen een goede werkgever zijn die ervoor zorgt dat alle collega’s zich gezien en gewaardeerd voelen. We koesteren verschillen tussen collega’s, al die verschillen zorgen voor betere resultaten voor onze organisatie én onze stad. We streven daarbij naar een personeelsbestand dat een afspiegeling is van de beroepsbevolking van Amsterdam. Dus wie jij ook bent: bij ons ben je van harte welkom!
Je komt te werken bij Team Data & Analytics, onderdeel van de directie Communicatie. Dit team is verantwoordelijk voor de technische ontwikkeling van de Content Generatie App.
Je werkt samen met:
Data- en analytics specialisten (Team Data & Analytics)
Contentspecialisten en redacteuren (Team Online)
Domeinexperts van specifieke projecten
Dit breng je mee
Je bent een student (3e of 4e jaar hbo of wo) die zich wil ontwikkelen als AI Engineer.
Passende opleidingen zijn bijvoorbeeld:
Applied AI / Artificial Intelligence
Toegepaste Wiskunde & Data Science
Informatica / Software Engineering (AI-richting)
Communication & Multimedia Design (technisch georiënteerd)
Master Applied AI
Daarnaast beschik je over:
Zelfstandigheid, een proactieve houding en assertiviteit
Technische affiniteit met AI, LLM’s en prompt engineering
Analytisch vermogen en nieuwsgierigheid
Ervaring met Python en bereidheid om met LLM-API’s en RAG-systemen te werken
Ervaring met of interesse in A/B-testen en evaluatiemethodieken
Interesse in communicatie en publieke dienstverlening
Goede communicatieve vaardigheden in het Nederlands
Bewustzijn dat gemeentelijke communicatie er is voor alle Amsterdammers
Dit bieden we jou
Als stagiair kom je ons 32-36 uur per week versterken en kun je rekenen op:
Een bruto stagevergoeding van € 225,- tot € 1070,- per maand (o.b.v. 36 uur en afhankelijk van jouw leeftijd). Zie ook
stagevergoeding’.
De begeleiding van jouw stagebegeleider.
(On)gevraagde en altijd goedbedoelde hulp van de collega’s.