Les 5-6-7-8 - slides_merged.pdf

# Data in AI: fundering en kwaliteit Dit onderwerp verkent de fundamentele rol van data als drijvende kracht achter kunstmatige intelligentie (AI), inclusief de verschillende datatypes, hun herkomst, levenscyclus, en de cruciale aspecten van datakwaliteit, bias en misinterpretatie. ### 1.1 Data als brandstof voor AI AI-systemen zijn volledig afhankelijk van data om te functioneren en te leren. Data kan beschouwd worden als de "superkracht" achter AI waarbij de kwaliteit van de data belangrijker is dan de kwantiteit. Het is essentieel te beseffen dat bias zich in de data bevindt en niet in de code van het AI-model zelf. Data wordt vaak vergeleken met het "nieuwe goud", maar vereist zorgvuldig gebruik [3](#page=3). ### 1.2 Soorten data Er bestaan verschillende soorten data die cruciaal zijn voor AI-systemen: * **Gestructureerde data**: Dit omvat data die is georganiseerd in tabellen, zoals in databases (SQL) of spreadsheets (Excel) [6](#page=6). * **Ongestructureerde data**: Dit type data is niet vooraf gedefinieerd in een datamodel en omvat onder andere tekst, beeld, audio en video [6](#page=6). Zowel gestructureerde als ongestructureerde data zijn nodig voor effectieve AI-systemen [6](#page=6). ### 1.3 Waar data vandaan komt Het vinden van data is over het algemeen geen groot probleem, maar het vinden van de *juiste* data kan een uitdaging zijn. Gangbare bronnen van data zijn [7](#page=7): * **Interne bedrijfsdata**: Informatie afkomstig uit systemen zoals CRM (Customer Relationship Management), ERP (Enterprise Resource Planning), verkoopgegevens en HR-data [7](#page=7). * **Open data**: Vrij toegankelijke datasets, vaak aangeboden door overheden, universiteiten en NGO's (bijvoorbeeld data.gov, Statbel, EU open data portal) [7](#page=7). * **Sensordata**: Data verzameld door sensoren, zoals temperatuurmeters, GPS-apparaten, machines en wearables [7](#page=7). * **Gebruikersdata**: Informatie over gebruikersgedrag, zoals klikgedrag, zoekgeschiedenis en interacties binnen applicaties [7](#page=7). * **Aangekochte data**: Data die wordt verkregen van externe partijen, zoals marketing- en advertentiedata [7](#page=7). ### 1.4 De levenscyclus van data Data doorloopt een reeks stappen voordat het waarde kan genereren: 1. **Verzamelen**: Data wordt verkregen via sensoren, formulieren, databases, etc. [8](#page=8). 2. **Opslaan**: Data wordt opgeslagen in systemen zoals de cloud, servers of datalakes [8](#page=8). 3. **Schoonmaken**: Fouten worden verwijderd en ontbrekende waarden worden aangevuld [8](#page=8). 4. **Analyseren**: Patronen, correlaties en trends worden geïdentificeerd [8](#page=8). 5. **Interpreteren**: Betekenis wordt toegekend aan de geanalyseerde data om beslissingen te kunnen nemen [8](#page=8). 6. **Handelen**: De verkregen inzichten worden toegepast in processen of strategieën [8](#page=8). Een AI-model is slechts zo goed als elke stap in deze cyclus [8](#page=8). ### 1.5 Het belang van datakwaliteit De kwaliteit van data heeft een directe impact op de prestaties van AI-modellen. Dit principe wordt vaak samengevat met de uitspraak "Garbage in, garbage out" (GIGO). Slechte data leidt tot een "dom" AI-model [9](#page=9). #### 1.5.1 Gevolgen van slechte data * **Microsoft's Tay AI**: Een chatbot die in 2016 op Twitter-data werd getraind en racistische en seksistische taal leerde [9](#page=9). * **IBM Watson for Oncology**: Dit systeem, ontworpen om kankerbehandelingen te adviseren, vertoonde slechte prestaties buiten de specifieke dataset waarop het was getraind, wat leidde tot gevaarlijke aanbevelingen. Watson werd een expert in de data van het specifieke ziekenhuis (MSK) in plaats van een algemene kanker-expert [10](#page=10). #### 1.5.2 Het Data Kwaliteit Framework Om te beoordelen of data van goede kwaliteit is, kan een framework worden gebruikt dat verschillende dimensies omvat [16](#page=16): * **Nauwkeurigheid**: Zijn de feiten correct?. Bijvoorbeeld, is de gemeten tijd in Canvas accuraat of een meetfout? [16](#page=16). * **Volledigheid**: Ontbreken er waarden in de dataset?. Bijvoorbeeld, als veel studenten geen Canvas-data hebben [17](#page=17). * **Consistentie**: Komen data uit verschillende bronnen overeen?. Bijvoorbeeld, vergelijken van data tussen Wooclap en Canvas [18](#page=18). * **Tijdigheid**: Is de data actueel?. Bijvoorbeeld, hoe om te gaan met data van weken geleden of met late inschrijvingen [19](#page=19). * **Relevantie**: Is de data relevant voor de specifieke vraag of het probleem?. Bijvoorbeeld, is Canvas-tijd relevant voor het meten van begrip . #### 1.5.3 Kosten van slechte datakwaliteit Slechte datakwaliteit kan aanzienlijke financiële gevolgen hebben. Een voorbeeld is Unity Technologies dat in 2022 naar verluidt 110 miljoen dollars verloor door corrupte klantdata in trainingssets voor machine learning, wat leidde tot falende advertentie-targeting en een aanzienlijke daling van het aandeel . ### 1.6 Problemen in de data: Bias en Misinterpretatie Data is niet altijd een objectieve weergave van de werkelijkheid en kan leiden tot misinterpretaties en vooringenomenheid (bias) [12](#page=12). #### 1.6.1 Data ≠ Waarheid Data vertelt een verhaal, maar niet *de* waarheid. Data wordt altijd gefilterd door de manier waarop het wordt verzameld, geïnterpreteerd door de analist, en is vaak incompleet omdat niet alles gemeten kan worden [12](#page=12). #### 1.6.2 Correlatie versus Causaliteit Een belangrijk onderscheid is dat tussen correlatie en causaliteit : * **Correlatie**: Twee gebeurtenissen treden gelijktijdig op, maar de ene veroorzaakt de andere niet noodzakelijk . * **Causaliteit**: De ene gebeurtenis is direct de oorzaak van de andere . Bij het observeren van een correlatie tussen A en B, moeten drie vragen worden gesteld: 1. Kan A → B veroorzaken (causaliteit A als oorzaak)? . 2. Kan B → A veroorzaken (causaliteit B als oorzaak)? . 3. Kan een verborgen variabele C zowel A als B veroorzaken, wat de correlatie verklaart zonder directe causaliteit tussen A en B? . #### 1.6.3 Simpson's Paradox Simpson's Paradox treedt op wanneer een trend die zichtbaar is in subgroepen van data, verdwijnt of zelfs omkeert wanneer de data wordt samengevoegd tot een totale dataset. Het samenvoegen van data kan conclusies op een misleidende manier vervormen . > **Voorbeeld**: Een universiteit wordt beschuldigd van seksisme omdat mannen een hoger toelatingspercentage lijken te hebben. Bij analyse per faculteit blijkt dat de Techniekfaculteit een hoog toelatingspercentage heeft en de Kunstfaculteit een laag percentage. Meer mannen meldden zich aan voor Techniek, terwijl meer vrouwen zich aanmeldden voor Kunst, wat de totale cijfers vertekende . #### 1.6.4 Diverse vormen van bias in data Er zijn meerdere manieren waarop bias kan ontstaan in data: * **Bias in data (algemeen)**: Als data bias bevat, zal het AI-model deze bias "perfect" reproduceren [11](#page=11). > **Voorbeeld**: Amazon's sollicitatie-AI, getraind op historische data, discrimineerde automatisch tegen CV's met het woord "vrouw", omdat de historische data 75% mannelijke werknemers bevatte en 80% van de aangenomen kandidaten mannen waren [11](#page=11). * **Participation Bias**: Treedt op wanneer alleen gemotiveerde individuen deelnemen aan onderzoek of feedback geven, wat kan leiden tot overschatting van engagement of ontevredenheid, afhankelijk van wie deelneemt. Het probleem is dat men niet weet wie er ontbreekt . * **Selection Bias**: Ontstaat wanneer groepen niet vergelijkbaar zijn door verborgen verschillen in hun samenstelling. Dit kan komen door : * **Zelfselectie**: Mensen kiezen zelf hun groep, waardoor groepen al verschillen vóór enige interventie . * **Sampling bias**: De steekproef is niet willekeurig getrokken, waardoor bepaalde groepen over- of ondervertegenwoordigd zijn . * **Survivorship bias**: Alleen de "overlevers" of succesvolle gevallen worden waargenomen, terwijl falende gevallen verdwijnen . * **Measurement Bias**: Ontstaat door de manier waarop data wordt gemeten. Wat we denken te meten (bijv. studietijd) is mogelijk niet hetzelfde als wat daadwerkelijk wordt gemeten (bijv. tijd dat een tabblad openstaat). Vaak wordt een proxy gemeten, wat een indirecte meting is en niet het echte fenomeen . > **Voorbeeld**: Tijd in Canvas meten als proxy voor engagement, terwijl de echte studietijd, offline studie, of frustratie hiermee niets te maken hebben . * **Confirmation Bias**: Dit is de neiging om informatie te zien, interpreteren en herinneren op een manier die eigen overtuigingen bevestigt . * **Biased Search**: Selectief zoeken naar informatie die de eigen mening ondersteunt . * **Biased Interpretation**: Informatie interpreteren op een manier die het eigen gelijk bevestigt . * **Biased Recall**: Informatie herinneren die de eigen overtuigingen versterkt . Sociale media-algoritmes versterken confirmation bias door content te tonen die de gebruiker bevalt, wat leidt tot "echokamers" . > **Tip**: Om confirmation bias te vermijden bij data-analyse, formuleer vooraf wat je verwacht, wat je zou overtuigen van het tegendeel, en bekijk daarna pas de data. Controleer na de analyse je aannames en vraag of je alleen vond wat je verwachtte . * **Outlier Bias**: Extreem afwijkende datapunten (outliers) kunnen de analyse sterk beïnvloeden. Gemiddelden kunnen deze extremen verbergen, terwijl ze juist belangrijk verhaal kunnen vertellen. Outliers kunnen foutief zijn (meetfout) of interessant (echt maar extreem gedrag) . * **Behandeling van outliers**: Het is belangrijk om outliers te rapporteren, visualisere, en te onderzoeken waarom ze afwijken . ### 1.7 De student als datafabriek Individuen genereren continu grote hoeveelheden data door hun dagelijkse activiteiten. Een student is niet alleen leerling, maar ook een product, trainingsdata, profiel en dataset [13](#page=13). > **Voorbeeld**: De verzamelde data van studenten over quizdeelname, opdrachten en Canvas-activiteit vormt een dataset, vaak na anonimisering [14](#page=14). ### 1.8 Checklist voor bias Een nuttige checklist om mogelijke biases te identificeren: * **Wie ontbreekt?**: Zijn er groepen die niet in de data zitten? (Participation bias) . * **Hoe is het gemeten?**: Meten we het echte fenomeen? (Measurement bias) . * **Hoe is het gegroepeerd?**: Kan aggregatie patronen verbergen? (Simpson's Paradox) . * **Wat zoek ik?**: Ben ik op zoek naar bevestiging? (Confirmation bias) . * **Wie heeft de data geselecteerd?**: Zijn groepen vergelijkbaar of is er verborgen selectie? (Selection bias) . * **Wat doen de outliers?**: Verbergen gemiddelden de echte verhalen? (Outlier bias) . --- # Agentic AI en workflow-automatisering Dit thema verkent de evolutie van AI-gebruik van reactief naar proactief door middel van Agentic AI en AI-agents, met de focus op het bouwen van agents, het automatiseren van workflows en de anatomie en best practices voor het ontwikkelen van effectieve AI-agents. ## 1. Evolutie van AI-gebruik De manier waarop we AI gebruiken, evolueert van een puur reactieve modus naar steeds autonomere systemen. Traditioneel waren we als gebruiker gefocust op het geven van instructies via prompts, wat neerkomt op een één-op-één conversatie met de AI. Dit wordt gekenmerkt door reactief gebruik. De volgende stap is het worden van een workflow-ontwerper, waarbij systemen worden ontworpen die zelfstandig handelen en waarbij meerdere AI-agents samenwerken om proactieve automatisering te realiseren [28](#page=28). Deze evolutie kan worden samengevat als: * **LLM:** "Kun je dit voor mij doen?" (reactief) [28](#page=28). * **Agent:** "Ik ontwerp een specialist" (semi-autonoom) [28](#page=28). * **Agentic AI:** "Ik bouw een intelligent systeem" (autonoom) [28](#page=28). * **Workflow:** "Mijn systeem werkt autonoom" (volledig geautomatiseerd) [28](#page=28). ## 2. Wat is Agentic AI? Agentic AI verwijst naar het vermogen van AI-systemen om autonoom te handelen. In tegenstelling tot traditionele AI die alleen reageert op directe input, kan Agentic AI zelfstandig beslissingen nemen en acties ondernemen. Het is geen specifieke tool, maar eerder een eigenschap die een AI-systeem kan bezitten, wat resulteert in een verschuiving van reactief naar proactief gedrag [29](#page=29). ### 2.1 Agentic AI versus AI Agents Het is belangrijk om onderscheid te maken tussen "Agentic AI" en "AI Agent" [29](#page=29): * **AI Agent:** Dit is een **concreet systeem** dat beschreven wordt als een zelfstandig naamwoord. Het is het systeem zelf dat handelt. Een voorbeeld is: "Dit is een customer service agent." [29](#page=29). * **Agentic AI:** Dit is een **eigenschap of concept** dat wordt beschreven als een bijvoeglijk naamwoord. Het beschrijft het gedrag en de capaciteiten van een AI. Een voorbeeld is: "Deze AI heeft agentic eigenschappen." [29](#page=29). ### 2.2 Kenmerken van een "Agentic" AI-systeem Verschillende eigenschappen maken een AI-systeem "agentic" [30](#page=30): * **Externe tools aanroepen:** De mogelijkheid om tools zoals een calculator, database, API, web search, of code execution te gebruiken. Het systeem kan zelf beslissen welke tool het nodig heeft [30](#page=30). * **Geheugen:** Het vermogen om context op te bouwen door eerdere interacties te onthouden en kennis op te doen over de gebruiker of de situatie [30](#page=30). * **Planning (multi-step reasoning):** Het kunnen maken van een plan met opeenvolgende stappen (stap 1 -> stap 2 -> stap 3) en complexe taken opdelen, inclusief het herkennen van afhankelijkheden tussen stappen [30](#page=30). * **Feedback loops:** Het vermogen om eigen resultaten te evalueren en te itereren totdat het gewenste resultaat is bereikt [30](#page=30). Hoe meer van deze eigenschappen een AI-systeem bezit, hoe autonomer de agent wordt [30](#page=30). ### 2.3 Nadelen en overwegingen van meer autonomie Niet elk proces hoeft een autonome agent te zijn. Meer autonomie brengt ook meer risico's met zich mee [30](#page=30): * **Minder voorspelbaar:** Het gedrag van een zeer autonome agent kan moeilijker te voorspellen zijn, wat het "black box"-probleem versterkt [30](#page=30). * **Cascaderende fouten:** Foutjes in een autonome agent kunnen leiden tot grotere problemen met brede effecten [30](#page=30). * **Overafhankelijkheid:** Er bestaat een risico van te veel vertrouwen in geautomatiseerde beslissingen [30](#page=30). * **Versterken van bias:** AI kan bestaande vooroordelen onbedoeld versterken [30](#page=30). * **Verantwoordelijkheid:** Het is onduidelijk wie aansprakelijk is wanneer een autonome agent een fout maakt [30](#page=30). Het is daarom essentieel om continu de vraag te stellen: "Is deze autonomie echt nodig?" [30](#page=30) [44](#page=44). ### 2.4 Voorbeelden van Agentic AI-taken Agentic AI kan worden ingezet voor diverse taken, waaronder [31](#page=31): * **Zelfstandige Onderzoeksagent:** Zoekt, vergelijkt en vat informatie samen, bijvoorbeeld het vinden van artikelen over duurzame energie, vergelijken van standpunten en presenteren van conclusies in een tabel [31](#page=31). * **Persoonlijke Financiële Coach:** Analyseert data (bv. banktransacties via API), categoriseert uitgaven en geeft wekelijks bespaartips [31](#page=31). * **Customer Service Triager:** Beoordeelt inkomende supportmails, bepaalt urgentie en onderwerp, en routeert ze naar de juiste afdeling [31](#page=31). * **HR Onboarding Agent:** Automatiseert personeelsprocessen zoals het versturen van onboarding-documenten, plannen van gesprekken en aanmelden van nieuwe medewerkers [31](#page=31). * **Marketing Campagne Agent:** Plant, test en optimaliseert marketingcampagnes door social posts te genereren, publicaties te plannen en prestaties te analyseren [31](#page=31). * **Onderwijs Tutor Agent:** Past uitleg aan per leerling, geeft gepersonaliseerde oefenopdrachten en volgt de voortgang [31](#page=31). * **Data Cleaning Agent:** Automatiseert dataverwerking door datasets te controleren op dubbele waarden en inconsistenties en genereert een schoon CSV-bestand [31](#page=31). * **Compliance & Audit Agent:** Controleert regels, policies en afwijkingen in contracten, detecteert risico's en genereert samenvattingen per compliance-domein [31](#page=31). ## 3. AI Agents bouwen ### 3.1 Prompten versus AI Agents Er is een significant verschil tussen traditioneel prompten en het werken met AI Agents [32](#page=32): * **Prompten:** * Vereist het continu geven van context [32](#page=32). * Mist toegang tot specifieke bedrijfskennis [32](#page=32). * Kan leiden tot inconsistente antwoorden [32](#page=32). * Noodzaakt het herhalen van dezelfde instructies [32](#page=32). * Is niet schaalbaar voor teams [32](#page=32). * Is te weinig agentic voor consistente business use [32](#page=32). * **AI Agents:** * Zijn voorgeconfigureerde, autonome AI-assistenten [32](#page=32). * Context is ingebouwd (system prompt) [32](#page=32). * Hebben toegang tot documenten en tools [32](#page=32). * Zorgen voor consistent gedrag door vaste instructies [32](#page=32). * Zijn schaalbaar: een heel team kan ermee werken [32](#page=32). * Zijn voldoende agentic voor specifieke taken, maar blijven onder controle [32](#page=32). ### 3.2 Platforms voor het bouwen van AI Agents Veel populaire AI-platforms bieden mogelijkheden om agents te bouwen [33](#page=33): * **OpenAI:** Custom GPTs (vereist ChatGPT Plus) [16](#page=16) [33](#page=33). * **Anthropic:** Claude Projects & Workflows (vereist Claude Pro/Team) [16](#page=16) [33](#page=33). * **Perplexity:** Comet-browser (agentic zoeken) [33](#page=33). * **Mistral AI:** Le Chat Agents (gratis tier beschikbaar) [16](#page=16). * **Google:** Gemini Gems [16](#page=16). De principes voor het bouwen van agents zijn universeel toepasbaar. Het testen van meerdere platforms voor specifieke use cases wordt aangeraden [16](#page=16). ### 3.3 Anatomie van een AI Agent De opbouw van een effectieve AI-agent omvat verschillende componenten [34](#page=34): * **Rol:** Het expertisegebied van de agent [34](#page=34). * **Gedrag:** Formeel of informeel, bronnen vermelden, maximale lengte, emoji's/formatting [34](#page=34). * **Safety:** Bepalen wat de agent nooit mag doen [34](#page=34). * **Output:** De gewenste outputformaten, zoals tabellen, bullet points, of rapporten [34](#page=34). * **Kennis (Knowledge Base):** Statische of dynamische toegang tot documenten, beleid, productinformatie [34](#page=34) [35](#page=35). * **Tools:** Toegang tot web search, code execution, image generation, API's, databases, en bestanden [34](#page=34). ### 3.4 Best practices voor het bouwen van een goede Agent Om een effectieve AI-agent te creëren, gelden de volgende 'DO's' en 'DON'Ts' [34](#page=34): **DO's:** * **Wees specifiek:** Geef duidelijke instructies, zoals "Antwoord in maximaal 3 zinnen" in plaats van "Wees beknopt." [34](#page=34). * **Geef voorbeelden:** Illustreer gewenst gedrag met concrete voorbeelden, zoals "Als een klant vraagt X, antwoord Y." [34](#page=34). * **Definieer grenzen:** Stel duidelijke grenzen aan de functionaliteit van de agent, bijvoorbeeld "Verwijs door bij vragen over [topic." [34](#page=34). * **Specificeer toon:** Definieer de gewenste toon, zoals "Professioneel maar toegankelijk, vermijd jargon." [34](#page=34). * **Output format:** Geef aan welke structuur de output moet hebben, zoals "Gebruik deze structuur: 1. Samenvatting, 2. Details, 3. Actie." [34](#page=34). **DON'Ts:** * **Te vaag zijn:** Vermijd algemene instructies zoals "Wees behulpzaam." [34](#page=34). * **Tegenstrijdige instructies geven:** Zorg dat instructies coherent zijn [34](#page=34). * **Geen safety measures inbouwen:** Cruciaal voor verantwoorde inzet [34](#page=34). * **Te veel autonomie zonder checks:** Vooral bij kritieke taken is controle essentieel [34](#page=34). ### 3.5 Kennisbasis voor AI Agents Een AI-agent zonder kennis is vergelijkbaar met een nieuwe medewerker zonder training. Een goed gestructureerde kennisbasis is cruciaal voor consistentie, actualiteit, specialisatie en schaalbaarheid. Het kan leiden tot kostenreductie doordat er minder training nodig is [35](#page=35). Er zijn twee soorten kennisbenaderingen [36](#page=36): * **Statisch:** * Informatie wordt handmatig toegevoegd, vaak door het uploaden van documenten [36](#page=36). * Niet schaalbaar en tijdrovend in onderhoud [36](#page=36). * Geschikt voor vaste content zoals handleidingen en beleidsdocumenten [36](#page=36). * Minder geschikt voor snel veranderende informatie [36](#page=36). * **Dynamisch:** * Koppeling met databronnen, waardoor de AI-agent continu gesynchroniseerde informatie heeft [36](#page=36). * Schaalbaar en automatisch synchroniserend [36](#page=36). * Geschikt voor teams, kennismanagement en real-time inzichten [36](#page=36). #### 3.5.1 Dynamische Knowledge Base Een dynamische knowledge base dient als centrale plek voor het bewaren, delen en actualiseren van informatie en documenten. Populaire platforms hiervoor zijn [36](#page=36): * **Notion:** Biedt flexibele databanken, notities, wiki's en integraties [36](#page=36). * **OneNote:** Gestructureerde notities binnen Microsoft 365 [36](#page=36). * **Dropbox:** Samenwerken aan documenten met real-time synchronisatie [36](#page=36). * **Google Drive:** Cloudopslag met AI-integratie en toegangsbeheer [36](#page=36). * **GitHub:** Versiebeheer, documentatie en samenwerking aan code en projecten [36](#page=36). Voordelen van een dynamische knowledge base zijn een centrale bron van waarheid, altijd actuele informatie en eenvoudige integratie met AI Agents [36](#page=36). ### 3.6 Het opbouwen van kwalitatieve kennis Voor een effectieve kennisbasis zijn de volgende principes belangrijk [37](#page=37): * **Kwaliteit boven kwantiteit:** Focus op accurate en relevante informatie [37](#page=37). * **Consistente structuur:** Gebruik een logische mappenindeling en duidelijke naamgeving voor documenten [37](#page=37). * **Vaste template voor documenten:** Standaardiseer de opmaak [37](#page=37). * **AI-vriendelijk formaat:** Gebruik koppen en subkoppen, schrijf duidelijk en beknopt, en vermijd complexe tabellen [37](#page=37). ## 4. Workflows automatiseren ### 4.1 Van enkele agent naar orkest Eén AI-agent voert doorgaans één specifieke taak uit. Wanneer meerdere agents en tools samenwerken binnen een gestroomlijnd proces, ontstaat er een **workflow**. Dit resulteert in een intelligent systeem dat complexe processen autonoom kan automatiseren [38](#page=38). ### 4.2 Workflow Automation Workflow automation combineert meerdere agents en tools in een gestroomlijnd proces. Dit biedt aanzienlijke voordelen [38](#page=38): * **Tijdsbesparing:** Repetitieve taken verdwijnen [38](#page=38). * **Consistentie:** Eliminatie van menselijke fouten [38](#page=38). * **Schaalbaarheid:** Workflows blijven werken, ongeacht het volume (bv. 100 of 10.000 tickets) [38](#page=38). * **24/7 beschikbaarheid:** Agents werken continu [38](#page=38). * **Kostenreductie:** Minder handmatig werk [38](#page=38). ### 4.3 De Workflow Lagen Een workflow kan worden opgedeeld in verschillende functionele lagen [39](#page=39): * **Laag 1: Triggers:** Bepaalt wanneer de workflow start. Voorbeelden zijn een nieuwe e-mail, formulierinzending, geplande tijd, of een nieuw bestand in een map [39](#page=39). * **Laag 2: AI Agent Processing:** Analyseert de input en bepaalt de benodigde actie [39](#page=39). * **Laag 3: Decision Logic:** Bevat de logica voor besluitvorming, zoals if/then regels of routing op basis van de output van de AI agent [39](#page=39). * **Laag 4: Actions:** De daadwerkelijke uitvoer van taken, zoals het versturen van een e-mail, het creëren van een ticket, of het updaten van een database [39](#page=39). * **Laag 5: Monitoring:** Zorgt voor het bijhouden van de workflow's status, inclusief logs, alerts en dashboards [39](#page=39). ### 4.4 Mogelijke uitdagingen bij workflow automation Bij het implementeren van workflow automation kunnen diverse uitdagingen optreden [39](#page=39): * **Integratie met bestaande systemen:** Vooral met legacy systemen kan integratie complex zijn [39](#page=39). * **Datakwaliteit en beschikbaarheid:** Onvolledige of inconsistente data vormen een risico voor de betrouwbaarheid van de workflow [39](#page=39). * **Veranderingsmanagement:** Teams moeten begeleid en opgeleid worden om effectief met de geautomatiseerde processen te werken [39](#page=39). * **Governance:** Beveiliging, naleving van regelgeving, en risicobeheer moeten adequaat worden gewaarborgd [39](#page=39). ### 4.5 Workflow Automation Tools Er zijn diverse tools beschikbaar voor het bouwen van workflows [40](#page=40): * **Zapier:** Een van de meest bekende tools met meer dan 7000 app-integraties en een visuele workflow builder. Biedt een gratis tier met 100 taken per maand [40](#page=40). * **Make.com (voorheen Integromat):** Biedt krachtigere logica dan Zapier en beschikt over ingebouwde AI agents. De gratis tier omvat 1000 operations per maand [40](#page=40). * **n8n (Open Source):** Volledig zelf te hosten, wat resulteert in geen limieten, maar vereist meer technische kennis en flexibiliteit [40](#page=40). * **Zelf scripten in Python:** Voor maximale controle en flexibiliteit wanneer geen afhankelijkheid van externe tools gewenst is [40](#page=40). #### 4.5.1 Make.com Componenten en Terminologie Make.com structureert workflows met de volgende elementen [40](#page=40) [41](#page=41): * **Scenarios:** Geautomatiseerde workflows die via een drag-and-drop interface worden gebouwd en beheerd [41](#page=41). * **Modules:** Individuele stappen binnen een scenario, die apps of acties vertegenwoordigen. Elk icoon in de builder is een module. Een module ontvangt input, voert verwerking uit en genereert output [40](#page=40) [41](#page=41). * **Bundles:** Datapakketten die door de workflow stromen. Elke module produceert een bundle, die als input dient voor de volgende module. Data wordt vaak opgeslagen in een JSON-structuur [40](#page=40). * **Operations:** Het aantal keren dat een module wordt uitgevoerd. Dit telt mee voor de limiet van het abonnement, waarbij 1 executie gelijk staat aan 1 operation. Monitoring van operations is belangrijk voor kostenbeheer [40](#page=40). **Belangrijke secties in Make.com:** [41](#page=41). * **Org:** Overzicht van de organisatie en werkruimtes [41](#page=41). * **Scenarios:** Beheer van automatiseringen [41](#page=41). * **AI Agents (Beta):** Mogelijkheid om AI-gedreven automatiseringen te maken en te beheren [41](#page=41). * **Connections:** Beheer van API- en appverbindingen [41](#page=41). * **Webhooks:** Ontvangen van data van externe bronnen [41](#page=41). * **Templates:** Starten met vooraf gemaakte scenario's [41](#page=41). * **Data stores:** Opslaan van gegevens binnen Make [41](#page=41). * **Keys:** Beheer van API-sleutels [41](#page=41). * **Devices:** Koppelen van apparaten aan Make [41](#page=41). * **Data structures:** Definieren van eigen datastructuren [41](#page=41). * **Custom Apps:** Bouwen van aangepaste integraties [41](#page=41). ### 4.6 Het bouwen van een workflow: Documenten analyse voorbeeld Een voorbeeld van een workflow is de automatische analyse van documenten [32](#page=32) [41](#page=41): 1. **Dropbox - Watch Files:** Detecteert nieuwe bestanden in een specifieke Dropbox-map [33](#page=33). 2. **Dropbox - Download a File:** Download het nieuw toegevoegde bestand [33](#page=33). 3. **PDF.co - Convert from PDF:** Converteert de PDF naar tekst of een JSON-structuur [33](#page=33). 4. **Make AI Agents - Run an Agent:** Laat een AI-agent de inhoud analyseren of samenvatten [33](#page=33). 5. **JSON - Parse JSON:** Zet de AI-output om naar bruikbare data [33](#page=33). 6. **Google Sheets - Add a Row:** Voegt de verwerkte informatie toe aan een spreadsheet [33](#page=33). #### 4.6.1 Workflow besturingselementen Bij het bouwen van een workflow in Make.com zijn diverse besturingselementen beschikbaar [34](#page=34): * **Run once:** Voer het scenario één keer uit voor testen [34](#page=34). * **Every 15 minutes:** Automatische geplande uitvoering [34](#page=34). * **Save:** Sla wijzigingen op [34](#page=34). * **Run:** Start het scenario handmatig [34](#page=34). * **Settings:** Configureer scenario-opties zoals foutmeldingen en logging [34](#page=34). * **… (Menu):** Export/Import van workflows in JSON-formaat [34](#page=34). ### 4.7 Data doorgeven in Workflows Computers moeten data opslaan en uitwisselen, waarvoor dataformaten essentieel zijn [43](#page=43). * **Bekende formaten:** `.txt` (platte tekst), `.csv` (tabellen), `.json` (gestructureerde data voor AI en software) [43](#page=43). * **Consistente formaten:** Zorgen voor betrouwbare communicatie tussen systemen [43](#page=43). #### 4.7.1 JSON als universele taal **JSON (JavaScript Object Notation)** is de universele taal in de computerwereld [43](#page=43): * Het is tekstgebaseerd, leesbaar en gestructureerd [43](#page=43). * Het maakt gebruik van sleutel-waarde-paren (key-value pairs) [43](#page=43). Voorbeeld van een JSON-object: ```json { "titel": "AI for Business – Les 6", "auteur": "Boonen, E.", "jaar": 2025 } ``` [43](#page=43). ### 4.8 Waarom is een workflow "agentic"? De workflow analyse van documenten is "agentic" vanwege de volgende kenmerken [44](#page=44): * **Autonome trigger:** Reageert automatisch op nieuwe bestanden zonder menselijke tussenkomst [44](#page=44). * **Multi-step reasoning:** Het proces verloopt via meerdere stappen (PDF naar tekst, analyse, structuur, opslag) [44](#page=44). * **Decision making:** De AI-agent analyseert en structureert de data zelfstandig [44](#page=44). * **Tool use:** Er worden verschillende tools (PDF.co, Google Sheets) gebruikt om het doel te bereiken [44](#page=44). * **Continuous loop:** De workflow kan oneindig nieuwe documenten blijven verwerken [44](#page=44). ### 4.9 Risico's en Mitigatie bij Agentic AI en Workflows Net als bij autonome agents, brengt workflow automation risico's met zich mee die beheerd moeten worden [44](#page=44): * **Black box probleem:** Het kan moeilijk zijn om te begrijpen waarom bepaalde beslissingen zijn genomen [44](#page=44). * **Mitigatie:** Log alle stappen en begrijp het besluitvormingspad (decision pathway) [44](#page=44). * **Cascade fouten:** Eén fout kan het hele systeem beïnvloeden [44](#page=44). * **Mitigatie:** Definieer helder wat de agent nooit mag doen [44](#page=44). * **Overafhankelijkheid:** Te veel vertrouwen in geautomatiseerde beslissingen [44](#page=44). * **Mitigatie:** Overweeg altijd of een simpele prompt volstaat in plaats van een agentic oplossing [44](#page=44). * **Bias versterker:** AI kan vooroordelen versterken [44](#page=44). * **Mitigatie:** Voer een risico/batenanalyse uit en weeg voordelen tegen risico's af [44](#page=44). * **Verantwoordelijkheid:** Wie is aansprakelijk bij fouten [44](#page=44)? * **Mitigatie:** Start conservatief met beperkte autonomie [44](#page=44). De kernvraag blijft: "Is autonomie echt nodig?" [44](#page=44). ## 5. Conclusie: Wat neem je mee? * Jij bent niet langer alleen gebruiker, maar ontwerper van intelligente systemen [45](#page=45). * Agentic AI gaat over autonome systemen, niet alleen over slimme chatbots [45](#page=45). * De kracht ligt in het orkestreren van agents en tools in workflows [45](#page=45). * Met grote autonomie komt grote verantwoordelijkheid. Ethiek en risicobeheer zijn cruciaal [45](#page=45). --- # AI-integratie en strategie Dit onderwerp behandelt de structurele en doordachte opname van AI in organisaties, inclusief de verschillende integratieniveaus, succesfactoren, business cases en impactmeting. ### 3.1 Wat is AI-integratie? AI-integratie gaat verder dan het simpelweg gebruiken van een tool; het houdt in dat AI-technologie structureel en doordacht wordt opgenomen in de organisatie. Dit is fundamenteel anders dan adoptie (experimenteren) of automatisering (taken overnemen), en richt zich op organisatietransformatie ("anders werken") [48](#page=48) [49](#page=49). #### 3.1.1 Niveaus van AI-integratie Er worden drie niveaus van integratie onderscheiden, oplopend in complexiteit en impact [49](#page=49): * **Niveau 1: AI voor jezelf** * **Kenmerken:** Gericht op individuele taken en persoonlijke efficiëntie. Heeft een lage drempel om te starten en levert snelle resultaten, maar met beperkte organisatorische impact [49](#page=49). * **Risico's:** Gedeelde kennis kan ontbreken, werkwijzen kunnen inconsistent zijn, en privacy/security zijn mogelijk niet gegarandeerd [49](#page=49). * **Voorbeeld:** Het gebruik van Grammarly om persoonlijke schrijfkwaliteit te verhogen, wat leidt tot tijdsbesparing voor de individuele gebruiker [50](#page=50). * **Niveau 2: AI voor het team** * **Kenmerken:** Integratie in gedeelde processen met gezamenlijke verantwoordelijkheid. De focus ligt op procesverbetering en vereist afstemming en training binnen het team [50](#page=50). * **Succesfactoren:** Duidelijke afspraken, teambrede training en feedbackloops [50](#page=50). * **Voorbeeld:** Een AI-ondersteuning voor handelsofficieren die relevante voorbeelden suggereert, wat leidt tot tijdsbesparing en betere kwaliteit per case [51](#page=51). * **Niveau 3: AI voor de organisatie** * **Kenmerken:** Richt zich op strategische transformatie met een AI-first strategie, een data-gedreven cultuur en continue innovatie. AI beïnvloedt strategische keuzes [51](#page=51). * **Vereisten:** Leiderschapscommitment, datavolwassenheid, AI-competenties en ethische frameworks [51](#page=51). * **Voorbeeld:** Een retailer die AI toepast voor voorraadbeheer, prijsstelling en kassasystemen om verspilling te verminderen, de omzet te verhogen en de duurzaamheid te verbeteren [52](#page=52). > **Tip:** Adoptie is geen integratie; adoptie is een kostenpost, terwijl integratie een investering is [52](#page=52). #### 3.1.2 Waarom AI-projecten falen Een groot deel van de AI-projecten mislukt, met harde cijfers die variëren van 70-95% falen en 85% die hun doelen niet halen. Oorzaken zijn onder andere [53](#page=53): * Bedrijfsdoelen die niet aansluiten bij AI-mogelijkheden [53](#page=53). * Gebrek aan aandacht voor verandering en training [53](#page=53). * Onduidelijke leiding [53](#page=53). * Het "Big Bang" anti-patroon: een directe, organisatiebrede implementatie zonder ruimte voor leren en bijsturen [60](#page=60). Meest gemaakte fouten omvatten het beginnen met data in plaats van het probleem, vage doelen, het onderschatten van AI-expertise en het behandelen van AI als standaard software. In België blijven veel projecten steken in de testfase (44%) door een tekort aan technische AI-skills (35%) en cognitieve vaardigheden (39%) [61](#page=61). ### 3.2 De 4 pijlers voor een succesvolle AI-integratie Succesvolle AI-integratie rust op vier cruciale pijlers [54](#page=54): 1. **Data – De brandstof:** * **Principe:** "Garbage in, garbage out". De kwaliteit van de data is essentieel [54](#page=54). * **Data quality checklist:** * Nauwkeurig (geen onmogelijke waarden) [54](#page=54). * Volledig (geen ontbrekende data) [54](#page=54). * Consistent (bronnen kloppen) [54](#page=54). * Tijdig (actueel genoeg) [54](#page=54). * Relevant (past bij de vraag) [54](#page=54). * **Actie:** Verbeter eerst de datakwaliteit voordat AI wordt ingezet [54](#page=54). 2. **Cultuur – De mindset:** * **Ondersteunende cultuur:** Stimuleert experimenteren ("Probeer het uit en deel wat je leert"), ziet fouten als leermomenten en bevordert open discussie over AI [55](#page=55). * **Blokkerende cultuur:** Kenmerkt zich door weerstand ("Dat hebben we altijd zo gedaan"), angst voor verandering en gebrek aan experimenteerruimte [55](#page=55). * **Impact:** Zelfs de beste AI-tool faalt in een angstige cultuur [55](#page=55). 3. **Opleiding – De skills:** * **Technische skills:** Omvat AI-basis, toolvaardigheid en data literacy [55](#page=55). * **Soft skills:** Belangrijk zijn kritisch denken (output controleren), creativiteit (nieuwe toepassingen) en aanpassingsvermogen (blijven leren) [55](#page=55). * **Noot:** Training is geen eenmalige gebeurtenis maar vereist continue bijscholing vanwege de snelle ontwikkelingen in AI [55](#page=55). 4. **Iteratie – Het proces:** * **Essentie:** AI-projecten zijn complex en onvoorspelbaar, wat experimenteren, meten en aanpassen noodzakelijk maakt [56](#page=56). * **Iteratief proces:** * Piloot (klein experiment) [56](#page=56). * Meten (resultaten analyseren) [56](#page=56). * Leren (waarom wel/niet?) [56](#page=56). * Aanpassen (verbeteren) [56](#page=56). * Schalen (uitrollen) [56](#page=56). ### 3.3 Jouw AI-kansen! AI-integratie begint niet bij de technologie, maar bij het begrijpen van je eigen werk. Elke job is een verzameling van rollen en taken, en AI moet worden geïntegreerd in specifieke taken binnen die rollen [57](#page=57). #### 3.3.1 De 3 A's van AI in je rol Niet alles moet worden geautomatiseerd; de toegevoegde waarde zit in het slim toepassen van AI [58](#page=58): * **Automatisering:** AI neemt taken volledig over (bv. data-entry, standaardantwoorden). "AI doet het repetitieve, jij bewaakt de kwaliteit." [58](#page=58). * **Augmentatie:** AI ondersteunt bij taken (bv. onderzoek, analyse, brainstormen). "AI denkt mee, maar jij beslist." [58](#page=58). * **Authenticiteit:** Blijft menselijk werk (bv. ethiek, visie, relaties). "AI helpt je wel sneller werken, maar jij maakt het betekenisvol." [58](#page=58). #### 3.3.2 Kerntaken versus Frustraties Een analyse van je rol, met name gericht op frustraties (waar het wringt), kan de grootste AI-kansen onthullen [58](#page=58). #### 3.3.3 Impact-Haalbaarheid matrix AI-kansen kunnen worden geplot op basis van hun impact (wat levert het op?) en haalbaarheid (kun je het vandaag al doen?) [59](#page=59): * **Quick wins:** Laag risico, snel resultaat. Ideaal om mee te beginnen (bv. meeting-samenvattingen, AI-hulp bij rapporten) [59](#page=59). * **Strategische projecten:** Grote ideeën met veel potentieel, maar vereisen meer voorbereiding (bv. klantprofielen met AI, voorspellende analyse) [59](#page=59). * **Leuke extra's:** Handige tools voor leren of experimenteren, maar zonder grote impact (bv. templates, AI-suggesties) [59](#page=59). * **Tijdverspillers:** Te vermijden, kost meer dan het oplevert (bv. overbodige AI-functies) [59](#page=59). ### 3.4 Succesvol implementeren Het succesvol implementeren van AI vereist een strategische aanpak die verder gaat dan simpele technologie-implementatie. #### 3.4.1 Proces analyse en mapping Voordat AI wordt ingezet, is het cruciaal om processen grondig te begrijpen. Dit omvat [66](#page=66): * Het doel van het proces vaststellen [66](#page=66). * Stakeholders identificeren [66](#page=66). * Pijnpunten (waar het fout gaat) opsporen [66](#page=66). * De business impact van de huidige situatie kwantificeren [66](#page=66). **Proces mapping**, vaak met een swimlane diagram, brengt de huidige werking visueel in kaart. Dit helpt bij het identificeren van bottlenecks, inefficiënties, en dataflows, en vormt de basis voor verbeteringen. Een checklist voor swimlanes zorgt voor duidelijkheid over eigenaren, stappen, handoffs, wachttijden, en bottlenecks [67](#page=67) [68](#page=68). #### 3.4.2 De AI Business Case Een business case is een onderbouwd voorstel dat aantoont waarom een AI-initiatief de moeite waard is. Zonder een duidelijke business case blijven AI-ideeën vaak wensen. Het **AI Business Case Canvas** biedt een gestructureerd kader [70](#page=70) [71](#page=71): 1. **Probleem:** Wat gaat er mis? Dit moet specifiek, meetbaar en gekwantificeerd zijn in termen van tijd, geld en kwaliteit [72](#page=72). 2. **Oplossing:** Hoe gaat AI dit oplossen? Specificeer de tool/technologie, de werking in de praktijk, en de scope [73](#page=73). 3. **Kosten:** Wees realistisch en conservatief, inclusief verborgen kosten zoals interne uren, en plan een buffer van 10-15% voor onvoorziene uitgaven [73](#page=73). 4. **Baten:** Kwantificeer de opbrengsten in euro's en kwaliteit, zoals tijdsbesparing, kwaliteitsverbetering, omzetimpact, en medewerkerstevredenheid [74](#page=74). 5. **Risico's:** Identificeer technische, organisatorische en ethische risico's en plan mitigatiemaatregelen [74](#page=74). 6. **Implementatie:** Stel een concreet stappenplan op met duidelijke eigenaren en check-ins [75](#page=75). #### 3.4.3 De Productiviteit Paradox Technologie, inclusief AI, moet als een tool worden gebruikt, niet als een baas. De paradox is dat investeringen in AI niet altijd leiden tot een stijging in productiviteit, en soms zelfs tot een daling. Oorzaken zijn onder andere [78](#page=78) [79](#page=79): * AI die niet past in bestaande workflows [78](#page=78). * Weerstand tegen verandering [78](#page=78). * Te veel vertrouwen in AI, wat leidt tot fouten [78](#page=78). * Verborgen kosten (training, support, aanpassingen) [78](#page=78). AI voor routine kan tijd vrijmaken voor menselijk contact en betekenisvoller werk, waardoor de druk afneemt [79](#page=79). #### 3.4.4 AI-impact meten AI-impact moet in zes dimensies worden gemeten, bij voorkeur al voordat de implementatie start [80](#page=80): * **Efficiëntie:** Tijdsbesparing (uren/week), gemeten via tijdregistratie of systeemlogs [80](#page=80). * **Kwaliteit:** Minder fouten, hogere precisie, gemeten via foutpercentages, nauwkeurigheid of klanttevredenheid [81](#page=81). * **Kosten:** Directe besparingen op materiaal, licenties, etc., gevolgd via kostenanalyse of budgettracking [81](#page=81). * **Medewerkerstevredenheid:** Betere prestaties door gelukkigere medewerkers, gemeten via surveys, turnover rates of ziektedagen [82](#page=82). * **Klantwaarde:** Betere ervaring en hogere loyaliteit, gemeten via NPS, tevredenheidsscores of churn rate [82](#page=82). * **Innovatie:** Meer ruimte voor strategisch werk en minder "brandjes blussen", gemeten via tijdsbesteding analyse of projectportfolio [83](#page=83). > **Tip:** Begin met het probleem, niet met de technologie. Meet alles, betrek mensen, denk in business cases en voorkom de productiviteitsparadox door AI voor richting te gebruiken, niet alleen voor snelheid [83](#page=83). --- ## Veelgemaakte fouten om te vermijden - Bestudeer alle onderwerpen grondig voor examens - Let op formules en belangrijke definities - Oefen met de voorbeelden in elke sectie - Memoriseer niet zonder de onderliggende concepten te begrijpen

| Term | Definition | |------|------------| | Gestructureerde data | Data die is georganiseerd in een gedefinieerd formaat, zoals tabellen in databases of spreadsheets, waardoor het gemakkelijk te doorzoeken en analyseren is. | | Ongestructureerde data | Data die geen vooraf gedefinieerd formaat heeft, zoals tekst, afbeeldingen, audio en video, wat de analyse complexer maakt. | | Levenscyclus van data | Het volledige traject dat data doorloopt, van het verzamelen en opslaan tot het analyseren, interpreteren en uiteindelijk gebruiken ervan. | | Garbage in, garbage out (GIGO) | Een principe dat aangeeft dat de kwaliteit van de output van een systeem afhankelijk is van de kwaliteit van de input; slechte data leidt tot slechte resultaten. | | Bias in data | Systematische fouten of vertekeningen in data die kunnen leiden tot oneerlijke of onjuiste resultaten wanneer deze worden gebruikt om AI-modellen te trainen. | | Correlatie | Een statistische relatie tussen twee of meer variabelen waarbij veranderingen in de ene variabele gepaard gaan met veranderingen in de andere, maar zonder noodzakelijkerwijs een oorzakelijk verband aan te tonen. | | Causaliteit | Het principe dat één gebeurtenis of factor direct een andere gebeurtenis of factor veroorzaakt; er is een oorzaak-gevolg relatie. | | Simpson's Paradox | Een fenomeen waarbij een trend die zichtbaar is in verschillende groepen data, verdwijnt of omkeert wanneer deze groepen worden samengevoegd tot een totale dataset. | | Participation Bias | Een vertekening die optreedt wanneer alleen een specifieke, gemotiveerde subgroep van de populatie deelneemt aan onderzoek of dataverzameling, wat leidt tot overschatting van bepaalde kenmerken. | | Selection Bias | Een vertekening die ontstaat wanneer de manier waarop data of deelnemers worden geselecteerd ervoor zorgt dat bepaalde groepen onevenredig worden over- of ondervertegenwoordigd, waardoor de resultaten niet representatief zijn. | | Measurement Bias | Een vertekening die voortkomt uit de manier waarop variabelen worden gemeten, wat leidt tot systematische fouten of onnauwkeurigheden in de verzamelde data. | | Confirmation Bias | De neiging om informatie te zoeken, interpreteren en te onthouden op een manier die de eigen bestaande overtuigingen of hypothesen bevestigt. | | Outlier Bias | Een vertekening die optreedt wanneer extreme waarden (outliers) in een dataset onevenredig veel invloed hebben op de analyse of wanneer ze verkeerd worden geïnterpreteerd. | | AI Agent | Een autonoom systeem dat is ontworpen om taken uit te voeren, beslissingen te nemen en te interageren met zijn omgeving, vaak gebruikmakend van externe tools en geheugen. | | Agentic AI | De eigenschap of het concept van AI-systemen die in staat zijn om autonoom te handelen, te plannen en beslissingen te nemen zonder directe menselijke tussenkomst voor elke actie. | | Workflow automation | Het proces van het stroomlijnen en automatiseren van een reeks taken of processen met behulp van technologie, vaak door AI-agents en verschillende tools te laten samenwerken. | | Data Governance | Het overkoepelende beheer van de beschikbaarheid, bruikbaarheid, integriteit en beveiliging van de data die in een organisatie wordt gebruikt, inclusief het vaststellen van beleid en procedures. | | AI Business Case | Een gedocumenteerd voorstel dat de rationale en verwachte voordelen van het implementeren van AI onderbouwt, inclusief kosten, baten en risico's, om investeringsbeslissingen te ondersteunen. | | Productiviteitsparadox | Het fenomeen waarbij investeringen in technologie, zoals AI, niet altijd leiden tot de verwachte stijging in productiviteit, soms zelfs tot een daling. | | Return On Investment (ROI) | Een financiële maatstaf die wordt gebruikt om de winstgevendheid van een investering te evalueren door de opbrengsten te vergelijken met de kosten. | | JSON (JavaScript Object Notation) | Een lichtgewicht data-uitwisselingsformaat dat gemakkelijk te lezen en te schrijven is voor mensen en eenvoudig te parsen en genereren is voor machines, veel gebruikt in software en API's. |