AI Act uitgelegd

AI Act uitgelegd

De AI Act stelt regels voor alle autonoom handelende computersystemen en algoritmes die beslissingen nemen, content genereren of mensen assisteren. Het doel van de AI Act is dat mensen en bedrijven in de EU kunnen rekenen op veilige, transparante, traceerbare, niet-discriminerende en milieuvriendelijke AI-systemen die onder toezicht staan van mensen. Alle inzet van AI (oftewel: autonoom werkende computers en algoritmes) valt onder de AI Act.

Wat betekent de AI Act voor jou?

De verordening volgt een risicogebaseerde benadering en stelt verplichtingen voor aanbieders en gebruikers afhankelijk van het risiconiveau dat een AI-systeem met zich meebrengt. Een paar belangrijke kenmerken:

• De AI Act maakt onderscheid tussen hoog en laag risico. Strenge regels gelden voor hoog risico toepassingen, zoals bij toepassing bij veiligheid of bij selectieprocessen zoals recruitment.

• Niet alleen ontwikkelaars maar ook gebruikers van AI vallen onder de verordening. Iedereen die gebruik maakt van AI zal moeten kunnen aantonen dat deze aan de regels voldoet. De eisen vanuit de AI Act zijn wel strenger voor ontwikkelaars.

• De AI Act is van toepassing op alle sectoren, waaronder de financiële sector. Het gaat net als bij de AVG dus om horizontale wetgeving die over de sectoren heen voor alle bedrijven geldt. Tegelijk zal de uitwerking van de regels sectorspecifiek zijn en is het toezicht belegd bij de nationale toezichthouder van de betreffende sector. Voor de financiële dienstverlening is dat de AFM.

• Voor ondernemingen die AI toepassingen ontwikkelen komt er de mogelijkheid om te toetsen of wordt voldaan aan de nieuwe regels. Nederland richt daarvoor net als in andere landen een zogenaamde regulatory sandbox. Dit moet nog verder worden uitgewerkt en ook de nadere regels en standaarden moeten nog vorm krijgen.

Welke risico classificaties kent de AI Act?

De AI act kent verschillende risico-classificaties en AI toepassingen moeten op basis daarvan worden ingedeeld. Afhankelijk van de classificatie gelden verplichtingen:

• Onaanvaardbaar risico (verboden). AI-systemen voor bijvoorbeeld schadelijke manipulatie, onterechte social scoring en emotieherkenning op het werk hebben een onaanvaardbaar risico en zullen worden verboden. 

• Hoog risico (strenge eisen). Er is een lijst met toepassingen die worden beschouwd als risicovol voor fundamentele rechten, veiligheid en gezondheid. Deze toepassingen moeten aan strenge eisen voldoen.

• Beperkt risico (specifieke transparantie verplichtingen). De makers van AI-systemen die content genereren, zoals ChatGPT, moeten dit markeren als gegenereerd of gemanipuleerd, en deepfakes moeten als zodanig bekend worden gemaakt. Ook bij de inzet van bijvoorbeeld chatbots moet duidelijk worden dat je met AI te maken hebt.

• Minimaal risico (geen aparte eisen). Er zijn veel AI-systemen die niet worden gereguleerd. Bij AI die niet in een van de bovenstaande categorieën valt gelden er geen eisen omdat de risico’s laag of nihil zijn. Ontwikkelaars of organisaties kunnen wel vrijwillige gedragscodes opstellen en naleven. Voorbeelden hiervan zijn AI in videogames of spamfilters. 

Welke specifieke verplichtingen gelden voor toepassingen met een hoog risico classificatie?

In de AI Act zijn twee toepassingen in de financiële sector in de lijst (annex iii) opgenomen als hoog risico waarvoor een stringent regelkader geldt: 

• AI systemen die gebruikt worden voor bepaling van kredietwaardigheid van natuurlijke personen

• Voor AI systemen die gebruikt worden voor risicobeoordeling en prijsstelling in het kader van levensverzekeringen en ziektekostenverzekeringen.

Deze toepassingen zijn onderworpen aan strenge verplichtingen voordat zij in de handel kunnen worden gebracht:

• adequate risicobeoordelings- en mitigatiesystemen

• hoge kwaliteit van de datasets die het systeem voeden om risico's en discriminerende resultaten tot een minimum te beperken

• logboekregistratie van activiteiten om de traceerbaarheid van de resultaten te waarborgen

• gedetailleerde documentatie met alle informatie die de autoriteiten nodig hebben over het systeem en het doel ervan om de naleving ervan te beoordelen

• duidelijke en adequate informatie voor de exploitant

• passende maatregelen voor menselijk toezicht om het risico tot een minimum te beperken

• hoge mate van robuustheid, veiligheid en nauwkeurigheid

Hoe kunnen ondernemingen zich voorbereiden op de implementatie van de AI-Act?

Aandachtspunten voor ontwikkelaars van AI systemen:

• Op basis van het beoogde gebruik beoordelen in welke risico-categorie het AI systeem valt.

• Beoordeel of het AI systeem voldoet aan de vereisten van die risico-categorie (hoog/laag)

• In geval van een hoog-risico AI systeem is, voorbereidingen treffen zodat het compliant is met de vereisten die de AI-Act stelt.

• Wanneer onduidelijk is hoe de AI-Act uitgelegd moet worden voor jouw AI systeem (of een bepaald aspect daarvan) is het mogelijk om gebruik te maken van een regulatory sandbox. Dit moet voor Nederland nog verder worden uitgewerkt door de toezichthouder (AFM/DNB)

Aandachtspunten voor afnemers/gebruikers van AI systemen

• Inventariseer welke AI systemen je organisatie gebruikt; vraag leveranciers van software of er AI is verwerkt in de software.

• Beoordeel vervolgens of AI systemen worden gebruikt die in de verboden of hoog-risico categorie vallen; vraag zo nodig je leverancier van software om verklaringen/garanties dat er geen verboden en/of hoog-risico AI systemen worden ingezet.

• Wanneer je gebruik maakt van een verboden AI systeem, faseer dit uit. Ga op zoek naar alternatieven en beëindig het gebruik van dit AI systeem.

• Wanneer je gebruik maakt van een hoog-risico AI systeem, beoordelen of het AI systeem aan de vereisten voldoet. Daar waar het AI systeem niet aan een vereiste voldoet, zet je een traject in gang om ervoor te zorgen dat het AI systeem aan de vereisten gaat voldoen. Leg deze verplichting zo mogelijk bij de leverancier van het AI systeem.

• Pas je inkoopvoorwaarden aan. Zorg dat een leverancier van hardware/software transparant is over de AI systemen die het wil gaan leveren en de risico-categorie waar het AI systeem in valt. Waarborg ook dat het AI systeem aan de vereisten blijft voldoen. De leverancier zou dit gedurende het gehele gebruik van het AI systeem moeten monitoren (post-market surveillance) en het AI systeem zo nodig aanpassen.

Verplichte AI-kennis voor gebruikers AI systemen 

De AI Act stelt dat niet alleen aanbieders maar ook gebruikers van AI-systemen maatregelen moeten nemen om te zorgen voor een voldoende niveau van AI-geletterdheid bij hun personeel. Dit geldt ook voor financieel advieskantoren die AI gebruiken in hun adviespraktijk.

Onder AI-geletterdheid vallen de vaardigheden, kennis en het begrip die nodig zijn voor een verantwoorde implementatie en het gebruik van AI-systemen. Dit betekent dat gebruikers zich bewust moeten zijn van de kansen, risico's en mogelijke schade die AI-systemen kunnen veroorzaken.

Wie moet voldoen aan AI-geletterdheid?

Binnen een financieel advieskantoor geldt de verplichting van AI-geletterdheid voor alle medewerkers die betrokken zijn bij de ontwikkeling, implementatie, het beheer of het gebruik van AI-systemen.

Het is belangrijk om AI-geletterdheid af te stemmen op de specifieke context van jouw organisatie en de rollen van de individuele medewerkers. De vereiste kennis en vaardigheden variëren afhankelijk van de rol en verantwoordelijkheden.

De mate van AI-geletterdheid die nodig is, hangt sterk af van hoe AI wordt gebruikt binnen het kantoor. Als AI alleen wordt gebruikt als zoekmachine, is de vereiste geletterdheid minimaal. In dat geval is het bijvoorbeeld wel goed dat mensen zich bewust zijn van de risico’s als persoonsgegevens worden gebruikt in AI, maar is een uitgebreid plan van aanpak om de AI-geletterdheid te borgen wat “over the top”.

Als er geavanceerde adviessoftware wordt gebruikt die op AI gebaseerd is, is een diepgaandere kennis van AI-technologieën en ethische implicaties noodzakelijk. Denk bijvoorbeeld aan het gebruik van hypotheekadviessoftware die op basis van AI een uitgebreid hypotheekadvies genereert.

Aan de slag met AI-geletterdheid

De Autoriteit Persoonsgegevens heeft een handig stappenplan gemaakt om aan de slag te gaan met AI-geletterdheid. Dit stappenplan is op deze internetpagina te downloaden.

Daarnaast zijn er diverse cursussen en trainingen beschikbaar om de AI-geletterdheid te vergroten. Een voorbeeld hiervan is de gratis nationale AI-cursus: https://www.tech-cursus.nl/app/1-de-nationale-ai-cursus/home. Deze cursus in acht onderdelen geeft een aardig inzicht in verschillende aspecten van AI. Ook leuk om te volgen als je nog niet begonnen bent met het gebruik van AI.

Inzichten uit AFM-rapport over AI-gebruik

De AFM heeft een rapport gepubliceerd over het gebruik van AI in de assetmanagementsector. Hoewel het rapport op een andere sector ziet, biedt het ook voor financiële dienstverleners bruikbare inzichten. Het laat zien hoe de AFM naar AI-gebruik kijkt en op welke punten zij in het toezicht nadrukkelijk let.

Dat is extra relevant, omdat de AFM op dit moment ook onderzoek doet naar het gebruik van AI door financiële dienstverleners. Voor advieskantoren is het daarom verstandig om nu al scherp te hebben welke aandachtspunten de toezichthouder benoemt.

Het gebruik van AI staat niet los van bestaande verplichtingen rond een beheerste en integere bedrijfsvoering. Daarbij zijn zowel de AI Act als de regels uit de Wft over bedrijfsvoering van belang.

Welke inzichten uit het rapport zijn ook voor onze sector relevant?

Investeringen in AI

De AFM heeft onder meer gekeken naar de manier waarop ondernemingen investeren in AI: via een apart AI-budget of als onderdeel van een breder automatiseringsbudget. Daarbij geldt dat niet al het gebruik direct zichtbaar is in investeringen of kosten, bijvoorbeeld wanneer medewerkers gebruikmaken van gratis toepassingen zoals ChatGPT of Copilot. Verder blijkt dat de inzet van AI sterk verschilt per onderneming. Grotere organisaties maken doorgaans meer gebruik van AI-toepassingen dan kleinere.

Verwachte impact

De meeste onderzochte ondernemingen verwachten binnen twee tot drie jaar nog geen directe kostenbesparingen door AI. Wel zien zij kansen op omzetgroei, bijvoorbeeld door efficiëntere processen, betere dataverwerking en nauwkeurigere risicobeoordelingen. Het gaat daarbij nadrukkelijk om verwachtingen, niet om al gerealiseerde effecten. Voor advieskantoren is dat een herkenbaar beeld: de eerste winst van AI zal vaak eerder liggen in ondersteuning en efficiency dan in direct aantoonbare besparingen.

Hoe zetten ondernemingen AI in?

De concrete inzet van AI verschilt per sector, maar het rapport geeft wel een breder beeld van de toepassingen. AI wordt vooral gebruikt om informatie op te halen ter ondersteuning van analyse en besluitvorming, en voor het opstellen van onderzoeksrapporten.

De AFM heeft ook uitgevraagd welke typen AI-modellen worden gebruikt en met wat voor soort modellen ondernemingen werken. Daarbij gaat het bijvoorbeeld om:

• NLP (natural language processing): modellen die taal verwerken, begrijpen en genereren, bijvoorbeeld voor het analyseren of opstellen van teksten;

• machine learning: modellen die patronen herkennen in data en op basis daarvan voorspellingen of classificaties maken;

• deep learning: een meer geavanceerde vorm van machine learning, waarbij neurale netwerken complexere verbanden in grote hoeveelheden data herkennen;

• general purpose-modellen: breed inzetbare modellen die voor veel verschillende taken kunnen worden gebruikt, zoals tekstgeneratie, samenvatten of analyseren;

• maatwerkmodellen: modellen die speciaal zijn ontwikkeld of aangepast voor een specifieke toepassing of organisatie;

• open-sourcemodellen: modellen waarvan de onderliggende code vrij beschikbaar is en die organisaties zelf kunnen gebruiken, aanpassen of verder ontwikkelen.

General purpose-modellen worden veruit het meest gebruikt.

Daarnaast is gekeken naar het gebruik van modellen van externe aanbieders en van commerciële cloudoplossingen. Met name die cloudoplossingen worden veel ingezet. Volgens de AFM vraagt dat extra aandacht voor onder meer data, privacy en operationele afhankelijkheid, zoals vendor lock-in. Ook voor advieskantoren is dat een relevant punt, juist omdat veel AI-toepassingen laagdrempelig via externe aanbieders beschikbaar zijn.

Breed gebruik van AI-agenten ziet de AFM nog niet. Ook de meeste ondernemingen verwachten die toepassingen voorlopig niet in te zetten. De toezichthouder merkt wel op dat bij inzet van AI-agenten specifiek beleid nodig is.

Wat vraagt dit van medewerkers?

Sinds februari 2025 geldt op grond van de AI Act de verplichting om te zorgen voor AI-geletterdheid. Dat betekent dat iedereen die binnen of namens een organisatie met AI-systemen werkt, moet beschikken over voldoende kennis, vaardigheden en begrip. Het gaat daarbij niet alleen om de technische werking van AI, maar ook om sociale en ethische aspecten.

Uit het onderzoek blijkt dat het merendeel van de ondernemingen inzet op trainingen voor algemene bewustwording. Een kleinere groep biedt daarnaast ook meer gespecialiseerde of geavanceerde datatrainingen aan. Voor advieskantoren hoeft dat niet meteen groots en zwaar te zijn, maar wel voldoende om medewerkers bewust en verantwoord met AI te laten werken.

Hoe richt je beleid en toezicht in?

De AFM heeft ook gekeken naar de manier waarop organisaties hun AI-beleid en governance hebben ingericht. Daarbij staat proportionaliteit centraal: verantwoordelijkheden, beleidslijnen en controles moeten passen bij de mate waarin een organisatie AI toepast.

In de praktijk ligt het toezicht op AI-gebruik vaak bij compliance, informatiebeveiliging, risicobeheer of de functionaris voor gegevensbescherming. De AFM benadrukt wel dat de raad van bestuur en/of het senior management eindverantwoordelijk blijft voor het vaststellen van beleid, het inrichten van controles en het toezicht op de risico’s van AI-gebruik binnen de organisatie.

Het beheerst inzetten van AI-toepassingen maakt deel uit van de bredere Wft-verplichting om te zorgen voor een beheerste en integere bedrijfsvoering. De AFM vraagt daarbij specifiek aandacht voor beleid rond generatieve AI, bijvoorbeeld in de vorm van een ethisch handboek of gedragscode. Denk daarbij aan risico’s als bias en privacy-inbreuken. Ook verwacht de AFM dat ondernemingen transparant zijn richting klanten over de rol die AI speelt in hun dienstverlening of beleid.

Enkele kerninzichten uit het rapport

• Het grootste verwachte voordeel van AI is efficiëntiewinst.

• De grootste uitdagingen liggen bij datakwaliteit en databescherming.

• De grootste verwachte impact op de sector is de toename van wettelijke eisen.

Waar vraagt de AFM specifiek aandacht voor?

• bestuurlijke verantwoordelijkheid

• transparantie richting klanten over de rol van AI

• uitlegbaarheid van AI-modellen

• datakwaliteit en databronnen

• beheersing van algoritmische vooroordelen (bias)

• specifiek beleid voor onder meer generatieve AI

• AI-geletterdheid van medewerkers

• uitbesteding en afhankelijkheid van onder meer cloudproviders  

Welke verplichtingen gelden, hangt af van het risiconiveau van het betreffende AI-systeem. Uiteindelijk draait het bij AI niet alleen om wat technisch mogelijk is, maar vooral om de vraag of je het bewust, beheerst en uitlegbaar inzet. We hebben een checklist ontwikkelt die je helpt om na te gaan waar de toezichthouder op let en hoe je daaraan als adviseur of kantoor invulling kunt geven.