AI Act uitgelegd

AI Act uitgelegd

De AI Act stelt regels voor alle autonoom handelende computersystemen en algoritmes die beslissingen nemen, content genereren of mensen assisteren. Het doel van de AI Act is dat mensen en bedrijven in de EU kunnen rekenen op veilige, transparante, traceerbare, niet-discriminerende en milieuvriendelijke AI-systemen die onder toezicht staan van mensen. Alle inzet van AI (oftewel: autonoom werkende computers en algoritmes) valt onder de AI Act.

Wat betekent de AI Act voor jou?

De verordening volgt een risicogebaseerde benadering en stelt verplichtingen voor aanbieders en gebruikers afhankelijk van het risiconiveau dat een AI-systeem met zich meebrengt. Een paar belangrijke kenmerken:

• De AI Act maakt onderscheid tussen hoog en laag risico. Strenge regels gelden voor hoog risico toepassingen, zoals bij toepassing bij veiligheid of bij selectieprocessen zoals recruitment.

• Niet alleen ontwikkelaars maar ook gebruikers van AI vallen onder de verordening. Iedereen die gebruik maakt van AI zal moeten kunnen aantonen dat deze aan de regels voldoet. De eisen vanuit de AI Act zijn wel strenger voor ontwikkelaars.

• De AI Act is van toepassing op alle sectoren, waaronder de financiële sector. Het gaat net als bij de AVG dus om horizontale wetgeving die over de sectoren heen voor alle bedrijven geldt. Tegelijk zal de uitwerking van de regels sectorspecifiek zijn en is het toezicht belegd bij de nationale toezichthouder van de betreffende sector. Voor de financiële dienstverlening is dat de AFM.

• Voor ondernemingen die AI toepassingen ontwikkelen komt er de mogelijkheid om te toetsen of wordt voldaan aan de nieuwe regels. Nederland richt daarvoor net als in andere landen een zogenaamde regulatory sandbox. Dit moet nog verder worden uitgewerkt en ook de nadere regels en standaarden moeten nog vorm krijgen.

Welke risico classificaties kent de AI Act?

De AI act kent verschillende risico-classificaties en AI toepassingen moeten op basis daarvan worden ingedeeld. Afhankelijk van de classificatie gelden verplichtingen:

• Onaanvaardbaar risico (verboden). AI-systemen voor bijvoorbeeld schadelijke manipulatie, onterechte social scoring en emotieherkenning op het werk hebben een onaanvaardbaar risico en zullen worden verboden. 

• Hoog risico (strenge eisen). Er is een lijst met toepassingen die worden beschouwd als risicovol voor fundamentele rechten, veiligheid en gezondheid. Deze toepassingen moeten aan strenge eisen voldoen.

• Beperkt risico (specifieke transparantie verplichtingen). De makers van AI-systemen die content genereren, zoals ChatGPT, moeten dit markeren als gegenereerd of gemanipuleerd, en deepfakes moeten als zodanig bekend worden gemaakt. Ook bij de inzet van bijvoorbeeld chatbots moet duidelijk worden dat je met AI te maken hebt.

• Minimaal risico (geen aparte eisen). Er zijn veel AI-systemen die niet worden gereguleerd. Bij AI die niet in een van de bovenstaande categorieën valt gelden er geen eisen omdat de risico’s laag of nihil zijn. Ontwikkelaars of organisaties kunnen wel vrijwillige gedragscodes opstellen en naleven. Voorbeelden hiervan zijn AI in videogames of spamfilters. 

Welke specifieke verplichtingen gelden voor toepassingen met een hoog risico classificatie?

In de AI Act zijn twee toepassingen in de financiële sector in de lijst (annex iii) opgenomen als hoog risico waarvoor een stringent regelkader geldt: 

• AI systemen die gebruikt worden voor bepaling van kredietwaardigheid van natuurlijke personen

• Voor AI systemen die gebruikt worden voor risicobeoordeling en prijsstelling in het kader van levensverzekeringen en ziektekostenverzekeringen.

Deze toepassingen zijn onderworpen aan strenge verplichtingen voordat zij in de handel kunnen worden gebracht:

• adequate risicobeoordelings- en mitigatiesystemen

• hoge kwaliteit van de datasets die het systeem voeden om risico's en discriminerende resultaten tot een minimum te beperken

• logboekregistratie van activiteiten om de traceerbaarheid van de resultaten te waarborgen

• gedetailleerde documentatie met alle informatie die de autoriteiten nodig hebben over het systeem en het doel ervan om de naleving ervan te beoordelen

• duidelijke en adequate informatie voor de exploitant

• passende maatregelen voor menselijk toezicht om het risico tot een minimum te beperken

• hoge mate van robuustheid, veiligheid en nauwkeurigheid

Hoe kunnen ondernemingen zich voorbereiden op de implementatie van de AI-Act?

Aandachtspunten voor ontwikkelaars van AI systemen:

• Op basis van het beoogde gebruik beoordelen in welke risico-categorie het AI systeem valt.

• Beoordeel of het AI systeem voldoet aan de vereisten van die risico-categorie (hoog/laag)

• In geval van een hoog-risico AI systeem is, voorbereidingen treffen zodat het compliant is met de vereisten die de AI-Act stelt.

• Wanneer onduidelijk is hoe de AI-Act uitgelegd moet worden voor jouw AI systeem (of een bepaald aspect daarvan) is het mogelijk om gebruik te maken van een regulatory sandbox. Dit moet voor Nederland nog verder worden uitgewerkt door de toezichthouder (AFM/DNB)

Aandachtspunten voor afnemers/gebruikers van AI systemen:

• Inventariseer welke AI systemen je organisatie gebruikt; vraag leveranciers van software of er AI is verwerkt in de software.

• Beoordeel vervolgens of AI systemen worden gebruikt die in de verboden of hoog-risico categorie vallen; vraag zo nodig je leverancier van software om verklaringen/garanties dat er geen verboden en/of hoog-risico AI systemen worden ingezet.

• Wanneer je gebruik maakt van een verboden AI systeem, faseer dit uit. Ga op zoek naar alternatieven en beëindig het gebruik van dit AI systeem.

• Wanneer je gebruik maakt van een hoog-risico AI systeem, beoordelen of het AI systeem aan de vereisten voldoet. Daar waar het AI systeem niet aan een vereiste voldoet, zet je een traject in gang om ervoor te zorgen dat het AI systeem aan de vereisten gaat voldoen. Leg deze verplichting zo mogelijk bij de leverancier van het AI systeem.

• Pas je inkoopvoorwaarden aan. Zorg dat een leverancier van hardware/software transparant is over de AI systemen die het wil gaan leveren en de risico-categorie waar het AI systeem in valt. Waarborg ook dat het AI systeem aan de vereisten blijft voldoen. De leverancier zou dit gedurende het gehele gebruik van het AI systeem moeten monitoren (post-market surveillance) en het AI systeem zo nodig aanpassen.

Verplichte AI-kennis voor gebruikers AI systemen

De AI Act stelt dat niet alleen aanbieders maar ook gebruikers van AI-systemen maatregelen moeten nemen om te zorgen voor een voldoende niveau van AI-geletterdheid bij hun personeel. Dit geldt ook voor financieel advieskantoren die AI gebruiken in hun adviespraktijk.

Onder AI-geletterdheid vallen de vaardigheden, kennis en het begrip die nodig zijn voor een verantwoorde implementatie en het gebruik van AI-systemen. Dit betekent dat gebruikers zich bewust moeten zijn van de kansen, risico's en mogelijke schade die AI-systemen kunnen veroorzaken.

Wie moet voldoen aan AI-geletterdheid?

Binnen een financieel advieskantoor geldt de verplichting van AI-geletterdheid voor alle medewerkers die betrokken zijn bij de ontwikkeling, implementatie, het beheer of het gebruik van AI-systemen.

Het is belangrijk om AI-geletterdheid af te stemmen op de specifieke context van jouw organisatie en de rollen van de individuele medewerkers. De vereiste kennis en vaardigheden variëren afhankelijk van de rol en verantwoordelijkheden.

De mate van AI-geletterdheid die nodig is, hangt sterk af van hoe AI wordt gebruikt binnen het kantoor. Als AI alleen wordt gebruikt als zoekmachine, is de vereiste geletterdheid minimaal. In dat geval is het bijvoorbeeld wel goed dat mensen zich bewust zijn van de risico’s als persoonsgegevens worden gebruikt in AI, maar is een uitgebreid plan van aanpak om de AI-geletterdheid te borgen wat “over the top”.

Als er geavanceerde adviessoftware wordt gebruikt die op AI gebaseerd is, is een diepgaandere kennis van AI-technologieën en ethische implicaties noodzakelijk. Denk bijvoorbeeld aan het gebruik van hypotheekadviessoftware die op basis van AI een uitgebreid hypotheekadvies genereert.

Aan de slag met AI-geletterdheid

De Autoriteit Persoonsgegevens heeft een handig stappenplan gemaakt om aan de slag te gaan met AI-geletterdheid. Dit stappenplan is op deze internetpagina te downloaden.

Daarnaast zijn er diverse cursussen en trainingen beschikbaar om de AI-geletterdheid te vergroten. Een voorbeeld hiervan is de gratis nationale AI-cursus: https://www.tech-cursus.nl/app/1-de-nationale-ai-cursus/home. Deze cursus in acht onderdelen geeft een aardig inzicht in verschillende aspecten van AI. Ook leuk om te volgen als je nog niet begonnen bent met het gebruik van AI.