Skip to content

Commit

Permalink
Release v1.7/straktrekken hoge/hoog risico ai systeem (#415)
Browse files Browse the repository at this point in the history
Co-authored-by: Nout van Deijck <[email protected]>
Co-authored-by: ruthkoole <[email protected]>
  • Loading branch information
3 people authored Dec 3, 2024
1 parent 3c6a2a1 commit 01b2838
Show file tree
Hide file tree
Showing 5 changed files with 10 additions and 22 deletions.
2 changes: 1 addition & 1 deletion docs/onderwerpen/publieke-inkoop.md
Original file line number Diff line number Diff line change
Expand Up @@ -21,7 +21,7 @@ Het publiek inkopen van algoritmes wordt ook gekoppeld aan de algoritme levenscy

## Algoritme levenscyclus
Algoritmes kunnen een grote impact hebben op onze maatschappij. Daarom is het van belang dat deze op een verantwoorde manier worden ontwikkeld en gebruikt. Het toepassen van de algoritme levenscyclus is hierover een bruikbare leidraad. De algoritme levenscyclus bestaat uit meerdere fasen. De werkzaamheden die noodzakelijk zijn om een verantwoord algoritme of AI te ontwikkelen, kunnen logisch worden gekoppeld aan deze fasen.
Deze levenscyclus kan worden gebruikt voor alle typen algoritmes. Het verschilt uiteraard wel per type wat moet worden gedaan en dit is mede afhankelijk van de risico classificatie. Bij hoge risico toepassing zal meer moeten worden gedaan om risico’s te mitigeren dan als er sprake is van lage risico toepassingen. De levenscyclus geeft een bruikbaar overzicht voor leveranciers en opdrachtgevers wanneer welke werkzaamheden moeten worden uitgevoerd. Het laat ook zien welke werkzaamheden moeten zijn afgerond als algoritmes in de markt mogen worden gezet en klaar zijn voor gebruik.
Deze levenscyclus kan worden gebruikt voor alle typen algoritmes. Het verschilt uiteraard wel per type wat moet worden gedaan en dit is mede afhankelijk van de risico classificatie. Bij hoog risico toepassing zal meer moeten worden gedaan om risico’s te mitigeren dan als er sprake is van lage risico toepassingen. De levenscyclus geeft een bruikbaar overzicht voor leveranciers en opdrachtgevers wanneer welke werkzaamheden moeten worden uitgevoerd. Het laat ook zien welke werkzaamheden moeten zijn afgerond als algoritmes in de markt mogen worden gezet en klaar zijn voor gebruik.

Bij het publiek inkopen van software met bijbehorende algoritmes zijn de wensen van de behoeftesteller en de doelstellingen van de organisatie van groot belang. Dit kan tot verschillende situaties leiden:

Expand Down
Original file line number Diff line number Diff line change
@@ -1,5 +1,5 @@
---
title: Politiek-bestuurlijke verantwoordelijkheid
title: Zorg voor politiek-bestuurlijk bewustzijn, betrokkenheid, en verantwoordelijkheid.
id: urn:nl:ak:mtr:org-04
toelichting: Zorg voor politiek-bestuurlijk bewustzijn, betrokkenheid, en verantwoordelijkheid. Zorg dat bestuurders bewust zijn van de voor- en nadelen van de inzet van algoritmes en daarnaar kunnen handelen.
levenscyclus:
Expand All @@ -17,16 +17,14 @@ hide:
<!-- tags -->

## Maatregel

Zorg voor politiek-bestuurlijk bewustzijn, betrokkenheid, en verantwoordelijkheid.

## Toelichting
- Voor een passende algoritmegovernance is politiek-bestuurlijk bewustzijn, betrokkenheid en verantwoordelijkheid essentieel.
- De kernvraag voor publieke organisaties bij de inzet van algoritmen is altijd: Hoe wegen we (als publieke organisatie of samenleving) de voordelen en nadelen van de inzet van algoritmen?
- Dit is per definitie een kwalitatieve en politieke vraag.
- Dit gaat niet alleen over direct opbrengsten maar ook over lange termijn en indirecte effecten, de mate waarin de inzet van technologie bijdraagt aan de legitimiteit van publieke organisatie en hoe burgers met deze technologie worden bejegend.

- Om te zorgen voor politiek-bestuurlijke betrokkenheid kan het helpen om een meerjarige visie en/of strategie rondom verantwoorde inzet te formuleren waar een communicatiestrategie richting burgers onderdeel van is.
- Om te zorgen voor politiek-bestuurlijke betrokkenheid kan het helpen om een [meerjarige visie/strategie rondom verantwoorde inzet](0-org-02-beleid_opstellen_inzet_algoritmes.md) te formuleren waar een communicatiestrategie richting burgers onderdeel van is.
- Zorg ervoor dat bestuurders bewust zijn van de voor- en nadelen van de inzet van algoritmes en daarnaar kunnen handelen.
- Dit ondersteunt teams bij het maken van de juiste overwegingen bij de ontwikkeling en gebruik van algoritmes. Het geeft ook inzicht wanneer de politiek of bestuurlijk verantwoordelijke(n) moeten worden betrokken bij het project om beslissingen te nemen, bijvoorbeeld of de mate van onbewuste vooringenomenheid (bias) binnen acceptabele grenzen ligt.
- Het doorlopen van een concrete casus voor de ontwikkeling en gebruik van een algoritme, inclusief het uitvoeren van een IAMA, kan waardevolle informatiegeven om een meerjarige visie of strategie op te stellen.
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -26,14 +26,13 @@ hide:
<!-- tags -->

## Maatregel

Pas vastgestelde beleidskaders toe.

## Toelichting
- Vastgestelde (interne) beleidskaders moeten worden toegepast bij het ontwikkelen, inkopen of gebruiken van algoritmes. Denk aan [specifiek beleid voor de inzet van algoritmes]([0-org-02-beleid_opstellen_inzet_algoritmes.md).
- Het is van belang dat tijdig, bijvoorbeeld in de [probleemanalyse fase](../../levenscyclus/probleemanalyse.md), inzichtelijk wordt gemaakt welke interne beleidskaders moeten worden toegepast.
- Hierbij kan worden gedacht aan definities die moet worden gehanteerd, het naleven van inkoopbeleid, strategisch beleid volgen met betrekking tot het mogen inzetten van algoritmes binnen de organisaties of het doorlopen van processen en protocollen die moeten worden toegepast.
- Vraag de [betrokken experts](1-pba-04-betrek-belanghebbenden.md) welke beleidskaders van toepassing zijn vanuit zijn of haar expertise.
- Vraag de [betrokken experts](1-pba-04-betrek-belanghebbenden.md) welke beleidskaders van toepassing zijn vanuit diens expertise.
- Ten behoeve van controles en audits is het van belang dat aantoonbaar wordt gemaakt dat de vastgestelde beleidskaders zijn nageleefd.

## Bijbehorende vereiste(n)
Expand Down
Original file line number Diff line number Diff line change
@@ -1,20 +1,14 @@
---
# vul hier een titel in voor deze maatregel
title: Stel een werkinstructie op voor gebruikers.
id: urn:nl:ak:mtr:imp-05
# geef hier een korte toelichting van deze maatregel
id: urn:nl:ak:mtr:imp-01
toelichting: Stel een duidelijke werkinstructie op voor gebruikers die het algoritme gaan toepassen.

# vul hier de bestandsnamen in van de vereisten die horen bij deze maatregel
vereiste:
- aia-01-ai-geletterheid
- awb-01-zorgvuldigheidsbeginsel
- aia-28-transparantieverplichtingen
- aia-09-menselijk-toezicht
# vul hier de fasen van de levenscyclus in die horen bij deze maatregel
levenscyclus:
- implementatie
# vul hier de bouwblokken in die horen bij deze maatregel
onderwerp:
- menselijke-controle
- transparantie
Expand All @@ -35,21 +29,18 @@ Stel een werkinstructie op voor gebruikers.
## Toelichting
Het is belangrijk dat gebruikers een werkinstructie ontvangen met informatie over hoe zij met het algoritme kunnen en moeten werken. Hierin worden zaken beschreven als:


- Op wat voor manier het algoritme ondersteunt bij het uitvoeren van (wettelijke) taken.
- Wat de mogelijkheden en beperkingen zijn bij het gebruik maken van het betreffende algoritme.
- Wat de impact is van het gebruik maken van het algoritme op de samenleving en individuen (denk aan energieverbruik of dat een besluit met rechtsgevolgen wordt genomen).
- Wat de mogelijkheden en beperkingen zijn bij het gebruik van het algoritme.
- Wat de impact is van het gebruik van het algoritme op de samenleving en individuen (denk aan [energieverbruik](7-mon-05-meten-milieu-impact) of dat een besluit met rechtsgevolgen wordt genomen).
- Wat de risico's zijn die aan het gebruik verbonden zijn (bijv. (automation) bias, false positives/negatives).
- Welke maatregelen zijn getroffen om deze risico's te beperken (bijv. bias analyse, 'stopknop' ingebouwd, transparantie over de output).
- Welke maatregelen zijn getroffen om deze risico's te beperken (bijv. [bias analyse](5-ver-02-biasanalyse), ['stopknop' ingebouwd](4-owk-02-stopzetten-gebruik), transparantie over de output).
- Hoe de output van het algoritme moet worden geïnterpreteerd.
- Hoe het werkproces kan worden uitgevoerd, zonder ondersteuning van het algoritme.
- Welke protocollen er zijn als zich incidenten voordoen.
- Welke protocollen er zijn als incidenten zich voordoen.

Denk hierbij na over het eventueel bijscholen van medewerkers als het kennisniveau nog onvoldoende is om de werkinstructies goed te begrijpen.

## Bijbehorende vereiste(n)
<!-- Hier volgt een lijst met vereisten op basis van de in de metadata ingevulde vereiste -->

<!-- Let op! onderstaande regel met 'list_vereisten_on_maatregelen_page' niet weghalen! Deze maakt automatisch een lijst van bijbehorende verseisten op basis van de metadata -->
<!-- list_vereisten_on_maatregelen_page -->

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -50,7 +50,7 @@ AI-systemen met een hoog risico als bedoeld in punt 2 van bijlage III (kritieke

## Risico

Zonder registratie van het hoge risico AI-systeem en het registreren welke organisaties of personen hier gebruik van maken, is het negatieve negatieve van het mogelijk onjuist of ongewenst functioneren van het AI-systeem niet te overzien en onduidelijk welke betrokken dit raakt.
Zonder registratie van het hoog risico AI-systeem en het registreren welke organisaties of personen hier gebruik van maken, is het negatieve negatieve van het mogelijk onjuist of ongewenst functioneren van het AI-systeem niet te overzien en onduidelijk welke betrokken dit raakt.


## Maatregelen
Expand Down

0 comments on commit 01b2838

Please sign in to comment.