diff --git a/assessment_framework_eng.md b/assessment_framework_eng.md index 648ee8d..303693b 100644 --- a/assessment_framework_eng.md +++ b/assessment_framework_eng.md @@ -2,7 +2,7 @@ The [evaluation framework](#evaluation-framework-to-assess-the-maturity-of-an-organisation) below is the result of the participatory work initiated in the spring of 2019 by Labelia Labs (ex- Substra Foundation) and ongoing since then. It is based on the identification of the risks that we are trying to prevent by aiming for a responsible and trustworthy practice of data science, and best practices to mitigate them. It also brings together for each topic technical resources that can be good entry points for interested organisations. -Last update: 2nd semester 2022. +Last update: 1st semester 2023. ## Evaluation framework to assess the maturity of an organisation @@ -17,14 +17,14 @@ The evaluation is composed of the following 6 sections: --- -### Section 1 - Protecting personal or confidential data +### Section 1 - Protecting personal or confidential data and comply with regulatory requirements -**[Data privacy]** +**[Data privacy and regulatory compliance]** -The use of personal or confidential data carries the risk of exposure of such data, which can have very detrimental consequences for the producers, controllers or subjects of such data. Particularly in data science projects, they must therefore be protected and the risks of their leakage or exposure must be minimised. +The use of personal or confidential data carries the risk of exposure of such data, which can have very detrimental consequences for the producers, controllers or subjects of such data. Particularly in data science projects, they must therefore be protected and the risks of their leakage or exposure must be minimised. Additionnally, AI models themselves can be attacked and must be protected. Finally, regulatory requirements specific to AI systems but be identified, known, and the data science activities of the organization must be compliant. [_[⇧ back to the list of sections](#evaluation-framework-to-assess-the-maturity-of-an-organisation)_] -[_[⇩ next section](#section-2---preventing-bias-developing-non-discriminatory-models) +[_[⇩ next section](#section-2---preventing-bias-developing-non-discriminatory-models)_] --- @@ -100,6 +100,13 @@ In addition to identifying regulations and compliance approaches, it is importan +
+Ressources1.3 : + +- (Academic paper) *[Do Foundation Model Providers Comply with the Draft EU AI Act?](https://crfm.stanford.edu/2023/06/15/eu-ai-act.html)*, Rishi Bommasani and Kevin Klyman and Daniel Zhang and Percy Liang (Stanford University, Center for Research on Foundation Models), June 2023 + +
+ --- Q1.4 : **Applicable legislation and contractual requirements - Auditing and certification** @@ -1016,6 +1023,27 @@ Using automatic systems based on models whose rules have been "learned" (and not +--- + +Q5.6 : **Logging predictions from AI models** +If your organisation provides or operates AI model-based applications to customers or third parties, to enable auditability of such applications and facilitate their continuous improvement, it is key to implement predictions logging. On that topic: + +R5.6 : +_(Type: single answer)_ +_(Select one answer only, which best corresponds to the level of maturity of the organisation on this topic)_ +_(Specific risk domain: use of AI models, provision or operation of AI model-based applications for customers or third parties)_ + +- [ ] 5.6.a Our organisation does not use AI models on its own behalf or on behalf of its clients, and does not provide its clients with applications based on AI models | _(Concerned / Not concerned)_ +- [ ] 5.6.b Logging predictions from AI models used in production is not yet systematically implemented +- [ ] 5.6.c We systematically log all predictions from AI models used in production (coupled with the input data and the associated models references) + +
+Expl5.6 : + +Using automatic systems based on AI models whose rules have been learned questions the way organisations design and operate their products and services. It is important to preserve the responsiveness and resilience of organisations using those AI models, particularly in dealing with situations where AI models have led to an undesirable outcome for the organisation or its stakeholders. To that end, logging predictions from AI models used in production (coupled with the input data and the associated models references) is key to enable ex-post auditability on concrete use cases. It should be noted that predictions might involve personal data and be regulated by GDPR. Anonymization of processed data, when logged & made available to customers or internal operators, could be part of a solution to avoid leaking sensitive information. + +
+ --- --- @@ -1029,24 +1057,26 @@ The implementation of an automatic system based on an AI model can generate nega --- -Q6.1 : **CO2 impact** -About the CO2 impact of the data science activity in your organisation: +Q6.1 : **Environmental impact (energy consumption and carbon footprint)** +About the environmental impact of the data science activity in your organisation: R6.1 : _(Type: multiple responses possible)_ _(Select all the answer items that correspond to practices in your organisation)_ -- [ ] 6.1.a At this stage we have not looked at the CO2 impact of our data science activity or our AI models -- [ ] 6.1.b We have developed indicators that define what we want to measure regarding the CO2 impact of our data science activity or our models +- [ ] 6.1.a At this stage we have not studied specifically the environmental impact of our data science activity or our AI models +- [ ] 6.1.b We have developed indicators that define what we want to measure regarding the energy consumption and the carbon footprint of our data science activity or our models - [ ] 6.1.c We measure our indicators regularly - [ ] 6.1.d We include their measurements in the model identity cards - [ ] 6.1.e Monitoring our indicators on a regular basis is a formalised and controlled process, from which we define and drive improvement objectives -- [ ] 6.1.f The CO2 impact of our data science activity or our models is made transparent to our counterparts and the general public +- [ ] 6.1.f We consolidate an aggregated view of the energy consumtion and carbon footprint of our data science activities +- [ ] 6.1.g This aggregated view is taken into account in the global environmental impact evaluation of our organization (e.g. carbon footprint, regulatory GHG evaluation, Paris Agreement compatibility score...) +- [ ] 6.1.h The energy consumption and carbon footprint of our data science activity or our models is made transparent to our counterparts and the general public
Expl6.1 : -It is important to question and raise awareness of environmental costs. In particular one can: (i) measure the environmental cost of data science projects, (ii) publish transparently their environmental impact, expliciting the split between train and production phases, (iii) improve on these indicators by working on different levers (e.g. infrastructure, model architecture, transfer learning, etc.). +It is important to question and raise awareness of environmental costs. In particular one can: (i) measure the environmental cost of data science projects, (ii) publish transparently their environmental impact, expliciting the split between train and production phases, (iii) improve on these indicators by working on different levers (e.g. infrastructure, model architecture, transfer learning, etc.). It has been demonstrated that such choices can impact the carbon footprint of model training up to x100-x1000 (see resources below).
@@ -1055,7 +1085,11 @@ It is important to question and raise awareness of environmental costs. In parti - (Software & Tools) *[ML Impact Calculator](https://mlco2.github.io/impact/)* - (Software & Tools) *[Code Carbon](https://codecarbon.io/)*: python library for evaluation the carbon cost of executing a script +- (Web article) (In French) *[La frugalité, ou comment empêcher l’IA de franchir les limites](https://www.quantmetry.com/blog/ia-confiance-frugalite/)*, Geoffray Brelurut (Quantmetry), June 2023 +- (Academic paper) *[Carbon Emissions and Large Neural Network Training](https://arxiv.org/ftp/arxiv/papers/2104/2104.10350.pdf)*, David Patterson, Joseph Gonzalez, Quoc Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David So, Maud Texier, Jeff Dean, 2021. Extract : *Remarkably, the choice of DNN, datacenter, and processor can reduce the carbon footprint up to ~100-1000X* +- (Academic paper) *[Estimating the carbon footprint of Bloom, a 176B parameter language model](https://arxiv.org/pdf/2211.02001.pdf)*, Alexandra Sasha Luccioni, Sylvain Viguier, Anne-Laure Ligozat, 2022. Extract: *While we will predominantly focus on model training, we will also take into account the emissions produced by manufacturing the computing equipment used for running the training, the energy-based operational emissions, as well as the carbon footprint of model deployment and inference* - (Web article) (In French) *[IA durable : ce que les professionnels de la donnée peuvent faire](https://medium.com/quantmetry/ia-durable-et-sobri%C3%A9t%C3%A9-num%C3%A9rique-ce-que-les-professionnels-de-la-donn%C3%A9e-peuvent-faire-5782289b73cc)*, Geoffray Brerelut and Grégoire Martinon, May 2021 +- (Academic paper) *[Sustainable AI: Environmental Implications, Challenges and Opportunities](https://arxiv.org/abs/2111.00364)*, Facebook AI, 2021 - (Web article) *[The carbon impact of artificial intelligence](https://www.nature.com/articles/s42256-020-0219-9)*, Payal Dhar, 2020 - (Web article) *[AI and Compute](https://openai.com/blog/ai-and-compute/)*, OpenAI, 2018 - (Academic paper) *[Green AI](https://cacm.acm.org/magazines/2020/12/248800-green-ai/fulltext)*, R. Schwart et al. 2020 diff --git a/referentiel_evaluation.md b/referentiel_evaluation.md index eca26e4..96007c4 100644 --- a/referentiel_evaluation.md +++ b/referentiel_evaluation.md @@ -2,7 +2,7 @@ Le [référentiel d'évaluation](#référentiel-dévaluation-de-la-maturité-dune-organisation) ci-dessous est le fruit du travail participatif initié au printemps 2019 par Labelia Labs (ex- Substra Foundation) et en cours depuis. Il procède de l'identification des [risques](#risques) que l'on cherche à prévenir en visant une pratique responsable et de confiance de la data science, et des bonnes pratiques qui permettent d'y faire face. Il regroupe également pour chaque sujet des ressources techniques qui peuvent être de bons points d'entrée pour les organisations intéressées. -Dernière mise à jour : 2ème semestre 2022. +Dernière mise à jour : 1er semestre 2023. ## Référentiel d'évaluation de la maturité d'une organisation @@ -17,11 +17,11 @@ L'évaluation est composée des 6 sections suivantes : --- -### Section 1 - Protéger les données à caractère personnel ou confidentielles +### Section 1 - Protéger les données à caractère personnel ou confidentielles et se conformer aux exigences réglementaires -**[Protection des données]** +**[Protection des données et conformité réglementaire]** -L'utilisation de données à caractère personnel ou confidentielles fait porter le risque d'exposition de celles-ci, ce qui peut avoir des conséquences très préjudiciables pour les producteurs, gestionnaires, ou sujets de ces données. En particulier dans les projets de data science, elles doivent donc être protégées et les risques qu'elles fuitent ou soient exposées doivent être minimisés. +L'utilisation de données à caractère personnel ou confidentielles fait porter le risque d'exposition de celles-ci, ce qui peut avoir des conséquences très préjudiciables pour les producteurs, gestionnaires, ou sujets de ces données. En particulier dans les projets de data science, elles doivent donc être protégées et les risques qu'elles fuitent ou soient exposées doivent être minimisés. Par ailleurs, les modèles d'IA eux-mêmes peuvent être attaqués et doivent être protégés. Enfin, les exigences réglementaires spécifiques aux systèmes d'IA doivent être connus, maîtrisés et l'activité data science de l'organisation doit s'y conformer. [_[⇧ retour à la liste des sections](#référentiel-dévaluation-de-la-maturité-dune-organisation)_] [_[⇩ prochaine section](#section-2---prévenir-les-biais-élaborer-des-modèles-non-discriminatoires)_] @@ -29,7 +29,7 @@ L'utilisation de données à caractère personnel ou confidentielles fait porter --- Q1.1 : **Législation et exigences contractuelles applicables - Identification** -En ce qui concerne les données à caractère personnel ou confidentielles, les exigences légales, statutaires, réglementaires et contractuelles en vigueur et concernant votre organisation sont : +En ce qui concerne les données à caractère personnel ou confidentielles et les systèmes d'IA, les exigences légales, statutaires, réglementaires et contractuelles en vigueur et concernant votre organisation sont : R1.1 : _(Type : réponse unique)_ @@ -109,6 +109,13 @@ Au-delà de l'identification des réglementations et des approches de mise en co +
+Ressources1.3 : + +- (Academic paper) *[Do Foundation Model Providers Comply with the Draft EU AI Act?](https://crfm.stanford.edu/2023/06/15/eu-ai-act.html)*, Rishi Bommasani and Kevin Klyman and Daniel Zhang and Percy Liang (Stanford University, Center for Research on Foundation Models), June 2023 + +
+ --- Q1.4 : **Législation et exigences contractuelles applicables - Audit et certification** @@ -1021,6 +1028,27 @@ Utiliser des systèmes automatiques basés sur des modèles dont les règles ont +--- + +Q5.6 : **Historisation des prédictions des modèles d'IA** +Votre organisation utilise pour son propre compte, fournit à ses clients ou opère pour le compte de ses clients des applications basées sur des modèles d'IA. Afin d'assurer l'auditabilité et de faciliter l'amélioration dans le temps de ces modèles et applications associées, il est important d'en historiser les prédictions. Sur ce thème : + +R5.6 : +_(Type : réponse unique)_ +_(Sélectionner une seule réponse, correspondant le mieux au niveau de maturité de l'organisation sur ce sujet)_ +_(Domaine de risque spécifique : utilisation de modèles d'IA pour son propre compte, fourniture et opération de modèles d'IA à ses clients ou à des tiers)_ + +- [ ] 5.6.a Notre organisation n'utilise pas de modèles d'IA élaborés par apprentissage automatique pour son propre compte ou celui de ses clients, et ne fournit pas à ses clients d'application basée sur des modèles d'IA | _(Concerné / Non concerné)_ +- [ ] 5.6.b Nous n'avons pas encore mis en place l'historisation systématique des prédictions issues des modèles utilisés en production +- [ ] 5.6.c Nous historisons systématiquement toutes les prédictions issues des modèles utilisés en production (associées aux données d'entrée et aux références des modèles concernés) + +
+Expl5.6 : + +Utiliser des systèmes automatiques basés sur des modèles dont les règles ont été apprises interroge donc le fonctionnement des organisations. Il est important de préserver la capacité de réaction et la résilience de l'organisation utilisatrice, notamment pour traiter les cas de figure où les modèles d'IA auront été à l'origine d'un résultat non souhaitable pour l'organisation ou ses parties prenantes. Pour ce faire, l'historistation des prédictions obtenues des modèles (avec les données d'entrée et les références des modèles concernés) est cruciales pour permettre l'auditabilité a posteriori de cas de figure concrets. Il est à noter cependant que les prédictions et les données d'entrée peuvent être des données personnelles soumises au RGPD (auquel cas leur anonymisation peut être une voie à considérer). + +
+ --- --- @@ -1034,24 +1062,26 @@ La mise en place d'un système automatique basé sur un modèle d'IA peut géné --- -Q6.1 : **Impact CO2** -Au sujet de l'impact CO2 de l'activité data science au sein de votre organisation : +Q6.1 : **Impact environnemental (consommation d'énergie et empreinte carbone)** +Au sujet de l'impact environnemental de l'activité data science au sein de votre organisation : R6.1 : _(Type : réponses multiples possibles)_ _(Sélectionner tous les éléments de réponse correspondant à des pratiques de votre organisation)_ -- [ ] 6.1.a À ce stade nous ne nous sommes pas penchés sur l'impact CO2 de notre activité data science ou de nos modèles d'IA -- [ ] 6.1.b Nous avons élaboré des indicateurs définissant ce que nous souhaitons mesurer au sujet de l'impact CO2 de notre activité data science ou de nos modèles +- [ ] 6.1.a À ce stade nous ne nous sommes pas penchés sur l'impact environnemental de notre activité data science ou de nos modèles d'IA +- [ ] 6.1.b Nous avons élaboré des indicateurs définissant ce que nous souhaitons mesurer au sujet de la consommation d'énergie et de l'empreinte carbone de notre activité data science ou de nos modèles - [ ] 6.1.c Nous mesurons nos indicateurs régulièrement - [ ] 6.1.d Nous incluons leurs mesures dans les cartes d'identité des modèles - [ ] 6.1.e La mesure de ces indicateurs et un processus formalisé dans le cadre duquel nous fixons et pilotons des objectifs d'amélioration -- [ ] 6.1.f L'impact CO2 de notre activité data science ou de nos modèles est transparent pour nos parties prenantes et pour le grand public +- [ ] 6.1.f Nous consolidons une vue agrégée de la consommation d'énergie et l'empreinte carbone de notre activité data science +- [ ] 6.1.g Cette vue agrégée est prise en compte dans l'évaluation de l'impact environnemental global de notre organisation (e.g. bilan carbone, bilan GES réglementaire, score de compatibilité avec l'Accord de Paris...) +- [ ] 6.1.h La consommation d'énergie et l'empreinte carbone de notre activité data science ou de nos modèles est transparent pour nos parties prenantes et pour le grand public
Expl6.1 : -Il est important de s'interroger et de conscientiser les coûts environnementaux. En particulier, on peut (i) mesurer l'impact environnemental des projets data science, (ii) publier de manière transparente leur impact environnemental en séparant phase d'entraînement et de déploiement, (iii) piloter et diminuer ces indicateurs en actionnant différents leviers (infrastructure, typologie de modèle, recyclage et apprentissage par transfert). +Il est important de s'interroger et de conscientiser les coûts environnementaux. En particulier, on peut (i) mesurer l'impact environnemental des projets data science, (ii) publier de manière transparente leur impact environnemental en séparant phase d'entraînement et de déploiement, (iii) piloter et diminuer ces indicateurs en actionnant différents leviers (infrastructure, typologie de modèle, recyclage et apprentissage par transfert). De tels choix peuvent avoir un impact sur l'empreinte carbone de l'entraînement d'un modèle d'un facteur 100 à 1000 (voir ressources ci-dessous).
@@ -1060,7 +1090,11 @@ Il est important de s'interroger et de conscientiser les coûts environnementaux - (Software & Tools) *[ML Impact Calculator](https://mlco2.github.io/impact/)* - (Software & Tools) *[Code Carbon](https://codecarbon.io/)*: librairie Python permettant d'évaluer le coût carbone de l'exécution d'un script +- (Web article) *[La frugalité, ou comment empêcher l’IA de franchir les limites](https://www.quantmetry.com/blog/ia-confiance-frugalite/)*, Geoffray Brelurut (Quantmetry), Juin 2023 +- (Academic paper) *[Carbon Emissions and Large Neural Network Training](https://arxiv.org/ftp/arxiv/papers/2104/2104.10350.pdf)*, David Patterson, Joseph Gonzalez, Quoc Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David So, Maud Texier, Jeff Dean, 2021. Extrait : *Remarkably, the choice of DNN, datacenter, and processor can reduce the carbon footprint up to ~100-1000X* +- (Academic paper) *[Estimating the carbon footprint of Bloom, a 176B parameter language model](https://arxiv.org/pdf/2211.02001.pdf)*, Alexandra Sasha Luccioni, Sylvain Viguier, Anne-Laure Ligozat, 2022. Extrait : *While we will predominantly focus on model training, we will also take into account the emissions produced by manufacturing the computing equipment used for running the training, the energy-based operational emissions, as well as the carbon footprint of model deployment and inference* - (Web article) *[IA durable : ce que les professionnels de la donnée peuvent faire](https://medium.com/quantmetry/ia-durable-et-sobri%C3%A9t%C3%A9-num%C3%A9rique-ce-que-les-professionnels-de-la-donn%C3%A9e-peuvent-faire-5782289b73cc)*, Geoffray Brerelut et Grégoire Martinon, Mai 2021 +- (Academic paper) *[Sustainable AI: Environmental Implications, Challenges and Opportunities](https://arxiv.org/abs/2111.00364)*, Facebook AI, 2021 - (Web article) *[The carbon impact of artificial intelligence](https://www.nature.com/articles/s42256-020-0219-9)*, Payal Dhar, 2020 - (Web article) *[AI and Compute](https://openai.com/blog/ai-and-compute/)*, OpenAI, 2018 - (Academic paper) *[Green AI](https://cacm.acm.org/magazines/2020/12/248800-green-ai/fulltext)*, R. Schwart et al. 2020 diff --git a/workshops-notes/2023.03.06_workshop-s04e01_notes.md b/workshops-notes/2023.03.06_workshop-s04e01_notes.md index 3da667f..be12d1a 100644 --- a/workshops-notes/2023.03.06_workshop-s04e01_notes.md +++ b/workshops-notes/2023.03.06_workshop-s04e01_notes.md @@ -6,7 +6,7 @@ - [Trame de présentation du Meetup](https://docs.google.com/presentation/d/1ez4vIPfbSdqXO_CGSZ19TCGtX03sjGEadW1FF6uZxM8/edit?usp=share_link) - [Référentiel d'évaluation](https://github.com/LabeliaLabs/referentiel-evaluation-dsrc) - [Plateforme d'auto-évaluation](https://assessment.labelia.org/) -- [Replay de cet atelier](www.labelia.org/fr/blog/replay-meetup-data-science-responsable-et-de-confiance-s04e01) +- [Replay de cet atelier](https://www.labelia.org/fr/blog/replay-meetup-data-science-responsable-et-de-confiance-s04e01) ## Participants