Warsztaty Badawcze - Machine Learning (ML)
Semestr Letni 2020/21 @hbaniecki
Przedmiot ten poświęcony jest tematyce badań naukowych. Na zajęciach skupimy się na odtwarzaniu wyników artykułów naukowych, tworzeniu nowych wyników, oraz napisaniu mini-artykułu. Tematem przewodnim projektu jest wykorzystanie modeli uczenia maszynowego do predykcji śmiertelności COVID-19. Poboczne tematy: wyjaśnianie modeli uczenia maszynowego, odporność modeli predykcyjnych i związana z nią odpowiedzialność, reprodukowalność wyników naukowych, pierwsze kroki w świecie badań naukowych.
Całość przedmiotu realizowana jest w zespołach 3/4-osobowych.
Pierwsza faza projektu polega na przeanalizowaniu artykułu naukowego, odtworzeniu jego wyników, a następnie zaproponowaniu nowych wyników np. przeprowadzenie analizy danych, stworzenie nowych modeli, wyjaśnienie modeli, przeanalizowanie odpowiedzi do analizowanego artykułu (odtworzenie ich wyników, wykorzystanie dodatkowych danych itp.). Całość powinna zostać udokumentowana w postaci kodu na GitHub oraz raportu - oceniane w dwóch krokach (10 + 20 punktów).
Artykuł do analizy - state-of-the-art (SOTA) w tematyce ML dla COVID-19:
Yan, L. et al. "An interpretable mortality prediction model for COVID-19 patients" Nature Machine Intelligence (2020) https://www.nature.com/articles/s42256-020-0180-7
Odpowiedzi do powyższego artykułu (Matters Arising):
- External validation demonstrates limited clinical utility of the interpretable mortality prediction model for patients with COVID-19
- Replication of a mortality prediction model in Dutch patients with COVID-19
- Limited applicability of a COVID-19 specific mortality prediction rule to the intensive care setting
Druga faza projektu polega na przeprowadzeniu podobnej analizy, ale:
- Każdy zespół pracuje z innym artykułem - jeżeli artykuł okaże się mało skomplikowany i/lub zespół szybko skończy analizę to można sięgać po pozostałe artykuły z puli.
- Część projektu polega na porównaniu wyników/odniesieniu się do artykułu z fazy 1.
- Całość powinna zostać udokumentowana w postaci mini-artykułu (razem z kodami na GitHub), w którym oprócz opisania wyników fazy 2, można opisać wyniki fazy 1 - oceniane w dwóch krokach (10 + 40 punktów).
- Zespół prezentuje najciekawsze wyniki projektu na koniec semestru (20 punktów).
Artykuły do analizy:
- Deep learning prediction of likelihood of ICU admission and mortality in COVID-19 patients using clinical variables
- A Learning-Based Model to Evaluate Hospitalization Priority in COVID-19 Pandemics
- Predicting Mortality Due to SARS-CoV-2: A Mechanistic Score Relating Obesity and Diabetes to COVID-19 Outcomes in Mexico
- TBD
| nr | data | plan | plan+ | deadline |
|---|---|---|---|---|
| 1 | 26/02 | wprowadzenie do przedmiotu | uczenie maszynowe (gradient descent, decision tree, gradient boosting) | |
| 2 | 04/03 | faza 1 zadanie artykułu do analizy | uczenie maszynowe dla COVID-19 / typy artykułów na przykładach związanych z ML dla COVID-19 | |
| 3 | 11/03 | wyjaśnialne uczenie maszynowe (Break Down, Feature Importance, Ceteris Paribus, Partial Dependence Plot) | ||
| 4 | 18/03 | faza 1 omówienie wstępnych wyników | odpowiedzialne uczenie maszynowe (Responsible AI) | raport v1 (10 pkt) |
| 5 | 25/03 | pierwsze kroki w badaniach naukowych (konferencje, granty, software, bazy) | problem reprodukowalności artykułów, kodu, modeli | |
| 6 | 01/04 | faza 1 przedstawienie wyników | faza 2 zadanie artykułów do analizy | raport v2 (20 pkt) |
| 7 | 08/04 | istotne artykuły z dziedziny ML dla COVID-19 | zaawansowane metody eksploracji modeli (modelStudio, Arena) | |
| 8 | 15/04 | faza 2 przedstawienie artykułów | pisanie artykułów (tytuł, zakończenie/wstęp, literatura) | |
| 9 | 22/04 | faza 2 porównanie artykułów z tymi z fazy 1 | zaproszony gość (zastosowania uczenia maszynowego/wyjaśnialności) | |
| 10 | 29/04 | Automated ML / konsultacje projektów | ||
| 11 | 06/05 | faza 2 przedstawienie wyników | projekt v1 (10 pkt) | |
| 12 | 12/05 | TBD (badania/ML) | ||
| 13 | 13/05 | wskazówki do wyników projektu: mini-artykuł i prezentacja | ||
| 14 | 20/05 | faza 2 omówienie projektów | projekt v2 | |
| 27/05 | prezentacje projektów na wykładzie w czasie laboratoriów | prezentacja (20 pkt) | ||
| 12' | 28/05 | TBD (badania/ML) | ||
| 05/06 | deadline oddania projektu | projekt v3 (40 pkt) | ||
Baniecki, H., and Biecek, P. "Responsible Prediction Making of COVID-19 Mortality (Student Abstract)" Proceedings of the AAAI Conference on Artificial Intelligence (2021) https://www.aaai.org/AAAI21Papers/SA-299.BanieckiH.pdf
Wynants, L. et al. "Prediction models for diagnosis and prognosis of covid-19: systematic review and critical appraisal" BMJ (2020) https://www.bmj.com/content/369/bmj.m1328
Barredo Arrieta, A. et al. "Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI" Information Fusion (2020) https://www.sciencedirect.com/science/article/pii/S1566253519308103
- wyjaśnianie (predykcyjnych) modeli uczenia maszynowego: Explanatory Model Analysis, dalex, Arena, modelStudio
- bazy preprintów: arXiv, 'arXiv for med', 'arXiv for bio'
- bazy konferencji/czasopism: CORE ranking, Scopus
- baza papers with code
- konferencje AI/ML
- wykaz czasopism i konferencji punktowanych przez MEN
- personal website/cv: hugo, al-folio
- AutoML: PyCaret, Microsoft Azure
warto wspomnieć
- AUPRC
- SVM (obrona)
- YK
- backpropagation
- ...