Przegląd regulacyjny AI

Dostawcy i dobre praktyki

Wróć

Model cards — standard dokumentowania modeli

Karty modeli (model cards) to dokumenty opisujące modele uczenia maszynowego: ich przeznaczenie, sposób uczenia, wyniki ewaluacji, ograniczenia i potencjalne ryzyka. Pomagają zrozumieć możliwości modelu i ocenić jego przydatność do konkretnego zastosowania.

Jednym z uznanych standardów dokumentowania modeli jest schemat zaproponowany przez Margaret Mitchell i współautorów w publikacji Model Cards for Model Reporting (2019). Jest to wzorzec raportowania, a nie formalna norma certyfikacyjna. Odwołuje się do niego m.in. dokumentacja Hugging Face.

Dziewięć części karty modelu

CzęśćCo zawiera
Informacje o modeluautor, wersja, data, typ modelu i kontakt.
Przeznaczenieprzewidziane zastosowania, użytkownicy i użycia poza zakresem.
Czynniki wpływające na działaniegrupy ludzi, sprzęt i warunki otoczenia istotne dla wyników.
Metrykimiary jakości oraz uzasadnienie ich wyboru.
Dane ewaluacyjnezbiory wykorzystane do sprawdzenia modelu.
Dane treningoweinformacje o danych użytych do uczenia.
Analizy ilościowewyniki ogólne, według grup i warunków oraz ich kombinacji.
Kwestie etycznepotencjalne szkody, dane wrażliwe i zagrożenia.
Zastrzeżenia i zaleceniaograniczenia oraz wskazówki dotyczące użycia.

Jak wygląda i co jest najważniejsze?

Autorzy proponowali dokument długości około 1–2 stron, z opisami i wynikami badań. Nie narzucali jednego projektu graficznego. Kluczowe jest ujawnienie różnic w działaniu: dobra średnia nie wyklucza słabych wyników dla określonych grup lub warunków. Publikacja zawiera przykłady kart dla wykrywania uśmiechu i oceny toksyczności tekstu.

Źródło: Mitchell i in., Model Cards for Model Reporting (2019). Przykładowe karty — sekcja 5.

Jak wygląda dzisiejsza praktyka?

W praktyce współistnieją różne formaty i zakresy dokumentacji. Google DeepMind publikuje model cards, natomiast Anthropic publikuje system cards. Hugging Face udostępnia szablon model card łączący opis z metadanymi, informacjami o uczeniu i wynikami ewaluacji. Porównanie tych podejść wskazuje, że nie ma jednego wspólnie stosowanego układu ani długości karty. Schemat Mitchell pozostaje punktem odniesienia, który wydawcy dostosowują i rozszerzają; nazwy model card i system card nie gwarantują identycznego zakresu informacji.

Ważna jest również jakość wypełnienia dokumentu. W badaniu What's documented in AI? Systematic Analysis of 32K AI Model Cards (2024) przeanalizowano 32 111 kart z Hugging Face. Autorzy stwierdzili nierówną szczegółowość dokumentacji; sekcje dotyczące wpływu środowiskowego, ograniczeń i ewaluacji należały do najrzadziej uzupełnianych. Praktyczny wniosek: obecność karty warto traktować jako punkt wyjścia do sprawdzenia ujawnionych danych i wyników, a nie potwierdzenie kompletności. Badanie opisuje analizowany zbiór z 2024 r., nie audyt wszystkich obecnych kart dostawców.