2021. 06. 29. - olvasási idő: 17 perc
A magyarázható MI nem egy modelltípus, hanem eszközkészlet arra, hogy megtudjuk, mire alapoz a modell. Áttekintés az ante-hoc és post-hoc módszerekről, a LIME-ról és a SHAP-ról, valamint arról, mit vár a magyarázattól a szabályozás.
A magyarázható mesterséges intelligencia (XAI) azoknak a módszereknek az összessége, amelyek érthetővé teszik, miért adott egy gépi tanulási modell éppen azt a kimenetet, amit adott. Nem külön modelltípus: vagy eleve értelmezhető modellt választunk, vagy utólag, külön eszközökkel magyarázzuk meg a fekete doboz döntését.
Az XAI iránti érdeklődés 2015 óta látványosan nő, és ennek nem elméleti oka van. Ahogy a gépi tanulás bekerül az egészségügybe, a hitelezésbe, a toborzásba és a közigazgatásba, egyre gyakoribb a kérdés, hogy a modell döntése mögött mi áll. Egy jól működő modell önmagában kevés, ha senki nem tudja megvédeni az eredményét az ügyfél, a felügyelet vagy a saját szervezet előtt.
A szakirodalomban két fogalom keveredik, és még nincs teljes egyetértés a használatukban.
A gyakorlatban a két szót sokszor szinonimaként használják, és a legtöbb eszköz is mindkettőre ad valamilyen választ. Egy projekt elején viszont érdemes tisztázni, melyikre van szükség, mert más eszközkészletet igényel a modell egészének megértése és egy egyedi döntés indoklása.
A szakirodalom öt célt sorol fel, és mind az ötnek van közvetlen üzleti megfelelője.
Ehhez jön egy hatodik, tisztán gyakorlati szempont: a hibakeresés. A magyarázat gyakran azelőtt mutatja meg, hogy a modell rossz jelre támaszkodik, hogy ez az éles működésben kiderülne.
Hogy melyik cél a fontos, jórészt azon múlik, milyen a modell szerepe a folyamatban. Ha a modell dönt az ember helyett, a magyarázat a bizalomról és az ellenőrizhetőségről szól. Ha az ember dönt, és a modell csak támogat, akkor a magyarázat maga a szállítandó eredmény.
Az XAI-eszközök két nagy csoportra oszlanak. Az ante-hoc megközelítés eleve olyan modellt választ, amelynek a működése átlátható. A post-hoc megközelítés egy kész, akár bonyolult modellhez ad utólag magyarázatot. A post-hoc módszerek között pedig külön kell választani a globálisat, amely a modell egészéről szól, és a lokálisat, amely egyetlen döntésről.
| Módszer | Típus | Mit mutat meg? | Mikor használd? |
|---|---|---|---|
| Lineáris és logisztikus regresszió | Ante-hoc | Az egyes változók súlyát és irányát | Ha a magyarázhatóság fontosabb, mint az utolsó néhány százaléknyi pontosság |
| Döntési fa, szabályalapú modell | Ante-hoc | Az elágazások láncát, ahogy a döntés születik | Ha a modellből emberi szabályt akarunk csinálni |
| k legközelebbi szomszéd | Ante-hoc | Mely korábbi esetekhez hasonlít az új eset | Ha a szakértő példákon keresztül gondolkodik |
| Permutációs fontosság | Post-hoc, globális | Mely változók nélkül romlik legjobban a modell | Gyors első kép bármilyen modellről |
| Közelítő (surrogate) modell | Post-hoc, globális | Egy egyszerű modell, amely utánozza a bonyolultat | Ha a fekete dobozról kell áttekinthető képet adni |
| PDP és ICE görbék | Post-hoc, globális és lokális | Hogyan változik a kimenet egy változó mentén | Ha a hatás iránya és alakja a kérdés |
| LIME | Post-hoc, lokális | Egy konkrét döntés körüli helyi magyarázat | Ügyfélszintű indokláshoz |
| SHAP | Post-hoc, lokális, aggregálva globális | Az egyes tényezők hozzájárulását egy döntéshez | Ha ugyanazzal az eszközzel kell egyedi és összesített kép |
A választást két kérdés dönti el. Kinek szól a magyarázat, és egy döntést kell megindokolni vagy a modell egészét bemutatni.
A két legelterjedtebb lokális módszer ugyanarra a kérdésre válaszol, más úton.
A LIME azt vizsgálja, mi történik a modell kimenetével, ha a konkrét eset körül kicsit megváltoztatjuk a bemenetet. Az így kapott pontokra egy egyszerű, értelmezhető modellt illeszt, és ennek a helyi modellnek a magyarázatát adja vissza. Gyors, bármilyen modellhez használható, viszont a magyarázat érzékeny arra, hogyan generáltuk a környezetet.
A SHAP a játékelméletből vett Shapley-értékekre épül: a modell kimenetét osztja szét a bemeneti változók között aszerint, hogy melyik mennyivel járult hozzá az átlagos kimenethez képest. Lassabb, cserébe konzisztensebb, és az egyedi magyarázatok összegezhetők, így ugyanabból az eszközből globális kép is kijön.
Mindkettőre igaz egy fontos korlát: a magyarázat a modellről szól, nem a világról. Azt mutatja meg, mire támaszkodik a modell, nem azt, hogy mi okozza a jelenséget.
Két irányból érkezik elvárás, és a kettő nem ugyanaz.
A GDPR 22. cikke korlátozza a kizárólag automatizált döntéshozatalt, ha annak jelentős hatása van az érintettre, a tájékoztatási szabályok pedig érdemi információt írnak elő az alkalmazott logikáról. Hogy ez pontosan mennyi magyarázatot jelent, arról vita folyik, az viszont nem vitás, hogy egy indokolhatatlan döntés kockázatot hordoz.
Az uniós AI-rendelet egyelőre javaslat: a Bizottság 2021 áprilisában tette közzé a tervezetét. Ez kockázatalapú: a rendszerek egy része tiltott gyakorlat lenne, egy másik része magas kockázatú besorolást kapna, a többire pedig enyhébb vagy semmilyen külön szabály nem vonatkozna. A magas kockázatú körbe a tervezet melléklete szerint olyan alkalmazások tartoznának, mint a természetes személyek hitelképességének értékelése, a toborzás és kiválasztás vagy az oktatási felvételi döntések támogatása.
Ami az XAI szempontjából a leglényegesebb: a magas kockázatú rendszerekre a tervezet átláthatósági követelményt ír elő, vagyis a működésnek elég érthetőnek kell lennie ahhoz, hogy a felhasználó értelmezni tudja a kimenetet, emellett emberi felügyeletet és részletes műszaki dokumentációt is elvár. Ez a gyakorlatban pontosan az, amit a magyarázhatósági eszközök adnak.
Fontos hozzátenni, hogy a javaslat a jogalkotási folyamat elején jár, a végleges szöveg és a határidők még változhatnak. Aki ma kezd magas kockázatúnak tűnő rendszert építeni, annak nem a betű szerinti megfelelés a feladata, hanem az, hogy a magyarázhatóság és a dokumentálás már most beépüljön a fejlesztésbe. Utólag ez sokkal drágább.
Az XAI legismertebb dilemmája, hogy az egyszerűbb, eleve értelmezhető modellek általában gyengébben teljesítenek, a bonyolultabbak pontosabbak, de átláthatatlanok. Ez a feszültség valós, de három megjegyzés árnyalja.
Egy: a különbség feladatfüggő, és gyakran kisebb, mint várnánk. Táblázatos üzleti adatokon egy jól felépített logisztikus regresszió sokszor meglepően közel kerül a bonyolultabb modellekhez, és akkor az érthetőség ingyen van.
Kettő: nincs egységes mérce arra, hogy egy magyarázat mennyire jó. A pontosságot meg tudjuk mérni, a magyarázat hasznosságát nem igazán, ezért a magyarázat minőségét a felhasználóval együtt kell validálni, nem egy számmal lezárni.
Három: a magyarázat sem csalhatatlan. Éppúgy félrevezethet, mint egy rosszul kiértékelt modell, ezért a magyarázhatóság nem pótolja a rendes kiértékelést. A gyakori modellkiértékelési hibák attól még ott vannak, hogy szép ábrát kapunk a tényezők hozzájárulásáról.
Külön kérdés az üzleti titok. Egy modell belső működése sokszor érték, és a teljes átláthatóság nem mindig kívánatos. A megoldás általában nem a mindent vagy semmit, hanem az, hogy meghatározzuk, kinek mennyi részletet mutatunk meg.
Négy döntés elég ahhoz, hogy a magyarázhatóság ne utólagos toldalék legyen.
Nálunk ez a négy kérdés a use-case kidolgozása során kerül elő, még a fejlesztés előtt, és ugyanez kíséri végig az éles rendszerbe építés szakaszát is. A tapasztalat az, hogy minél nagyobb folyamatot érint egy modell, annál kevésbé kerülhető meg a kérdés, mert annál több ember dönt a kimenete alapján.
Mi a különbség az értelmezhetőség és a magyarázhatóság között? Az értelmezhetőség a modell általános működésének megérthetőségéről szól, a magyarázhatóság pedig egy konkrét döntés okairól. A szakirodalom sokszor szinonimaként használja a kettőt, projektben viszont érdemes külön kezelni, mert más eszközt igényelnek.
Minden modellt magyarázni kell? Nem. Ha a döntésnek nincs érdemi hatása egyénekre, és a hiba ára alacsony, elég a jó kiértékelés. A magyarázat ott kötelező gyakorlat, ahol a döntést meg kell védeni valaki előtt, vagy ahol a felismerés maga az eredmény.
A SHAP megmutatja, mi okozza a jelenséget? Nem. A SHAP azt mutatja meg, hogy a modell mire támaszkodik, nem azt, hogy mi az ok-okozati kapcsolat a valóságban. Ha a modell egy együttmozgó jelre épül, a SHAP azt a jelet fogja kiemelni, és ez ok-okozatként értelmezve félrevezető.
Mennyivel romlik a pontosság, ha értelmezhető modellt választunk? Ez feladatfüggő, ezért érdemes megmérni. Egy szokásos megközelítés, hogy az értelmezhető modellt építjük meg alapvonalként, mellé a legjobb elérhető modellt, és a különbség ismeretében döntünk arról, megéri-e a fekete doboz.
Elég a magyarázhatóság a szabályozási megfeleléshez? Nem, de nélküle nem megy. Az átláthatóság mellett emberi felügyelet, dokumentáció és a kockázatok kezelése is elvárás, a magyarázhatóság ezeknek az egyik építőköve.
Ha van egy modelletek, amelynek a döntését ma nem tudjátok megindokolni, vagy most terveztek olyat, ahol ez elvárás lesz, érdemes még a fejlesztés előtt eldönteni, milyen magyarázatot kell majd adnia.
Ugyanaz a modell háromféle szerepet tölthet be: dönthet helyettünk, megérthet valamit helyettünk, vagy elvégezheti azt, amit ember is tudna, csak túl sokszor kellene. A szerep dönti el, mit mérünk rajta és mennyibe kerül.
A CRISP-DM hat fázisa nem elmélet, hanem az a sorrend, amiben egy adatprojekt nem szalad félre. Végigvisszük egy banki hitelkártya-kampányon, megmutatjuk, hová megy el az idő, és hogy mi változott a bevezetés fázisában az MLOps korában.
Két éve tervezünk OKR-ral: céges, területi és egyéni szinten. Hogyan néz ki nálunk a negyedéves tervezés, hogyan értékelünk 0-tól 1-ig, és mi az, amit menet közben tanultunk meg.
Kampányriportok kézi összeállítás helyett automatikusan, valós időben
Adatalapú üzemanyag- és menetidő-tervezés a szállítmányozásban