XAI, avagy a magyarázható mesterséges intelligencia

Növekvő igények az AI magyarázhatóságára

A mesterséges intelligencia (Artificial Intelligence, AI) térhódításával számos iparágban és üzleti területen jelennek meg tanulni, adaptálódni képes algoritmusok és megoldások, amelyek különféle üzleti döntéseket támogathatnak. Amikor egy gép hoz döntést olyan területeken, amelyek egyértelműen befolyásolják az emberek/ügyfelek életét (pl. gyógyszeripar, jog, bankszektor), akkor egyre elengedhetetlenebb az igény olyan módszerekre, amelyek ezen döntések és algoritmusok megértését támogatják [1]. Az utóbbi években (nagyjából 2015-től) jelentősen megnőtt az érdeklődés a mesterséges intelligencia magyarázhatósága (Explainable Artificial Intelligence, XAI) és a gépi tanulási modellek értelmezhetősége (Interpretable Machine Learning, IML) iránt [2]. Ezt mutatja a Google Trends alapján a világszerte növekvő keresések száma is.

Egészen az utóbbi évekig az emberek életét érintő döntéseket más emberek hozták. A gépi tanulási algoritmusok elterjedésével egyre több algoritmus és modell kerül bevezetésre különféle döntéshozási mechanizmusokban. Ma már számos példát találhatunk olyan törekvésekre, melyek XAI technológiák bevezetését szorgalmazzák például orvosi alkalmazások [3], logisztika [4], közigazgatási döntéshozás [5] területén. Az értelmezhetőség iránti igény sok esetben azt szorgalmazza, hogy számos esetben nem elégséges gépi tanulási modellekkel kiszámolt pontos predikciók és a modellek teljesítményét visszamérő metrikák ismerete [6].

Terminológia

A gépi tanulási modellek és mesterséges intelligencia értelmezhetőségének, magyarázhatóságának pontos definíciója nincs, a szakirodalomban azonban számos törekvés van ezen fogalmak egységesítésére és árnyalására [6] [1]. Az értelmezhetőségi technológiák is nagyon sokszínűek, és nem tisztázott, hogy mely közös vonások egységesítik ezeket. Számos esetben a szerzők sem tisztázzák pontosan a publikációjukban, hogy számukra mit jelent az értelmezhetőség és az általuk vázolt megoldás miért hasznos [6]. Ez kiderül az értelmezhetőséghez kapcsolódó fogalmak definíciójából is. 

Értelmezhetőség (Interpretability): Van, ahol az Interpretability fogalmát azon módszerek összességének tekintik, melyek a gépi tanulás iránti bizalmat növelik [6]. Látható, hogy ezen definícióval a legnagyobb probléma az, hogy nincs tisztázva, mi is az a bizalom. Van, ahol a fogalom azt a képességet jelenti, hogy átadható-e a modell értelmezése ember számára megérthető formában [1]. Más szerzők szerint az értelmezhetőség arra vonatkozik, hogy mennyire lehet megérteni a modellt [3]. Ugyanitt arra is hivatkoznak, hogy az értelmezhetőség és magyarázhatóság fogalmát sokszor egymás szinonimájaként használják [3].

Magyarázhatóság (Explainability): Egyes definíciók szerint a magyarázhatóság azon módszereket takarja, melyek betekintést adnak a döntéshozás okaiba [3]. Mások az elmagyarázást, mint interfészt tekintik az ember és a döntéshozó algoritmus között [1].

A fenti definíciók jól mutatják, hogy a szakirodalomban sincs tisztázva az Interpretability és Explainability fogalma, számos esetben egymást felcserélve használják őket.

Az XAI céljai

Ahogy a terület definíciói is számos szemszögből fogalmazódnak meg, úgy az XAI módszereknek is változatos céljaik lehetnek. A következőkben néhány példát tekintünk át ezen célokra a szakirodalomból.

Bizalom növelése. Az emberek könnyebben elfogadnak döntéseket egy jól megértett algoritmustól még akkor is, ha a megértésnek nincs különösebb célja [6]. A bizalmat tekinthetjük azon magabiztosság mértékének, hogy a modell a tervezett módon fog reagálni egy adott problémára. Habár egy magyarázható modell tulajdonsága kell, hogy legyen a megbízhatóság, fordítva még nem következik, hogy a megbízható modellek önmagukban magyarázhatók lennének [1].

Kauzalitás. A mesterséges intelligencia alkalmazásokat számos esetben abban a reményben vetik be, hogy a környezetünk tulajdonságait és összefüggéseit feltárja. A gépi tanulási modellek által felfedezett összefüggések azonban nem garantáltan tükrözik a valós ok-okozati összefüggéseket [6]. Számos esetben ezen modellek interpretációjától azt remélik, hogy jobban feltárhatók a gépi tanulási modellek által feltárt összefüggések, majd ezek alapján hipotézisek generálhatók, melyet a szakemberek tesztelni tudnak.

Mobilitás. Az emberek képesek a megtanult információkból általánosítani, és egy más környezetben is alkalmazni őket. A gépi tanulási modelleket is számos esetben alkalmaznak változó környezetben, amely esetekben gyakran érvénytelen lesz a modell predikció [6]. Az értelmezhetőségi módszerek támogathatják a modellek mobilitását, változó környezetben való alkalmazását, hiszen megkönnyíthetik a modellt befolyásoló akadályok felismerését [1].

Informativitás. Sok esetben a gépi tanulás célfüggvénye a predikciós hiba minimalizálása, a való életbeli cél pedig inkább az, hogy hasznos információt nyerjünk ki a modellből. Az egyes értelmezhetőségi módszerek informatívak lehetnek akkor is, ha nem fedik fel a modell belső működési mechanizmusát [6].

Etikus döntéshozás. Az értelmezés előállítása megkönnyítheti annak a vizsgálatát, hogy az egyes algoritmusok megfelelnek-e az etikai követelményeknek [6].

A fent említett motivációs tényezőkön túl az értelmezhetőség számos további ok miatt jövedelmező lehet. Az értelmezhetőségi módszerek által az egyes mesterséges intelligencia alkalmazások végfelhasználói is jobban bevonva érezhetik magukat, hiszen nem technikai oldalról érkező szakemberek számára is megérthetővé válnak a modellek. Az interpretálhatósági eszközökkel részletesebben vizsgálható az egyes modellek predikciójának stabilitása is [1].

Módszerek

A gépi tanulási modellek értelmezhetőségi módszereinek egy lehetséges csoportosítása az ante-hoc és a post-hoc módszerek megkülönböztetése [3]. Az ante-hoc metódusok azon modelleket takarják, amelyek eredendően értelmezhetők. Itt a különböző módszereket és modelleket egy újabb fogalom, a transzparencia, árnyalhatóság mértéke szerint tovább bontják [1]. Definíció szerint eredendően értelmezhető modellnek tartják a lineáris és logisztikus regressziót, a k-legközelebbi szomszéd algoritmust és számos más rule-based algoritmust. A döntési fákat is lehet értelmezhetőnek tekinteni, az értelmezhetőségnek azonban gátat szab a fa komplexitása és mélysége.

A post-hoc értelmezhetőségi módszerekkel eredendően nem értelmezhető modellekbe nyújtanak bővebb betekintést. Néhány post-hoc megközelítést mutat a 2. ábra. A post-hoc módszerek tovább bonthatók globális és lokális magyarázatokat adó módszerekre. A globális módszerek a modell egészéről szolgáltatnak információt, míg a lokális módszereket egy-egy megfigyelésre vagy adatsorra adott modell predikció magyarázatát árnyalják. Néhány ilyen módszer a következő:

Globális magyarázhatósági módszerek:

• szöveges és vizuális magyarázatok,
• permutációs fontossági mutató (permutation importance),
• közelítő modellek (surrogate models) [2],
• PDP, ICE [7].

Lokális magyarázhatósági módszerek:

• LIME (Local Interpretable Model-Agnostic Explanations) [8],
• SHAP (SHapley Additive exPlanations) [9].

Számos további módszert találunk a hivatkozott szakirodalomban [1] [2].

Lehetőségek és kihívások

A magyarázható mesterséges intelligencia (XAI) használatára változatos okokból lehet szükség, és a magyarázhatósági módszerek is igen sokszínűek. A módszerek fejlesztése előtt számos kihívás áll, ezek közül az egyik legtöbbet emlegetett probléma a modell értelmezhetősége és teljesítménye közötti dilemma (tradeoff between interpretability and performance) [1]. A dilemmát jól szemlélteti a 3. ábra, ahol látható, hogy általában az egyszerűbb, rosszabbul teljesítő modellek értelmezhetőek. Ha a minél nagyobb pontosság elérése a célunk, akkor fel kell hagynunk az értelmezhetőség vágyával és komplexebb, ám jobban teljesítő fekete-doboz modelleket kell választanunk. Természetesen ez nem kőbe vésett állítás, hiszen egy komplexebb modell nem feltétlenül lesz pontosabb egy egyszerűbb modellnél. A 3. ábrán látható lejtő azonban általánosan megfigyelhető kompromisszumot követel az értelmezhetőség és a performancia között, melyet a jövőbeli XAI kutatások ellapíthatnak vagy teljesen el is tüntethetnek.

További jövőbeli kihívás egy olyan koncepció vagy metrika létrehozása, mellyel megadható, hogy egy modell mennyire felel meg a magyarázhatóság követelményeinek. Enélkül egyetlen ezen téma kapcsán hozott állítást sem lehet szilárd alapokra helyezni. A szakirodalom azt javasolja, hogy ki kell értékelni az XAI módszereket a jóság, a hasznosság, a magyarázatokkal való elégedettség, a magyarázatok performanciára való hatása, és a bizalomra hatás szempontjából is [1].

Az XAI szerepe a titoktartás, bizalmas információk és a céges tulajdon terén sem tisztázott. Képzeljünk el egy modellt, melyet egy cég évekig fejlesztett és kutatott. A modell által megszerzett tudás céges tulajdonnak, bizalmasnak tekinthető. Az ilyen esetekben további kutatásokra van szükség, hogy olyan XAI módszerek álljanak rendelkezésre, melyek képesek a modellt megmagyarázni, de figyelembe tudják venni a modell titkosított jellegét is [1].

A gépi tanulási módszerek értelmezhetősége az utóbbi években politikai döntések kapcsán és az adatpolitikában, adatvédelemben is előtérbe került. Ma már az EU-ban vannak szabályozások, melyek az egyéneknek jogot adnak a magyarázathoz (right to explanation), ha az őket érintő döntés az adataikat használva született. A GDPR (General Data Protection Regulation) pedig megvédi az EU lakosok adatait az adatok feldolgozási helyétől függetlenül. Az EU polgárok kérhetik az adatok helyesbítését, törlését és az adatfeldolgozást is korlátozhatják.  Az egyes adat alanyoknak, akiket automatizált döntéseknek tesznek ki, ma már van „nondiszkriminációs joga” (right to nondiscrimination), azaz az ilyen döntéseket hozó rendszereknek tudnia kell informálni az egyes alanyokat a döntéshozás okairól [10]. Ezen szabályozások nyomán lehet számítani arra, hogy a jövőben egyre több helyen szükség lesz az alkalmazott fekete-doboz döntéshozó modellek magyarázatára, értelmezhetőségére.

Az utóbbi években számos cég és szervezet adott ki irányelveket arra vonatkozóan, hogy hogyan kell használni a mesterséges intelligenciát. Ezen szabályok és irányelvek az XAI területén is hasonlóan megfogalmazhatók, egyesek ezen törekvések végcéljának a felelősségteljes mesterséges intelligencia (Responsible AI) elérését fogalmazzák meg. A felelősségteljes AI törekvések adatbiztonsági, korrektségi, pártatlansági szempontból is irányelveket fogalmaznak meg az AI számára. Az XAI technológiák ezen területek mindegyikére nagy hatással lehetnek a jövőben.

Irodalomjegyzék

[1] A. B. Arrieta, N. Díaz-Rodríguez, J. D. Ser, A. Bennetot, S. Tabik, A. Barbado, S. Garcia, S. Gil-Lopez, D. Molina, R. Benjamins és F. H. Raja Chatila, „Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI,” Information Fusion, %1. kötet58, pp. 82-115, 2020.

[2] Molnar, G. Casalicchio és B. Bischl, „Interpretable Machine Learning – A Brief History, State-of-the-Art and Challenges,” in ECML PKDD 2020 Workshops. ECML PKDD 2020. Communications in Computer and Information Science, vol 1323. Springer, Cham., 2020.

[3] Antoniadi és Y. Du, „Current Challenges and Future Opportunities for XAI in Machine Learning-Based Clinical Decision Support Systems: A Systematic Review,” Appl. Sci., p. 5088, 2021.

[4] G. Baryannis, S. Dani és G. Antoniou, „Predicting supply chain risks using machine learning: The trade-off between performance and interpretability,” Future Generation Computer Systems, %1. kötet101, pp. 993-1004, 2019.

[5] S. Das és I. Tsapakis, „Interpretable machine learning approach in estimating traffic volume on low-volume roadways,” International Journal of Transportation Science and Technology, %1. kötet9, %1. szám1, pp. 76-88, 2020.

[6] Z. C. Lipton, „The Mythos of Model Interpretability,” in CML Workshop on Human Interpretability in Machine Learning (WHI 2016), New York, NY, 2016.

[7] C. Molnar, Interpretable Machine Learning, 2019.

[8] M. T. Ribeiro, S. Singh és C. Guestrin, „”Why Should I Trust You?”: Explaining the Predictions of Any Classifier,” in Association for Computing Machinery, New York, NY, USA, 2016.

[9] S. M. Lundberg és S.-I. Lee, „A Unified Approach to Interpreting Model Predictions,” in Advances in Neural Information Processing Systems, Curran Associates, Inc., 2017.

[10] B. Goodman és S. Flaxman, „European Union Regulations on Algorithmic Decision-Making and a “Right to Explanation”,” AI Magazine, %1. kötet38, %1. szám3, pp. 50-57, 2017.