Amikor nincs kész recept: egy K+F adatprojekt belülről

Minden lépcsőn szűrni is kell: kell legalább két alkalom, értékelhető kép, összehasonlítható pár. Sok ezer fotóból indulunk, de a végén a mintaszám a páciensek száma, nem a képeké, és az jóval kevesebb.

Ez a CRISP-DM üzleti megértés szakasza a gyakorlatban. Egy K+F projektben a kérdés felbontása nem egy workshop eleje, hanem a munka jelentős része.

Miért fontosabb a címke, mint a modell?

Mert a modell finomhangolása egy ponton túl nem segített, a jobb tanítóadat viszont igen.

Az első lépcsőnél a modellt csiszoltuk. Címke híján gyenge jelekből indultunk: egy önfelügyelt képi modell (a Meta DINOv3-ja) jellemzőiből és néhány biztos pontból ál-címkéket terjesztettünk ki a teljes képre. Ezután félig felügyelt tanítással próbáltunk általánosítani.

A hangolás a címkézés szabályain múlt: mekkora súlyt kapjon a vizsgált jellemző és az üres felület, és mennyire legyen biztos a modell abban, hogy egy terület üres, mielőtt annak címkézzük. Hetekig hangoltuk, de bárhogy állítottuk, nem volt elég a feladat pontos megoldásához. Ezt a küszöböt csak új adattal lehetett feltörni.

Az új adat: rakjunk össze képet, aminek ismerjük a címkéjét. Ahelyett, hogy a valós fotón találgattuk volna a címkét, ismert tartalmú darabokból mozaikképeket raktunk össze: sűrű, ritka és üres felületből, háttérből. Ezeken a címke a konstrukcióból adódik, képpontra pontosan. A modell nem a mozaikot tanulja meg, hanem a darabok textúráját. A valós fotón ugyanezek a textúrák vannak, csak más elrendezésben.

Ha a valós képeken új, tipikus hibát láttunk, nem hangoltunk tovább. Új, ismert címkéjű darabtípust tettünk a mozaikba, és a modell megtanulta.

Hogyan mérjük a haladást, ha nincs mihez mérni?

Zajpadlóval, amit már az első napon rögzíteni kell, és amihez minden módszert ugyanúgy mérünk.

A térképek megvoltak, de két alkalom összevetésénél kiderült, mekkora a felvétel zaja. Ugyanarról a páciensről ugyanazon a napon több fotó készül. Ezek között valódi változás nincs, a különbség csak a felvétel zaja: más szög, más fény, más telefon. Ez a zaj meglepően nagy, néha nagyobb, mint egy év valódi változása.

A mércénk ezért egy arány:

Ha ez az arány 1 körül van, a módszer nem lát többet a fényképezés zajánál. Sokáig itt tartottunk. A végső megoldás ötnél többre vitte.

Ez a szám nem a kezelés hatását méri, hanem azt, hogy a mérésünk egyáltalán lát-e valamit. Az előnyét az adja, hogy címke nélkül is számolható, és minden ötletet ugyanazzal a mércével tesz összevethetővé. A modellek őszinte kiértékeléséről korábbi sorozatunkban részletesen írtunk.

Mit tanultunk a zsákutcákból?

Azt, hogy a jó módszernek minden zavaró tényezőt egyszerre kell kezelnie. Hat különböző, elegáns geometriai módszer akadt el ugyanott, a zajpadlón.

Nem egyetlen közös hiba volt az oka. Mindegyikből hiányzott valami: volt, amelyik a szöget nem kezelte, és volt, amelyik az aznapi állapotot vagy az egyéni adottságokat hagyta figyelmen kívül.

Más módszereknél maga a feladat volt megoldhatatlan: a két fotó pontos egymásra illesztése, vagy egy részletből az egész felületre következtetni.

Közben egy szakértő nem illeszt térképeket. Ránéz két fotóra, és megmondja, melyiken jobb a helyzet, akkor is, ha más a szög vagy az aznapi állapot. Ezt kellett megtanítani a gépnek: hasonlíts, ne illessz.

A zsákutca egy K+F projektben nem kudarc, ha korán lezárjuk. Mivel minden ötletet ugyanazzal a mércével mértünk, gyorsan kiderült, ha egy irány nem vezet sehová.

Hogyan lesz összehasonlításból abszolút érték?

Úgy, hogy a modellt a folytonosság és a tranzitivitás megőrzésére kényszerítjük. Ez lett a második áttörés, és itt is a címkével kezdtünk.

Azt, hogy egy fotón mennyi a vizsgált jellemző, nehezen lehet megmondani. Azt, hogy két fotó közül melyiken több, sokkal könnyebben. A címkéző ezért mindig két képet lát, és csak relatív ítéletet mond: melyiken több, és mennyivel (egyforma, kicsit, sokkal).

A trükk az, hogy ebből abszolút értéket nyerünk ki. A modellnek két szabályt kell betartania:

• Tranzitivitás. Ha A-n több van, mint B-n, és B-n több, mint C-n, akkor A-n is több van, mint C-n, és a különbségek összeadódnak.
• Folytonosság. A „kicsit több” kisebb távolság, mint a „sokkal több”, és a hasonló képek közel kerülnek egymáshoz.

Ha a két szabály teljesül, a sok, egymást átfedő ítéletből egyetlen skála rajzolódik ki, és azon minden fotó saját értéket kap. Ha a 2. kép kicsit több, mint az 1., a 3. nagyjából annyi, mint a 2., a 4. pedig sokkal több, mint a 3., akkor a négy kép nemcsak sorba, hanem távolságra is elrendeződik. A címkézőnek közben egyszer sem kellett abszolút számot mondania.

A címkéző azt is megjelöli, mennyire más a két képen a szög, az aznapi állapot és az egyéni adottságok. Ebből a modell megtanulja, mely párok vethetők össze jól, így egyszerre kezeli mindazt, amin a geometriai módszerek egyenként elbuktak.

Meglepően kevés címke is elég: a nézőpont megtanításához kb. 200 címkézett pár kellett ahhoz, hogy a modell megbízhatóan megmondja, melyik kép készült inkább elölről.

Egy alkalom szintjét ezután úgy számoljuk, hogy minden képet minden korábbival összevetünk, és a hasonló körülmények között készült párok kapnak nagy súlyt. Minden szinten hibahatár is jár a becsléshez, a fotótól a páciensen át a teljes ügyfélkörig. Minden becsléshez megmutatható, mely képpárok vitték, így az orvos rá tud nézni.

Mi kell ahhoz, hogy a modellből alkalmazás legyen?

Egy címkéző alkalmazás, amit az ügyfél szakértői használnak, egy egységes felvételi protokoll és egy újratanítási kör, amit mi üzemeltetünk.

A modell annyit tud, amennyit a címkék. Ezért az első alkalmazás, ami élesbe ment, nem a mérés, hanem a címkéző. Az ügyfél szakértői a felhőben, egyetlen végigmenetben töltik ki az előre összeállított párokat. Néhány tervezési döntés, ami nélkül a címkék keveset érnének:

• Vakon. Nincs dátum, név, fájlnév, és véletlen, melyik kép kerül balra.
• Külön blokkban a mennyiség és a minőség, hogy az egyik ítélet ne színezze a másikat (halo-hatás).
• Rejtett ellenőrzés. Ismétlések és biztosan egyforma párok, normál párnak álcázva.
• Csak azt kérdezzük, amit gép nem tud mérni. A fényt, az élességet és a nagyítást a modell számolja.
• Okos válogatás. A meglévő modell előre kiválasztja a határeseteket, így a szakértő ideje oda megy, ahol a legtöbbet ér.
• Ismert különbség, rossz körülmények között. Egy egyértelmű pár egyik képét ugyanazon alkalom más szögű képére cseréljük. A különbség ismert, csak a szöget kell újra jelölni, és ezek a legtöbbet érő sorok.
• Adatvédelem. EU-s felhőrégió, álnevesített, metaadat nélküli képek.

A projekt közben az is kiderült, hogy a felvétel legalább annyit számít, mint a modell. Fény, szög, telefonbeállítás: amit a rendelőben egységesíteni lehet, azt nem kell utólag kiszámolni. A fotózási protokoll egységesítése legalább annyit ér, mint egy jobb modell.

És az adat az élesítés után sem áll meg. Egy új telefon, egy szoftverfrissítés vagy az évszak is látszik a fotókon. A modellbe ezért beépítettük a telefonmodell és a szezon hatásának korrekcióját, és figyeljük, mikor kell újratanítani. Sok adatprojekt pont itt bukik el, ezért az üzemeltetés nálunk nem a projekt utóélete, hanem a része.

A cél egy olyan eszköz, ami a fotókból becslést ad a változásról. Mi megmondjuk, szerintünk mi látszik, a döntés az orvosé.

Mire számíthat, aki ilyen projektbe vág?

Iterációkra, őszinte mérőszámokra és szakaszos eredményre, nem garantált végeredményre.

Ma ott tartunk, hogy a fotókból mérhető a változás: először jutottunk a zajpadló fölé. Az előrejelzésben, vagyis hogy előre megmondjuk, kinél fog működni a kezelés, még az elején vagyunk. Lehet, hogy ott szerény lesz az eredmény. Már az is érték viszont, ha kimutatható, hogy a változás egyáltalán mérhető.

Ha nálatok is van olyan kérdés, amire nincs kész recept, ezt várhatjátok tőlünk:

• Az első hetek a kérdés felbontásáról szólnak, nem a modellről.
• Már az elején megegyezünk a mércében, és minden kísérletet ahhoz mérünk.
• A zsákutcákat korán lezárjuk, és megmutatjuk, nem rejtjük el.
• Az eredmény szakaszos: előbb a mérés, aztán a következtetés.
• A végén alkalmazás áll, amit együtt üzemeltetünk és tanítunk újra.

Beszéljünk róla, vagy nézd meg, milyen szolgáltatásokkal segítünk az ötlettől az üzemeltetésig.