Pixel elemzés RGB értékek alapján

A következő képelemző kísérletet beadandó feladatként készítettem az egyetemen. Bemutatására elsősorban azért kerítek sort, mivel a feladat megoldásához Python kódokat használtam fel. Célom tehát, hogy bemutassam a gondolatmenetet és a kódok felhasználását. Annyit még hozzáfűznék ehhez, hogy a feladat csupán egy kísérlet, és elkészítésének elsődleges célja nem egy azonnal alkalmazható módszer létrehozása, hanem a problémamegoldás szemléltetése volt.

A kísérlet kiinduló kérdése, hogy miképpen lehet elkészíteni egy olyan program alapját, amely a pixelek RGB értékei szerint azonosítja a képen látható tárgyakat. A feladatban gyomnövények azonosításáról volt szó, ami tulajdonképpen egy valós probléma a precíziós mezőgazdaságban. A kísérlettel egyidőben a hiperspektrális képelemzés MI megoldásairól írtam dolgozatot, és abból a feltételezésből indultam ki, hogy egy lényegesen kisebb, három sávos RGB vizsgálat is alkalmas lehet bizonyos típusú problémák (pl. növények felismerése) megoldására. Persze ebben az esetben, már nem a spektrumok száma, hanem a különböző magasságokban történő felvételezések, változó időjárási körülmények, eltérő természetes fényviszonyok határoznák meg az adatmennyiséget.

A következőkben a probléma megoldását szemléltetem, az elemzett képek illetve az elemzést segítő kódok ismertetésével. A kísérletet nem mutatom be teljes részletességgel, ahogy az a dolgozatban szerepelt, ezért a hangsúly inkább a megoldás logikáján illetve a Python programnyelv alkalmazásán lesz.

1.

Mintapixel kiválasztása

A mintaképekeket (m1 és m2) egy drónnal, 10 méteres magasságból készült ortogonális képről választottam ki az alapján, hogy a képeken jól láthatóan gyomnövények vannak. Ezután úgy állapítottam meg a mintapixelt, hogy vettem a két mintakép RGB átlagát.

A def get_rgb(): kóddal a kiválasztott képen pixelről, pixelre (w*h) nyertem ki az RGB értékeket, melyeket Excelben, egy színmegjelenítő VBA szubrutin segítségével tettem láthatóvá. Ezzel elsősorban az volt a célom, hogy a színek közti különbség és a képen látható különböző objektumok (ez esetben növény – nem növény) közötti esetleges összefüggések jobban észrevehetők legyenek illetve az, hogy részletesebb dokumentáció készüljön a kísérlethez.

Miután az m1 és m2 mintakép pixeleit és a színűket is – az előző bekezdésben említett módon – dokumentáltam, kiszámítottam az RGB átlagukat. Ezzel tehát kaptam egy ideális RGB értéket vagyis egy mintapixelt.

Az átlagpixel kiszámításához nem saját függvényt használtam, hanem az alább látható kódot.

2.

Osztályozás

Az osztályozáshoz tehát egy ideális RGB-re volt szükség, amivel az alapkép más részletei is kiértékelhetőek, abból a szempontból, hogy milyen százalékos arányban reprezentálják ezt a mintát. (lásd a-b-c-jelű képek) Az ideális, mintapixeltől való eltéréséket egy egyszerű távolságmérő függvénnyel, az euklideszi távolsággal vizsgáltam. A következő kód az euklideszi távolságmérés két lehetséges implementációját mutatja be.

Az alábbi kód, a pixelek átlagtól való euklideszi eltérését vagy távolságát vizsgálja, három intervallumban. Ezek a [0;25] valamint [26;50] és végül [50; [ . A kísérlet során dokumentáltam a nagyobb euklidészi távolságokat is, de csak az első intervallum alapján vizsgáltam, hiszen ezek fejezték ki a legkisebb távolságokat, azaz ezek mutatták a legnagyobb hasonlóságot.

Ezek után a kiválasztott képen, három mintaképet vetettem vizsgálat alá. Az a-jelű képet, amely szemmel láthatóan nem reprezentálja a gyomnövényt, a b-jelűt, amely részlegesen reprezentálja illetve a c-jelűt, amely a legalkalmasabb a reprezentációra.

Majd ezeken a képeken vizsgáltam az ideális pixel (átlagtól való <=25 euklideszi távolságú) %-os előfordulási arányát. A próba eredményeképp, a c-jelű képen 40%-os reprezentációt kaptam, amiből végül arra a következtettem, hogy egy valóban működő módszer kidolgozásához még további kísérleteket kell elvégezni.

Az osztályozás eredményét reprezentáló ábra szintén Python függvénnyel készült.

Az ábrán jól látható, hogy az ideális pixelek a meghatározott RGB értékük alapján kapják színűket, míg a nem ideális pixelek jelölésére egy sárgás színt választottam.

Végül egy olyan függvény következik, melyet nem használtam fel a kísérletben, de hasznos lehet bármilyen pixelelemző feladathoz. Ez a függvény egy tetszőleges kép pixeleinek koordinátáit listázza a képernyőre.