Nieuwe ontwikkelingen in de verwerking van dronebeelden bieden goede kansen voor toepassing in de watersector. KWR ontwikkelde een objectherkenningsmethode waarmee dergelijke beelden kunnen worden omgezet naar vegetatieklassen.
Download hier de pdf van dit artikel.
Remotely Piloted Aircraft Systems (RPAS), in de volksmond doorgaans ‘drones’ genoemd, komen steeds goedkoper op de markt. Tegelijkertijd heeft de ontwikkeling van sensoren voor het vastleggen van verschillende aspecten van het aardoppervlak een enorme vlucht genomen. Deze ontwikkeling biedt diverse mogelijkheden voor monitoring, modellering en beheer van terreinen en natuurgebieden. Dit artikel richt zich in het bijzonder op de Nederlandse drinkwaterbedrijven, die gezamenlijk een groot areaal aan natuurgebieden beheren.
Het aanbod aan bedrijven dat hogeresolutiebeelden kan inwinnen is groot en groeiende. De verwerking van deze beelden in voor de watersector relevante toepassingen staat echter nog in de kinderschoenen. KWR Watercycle Research Institute heeft, gefinancierd vanuit het collectieve onderzoeksprogramma van de drinkwaterbedrijven, onderzocht welke toepassingen voor deze sector het meest relevant zijn. Vervolgens is een van deze toepassingen, het omzetten van RPAS-beelden naar vegetatieklassen, uitgelicht en verder uitgewerkt tot een operationele methode.
Afbeelding 1. De RPAS van KWR in actie. Bron: HEIGHT technologies, Lienden
Toepassingsmogelijkheden van RPAS voor de watersector
Hoewel een aantal Nederlandse drinkwaterbedrijven (WML, Waternet) RPAS reeds in hun bedrijfsvoering heeft omarmd, is de toepassing van deze relatief nieuwe technologie zeker nog niet bij alle waterbedrijven dagelijkse kost. Wel is er in deze sector veel interesse voor dit onderwerp. Uit een inventarisatie van toepassingsmogelijkheden onder medewerkers uit de watersector blijken de volgende onderwerpen het meest kansrijk:
- monstername ten behoeve van de bepaling van de oppervlaktewaterkwaliteit;
- monitoring van o.a. blauwalgen en dijkvegetatie;
- handhaving: o.a. opsporen van illegale lozingen, binnenwaterbeheer, milieuinspecties, openbare orde en veiligheid;
- assetmanagement: verdroging van dijken, opsporen van leidinglekkages;
- 3D mapping: o.a. overstromingssimulaties;
- objectherkenning en -tellingen: o.a. vegetatieklassen en –structuur, tellingen van vee en verspreiding van dierlijke uitwerpselen;
- vegetatiekundige toepassingen: karteren van standplaatscondities in natuurgebieden, vaststellen van hoogtes en arealen van o.a. vegetatieklassen en overstromingszones;
- (eco)hydrologische toepassingen: opsporen van kwelgebieden, in kaart brengen van grondwaterstanden en bodemvocht.
Uitwerken van methode voor objectherkenning
Van bovengenoemde toepassingsmogelijkheden is één onderdeel geselecteerd dat voor een onderzoeksinstituut als KWR zeer relevant is: objectherkenning van vegetatieklassen, met als onderzoeksgebied de Hoge Veluwe. Een goede vegetatiekaart is niet alleen van belang voor het natuurbeheer, maar ook voor het zo juist mogelijk berekenen van de verdamping en daarmee van de grondwateraanvulling. Het doel van het onderzoek was het ontwikkelen van een methode om RPAS-beelden om te zetten naar een aantal standaard vegetatieklassen.
Het uitvoeren van een dergelijke objectherkenningsmethode is geen sinecure, omdat de hele keten van verwerkingsstappen (het inwinnen van beeldmateriaal, het (voor)bewerken van deze beelden, het verzamelen van referentiegegevens (bijvoorbeeld handmatige waarnemingen in het veld) en het classificeren van de uitkomsten) uiteindelijk de kwaliteit van het eindresultaat bepaalt. Zo dient de camera op de RPAS correct ingesteld te zijn (denk aan sluitertijden, lichtgevoeligheid, beeldstabiliteit) en moet de piloot een ideale vlieghoogte en -snelheid handhaven om scherpe en onvervormde beelden te verkrijgen. Vervolgens dienen alle individuele beelden aan elkaar gezet te worden (‘stitchen’). Daarna begint de omzetting van de ruwe, pixel-gebaseerde beelden naar digitale kaarten die ingedeeld zijn in vegetatieklassen. De classificatie kan worden uitgevoerd op basis van verschillende terreineigenschappen, zoals bijvoorbeeld het type landgebruik, afmetingen en vorm van de bladeren en de droogtegraad. Deze gehele keten van verwerkingsstappen is in dit project uitgewerkt en getest. De verschillende stappen worden in de volgende paragrafen beschreven.
Literatuuronderzoek naar beschikbare classificatiemethoden
Om een ‘state-of-the-art’ objectherkenningsmethode te ontwikkelen, is allereerst een literatuuronderzoek uitgevoerd. Hieruit bleek dat dit onderwerp volop in ontwikkeling is. Van de hierboven geschetste keten bestaan vooral over de classificatiemethoden veel recente publicaties. Hierbij worden drie verschillende manieren van classificatie onderscheiden:
1) ‘pixel-based’ classificatie
Deze op pixels gebaseerde aanpak is in feite het eenvoudigst. Hierbij worden simpelweg de kleurwaarden van elke pixel op de foto gebruikt om het vegetatietype te bepalen. Deze methode houdt echter geen rekening met de ruimtelijke samenhang van de pixels, dus met ruimtelijke texturen zoals boomkronen en percelen.
2) ‘image segmentation’
Deze aanpak is al een stap geavanceerder dan de pixel-based classificatie. Hierbij probeert men vooraf het beeldmateriaal in objecten in te delen (te segmenteren) en de objecten daarna afzonderlijk te classificeren. Nadeel van die aanpak is echter dat een classificatie-algoritme om tot segmentatie te komen, voor elk vegetatietype of gewas anders ingesteld moet worden (afhankelijk van de kleurcontrasten en grootte van de begroeiing).
3) ‘patch-based feature extraction’
Dit is de meest recent ontwikkelde, maar meteen ook de meest ingewikkelde aanpak. ‘Patch-based’ wil zeggen dat van het beeldmateriaal eerst kleine uitsneden worden gemaakt (‘patches’). Van deze uitsneden worden vervolgens de eigenschappen (‘features’) bepaald en deze informatie wordt daarna gebruikt om het uiteindelijke classificatiealgoritme te voeden. Op deze aanpak heeft KWR de objectherkenningsmethode gebaseerd.
Ontwikkeling en toetsing objectherkenningsmethode
Om te komen tot een goed onderbouwde objectherkenningsmethode waren verschillende stappen en onderdelen noodzakelijk. Dit waren:
- Een procedure voor het inwinnen en corrigeren van beelden met behulp van de KWR-drone en sensoren.
De gewenste grondresolutie per pixel is mede bepalend voor de vlieghoogte en opnamefrequentie. Dit wordt met vluchtplanningssoftware berekend, omgezet naar een patroon van vliegstroken en daarna naar het besturingssysteem van de RPAS geüpload. Voorafgaand en aansluitend aan elke vlucht wordt ook een controle- (calibratie-)paneel opgenomen met de betreffende sensor. De beelden van dit calibratiepaneel worden gebruikt om na de vlucht de beelden van het terrein te corrigeren voor de lokale lichtomstandigheden in de opgenomen golflengtespectra (rood, groen, blauw, ‘red edge’ (licht met golflengte van ca. 720 nm) en ‘near-infrared’ (golflengte 750-1400 nm). Dit wordt een radiometrische correctie genoemd.
- Een procedure voor het verwerken van grote aantallen, elkaar overlappende, beelden tot één samengesteld beeld.
Hiervoor is de Agisoft Photoscan-software gebruikt, waarbij eerst een 3D-puntenwolk wordt gegenereerd op basis van overeenkomstige pixels in de overlappende beelden. Dit is mogelijk omdat bij elk beeld de positie van de sensor onder de drone via GPS wordt geregistreerd. Op basis van deze puntenwolk wordt een digitaal model van het terrein gemaakt. Dit kan vervolgens weer vereenvoudigd worden tot één samengesteld 2D-beeld. Door gebruik te maken van controlepunten met bekende coördinaten op de grond, wordt dit samengestelde beeld in een Geografisch Informatiesysteem (GIS) op de werkelijke ruimtelijke positie geplaatst.
- Scripts voor het uitvoeren van classificatie van vegetatieklassen
Zoals hierboven vermeld, is de ‘patch-based feature extraction’-methode het meest geschikt voor objectherkenning van RPAS-beelden. Om de ingewonnen beelden met de vijf golflengtespectra te kunnen classificeren, heeft KWR zelf een computerprogramma geschreven. Dit programma automatiseert de textuuranalyse en voert de data automatisch aan een zogenoemd ‘Random Forest’-classificatiealgoritme.
- Prestatietest van de onder (3) genoemde scripts op satellietbeelden en RPAS-beelden
De objectherkenningsmethode voor vegetatieklassen is toegepast op de RPAS-beelden van een deel van de Hoge Veluwe (zie afbeelding 2). Beoogd werd de volgende klassen [1] te kunnen onderscheiden: ‘kale grond’, ‘grasland’, ‘struiken’, ‘naaldbos’, ‘loofbos’, en ‘gemengd bos’.
Afbeelding 2. De roze gebieden geven aan waar de RPAS-beelden zijn ingewonnen. De classificatie is uitgevoerd op het deel dat is gemarkeerd met het lichtgroene vierkant
Afbeelding 3 geeft het eindresultaat van deze toepassing. Deze methode bleek de verschillende vegetatieklassen op een betrouwbare wijze in beeld te brengen. Dergelijke beelden kunnen vervolgens worden gebruikt voor monitoring en beheer van (natuur)gebieden.
Afbeelding 3. De originele RPAS-beelden (links) zijn middels de objectherkenningsmethode geclassificeerd naar verschillende vegetatieklassen. De stippen in de linker figuur geven veldwaarnemingen aan die zijn gebruikt om de methode te ijken
Uitdagingen voor de toekomst
KWR heeft de meest recente wetenschappelijke ontwikkelingen op het gebied van classificatiemethodes vertaald naar een praktisch bruikbare objectherkenningsmethode om met RPAS ingewonnen beelden automatisch te vertalen naar vegetatieklassen. Hiermee is KWR nu in staat om het hele proces van informatie-inwinning en –verwerking op een wetenschappelijk degelijke manier uit te voeren.
Nu deze methode voor het vertalen van RPAS-beelden naar vegetatieklassen geslaagd is, is de uitdaging om ook andere toepassingsmogelijkheden van deze methode te onderzoeken. Hierbij kan bijvoorbeeld worden gedacht aan tellingen van dieren en bomen, maar ook aan het bepalen van oppervlakten van bepaalde vegetatieklassen.
Drones worden meer en meer ingezet voor het operationeel beheer van drinkwaterbedrijven. Dit artikel heeft laten zien dat dronebeelden ook kunnen worden gebruikt voor monitoring en beheer van waterwingebieden.
Referenties
- Simons, G., Heuff, F., Droogers, P. & Witte, J. (2016). Ontwikkeling en demonstratie van een prototype informatieproduct voor natuurbrandbeheersing (SVIPE-W); SBIR-Fase 2 eindrapport.
