Deep Learning voor detectie van scheuren en barsten in bruggen

De meeste bruggen in België zijn gebouwd in de jaren zestig en zeventig. Dit betekent dat veel van die bruggen aan het einde van hun levensduur zijn of renovatie nodig hebben. Het inspecteren van betonnen bruggen op scheuren en andere defecten is een zeer complexe en tijdrovende taak. Vaak ontstaan scheuren op moeilijk bereikbare plaatsen, maar sommige bruggen bevinden zich op gevaarlijke locaties zoals boven of nabij een snelweg of treinsporen.

Daarom kijken steeds meer wegbeheerders naar autonome bruginspecties door drones. Deze drones, die rond de betonnen constructies vliegen, sturen een live-feed naar een AI-algoritme dat de beelden inspecteert en classificeert in barst/scheur - en niet-barst/scheur-regio's en de resultaten exporteert naar de gebruiker.

Precies dit type AI-algoritme is ideaal om kennis te maken met deep learning-methoden voor objectdetectie en om vaardigheden in de AI-wereld te 'voelen' en gebruiken voor real-life AI toepassingen.

Een blik op de data...

De eerste stap in de ontwikkeling van een oplossing is het analyseren van de gegevens. We hebben 300 afbeeldingen ontvangen van verschillende brugonderdelen met een of meer scheuren. Zoals je zal zien is er een grote variatie tussen de afbeeldingen en zijn de scheuren niet altijd even duidelijk. Dit zal problemen geven bij het trainen van een neuraal netwerk, vooral wanneer de dataset erg klein is zoals in dit geval.

Daarom hebben we ook gekeken naar bestaande databases van betonscheuren/-barsten, om meer en (vooral) eenvoudiger data te hebben. De gecumuleerde datasets stelden ons in staat om het trainen van een neuraal netwerk op te starten.

Er zijn twee diepgaande leermethoden toegepast om het probleem van scheurdetectie op te lossen: classificatie en segmentatie.

Classificatie

Door de grote klantafbeeldingen op te splitsen in kleinere (en meer monotone) beeldsegmenten, kunt u elke subafbeelding classificeren als "crack" of "no crack". Op deze manier verkrijgen we een ruwe locatie van de scheuren.

We gebruiken een klein, op maat gemaakt convolutioneel neuraal netwerk geïmplementeerd in Keras, met BatchNormalisatie en Relu-activering na elke convolutionele laag. De laatste laag is een softmax-voorspellingslaag, om toekomstige uitbreiding naar meerdere soorten oppervlakteschade mogelijk te maken.

Het netwerk wordt getraind met behulp van de grotere bestaande database, waarbij de beeldinvoergrootte van het neurale netwerk 128x128x3 is. De prestatiestatistieken voor deze dataset zijn natuurlijk erg hoog, met een cross-entropieverlies van 0,001 en een nauwkeurigheid van 99%. De echte kwaliteitstest is het classificeren van de meer gecompliceerde klantafbeeldingen.

Helaas geven deze slechte resultaten. Alles wat donkerder is dan de rest van de afbeelding, of veel randen heeft, wordt ook gedetecteerd. Dit is te verwachten, aangezien de trainingsbeelden veel eenvoudiger en veel monotoon zijn. Hopelijk geeft het segmentatienetwerk betere resultaten ...

Segmentatie

Een neuraal netwerk voor segmentatie classificeert elke pixel van de afbeeldingen. De output van het netwerk is een labelmap ter grootte van de originele afbeelding. Daarom wordt elke pixel gelabeld als "crack" of "geen crack".

Meestal worden encoder-decoderstructuren (weergegeven in de afbeelding) gebruikt om deze kaarten te verkrijgen, en dat is ook wat ik voor mijn netwerk ga gebruiken. De encoder gebruikt herhaaldelijk convolutielagen gecombineerd met poolinglagen om laagdimensionale beelden te verkrijgen. Daarna gebruikt de decoder upsampling- of deconvolutielagen om de oorspronkelijke dimensionaliteit van de afbeeldingen te herstellen.

We kozen ervoor om UNET aan te passen, oorspronkelijk gebruikt voor het segmenteren van biologische cellen. Als invoer wijzigen we de grootte van de clientafbeeldingen naar vierkante afbeeldingen van 512x512 en vervormen we ze dus.

Een geschiktere maat voor segmentatie is de dobbelsteencoëfficiënt, die ook kan worden gebruikt als verliesfunctie voor training. De dobbelsteencoëfficiënt is een maatstaf voor gelijkenis tussen twee afbeeldingen, in ons geval de grondwaarheidslabels en de voorspelde labels.

Het belangrijkste voordeel van segmentatie in plaats van een standaard classificatienetwerk is de testtijd. Omdat u een volledig beeld invoert in plaats van honderden kleinere segmenten te voorspellen, wordt de rekentijd enorm verkort, van een uur per afbeelding op ware grootte tot enkele seconden. Dit maakt een toekomstige integratie mogelijk met drones die realtime testresultaten nodig hebben.

Nu de resultaten: het segmentatienetwerk overtrof alle verwachtingen. Niet alleen worden de scheuren zeer nauwkeurig gelokaliseerd, bijna al het achtergrondgeluid wordt genegeerd. Deze methode bewijst echt zijn prestaties. Zelfs willekeurige afbeeldingen die op Google worden gevonden of afbeeldingen die voor ons te moeilijk waren om te annoteren, worden zonder problemen geclassificeerd!

Conclusie

Na trial en error bleek duidelijk dat de kwalitatieve prestatie van segmentatie voor het detecteren van scheuren in beton is even goed tot zelfs beter bleek dan de meer courante methoden voor het detecteren van scheuren.

Dit zorgt ervoor dat er sneller en meer controles kunnen gebeuren op onze bruggen, wat de veiligheid enkel maar ten goede komt. Nu kunnen de drones worden losgelaten ...

Bovendien brengt deze cases inzichten en even zeer mogelijkheden naar geheel andere industrieën en problemen... Dubbele herbruikbaarheid...