deep learning

Hoe zet je deep learning in om de kwaliteit van appels te bepalen?

Jaarlijks worden er in Nederland miljoenen appels geoogst die voordat ze naar de consument gaan, gesorteerd moeten worden. Dit gebeurt deels door de sorteermachine en deels met de hand. Twee studenten van Fontys stellen op basis van hun onderzoeksbevindingen dat het met behulp van deep learning mogelijk moet zijn om de kwaliteit van appels te bepalen en de appels vervolgens op basis van deze factoren te scheiden. De machine zorgt er met een rollenbaan en sorteercamera’s voor dat de appels met de juiste maten door de juiste uitgangen naar buiten komen. Het is vervolgens mensenwerk om de appels op de kwaliteit te controleren.

Het leek mij dat de ergste overtreders vaak autobedrijven en hun toeleveranciers waren. De softwareontwikkelingsteams in deze organisaties leken vast te zitten in een soort door-de-kijk-glazen-wereld die Autosar heet, waar gewone woorden en concepten een andere betekenis leken te hebben. Wanneer we spraken over event-driven, service-georiënteerde systemen, kregen we vaak blanco blikken te zien. Ik kon de aard van het probleem of de communicatiekloof nooit helemaal doorgronden. En zo kregen we nooit voet aan de grond in de autowereld.

In het kort

Felix van der Heijden en Jelle Stappers, destijds vierdejaars studenten mechatronica van Fontys Hogeschool Techniek & Logistiek in Venlo, onderzochten in opdracht van Fruitteeltbedrijf Stappers Baarlo of het sorteerproces op kwaliteit van appels kon worden geautomatiseerd. Daarbij wilden ze gebruikmaken van de techniek deep learning. Deep learning is een vorm van artificial intelligence, waarmee objecten automatisch gedetecteerd kunnen worden. Dit wordt gerealiseerd door een camera met een deep learning-applicatie in de sorteermachine te plaatsen, waardoor de machine zelf de goede van de slechte appels kan onderscheiden. Hierna kan het acties uitvoeren om op kwaliteit te sorteren.

Labels en weights

Om objecten te kunnen detecteren, moet de software eerst weten hoe het desbetreffende object eruit ziet. Hiervoor worden objecten gelabeld. In dit geval ging het om appels en kwaliteitsfactoren, waarvan de labels vervolgens aan het deep learning algoritme gegeven worden, zodat het systeem kan ‘trainen’. Tijdens deze training worden afbeeldingen met elkaar vergeleken om gewichten (weights) toe te kennen aan allerlei eigenschappen, zoals kleur en vorm. Het uiteindelijke resultaat is een “classes”- en een “weight”-bestand waarmee het algoritme objecten kan herkennen.

Er werd gekozen voor de software / deep learning applicatie Yolo (you only look once), omdat hiervan al kennis was opgedaan. In combinatie met Qt Creator (een Integrated Development Environment) zou het mogelijk moeten zijn om de kwaliteit van appels te detecteren.

“Om appels te kunnen herkennen moest eerst een dataset gemaakt worden. Om dit zo nauwkeurig mogelijk te doen is gebruik gemaakt van de praktijksituatie met camera.”

Van Yolo naar Tensorflow

Er werd besloten over te stappen van Yolo naar Tensorflow, omdat dit systeem meer ondersteuning biedt en meer gebruikt wordt. In Tensorflow zijn meerdere neurale netwerken beschikbaar. Voor het testen werd Mobilenet gebruikt. Het detecteren van objecten in een afbeelding duurt bij dit netwerk 20 ms. Vervolgens zijn twee datasets gerealiseerd: een om de appels te detecteren en een dataset om de kwaliteit te detecteren. Tensorflow bleek beter te zijn in het detecteren van individuele appels, maar door gebrek aan data van afgekeurde appels was het niet mogelijk om alle kwaliteitsfactoren goed te kunnen detecteren.

Kansen voor de toekomst

Uit het onderzoek concluderen de studenten dat Tensorflow geschikter is om te gebruiken in het bedrijfsleven. Het systeem wordt beter ondersteund en is robuuster dan Yolo en het werkt sneller en nauwkeuriger. Door het ontbreken van een grote en gelijkmatig verdeelde dataset is de voorspelling van beschadigingen binnen dit onderzoek niet gelukt. De studenten geven aan dat dit te verbeteren is door een dataset te maken waarbij elke class uit evenveel labels bestaat. Ze zijn hier zelf niet meer aan toegekomen.

De conclusie is hoopvol: op basis van de bevindingen uit het onderzoek moet het mogelijk zijn om met behulp van deep learning de kwaliteit van appels te bepalen en de appels op basis van deze factoren te scheiden.

Tips

Fontys Expertisecentrum High Tech Systems en Materials (HTSM) verbindt Fontys studenten en onderzoekers met hightech bedrijven in het Brainportgebied.

Samen verrichten zij toegepast onderzoek en ontwikkelen zij innovatieve technologieën die zowel het onderwijs als het bedrijfsleven ten goede komen. Daarnaast biedt het Expertisecentrum HTSM verschillende vormen van levenslang leren voor professionals die werkzaam zijn in de hightech sector.

Willem: ,,We weten echter dat succesvolle AI-projecten meer vereisen dan alleen technologie. De beste oplossing bereik je alleen samen met de klant!” En dat is dan ook meteen de uitdaging voor alle bedrijven: hulp inschakelen!

Fontys: Een omvangrijke en brede publieke hogeschool

Fontys Expertisecentrum HTSM verbindt Fontys studenten en onderzoekers met hightech bedrijven in het Brainportgebied
nl_NLDutch