Minder vertraging, kostenreductie, een hogere betrouwbaarheid, meer privacy en veiligheid. Zie daar de voordelen van het toepassen van Edge-AI, bijvoorbeeld in industriële automatisering, de gezondheidszorg en slimme mobiliteit. Joost Sannen: ‘Edge-AI brengt enorme kansen. Sioux Technologies maakt die waar voor klanten, door het combineren van onze unieke competenties op het gebied van mathware, software en elektronica.’
Kunstmatige intelligentie (AI) neemt een vlucht. Machines kunnen in toenemende mate complexe taken uitvoeren die voorheen aan mensen waren voorbehouden, zoals leren, redeneren en problemen oplossen. Dit gebeurt met behulp van grote datasets en algoritmes, veelal in de cloud, een globaal netwerk van datacenters waar gegevens worden opgeslagen, beheerd en verwerkt.
Embedded devices
‘We spreken van AI wanneer een computer zich voordoet als iets dat intelligent is’, aldus Sannen, Senior Software Architect bij Sioux. ‘Een populaire manier om dat te bewerkstelligen is machine learning (ML). Daarbij train je wiskundige modellen, één van de zaken waarin wij heel erg goed zijn. Bij Edge-AI worden die getrainde modellen aan de rand van de cloud gebruikt, onder andere in mobiele apparaten en op lokale servers, ‘intelligent’ gedrag te realiseren. Bij Sioux ondersteunen we onze klanten vaak bij de ontwikkeling van grensverleggende technologie; productiemachines, analytische systemen, medische hulpmiddelen, autonome voertuigen... Hebben wij het over Edge-AI, dan hebben we het dus al snel over het slimmer maken van embedded devices.’
Toenemende dreiging
Waarom gebruik maken van Edge-AI in plaats van de cloud? Sannen begin met het belang van privacy; gevoelige gegevens afschermen voor derden. ‘Wil je dat alle ruwe data over de performance van je fabriek elders terechtkomt, bijvoorbeeld op een Amerikaanse cloud server, of die toch liever voor jezelf houden? In het verlengde daarvan is er de toenemende dreiging op het gebied van cybersecurity. Middels Edge-AI verklein je het aanvalsoppervlak - alle mogelijke manieren die een kwaadwillende heeft om een digitaal systeem te benaderen - significant.’
Milliseconden
Nog een voordeel van Edge-AI is minder latentie; de tijd tussen het beschikbaar zijn van gegevens en het resultaat na verwerking van die gegevens. Met Edge-AI kan enorm aan snelheid worden gewonnen. Sannen: ‘Neem bijvoorbeeld kwaliteitscontrole tijdens massaproductie met een hoge doorloop. Moet de verwerking in millisecondengebeuren, dan helpt het niet als je informatie eerst naar de cloud moet sturen. Hetzelfde geldt onder andere voor ruisonderdrukking van gehoorapparaten of automatische remsystemen van auto’s. Die moeten realtime functioneren.’
Duurzamer en kostenbesparend
Datacenters zijn momenteel goed voor één procent van het wereldwijde stroomverbruik. Het komende decennium wordt dit naar verwachting vier keer zoveel, mede vanwege de benodigde rekenkracht door de AI-revolutie. ‘Edge-AI is wezenlijk energie-efficiënter dan gebruik maken van de cloud; duurzamer dus en operationeel kostenbesparend’, aldus Sannen. ‘Het betekent bovendien minder gevoeligheid voor netwerkstoringen en dus meer betrouwbaarheid.’
Model en data
Welke uitdagingen gaat Sioux aan bij het implementeren van Edge-AI? Allereerst die van fysieke beperkingen vertelt Sannen. ‘Embedded devices zijn meestal gelimiteerd in hun rekenkracht, hebben soms een batterij als energiebron. Hoe kun je er dan toch iets nuttigs doen met AI? Deze technologie is traditioneel niet geoptimaliseerd op energieverbruik. Daarnaast komen klanten vaak bij ons met hun eigen model. Zij ontwikkelen dan de architectuur en verzorgen de training zelf. Dat model en de benodigde data, wordt vaak beschouwd als core en is niet bedoeld voor onze ogen. Het is een leuke uitdaging om ook zo’n model in productie te kunnen nemen.’
Trade-offs
Er zijn vele soorten embedded hardware voor Edge-AI beschikbaar; neural processing units zoals Nvidia TensorCore, Hailo en NXP eIQ. Die kennen ieder hun eigen beperkingen en pluspunten, bijvoorbeeld wat betreft efficiëntie, snelheid en functionaliteit. De juiste keuze en soms ook updates doen is essentieel voor het optimaal toepassen van Edge-AI. Sannen: ‘Ook dat maakt ons werk uitdagend. Bovendien zijn er altijd trade-offs. We willen een device bijvoorbeeld zo klein en goedkoop mogelijk maken. Hoe kun je die optimaliseringsslagen maken zonder verlies van de gewenste nauwkeurigheid? Dat is iedere keer weer een technologisch kunststukje.’
Trainen en uitrollen
Sioux heeft diverse competenties in huis die het bedrijf tot een specialist in Edge-AI maakt. Zo focust de mathware-afdeling vooral op het trainen van modellen en ML Ops: het trainen en uitrollen van efficiënte en betrouwbare machine learning-modellen. Verder doet die technisch onderzoek, bijvoorbeeld naar hardware-versnellers met field-programmable gate arrays, oftewel FPGA. De embedded software-specialisten van Sioux richten zich op de connectie tussen de hardware en het model, en de keuze van de hardware die de modellen uitrekent. Het optimaliseren van het model zodat het met de juiste snelheid functioneert, is meestal een gemeenschappelijke activiteit.
Oververhitting
Sannen: ‘Onze elektronica-experts zorgen voor efficiënte executie-units, de hardware die nodig is voor een optimale integratie van Edge-AI. Een bijzondere uitdaging daarbij is het garanderen van voldoende rekenkracht terwijl de energie- en temperatuurhuishouding op orde is; Dat wij alle specialiteiten in huis hebben - mathware, software en electronics - en interdisciplinair werken maakt ons bijzonder. Zo halen we het maximale uit Edge-AI voor onze klanten, bijvoorbeeld Nemo Healthcare.
Factor 100
De NFMS van Nemo Healthcare monitort het welbevinden een ongeboren kind op basis van elektrofysiologische signalen. Zo kan bijvoorbeeld te laat ingrijpen als er iets misgaat tijdens de zwangerschap worden voorkomen. Deze functie wordt met behulp van Edge-AI gerealiseerd. Sioux wist het initiële model van deze klant te versnellen met een factor 100. Nog een project waarbij Sioux betrokken is - één van de velen - betreft het vaststellen van een embedded architectuur voor het ontwikkelen van een coöperatief connected geautomatiseerd mobiliteitssysteem voor zelfrijdende voertuigen.
Enorme kansen
Sannen: ‘AI en machine learning zijn niet nieuw. Deze ontwikkelingen lopen al decennia en waren lang het domein van een paar frontrunners. De afgelopen vijf jaar neemt deze technologie echter een vlucht. Vrijwel iedere klant van Sioux is er mee bezig; denkt erover na of doet er al wat mee. Edge-AI maakt realtime toepassingen mogelijk en niet alleen voor de medische industrie en de automotive. Zo kan Edge-AI ook worden ingezet voor de monitoring van productieprocessen en voorspellend onderhoud, het analyseren van materialen en biologische samples in analytische instrumenten, controleren van gewassen op gezondheid en optimaliseren van decentrale energiedistributie. De mogelijkheden zijn kortom ongekend. Edge-AI is een revolutionaire technologie, brengt industrieën nieuwe kansen en Sioux help hen die te verzilveren.’
