Er is een revolutie gaande in de wereld van beeldvorming. Traditionele camera’s bewijzen al decennialang trouwe dienst, bijvoorbeeld in allerlei producten en productieprocessen. Er is echter een new kid on the block: de eventcamera. Deze registreert veranderingen in pixels met een tijdresolutie van een microseconde. De belofte van deze nieuwe technologie is groot. Sioux brengt deze nu al naar de markt; de mogelijkheden zijn ongekend.

Er zijn vele soorten camera’s, allen met hun eigen specifieke features en toepassingsmogelijkheden. Zo worden RGB-camera’s in smartphones en bewakingssystemen gebruikt. Dieptecamera’s creëren een 3D-weergave van producten en de omgeving. Thermische camera’s worden bijvoorbeeld gebruikt voor industriële inspectie en koortsdetectie, machine vision-camera’s voor patroonherkenning en kwaliteitscontrole, multi-spectrale camera’s voor materiaalonderzoek…

Radicaal anders
‘Wat die traditionele camera’s gemeen hebben, is dat ze allemaal full frames maken op bepaalde momenten in de tijd’, aldus Elif Tasel, System Architect bij Sioux. ‘De eventcamera is nieuw en werkt radicaal anders. Hij maakt geen plaatje of een reeks plaatjes per seconde, maar reageert op zogenaamde events – registreert veranderingen in de lichtintensiteit van individuele pixels, bijvoorbeeld als gevolg van beweging. Alleen de informatie van die ene pixel wordt doorgestuurd van de camera naar de computer.

Daarmee lijkt de werking veel op die van onze ogen en hersenen, die in sterke mate reageren op veranderingen in onze omgeving.’

Asynchrone waarneming
Er wordt al lang aan de ontwikkeling van eventcamera’s gewerkt. Dat begon zo’n 40 jaar geleden. De eerste principes van asynchrone waarneming werden uitgewerkt met behulp van neuromorfe engineering, waarbij de werking van het menselijke retina - de lichtgevoelige laag aan de binnenzijde, achter in het oog - wordt nagebootst. In het eerste decennium van deze eeuw zagen de eerste prototypes van werkende silicon retina het levenslicht. Inmiddels is deze technologie in een nieuwe fase beland.

Geïndustrialiseerd product
Tasel: ‘In februari 2025 kwam de eerste echte eventcamera op de markt, gefabriceerd door IDS op basis van een sensor van Prophesee, die door Sony wordt gemaakt. Dit is dus geen betaversie of evaluatiekit voor wetenschappers, maar een geïndustrialiseerd product. Hiermee is de tijd van commerciële uitrol en applicatie ingeluid. Sioux is één van de frontrunners op dit vlak. We brengen deze techniek - onbekend en tot voor kort niet beschikbaar - nu al naar de markt. Zo kunnen we onze klanten verder helpen in het verleggen van hun technologische grenzen.’

Spaarzame data
Eventcamera’s faciliteren een betere realtime analyse met spaarzame data; ze genereren immers razendsnel informatie door alleen veranderende pixels in beeld te brengen. De discrete aard van deze events vereist echter ook een nieuwe benadering voor efficiënte dataverwerking - één die verschilt van traditionele fullframe-gebaseerde computervisie. Een combinatie van spiking neurale netwerken, die het spiking-gedrag van biologische neuronen direct modelleren en worden gezien als de volgende generatie kunstmatige neurale netwerken, kan bijzonder geschikt zijn voor het direct verwerken van eventgegevens.

Dynamisch bereik
Oksana Manyuhina, Principal Mathware Designer bij Sioux, noemt nog enkele grote voordelen van het gebruik van eventcamera’s. ‘Omdat gebeurtenissen een nauwkeurige tijdstempel hebben met een precisie van microseconden, kan snelle beweging worden gecompenseerd om blur te vermijden en details scherp te zien. Daarnaast hebben ze een hoge dynamische range, en kunnen ze middels pixelrespons zeer nauwkeurig details in donkere en lichte delen van een beeld meten. Ze werken dus goed in duisternis, maar bijvoorbeeld ook in omstandigheden waarbij er met behulp van een laser een verblindend plasma wordt gecreëerd. Bovendien zijn ze energiezuinig en veel goedkoper dan high-speedcamera’s.’

Toekomstige roadmap
Eventcamera’s openen de deur naar nieuwe meettechnieken; ze kunnen voor meer efficiëntie, snelheid en nauwkeurigheid van producten en productieprocessen zorgen. Wat maakt Sioux tot een specialist op dit vlak? Manyuhina en Tasel noemen allereerst het bijzondere karakter van het bedrijf. Er wordt niet alleen aan concrete opdrachten gewerkt, maar ook onderzoek gedaan; Sioux komt met innovatieve ideeën, ontwikkelt nieuwe kennis, verlegt technologische grenzen en maakt die realiteit voor klanten. Daarbij wordt niet alleen naar de behoeften van vandaag gekeken, maar ook naar de toekomstige roadmap. Daarnaast wijzen ze op het multidisciplinaire karakter van het bedrijf: het bijeenbrengen van mathware, software, elektronica, optica, en mechanica in integrale ontwikkeling.

Met zijn allen
‘Vanuit dat DNA was Sioux al even bezig met de mogelijkheden die eventcamera’s brengen’, aldus Manyuhina. ‘Zo onderzochten en creëerden we nieuwe wiskundige kaders en algoritmen voor de verwerking van event-stromen. We implementeerden die in software – inclusief spiking neural networks die de signalen van eventcamera’s afgeven – op edge-apparaten en geavanceerde optische opstellingen om het genereren van events te optimaliseren. Door het combineren van die geavanceerde algoritmen met gespecialiseerde hardware - field-programmable gate arrays (FPGA’s) en mogelijk neuromorfe chips - kunnen we een laag energieverbruik en een nog hogere verwerkingssnelheid realiseren. We doen het hier dus met zijn allen, waardoor we er het maximale uit halen terwijl we snelheid maken.’

Realtime inspectie
Bij Sioux lopen diverse projecten op het gebied van eventcamera’s, bijvoorbeeld op het gebied van realtime inspectie en monitoring van objecten op microscopische schaal - bewegend of oplichtend onder laserlicht. Zo’n systeem is inmiddels geaccepteerd door een klant die 3D-folies met complexe structuren maakt. Tasel: ‘Niemand deed dit eerder, op welke schaal dan ook. Dit gebeurt meestal achteraf met een microscoop in een statische omgeving.’ Daarnaast deed Sioux onderzoek naar het registreren van mechanische vibraties van metalen platen tijdens een productieproces, dit met het oog op voorspellend onderhoud.

Ongekend
Manyuhina: ‘En er komen nog meer projecten aan - wellicht op het vlak van de detectie van deeltjes en objecten en pluim- of vloeistofbewaking bijvoorbeeld. De mogelijkheden van eventcamera’s zijn - mits in handen van professionals - ongekend; het spiken van neurale netten, bewegingscompensatie, 3D-vormreconstructie, trillingsanalyse, nauwkeurige lokalisatie… Wij passen die reeds toe, verkennen de kansen en promoten event camera’s onder klanten die deze nog niet kennen of sceptisch zijn. Daarbij kiezen we niet alleen voor de voor de hand liggende applicaties, maar denken tevens out-of-the-box en pushen ook deze technologie en zijn toepassingen naar de limiet.

Model.Name