Too little, too late

Even een stapje terug. In den beginne...was er weinig data. Te weinig data. De data die je wél had, moest je bovendien stockeren aan een torenhoge prijs. Om nog maar te zwijgen over de manier waarop data gecapteerd werd. Denk terug aan hoe men, bij wijze van spreken, manueel met een potloodje streepjes trok om inkomend volk te tellen. Dat werd gelukkig spoedig opgelost met, onder andere, sensoren. Die gegevens waren snel en simpel te capteren. Het werd zelfs té gemakkelijk.

Databases werden algauw compleet overstelpt. Waar je vroeger, met behulp van BI, amper het gedrag van gebruikers kon bestuderen omdat er veel te weinig gegevens waren, is er plots een overload aan data beschikbaar die we niet meer geanalyseerd krijgen. Wat gebeurt er: we dumpen massaal alles in datalakes voor ‘latere’ analyse. Terrabytes en terrabytes aan data om ‘later’ te bekijken, maar misschien is het tegen dan ‘te laat’?

Real-Time Data Processing

Een zinnig rapport opstellen over de informatie die binnenkomt over je business is op dergelijke manier onbegonnen werk. Niet alleen ben je meestal te laat, maar in die oceaan aan data zitten vaak ook nutteloze en/of corrupte gegevens. Begin er maar eens aan. Reactie: real-time dataprocessing. Aan de crunching van eindeloze data doen we niet meer mee want zo kan je geen trends zien of patronen analyseren.

What if we data kunnen ontleden terwijl ze ontstaat Met andere woorden: wat als we alles uitpluizen alvorens het in een lake wordt gedropt? Dan is het wel degelijk mooi opgeslagen en moet het er nadien niet terug uitgepeuterd worden. De filosofie achter de wereld van real-time en streaming architecture is dus ‘wat als we de bottleneck kunnen voorspellen on the spot, en niet pas kunnen vaststellen nadien?’

Standing on the shoulders of giants

Het antwoord is niet baanbrekend, want je blijft voortbouwen op wat er al is, maar je gaat er slimmer en efficiënter mee om. We zitten as we speak in een hybride systeem waarbij je iets als fraude detectie in een real-time proces bekijkt. Een vergelijkend rapport van kwartalen kan echter opschuiven en is niet dadelijk nodig. Geen alles-of-niets verandering dus, maar een geleidelijke verbetering. De klassieke BI wordt vervangen, of toch gedeeltelijk, door wat we noemen: hot analytics. Kortom: de transformatie naar een streaminglandschap is onvermijdelijk.

Alles hangt natuurlijk vast aan snelheid. Bedrijven groeien ongelooflijk snel, schakelen vliegensvlug qua business, en schieten zichzelf zo naar de top. Hetzelfde geldt op zich voor jouw business; het moet op tijd antwoord kunnen bieden op verandering of het is gedoemd om te falen. On the spot analytics kan dus verantwoordelijk zijn voor een competitief voordeel tegenover concurrenten. Bedrijven die dat snel inzien, zijn het meest agile en hebben de meeste kans op overleving.

Keer de database binnenstebuiten

Streaming integration architecture is dus de way to go. Het is de volgende stap om eigen business gedrag te kunnen analyseren en antwoorden te bieden op problemen uit vorige technologieën. Waar vroeger het concept ‘tijd’ niet een kern-element was van de data, doen we dit nu wel in een ‘event’-data wereld. Klassieke BI vindt het tijdstip wanneer iets gebeurt niet belangrijk. De onlineshoppingwereld, bijvoorbeeld, heeft echter allang gezien op welk moment iemand in zijn of haar winkelmandje bepaalde zaken verwijdert of toevoegt. Op basis van zulke informatie kan je natuurlijk veel beter inspelen op customer behaviour dan als je enkel achteraf kijkt naar wat iemand uiteindelijk kocht.

Business Intelligence op zichzelf is waardeloos. De transformatie naar streaming wordt gedreven door meerdere problemen en de voornaamste is dat één monolithisch systeem niet werkt. In zo’n systeem is het vaak heel moeilijk om te zien hoe users omgaan met verschillende functionaliteiten van apps en departementen.

Via streaming data kan je veel beter en gemakkelijker business events aka een business proces element gaan opvolgen en bekijken doorheen zijn levensloop. Waar hij terecht komt en wat er in het uitgebreide app landschap mee gedaan wordt. Wat ook een nieuw en interessant perspectief kan zijn voor beslissers…