Het probleem met Big Data-analyse is dat de hoeveelheden te groot zijn om ze in het werkgeheugen beschikbaar te houden. In de huidige situatie is de verwerkingssnelheid daardoor beperkt door de lees- en schrijfsnelheid van de harddisks in het storage area-netwerk (SAN) waar de gegevens nu doorgaans zijn opgeslagen.

Sang-Woo Jun, een promovendus aan het Massachusetts Institute of Technology (MIT), heeft een oplossing bedacht voor dit probleem. Hij creëerde een opslagnetwerk van flashdrives waarbij elke drive een knooppunt (node) vormt met een field programmable gate array-chip (FPGA) waarmee die drive verbonden is. Die chip stuurt niet alleen de flash-drive aan maar kan ook een aantal bewerkingen op de gegevens uitvoeren. Daardoor vindt een deel van de bewerking plaats vlak bij de plek waar de gegevens zijn opgeslagen. "Het is niet altijd nodig alle gegevens naar de machine te transporteren om er mee te werken", zegt Jun.
Van milliseconden naar nanoseconden

Zijn aanpak kan de wachttijd reduceren van de 12 milliseconden die een harde schijf doorgaans nodig heeft, tot nanoseconden. Om het idee verder uit te werken bouwt zijn team nu een netwerk met 16 nodes. Dat heeft een opslagcapaciteit van 16 tot 32 gigabyte. De snelheid van het netwerk is 3 gigabyte per seconde.

Alles bij de bron; Automgids