Datagroei
De wet van Intel-oprichter Moore geldt niet alleen voor processoren, maar inmiddels ook voor de hoeveelheid data die we met die processoren produceren.
Door opslagcapaciteit uit te breiden proberen we die groei bij te benen. Dat lukt helaas niet altijd. Bijvoorbeeld omdat opslagsystemen niet onbeperkt kunnen worden uitgebreid. Of omdat de hoeveelheid data extreem hard groeit door bijvoorbeeld een fusie of een overname.
Backup windows
De opslag van data is maar een aspect van datagroei. Het maken van backups van die groeiende hoeveelheid data is zo mogelijk nog problematischer. Niet zozeer vanwege de hoeveelheid data zelf, maar veel maar vanwege het aspect tijd. Bij het maken van een backup proberen we over het algemeen een soort momentopname te maken van een statische toestand van data. Dat betekent dat die data niet mag veranderen. Maar om die data in een backup om te zetten kost tijd, en in die tijd kan er niet gewerkt worden. Dat is het backup window. De kunst is om dat backup window zo kort mogelijk te houden.
De-duplicatie
Als de maximale snelheid van het backup maken is bereikt, zit er niets anders op dan de hoeveelheid backupdata te verkleinen. Dat kan bijvoorbeeld door minder data mee te nemen in de backup, maar dat is niet wenselijk. Een andere mogelijkheid is de-duplicatie.
Bij de-duplicatie zorgen slimme algoritmes ervoor dat repeterende data slechts eenmaal wordt opgeslagen, waarna er verwijzingen worden gemaakt. Dat levert in de praktijk datareducties op van soms wel 95%, afhankelijk van het soort data. En dus wordt de backuptijd ook korter. De-duplicatie moet dan wel plaatsvinden op hardwarematige wijze, er moet immers veel gerekend worden. Een pionier op dit gebied is Quantum. Met haar DXi appliances worden in het dagelijkse gebruik vaak enorme reducties in data bereikt.
Nieuwere generaties storage systemen hebben soms al de-duplicatie functies in de firmware ingebouwd. Voor bestaande systemen kan men beter gebruik maken van losse externe de-duplicatie appliances.
Verplaatsen
Soms kan het zinvol zijn om niet de opgeslagen data, maar juist de te transporteren of te verplaatsen data te de-dupliceren. Hierbij wordt dataverkeer 'on the fly' ontdaan van dubbele gegevens, en worden slechts de verwijzingen getransporteerd. Met name voor office applicaties, databases en webverkeer kan dit nuttig zijn. Fabrikanten die hierbij een belangrijke rol spelen zijn bijvoorbeeld Riverbed en Blue Coat.