Deduplikacija podataka popularna je i popularna tehnologija pohrane koja optimizira kapacitet pohrane. Uklanja suvišne podatke uklanjanjem duplih podataka iz skupa podataka, ostavljajući samo jednu kopiju. Kao što je prikazano na slici ispod. Ova tehnologija može uvelike smanjiti potrebu za fizičkom pohranom prostora kako bi se zadovoljila rastuća potražnja za pohranom podataka. Dedupe tehnologija može donijeti mnoge praktične prednosti, uglavnom uključujući sljedeće aspekte:
| (1) | Ispunite zahtjeve ROI (povrat ulaganja)/TCO (ukupni trošak vlasništva); |
| (2) | Brzi rast podataka može se učinkovito kontrolirati; |
| (3) | Povećajte učinkovit skladišni prostor i poboljšajte učinkovitost skladištenja; |
| (4) | Uštedite ukupne troškove skladištenja i troškove upravljanja; |
| (5) | Uštedite propusnost mreže za prijenos podataka; |
| (6) | Uštedite troškove rada i održavanja kao što su prostor, napajanje i hlađenje. |
Dedupe tehnologija naširoko se koristi u sustavima sigurnosnog kopiranja i arhiviranja podataka, jer postoji mnogo dupliciranih podataka nakon višestrukih sigurnosnih kopija podataka, što je vrlo prikladno za ovu tehnologiju. Zapravo, dedupe tehnologija se može koristiti u mnogim situacijama, uključujući podatke na mreži, near-line podataka i izvanmrežnih sustava za pohranu podataka.Može se implementirati u datotečne sustave, upravitelje volumena, NAS i sans. Dedupe se također može koristiti za oporavak podataka od katastrofe, prijenos podataka i sinkronizaciju, jer se tehnologija kompresije podataka može koristiti za pakiranje podataka. Dedupe tehnologija može pomoći mnogim aplikacijama smanjiti pohranu podataka, uštedu propusnosti mreže, poboljšanje učinkovitosti pohrane, smanjenje prozora sigurnosne kopije i uštedu troškova.
Uklanjanje duplikata ima dvije glavne dimenzije: omjere deduplokacije i performanse. Učinkovitost deduplikacije ovisi o specifičnoj tehnologiji implementacije, dok je stopa deduplikacije određena karakteristikama samih podataka i obrascima aplikacije, kao što je prikazano u tablici u nastavku. Dobavljači pohrane trenutno izvješćuju o rasponu stopa deduplikacije od 20:1 do 500:1.
| Visoka stopa deduplikacije | Niska stopa deduplikacije |
| Podaci kreirani od strane korisnika | Podaci iz svijeta prirode |
| Niska stopa promjene podataka | Visoka stopa promjene podataka |
| Referentni podaci, neaktivni podaci | Aktivni podaci |
| Primjena niske stope promjene podataka | Primjena visoke stope promjene podataka |
| Potpuna sigurnosna kopija podataka | Inkrementalna sigurnosna kopija podataka |
| Dugoročna pohrana podataka | Kratkotrajna pohrana podataka |
| Širok raspon podatkovnih aplikacija | Mali raspon podatkovnih aplikacija |
| Kontinuirana poslovna obrada podataka | Opća poslovna obrada podataka |
| Mala segmentacija podataka | Segmentacija velikih podataka |
| Izdužena segmentacija podataka | Segmentacija podataka fiksne duljine |
| Percipirani sadržaj podataka | Sadržaj podataka nepoznat |
| Deduplikacija vremenskih podataka | Deduplikacija prostornih podataka |
Dedupe Implementacijske točke
Pri razvoju ili primjeni Dedupe tehnologije treba uzeti u obzir različite čimbenike jer ti čimbenici izravno utječu na njezinu izvedbu i učinkovitost.
| (1) | Što | Koji podaci su deweighted? |
| (2) | Kada | Kada će težina nestati? |
| (3) | Gdje | Gdje je eliminacija težine? |
| (4) | Kako | Kako smanjiti težinu? |
Tehnologija dedupe Key
Proces deduplikacije sustava za pohranu općenito je sljedeći: najprije se podatkovna datoteka dijeli na skup podataka, za svaki blok podataka za izračun otiska prsta, a zatim na temelju ključnih riječi pretraživanja Hash otiska prsta, podudaranje označava podatke za duplikat. podatkovnih blokova, pohranjuje samo indeksni broj podatkovnog bloka, inače to znači da je podatkovni blok jedini dio novog, pohranjivanje podatkovnog bloka i stvaranje relevantnih meta informacija. Dakle, fizička datoteka u sustavu pohranjivanja odgovara logičkom prikazu skup FP metapodataka. Prilikom čitanja datoteke, prvo pročitajte logičku datoteku, zatim prema FP sekvenci izvadite odgovarajući blok podataka iz sustava za pohranu, vratite kopiju fizičke datoteke. To se može vidjeti iz gornjeg procesa da ključne tehnologije Dedupea uglavnom uključuju segmentaciju bloka podataka datoteke, izračun otiska prsta bloka podataka i dohvaćanje bloka podataka.
(1) Segmentacija bloka podataka datoteke
(2) Izračun otiska prsta bloka podataka
(3) Dohvaćanje bloka podataka
Da biste pronašli ove preporučene modele za pokretanje deduplikacije mrežnog paketa:
Mylinking™ mrežni paketni broker (NPB) ML-NPB-640048*10GE SFP+ plus 4*40GE/100GE QSFP28, maks. 880Gbps
Mylinking™ mrežni paketni posrednik (NPB) ML-NPB-56606*40GE/100GE QSFP28 plus 48*10GE/25GE SFP28, maks. 1,8 Tbps
Mylinking™ mrežni paketni posrednik (NPB) ML-NPB-506048*10GE SFP+ plus 2*40GE QSFP, maks. 560Gbps
Mylinking™ mrežni paketni posrednik (NPB) ML-NPB-486048*10GE SFP+, maks. 480 Gbps, funkcija Plus
Mylinking™ mrežni paketni posrednik (NPB) ML-NPB-481048*10GE SFP+, maksimalno 480Gbps
Mylinking™ mrežni paketni broker (NPB) ML-NPB-2410P24*10GE SFP+, maksimalno 240Gbps, DPI funkcija
Mylinking™ mrežni paketni broker (NPB) ML-NPB-6400
48*10GE SFP+ plus 4*40GE/100GE QSFP28, maks. 880Gbps
Vrijeme objave: 18. listopada 2022
