La deduplicación de datos es una tecnología de almacenamiento popular que optimiza la capacidad de almacenamiento. Elimina los datos redundantes al eliminar los datos duplicados del conjunto de datos, dejando solo una copia, como se muestra en la siguiente figura. Esta tecnología puede reducir considerablemente la necesidad de espacio de almacenamiento físico para satisfacer la creciente demanda de almacenamiento de datos. La tecnología de deduplicación puede aportar muchos beneficios prácticos, principalmente los siguientes aspectos:
| (1) | Cumplir con los requisitos de ROI (Retorno de la Inversión)/TCO (Costo Total de Propiedad); |
| (2) | El rápido crecimiento de los datos puede controlarse eficazmente; |
| (3) | Aumentar el espacio de almacenamiento efectivo y mejorar la eficiencia del almacenamiento; |
| (4) | Ahorre en el costo total de almacenamiento y en el costo de administración; |
| (5) | Ahorrar ancho de banda de la red en la transmisión de datos; |
| (6) | Ahorre en costes de operación y mantenimiento, como espacio, suministro eléctrico y refrigeración. |
La tecnología de deduplicación se utiliza ampliamente en sistemas de copia de seguridad y archivado de datos, ya que tras múltiples copias de seguridad se generan muchos datos duplicados, lo que la hace ideal para esta tecnología. De hecho, la tecnología de deduplicación se puede utilizar en diversas situaciones, incluyendo datos en línea, datos casi en línea y sistemas de almacenamiento de datos fuera de línea. Se puede implementar en sistemas de archivos, gestores de volúmenes, NAS y SAN. La deduplicación también se puede utilizar para la recuperación ante desastres de datos, la transmisión y sincronización de datos, y como tecnología de compresión de datos, se puede utilizar para el empaquetado de datos. La tecnología de deduplicación puede ayudar a muchas aplicaciones a reducir el almacenamiento de datos, ahorrar ancho de banda de red, mejorar la eficiencia del almacenamiento, reducir el tiempo de copia de seguridad y ahorrar costes.
La deduplicación tiene dos dimensiones principales: índices de deduplicación y rendimiento. El rendimiento de la deduplicación depende de la tecnología de implementación específica, mientras que la tasa de deduplicación está determinada por las características de los datos en sí y los patrones de la aplicación, como se muestra en la tabla a continuación. Los proveedores de almacenamiento informan actualmente tasas de deduplicación que van desde 20:1 hasta 500:1.
| Alta tasa de deduplicación | Baja tasa de deduplicación |
| Datos creados por el usuario | Datos del mundo natural |
| Datos con baja tasa de cambio | Datos con alta tasa de cambio |
| Datos de referencia, datos inactivos | Datos activos |
| Aplicación con baja tasa de cambio de datos | Aplicación con alta tasa de cambio de datos |
| Copia de seguridad completa de los datos | Copia de seguridad incremental de datos |
| Almacenamiento de datos a largo plazo | Almacenamiento de datos a corto plazo |
| Amplia gama de aplicaciones de datos | Un número limitado de aplicaciones de datos |
| Procesamiento continuo de datos empresariales | Procesamiento general de datos empresariales |
| Segmentación de datos pequeños | Segmentación de big data |
| Segmentación de datos alargada | Segmentación de datos de longitud fija |
| Contenido de datos percibido | Contenido de los datos desconocido |
| Eliminación de datos de tiempo | Eliminación de duplicados de datos espaciales |
Puntos de implementación de la deduplicación
Al desarrollar o aplicar la tecnología Dedupe, deben tenerse en cuenta diversos factores, ya que estos afectan directamente a su rendimiento y eficacia.
| (1) | Qué | ¿Qué datos se desponderan? |
| (2) | Cuando | ¿Cuándo se eliminará el peso? |
| (3) | Dónde | ¿Dónde está la eliminación de peso? |
| (4) | Cómo | ¿Cómo bajar de peso? |
Tecnología de eliminación de duplicados
El proceso de deduplicación de un sistema de almacenamiento generalmente es el siguiente: primero, el archivo de datos se divide en un conjunto de datos, para cada bloque de datos se calcula la huella digital, y luego, basándose en las palabras clave de búsqueda de hash de la huella digital, la coincidencia indica los datos para los bloques de datos duplicados, solo se almacena el número de índice del bloque de datos, de lo contrario significa que el bloque de datos es la única pieza de un nuevo bloque de datos, se almacena el bloque de datos y se crea la metainformación relevante. Por lo tanto, un archivo físico en el sistema de almacenamiento corresponde a una representación lógica de un conjunto de metadatos FP. Al leer el archivo, primero se lee el archivo lógico, luego, de acuerdo con la secuencia FP, se extrae el bloque de datos correspondiente del sistema de almacenamiento, se restaura la copia del archivo físico. Se puede ver en el proceso anterior que las tecnologías clave de la deduplicación incluyen principalmente la segmentación de bloques de datos de archivos, el cálculo de la huella digital de bloques de datos y la recuperación de bloques de datos.
(1) Segmentación de bloques de datos de archivo
(2) Cálculo de la huella digital del bloque de datos
(3) Recuperación de bloques de datos
Para encontrar estos modelos recomendados para comenzar con la deduplicación de paquetes de red:
Mylinking™ Network Packet Broker (NPB) ML-NPB-640048*10GE SFP+ más 4*40GE/100GE QSFP28, Máx. 880 Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-56606 puertos QSFP28 de 40 GE/100 GE más 48 puertos SFP28 de 10 GE/25 GE, máximo 1,8 Tbps.
Mylinking™ Network Packet Broker (NPB) ML-NPB-506048*10GE SFP+ más 2*40GE QSFP, Máx. 560 Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-486048*10GE SFP+, Máx. 480 Gbps, Function Plus
Mylinking™ Network Packet Broker (NPB) ML-NPB-481048*10GE SFP+, Máx. 480 Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-2410P24 puertos SFP+ de 10 GE, velocidad máxima de 240 Gbps, función DPI.
Mylinking™ Network Packet Broker (NPB) ML-NPB-6400
48*10GE SFP+ más 4*40GE/100GE QSFP28, Máx. 880 Gbps
Fecha de publicación: 18 de octubre de 2022
