La desduplicación de datos es una tecnología de almacenamiento popular y popular que optimiza la capacidad de almacenamiento. Elimina los datos redundantes al eliminar los datos duplicados del conjunto de datos, dejando solo una copia. Como se muestra en la figura a continuación. Esta tecnología puede reducir en gran medida la necesidad de espacio de almacenamiento físico para satisfacer la creciente demanda de almacenamiento de datos. La tecnología de desarrollo puede aportar muchos beneficios prácticos, principalmente, incluidos los siguientes aspectos de los siguientes aspectos, los siguientes aspectos de los siguientes aspectos:
| (1) | Cumplir con los requisitos de ROI (retorno de la inversión)/TCO (costo total de propiedad); |
| (2) | El rápido crecimiento de los datos puede controlarse efectivamente; |
| (3) | Aumentar el espacio de almacenamiento efectivo y mejorar la eficiencia de almacenamiento; |
| (4) | Ahorre el costo total de almacenamiento y el costo de gestión; |
| (5) | Guardar el ancho de banda de la red de la transmisión de datos; |
| (6) | Ahorre los costos de operación y mantenimiento, como espacio, fuente de alimentación y enfriamiento. |
La tecnología Dedupe se usa ampliamente en los sistemas de copia de seguridad y archivo de datos, ya que hay muchos datos duplicados después de múltiples copias de seguridad de datos, lo cual es muy adecuado para esta tecnología. De hecho, la tecnología Dedupe se puede utilizar en muchas situaciones, incluidos datos en línea, datos cercanos y sistemas de almacenamiento de datos fuera de línea. Se puede implementar en sistemas de archivos, gerentes de volumen, NAS y sans.Dedupe también se puede utilizar para la recuperación de desastres de datos, la transmisión de datos y la sincronización, ya que una tecnología de compresión de datos se puede utilizar para el embalaje de datos. La tecnología Dedupe puede ayudar a muchas aplicaciones a reducir el almacenamiento de datos, ahorrar el ancho de banda de la red, mejorar la eficiencia de almacenamiento, reducir la ventana de respaldo y ahorrar costos.
Dedupe tiene dos dimensiones principales: relaciones de deduplocación y rendimiento. El rendimiento de Dedupe depende de la tecnología de implementación específica, mientras que la tasa de dedupe está determinada por las características de los datos en sí y los patrones de aplicación, como se muestra en la tabla a continuación. Los proveedores de almacenamiento informan actualmente tasas de deduplicación que van de 20: 1 a 500: 1.
| Tasa de deduplicación alta | Baja tasa de deduplicación |
| Datos creados por el usuario | Datos del mundo natural |
| Data Baja tasa de cambio | Data alta tasa de cambio |
| Datos de referencia, datos inactivos | Datos activos |
| Aplicación de tasa de cambio de datos bajo | Aplicación de tasa de cambio de datos altas |
| Copia de seguridad de datos completos | Copia de seguridad de datos incrementales |
| Data Almacenamiento a largo plazo | Datos de almacenamiento a corto plazo |
| Amplia gama de aplicaciones de datos | Pequeña gama de aplicaciones de datos |
| Procesamiento de negocios de datos continuos | Procesamiento de negocios de datos generales |
| Segmentación de datos pequeños | Segmentación de big data |
| Segmentación de datos alargada | Segmentación de datos de longitud fija |
| Contenido de datos percibido | Contenido de datos desconocido |
| Deduplicación de datos de tiempo | Deduplicación de datos espaciales |
Puntos de implementación de Dedupe
Se deben considerar varios factores al desarrollar o aplicar la tecnología Dedupe, ya que estos factores afectan directamente su rendimiento y efectividad.
| (1) | Qué | ¿Qué datos están desapp con desplegar? |
| (2) | Cuando | ¿Cuándo se eliminará el peso? |
| (3) | Dónde | ¿Dónde está la eliminación de peso? |
| (4) | Cómo | ¿Cómo reducir el peso? |
Tecnología Key Dedupe
El proceso de deduplicación del sistema de almacenamiento en general es este: en primer lugar, el archivo de datos se divide en un conjunto de datos, para que cada bloque de datos calcule la huella digital, y luego, en función de las palabras clave de búsqueda de hash de huellas dactilares, la coincidencia indica el duplicado de los datos de datos duplicados, solo almacena el número de índice de datos, de lo contrario, el bloque de datos es la única pieza de una nueva, almacenamiento del bloque de datos y el bloque de datos relevantes. Representación lógica de un conjunto de metadatos de FP. Al leer el archivo, lea primero el archivo lógico, luego, de acuerdo con la secuencia de FP, elimine el bloque de datos correspondiente del sistema de almacenamiento, restaura la copia del archivo físico.
(1) segmentación de bloque de datos de archivo
(2) Cálculo de huellas digitales del bloque de datos
(3) Recuperación del bloque de datos
Para encontrar estos modelos de recomendación para iniciar la deduplicación de su paquete de red:
MyLinking ™ Network Packet Broker (NPB) ML-NPB-640048*10GE SFP+ más 4*40GE/100GE QSFP28, MAX 880GBPS
MyLinking ™ Network Packet Broker (NPB) ML-NPB-56606*40GE/100GE QSFP28 más 48*10GE/25GE SFP28, MAX 1.8TBPS
MyLinking ™ Network Packet Broker (NPB) ML-NPB-506048*10GE SFP+ más 2*40GE QSFP, MAX 560GBPS
MyLinking ™ Network Packet Broker (NPB) ML-NPB-486048*10GE SFP+, MAX 480GBPS, función más
MyLinking ™ Network Packet Broker (NPB) ML-NPB-481048*10GE SFP+, máximo 480GBPS
MyLinking ™ Network Packet Broker (NPB) ML-NPB-2410P24*10GE SFP+, máximo 240Gbps, función DPI
MyLinking ™ Network Packet Broker (NPB) ML-NPB-6400
48*10GE SFP+ más 4*40GE/100GE QSFP28, MAX 880GBPS
Tiempo de publicación: octubre-18-2022
