Corrupción de datos

Ir a: navegación, búsqueda de
Corrupción de datos foto; en este caso, un resultado de un error de recuperación de datos de una unidad de disco duro

Corrupción de datos se refiere a errores en computadora datos que ocurren durante la escritura, lectura, almacenamiento, transmisión o procesamiento, que introducir cambios no deseados a los datos originales. Sistemas de almacenamiento, transmisión y equipo utilizan una serie de medidas a fin de proporcionar integridad de los datos, o la falta de errores.

En general, corrupción de datos se produce cuando un archivo que contiene los datos producen resultados inesperados cuando acceda por el sistema o la aplicación relacionada. Resultados pueden ir desde una menor pérdida de datos a un bloqueo del sistema. Por ejemplo, si un archivo de documentos está dañada, cuando una persona intenta abrir el archivo con un editor de documentos que pueden obtener un mensaje de error, así el archivo no se puede abrir o podría abrir con algunos de los datos dañados (o en algunos casos, totalmente corrompidos, salir del documento ininteligible). La imagen de la derecha es un archivo de imagen dañado en que la mayoría de la información se ha perdido.

Algunos tipos de malware puede dañar intencionalmente los archivos como parte de su cargas útiles, generalmente sobrescribiéndolas con inoperante o código de la basura, mientras que el virus que no pueden dañar también involuntariamente archivos cuando accede a ellos. Si un virus o troyano con esta carga método logra alterar archivos críticos para el funcionamiento de la computadora sistema operativo software o hardware físico, todo el sistema puede ser vuelto inútil.

Algunos programas pueden dar una sugerencia para reparar el archivo automáticamente (después del error), y algunos programas no pueden repararlo. Depende del nivel de corrupción y la funcionalidad integrada de la aplicación para manejar el error. Hay varias causas de la corrupción.

Contenido

  • 1 Resumen
  • 2 Silencio
  • 3 Contramedidas
  • 4 Véase también
  • 5 Referencias
  • 6 Acoplamientos externos

Resumen

Hay dos tipos de daños en los datos asociados con sistemas informáticos: sin ser detectados y detectados. No se detectan daños en los datos, también conocido como corrupción de datos silenciosa, los resultados en los errores más peligrosos ya que no hay ningún indicio de que los datos son incorrectos. Corrupción de datos detectado puede ser permanente con la pérdida de datos, o puede ser temporal cuando alguna parte del sistema es capaz de detectar y corregir el error; no hay ninguna corrupción de datos en el último caso.

Corrupción de datos puede ocurrir a cualquier nivel en un sistema, desde el host hasta el medio de almacenamiento. Los sistemas modernos intentan detectar la corrupción en muchos niveles y recuperar o corregir la corrupción; Esto es casi siempre exitoso pero muy raramente la información en los sistemas de memoria está dañada y puede causar resultados impredecibles.

Corrupción de datos durante la transmisión tiene una variedad de causas. Interrupción de las causas de transmisión de datos pérdida de la información. Las condiciones ambientales pueden interferir con la transmisión de datos, especialmente cuando se trata con métodos de transmisión inalámbrica. Pesadas nubes pueden bloquear las transmisiones vía satélite. Las redes inalámbricas son susceptibles a la interferencia de dispositivos como hornos microondas.

Hardware y software son las dos principales causas de pérdida de datos. Radiación de fondo, accidentes de cabeza, y envejecimiento o desgaste de la caída de dispositivo de almacenamiento de información en la categoría anterior, mientras que la falla de software típicamente ocurre debido a errores en el código. Rayos cósmicos causar más errores menores en DRAM.[1]

Silencio

Vea también: Manejo y tasas de error de disco duro

Algunos errores pasan desapercibidos, sin ser detectado por el firmware del disco o del sistema operativo; estos errores son conocidos como corrupción de datos silenciosa.

Hay muchas fuentes de error más allá del subsistema de almacenamiento de disco sí mismo. Por ejemplo, los cables pueden ser un poco flojos, la fuente de alimentación podría ser poco confiable,[2] vibraciones externas como un sonido fuerte,[3] la red podría introducir corrupción detectada,[4] radiación cósmica y muchas otras causas de errores de memoria suaveetc.. En 39.000 sistemas de almacenamiento que se analizaron errores firmware 5 – 10% de fallas de almacenamiento.[5] Con todo, el error de precios según lo observado por un CERN estudio sobre la corrupción silenciosa son mucho mayores que uno de cada 1016 brocas.[6] Tienda online Amazon.com ha reconocido similares tasas de corrupción de datos en sus sistemas.[7]

Uno de los problemas es disco duro capacidades han aumentado considerablemente, pero permanecen sin cambios sus tasas de error. El índice de corrupción de datos ha sido siempre más o menos constante en el tiempo, lo que significa que los discos modernos no son mucho más seguros que los discos antiguos. En discos antiguos, la probabilidad de corrupción de datos era muy pequeña ya que almacenaban pequeñas cantidades de datos. En discos modernos la probabilidad es mucho mayor ya que almacenan muchos más datos, mientras que no es más seguro. Así, corrupción de datos silenciosa no ha sido una preocupación seria mientras que dispositivos de almacenamiento seguía siendo relativamente pequeño y lento. Por lo tanto, los usuarios de pequeños discos muy raramente ante corrupción silenciosa, por lo que la corrupción de los datos no era considerada un problema que requiere una solución. Pero en los tiempos modernos y con la llegada de más unidades y configuraciones RAID muy rápidas, los usuarios son capaces de transferir 1016 bits en un tiempo razonablemente corto, alcanzando fácilmente los umbrales de la corrupción de datos.[8]

Por ejemplo, ZFS Creador Jeff Bonwick dijo que la base de datos rápida en Greenplum, que es una empresa de software de base de datos especializada en almacenamiento de datos a gran escala y la analítica, se enfrenta a la corrupción silenciosa cada 15 minutos.[9] Como otro ejemplo, se realizó un estudio de la vida real por NetApp en discos duros de más de 1,5 millones más de 41 meses encontraron corrupciones de datos silenciosa más de 400.000, de los cuales más de 30.000 no fueron detectados por la controladora RAID de hardware. Otro estudio, realizado por CERN más de seis meses y que implica unos 97petabytes de datos, encontró que cerca de 128megabytes de datos se corrompió permanentemente.[10][11]

Puede causar corrupción de datos silenciosa fallas en cascada, en que el sistema puede funcionar por un período de tiempo con el error inicial causa problemas cada vez más hasta que finalmente se detecta.[12] Por ejemplo, un fallo que afecta a sistema de archivos metadatos de puede resultar en varios archivos dañados o hecho completamente inaccesible, como el sistema de archivos se utiliza en su estado dañado parcialmente.

Contramedidas

Vea también: Corrección y detección de errores

Cuando la corrupción de datos se comporta como un Proceso de Poisson, donde cada poco de datos tiene una probabilidad baja independientemente de ser cambiado, corrupción de datos puede detectarse generalmente por el uso de sumas de comprobacióny a menudo puede ser corregido por el uso de códigos de corrección de errores.

Si se detecta una corrupción de datos incorregible, procedimientos tales como retransmisión automática o restauración de copias de seguridad se puede aplicar. Ciertos niveles de RAID arreglos de discos tienen la capacidad de almacenar y evaluar bits de paridad de datos a través de un conjunto de discos duros y puede reconstruyen datos dañados en la falla de un solo o múltiples discos, dependiendo del nivel de RAID implementado. Algunos CPU arquitecturas de emplean varios controles transparentes para detectar y mitigar los daños en los datos en Cachés de la CPU, Almacenadores intermediarios de la CPU y tuberías de la instrucción; un ejemplo es Repetición de instrucción de Intel tecnología, que está disponible en Intel Itanium procesadores.[13]

Muchos errores son detectados y corregidos por las unidades de disco duro utilizando los códigos ECC/CRC[14] que se almacenan en disco para cada sector. Si la unidad de disco detecta múltiples errores de lectura en un sector puede hacer una copia del sector de la falla en otra parte del disco, por reasignación el fallido sector del disco para un sector de repuesto sin la participación del sistema operativo (aunque esto puede retrasarse hasta la siguiente escritura al sector). Esta "corrección silenciosa" puede controlarse mediante S.M.A.R.T. y herramientas disponibles para la mayoría de sistemas operativos verificar automáticamente la unidad de disco para fallas inminentes mirando para deterioro de parámetros inteligentes.

Algunos sistemas de archivos, tales como Btrfs, MARTILLO, Ref, y ZFS, utilizar datos internos y metadatos de sumas de comprobación para detectar la corrupción de datos silencioso. Además, si se detecta la corrupción y el sistema de archivos utiliza mecanismos RAID integrados que proporcionan redundancia de datos, estos sistemas de archivo también pueden reconstruir datos dañados de una manera transparente.[15] Este enfoque permite protección de integridad de datos que cubren los caminos de todos los datos, que generalmente se conoce como protección de datos end-to-end, en comparación con otros enfoques de integridad de datos que no abarcan diferentes capas en la pila de almacenamiento de información y permitir la corrupción de los datos a ocurrir mientras los datos pasan fronteras entre las diferentes capas.[16]

Datos de depuración es otro método para reducir la probabilidad de corrupción de datos, como errores de disco son capturados y se recuperó de antes varios errores se acumulan y abruman el número de bits de paridad. En lugar de paridad chequeada en cada lectura, se comprueba la paridad durante un análisis regular del disco, a menudo hecho como un proceso de segundo plano de baja prioridad. Tenga en cuenta que la operación de "limpieza de datos" activa una comprobación de paridad. Si un usuario simplemente ejecuta un programa que lee los datos desde el disco, entonces la paridad que no se extraería a menos paridad cheque en leer fue tanto apoyo y habilitado en el subsistema de disco.

Si se emplean mecanismos apropiados para detectar y reparar daños en los datos, se puede mantener la integridad de los datos. Esto es particularmente importante en aplicaciones comerciales (p. ej. Banca), donde un error no detectado puede corromper a un índice de base de datos o cambiar datos para afectar drásticamente un saldo de la cuenta y en el uso de cifrados o comprimido datos, donde un pequeño error puede inutilizar un extenso conjunto de datos.[6]

Véase también

  • Diversos recursos:
    • Degradación de datos, también llamado putrefacción de datos
    • Ciencias de la computación
    • Integridad de los datos
    • Integridad de la base de datos
    • El endurecer de la radiación
    • Podredumbre del software, también llamado bit rot
  • Contramedidas:
    • Campo de integridad de datos
    • Memoria ECC
    • Corrección de errores hacia adelante
    • Lista de software de recuperación de datos
    • Parchive
    • RAID
    • Corrección de errores Reed-Solomon

Referencias

  1. ^ Americano científico (2008-07-21). "las tormentas solares: datos urgentes". Nature Publishing Group. 2009-12-08. 
  2. ^ Eric Lowe (16 de noviembre de 2005). "ZFS salva la day(-ta)!" (Blog). Blog de Oracle – volcados de cerebro de un Kernel Hacker-Eric Lowe. Oracle. 9 de junio 2012. 
  3. ^ bcantrill (31 de diciembre de 2008). "Gritos en el centro de datos" (Archivo de video). YouTube. Google. 9 de junio 2012. 
  4. ^ jforonda (31 de enero de 2007). "FC defectuoso puerto cumple con ZFS" (Blog). Blogger – fuera de la caja. Google. 9 de junio 2012. 
  5. ^ ¿"son discos el contribuyente dominante para fallas de almacenamiento? Un estudio exhaustivo de características de falta de subsistema de almacenamiento" (PDF). USENIX. 2014-01-18. 
  6. ^ a b Bernd Panzer-Steindel (08 de abril de 2007). "Proyecto 1.3". Integridad de los datos. CERN. 9 de junio 2012. 
  7. ^ "Observaciones sobre errores, correcciones y confianza de los sistemas dependientes de". 
  8. ^ "la corrupción silenciosa datos en arreglos de discos: una solución" (PDF). NEC. 2009. 24 / 10 / 2013. 
  9. ^ "Una conversación con Jeff Bonwick y Bill Moore". Association for Computing Machinery. 15 de noviembre de 2007. 6 de diciembre, 2010. 
  10. ^ David S. H. Rosenthal (1 de octubre de 2010). "Mantener seguros Bits: ¿Qué tan difícil puede ser?". Coleta ACM. 2014-01-02. 
  11. ^ Lakshmi N. Bairavasundaram; Garth R. Goodson; Shankar Pasupathy; Jiri Schindler (junio de 2007). "Un análisis de errores de los sectores latente en unidades de disco". Actas de la Conferencia Internacional sobre medición y modelación de sistemas informáticos (SIGMETRICS'07). San Diego, California, Estados Unidos: ACM: 289 – 300. doi:10.1145/1254882.1254917. 9 de junio 2012. 
  12. ^ David Fiala; Frank Mueller; Christian Engelmann; Rolf Riesen; Kurt Ferreira; Ron Brightwell (noviembre de 2012). "Detección y corrección de la corrupción silenciosa de datos para computación de alto rendimiento a gran escala" (PDF). Fiala.me. IEEE. 2015-01-26. 
  13. ^ Steve Bostian (2012). "Rachet arriba confiabilidad para aplicaciones de misión crítica: tecnología de reproducción de instrucción de Intel" (PDF). Intel. 27 / 01 / 2016. 
  14. ^ "Error de lectura las gravedades y lógica de gestión de Error". 4 de abril 2012. 
  15. ^ Margaret Bierman; Lenz Grimmer (agosto de 2012). "Cómo usar las capacidades avanzadas de Btrfs". Oracle Corporation. 2014-01-02. 
  16. ^ Yupu Zhang; Abhishek Rajimwale; Andrea C. Arpaci-Dusseau; Remzi H. Arpaci-Dusseau (2010-02-04). "integridad de datos end-to-end para sistemas de archivos: un estudio de caso ZFS" (PDF). Departamento de Ciencias de computación, Universidad de Wisconsin. 2014-08-12. 

Acoplamientos externos

  • SoftECC: Un sistema de memoria de Software verificación de la integridad
  • Un DRAM armonioso, basado en el Software de detección de errores y corrección biblioteca para HPC
  • Detección y corrección de la corrupción silenciosa de datos para computación de alto rendimiento a gran escala
  • Integridad de datos end-to-end para sistemas de archivos: un estudio de caso ZFS
  • Errores DRAM en el salvaje: un estudio de campo a gran escala
  • Un estudio sobre corrupción silenciosay un papel asociado en integridad de los datos (CERN, 2007)
  • Protección de datos end-to-end en SAS y unidades de disco duro de Fibre Channel (HGST)

Otras Páginas

Obtenido de"https://en.copro.org/w/index.php?title=Data_corruption&oldid=758186404"