DÍA 07Calidad y limpieza con trazabilidad · Estadística y calidad de datos

Distingue filas repetidas, identificadores duplicados y registros legítimos con campos iguales.

Día 7 14 minInicial

Registros ficticios para auditar calidad

Contiene dos filas con el mismo registro_id y valores idénticos como caso de práctica.

Revisa claves y posibles duplicados

Objetivos

Podrás comprobar una clave y evitar borrar filas sin entender qué representa cada una.

Concepto

Una clave es una columna, o conjunto de columnas, que identifica una fila dentro del grano definido. Un duplicado puede ser una fila repetida exactamente, una clave repetida con otros valores o dos eventos legítimos que parecen iguales. La decisión depende del significado y las reglas de la fuente.

Cuenta valores repetidos de la clave y compara todas las columnas de cada caso. Conserva un registro del conteo original, los casos revisados y la regla aplicada. No elimines automáticamente filas que comparten importe o fecha: pueden representar eventos diferentes.

Ejemplo

El fixture sintético tiene dos filas idénticas con registro_id = R-003. Para el ejercicio, puedes marcar una como duplicado exacto y excluir una copia del archivo limpio, dejando anotada esa regla. En Sakila, payment_id es la clave del export y los 16 044 IDs son únicos.

Práctica guiada

En una hoja, identifica registro_id repetidos. Compara cada campo de las filas antes de decidir si son copias o colisiones de identificador.

Dos pagos tienen el mismo importe y fecha. ¿Qué debes comprobar antes de borrar uno?

Reto

Escribe una regla de deduplicación para el fixture y un control que demuestre cuántas filas cambian.

Intenta el reto antes de consultar las pistas.

Quiz

1. ¿Qué describe una clave única?
2. ¿Qué compara una revisión de posible duplicado?
3. ¿Qué debes hacer con una clave repetida cuyos otros campos difieren?

Comprobación

Deduplicar es una decisión respaldada por una clave, un grano y un registro del cambio.

TU PROGRESO

Cargando estado…