Saltar al contenido

Lección 7 de 16 · Lectura y práctica

Eliminación de duplicados y outliers

Tipo de lección: ExerciseEliminación de duplicados y outliers Esta leccion pertenece al curso Data Science con Python y Pandas y esta pensada para que avances con criterio profesional, no solo con teoria. Primero entiende el.

Del concepto a la práctica

Taller de esta lección

Un duplicado exacto puede inflar ventas, pero un valor extremo no es necesariamente un error. En tiempos de entrega, 90 minutos podría ser una incidencia real. Primero se identifica la regla; después se conserva, corrige o excluye el registro dejando una razón documentada.

Ejemplo resuelto

python
import pandas as pd

df = pd.DataFrame({'id': [1, 2, 2, 3], 'minutos': [20, 25, 25, 90]})
sin_dup = df.drop_duplicates(subset=['id'], keep='first')
q1, q3 = sin_dup['minutos'].quantile([0.25, 0.75])
iqr = q3 - q1
limite_superior = q3 + 1.5 * iqr

Con valores [20, 25, 90], la interpolación lineal predeterminada da Q1=22,5 y Q3=57,5: IQR=35 y límite superior=110. Por esta regla, 90 no se marca como outlier. Con tres observaciones, el criterio es débil y no demuestra que una entrega lenta sea normal ni incorrecta.

Pruébalo

  1. Define la clave que identifica un registro repetido.

  2. Cuenta duplicados antes de eliminarlos.

  3. Calcula límites del IQR con datos limpios de duplicidad.

  4. Marca outliers sin borrarlos automáticamente.

Error frecuente: eliminar todo valor extremo por ser poco frecuente. Corrígelo revisando la unidad, el contexto y la fuente del registro.

Ejercicio: entrega una tabla con una duplicación de id y cuatro tiempos.

Comprueba tu resultado

El resultado esperado incluye el número de duplicados, Q1, Q3, IQR y una columna booleana de outlier; no se exige eliminar el extremo sin justificación.

Flujo de datos: dos formatos de la misma fecha se normalizan y un vacío queda marcado antes de comprobar tipos, duplicados y unidades.
CursaloMapa de práctica
Antes del gráfico, revisa los datos

Antes de analizar, comprueba los tipos, valores vacíos, duplicados y unidades. Decide cómo tratar cada problema según el contexto y conserva la trazabilidad del cambio. Un gráfico solo es útil si los datos de entrada son coherentes.

Ver la infografía en tamaño completo ↗

Tipo de lección: Exercise

Eliminación de duplicados y outliers

Esta leccion pertenece al curso Data Science con Python y Pandas y esta pensada para que avances con criterio profesional, no solo con teoria. Primero entiende el concepto, despues aplicalo en una situacion concreta y finalmente deja evidencia de lo que aprendiste.

Objetivo practico

Al terminar, deberias poder explicar el tema con tus palabras, reconocer cuando usarlo y construir una version simple que sirva como base para un proyecto real.

Pasos recomendados

  1. Lee el concepto y escribi una definicion breve.
  2. Identifica un caso de uso laboral donde aparezca este problema.
  3. Construye un ejemplo pequeno y documenta las decisiones.
  4. Compara tu resultado con el checklist de la leccion.

Sigue con Data Science con Python y Pandas

Esta lección forma parte de un curso de Cursalo. Revisa su programa y elige entre la compra individual o el acceso a toda la escuela.

Si ya tenías acceso a este curso, entra con tu cuenta: tus derechos y tu progreso se conservan. No necesitas comprarlo de nuevo.

01 / ELEGIR UNA RUTA

El próximo paso

Aprende IA mientras construyes algo que sí necesitas.

Empieza por el curso inicial o explora el catálogo para encontrar una práctica alineada con tu trabajo.