PlataformaProductosRecursosAcceso →
Datos

Entity resolution: el fin de los duplicados (y de las decisiones sobre datos rotos)

«Acme S.L.», «ACME SL» y «Acme Sociedad Limitada» son la misma empresa, pero tu CRM las cuenta como tres. La resolución de identidad las unifica en un único registro fiable. Esta guía explica cómo funciona, por qué es uno de los problemas más difíciles del trabajo con datos, la diferencia entre el matching determinista y el probabilístico, y por qué sin resolverlo tus métricas y tus modelos mienten.

Entity resolution: el fin de los duplicados (y de las decisiones sobre datos rotos), Funneld

Claves del artículo

  • La resolución de identidad unifica registros que se refieren a la misma entidad real en un único «golden record».
  • El proceso tiene cuatro fases: normalización, blocking, matching y fusión (merge).
  • El matching perfecto no existe: se trabaja con umbrales de confianza, combinando enfoques determinista y probabilístico.
  • Sin deduplicar, tus cuentas están infladas, tus modelos aprenden de datos repetidos y contactas a la misma cuenta por varias vías.
  • Es además una condición para cumplir el RGPD: no puedes atender un derecho de supresión si no sabes que cinco registros son la misma persona.

Casi todas las empresas tienen el mismo problema y casi ninguna lo mide: sus datos están llenos de duplicados disfrazados. No los duplicados obvios, dos filas idénticas, sino los sutiles: la misma empresa escrita de tres formas, el mismo decisor con dos emails, el mismo cliente registrado en el CRM, en la herramienta de soporte y en la de facturación como tres personas distintas. Cada uno de esos duplicados invisibles corrompe una decisión. La disciplina que los resuelve se llama resolución de identidad, o entity resolution, y es una de las menos glamurosas y más decisivas del trabajo con datos.

01Qué problema resuelve, en concreto

El problema aparece en cuanto combinas datos de más de una fuente, que es siempre. Tu CRM tiene una versión de una empresa; el formulario web capturó otra con el nombre ligeramente distinto; el proveedor de datos que compraste trae una tercera. Para un humano, es evidente que son la misma; para tu sistema, son tres entidades separadas. Multiplica eso por miles de registros y tienes una base de datos que cuenta mal, segmenta mal y decide mal, sin que nadie se dé cuenta porque el problema está repartido en miles de pequeñas inconsistencias.

La resolución de identidad es el proceso de determinar qué registros, dentro de una o varias fuentes, se refieren a la misma entidad del mundo real, una persona, una empresa, y unificarlos. El resultado es lo que se conoce como «golden record»: el registro único, limpio y completo que representa a esa entidad, construido tomando el mejor dato de cada fuente.

02Cómo funciona: las cuatro fases

  1. Normalización. Antes de comparar, hay que estandarizar. «S.L.», «SL» y «Sociedad Limitada» se llevan a un formato común; las mayúsculas, los acentos, los espacios y las abreviaturas se uniformizan. Sin este paso, ninguna comparación funciona.
  2. Blocking. Comparar cada registro con todos los demás es computacionalmente inviable a escala (millones de registros generan billones de comparaciones). El blocking agrupa candidatos plausibles, por ejemplo, empresas del mismo código postal, para comparar solo dentro de cada grupo. Es la optimización que hace el problema tratable.
  3. Matching. El corazón del proceso: calcular, para cada par de candidatos, la probabilidad de que sean la misma entidad. Aquí entran los algoritmos, y es donde se decide la calidad del resultado.
  4. Fusión (merge). Una vez identificados los registros que son la misma entidad, se combinan en un golden record, eligiendo el valor más fiable de cada campo (el email más reciente, el teléfono verificado, el cargo actualizado).

03Por qué es tan difícil

La resolución de identidad parece sencilla hasta que te enfrentas a datos reales, y entonces se revela como uno de los problemas más espinosos del campo. Los datos reales son sucios de formas creativas: erratas, nombres comerciales que no coinciden con el nombre legal, empresas que se fusionan o se renombran, personas que cambian de empleo y arrastran su identidad a otra compañía, direcciones escritas de quince maneras. No hay una clave universal y limpia que diga «estos dos son el mismo». Por eso el matching perfecto no existe: se trabaja siempre con umbrales de confianza y se asume un margen de error que hay que gestionar.

El dilema de los umbrales: si exiges una coincidencia muy estricta, dejas duplicados sin unir (pierdes la vista única). Si la haces muy laxa, fusionas entidades que no eran la misma (creas un registro Frankenstein). Calibrar ese umbral es donde está el arte, y el riesgo, de la resolución de identidad.

04Determinista frente a probabilístico

Hay dos grandes enfoques para el matching, y los sistemas serios los combinan. El matching determinista usa reglas y claves exactas: si dos registros comparten el mismo NIF o el mismo email verificado, son la misma entidad. Es muy preciso y fácil de explicar, pero rígido: falla cuando no hay una clave común limpia, que es la mayoría de las veces. El matching probabilístico usa similitud y modelos estadísticos: compara múltiples campos, pondera su parecido y calcula una probabilidad global de coincidencia. Es más flexible y captura casos que el determinista pierde, pero requiere calibración y produce decisiones que hay que validar.

En la práctica, una buena resolución de identidad empieza por las coincidencias deterministas de alta confianza, las claves exactas, y aplica el matching probabilístico para el resto, el territorio ambiguo donde vive la mayor parte de la dificultad. La IA moderna ha mejorado mucho esta segunda capa, aprendiendo a reconocer qué combinaciones de similitudes predicen una coincidencia real.

La resolución de identidad es el trabajo invisible que hace que «1 + 1 cliente» sea de verdad un cliente, y no dos. Sin ella, todo lo que cuentas está inflado.

05Qué ganas al resolverlo

  • Una vista única de cliente. El famoso «single customer view»: por fin sabes que esas cinco interacciones son de la misma persona, y puedes tratarla en consecuencia.
  • Métricas fiables. Dejas de inflar tu número de cuentas y de clientes con duplicados. Tus informes empiezan a reflejar la realidad.
  • Mejor segmentación y scoring. Los modelos de IA odian los duplicados: aprenden patrones distorsionados si la misma entidad aparece varias veces. Datos deduplicados producen modelos más fiables.
  • Menos vergüenza comercial. Dejas de contactar a la misma cuenta por tres vías distintas con tres mensajes descoordinados, esa experiencia que delata que tu empresa no se entiende a sí misma.

06La conexión con el cumplimiento

Hay un motivo menos obvio y muy importante para resolver la identidad: el RGPD. Cuando una persona ejerce su derecho de supresión, debes borrar todos sus datos. Pero si esa persona vive en tu sistema como cinco registros distintos que tú no sabes que son la misma, borrarás uno y conservarás cuatro, incumpliendo la ley sin saberlo. La resolución de identidad no es solo una cuestión de calidad o de eficiencia comercial; es una condición técnica para poder cumplir los derechos de los interesados. No puedes respetar lo que no sabes que existe.

07Cómo lo aborda Funneld

En Funneld, la resolución de identidad no es un servicio que se contrata aparte, sino una etapa nativa del pipeline de datos. Antes de enriquecer y de puntuar cualquier registro, unificamos las identidades entre las más de cuarenta fuentes con las que trabajamos y eliminamos los duplicados. El resultado es que cada dato que entregamos representa una entidad real y única, no una de sus múltiples sombras. Esto importa por una razón práctica: de nada serviría enriquecer y puntuar un registro si ese registro está triplicado, porque estarías pagando tres veces por el mismo contacto y ensuciando tus modelos. La identidad limpia es el cimiento sobre el que todo lo demás, enriquecimiento, scoring, activación, puede construirse con sentido.

08Fuentes y lecturas

  1. Christen, P., «Data Matching» (Springer): texto de referencia sobre entity resolution
  2. DAMA DMBOK, gestión de la calidad y unificación de datos maestros (MDM)
  3. AEPD, derechos del interesado y obligación de supresión

09Preguntas frecuentes

¿Quieres aplicar esto a tus datos?

Funneld opera plataforma propia, infraestructura de procesamiento y una red de +40 proveedores de datos. Reserva una demo y te mostramos cómo aplicarlo a tu caso.

Sigue leyendo

DatosCalidad de datosDatosEnriquecimiento de datosInfraestructuraQué es un CDP