La incapacidad de sistemas, procesos o flujos de trabajo para reconocer, señalar o consolidar registros u objetos digitales duplicados que representan el mismo recurso, manifestación o contenido intelectual dentro de una colección o repositorio.

Principio

La detección de duplicados depende de una o varias señales (hashes exactos, similitud de metadatos, identificadores, huellas) y de heurísticas de coincidente con umbrales ajustados; las fallas provienen de señales faltantes o heterogéneas, heurísticas inadecuadas, variación de formato o falta de revisión curatorial.

Demostración

Escenario ilustrativo — Situación: un repositorio recibe múltiples subidas del mismo artículo en PDF y texto con metadatos distintos. Reconocimiento: la búsqueda devuelve varios resultados indistinguibles y los informes de almacenamiento muestran holdings inflados. Acción: ejecutar detección combinada (checksum para archivos idénticos + clustering de metadatos), marcar duplicados probables y presentar una cola de curación para confirmación humana; después canonizar registros y enlazar manifestaciones. Consecuencia: reducción del desperdicio de almacenamiento, descubribilidad más clara y objetivos de citación consistentes.

Aplicación incorrecta

Equiparar checksum idéntico con duplicado semántico. Este error toma el criterio como unicidad de bytes e ignora distinciones relevantes (licencias diferentes, redacciones, funcionalidades específicas de formato) que pueden justificar registros separados.

Consecuencia

La falla en detectar duplicados infla recuentos, desperdicia almacenamiento, fragmenta la recuperación para usuarios, genera metadatos inconsistentes e impide la planificación de preservación; causalmente multiplica la representación del mismo contenido intelectual en sistemas y métricas, minando precisión y eficiencia.

Inversión

En contextos curatoriales o de preservación, conservar múltiples manifestaciones (formatos, variantes OCR, versiones lingüísticas, copias autorizadas) es intencional y deseable; en esos casos la no consolidación es correcta y la detección debe cualificarse por política para evitar eliminaciones inapropiadas.

Límite

Claramente dentro: varios registros o archivos que representan sustantivamente el mismo recurso y cuya consolidación está permitida por la política. Caso límite: distintas ediciones o versiones localizadas que comparten contenido pero tienen diferencias significativas. Claramente fuera: obras relacionadas, traducciones con diferencias sustantivas o artículos aparentemente parecidos pero intelectualmente distintos.

Tensión semántica

Desduplicación ↔ Preservación/Versionado — la desduplicación automática agresiva mejora almacenamiento y descubribilidad pero corre riesgo de eliminar distinciones de formato/derechos/versiones necesarias para preservación y acceso; la política debe mediar la automatización.

Síntesis

El fallo en detección de duplicados revela una combinación insuficiente de firmas técnicas, enriquecimiento de metadatos y política curatorial: la desduplicación eficaz usa señales por capas, revisión humana en casos fronterizos y reglas claras de preservación en lugar de automatización basada en una sola señal.