Open data, big data… dark data

Esta semana se ha revelado la prueba científica de que el universo primitivo fue realmente inflacionario, un periodo de rapidísima expansión que ocurrió en los primeros instantes de su existencia, dejando tras de sí una huella en forma de ondas gravitacionales que acaba de ser detectada.

En el vasto universo de los datos, no hay que remontarse tan atrás en el tiempo para ser testigos de la “gran explosión”. El 90% de los datos que hoy residen en los servidores fueron creados hace menos de 3 años. Si usted ha adquirido ya la comprensión lectora para entender este artículo, considérese entonces testigo directo de este Big Bang electrónico.

El universo de los datos se expande en estos momentos a vertiginosa velocidad, a medida que más y más esferas de nuestra vida diaria dejan rastros electrónicos por las redes y servidores de todo el mundo. Un periodo inflacionario en que transacciones financieras, conversaciones telefónicas, itinerarios, opiniones y compras constituyen nuestra huella digital. A modo de ejemplo, en el tiempo que a usted le lleva leer una frase, el volumen de datos almacenado a nivel mundial se habrá incrementado en el equivalente a todos los libros escritos por la humanidad.

Evidentemente, hay razones de peso (económico) para almacenar tantos datos. La capacidad de registrar y acceder a datos almacenados, permiten a empresas e instituciones una mejor prestación de servicios a los usuarios. Aunque la tentación de hacer del dato el fin, y no el medio, siempre está ahí. Gigantes de Internet como Google, Facebook o Amazon no ocultan que sus verdaderos modelos de negocio, por encima de ofrecer servicios de búsqueda o de compras on-line, radican en la ambición de “conocer todo de todos”.

En el caso de la administración pública, la consideración del dato como un bien público insufla fuerza a la tendencia del momento: los datos abiertos u “open data”. En mayor o menor medida, todas las administraciones están realizando esfuerzos en esta línea, que permitirá avances en dos ámbitos que no son menores: transparencia (mayor control) y economía (debido al potencial de estos datos para alimentar interesantes aplicaciones de terceros que mejoren o complementen los propios servicios públicos).

La tarea de abrir los datos públicos se parece a la identificar la materia visible del universo, un esfuerzo ingente de conocimiento para el que hacen falta enormes recursos (materiales y humanos) escudriñando y revelando regiones (“data sets”) todavía no visibles. Y sin embargo, aunque consiguiésemos abrir todo el universo de datos públicos, apenas alcanzaríamos un pequeño porcentaje de todos los datos existentes, (porcentaje que, dicho sea de paso, tenderá a disminuir al ritmo que las privatizaciones de los servicios públicos se vayan produciendo). El resto, el verdadero Big Data, está oculto, como la materia y energía oscuras del universo. Sabemos que están ahí porque vemos sus efectos. Por ejemplo, vemos cómo grandes corporaciones nos sugieren decisiones de compra que nosotros aún no habíamos pensado tomar, o cómo florecen negocios al calor de los datos.

Si es cierto (que creemos que sí) el inmenso potencial que, para el crecimiento económico, ofrecen tanto la apertura de datos como la construcción de sistemas de decisión basados en las ingentes cantidades de datos almacenadas, entonces el verdadero desafío estriba en encontrar fórmulas de colaboración público – privada para que los “datos oscuros” o “dark data” puedan aflorar a la visión de nuestros telescopios digitales. Este afloramiento deberá respetar, en todo caso, los derechos individuales (privacidad de los datos), por lo que estamos hablando sólo de datos anónimos y agregados, pero es fundamental que se produzca para extender y multiplicar los beneficiosos efectos que la apertura de datos tiene sobre la economía y sobre la transparencia de nuestras sociedades; aspectos en que las grandes corporaciones, como importantes agentes que son, no deberían quedarse al margen.

La manera de lograr este acercamiento entre graneros de datos de naturaleza tan diversa como bancos, operadoras, aseguradoras, empresas energéticas, proveedores de Internet y administraciones públicas está todavía por inventar. Experiencias como las que lleva a cabo el Senseable Lab del M.I.T. en colaboración con corporaciones y ciudades pueden ir en la buena dirección, pero quizás sea necesario crear todavía unas mayores relaciones de confianza entre todos estos agentes para poder profundizar esas colaboraciones. Los nuevos laboratorios de innovación urbana que están surgiendo en las ciudades, pueden ofrecer un campo de juego interesante donde empezar a experimentar nuevos modelos de colaboración. En estos nuevos modelos, las ciudades pueden presentarse, ya no como clientes, sino como un proveedor de datos más.

Igualdad, confianza y espíritu innovador pueden ser tres factores que permitan a estos nuevos centros de innovación urbana ofrecer las condiciones ideales para instalar los nuevos telescopios que escudriñen y saquen a la luz los vastos e inexplorados volúmenes de “dark data” o datos oscuros.