OpenBigData – Los datos como el agua
Los datos emergen por donde quiera que mires. En una sociedad urbana tan interconectada, se produce una generación de información continua, ya sea la que transmitimos de forma voluntaria, la huella que dejamos en las redes a las que nos conectamos o la que se genera por el uso y disposición de los servicios públicos.
Vamos a usar el ciclo del agua en las ciudades para explicar el ciclo de los datos. Los manantiales y ríos nos proveen de agua, ésta la concentramos y la ponemos a disposición del público. En algunos casos de forma abierta como en las fuentes, en otras con medidores de consumo como el uso privativo. Este agua se va a utilizar para crear negocio en el caso de industrias y servicios, o incluso para crear arte, como en las fuentes luminosas o los espectáculos acuáticos.
Con los datos ocurre algo análogo, desde la generación y captación de los que se van produciendo, la publicación en formatos abiertos y el uso de los mismos para crear nuevos modelos de negocio o para la combinación de arte y tecnología
La ciudad es la forma de organización social más próxima a la mayoría de habitantes, por la densidad de personas y servicios. Esto ha generado en el pasado problemas para garantizar el suministro de servicios básicos (alimento, energía y sanidad pública). Sin embargo con la información se produce un cambio de sentido, el consumidor de servicios es el generador de datos.
Desde el punto de vista de los gestores de estos servicios, recoger y utilizar esta información es una obligación básica para poder administrar la ciudad. Un paso más allá es poner estas fuentes de información de forma abierta a disposición de ciudadanos y empresas para que puedan generar nuevos usos, de ahí el OpenData.
Sin embargo a medida que este ecosistema ciudadanos/datos ha ido evolucionando, se ha producido un incremento de varias escalas en el volumen de los datos y un aumento exponencial de la complejidad de los mismos.
Escenario: |
Analógico |
Digital |
BigData |
Servicio: |
Bus: contador de billetes vendidos. |
Bus: Informa posición, conoce nº viajeros. Tráfico. |
Bus: Previsión de usos. Feedback usuarios. |
Ciudadanos: |
Parada informa trayecto. |
Tiempos de espera, rutas y combinaciones. |
Envío información, publicación en redes sociales, interacción con servicios. |
BigData
Hasta ahora, todos los elementos que nos relacionaban con los servicios públicos estaban ahí, se ha mejorado en agilidad, pero no se han creado entornos nuevos. Por ejemplo, si el transporte público no estaba limpio, podemos rellenar una hoja de reclamaciones y enviarla. Ahora, además podemos escribir una queja directamente en nuestro perfil en redes sociales y esta última tiene más peso en la percepción pública que un documento más formal.
En la métrica de los servicios urbanos no se han tenido hasta ahora en cuenta dos cosas: la semántica de la información y la combinación de orígenes. A partir de ahora este escenario es imprescindible.
Bien, hasta aquí solo hemos hecho una descripción de la necesidad de disponer de un entorno de BigData para realizar la métrica de los servicios públicos, algo obvio y en lo que la mayoría de las corporaciones están (o deberían estar) trabajando. Podemos ir un paso más allá y definir como podemos “publicar” este entorno.
Be Open
La publicación de datasets de datos de forma abierta se ha ido generalizando para la mejora de servicios y el desarrollo de nuevos productos por parte de los agentes reutilizadores. Esto fue una buena experiencia y es una realidad establecida. Datos publicados de forma libre, continua, precisa y en formato programable.
Sin embargo estos orígenes por separado pierden fuerza por verse privado por su contexto personal. Ya no es suficiente conocer que en un instante determinado el autobús ha llegado a la parada, ni cuantos viajeros lleva, si podemos conocer que el viajero ha hecho transbordo, ha publicado una foto o ha dejado su opinión en un tweet. Que van en grupo a un partido de fútbol y que tiene una discapacidad sensorial.
Este escenario es real, pero expuesto así asusta por dos grandes retos: complejidad y privacidad. El primero no es ningún problema, a los ordenadores les encanta trabajar con estos volúmenes de datos, han sido fabricados para ellos. Sin embargo necesitamos personas que planteen las preguntas precisas y que sepan interpretar correctamente las respuestas. La información tiene que ser imaginada.
El segundo tiene mayores implicaciones, garantizar la privacidad es una tarea primordial para los gestores de la información. Existen leyes actuales cuyo alcance ha sido superado por las interacciones de los usuarios (publicamos voluntariamente en redes sociales información privada que ninguna empresa tendría capacidad de revelar). Así que vayamos más allá.
Be OpenBigData
Planteémoslo con humor: desde el momento en que vas al podólogo, la administración sabe de qué pie cojeas. La privacidad y la utilidad de los datos personales transcurren en direcciones que no son opuestas sino perpendiculares. Vamos a plantear un entorno que nos permita aumentar esa utilidad con suficientes garantías.
Para ello existen varias técnicas de anonimización de la información personal: enmascaramiento, limitación, emborronado, que consiguen evitar la ingeniería inversa sobre los datos. Así mismo, la introducción de marcadores y datos arbitrarios permiten la trazabilidad del uso y la utilización fraudulenta de los datos. Todo esto sin perder fiabilidad y utilidad.
Con esto ya tenemos todos los ingredientes necesarios para publicar un OpenBigData.
- Captación y depuración
- Tratamiento y anonimización
- Publicación.
¿Qué hacemos con ellos? Publicar un motor que sea utilizable por el público como generador de esos datos y por los gestores de servicios. Además podemos poner a disposición de proyectos empresariales las herramientas para el análisis del comportamiento de la ciudad.
¿Qué conseguimos?
- Métrica de servicios públicos. No solo es varios niveles más precisa, sino que es en tiempo real y puede ser utilizada para gestión predictiva de servicios.
- Arte y tecnología. Los datos son el óleo con el que se desarrolla el arte de nuestro tiempo, estos artistas tienen el talento suficiente para imaginar nuestra sociedad y nuestra mente en el futuro.
- Análisis y periodismo de datos: Con los datos ya combinados y con la suficiente capacidad de computación se puede publicar información de los acontecimientos públicos y de la vida urbana
- Negocio: ¿Existe algún estudio de mercado mejor que ver una ciudad real funcionando en tiempo real? A su vez, la explotación de este producto es un negocio en sí, del que pueden emerger empresas cuya economía quede fijada al territorio.
OpenBigData: Pongamos una noria al flujo de datos que generan las ciudades. Ahora debemos imaginar sus aplicaciones.
Si, tendremos Open Big Data Sets, pero para que realmente sea Open Big Data en el sentido de que sea utilizable por todos hay que dar un dato más que la mera publicación: el big data es, por definición, variable en su estructura, de gran volumen y de gran velocidad, y por ello, difícil de tratar. Además, evidentemente es BIG, con lo que la transmisión de datos para hacerse con los data sets fuera de su origen es insuficiente. Tanto las herramientas como la transmisión serán caras y sólo al alcance de grandes empresas. Con este planteamiento será open, pero no llegará a la pyme ni al ciudadano.
Pero la solución la tenemos cerca: instalemos las herramientas (los hadoop y sus familiares) donde se generan los datos, y demos herramientas a los usuarios. Hagamos el tratamiento de los datos en origen, a medida del uso que se quiera dar, y demos al usuario final la información, en escala, formato, y velocidad tratable a bajo precio. No hace falta que inventemos el Maker Space de Datos… porque ya existió! recuperemos el Centro de Cálculo:
Un acuerdo de la administración con la universidad y herramientas de análisis (y personal formado y asistencia) a precio razonable, disponible para todos.
Así me imagino yo el Open Big Data
Creo que no se ha entendido el post. Lo que proponemos no es tener OpenData, eso ya lo tenemos, lo que proponemos es ponerle una noria al río de datos que se generan. Un motor que mueva esos datos. Y no sólo datos agregados, queremos datos anónimos y desagregados. Algo muy potente que lo mueva y que esté abierto.
A partir de aquí surgen preguntas más o menos obvias sobre las que hemos planteado propuestas, pero este post pretender ser únicamente el planteamiento y presentación del proyecto. El “qué”, más adelante vendrán el “quién” y sobre todo, el “cómo”.
Permanezcan en sintonía.
*perdon por falta de puntuacion correcta, pero el sistema no me deja ni poner una tilde o un interrogante*
Estuve en la reciente Jornada http://www.openanalytics.es/ , organizada por MedaLab Prado en Madrid, y salió Zaragoza junto con Barcelona destacadas en Linked Open Data, por tanto enhorabuena por ese lado.
Pero los esfuerzos aislados nos hablan de mucho Data, pero poco Linked. Falta en las administraciones muuuucha mas interoperabilidad, no digamos ya interoperabilidad semantica. En un entorno de movilidad europea, es triste que hablemos de Smart Cities, deberiamos hablar de Smart Provinces, Smart Countries, o Smart Continents. Entiendo que eso es ahora futurologia y cienciaficcion, pero creo que se cometen errores clasicos, como repetir y repetir trabajos, con iniciativas aisladas. Ahi estan algunos estandares, si, y Europeana es un ejemplo. Pero si al Big Data queremos meterle reasoning, Datamining, Textmining, necesitamos mas Linked Open Data. Por supuesto se pueden sacar conclusiones interesantes con pocos datos, pero las posibilidades de las que se habla aqui se pierden un monton de oportunidades si no estan Linked, como comparar datos entre ciudades para periodismo de datos, quedando comparar entre barrios, y asi nos escondemos en nuestros micromundos en los que ni visitamos a los demas por falta de guias turisticas interoperables tan buenas como la de http://www.zaragoza.es/turruta/Turruta/index_Ruta que otras ciudades podrian utilizar como estandar para calculo de rutas turisticas, ni hacemos negocios con los demas ni empatizamos con los demas y todos separaditos en micropaises por barrios. PERO ES UN PRINCIPIO, A POR ELLO, GRACIAS POR SER DE LOS PRIMEROS!!!
Muy interesante el comentario, muchas gracias.
Respecto al alcance del territorio “Smart” hay una razón subyacente, siempre planteamos una óptica citizentrista en la que la parte más inteligente de una ciudad inteligente es el ciudadano y es a las personas a las que hay que dotar de herramientas. Además, los ciudadanos se relacionan en primer nivel con las ciudades por prestación de servicios y en las ciudades por densidad de población. Esto hace que los proyectos en este sentido nazcan y crezcan en entornos urbanos, aunque la mayoría de ellos continúen en niveles supramunicipales o en entornos rurales.
Pingback: OpenBigData - Los datos como el agua | Innovaci...
Pingback: Enlaces compartidos
Pingback: Invitación abierta a un "city maker" cc Anthony Townsend | Open Your CityOpen Your City
Pingback: OpenBigData - Los datos como el agua - Open You...
Pingback: La colonización del dato - Open Your CityOpen Your City