Big Data para una Open City

El título es un juego de palabras sobre “Open Data for a Big City”, sacado de una entrevista a Rachel Haot sobre el conjunto de fuentes de datos de NYC.

En el planteamiento de una Open City hemos hablado de Datos Abiertos y de Open Government, mientras que en el ámbito privado se habla cada vez más de Big Data.

El tamaño no importa

Consideramos Big Data a la información heterogénea, almacenada en distintas formas que no se maneja mediante las herramientas habituales. Lo que ahora consideramos un tamaño inmanejable será mediano en breve y pequeño a medio plazo. Piensen lo grande que les pareció un Gigabyte la primera vez que oyeron nombrarlo y ahora un teléfono tiene 16Gb. Esa escalada se va a producir en los datos que generamos. Una de las cuestiones que no cambiarán será la forma de manejarlos. Big Data no es “Business Intelligence” (o al menos no solo es eso).

Tampoco importa el tamaño de las ciudades. Los mismos principios básicos que se aplican ahora a las grandes corporaciones y las principales administraciones, se aplicarán en breve a las ciudades, sin importar el tamaño y más adelante a las pymes e incluso a entornos cuasi personales.

¿Pero qué necesidad tenemos de hacer esto?

Los datos en crudo no tienen sentido, han de ser imaginados. Imaginar donde están, hacerlos emerger e interpretarlos. Planteado de forma socrática “Lo importante es la pregunta”.

Unas breves pinceladas sobre que tipo de información vamos a manejar.

Tipos de datos:

• Duros: descontextualizados, precisos, estructurados y predecibles.
• Blandos: sin estructura, fruto de la interacción humana, difíciles de normalizar.

Orígenes de los datos:

• Servicios Públicos: Duros, estructurados, precisos, causados por interacción humana.
• Sensores: Duros, estructurados, medición automática o por activación.
• Ciudadanos: Datos generados por ciudadanos, colectivos, empresas y redes. Calendarios, actividades, quedadas, webcam y sensores.
• Redes sociales: Blandos, desestructurados, contextuales, la red la forma la sociedad, no piensen solo en los sitios donde hacen login, esos ya tienen dueño, sino en todas la interacciones que realizan.

Almacenamiento: Trastero contra Data Warehouse.

Lo que tengas clasificado y en producción, perfecto, pero Big Data no es una base de datos transaccional para almacenar operaciones bancarias. No tienes porque tener todo de todos. Tendrás menos problemas si pierdes un dato que beneficios si almacenas un millón. Tampoco es necesario padecer un síndrome de diógenes informativo. No todo va a ser utilizado, pero sí lo que define el “comportamiento humano”.

Big Data para Little Cities

Las escalas ahora están definidas para entornos que no son los nuestros. No hablamos de ‘mercados’ de 300 millones de personas, sino de ciudades de cientos de miles de habitantes. Ese debe ser el patrón base para nuestros proyectos. No podemos pretender llegar a petabyte el primer día, pero no debemos renunciar a ello.

Las pequeñas poblaciones del mundo rural ansían la dotación de infraestructuras básicas de las grandes ciudades, pero no mantienen su pluralidad. Sin embargo en las ciudades intermedias ya emerge una bruma de datos suficientemente diversa para poder ser el campo de pruebas perfecto para plantear esa pregunta a un entorno Big Data y obtener una respuesta extrapolable.

¿Quiénes son los usuarios de big data?

Los clientes no son los usuarios finales, son los investigadores, las empresas, los artistas, los tecnólogos, los prestadores de servicios públicos, los investigadores de mercado y finalmente los inversores que van a implantarse en tu ciudad y a captar el talento local.

Agrupemos los anteriores según su motivación:

1. La Ciudad. En un proyecto de Lean City, la métrica de funcionamiento de los proyectos es tan importante como las ideas a desarrollar. Y si se quiere tener éxito con recursos limitados, más.
2. Los investigadores: “Doctores tiene la iglesia” y doctorandos las universidades. En un mundo donde la materia prima es la información, es mejor investigar al lado de la mina.
3. Las empresas: Conocer el entorno urbano, realizar modelos predictivos del comportamiento ciudadano y poder hacer análisis cruzado, es tan importante para atraer a empresas a tu ciudad como lo fueron las autopistas en el Siglo XX.
4. Los artistas: nos pueden mostrar una realidad todavía no visible para el público. La vanguardia artística estará ahí, decida si quiere que sea a su lado.

La necesidad está ahí. Los datos es posible que sean el nuevo petróleo tanto para los negocios, para el arte, para mantener el principio de eficacia en la gestión pública. A diferencia de otras tecnologías, ser uno de los primeros es barato, las capacidades de almacenamiento han reducido su coste drásticamente, lo mismo ocurre con la adquisición de datos. Para explotarlos será necesario tener la imaginación suficiente para plantear la pregunta y acercar el talento que le pueda dar respuesta.

En el próximo post hablaremos de como podemos poner una vez más al ciudadano en el centro y al frente de todo esto. Después hablaremos de como hacer frente a algunos retos y miedos que habremos de espantar.