SorayaPaniagua Ⓢ

Visualización de datos sobre el gasto del Estado. Imagen de visualthinking.es

Es curioso, se está produciendo otra gran revolución tecnológica, la que nos conducirá a la Sociedad de la Inteligencia. Sin embargo, es una revolución casi invisible, imperceptible, que tiene que ver con grandes volúmenes de datos, con Big Data. Paralelamente se ha generado una discusión pública y abierta, entre expertos, para definir conceptualmente este fenómeno, el de la Ciencia de los Datos.

Es un tema complejo, abstracto y de difícil comprensión pero, a la vez,  apasionante.

He escrito cuatro artículos que pretenden ser una aproximación divulgativa a los conceptos de Big Data y Data Science. El orden de las entregas es la siguiente:

• Los Datos, qué son, dónde están (BD I)
• La Ciencia de los Datos (BD II)
• El trabajo con los datos y las herramientas (BD III)
• El científico de datos (BD IV)

Aunque detrás de cada párrafo hay un intenso y laborioso trabajo de documentación, traducción, y análisis,  agradeceré las aportaciones y correcciones pertinentes. Créanme que escribir esta serie ha sido un reto y gran esfuerzo intelectual.

Dejo  pendientes un par de artículos, implicaciones concretas del Big Data en sectores como el Periodismo o la Educación… Bueno, y el estado de esta ciencia en España…

A nivel periodístico recogeré mi propia experiencia en el grupo de trabajo de Periodismo de Datos de  MediaLab Prado creado, entre otros, por David Cabo y Vicky Anderica .

Les dejo ya con la primera entrega del   “seductor”  mundo de los datos.

Los datos, qué son, dónde están

Sabemos desde hace tiempo que Google está probando con éxito el primer coche que se conduce sólo. Usa varias cámaras de vídeo,  cuatro sensores de radar, mapas de carreteras o laser de alto alcance para ver el tráfico alrededor.  Mediante inteligencia artificial Google procesa toda esa información para hacer que el coche tome decisiones similares a las que tomaría la mente humana. Los datos es la información que recogen los sensores sobre las condiciones exteriores (proximidad de un objeto, distancias, temperatura, etc..), son las imágenes de las cámaras, los mapas de carreteras que nos proporciona Internet, etc..

El director del Biomechatronics Group del  MIT Media Lab es Hugh Herr , un tipo prodigioso que perdió sus dos piernas cuando contaba 17 años, ha desarrollado unas prótesis implementadas a su organismo e integradas en su sistema nervioso. “Los miembros que llevo tienen 12 computadoras, cinco sensores y sistemas de actuación que simulan músculos que son capaces de moverme en el día a día.” Esto es Biomecatrónica, un área emergente de conocimiento aplicado. Es la sinergia multidisciplinar de mecánica, electrónica e ingeniería informática que genera sistemas biónicos. Aquí los datos provienen del cerebro, del exterior, de sistemas electrónicos, de energías, etc, etc.

Gobierno Abierto, Open Data

En mayo de 2010, el gobierno británico lanzó una plataforma de datos públicos, abiertos y reutilizables (uniéndose al ya imparable movimiento Open Data,  datos abiertos). Esos datos públicos son informes, mapas, estadísticas, estudios, análisis, etc  que maneja la Administración a todos los niveles (sanidad, economía, educación, población, etc) y que son de interés público.

Los resultados están siendo espectaculares, por ejemplo  el  impulso y dinamismo en el desarrollo de aplicaciones por parte de los desarrolladores.  Hay apps para ver el tráfico de Londres, las obras en las carreteras del país, para encontrar un médico, una farmacia o un dentista. En Facebook se ha lanzado una app para conocer la percepción de la gente sobre la delincuencia. También está Asborometer que posiciona, en un mapa de Google,  el nivel de comportamiento antisocial. Ahh, una app curiosa es Scoresonthedoors , un proyecto colaborativo para la elaboración de un ranking de higiene en restaurantes.

Esta iniciativa del gobierno de David Camerón es, sin duda, un buen ejemplo de Gobierno Abierto dentro del movimiento Open Data que, no sólo significa  la apertura y cruce de datos en todas direcciones (gobiernos, ciudadanos, empresas, etc) , implica también la exigencia de que esos datos puedan ser reutilizables, es decir que se liberen en formatos “usables”. Por ejemplo, es muy difícil leer documentos fotografiados en PDF y convertir la información en datos. Así, otra de las líneas de actuación es propiciar la adopción de estándares globales de metadatos, un ejemplo de este esfuerzo es Opendatafoundation.

Open Data es el deseo de que las empresas también liberen datos para permitir el desarrollo de nuevas aplicaciones y usos. Pero, en el movimiento Open Data, el papel protagonista es el de Ciudadano.  El usuario conectado a la Red es una gran fuente de información. Al compartir lo que vemos (tráfico, baches, opiniones, accidentes, etc), dónde estamos (geolocalización) o las imágenes que captamos, estamos construyendo, entre todos, una gran inteligencia colectiva.

Los datos de las administraciones o las empresas se encuentran, fundamentalmente, en formatos de ofimática (Word, Excel, Access, PowerPoint) , en PDFs o en otros formatos más avanzados y fáciles de leer. Para poder trabajar y extraer la historia de esos datos es preciso aplicar una serie de procesos complejos.

Los ciudadanos aportan datos a través de internet en diferentes formatos electrónicos.

Social Data

En 48 horas esta nueva sociedad, la de la revolución digital, genera  la misma información que la humanidad había creado desde el inicio de los tiempos hasta el año 2003 (Eric Schmidt). 48 horas de video se suben cada minuto a Youtube. 200 millones de tuits se lanzan diariamente en Twitter. La mayor parte de los datos con los que se trabaja actualmente es una consecuencia directa de la web 2.0 . Cada vez hay más gente en Internet  y dejando una gran huella de datos allá donde va. Millones de usuarios publican millones de piezas en texto, fotos o vídeos.

Según cuenta Mike Loukides, “Amazon guarda todas las búsquedas, las relaciona con las búsquedas de otros usuarios y las usa para crear recomendaciones apropiadas. Esas recomendaciones son productos de datos.  Amazón entiende que un libro no es sólo un libro o un cliente no es sólo un cliente.”

Se estima que el 30% de la facturación de Amazón viene de sus sistemas de recomendación inteligente, basados en estos datos.

¿Dónde están los datos? Están en Twitter, Youtube, Facebook, Picassa, Linkedin, Foursquare, en foros, en webs …

Y todo esto pensando que actualmente hay  4 billones de aparatos conectados a Internet. En 2015 habrá … 15 billones!!

En  2010 se fundó  Metamarkets , (Michael Driscoll es el CTO), una consultora que ofrece análisis predictivos para los mercados más importantes del mundo. Cada día Metamarkets analiza billones de transacciones (tarjetas de crédito), geolocalizaciones y eventos de la web social de millones de usuarios. El servicio puede detectar cambios repentinos de actividad, ingresos, volúmenes o precios. Puede  filtrar y profundizando en localizaciones, audiencia, contexto y  atributos para anunciantes. Puede predecir el  tráfico futuro y la demanda de publicidad.

Por tanto los datos también están en los billones de transacciones bancarias, en las máquinas de vending, en los códigos de barras, en los dispositivos móviles …

Los datos están por todas partes, ahora se trata de capturarlos y convertirlos en conocimiento.

Bien, estos ejemplos sirven par ubicar conceptualmente qué son los datos, cómo se generan, dónde están y su tremenda importancia en la construcción de sociedades inteligentes.

Ahora, sobre esa premisa podemos adentrarnos en la discusión conceptual en torno a qué es la  Ciencia de los Datos (BD II) .