Big Data

Big Data tiene un gran potencial para beneficiar a las organizaciones en cualquier industria, en todo el mundo. Big data es mucho más que una gran cantidad de datos y, especialmente, la combinación de diferentes conjuntos de datos proporcionará a las organizaciones ideas reales que se pueden utilizar en la toma de decisiones y para mejorar la posición financiera de una organización. Antes de que podamos entender cómo los grandes datos pueden ayudar a su organización, veamos qué son realmente los grandes datos:

En general, se acepta que los grandes datos se pueden explicar de acuerdo con tres V: velocidad, variedad y volumen. Sin embargo, me gustaría agregar algunas V más para explicar mejor el impacto y las implicaciones de una estrategia bien pensada a través de Big Data.

Velocidad

La velocidad es la velocidad a la big data que se crean, almacenan, analizan y visualizan los datos. En el pasado, cuando el procesamiento por lotes era una práctica común, era normal recibir una actualización de la base de datos todas las noches o incluso todas las semanas. Las computadoras y los servidores requirieron un tiempo considerable para procesar los datos y actualizar las bases de datos. En la era de los grandes datos, los datos se crean en tiempo real o casi en tiempo real. Con la disponibilidad de dispositivos conectados a Internet, inalámbricos o con cable, las máquinas y dispositivos pueden transmitir sus datos en el momento en que se crean.

La velocidad a la que se crean los datos actualmente es casi inimaginable: cada minuto subimos 100 horas de video en YouTube. Además, se envían más de 200 millones de correos electrónicos cada minuto, se ven alrededor de 20 millones de fotos y se cargan 30,000 en Flickr, se envían casi 300,000 tweets y se realizan casi 2,5 millones de consultas en Google.

El desafío que tienen las organizaciones es hacer frente a la enorme velocidad con la que se crean los datos y usarlos en tiempo real.

Variedad

En el pasado, todos los datos que se crearon eran datos estructurados, se ajustaban perfectamente en columnas y filas, pero esos días han terminado. Hoy en día, el 90% de los datos que genera la organización son datos no estructurados. Los datos actuales vienen en muchos formatos diferentes: datos estructurados, datos semiestructurados, datos no estructurados e incluso datos estructurados complejos. La gran variedad de datos requiere un enfoque diferente, así como diferentes técnicas para almacenar todos los datos en bruto.

Hay muchos tipos diferentes de datos y cada uno de esos tipos de datos requiere diferentes tipos de análisis o diferentes herramientas para usar. Las redes sociales, como las publicaciones de Facebook o los Tweets, pueden brindar diferentes ideas, como el análisis de sentimientos sobre su marca, mientras que los datos sensoriales le brindarán información sobre cómo se utiliza un producto y cuáles son los errores.

Volumen

El 90% de todos los datos jamás creados, se creó en los últimos 2 años. De ahora en adelante, la cantidad de datos en el mundo se duplicará cada dos años. Para 2020, tendremos 50 veces la cantidad de datos que teníamos en 2011. El gran volumen de datos es enorme y un contribuyente muy grande para el universo digital en constante expansión es el Internet de las cosas con sensores en todo el mundo en Todos los dispositivos crean datos cada segundo.

Si observamos los aviones, generan aproximadamente 2,5 mil millones de terabytes de datos cada año a partir de los sensores instalados en los motores. Además, la industria agrícola genera grandes cantidades de datos con sensores instalados en tractores. John Deere, por ejemplo, utiliza datos de sensores para monitorear la optimización de la máquina, controlar la creciente flota de máquinas agrícolas y ayudar a los agricultores a tomar mejores decisiones. Shell usa sensores súper sensibles para encontrar petróleo adicional en los pozos y si instalan estos sensores en los 10,000 pozos, recolectarán aproximadamente 10 Exabytes de datos anualmente. De nuevo, eso no es absolutamente nada si lo comparamos con el Telescopio de matriz de kilómetros cuadrados que generará 1 Exabyte de datos por día.

En el pasado, la creación de tantos datos habría causado serios problemas. Hoy en día, con la disminución de los costos de almacenamiento, mejores opciones de almacenamiento como Hadoop y los algoritmos para crear significado a partir de todos esos datos, esto no es un problema en absoluto.

Veracidad

Tener una gran cantidad de datos en diferentes volúmenes que ingresen a alta velocidad no tiene valor si esos datos son incorrectos. Los datos incorrectos pueden causar muchos problemas a las organizaciones, así como a los consumidores. Por lo tanto, las organizaciones deben asegurarse de que los datos sean correctos y que los análisis realizados sobre los datos sean correctos. Especialmente en la toma de decisiones automatizada, donde ya no hay humanos involucrados, debe asegurarse de que tanto los datos como los análisis sean correctos.

Si desea que su organización se centre en la información, debe poder confiar en los datos y los análisis. Sorprendentemente, 1 de cada 3 líderes empresariales no confía en la información que utilizan en la toma de decisiones. Por lo tanto, si desea desarrollar una estrategia de Big Data, debe centrarse fuertemente en la exactitud de los datos, así como en la exactitud de los análisis.

Variabilidad

Big data es extremadamente variable. Brian Hopkins, analista principal de Forrester, define la variabilidad como la "variación en el significado, en el léxico". Se refiere a la supercomputadora Watson que ganó Jeopardy. La supercomputadora tuvo que "diseccionar una respuesta en su significado y [.