El ciclo de vida de los datos es un proceso crucial que permite generar valor a partir de la información. En este artículo, exploraremos en detalle las distintas etapas de este ciclo. Es importante destacar que estas fases no siguen siempre un camino estricto y a menudo se llevan a cabo de manera simultánea o incluso se omiten si resultan redundantes.
- 1. Generación
- 2. Captura
- 3. Almacenamiento
- 4. Preprocesado
- 5. Análisis
- 6. Visualización
- 7. Interpretación
- 8. Publicación
1. Generación
Todo comienza con un problema, fenómeno o situación de la cual deseamos obtener un mayor entendimiento. Los datos son generados por los sujetos relacionados con el tema en cuestión, y pueden variar desde datos personales, proporcionados voluntariamente, hasta información más compleja, como las opiniones expresadas en un foro, la velocidad a la que se desplaza un vehículo o los hábitos de consumo. Además, cada vez es más común la generación de datos a través de dispositivos conectados en la Internet de las Cosas (IoT), lo que incluye sensores, dispositivos inteligentes y otras formas de tecnología interconectada.
2. Captura
Tiene como objetivo recopilar los datos que se van generando, esto se consigue mediante dos técnicas:
- Creación: se implementa un mecanismo que almacene los datos que considere relevantes.
- Extracción: se capturan conforme se van encontrando, normalmente después de que hayan sido generados.
Hay ocasiones en las que no se pueden capturar los datos en el momento de su creación, por lo que se utilizan alternativas como las siguientes:
a) Encuestas: hay veces que lo mejor es preguntar directamente a los usuarios para recopilar datos, es un proceso que se ha ido agilizando en la última década gracias a las redes sociales y software de formularios online. En este proceso, es fundamental considerar las leyes de protección de datos y la necesidad de obtener el consentimiento del usuario antes de recolectar y utilizar sus datos personales.
b) Repositorios: datos estáticos disponibles en espacios web, como por ejemplo el Instituto Nacional de Estadística.
c) APIs: permite extraer datos dinámicos a través de una consulta. Existe la posibilidad de desarrollar herramientas para extraer datos de manera automatizada.
d) Datos cualitativos: se requieren cuando los resultados cuantitativos no son suficientes. Normalmente los entrevistados de los que se quiere extraer datos son grabados (con previo consentimiento) para analizar su comportamiento durante las respuestas.
3. Almacenamiento
Los datos capturados son almacenados en un formato que permita su manipulación. Aunque los ficheros simples y las bases de datos son opciones viables, la creciente cantidad de datos generados hoy en día ha llevado al desarrollo de soluciones de almacenamiento más robustas, como los almacenes de datos y los lagos de datos. Estos sistemas pueden manejar grandes volúmenes de datos y permiten una gran flexibilidad en términos de tipos y formatos de datos:
- Ficheros simples: son datos almacenados en ficheros, un ejemplo sería un archivo con todas las solicitudes de acceso a un sitio web (HTTP/HTTPS).
- Bases de datos: datos almacenados en estructuras de diversa complejidad. Pueden ser relacionales o no relacionales. Hay software de código abierto que facilita la manipulación de los datos, como MySQL.
- Almacenes de datos y lagos de datos: estas soluciones de almacenamiento escalables y flexibles son especialmente útiles para manejar grandes volúmenes de datos y variedades de tipos de datos.
4. Preprocesado
La finalidad de esta fase es preparar los datos para su posterior análisis. Aquí, es crucial prestar atención a la calidad de los datos, ya que los errores en los datos, la falta de coherencia y la falta de completitud pueden tener un impacto significativo en la eficacia de los esfuerzos de análisis de datos. Destacan las siguientes técnicas:
- Fusión: se combinan los datos de diferentes fuentes en una misma estructura.
- Selección: se filtran los datos para obtener una selección de interés.
- Conversión: se cambio el formato de los datos para su fácil lectura.
- Limpieza: eliminación de datos erróneos o poco fiables.
- Agregación: se optimizan los datos aumentar su poder predictivo.
- Creación de variables: consiste en la creación de variables a partir de las ya disponibles, con el fin de reducir la dimensionalidad.
Esta etapa es crucial ya que determinará la calidad del análisis.
5. Análisis
Esta etapa consiste en la creación de uno o varios modelos que permitan ver cómo son los datos y sus características principales. De manera que se pueda responder a las cuestiones que motivaron la utilización de dichos datos. Además de los métodos tradicionales, las técnicas de machine learning y algoritmos avanzados pueden ser utilizados para descubrir patrones y relaciones en los datos que podrían no ser evidentes a través de los métodos de análisis tradicionales.
Existen diferentes tipos de análisis en función del contexto:
a) Análisis estadístico-descriptivo: consiste en el análisis de datos mediante un conjunto reducido de valores que permitan su moderación. Como por ejemplo el sexo o el estado civil de los participantes en una encuesta.
b) Análisis estadístico-diferencial: consiste en el modelado de datos a partir de una fracción de la totalidad de los datos (con el fin estadístico de inferir cómo es la totalidad de una población ).
c) Reducción de la dimensionalidad: se reduce el número de variables para optimizar la representación de los datos mediante gráficos 2D o 3D. También se pretende detectar agrupaciones o disimilitudes.
d) Extracción de características: el objetivo es crear nuevas características a partir de los atributos disponibles pero con una mejor representación.
Un buen científico de datos debe estar capacitado para encontrar el equilibrio entre precisión, complejidad y actualización. Eligiendo los modelos de análisis más adecuados en función del contexto.
6. Visualización
La transmisión de información visual es muy útil. Es más, se puede basar el análisis datos a partir de su propia visualización, ya que una interfaz gráfica permite la navegación e interacción con estos datos.
La visualización de estos datos permite la comprensión de su naturaleza y la extracción de conclusiones. Además de la detección de patrones, tendencias y dependencias.
7. Interpretación
En esta etapa intentaremos dar sentido a los resultados obtenidos mediante el análisis y la visualización, con el fin de que puedan ser usados para dar una explicación a la premisa inicial o por terceros para que puedan reutilizarlos con otros propósitos.
8. Publicación
Finalmente, los datos son publicados. El medio de publicación en contextos no empresariales suele ser un repositorio (es ideal que incluya una API para poder acceder fácilmente a los datos).
En resumen, en este artículo hemos explorado a fondo las competencias necesarias para gestionar el ciclo de vida de los datos, que combina conocimientos matemáticos y estadísticos con el fin de extraer conocimiento valioso de los datos disponibles. Estas habilidades son esenciales para que una empresa pueda superar a la competencia y mejorar sus productos y servicios en un entorno impulsado por datos.
