Introducción al análisis de datos

Introducción

Fuente: Microsoft

Como analista de datos, está en un viaje. Piensa en todos los datos que se generan cada día y están disponibles en tu organización, desde datos transaccionales en bases de datos tradicionales, hasta datos de telemetría de los servicios que utilizas, pasando por las señales que recibes de diferentes áreas como las redes sociales.

Por ejemplo, las empresas de ventas de hoy en día recopilan y almacenan cantidades masivas de datos que rastrean los artículos que se buscaron y se compraron, las páginas que visitaron en su sitio, los pasillos en los que compra productos, los hábitos de gasto de los clientes y mucho más.

Con los datos y la información como el activo más estratégico de un negocio, el desafío subyacente que enfrentan las organizaciones hoy en día es comprender y utilizar sus datos para afectar positivamente el cambio dentro del negocio. Las empresas continúan luchando por usar sus datos de manera significativa y productiva, lo que afecta su capacidad de actuar.

Una empresa que vende un producto o servicio debe poder usar sus grandes cantidades de datos e información de tal manera que impacte en el negocio, incluyendo:

·        seguimiento de inventario

·        Identificar hábitos de compra.

·        Detección de tendencias y patrones de usuarios.

·        Recomendar compras

·        Determinación de optimizaciones de precios

·        Identificar y detener el fraude

Además, es posible que esté buscando patrones de venta diarios/mensuales. Los segmentos de datos comunes que quizás desee examinar incluyen día tras día, semana tras semana y mes tras mes para que pueda comparar cómo han sido las ventas con respecto a dónde estaban en la misma semana del año pasado, por ejemplo.

La clave para desbloquear estos datos es poder contar una historia con ellos. En el mundo empresarial altamente competitivo y vertiginoso de hoy en día, la elaboración de informes que cuenten esa historia es lo que ayuda a los líderes empresariales a tomar medidas sobre los datos. Los tomadores de decisiones comerciales dependen de una historia precisa para impulsar mejores decisiones comerciales. Cuanto más rápido una empresa pueda tomar decisiones precisas, más competitivas serán y mejores ventajas tendrán. Sin la historia, es difícil entender lo que los datos intentan decirte.

Sin embargo, tener datos por sí solo no es suficiente. Debe poder actuar sobre los datos para afectar el cambio dentro del negocio. Esa acción podría implicar la reasignación de recursos dentro del negocio para satisfacer una necesidad, o podría ser identificar una campaña fallida y saber cuándo cambiar de rumbo. En estas situaciones es importante contar una historia con sus datos.

El desafío subyacente al que se enfrentan las empresas hoy en día es comprender y utilizar sus datos de tal manera que impacte en su negocio y, en última instancia, en sus resultados. Debe poder ver los datos y facilitar decisiones comerciales confiables. Luego, necesita la capacidad de mirar las métricas y comprender claramente el significado detrás de esas métricas.

Este requisito puede parecer desalentador, pero es una tarea que puede realizar. Su primer paso es asociarse con expertos en datos dentro de su organización, como ingenieros de datos y científicos de datos, para ayudarlo a obtener los datos que necesita para contar esa historia. Pida a estos expertos que participen en ese viaje de datos con usted.

Su viaje de contar una historia con datos también se relaciona con la construcción de esa cultura de datos dentro de su organización. Si bien contar la historia es importante, el lugar donde se cuenta esa historia también es crucial, asegurando que la historia se cuente a las personas adecuadas. Además, asegúrese de que las personas puedan descubrir la historia, que sepan dónde encontrarla y que sea parte de las interacciones regulares.

El análisis de datos existe para ayudar a superar estos desafíos y puntos débiles y, en última instancia, ayudar a las empresas a encontrar información y descubrir el valor oculto en grandes cantidades de datos a través de la narración de historias. A medida que siga leyendo, aprenderá cómo usar y aplicar habilidades analíticas para ir más allá de un solo informe y ayudar a impactar e influir en su organización al contar historias con datos e impulsar esa cultura de datos.

Descripción general del análisis de datos

Antes de que los datos puedan usarse para contar una historia, deben pasar por un proceso que los haga utilizables en la historia. El análisis de datos es el proceso de identificar, limpiar, transformar y modelar datos para descubrir información significativa y útil. Luego, los datos se elaboran en una historia a través de informes para el análisis para respaldar el proceso crítico de toma de decisiones.

A medida que el mundo se vuelve más impulsado por los datos, la narración a través del análisis de datos se está convirtiendo en un componente y aspecto vital de las empresas grandes y pequeñas. Es la razón por la que las organizaciones continúan contratando analistas de datos.

Las empresas basadas en datos toman decisiones basadas en la historia que cuentan sus datos, y en el mundo actual basado en datos, los datos no se utilizan en todo su potencial, un desafío al que se enfrentan la mayoría de las empresas. El análisis de datos es, y debería ser, un aspecto crítico de todas las organizaciones para ayudar a determinar el impacto en su negocio, incluida la evaluación de la opinión del cliente, la realización de estudios de mercado y de productos, y la identificación de tendencias u otras perspectivas de datos.

Si bien el proceso de análisis de datos se centra en las tareas de limpieza, modelado y visualización de datos, no se debe subestimar el concepto de análisis de datos y su importancia para el negocio. Para analizar los datos, los componentes centrales de la analítica se dividen en las siguientes categorías:  

• Descriptivo
• Diagnóstico
• Profético
• Preceptivo
• Cognitivo

Analítica descriptiva

El análisis descriptivo ayuda a responder preguntas sobre lo que sucedió en función de los datos históricos. Las técnicas de análisis descriptivo resumen grandes conjuntos de datos para describir los resultados a las partes interesadas.

Al desarrollar indicadores clave de rendimiento (KPI), estas estrategias pueden ayudar a rastrear el éxito o el fracaso de los objetivos clave. Las métricas como el retorno de la inversión (ROI) se utilizan en muchas industrias y se desarrollan métricas especializadas para realizar un seguimiento del rendimiento en industrias específicas.

Un ejemplo de análisis descriptivo es generar informes para proporcionar una vista de los datos financieros y de ventas de una organización.

Análisis de diagnóstico

Los análisis de diagnóstico ayudan a responder preguntas sobre por qué sucedieron los eventos. Las técnicas de análisis de diagnóstico complementan el análisis descriptivo básico y utilizan los resultados del análisis descriptivo para descubrir la causa de estos eventos. Luego, los indicadores de desempeño se investigan más a fondo para descubrir por qué estos eventos mejoraron o empeoraron. Generalmente, este proceso ocurre en tres pasos:

·        Identificar anomalías en los datos. Estas anomalías pueden ser cambios inesperados en una métrica o en un mercado en particular.

·        Recopile datos relacionados con estas anomalías.

·        Utilice técnicas estadísticas para descubrir relaciones y tendencias que expliquen estas anomalías.

Analítica predictiva

El análisis predictivo ayuda a responder preguntas sobre lo que sucederá en el futuro. Las técnicas de análisis predictivo utilizan datos históricos para identificar tendencias y determinar si es probable que se repitan. Las herramientas analíticas predictivas brindan información valiosa sobre lo que podría suceder en el futuro. Las técnicas incluyen una variedad de técnicas estadísticas y de aprendizaje automático, como redes neuronales, árboles de decisión y regresión.

Analítica prescriptiva

El análisis prescriptivo ayuda a responder preguntas sobre qué acciones se deben tomar para lograr una meta o un objetivo. Mediante el uso de información de análisis predictivo, las organizaciones pueden tomar decisiones basadas en datos. Esta técnica permite a las empresas tomar decisiones informadas ante la incertidumbre. Las técnicas de análisis prescriptivo se basan en el aprendizaje automático como una de las estrategias para encontrar patrones en grandes conjuntos de datos. Al analizar decisiones y eventos pasados, las organizaciones pueden estimar la probabilidad de diferentes resultados.

Analítica cognitiva

El análisis cognitivo intenta extraer inferencias de datos y patrones existentes, derivar conclusiones basadas en bases de conocimiento existentes y luego agregar estos hallazgos nuevamente a la base de conocimiento para inferencias futuras, un ciclo de retroalimentación de autoaprendizaje. El análisis cognitivo lo ayuda a saber qué podría suceder si las circunstancias cambian y determinar cómo podría manejar estas situaciones.

Las inferencias no son consultas estructuradas basadas en una base de datos de reglas; más bien, son hipótesis no estructuradas que se recopilan de varias fuentes y se expresan con diversos grados de confianza. Los análisis cognitivos efectivos dependen de algoritmos de aprendizaje automático y utilizarán varios conceptos de procesamiento de lenguaje natural para dar sentido a las fuentes de datos no explotadas anteriormente, como los registros de conversación del centro de llamadas y las reseñas de productos.

Roles en los datos

Contar una historia con los datos es un viaje que normalmente no comienza contigo. Los datos deben venir de alguna parte. Obtener esos datos en un lugar que pueda utilizar requiere un esfuerzo que probablemente esté fuera de su alcance, especialmente en consideración de la empresa.

Las aplicaciones y los proyectos actuales pueden ser grandes e intrincados y, a menudo, implican el uso de habilidades y conocimientos de numerosas personas. Cada persona aporta un talento y experiencia únicos, compartiendo el esfuerzo de trabajar juntos y coordinar tareas y responsabilidades para ver un proyecto desde el concepto hasta la producción.

En el pasado reciente, roles como analistas comerciales y desarrolladores de inteligencia comercial eran el estándar para el procesamiento y la comprensión de datos. Sin embargo, la expansión excesiva del tamaño y los diferentes tipos de datos ha provocado que estos roles evolucionen hacia conjuntos de habilidades más especializados que modernizan y agilizan los procesos de ingeniería y análisis de datos.

Las siguientes secciones destacan estos diferentes roles en los datos y la responsabilidad específica en el espectro general de descubrimiento y comprensión de datos:

• Analista de negocios
• Analista de datos
• Ingeniero de datos
• Científico de datos
• Administrador de base de datos

Analista de negocios

Si bien existen algunas similitudes entre un analista de datos y un analista de negocios, el diferenciador clave entre los dos roles es lo que hacen con los datos. Un analista de negocios está más cerca del negocio y es un especialista en interpretar los datos que provienen de la visualización. A menudo, los roles de analista de datos y analista de negocios pueden ser responsabilidad de una sola persona.

Analista de datos

Un analista de datos permite a las empresas maximizar el valor de sus activos de datos a través de herramientas de visualización e informes como Microsoft Power BI. Los analistas de datos son responsables de perfilar, limpiar y transformar los datos. Sus responsabilidades también incluyen el diseño y la creación de modelos de datos escalables y efectivos, y la habilitación e implementación de capacidades de análisis avanzado en informes para análisis. Un analista de datos trabaja con las partes interesadas pertinentes para identificar los datos apropiados y necesarios y los requisitos de informes, y luego se les asigna la tarea de convertir los datos sin procesar en información relevante y significativa.

Un analista de datos también es responsable de la administración de los activos de Power BI, incluidos los informes, los paneles, las áreas de trabajo y los conjuntos de datos subyacentes que se usan en los informes. Tienen la tarea de implementar y configurar los procedimientos de seguridad adecuados, junto con los requisitos de las partes interesadas, para garantizar la protección de todos los activos de Power BI y sus datos.

Los analistas de datos trabajan con ingenieros de datos para determinar y ubicar fuentes de datos adecuadas que cumplan con los requisitos de las partes interesadas. Además, los analistas de datos trabajan con el ingeniero de datos y el administrador de la base de datos para garantizar que el analista tenga acceso adecuado a las fuentes de datos necesarias. El analista de datos también trabaja con el ingeniero de datos para identificar nuevos procesos o mejorar los procesos existentes para recopilar datos para el análisis.

Ingeniero de datos

Los ingenieros de datos aprovisionan y configuran tecnologías de plataforma de datos que están en las instalaciones y en la nube. Gestionan y aseguran el flujo de datos estructurados y no estructurados de múltiples fuentes. Las plataformas de datos que utilizan pueden incluir bases de datos relacionales, bases de datos no relacionales, flujos de datos y almacenes de archivos. Los ingenieros de datos también se aseguran de que los servicios de datos se integren de forma segura y sin problemas en las plataformas de datos.

Las responsabilidades principales de los ingenieros de datos incluyen el uso de herramientas y servicios de datos locales y en la nube para ingerir, extraer y transformar datos de múltiples fuentes. Los ingenieros de datos colaboran con las partes interesadas del negocio para identificar y cumplir con los requisitos de datos. Diseñan e implementan soluciones.

Si bien puede existir cierta alineación en las tareas y responsabilidades de un ingeniero de datos y un administrador de base de datos, el alcance del trabajo de un ingeniero de datos va mucho más allá de cuidar una base de datos y el servidor donde está alojada y probablemente no incluye la administración general de datos operativos.

Un ingeniero de datos agrega un valor tremendo a los proyectos de inteligencia comercial y ciencia de datos. Cuando el ingeniero de datos reúne datos, lo que a menudo se describe como disputa de datos, los proyectos avanzan más rápido porque los científicos de datos pueden concentrarse en sus propias áreas de trabajo.

Como analista de datos, trabajaría en estrecha colaboración con un ingeniero de datos para asegurarse de que pueda acceder a la variedad de fuentes de datos estructurados y no estructurados, ya que lo ayudarán a optimizar los modelos de datos, que normalmente se sirven desde un almacén de datos o un lago de datos modernos. .

Tanto los administradores de bases de datos como los profesionales de inteligencia comercial pueden hacer la transición a un rol de ingeniero de datos; necesitan aprender las herramientas y la tecnología que se utilizan para procesar grandes cantidades de datos.

Científico de datos

Los científicos de datos realizan análisis avanzados para extraer valor de los datos. Su trabajo puede variar desde el análisis descriptivo hasta el análisis predictivo. El análisis descriptivo evalúa los datos a través de un proceso conocido como análisis exploratorio de datos (EDA). El análisis predictivo se utiliza en el aprendizaje automático para aplicar técnicas de modelado que pueden detectar anomalías o patrones. Estos análisis son partes importantes de los modelos de pronóstico.

Los análisis descriptivos y predictivos son solo aspectos parciales del trabajo de los científicos de datos. Algunos científicos de datos pueden trabajar en el ámbito del aprendizaje profundo, realizando experimentos iterativos para resolver un problema de datos complejo mediante el uso de algoritmos personalizados.

La evidencia anecdótica sugiere que la mayor parte del trabajo en un proyecto de ciencia de datos se gasta en disputas de datos e ingeniería de características. Los científicos de datos pueden acelerar el proceso de experimentación cuando los ingenieros de datos usan sus habilidades para manejar los datos con éxito.

En la superficie, podría parecer que un científico de datos y un analista de datos están muy separados en el trabajo que realizan, pero esta conjetura no es cierta. Un científico de datos analiza los datos para determinar las preguntas que necesitan respuestas y, a menudo, ideará una hipótesis o un experimento y luego recurrirá al analista de datos para que lo ayude con la visualización y el informe de datos.

Administrador de base de datos

Un administrador de base de datos implementa y administra los aspectos operativos de las soluciones de plataforma de datos híbridas y nativas de la nube que se basan en los servicios de datos de Microsoft Azure y Microsoft SQL Server. Un administrador de base de datos es responsable de la disponibilidad general y el rendimiento constante y las optimizaciones de las soluciones de base de datos. Trabajan con las partes interesadas para identificar e implementar las políticas, las herramientas y los procesos para los planes de copia de seguridad y recuperación de datos.

El rol de un administrador de base de datos es diferente del rol de un ingeniero de datos. Un administrador de base de datos supervisa y gestiona el estado general de una base de datos y el hardware en el que reside, mientras que un ingeniero de datos participa en el proceso de disputa de datos, en otras palabras, ingesta, transformación, validación y limpieza de datos para satisfacer las necesidades comerciales. y requisitos.

El administrador de la base de datos también es responsable de administrar la seguridad general de los datos, otorgando y restringiendo el acceso y los privilegios de los usuarios a los datos según lo determinen las necesidades y los requisitos comerciales.