Data Mesh: Cómo gestionar grandes cantidades de datos

Muchas organizaciones siguen adoptando una estrategia de gobernanza de datos monolítica, basada en almacenes y lagos de datos centralizados, lo que crea una fricción significativa en su capacidad para descubrir, comprender y desbloquear la inteligencia de sus datos. Se necesita un nuevo enfoque diseñado en torno a una malla de datos para tomar decisiones más inteligentes y basadas en datos en el panorama empresarial actual de datos dinámicos, diversos y distribuidos.

Las organizaciones pueden hacer evolucionar su inteligencia y estrategia de datos incorporando una arquitectura de malla de datos o data mesh moderna para mantenerse al día con el complejo entorno de datos actual y futuro. 

¿Qué significa Data Mesh?

Data Mesh o malla de datos es una arquitectura de datos descentralizada que organiza los datos por un dominio empresarial específico -por ejemplo, marketing, ventas, servicio al cliente, etc.-, lo que proporciona más propiedad a los productores de un conjunto de datos determinado. La comprensión de los datos del dominio por parte de los productores les permite establecer políticas de gobernanza de datos centradas en la documentación, la calidad y el acceso. Esto, a su vez, permite el autoservicio en toda la organización. 

Aunque este enfoque federado elimina muchos cuellos de botella operativos asociados a los sistemas centralizados y monolíticos, no significa necesariamente que no se puedan utilizar sistemas de almacenamiento tradicionales, como los lagos de datos o los almacenes de datos. Solo significa que su uso ha pasado de una única plataforma de datos centralizada a múltiples repositorios de datos descentralizados.

Cabe destacar que la malla de datos promueve la adopción de tecnologías nativas de la nube y de plataformas en la nube para escalar y alcanzar los objetivos de la gestión de datos. Este concepto se compara comúnmente con los microservicios para ayudar al público a entender su uso dentro de este panorama. Dado que esta arquitectura distribuida es especialmente útil para escalar las necesidades de datos en toda una organización, se puede deducir que una malla de datos puede no ser para todo tipo de empresas; es decir, las empresas más pequeñas pueden no aprovechar los beneficios de una malla de datos, ya que sus datos empresariales pueden no ser tan complejos como los de una organización más grande.

Los pilares básicos y las ventajas del Data Mesh

El Data Mesh es un método centrado en las personas y los procesos que se basa en cuatro principios rectores: la propiedad impulsada por el dominio, los datos como producto, la infraestructura de datos de autoservicio y la gobernanza informática federada. Se puede trabajar en cada uno de estos principios de forma individual a medida que las empresas inician su transición a un marco de malla de datos, pero cada pilar forma parte integral del poder de la malla de datos.

1. Propiedad del dominio

La distinción fundamental entre una arquitectura de malla de datos y un método tradicional y monolítico de recopilación de datos radica en la propiedad basada en el dominio. En un modelo de Data Mesh, los expertos en datos del área de negocio, como el equipo de RRHH o de marketing, tienen la responsabilidad de segmentar y controlar los datos. En contraste, cuando los datos se envían a un lago o almacén de datos convencionales, se alejan de los expertos, lo que reduce su legibilidad y obstaculiza el sistema en general.

Sin embargo, en la malla de datos, los expertos mantienen el control de los datos y utilizan su experiencia para limpiar, mejorar y traducirlos, lo que mejora la calidad de los datos y acelera el proceso de limpieza de datos. Además, los expertos comprenden el propósito exclusivo de los datos y cómo se pueden satisfacer las necesidades de ese dominio específico, y en consecuencia, las necesidades de la organización en su conjunto. A través de la malla de datos, cada organización puede manejar sus propios datos, mientras se beneficia de un marco de gobernanza general y de la infraestructura de toda la empresa.

1. Los datos como producto

El enfoque de "los datos como producto" es una forma similar a la propiedad basada en el dominio para comprender los datos en profundidad. En la malla de datos, los expertos en el tema se encargan de los datos y los ven como un producto, asegurándose de que sean accesibles, estén bien gobernados y satisfagan las necesidades de la organización, tal como se mediría la eficacia e impacto de un producto en la organización. Mediante el enfoque de la malla de datos, los datos reciben una visión general, una hoja de ruta y un plan de mantenimiento. Al medir constantemente la eficacia de los datos, este modelo garantiza que las organizaciones utilicen sus datos de manera continua y eviten los pantanos de datos, grandes cantidades de datos que permanecen sin cambios y se vuelven obsoletos con el tiempo.

1. Infraestructura de datos de autoservicio

Para evitar que cada dominio empresarial se vea desbordado por la tarea de gestionar sus datos, la malla de datos aprovecha una infraestructura de autoservicio para promover sistemas de datos saludables en toda la organización, lo que es posible gracias a la nube.

El modelo de autoservicio permite que los datos se compartan sin problemas en toda la organización, lo que permite a la empresa fomentar la innovación a través de una comprensión compartida de los datos. El modelo abstrae la complejidad de los datos para los propietarios de los dominios al tiempo que reduce la fricción para los consumidores de datos, fomentando una comprensión más profunda de los datos en todos los niveles y creando más oportunidades para que los datos sean aprovechados.

1. Gobernanza informática federada

En el centro de una gestión de datos efectiva se encuentra la gobernanza de datos. La malla de datos emplea un enfoque federado para la gobernanza de datos, lo que significa que crea un entorno que fomenta tanto la autoridad en toda la empresa como la necesidad específica de cada dominio.

Para lograr este nivel de automatización e integración en toda la infraestructura de datos, la política, la clasificación, la seguridad y la calidad son fundamentales. Estos aspectos son esenciales para garantizar que la gobernanza de datos sea efectiva en toda la organización y que los datos sean manejados de manera adecuada.