La evolución de AWS Redshift: claves para ser un data warehouse competitivo. j2d46

Bienvenidos a un nuevo capítulo de Apasionados por la Tecnología, el podcast de paradigma digital sobre tecnología, estrategia, metodología y productos digitales. ¡Arrancamos! AWS RefSheet ha experimentado una fuerte evolución durante los últimos años y se ha consolidado como una opción potente y flexible en el mundo de los data warehouse. Soy Maribel Tirados, esto es Apasionados por la Tecnología, y hoy me acompaña Eloisa Ibáñez, ingeniera de Plataforma de Datos en Paradigma Digital. Con ella vamos a hablar de cómo ha ido cambiando RefSheet y qué es lo que le convierte en una opción interesante frente a sus competidores.

Elo, buenos días, ¿cómo estás? Buenas, pues muy bien aquí contigo, encantada de acompañaros.

Igualmente, muchísimas gracias por haber sacado tiempo para hablar sobre este tema, te lo agradezco mucho. Para empezar Elo, cuéntanos un poco, ¿qué es AWS RefSheet y qué es lo que lo hace tan diferente de otros data warehouses como pueden ser, por ejemplo, Snowflake o BigQuery? Pues, RefSheet es la solución de data warehouse que planteó desde el comienzo Amazon. Fundamentalmente yo creo que se caracteriza por ser fácil de usar, es seguro, como son todos los servicios de AWS, porque gestionan cifrado y otras configuraciones de seguridad que luego comentamos, y según la ocasión puede ser incluso más barato que estas otras soluciones que has comentado.

Es fácil de usar porque es un servicio autogestionado de Amazon y esto ya se nos ha olvidado pero te permite liberarte de un montón de procedimientos de gestión de los clusters que solían ser muy farragosos. Dispone de escalado automático basado en procesos de inteligencia artificial, alta disponibilidad, backups muy sencillos de realizar, automatizar y restaurar, y una integración de caja con el resto de servicios de Amazon como el Identity Manager Glue o S3.

Por otro lado, es un servicio muy seguro, como son la mayoría de los servicios autogestionados de Amazon. Primero a nivel de tráfico porque puedes configurarlo dentro de tu VPC y los datos quedan en tu cuenta. Cuando usas otro data warehouse externo a tu cloud, pues tienes que andar firmando distintos contratos de seguridad con los proveedores, configurarte estos endpoints con ellos, lo cual a veces es más farragoso integrar tu proveedor de identidad, etc.

O sea, dependiendo de las fuentes de origen, en estos casos el tráfico puede viajar por internet o no. La integración con S3 es que va de caja con los endpoints y la integración con la mayoría de los servicios de AWS. Además, con Amazon puedes gestionar el cifrado de datos con tu propia clave, con una clave que gestione Redshift o incluso con un módulo de HSM si tienes unos requisitos súper restrictivos a nivel de cifrado.

Por último, respecto al precio, Redshift permite pausar un clúster y de esta forma solo pagas el almacenamiento. Esto es una de las cosas que yo he visto muy útil desde la última vez que lo utilicé hace muchos años, ¿no? Porque te abarata mucho el coste.

Además, ahora tiene la funcionalidad esta de Redshift serverless que es bastante más barato porque pagas por uso, como con todos los servicios serverless, ¿no? Por último, si tu caso de uso tiene la necesidad de tener siempre el clúster levantado porque tienes ingestas continuas o tienes que todo el mundo está mirando la Tower House todo el tiempo, pues en Amazon siempre han facilitado opciones de coste más baratas, reserva distancias, etc. Entonces, no es un servicio caro para lo que da, quiero decir.

Bueno, vamos a hablar más adelante de este punto del coste. Pero antes, desde el lanzamiento en 2013, Redshift ha evolucionado mucho. Bajo tu experiencia, Elo, ¿cuáles crees que han sido los cambios más significativos en los últimos años? Yo creo que la flexibilidad y la usabilidad. Para mí, lo que más me ha gustado en esta nueva etapa con Redshift ha sido la consola. Además, que creo que es lo primero que me ha gustado en los s, ¿no? Es con lo que trabajas día a día.

Es mucho más amigable y creo que se parece más a lo que uno espera de un Data Warehouse, ¿no? Antes estaba como más integrado en Amazon y no te acababas como de aclarar de lo que eran las tablas, lo que era cada cosa. Por otro lado, ahora es un servicio muchísimo más flexible de lo que era, lo que comentaba anteriormente de los backups. Por ejemplo, yo recuerdo tener que hacer un backup y apagar el clúster. Era imposible. Tenías que borrarlo. Además, ya antes se podía hacer un copy, ¿no? Para hacer un backup.