Data Lakes: Almacenamiento Flexible a Cualquier Escala

Un Data Lake almacena datos en su formato original a cualquier escala. A diferencia de un Data Warehouse que requiere esquemas previos, un Data Lake acepta todo y permite definir estructura al consultar (schema-on-read).

from delta import DeltaTable
from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName('DeltaLakeDemo') \
    .config('spark.jars.packages', 'io.delta:delta-spark_2.12:3.1.0') \
    .getOrCreate()

# Escribir tabla Delta
df_ventas.write.format('delta').mode('overwrite') \
    .partitionBy('year', 'month') \
    .save('s3://data-lake/delta/ventas/')

# MERGE (upsert)
delta_table = DeltaTable.forPath(spark, 's3://data-lake/delta/ventas/')
delta_table.alias('target').merge(
    df_nuevas.alias('source'),
    'target.order_id = source.order_id'
).whenMatchedUpdateAll() \
 .whenNotMatchedInsertAll() \
 .execute()

# Time Travel
df_ayer = spark.read.format('delta') \
    .option('versionAsOf', 5) \
    .load('s3://data-lake/delta/ventas/')