Skip to Content
Erklärt

Tabellen aus Dateien: Was ein Lakehouse ist, einfach erklärt

Dateiformat, Tabellenformat, Katalog und Engine: was jeder Teil tut, warum es ihn gibt, wann man überhaupt eines will und was es kostet.

Share this case file← Alle Artikel

Der Film ist auf Englisch; die deutschen Untertitel sind eingeschaltet.

Eine Kundin schreibt einem kleinen Onlineshop: Bitte löschen Sie meine Daten. Jemand löscht ihre Zeile, und die Kundentabelle antwortet. Elf Kunden. Sie ist weg.

Öffnen Sie jetzt den Bucket, in dem diese Tabelle liegt, und lesen Sie ihre Datendateien. Drei Dateien, einundzwanzig Zeilen. Sie steht noch in einer davon, und neun andere Kunden stehen doppelt drin.

Niemand hat einen Fehler gemacht, und beide Antworten stimmen. Die eine handelt von Dateien, die andere von einer Tabelle. Die Lücke dazwischen ist, was ein Lakehouse ist.

Eine Löschanfrage, ein DELETE und die Kundentabelle mit dem Stempel 11 Zeilen; dann die drei Parquet-Dateien des Buckets, 21 Zeilen, die gelöschte Kundin noch in einer davon

Warum nicht einfach Postgres?

Für eine Anwendung: unbedingt. Eine Datenbank hält die Daten und die Engine, die sie liest, in einer Kiste, und sie ist sehr gut darin, einen Kunden, eine Bestellung, eine Zeile nach der anderen zu bedienen.

Analytik fragt andersherum: eine Spalte, über eine Milliarde Zeilen. Ein Zeilenspeicher hält die Werte einer Zeile auf der Platte zusammen; um eine Spalte zu summieren, liest er jede Zeile ganz. Wächst die Datenmenge über die Kiste hinaus, kauft man eine größere. Und nur diese Datenbank kann ihre eigenen Dateien lesen, also muss jedes andere Werkzeug, ein Notebook, ein BI-Tool, ein Trainingsjob, durch sie hindurch oder bekommt eine Kopie.

Eine Datenbank als eine Kiste mit Daten und Engine; eine Bestelltabelle Zeile für Zeile gespeichert, jede Zeile gelesen, um eine Spalte zu summieren

Warum nicht einfach ein Bucket?

Also legt man die Daten stattdessen in einen Objektspeicher. Ein Bucket ist billig, wird nie voll, und jedes Werkzeug kann eine Datei darin lesen. Das ist der Data Lake.

Aber ein Bucket kennt nur Dateien. Fragen Sie ihn nach der Kundentabelle, und er kann nicht sagen, welche Dateien das sind. Zwei Jobs schreiben gleichzeitig, und einer überschreibt den anderen. Ein Leser kommt mitten im Schreiben und sieht die Hälfte. Einen Kunden löschen oder eine Spalte umbenennen heißt, Dateien von Hand neu zu schreiben. Wo das endet, hatte bei Teams einen Namen: der Datensumpf.

Ein Eimer voller loser Dateien und vier Probleme: zwei Schreiber, ein Leser mitten im Schreiben, einen Kunden löschen, eine Spalte umbenennen

Die übliche Lösung war eine zweite Kopie, jede Nacht in ein Data Warehouse geladen, für das SQL. Zwei Kopien zu bezahlen, ein Dashboard einen Tag hinterher, ein Format, das nur das Warehouse liest, und maschinelles Lernen, das weiter den Lake las. Dieselbe Zahl kam also aus zwei Quellen, und sie stimmten nicht immer überein.

Was ist ein Data Lakehouse?

Ein Data Lakehouse behält eine Kopie der Daten: offene Dateien in billigem Speicher. Dann fügt es ein wenig Buchführung hinzu, damit sich ein Ordner voller Dateien wie eine Datenbanktabelle verhält. Der Name stammt aus einem Forschungspapier von 2021; die Teile sind älter. Es sind vier, auf dem Speicher:

TeilWas er tutBeispiele
DateiformatOrdnet die Bytes in einer Datei anParquet, ORC, Avro, Lance, CSV, JSON
TabellenformatSagt, welche Dateien die Tabelle gerade bildenIceberg, Delta Lake, Hudi, Paimon, DuckLake, Lance
KatalogSagt, wo eine Tabelle ist, unter welchem Namen, und wer sie nutzen darfHive Metastore, Polaris, Unity Catalog, Glue, Nessie, Gravitino
EngineLiest und rechnetSpark, Trino, Flink, DuckDB, die Cloud-Warehouses

Die vier Teile als Papierstreifen auf dem Speicher gestapelt: Engine, Katalog, Tabellenformat, Dateiformat

Dateiformate: wie die Bytes liegen

CSV und JSON sind Text, eine Zeile nach der anderen: leicht für Menschen, groß und langsam für Maschinen. Jeder Wert ist eine Zeichenkette, bis etwas ihn deutet.

Parquet (2013) speichert jede Spalte zusammen, komprimiert, und notiert für jeden Block von Zeilen den kleinsten und den größten Wert. Eine Abfrage nach der Oktobersumme liest eine Spalte und überspringt jeden Block, dessen Daten außerhalb des Oktobers liegen. Deshalb liest eine Abfrage über eine große Parquet-Tabelle oft nur einen kleinen Teil davon.

Parquet als Spalten in Blöcken, jeder Block mit kleinstem und größtem Wert; die Abfrage nach Oktober markiert einen Block einer Spalte

ORC macht dasselbe, aus der Hive-Welt. Avro speichert ganze Zeilen mit ihrem Schema, was zu Nachrichten und Streams passt (Iceberg schreibt seine eigenen Dateilisten in Avro). Lance ist ebenfalls spaltenorientiert, aber schnell beim Holen einzelner Zeilen und Vektoren, und genau das braucht maschinelles Lernen.

DateiformatAufbauGut für
CSV, JSONText, Zeile für ZeileAustausch mit Menschen und anderen Systemen
ParquetSpalten, komprimiert, Min/Max je BlockAnalytik: wenige Spalten über viele Zeilen
ORCSpalten, komprimiert, IndizesDasselbe, in der Hive-Welt
AvroZeilen, Schema in der DateiNachrichten, Streams, Metadaten
LanceSpalten, schneller DirektzugriffEmbeddings, Trainingsdaten, Suche

Trotzdem ist eine Parquet-Datei nur eine Datei. Zehntausend davon sind keine Tabelle.

Tabellenformate: das Hauptbuch

Das ist die Aufgabe des Tabellenformats: ein Hauptbuch neben den Dateien, das festhält, welche Dateien die Tabelle gerade bilden.

Nichts wird an Ort und Stelle geändert. Ein Schreibvorgang fügt neue Dateien hinzu, dann eine neue Version des Hauptbuchs. Leser folgen dem Hauptbuch, also sehen sie die Tabelle vor dem Schreiben oder danach, nie halb. Weil alte Versionen bleiben, können Sie die Tabelle lesen, wie sie am Dienstag war. Eine Umbenennung ist ein Eintrag im Hauptbuch, kein Neuschreiben. Ein Löschen schreibt entweder die eine Datei neu, in der die Zeile steht (Copy-on-Write), oder hinterlässt eine kurze Notiz, dass diese Zeile weg ist (Merge-on-Read: Delete-Dateien, Deletion Vectors).

Die fünf Versionen des Hauptbuchs der Kundentabelle: angelegt, Datei A hinzu, email in contact_email umbenannt, Datei B hinzu, Nummer 4 gelöscht durch Weglassen von Datei A und Hinzufügen von Datei C

Unsere Tabelle, zweimal gelesen

Hier ist die Kundentabelle des Shops in ihrem Bucket: drei Datendateien, fünf Versionen des Hauptbuchs (metadata.json) und die Avro-Listen, die sie verbinden.

s3://lake/shop/customers/ data/ 00000-0-4871a10d-….parquet 10 Zeilen, Spalte "email" 00000-0-93e15aee-….parquet 2 Zeilen, Spalte "contact_email" 00000-0-2a35b1a0-….parquet 9 Zeilen, ohne Kundin 4 metadata/ 00000-….metadata.json … 00004-….metadata.json snap-….avro (3) ….avro Manifeste (4)

Lesen Sie den Datenordner als einfache Parquet-Dateien, und Sie bekommen 21 Zeilen, zwei Namen für eine Spalte und die Kundin, die vergessen werden wollte. Lesen Sie ihn als Tabelle, und Sie bekommen 11 Zeilen, eine Spalte namens contact_email und keine Spur von ihr. Die Dateien haben sich nie geändert. Das Hauptbuch ist zu einer Datei ohne sie weitergezogen.

Zwei Blätter nebeneinander: als einfache Dateien gelesen 21 Zeilen, email und contact_email, Nummer 4 vorhanden; als Tabelle gelesen 11 Zeilen, contact_email, keine Spur von Nummer 4

Das ist das Praktischste, was man über ein Lakehouse wissen kann: Ein Werkzeug, das die Dateien statt der Tabelle liest, gibt falsche Antworten. Es zählt gelöschte Zeilen mit, zählt manche Zeilen doppelt und meldet Spalten unter Namen, die die Tabelle nicht mehr verwendet.

Woher die Tabellenformate kommen

Tabellenformate kamen von Teams, die gegen dieselbe Wand liefen.

FormatHerkunftWie es das Hauptbuch führtGebaut fürIm Bucket
Hive-TabellenFacebook, 2008Eine Tabelle ist ein Ordner, eine Partition ein Ordner darinSQL über Dateiencustomers/country=NL/…
Apache IcebergNetflix, 2017Ein Baum aus Metadaten über den DatendateienKorrektheit im großen Maßstab, viele Enginesmetadata/*.metadata.json
Delta LakeDatabricks, seit 2019 quelloffenEin nummeriertes Protokoll der CommitsSpark-Pipelines_delta_log/00…01.json
Apache HudiUber, 2016Eine Zeitleiste der CommitsUpserts, nur Geändertes lesen.hoodie/
Apache PaimonFlinks Table StoreSnapshots über einem LSM-BaumStreaming-Änderungen, beim Eintreffen zusammengeführtsnapshot/, schema/
DuckLakeDuckDB Labs, 2025Tabellen in einer gewöhnlichen SQL-DatenbankEinfache Setups, schnelle kleine Commitsdie Katalog-Datenbank
LanceDas Lance-ProjektEigene versionierte DateienMaschinelles Lernen, Vektoren_versions/*.manifest

Hives Regel war einfach, und sie brach im großen Maßstab: Millionen Dateien aufzulisten war langsam, und keine Änderung war ganz oder gar nicht. Iceberg wurde bei Netflix gebaut, um genau das zu beheben, und wird heute von den meisten Engines unterstützt. Delta Lake ist mit Spark groß geworden. Hudi entstand bei Uber für Daten, die sich den ganzen Tag ändern. Paimon treibt die Streaming-Idee weiter. DuckLake führt das Hauptbuch in einer Datenbank, die man ohnehin zu betreiben weiß. Lance versioniert seine eigenen Datensätze.

Karteikarten für Hive, Iceberg und Delta Lake, jede mit dem, was das Format in einem Bucket hinterlässt

Kataloge: welches Hauptbuch aktuell ist

Eine Tabelle hat viele Versionen ihres Hauptbuchs. Irgendetwas muss sagen, welche aktuell ist und wie die Tabelle heißt. Der Katalog ordnet einem Namen, shop.customers, das aktuelle Hauptbuch zu und tauscht diesen Zeiger in einem Schritt, wenn ein Schreibvorgang abschließt. Dieser Tausch macht einen Commit zu ganz oder gar nicht. Dort werden auch die Zugriffsrechte vergeben.

Eine Karteischublade, fünf Versionen des Hauptbuchs und ein Katalogeintrag, dessen Zeiger in einem Schritt von 00003 auf 00004 springt

Der Hive-Metastore hat das zuerst gemacht. Heute sprechen die meisten Kataloge auch ein offenes Protokoll, Iceberg REST: darunter Apache Polaris, Unity Catalog, AWS Glue, Amazon S3 Tables, Project Nessie, Apache Gravitino, Lakekeeper und der BigLake-Metastore. Eine Engine kann so mit vielen Katalogen arbeiten.

Wählen Sie Ihren mit Bedacht. Die Formate sind jetzt offen. Der Lock-in ist in den Katalog gewandert: Namen, Rechte und Historie liegen dort.

Engines: eine Kopie, viele Leser

Die Engine ist das, was liest und rechnet: Spark, Trino, Flink, DuckDB und die Cloud-Warehouses, die inzwischen auch offene Tabellen lesen. Das ist der Sinn des Ganzen. Eine Kopie der Daten, und jedes Team bringt die Engine mit, die zur Aufgabe passt: Dashboards mit der einen, Training mit der anderen, niemand kopiert.

Wann will man eines?

Eine grobe Regel:

  • Passen die Daten auf einen Server und nutzt sie eine Anwendung? Nehmen Sie eine Datenbank. Postgres reicht für Jahre.
  • Beantwortet ein Warehouse alles, zu einer Rechnung, die Sie akzeptieren? Bleiben Sie dabei.
  • Greifen Sie zum Lakehouse, wenn die Daten einer Maschine entwachsen, wenn mehrere Engines oder Teams dieselben Tabellen brauchen, wenn Berichte und Modelle übereinstimmen müssen oder wenn Ihnen das Format Ihrer Daten selbst gehören soll.

Dann wählen Sie das Tabellenformat danach, wer schreibt:

Wer schreibtFormat
Viele EnginesIceberg
Eine Plattform rund um SparkDelta Lake
Ein steter Strom von ÄnderungenHudi oder Paimon
Embeddings und TrainingsdatenLance
Ein kleines Team, das schon eine Datenbank betreibtDuckLake

Eine grobe Regel auf Papier: eine Datenbank, dabei bleiben oder ein Lakehouse, und das Format danach, wer schreibt

Was es kostet

  • Kleine Dateien. Jeder Schreibvorgang hinterlässt Dateien und Versionen. Ein Streaming-Job, der alle 30 Sekunden committet, macht 2.880 Commits am Tag, und das Lesen wird langsamer, bis jemand die Dateien zusammenführt (Compaction).
  • Alte Versionen häufen sich, bis jemand sie ablaufen lässt. Zeitreisen sind nicht umsonst.
  • Engines hinken hinterher. Neue Funktionen (Deletion Vectors, neue Typen) kommen unterschiedlich schnell in den Engines an, also schreibt eine vielleicht, was eine andere noch nicht lesen kann.
  • Vier Teile, vier Sätze von Einstellungen. Speicher, Format, Katalog und Engine wollen jeweils aktualisiert und beobachtet werden.
  • Nichts für die Live-Daten einer Anwendung. Einzelne Zeilen lesen und schreiben gehört in eine Datenbank.

Und der eine Punkt, der für den Datenschutz zählt: Löschen ist nicht Tilgen. Unsere Kundin bleibt im Speicher, bis die Versionen, die auf ihre alte Datei zeigen, ablaufen und die Datei entfernt wird. Nach der DSGVO müssen Sie auf einen Löschantrag innerhalb eines Monats antworten (Art. 12 Abs. 3), also planen Sie es ein:

  1. Die Zeile löschen. Die Tabelle ist fertig.
  2. Die alten Versionen ablaufen lassen, die noch auf die alte Datei zeigen.
  3. Die Dateien entfernen, auf die nichts mehr zeigt (bei Deletion Vectors auch diese bereinigen).
  4. Die Kopien von vorher finden: Exporte, Backups, Replikate.

Die alte Parquet-Datei mit der gelöschten Kundin markiert, gestempelt Löschen ist nicht Tilgen, und die vier Schritte, bis sie aus dem Speicher verschwunden ist

Die stillen Kosten sind, zu wissen, was darin steckt. Tabellen verteilen sich über Buckets, Kataloge und Engines, und bald kann niemand mehr sagen, wo die personenbezogenen Daten liegen.

Ein Lakehouse in Classifyre lesen

Das ist die Frage, die Classifyre beantwortet, und es liest ein Lakehouse so, wie eine Engine es tut: über die Tabelle, nicht über die Dateien.

Richten Sie es auf einen Bucket (S3-kompatibel, Azure, Google Cloud Storage oder ein eingehängter Ordner), und es erkennt Delta-, Iceberg-, Hudi-, Paimon- und Lance-Tabellen an ihrem Aufbau und liest jede als eine Tabelle. Oder gehen Sie über einen Iceberg-REST-Katalog oder eine Engine wie Trino, Athena, BigQuery oder Redshift.

Die Quellen des Testarbeitsbereichs: darunter ein Bucket, ein Iceberg-REST-Katalog und Trino

Der Bucket des Shops in Classifyre: customers, orders und product_vectors.lance als Tabellen, die CSV- und Parquet-Exporte als Dateien

Jede Tabelle wird zu einem Asset: ihr Format und ihre Version, der gelesene Snapshot, ihre Spalten und was die Detektoren in ihren aktuellen Zeilen gefunden haben.

Die Eigenschaften der Kundentabelle: Zeilenzahl 11, Snapshot-ID, Tabellenformat iceberg, Tabellenversion 00004, Formatversion 2 und ihre fünf Spalten mit contact_email

Im Bucket des Shops hat es elf Kunden gelesen und ihre elf E-Mail-Adressen gefunden. Nicht die der Kundin, die gelöscht werden wollte. Einmal hat es sie doch noch gefunden: in einem CSV-Export von vor dem Löschen, einer einfachen Datei im selben Bucket und einer Kopie, von der kein Hauptbuch weiß.

Eine exakte Suche nach der Adresse der gelöschten Kundin: ein Fund, in newsletter_signups.csv

Die Ansichten sind Screenshots der laufenden Anwendung in unserem lokalen Testlabor.

Dateien, Tabelle, Katalog, Engine

Dateien halten die Bytes. Das Tabellenformat sagt, welche Bytes zählen. Der Katalog sagt, wo die Tabelle ist. Die Engine macht die Arbeit.

Greifen Sie zum Lakehouse, wenn viele Werkzeuge dieselben Daten brauchen, in einer Größe, die eine Kiste nicht fasst. Und denken Sie daran: Löschen ist nicht Tilgen, bis die alten Dateien weg sind.

Welche Formate auf welchem Speicher und über welche Kataloge und Engines gelesen werden, steht in der Doku: Lakehouse Tables, Iceberg REST Catalog, DuckLake und Trino.

Mehr aus dem Blog

Last updated on