Skip to Content
Erklärt

Den Daten folgen: Was Lineage ist und wie man sie liest

Woher ein Wert kommt, was bricht, wenn man ihn ändert, und woran man einen Pfeil erkennt, dem man trauen kann.

Share this case file← Alle Artikel

Ein Partner schreibt Ihnen an einem Dienstag. Die wöchentliche Datei, die Sie ihm schicken, enthält die Kontonummern Ihrer Kunden.

Sie brauchen heute zwei Antworten. Woher kommt diese Spalte? Und was bricht, wenn Sie sie entfernen? Niemand im Raum weiß es. Die Datei stammt aus einer Tabelle, die aus einer View stammt, die aus einer Datenbank drei Teams weiter stammt.

Diese zwei Fragen haben einen Namen: Lineage.

Die Notiz eines Partners und der wöchentliche Export auf einem schwarzen Tisch, die Spalte iban in Lime markiert, dazu zwei Stempel: woher, was bricht

Stromaufwärts und stromabwärts

Lineage hält fest, woher Werte stammen. Denken Sie an einen Fluss: Stromaufwärts ist, woher das Wasser kommt, stromabwärts alles, was es erreicht.

Ein guter Graph hält sich an eine Regel. Pfeile zeigen in die Richtung, in die die Daten fließen, also steht stromaufwärts links und stromabwärts rechts. Gehen Sie nach innen, erfahren Sie, woher etwas kommt. Gehen Sie nach außen, erfahren Sie, was bricht, wenn es sich ändert.

Warum Lineage-Graphen zu Knäueln werden

Weil alles zu einer einzigen Art von Verbindung plattgedrückt wird. Ein Anhang, ein Fremdschlüssel, eine doppelte Datei und eine aus einer anderen gebaute Tabelle sind vier verschiedene Dinge, und nur eines beantwortet: Was bricht?

Ein Knäuel aus Straßenkabeln neben vier Karten: ein Anhang, ein Fremdschlüssel, eine doppelte Datei und eine aus einer Tabelle gebaute Tabelle, nur diese ist lime

Fragen Sie also jede Verbindung nach einem: Haben sich Werte bewegt?

KlasseBedeutetBeispielEin Schritt im Pfad?
Lineage (Flow)Die Werte des einen stammen aus dem anderenEine View über ihren TabellenJa. Das ist der Lineage-Graph
EnthältDas eine ist Teil des anderenEin Diagramm in einem DashboardNein. Es faltet das Bild
Dasselbe wieEin echtes Ding, zweimal gesehenEine Datei in zwei BucketsNein. Es führt zwei Knoten zusammen
ReferenziertDas eine verweist auf das andereEin FremdschlüsselNein. Ein Hinweis, der nichts trägt
Genutzt vonJemand hat es angefasstWer eine Datei geöffnet hatNein. Ein Gewicht, kein Pfad

Der Fremdschlüssel überrascht die meisten. Er ist ein guter Hinweis darauf, wo Lineage liegen könnte, aber es wurden keine Daten bewegt, also ist er nie ein Schritt. Was ein System nicht sicher weiß, gehört an denselben Ort: eine Verbindung, die nichts trägt. So bleibt ein Graph lesbar. Die fünf Klassen stehen in der Dokumentation, mit ihrer Bedeutung beim Traversieren.

Fünf Karten auf einem Tisch unter der Frage, ob sich Werte bewegt haben: nur Lineage ist lime

Welche Art von Bewegung

Innerhalb von Flow sagt die Art der Bewegung, was Sie am anderen Ende erwartet.

  • Kopie von. Dieselben Werte, verschoben. Ist die Quelle sensibel, ist es die Kopie auch.
  • View von. Eine gespeicherte Abfrage. Sie hält nichts Eigenes, also erreicht sie jede Änderung darunter sofort.
  • Abgeleitet. Echte Logik dazwischen. Die Werte können überleben oder nicht, also müssen Sie genauer hinsehen.
  • Geschrieben von. Ein Job hat das erzeugt.
  • Exportiert nach, gesendet an. Es hat das System verlassen. Dort hört eine Datenschutzfrage auf, intern zu sein.

Sechs Arten von Bewegung entlang eines Pfeils, mit einer gestrichelten Linie vor exported to und sent to

Spalten-Lineage

Tabellen-Lineage sagt, eine View ist aus zwei Tabellen gebaut. Das stimmt, und es reicht nicht, um zu handeln. Bevor Sie eine Spalte löschen, müssen Sie wissen, ob diese Spalte etwas speist.

Spalten-Lineage hält für jede Ausgabespalte fest, was sie gespeist hat und jede Funktion auf dem Weg. Das liest sich wie ein Satz: customer ist name, durch LOWER. income ist amount, durch ein CASE, dann durch eine SUM.

Die Funktionen sind der nützliche Teil, denn sie zeigen, ob das Sensible die Reise überlebt hat. Ein kleingeschriebener Name bleibt ein Name. Eine Summe über viele Zeilen enthält nicht mehr den Betrag einer Person, außer die Gruppe besteht aus einer Person. Jede Zuordnung sagt also eines von dreien: unverändert kopiert, umgeformt oder aggregiert.

Dieselbe Grafik mit den drei Wörtern daneben und dem Stempel: Hat das Sensible überlebt?

Wo und warum

Eine ältere Idee hilft hier. 2001 teilten Datenbankforscher die Frage, woher Daten kommen, in zwei.

  • Wo ist der Ort, von dem ein Wert kopiert wurde.
  • Warum sind die Daten, wegen derer diese Zeile überhaupt erscheint.

Ein altes Kontobuch, das Jahr 2001 und zwei Karten: where und why

Sehen Sie sich einen Filter an. Ein WHERE country <> 'CH' speist keine Ausgabespalte und entscheidet doch, wer im Ergebnis steht. Das tut auch ein Join-Schlüssel. Zeichnete man das als Pfeile in Spalten, schiene jede Spalte von allem abzuhängen. Darum werden sie getrennt geführt, in einer eigenen Liste: Spalten, die bestimmt haben, welche Zeilen herauskamen.

Verfolgen Sie einen Wert, können Sie diese Liste überspringen. Löschen Sie eine Spalte, nicht: Entfernen Sie die Filterspalte, bricht die View.

Die Grafik mit einem Rahmen um country, das keinen Pfeil hat, dazu die Liste der Spalten, die die Zeilen bestimmt haben

Woher ein Werkzeug das weiß

Die meisten Datenbanken sagen, von welchen Tabellen eine View abhängt, nicht von welchen Spalten. Also liest ein Werkzeug das SQL der View selbst und folgt jeder Ausgabespalte zurück: in Common Table Expressions, jeden Zweig eines UNION entlang, durch Views von Views.

Manche Plattformen melden Spalten aus ihrem eigenen Katalog. Sie nennen die Spalten, nicht die Funktionen dazwischen, die beiden Quellen können also Verschiedenes gut.

Zwei Karten: Das SQL nennt Spalten und Funktionen, der Katalog nennt die Spalten und schweigt zu den Funktionen

Und manchmal ist die ehrliche Antwort: nichts. SELECT * nennt keine Spalten. Eine nackte Spalte in einem Join könnte zu jeder der beiden Tabellen gehören. Eine fehlende Antwort schickt Sie nachsehen. Eine selbstsichere falsche schickt Sie in die Produktion.

Zwei Abfragen mit Stempeln: keine Spalten genannt, welche Tabelle? Darunter: Keine Antwort schlägt eine falsche

Column-Level Lineage behandelt jeden Fall, auch wie man das Panel Zeile für Zeile liest.

Wie weit man einem Pfeil trauen kann

Nicht jeder Pfeil ist gleich sicher, also sollte jeder sagen, woher er bekannt ist.

Woher bekanntBedeutet
Zur Laufzeit beobachtetEtwas hat die Daten fließen sehen
SystemkatalogDie Plattform hat es gesagt
SQL gelesenAus der Abfrage gelesen
HeuristikErschlossen. Eine Vermutung, mehr nicht
ManuellEin Mensch hat es gezeichnet

Fünf Arten, wie ein Pfeil bekannt sein kann, und das SQL daneben

Stammt ein Pfeil aus SQL, bleibt das SQL daneben, damit Sie die Herleitung lesen können, statt einem Etikett zu vertrauen.

Über Systemgrenzen

Die wertvollste Lineage überschreitet eine Grenze: zwei Systeme, zwei Scans, manchmal Monate auseinander. Der Trick ist ein Name. Keine ID aus dem Scan, sondern wie die Plattform selbst das Objekt nennt: Host, Datenbank, Schema, Tabelle. Zwei Scanner, die sich nie begegnet sind, schreiben dieselbe Zeichenfolge.

Zwei Blätter, eines aus dem März und eines aus dem Oktober, mit derselben Adresse für eine Tabelle, dazu Etiketten für Host, Datenbank, Schema und Tabelle

Ein Scan kann also auf eine Tabelle zeigen, die noch niemand gescannt hat. Der Pfeil bleibt und endet an einem umrissenen Knoten: ein Name, in dem nichts steckt. Das ist schon für sich ein Befund, denn er zeigt, wohin Ihre Daten gehen, ohne dass Sie hinsehen.

Ein gestrichelter Knoten customers, noch nicht gescannt, mit einem Pfeil zu einer Warehouse-Tabelle

Schließen Sie dieses System später an, erkennen sich die zwei Hälften. Die Lineage vervollständigt sich selbst, rückwirkend. So sah das echt aus, in einem Test vor und direkt nach dem Hinzufügen eines Schemas zum Scan:

Die Ansicht davor: vendor_feed in Postgres als gestrichelter Knoten, ein Pfeil derived zu supplier_costs

Die Ansicht danach: derselbe Pfeil, nun vom echten Asset lab_ext.vendor_feed

Der Name enthält Host und Port, beide Scanner müssen die Datenbank also auf demselben Weg erreichen. Das wäre uns fast selbst passiert: Eine Verbindung lief über einen Pooler auf Port 6543, die andere über 5432, also hätten beide dieselbe Tabelle verschieden benannt, und der Pfeil hätte sich nie geschlossen. Beide auf denselben Port zu stellen, hat es gelöst.

Eine zweite Aufgabe: Dubletten

Zwei Tabellen sehen fast gleich aus. Die Frage ist nicht, wie ähnlich, sondern warum.

Was Lineage sagtLiest sich alsPriorität
Ein Pfad verbindet sieGemeinsamer Ursprung: eine aus der anderen gebaut, oder beide aus einer QuelleNiedrig
Beide haben Lineage, kein Pfad verbindet sieKein Pfad: Zwei Teams haben dasselbe gebautDer Alarm
Eine Seite hat keine LineageLineage unbekannt: eine Lücke, keine AntwortWerte beurteilen

Drei Zeilen mit je zwei Tabellen: ein Pfad, niedrige Priorität; kein Pfad, Alarm; eine Seite unbekannt, Werte beurteilen

Inhalte und Lineage stammen aus verschiedenen Belegen. Genau deshalb sagt ihre Kombination etwas aus. Die Dublettenprüfung baut darauf auf.

Eine echte Spalte

Zurück zur Datei. Dies ist ein Test-Arbeitsbereich mit drei echten Systemen: Postgres, MySQL und ein Databricks-Warehouse. Alles Folgende ist offen: Sie können sich selbst durchklicken.

Der Export enthält fünf Kontonummern, und jede davon taucht in zehn Tabellen auf, über zwei Systeme.

Zehn Verdächtige. Die naheliegende ist eine CRM-Kontaktliste. Eine Wertsuche kann das nicht klären, denn der Wert ist in allen zehn gleich. Lineage kann es.

Gehen Sie stromaufwärts. Der Export liest eine Abrechnung, die Abrechnung liest eine Staging-Tabelle, und dann verlässt der Pfad das Warehouse. Das Warehouse liest die Datenbank über einen Foreign Catalog und meldet den Zugriff, und zwei Scans, die sich nie begegnet sind, schrieben denselben Namen.

Die Lineage-Ansicht, vom Export stromaufwärts: rechts ein Warehouse, in der Mitte Postgres, links MySQL, jeder Knoten mit seiner Quelle beschriftet

Nehmen Sie eine einzelne Spalte. Die IBAN kommt aus customers, in drei Schritten, und nicht aus der CRM-Liste. Diese Idee ist erledigt.

Das Spalten-Lineage-Panel für iban: drei Zeilen zurück über partner_statement und staged.customers bis postgres.lab_core.customers

value_band geht weiter: fünf Schritte, über die Grenze, durch zwei Postgres-Views, bis zu Menge mal Preis. Lesen Sie die Zeilen. Im Warehouse steht catalog, 95%, mapped: Es kennt die Verbindung, nicht die Logik. In Postgres steht SQL parsed, 80%, mit den Funktionen.

Das Spalten-Lineage-Panel für value_band: fünf Zeilen, drei mit catalog 95% mapped, zwei mit SQL parsed 80% samt SUM, CAST und Multiplikation

Gehen Sie nun von dieser Staging-Tabelle abwärts. Eine Abrechnung, ein Export, sonst nichts. Die Lösung ist eine Spalte in einem SELECT.

Die Ansicht stromabwärts von staged.customers: eine Abrechnung, ein Export, sonst nichts

Ein Pfeil, den niemand gemeldet hat. Ein nächtlicher Job kopiert Account Manager von MySQL nach Postgres, und keine der Datenbanken weiß davon. Also ist er von Hand gezeichnet, in Bernstein, damit niemand ihn für etwas hält, das eine Plattform gesagt hat.

Dieselbe Ansicht näher: ein bernsteinfarbener Pfeil von lab_hr.employees in MySQL zu account_managers in Postgres, beschriftet mit nightly copy

Ein Pfad, drei Arten von Beleg. Der Fall hält die Urteile fest: die CRM-Idee widerlegt, customers gestützt, die Lösung bemessen.

Das Fall-Board: die CRM-Hypothese rot widerlegt, die customers-Hypothese und der Umfang der Lösung grün gestützt, unten der bernsteinfarbene Link

Was sie Ihnen nicht sagt

  • Nur, was eine Plattform sagt. Gespeicherte Prozeduren, Trigger und externe Jobs hinterlassen keinen Pfeil, solange ihn niemand erklärt.
  • Wie Daten fließen können, nicht, dass eine bestimmte Zeile es tat. Ein Pfeil ist eine Aussage über die Struktur.
  • Namen müssen passen. Erreichen Sie eine Datenbank über zwei Hostnamen, treffen sich die Hälften nie.

Ein fehlender Pfeil heißt, dass niemand einen gemeldet hat. Er heißt nicht, dass sich nichts bewegt hat.

Drei Stempel zu dem, was Lineage nicht sagt, darunter: Kein Pfeil heißt nicht keine Bewegung

Wenn Sie wissen, wie Daten fließen, und kein System es sagt, kann ein Custom Connector es erklären, samt Spaltendetail.

Stellen Sie die zwei Fragen einer Spalte, nicht einer Tabelle, und prüfen Sie, woher jeder Pfeil bekannt war.

Selbst öffnen

Alles aus dem Fall ist im Arbeitsbereich all-sources-test live.

Hier anfangenWorauf achten
partner_exportTab Connections, View, Upstream, ∞: der ganze Pfad. Im Spalten-Panel value_band wählen
lab_core.customersStromabwärts gehen: alles, was sie liest, in beiden Systemen
lab_hr.employeesDer von Hand gezeichnete Pfeil aus MySQL
supplier_costsDer Pfeil, der auf ein Schema wartete und sich selbst band
Der FallDie Hypothesen, ihre Urteile und die Belege

Der vollständige Leitfaden steht in der Dokumentation: Lineage & Relationships, Column-Level Lineage und die Quellenseiten zu Databricks, PostgreSQL und MySQL. Fälle behandelt Links on the board.

Mehr aus dem Blog

Last updated on