Die zwei Illusionen der Unternehmensdaten: Zero-Copy und Zero-ETL

Executive Summary

• Die zwei Mythen: Die Unternehmensarchitektur ist von zwei fehlerhaften Versprechen fasziniert: plattformübergreifende „Zero-Copy“-Abfragen und eine „Zero-ETL“-Welt ohne Datenreplikation. Beides ist in komplexen Umgebungen technisch und physikalisch unrealistisch.
• Ein Format ist kein Netzwerk: Gemeinsame Tabellenformate wie Apache Iceberg lösen Fragen der Speicherung und Schema-Evolution. Sie beseitigen aber weder Netzwerklatenz noch Egress-Kosten noch die physikalische Notwendigkeit, Daten für Berechnungen am selben Ort zusammenzuführen – vor allem bei JOINs.
• Replikation ist physikalische Realität: Datenbewegung ist kein Versagen, sondern eine Folge der Physik. Jede Abfrage, die große Tabellen mit hoher Kardinalität aus getrennten Plattformen verknüpft (z. B. Databricks und SAP), muss Daten über ein Netzwerk bewegen. BI-Tools erzeugen ohnehin bereits unzählige versteckte Kopien.
• Das eigentliche Ziel sind wiederverwendbare Informationen: Der strategische Vorteil liegt nicht darin, Kopien zu vermeiden (ein Kostenthema), sondern darin, jede Kopie vertrauenswürdig, konsistent und erklärbar zu machen (ein Wertthema). Dafür braucht es ein gemeinsames Verständnis von Bedeutung.
• Die semantische Lösung: Statt physikalischen Unmöglichkeiten hinterherzujagen, akzeptiert die richtige Architektur die Notwendigkeit gezielter Datenbewegung – gesteuert durch eine semantische Knowledge Layer (Wissensschicht). Diese Schicht vereinheitlicht die Bedeutung der Daten (Semantik, Identitäten, Beziehungen) und bietet eine stabile Grundlage für Analytics und KI, die auch im Chaos einer Multi-Plattform-Realität Bestand hat.

Einleitung: Die Architektur-Trugschlüsse, die sich in Unternehmen ausbreiten

In Kreisen der Unternehmensarchitektur kursiert eine verführerische Geschichte von zwei Versprechen. Das erste: Weil alle großen Datenplattformen inzwischen eine gemeinsame Sprache wie Apache Iceberg sprechen, sei eine echte „Zero-Copy“-Datenlandschaft möglich. Das zweite: Dies ermögliche eine „Zero-ETL“-Zukunft, in der Datenreplikation ein Relikt der Vergangenheit ist.

Die Vision eines einheitlichen, reibungslosen Datenraums ist verlockend. Sie ist aber auch eine gefährliche Fehleinschätzung dessen, was Technologie leisten kann. Die harte Wahrheit: Ein gemeinsames Tabellenformat hebt physikalische Grenzen nicht auf und beseitigt nicht den grundlegenden Bedarf an Rechenleistung.

Eine Multi-Plattform-Strategie, die auf diesen beiden Illusionen aufbaut, wird kein Datenparadies schaffen. Bei den wichtigsten Abfragen im Unternehmen – denen, die Fachbereiche überschreiten – wird sie scheitern. Das ist keine Meinungsfrage, sondern eine Frage der Physik.

Illusion 1: Der Mythos vom plattformübergreifenden Zero-Copy

Zero-Copy funktioniert nur, wenn Rechen- und Speicherschicht innerhalb derselben logischen und physischen Grenze liegen. Zur Präzisierung: Das legitime Ziel einer Zero-Copy-Strategie ist es, unkontrollierte, voneinander abweichende Datenkopien zu beseitigen, die zu Inkonsistenzen führen und die Governance aushebeln. Dieses Ziel ist berechtigt und wichtig.

Die Illusion liegt nicht im Ziel selbst, sondern in der Annahme, ein gemeinsames Tabellenformat wie Iceberg erlaube es, dieses Prinzip auf komplexe Abfragen über physisch getrennte Plattformen hinweg auszudehnen – ohne Daten zu bewegen. Tatsächlich funktioniert Zero-Copy nur unter einer nicht verhandelbaren Bedingung: räumlicher Nähe. Compute-Engine und Speicherschicht müssen innerhalb derselben logischen und physischen Grenze liegen (z. B. in einer einzigen Databricks-Umgebung in einer Cloud-Region).

Die Illusion zerbricht in dem Moment, in dem eine Abfrage eine Plattformgrenze überschreiten muss. Ein JOIN – das Arbeitspferd der Analytik – erfordert, dass die Zeilen aller beteiligten Tabellen in denselben Arbeitsspeicher geladen werden. Liegen die Kundendaten in Databricks und die Finanzdaten in Azure Fabric, bleibt der Engine keine andere Wahl, als riesige Datenmengen über das Netzwerk zu ziehen.

Ein Vergleich: Es sollen alle Personen gefunden werden, die in zwei riesigen Telefonbüchern stehen – einem für Berlin und einem für Hamburg. Um jede Übereinstimmung zu finden, lassen sich nicht einfach Namen am Telefon hin- und herrufen. Der einzig vernünftige Weg ist, ein Buch physisch in die andere Stadt zu schicken (Replikation) und beide nebeneinander zu vergleichen. JOINs im Unternehmen, bei denen Millionen Kunden-IDs mit Milliarden Transaktionen abgeglichen werden, sind dasselbe Problem. An diesem Punkt endet Zero-Copy.

Illusion 2: Zero-ETL und die unvermeidliche Rückkehr von ETL

Die zweite Illusion, der Zero-ETL-Trugschluss, ist die direkte Folge der ersten: Weil plattformübergreifendes Zero-Copy für komplexe Abfragen ein Mythos ist, verschwindet der Bedarf an Datenbewegung nicht – er bekommt nur einen neuen Namen. Die unbequeme Wahrheit ist, dass Replikation allgegenwärtig und unvermeidbar ist. Selbst in einem perfekten Data Mesh extrahieren, cachen und laden BI-Tools wie Tableau und Power BI Daten routinemäßig neu, um die Performance zu sichern. Unternehmen erzeugen bereits mehr Kopien, als ihre Architektur zugibt.

Weniger Kopien anzustreben, ist eine Taktik zur Kostensenkung. Wiederverwendbare, vertrauenswürdige Informationen anzustreben, ist eine Strategie zur Wertschöpfung. Das Problem ist nicht, dass Kopien existieren, sondern dass sie oft inkonsistent, ungesteuert und intransparent sind. Ziel sollte nicht sein, Datenbewegung abzuschaffen, sondern sie intelligent, minimal und sinnvoll zu gestalten. Im Kern ist das eine moderne, ausgefeiltere Form von ETL (Extract, Transform, Load).

Die eigentliche Architekturantwort: von der Verwaltung von Kopien zur Verwaltung von Bedeutung

Die Antwort auf die physikalischen Grenzen von Zero-Copy ist keine weitere Abstraktion auf der physischen Ebene, sondern ein Schritt eine Ebene höher: nicht mehr Datenkopien verwalten, sondern die Bedeutung der Daten.

Das ist die Aufgabe einer Enterprise Knowledge Layer. Sie ermöglicht keine magische Zero-Copy-Analytik. Stattdessen akzeptiert sie die physikalische Realität der Datenbewegung und liefert die semantische Governance, um diese Bewegung intelligent, konsistent und minimal zu gestalten. Sie ersetzt eine chaotische Landschaft ungesteuerter, voneinander abweichender Kopien durch ein System mit einer klaren, einzigen Quelle der Wahrheit für Bedeutung.

So funktioniert das in der Praxis:

• Sie vereinheitlicht Semantik, nicht Rohdaten: Die Knowledge Layer basiert auf einer formalen Ontologie und bildet die entscheidenden Identitäten, Beziehungen und Geschäftsregeln ab, die ein Unternehmen definieren (z. B. was ein „Kunde“ ist und wie er mit einem „Vertrag“ zusammenhängt). Dieses semantische Modell macht nur einen winzigen Bruchteil des gesamten Datenvolumens aus, repräsentiert aber 100 % seines geschäftlichen Kontexts.
• Sie ermöglicht intelligente Abfrageplanung: Stellt ein Nutzer eine Frage, fragt das System zuerst den Knowledge Graph (Wissensgraph) ab, um die semantische Landschaft zu verstehen. Es errät keine Tabellen-JOINs, sondern navigiert eine Landkarte der etablierten Geschäftsrealität.
• Sie orchestriert gesteuerte Datenbewegung: Mit diesem semantischen Kontext erstellt die Knowledge Layer einen optimalen Ausführungsplan. Bei kleinen Abfragen kann das einfache Föderation sein. Bei komplexen JOINs mit hoher Kardinalität, die echte Geschäftserkenntnisse liefern, orchestriert sie die notwendige Datenbewegung – als temporäre, zweckgebundene und vollständig gesteuerte Materialisierung am effizientesten Rechenort.

Das Ergebnis ist ein System, das nicht gegen die Physik der Datenbewegung ankämpft, sondern sie beherrscht. Es stellt sicher, dass Daten nur mit klarem Zweck kopiert werden, auf Basis eines gemeinsamen Verständnisses von Bedeutung und vollständig nachvollziehbar.

Fazit: Wenn nur eines hängen bleibt …

Schluss mit der Jagd nach den beiden Illusionen Zero-Copy und Zero-ETL. Ein gemeinsames Format schafft noch keine gemeinsame Architektur. Die erfolgreiche Strategie akzeptiert die physikalische Realität und baut eine stabile, semantische Wissensschicht auf, die sie steuert. Nicht gegen die Physik kämpfen, sondern Bedeutung managen. So wird aus einer Sammlung von Dateninseln ein wirklich vernetztes und intelligentes Unternehmen.