Code & Queries

In einem Data Warehouse (DWH) ist die Strukturierung und das Laden von Daten entscheidend für die Leistungsfähigkeit und die Genauigkeit der Berichterstellung. Zwei der gängigsten Schemata, die in Data Warehouses verwendet werden, sind das Star-Schema und das Snowflake-Schema. In diesem Blogbeitrag werden wir die Reihenfolge des Datenladens von Dimensionen und Faktentabellen in diesen Schemata detailliert besprechen, mit Beispielen und Skripten.

1. Einführung in Star- und Snowflake-Schema

Star-Schema

Das Star-Schema besteht aus einer zentralen Faktentabelle, die von mehreren Dimensionstabellen umgeben ist. Die Faktentabelle enthält die quantitativen Daten (z.B. Verkaufszahlen), während die Dimensionstabellen die beschreibenden Daten enthalten (z.B. Produkt, Kunde, Zeit).

Snowflake-Schema

Das Snowflake-Schema ist eine Erweiterung des Star-Schemas, bei dem die Dimensionstabellen normalisiert sind. Das bedeutet, dass eine Dimensionstabelle in mehrere Untertabellen aufgeteilt werden kann, um Redundanzen zu vermeiden.

2. Reihenfolge des Datenladens

Grundsatz

In beiden Schemata ist die Reihenfolge des Datenladens entscheidend. Die Dimensionstabellen müssen vor der Faktentabelle geladen werden, da die Faktentabelle Fremdschlüssel zu den Dimensionstabellen enthält. Wenn die Dimensionstabellen nicht zuerst geladen werden, können die Fremdschlüssel in der Faktentabelle nicht korrekt zugeordnet werden.

Star-Schema Beispiel

Tabellenstruktur

• Faktentabelle: Sales_Fact (Sales_ID, Product_ID, Customer_ID, Time_ID, Amount)
• Dimensionstabellen:
  • Product_Dim (Product_ID, Product_Name, Category)
  • Customer_Dim (Customer_ID, Customer_Name, City)
  • Time_Dim (Time_ID, Date, Month, Year)

Ladevorgang

1. Laden der Dimensionstabellen:

   -- Produktdimension laden
   INSERT INTO Product_Dim (Product_ID, Product_Name, Category)
   SELECT Product_ID, Product_Name, Category FROM Staging_Product;
   
   -- Kundendimension laden
   INSERT INTO Customer_Dim (Customer_ID, Customer_Name, City)
   SELECT Customer_ID, Customer_Name, City FROM Staging_Customer;
   
   -- Zeitdimension laden
   INSERT INTO Time_Dim (Time_ID, Date, Month, Year)
   SELECT Time_ID, Date, Month, Year FROM Staging_Time;
   

2. Laden der Faktentabelle:

   -- Faktentabelle laden
   INSERT INTO Sales_Fact (Sales_ID, Product_ID, Customer_ID, Time_ID, Amount)
   SELECT Sales_ID, Product_ID, Customer_ID, Time_ID, Amount FROM Staging_Sales;
   

Snowflake-Schema Beispiel

Tabellenstruktur

• Faktentabelle: Sales_Fact (Sales_ID, Product_ID, Customer_ID, Time_ID, Amount)
• Dimensionstabellen:
  • Product_Dim (Product_ID, Product_Name, Category_ID)
  • Category_Dim (Category_ID, Category_Name)
  • Customer_Dim (Customer_ID, Customer_Name, City_ID)
  • City_Dim (City_ID, City_Name, Country_ID)
  • Country_Dim (Country_ID, Country_Name)
  • Time_Dim (Time_ID, Date, Month, Year)

Ladevorgang

1. Laden der Dimensionstabellen:

   -- Kategoriedimension laden
   INSERT INTO Category_Dim (Category_ID, Category_Name)
   SELECT Category_ID, Category_Name FROM Staging_Category;
   
   -- Produktdimension laden
   INSERT INTO Product_Dim (Product_ID, Product_Name, Category_ID)
   SELECT Product_ID, Product_Name, Category_ID FROM Staging_Product;
   
   -- Landdimension laden
   INSERT INTO Country_Dim (Country_ID, Country_Name)
   SELECT Country_ID, Country_Name FROM Staging_Country;
   
   -- Stadtdimension laden
   INSERT INTO City_Dim (City_ID, City_Name, Country_ID)
   SELECT City_ID, City_Name, Country_ID FROM Staging_City;
   
   -- Kundendimension laden
   INSERT INTO Customer_Dim (Customer_ID, Customer_Name, City_ID)
   SELECT Customer_ID, Customer_Name, City_ID FROM Staging_Customer;
   
   -- Zeitdimension laden
   INSERT INTO Time_Dim (Time_ID, Date, Month, Year)
   SELECT Time_ID, Date, Month, Year FROM Staging_Time;
   

2. Laden der Faktentabelle:

   -- Faktentabelle laden
   INSERT INTO Sales_Fact (Sales_ID, Product_ID, Customer_ID, Time_ID, Amount)
   SELECT Sales_ID, Product_ID, Customer_ID, Time_ID, Amount FROM Staging_Sales;
   

3. Best Practices

• Referentielle Integrität: Stellen Sie sicher, dass die Fremdschlüssel in der Faktentabelle korrekt auf die Primärschlüssel der Dimensionstabellen verweisen.
• Datenqualität: Überprüfen Sie die Daten vor dem Laden, um sicherzustellen, dass keine fehlerhaften oder inkonsistenten Daten geladen werden.
• Performance-Optimierung: Nutzen Sie Batch-Verarbeitung und Indizes, um die Ladezeiten zu optimieren.

4. Fazit

Die Reihenfolge des Datenladens in einem Data Warehouse ist entscheidend für die Integrität und Leistungsfähigkeit des Systems. Im Star- und Snowflake-Schema müssen die Dimensionstabellen immer vor der Faktentabelle geladen werden, um sicherzustellen, dass die Fremdschlüssel korrekt zugeordnet werden können. Durch die Beachtung dieser Reihenfolge und die Implementierung von Best Practices können Sie die Effizienz und Genauigkeit Ihres Data Warehouses erheblich steigern.