Datenformate, Schemas und Metadaten

Datenformate, Schemas und Metadaten – von XML bis zum Semantic Web

In einfachen Worten

Bevor Daten im Data Warehouse landen, reisen sie zwischen Systemen hin und her: als Bestellung vom Kunden, als Lieferavis an die Spedition, als E-Rechnung an den Kunden. Damit beide Seiten dasselbe verstehen, braucht es vereinbarte Formate (wie sieht die Datei aus?), Schemas (welche Regeln gelten?) und Metadaten (was bedeutet ein Feld?). Und wenn Daten aus vielen Quellen zusammenkommen, hilft es, wenn sogar Programme die Bedeutung verstehen – das ist die Idee des Semantic Web.

Das nimmst du mit:

  • wohlgeformtes und gültiges XML, DTD und XML Schema im Vergleich,
  • Daten umwandeln und abfragen mit XPath, XSLT und XQuery – an einem Auftrag aus dem Stahlwerk,
  • RDF, Ontologien und SPARQL – und was das mit Datenintegration im BI zu tun hat.

Grundlage ist mein Master-Modul Dokumenten- und Wissensmanagement im Internet (FernUniversität in Hagen, Kurs 01877 „Daten-, Dokumenten-, Informations- und Wissensmanagement im Internet“, Wintersemester 2022). Aus den Übungen zu XML Schema, XSLT und XQuery habe ich ein durchgängiges Beispiel gebaut; alle Dateien wurden mit einem validierenden Parser (libxml2) und mit Saxon geprüft bzw. ausgeführt. Gerade im BI-Alltag begegnet einem XML ständig: in EDI-Schnittstellen, in Exporten aus ERP-Systemen und in der E-Rechnung (XRechnung, ZUGFeRD).

 

Strukturierte Dokumente und eine kurze Geschichte des Markups

Ein strukturiertes Dokument trennt Inhalt, Struktur und Darstellung. Auszeichnungssprachen (Markup) markieren die Struktur mit Tags; wie das aussieht, legt eine separate Formatvorlage fest. Metadaten – Daten über Daten – beschreiben Inhalt, Herkunft und Bedeutung. Sie machen Dokumente durchsuchbar und katalogisierbar und erlauben den Austausch zwischen Programmen.

JahrEreignis
1986SGML (Standard Generalized Markup Language) wird als ISO 8879 genormt.
1989Tim Berners-Lee schlägt am CERN in Genf ein verteiltes Hypertextsystem vor; daraus entstehen HTTP, URLs und HTML.
1994Gründung des World Wide Web Consortium (W3C).
1995HTML 2.0 als erster formaler Standard (RFC 1866, November 1995).
1997HTML 3.2 (Januar) und HTML 4.0 (Dezember) als W3C-Empfehlungen; HTML 4 bringt Stylesheets und Unicode als Dokumentzeichensatz.
1998XML 1.0 – eine stark vereinfachte Teilmenge von SGML für das Web; Namensräume folgen 1999.
1999XPath 1.0 und XSLT 1.0.
2001XML Schema 1.0; XSL 1.0 (mit XSL-FO).
2004Apple, Mozilla und Opera gründen die WHATWG und beginnen mit HTML5.
2007XQuery 1.0 und XSLT 2.0.
2014HTML5 wird W3C-Empfehlung; seit 2019 ist der „HTML Living Standard“ der WHATWG maßgeblich.

XML sollte mit etwa 20 % des Sprachumfangs von SGML rund 80 % ihrer Leistung bieten. Bekannte XML-Anwendungen sind XHTML, SVG (Vektorgrafiken – die Diagramme auf dieser Website sind SVG), MathML, SOAP für den Nachrichtenaustausch zwischen Anwendungen und eben die E-Rechnung.

 

Wohlgeformt und gültig

  • Wohlgeformt ist ein Dokument, wenn es die XML-Grammatik einhält: genau ein Wurzelelement, jedes Start-Tag hat ein passendes End-Tag, korrekt verschachtelt, Attributwerte in Anführungszeichen, kein Attribut doppelt. Dann kann ein Parser daraus einen Baum bauen.
  • Gültig ist ein Dokument, wenn es wohlgeformt ist und einer Grammatik entspricht – einer DTD oder einem XML Schema – und ein validierender Parser das bestätigt.

Anders als HTML-Browser verzeihen XML-Parser nichts: Beim ersten Wohlgeformtheitsfehler müssen sie abbrechen. Fünf Zeichen sind vordefiniert und müssen im Text maskiert werden, wo sie stören: &amp;, &lt;, &gt;, &apos;, &quot;. Größere Textstücke mit vielen Sonderzeichen packt man in einen CDATA-Abschnitt (<![CDATA[ … ]]>). Namensräume unterscheiden gleichnamige Elemente verschiedener Vokabulare über ein Präfix, z. B. <xsl:template>.

Übung aus dem Kurs: Warum ist dieses Dokument nicht wohlgeformt?

<br/>
<buch>
< titel>
    Dies ist der Buchtitel
</titel>
<autor name = 'Nachname' name = "Vorname" / >
<Inhalt>
    <Kapitel Nummer = '1'>
        <Unterkapitel Nummer = "1.3">
            Der Name des Unterkapitels 1.3
        </Unterkapitel>
    </Kapitel>
    <Kapitel Nummer = ’2’>
    Der Name des zweiten Kapitels
</Kapitel>
</Inhalt>
        </buch>
Lösung anzeigen
  1. <br/> und <buch> sind zwei Wurzelelemente – erlaubt ist genau eines (libxml2: „Extra content at the end of the document“).
  2. < titel>: Nach < darf kein Leerzeichen stehen („invalid element name“).
  3. / >: Auch zwischen / und > ist kein Leerzeichen erlaubt.
  4. Das Attribut name kommt zweimal vor („Attribute name redefined“).
  5. ’2’: Typografische Anführungszeichen sind keine gültigen Begrenzer, nur " oder '.

Kein Fehler sind dagegen Leerzeichen um das =, die fehlende XML-Deklaration (sie ist optional) und die Groß-/Kleinschreibung – solange Start- und End-Tag gleich geschrieben sind. Ich habe die Fehler einzeln behoben und nach jedem Schritt neu geparst.

 

Das durchgängige Beispiel: ein Auftrag über Langstahl

<?xml version="1.0" encoding="UTF-8"?>
<auftrag nummer="A-2025-0815" datum="2025-11-03"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:noNamespaceSchemaLocation="auftrag.xsd">
    <kunde kundennr="K-1001">Maschinenbau Muster GmbH</kunde>
    <lieferadresse>
        <name>Wareneingang Halle 3</name>
        <strasse>Industriestraße 12</strasse>
        <plz>77694</plz>
        <ort>Kehl</ort>
    </lieferadresse>
    <position nr="1">
        <produkt>Betonstahl B500B</produkt>
        <abmessung>Ø 12 mm, 12 m</abmessung>
        <menge einheit="t">24.5</menge>
        <preis waehrung="EUR">685.00</preis>
    </position>
    <position nr="2">
        <produkt>Walzdraht</produkt>
        <bemerkung>Coils max. 2 t</bemerkung>
        <menge einheit="t">18.0</menge>
        <preis waehrung="EUR">712.50</preis>
    </position>
    <position nr="3">
        <produkt>Betonstahlmatte</produkt>
        <menge einheit="t">4.2</menge>
        <preis waehrung="EUR">890.00</preis>
    </position>
</auftrag>

DTD: die alte Grammatik

Die Dokumenttypdefinition stammt aus SGML. Sie ist selbst kein XML und kennt keine Datentypen – alles ist Text (#PCDATA, parsed character data). Die Mengenangaben ? (0 oder 1), * (beliebig oft) und + (mindestens einmal) sowie die Reihenfolge (Komma) bzw. Auswahl (|) legen die Struktur fest.

<!ELEMENT auftrag (kunde, lieferadresse, position+)>
<!ATTLIST auftrag nummer CDATA #REQUIRED
                  datum  CDATA #REQUIRED>
<!ELEMENT kunde (#PCDATA)>
<!ATTLIST kunde kundennr CDATA #REQUIRED>
<!ELEMENT lieferadresse (name, strasse, plz, ort)>
<!ELEMENT name (#PCDATA)>
<!ELEMENT strasse (#PCDATA)>
<!ELEMENT plz (#PCDATA)>
<!ELEMENT ort (#PCDATA)>
<!ELEMENT position (produkt, abmessung?, bemerkung?, menge, preis)>
<!ATTLIST position nr CDATA #REQUIRED>
<!ELEMENT produkt (#PCDATA)>
<!ELEMENT abmessung (#PCDATA)>
<!ELEMENT bemerkung (#PCDATA)>
<!ELEMENT menge (#PCDATA)>
<!ATTLIST menge einheit (t | kg) #REQUIRED>
<!ELEMENT preis (#PCDATA)>
<!ATTLIST preis waehrung CDATA "EUR">

Eine Lektion aus dem Ausprobieren: Zuerst hatte ich nr als ID deklariert, damit Positionsnummern eindeutig sind. Der Parser lehnte nr="1" ab – Werte vom Typ ID müssen gültige XML-Namen sein und dürfen nicht mit einer Ziffer beginnen. Eine DTD kann also nicht einmal „eindeutige Zahl“ ausdrücken.

XML Schema: Datentypen, Muster und Eindeutigkeit

Ein XML Schema (XSD) ist selbst ein XML-Dokument, unterstützt Namensräume und kennt Datentypen (xs:decimal, xs:date, xs:positiveInteger …), die sich mit Facetten einschränken lassen:

<xs:schema xmlns:xs="http://www.w3.org/2001/XMLSchema">

    <xs:element name="auftrag">
        <xs:complexType>
            <xs:sequence>
                <xs:element name="kunde" type="kundeTyp"/>
                <xs:element name="lieferadresse" type="adresseTyp"/>
                <xs:element name="position" type="positionTyp" maxOccurs="unbounded"/>
            </xs:sequence>
            <xs:attribute name="nummer" type="xs:string" use="required"/>
            <xs:attribute name="datum" type="xs:date" use="required"/>
        </xs:complexType>
        <xs:unique name="eindeutigePosition">
            <xs:selector xpath="position"/>
            <xs:field xpath="@nr"/>
        </xs:unique>
    </xs:element>

    <xs:complexType name="adresseTyp">
        <xs:sequence>
            <xs:element name="name" type="xs:string"/>
            <xs:element name="strasse" type="xs:string"/>
            <xs:element name="plz">
                <xs:simpleType>
                    <xs:restriction base="xs:string">
                        <xs:pattern value="[0-9]{5}"/>
                    </xs:restriction>
                </xs:simpleType>
            </xs:element>
            <xs:element name="ort" type="xs:string"/>
        </xs:sequence>
    </xs:complexType>

    <!-- kundeTyp und positionTyp hier gekürzt; Mengen und Preise nutzen diesen Typ: -->

    <xs:simpleType name="positiveDezimalzahl">
        <xs:restriction base="xs:decimal">
            <xs:minExclusive value="0"/>
            <xs:fractionDigits value="2"/>
        </xs:restriction>
    </xs:simpleType>
</xs:schema>

Gegen dieses Schema ist der Auftrag gültig. Für einen Negativtest habe ich drei Fehler eingebaut – eine vierstellige PLZ, eine negative Menge und eine doppelte Positionsnummer. Der validierende Parser meldete alle drei:

Element 'plz': [facet 'pattern'] The value '7769' is not accepted by the pattern '[0-9]{5}'.
Element 'menge': [facet 'minExclusive'] The value '-3' must be greater than '0'.
Element 'position': Duplicate key-sequence ['2'] in unique identity-constraint 'eindeutigePosition'.

Genau das ist der Wert eines Schemas an einer Schnittstelle: Fehlerhafte Daten werden an der Grenze abgewiesen, nicht erst, wenn sie im Data Warehouse falsche Summen erzeugen. Für JSON übernimmt JSON Schema dieselbe Rolle.

 

XPath, XSLT und XQuery

Die Extensible Stylesheet Language (XSL) besteht aus drei Teilen: XPath adressiert Knoten im Baum (/auftrag/position[menge > 5]/produkt), XSLT transformiert ein Dokument in ein anderes, und XSL-FO beschreibt Seitenlayout, z. B. für PDF. Ein XSLT-Stylesheet ist selbst XML. Dieses hier macht aus dem Auftrag eine HTML-Tabelle, sortiert nach Menge, und rechnet Positionswerte und die Gesamtmenge:

<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
    <xsl:output method="html" encoding="UTF-8" indent="yes"/>

    <xsl:template match="/auftrag">
        <html>
            <body>
                <h1>Auftrag <xsl:value-of select="@nummer"/></h1>
                <p>Kunde: <xsl:value-of select="kunde"/></p>
                <table>
                    <tr><th>Pos.</th><th>Produkt</th><th>Menge</th><th>Wert (EUR)</th></tr>
                    <xsl:apply-templates select="position">
                        <xsl:sort select="menge" data-type="number" order="descending"/>
                    </xsl:apply-templates>
                </table>
                <p>Gesamtmenge: <xsl:value-of select="sum(position/menge)"/> t</p>
            </body>
        </html>
    </xsl:template>

    <xsl:template match="position">
        <tr>
            <td><xsl:value-of select="@nr"/></td>
            <td><xsl:value-of select="produkt"/></td>
            <td><xsl:value-of select="menge"/><xsl:text> </xsl:text><xsl:value-of select="menge/@einheit"/></td>
            <td><xsl:value-of select="format-number(menge * preis, '#,##0.00')"/></td>
        </tr>
    </xsl:template>
</xsl:stylesheet>

Ergebnis (libxml2/libxslt und Saxon liefern dasselbe): Betonstahl 24.5 t → 16,782.50 EUR, Walzdraht 18.0 t → 12,825.00 EUR, Matte 4.2 t → 3,738.00 EUR, Gesamtmenge 46.7 t. Das <xsl:text> zwischen Menge und Einheit ist nötig – reiner Leerraum zwischen zwei Anweisungen wird von XSLT entfernt, sonst steht da „24.5t“.

XQuery ist für XML, was SQL für Tabellen ist. Herzstück ist der FLWOR-Ausdruck: for, let, where, order by, return. Die vier Aufgaben aus meiner Übung, übertragen auf den Stahlauftrag (alle mit Saxon ausgeführt):

(: 1. Lieferadresse ausgeben :)
for $zeile in doc("auftrag.xml")/auftrag/lieferadresse/*
return string($zeile)
(: → Wareneingang Halle 3, Industriestraße 12, 77694, Kehl :)

(: 2. Produkte mit einem Tonnenpreis über 700 EUR :)
for $pos in doc("auftrag.xml")//position
where xs:decimal($pos/preis) > 700
return string($pos/produkt)
(: → Walzdraht, Betonstahlmatte :)

(: 3. alle Produkte über 5 t, umgekehrt alphabetisch sortiert :)
for $pos in doc("auftrag.xml")//position
where xs:decimal($pos/menge) > 5
order by string($pos/produkt) descending
return string($pos/produkt)
(: → Walzdraht, Betonstahl B500B :)

(: 4. alle Positionen, zu denen es eine Bemerkung gibt :)
for $pos in doc("auftrag.xml")//position
where exists($pos/bemerkung)
return concat($pos/produkt, ': ', $pos/bemerkung)
(: → Walzdraht: Coils max. 2 t :)

Und weil XQuery auch neues XML erzeugen kann – ein kleiner Report mit Auftragswert:

let $positionen :=
    for $pos in doc("auftrag.xml")//position
    let $wert := xs:decimal($pos/menge) * xs:decimal($pos/preis)
    order by $wert descending
    return <wert produkt="{$pos/produkt}">{$wert}</wert>
return <auftragswert gesamt="{sum($positionen)}">{$positionen}</auftragswert>

(: Ergebnis:
<auftragswert gesamt="33345.5">
   <wert produkt="Betonstahl B500B">16782.5</wert>
   <wert produkt="Walzdraht">12825</wert>
   <wert produkt="Betonstahlmatte">3738</wert>
</auftragswert> :)

Für die BI-Praxis: XSLT und XQuery sind heute seltener als SQL oder Power Query, aber wer eine XML-Schnittstelle ins Warehouse laden muss, kommt mit XPath fast immer in Berührung – Power Query, SQL Server (.nodes(), .value()) und Python (lxml) arbeiten alle mit XPath-Ausdrücken.

 

Semantik: RDF, Ontologien und SPARQL

XML legt die Struktur fest, aber nicht die Bedeutung. Ob <menge> in einem anderen System Tonnen, Stück oder Coils meint, weiß kein Parser. Das Semantic Web beschreibt Wissen deshalb als Aussagen in der Form Subjekt – Prädikat – Objekt (Tripel) im Resource Description Framework (RDF). Jedes Ding und jede Beziehung hat eine weltweit eindeutige Kennung (IRI).

  • RDF Schema (RDFS) definiert Klassen und Unterklassen, Eigenschaften und ihre Wertebereiche.
  • OWL (Web Ontology Language) erlaubt reichere Aussagen: Gleichheit von Klassen, Kardinalitäten, Eigenschaften wie „transitiv“. Eine solche formale Beschreibung eines Wissensgebiets heißt Ontologie.
  • SPARQL ist die Abfragesprache für RDF-Daten.
@prefix ex:   <https://example.org/stahlwerk#> .
@prefix rdfs: <http://www.w3.org/2000/01/rdf-schema#> .
@prefix xsd:  <http://www.w3.org/2001/XMLSchema#> .

ex:Betonstahl   rdfs:subClassOf ex:Langprodukt .
ex:Walzdraht    rdfs:subClassOf ex:Langprodukt .
ex:Langprodukt  rdfs:subClassOf ex:Stahlprodukt .

ex:pos1  a ex:Betonstahl ;
         ex:gehoertZu ex:A-2025-0815 ;
         ex:mengeTonnen "24.5"^^xsd:decimal .
ex:pos2  a ex:Walzdraht ;
         ex:gehoertZu ex:A-2025-0815 ;
         ex:mengeTonnen "18.0"^^xsd:decimal .
PREFIX ex:   <https://example.org/stahlwerk#>
PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>
SELECT ?pos ?menge WHERE {
    ?pos a ?klasse ;
         ex:mengeTonnen ?menge .
    ?klasse rdfs:subClassOf* ex:Langprodukt .
}
ORDER BY ?pos
# → pos1 24.5, pos2 18.0

Die Abfrage fragt nach „Langprodukten“ – und findet Betonstahl und Walzdraht, obwohl keiner der beiden direkt so heißt. Der Pfadausdruck rdfs:subClassOf* folgt der Klassenhierarchie beliebig tief. (Die neun Tripel und beide Abfragen habe ich mit der Python-Bibliothek rdflib ausgeführt.)

Semantische Integration – und was BI davon hat

Die Kursthemen semantische Integration und Ontologiesprachen klingen akademisch, beschreiben aber ein Alltagsproblem jedes Data Warehouse: Drei Quellsysteme haben drei Artikelnummern, zwei Kundenstämme und vier Definitionen von „Liefermenge“. Integration heißt, die Bedeutung abzugleichen, nicht nur die Spalten. In der BI-Welt heißen die Werkzeuge dafür etwas anders:

Semantic WebEntsprechung im BI
Ontologie, KlassenhierarchieBusiness Glossary, Kennzahlendefinitionen, Hierarchien in Dimensionen (Produkt → Produktgruppe → Sparte)
IRI als global eindeutige KennungStammdatenmanagement (MDM), „Golden Record“, Surrogatschlüssel mit Mapping auf Quellschlüssel
Abgleich gleichbedeutender Klassen (owl:equivalentClass)konforme Dimensionen in der Bus-Architektur
Metadaten zu Herkunft und BedeutungDatenkatalog mit Lineage (z. B. Microsoft Purview), Beschreibungen im semantischen Modell
WissensgraphKnowledge Graphs für Suche und KI-Assistenten, die Begriffe eines Unternehmens „verstehen“ sollen

Gerade durch KI-Assistenten, die Fragen in natürlicher Sprache gegen ein Datenmodell beantworten sollen, werden gute Metadaten wieder wichtiger: Ein Sprachmodell kann „Liefermenge“ nur richtig interpretieren, wenn irgendwo steht, was damit gemeint ist.

Korrigiert gegenüber meinen alten Aufschrieben und Übungsdateien

  • Das CERN liegt in Genf, nicht in Zürich.
  • HTML 3.2 wurde im Januar 1997 W3C-Empfehlung (im Mai 1996 nur angekündigt), HTML 4.0 im Dezember 1997 (im Juli 1997 lag erst ein Entwurf vor).
  • In meiner XQuery-Lösung zu „umgekehrt alphabetisch“ fehlte das descending – die Ausgabe war aufsteigend sortiert.
  • Mein damaliges XML Schema für die Bestellung war aus dem Beispieldokument generiert: Preise waren als Aufzählung der zwei vorkommenden Texte „810.90“ und „200.49“ definiert, Mengen als beliebiger Text. Jede andere Bestellung wäre ungültig gewesen. Das neue Schema nutzt Datentypen und Facetten.
 

Kurz erklärt – das Glossar

BegriffIn einfachen WortenBeispielMehr dazu
XMLEin Textformat, in dem Daten mit selbst definierten Tags strukturiert werden.<menge einheit="t">24.5</menge>Wikipedia
XML SchemaRegelwerk, welche Elemente und Werte in einem XML-Dokument erlaubt sind.PLZ = genau fünf ZiffernWikipedia
XPathEine Sprache, um Stellen in einem XML-Baum zu adressieren.//position[bemerkung]Wikipedia
XSLTWandelt ein XML-Dokument nach Regeln in ein anderes um.Auftrag → HTML-TabelleWikipedia
XQueryAbfragesprache für XML, ähnlich wie SQL für Tabellen.for … where … returnWikipedia
RDFWissen als Aussagen aus Subjekt, Prädikat und Objekt.pos1 – ist ein – BetonstahlWikipedia
OntologieFormale Beschreibung der Begriffe eines Fachgebiets und ihrer Beziehungen.Betonstahl ist ein Langprodukt ist ein Stahlprodukt.Wikipedia
MetadatenDaten über Daten: Bedeutung, Herkunft, Format.„menge = Tonnen, aus SAP, täglich geladen“Wikipedia
 
Quellen W3C-Empfehlungen zu XML 1.0, XML Schema, XPath, XSLT, XQuery, RDF 1.1, OWL 2 und SPARQL 1.1 (w3.org/TR). – Berners-Lee, T. (1989): Information Management: A Proposal, CERN. – RFC 1866 (1995): Hypertext Markup Language – 2.0. – Eigene Übungen zum Kurs 01877 der FernUniversität in Hagen.
Prüfung XML gegen XSD und DTD validiert mit libxml2 (lxml); XSLT mit libxslt und Saxon-HE 12.5; XQuery mit Saxon-HE 12.5; RDF/SPARQL mit rdflib. Alle angegebenen Ergebnisse sind die tatsächlichen Ausgaben.