// DEEP DIVE | PRODUKTDATENANREICHERUNG
Data Ingest: Lieferantendaten erfassen, bevor sie Schaden anrichten
Jeder Lieferant liefert anders. Der eine schickt eine Excel mit 80 Spalten, der nächste ein PDF-Datenblatt, der dritte einen EDI-Datenstrom. Data Ingest erfasst all das automatisch, vereinheitlicht es und prüft es, bevor es Ihr PIM erreicht. Saubere Daten am Eingang sind die Voraussetzung für jede Anreicherung danach.
DAS PROBLEM
Warum Lieferantendaten selten zueinander passen
Produktdaten entstehen nicht bei Ihnen, sondern bei Hunderten von Lieferanten, und jeder hat seine eigene Logik. Spaltennamen unterscheiden sich, Einheiten sind mal metrisch, mal imperial, Maßangaben stehen mal im eigenen Feld, mal mitten im Beschreibungstext. Dazu kommen Formate, die gar nicht für Maschinen gedacht sind: gescannte Datenblätter, Kataloge als PDF, Tabellen mit verbundenen Zellen.
Solange das manuell aufgefangen wird, ist jedes neue Lieferantenformat ein Sonderfall. Bei zehn Lieferanten geht das. Bei dreihundert wird das Onboarding zum Engpass, und schlechte Daten rutschen durch, weil niemand jede Zeile prüfen kann. Der Fehler fällt dann nicht am Eingang auf, sondern im Shop, im Filter, in der Suche.
Die Lösung ist eine eigene Eingangsschicht. Data Ingest erfasst Daten aus beliebigen Quellen und Formaten, überführt sie in ein einheitliches Schema und prüft sie gegen Regeln, bevor sie überhaupt ins PIM gelangen. Erst wenn ein Datensatz sauber ist, wird er weitergereicht.
Was ist Data Ingest?
Data Ingest ist der automatisierte Erfassungs- und Normalisierungsprozess am Beginn der Datenpipeline. Er nimmt Rohdaten in beliebigen Formaten an (Excel, CSV, PDF, JSON, EDI), erkennt ihre Struktur, überführt sie in ein definiertes Zielschema und validiert sie, bevor sie ins PIM oder in die Anreicherung gehen. Technisch besteht er aus drei Bausteinen: Konnektoren für die Quellen, einer Parsing- und Mapping-Logik für die Vereinheitlichung und einem Regelwerk für die Eingangsprüfung.
Vier Schritte vom Rohformat zum PIM-fähigen Datensatz
/ UNSER ANSATZ
01
Schritt 01
Erfassung über Konnektoren
Wir holen Daten dort ab, wo sie liegen, und in dem Format, in dem sie kommen. SFTP, E-Mail-Anhänge, REST, Marktplatz-Feeds. Excel, CSV, JSON und EDIFACT werden direkt gelesen, PDFs und gescannte Datenblätter über Layout-Erkennung und OCR erschlossen. Der Lieferant muss nichts ändern.
02
Schritt 02
Parsing und Normalisierung
Aus dem Rohformat wird ein einheitlicher Datensatz. Wir ordnen fremde Spaltennamen den richtigen Zielfeldern zu, vereinheitlichen Einheiten, Datumsformate und Zeichensätze. Ein neues Format wird einmal konfiguriert und läuft danach automatisch.
03
Schritt 03
Validierung am Eingang
Bevor ein Datensatz weitergeht, prüft ein Regelwerk Vollständigkeit, Datentypen und Plausibilität. Was nicht passt, wird nicht durchgewunken, sondern in Quarantäne gestellt und gemeldet. So gelangen keine kaputten Daten ins PIM.
04
Schritt 04
Übergabe an PIM und Anreicherung
Die geprüften, normalisierten Datensätze gehen an das PIM oder direkt in die Anreicherung, samt Protokoll, woher sie stammen und was mit ihnen passiert ist. Das ist die Grundlage für Data Governance und saubere Golden Records.
Wir lesen CSV, Excel, JSON, XML und EDIFACT direkt, für unstrukturierte Quellen kombinieren wir Layout-Parsing und OCR. Regelbasiert und transparent, kein Black-Box-Modell, keine Vendor-Bindung.
Die Wareneingang-Analogie
Stellen Sie sich ein gut geführtes Lager vor. Keine Ware geht direkt ins Regal. Sie kommt am Wareneingang an, wird geprüft, etikettiert und erst dann eingelagert. Data Ingest ist der Wareneingang für Ihre Produktdaten. Was den Eingang nicht sauber passiert, hat im Lager nichts verloren.
Stunden
statt Wochen, bis ein neuer Lieferant produktiv angebunden ist
Ist das Format einmal als Konnektor konfiguriert, läuft das Onboarding eines weiteren Lieferanten in Stunden statt in Tagen oder Wochen manueller Mapping-Arbeit. Wie groß der Sprung ausfällt, hängt von der Komplexität des Formats ab. Eine saubere CSV ist schnell angebunden, ein verschachteltes PDF braucht mehr Vorarbeit.
Warum eine Eingangsschicht dem direkten Import überlegen ist
Merkmal
Direkter Import ins PIM
Data Ingest als Eingangsschicht
Neues Lieferantenformat
Manuelles Mapping, Tage bis Wochen
Konfigurierter Konnektor, danach automatisch
Fehlerhafte Daten
Fallen erst im Shop oder Filter auf
Werden am Eingang abgefangen und gemeldet
Formatvielfalt
Jedes Format ein Sonderfall
Excel, CSV, PDF, JSON, EDI vereinheitlicht
Skalierung
Wächst mit dem Personalaufwand
Neue Quellen ohne neuen Pflegeaufwand
Nachvollziehbarkeit
Kaum dokumentiert
Jede Quelle und Transformation protokolliert
Drei Fragen, die CDOs und AI Architects stellen
Nein. Die Anpassung passiert auf unserer Seite. Ihre Lieferanten liefern weiter wie bisher, der Konnektor übernimmt Erfassung und Normalisierung.
Sie werden am Eingang abgefangen, in Quarantäne gestellt und gemeldet, statt unbemerkt ins PIM zu gelangen.
Ist das Format einmal als Konnektor konfiguriert, läuft jede weitere Lieferung automatisch. Die Erstanbindung dauert von Stunden bis wenige Tage, je nach Komplexität.
Verwandte Deep Dives
Golden Records und Master Data
Nach dem Ingest werden Quellen konsolidiert. Golden Records bauen aus den erfassten Daten den einen verlässlichen Datensatz.
Data Governance
Die Eingangsprüfung ist der erste Hebel für Datenqualität. Data Governance hält sie im Betrieb stabil.
// DATA INGEST
Daten-Onboarding
besprechen.
Zeigen Sie uns zwei oder drei typische Lieferantenformate, die Ihnen heute Arbeit machen. Wir skizzieren die Erfassung und Normalisierung dafür, zeigen Ihnen an Ihren echten Dateien die Fallstricke und sagen Ihnen, was die Anbindung kostet. In einer Woche.