Steinberg

Ausgangslage

Steinberg pflegt und strukturiert alle Produkt- und Service-Daten über censhare. Diese werden via Rest-API ausgeleitet, die über den censhare Online-Channel bereitgestellt und über das Steinberg Frontend abgerufen wird.

Endpunkte mit großen Datenmengen, z. B. für das Bereitstellen kompletter Seiteninhalte wurden bisher gecachet, damit diese nicht „on-demand“ berechnet werden müssen. Seiteninhalte mussten immer wieder neu und zum Teil manuell aufgebaut werden. Dieser Prozess war zeit- und ressourcenintensiv. Wurden zeitgleich weitere Änderungen vorgenommen, so konnte es dazu führen, dass Ergebnisse an die Seitennutzer verzögert ausgeliefert wurden und somit die User-Experience negativ beeinflussten.

Ebenfalls problematisch war, dass jede Anfrage vom Online-Channel geprüft werden musste, um festzustellen, ob valide Ergebnisse bereitstellt werden können. Bei einer hohen Frequenz an Requests konnte dies die Performance beeinträchtigen.

MSP hat deshalb ein intelligentes System gebaut, das dafür sorgt, dass diese Requests bzw. die Antworten auf die Requests gecachet werden. Das Konstrukt merkt, wenn sich darunter liegende Daten ändern und aktualisiert diese automatisch.

Ziele

Caching-Logik

• Ergebnisse von Anfragen an die API werden sofort ausgegeben, unabhängig davon, welche anderen Aufgaben dem Online-Channel zugeteilt sind.

• Änderungen an relevanten Daten werden automatisch verarbeitet und am Endpunkt aktualisiert.

• Bis zur erfolgreichen Aktualisierung werden die bestehenden Daten weiterhin ohne Verzögerung ausgegeben.

API-Gateway

• Zentrale Konfiguration der Endpunkte:

• 1. Definition von Regeln, wie Endpunkte angesprochen werden müssen

• 2. Traffic, der nicht dem Regelwerk entspricht, wird nicht verarbeitet

• 3. Möglichkeit, unabhängig vom Online-Channel Daten auszugeben

• Eine Firewall blockt ungewollten oder schadhaften Traffic ab.

Herausforderungen

Steinberg verfügt über eine Vielzahl an unterschiedlich ausgeprägten Endpunkten, die je nach Use Case, angesprochen und verarbeitet werden. Hier wird unterschieden zwischen Produkten, SKUs (Stock Keeping Units), Künstlern, Trainingscentern, Press Releases usw. Für eine performante Umsetzung der Ziele bestanden folgende Herausforderungen:

• Endpunkte, die für die Darstellung der Seiten verantwortlich sind, können aus einer Vielzahl an Assets und Widgets bestehen. Hierbei ist darauf zu achten, dass der Aufbau der Endpunkte möglichst schnell stattfindet.

• Endpunkte für Produktartikel können in unterschiedlichsten Varianten angesprochen werden. Die Anzahl der Kombination liegt dort in einem hohen sechsstelligen Wert, da jeder Artikel in fünf Sprachen und bis zu 200 Ländervarianten vorliegt. Darüber hinaus werden mehrere SKU’s in einem Request gebündelt.

• Es muss erkannt werden, auf welche Endpunkte eine Änderung an einem Asset Auswirkungen hat, damit diese aktualisiert werden können.

• Es kann vorkommen, dass sich in kurzer Zeit viele Assets ändern und dadurch viele Aktualisierungen stattfinden müssen.

• Es dürfen keine Aktualisierung verloren gehen und während des Prozesses muss weiterhin eine performante Auslieferung der Daten gewährleistet werden.

Umsetzung

Caching-Logik

• Erfolgt eine Änderung an einem Asset, wird eine Referenz zu diesem in eine Message Queue (AWS SQS) geschrieben. Die Online-Channel prüfen permanent, ob Nachrichten vorhanden sind.

• Gibt es Änderungen und besitzt die Instanz Kapazität, diese zu verarbeiten, so wird die Nachricht abgeholt und geprüft, welche Endpunkte erneuert werden müssen.

• Die JSON Dokumente der entsprechenden Endpunkte werden erstellt und in einer in-memory-Datenbank (AWS Elasticache) bereitgestellt.

• Kommt es zu einer Anfrage, so muss lediglich das relevante Dokument geladen und ausgegeben werden.

API-Gateway

• Für die zentrale Verwaltung der Endpunkte wurde ein API-Gateway (AWS API-Gateway) eingerichtet. Dort können alle Endpunkte so konfiguriert werden, dass Anfragen, die nicht dem definierten Regelwerk entsprechen (z. B. fehlende oder zusätzliche Parameter) angepasst oder erst gar nicht weitergeleitet werden.

• Zur Steigerung der Sicherheit…

• …wird ein direkter Zugriff auf die Load Balancer oder die Instanzen nicht gestattet.

• … sind bestimmte interne Endpunkte nicht von außen erreichbar.

• … werden alle Requests über eine Firewall (AWS WAF) geprüft.

Ergebnis

Beschleunigter Abruf von Webinhalten

Durch die Implementierung der neuen Logik ist Steinberg in der Lage, Änderungen ohne manuelles Zutun sofort zu veröffentlichen. Das vorherige Rendern und Speichern aller Endpunkte in einer hochperformanten Datenbank ermöglicht es, jedes Ergebnis sofort an den User auszuliefern.

Zentrale Konfiguration & Schutz von Endpunkten

Mit der Einrichtung des API-Gateways können Endpunkte konfiguriert und geschützt werden. Ebenfalls ist es in Kombination mit der neuen Datenbank möglich, jeden Endpunkt unabhängig zu konfigurieren, sodass die Auslieferung der Daten z. B. über AWS Lambda getätigt wird. Auf diese Weise entsteht keine Last auf den Online-Channels und die Performance der Auslieferung wird automatisch skaliert.

Vorteile

• Zeitersparnis durch Automatisierung

• Weniger manuelle Arbeit und Fehleranfälligkeit

• Bessere Performance der Webseite

• Bessere User-Experience

• Mehr Sicherheit durch das Abfangen unerwünschter Requests

• Flexibleres API-Handling