Computing mit gemischten Quellen: SPL-Praktiken

Das Problem der gemischten Datenquellenberechnungen entsteht durch die Vielfalt der Datenquellen, einschließlich relationaler Datenbanken, NoSQL-Datenbanken, Cloud-Speicher, APIs und Dateisystemen. Logische Data-Warehouse-Systeme können gemischten Quellenberechnungen bis zu einem bestimmten Grad erleichtern, sind jedoch oft schwer und komplex, was sie nur für groß angelegte Szenarien geeignet macht. SPL bietet eine leichte und Echtzeit-Fähigkeit für gemischte Datenquellenberechnungen, die es ermöglicht, Berechnungen auf beliebigen zugänglichen Datenquellen durchzuführen. SPL hat zwei Arten von Datenquellen-Connectoren: native Connector und externe Connector, die eine Vielzahl von Datenquellen unterstützen. SPL unterstützt und fördert die Verwendung der nativen Syntax einer Datenquelle, um auf Daten zuzugreifen und sie zu berechnen, und bietet Ergänzungen, wenn die Rechenfähigkeit der Datenquelle unzureichend ist. SPL bietet zwei Arten von Datenobjekten für den Zugriff auf Daten aus Quellen an: Tabellenfolge und Cursor, die einem in-Memory-Datentabelle und einer Streaming-Datentabelle entsprechen. Im Gegensatz zu logischen Data-Warehouse-Systemen erfordert SPL keine vordefinierten Metadaten für die Zuordnung und greift direkt auf Daten zu, indem es die von der Datenquelle bereitgestellten Methoden verwendet. SPL kann in einer IDE für die Konfiguration von Datenquellen und in Anwendungen für die Integration mit der Anwendung und die Aufrufung von SPL-Skripten über JDBC verwendet werden. SPL ist Open-Source und unterstützt eine breite Palette von Datenquellen, was die Implementierung gemischter Berechnungen erleichtert.