Компьютинг с смешанными источниками: практики SPL

Проблема смешанных вычислений источников данных возникает из-за разнообразия источников данных, включая реляционные базы данных, базы данных NoSQL, облачное хранилище, API и файловые системы. Логические хранилища данных могут облегчить смешанные вычисления до некоторой степени, но они часто бывают тяжелыми и сложными, что делает их подходящими только для крупномасштабных сценариев. SPL предоставляет легкую и реальное смешанное вычисление источников данных, позволяющее выполнять смешанные вычисления на любых доступных источниках данных. SPL имеет два типа коннекторов источников данных: native connectors и external connectors, которые поддерживают огромное разнообразие источников данных. SPL поддерживает и поощряет использование родной синтаксис источника данных для доступа и вычисления данных и предлагает дополнения, если вычислительная способность источника данных недостаточна. SPL предоставляет два типа объектов данных для доступа к данным из источников: последовательность таблиц и курсор, которые соответствуют таблице данных в памяти и потоковой таблице данных соответственно. В отличие от логических хранилищ данных, SPL не требует предварительно определенных метаданных для сопоставления и доступа к данным напрямую с помощью методов, предоставленных источником данных. SPL может быть использован в IDE для настройки источников данных и в приложениях для интеграции с приложением и вызова скриптов SPL с помощью JDBC. SPL является открытым исходным кодом и поддерживает широкий спектр источников данных, что делает его легко реализовать смешанные вычисления.