Обнаружение масштабируемых отношений за пределами грубой силы

Текст обсуждает задачу открытия связей в больших наборах данных, рассматривая ее как проблему системной архитектуры, а не алгоритмическую. Принудительный сравнительный анализ, используемый в простых алгоритмах, становится вычислительной нецелесообразностью при огромном количестве полей. Ключом к решению этой проблемы является сокращение пространства поиска умным образом, чтобы избежать узких мест производительности. Подход Arisyn избегает принудительного сравнения за счет индексирования, фильтрации и выборки на основе функций. Эта система также оценивает потребности в памяти, потоки обработки, время выполнения и стоимость для оптимизации распределения задач. Параллельная обработка, восстановление после сбоя и отказоустойчивость реализованы для обеспечения эффективного выполнения. Основным принципом является то, что эффективные архитектурные конструкции более важны, чем просто добавление большей вычислительной мощности. В конечном итоге, этот подход делает масштабирование открытия связей достижимым на уровне предприятия. Система использует границу уникальных значений для балансировки памяти и времени выполнения. Это позволяет системе открывать структуру без перегрузки вычислительных ресурсов.