Любая система, которая получает данные из чужого API, в конечном итоге создает опросчик. Он начинается с пятнадцати строк в cron-задаче: обратиться к конечной точке, сравнить с последней временной меткой, вставить новое. Это работает немедленно, в этом и проблема — оно продолжает работать, даже когда уже начало терять записи.Я поддерживаю уровень приема данных, который непрерывно опрашивает общедоступные API обсуждений, и разрыв между "опросчик работает" и "опросчик корректен" закрывался значительно дольше, чем я ожидал. Далее описаны четыре режима сбоя, которые привели к реальной потере данных, и шаблоны, которые их исправили.