Cómo Netflix atribuye con prec... Nota

Cómo Netflix atribuye con precisión los registros de flujo eBPF

Netflix utiliza eBPF para capturar registros de flujo TCP a gran escala para obtener conocimientos de red mejorados, pero atribuir con precisión las direcciones IP de flujo a identidades de carga de trabajo fue un desafío significativo. El enfoque de atribución inicial se basó en Sonar, un servicio interno de seguimiento de direcciones IP, pero llevó a una mala atribución debido a retrasos y fallos en sistemas distribuidos. La mala atribución hizo que los datos de flujo fueran poco fiables para la toma de decisiones, y una solución alternativa de retener los flujos recibidos durante 15 minutos antes de la atribución no eliminó el problema. Para resolver este problema, Netflix desarrolló un nuevo método de atribución que atribuye direcciones IP locales determinando la identidad de la carga de trabajo local desde su entorno. Para las cargas de trabajo de contenedores, Netflix aprovechó IPMan, un servicio de asignación de direcciones IP de contenedores, para atribuir direcciones IP locales. Una vez que se atribuyen las direcciones IP locales, las direcciones IP remotas se pueden atribuir aprendiendo los rangos de tiempo durante los cuales cada carga de trabajo posee una dirección IP determinada. FlowCollector mantiene un mapa de hash en memoria para representar este conocimiento y comparte los rangos de tiempo aprendidos con otros nodos utilizando Kafka. El nuevo método logra una atribución precisa y maneja los problemas transitorios de manera elegante, y también es rentable debido a su simplicidad y búsquedas en memoria. El método se extiende para atribuir direcciones IP entre regiones transfiriendo flujos a nodos en la región correspondiente. Finalmente, el método se extiende aún más para atribuir direcciones IP no pertenecientes a cargas de trabajo, como las que pertenecen a la red de entrega de contenido de Netflix.
CdXz5zHNQW_ODQpwXb03K.png