RSS Netflix TechBlog - Medio Nota

RSS Netflix TechBlog - Medio

El blog de tecnología de Netflix ofrece perspectivas sobre cómo Netflix maneja la tecnología. Proporcionan investigación en ciencia de datos, ingeniería, diseño y innovaciones tecnológicas. Muestran sus innovaciones, como su red de entrega de contenido propietaria, y brindan perspectivas sobre sus esfuerzos para garantizar la confiabilidad del servicio.

Hilo de notas

Cómo Netflix atribuye con precisión los registros de flujo eBPF

Netflix utiliza eBPF para capturar registros de flujo TCP a gran escala para obtener conocimientos de red mejorados, pero atribuir con precisión las direcciones IP de flujo a identidades de carga de trabajo fue un desafío significativo. El enfoque de atribución inicial se basó en Sonar, un servicio interno de seguimiento de direcciones IP, pero llevó a una mala atribución debido a retrasos y fallos en sistemas distribuidos. La mala atribución hizo que los datos de flujo fueran poco fiables para la toma de decisiones, y una solución alternativa de retener los flujos recibidos durante 15 minutos antes de la atribución no eliminó el problema. Para resolver este problema, Netflix desarrolló un nuevo método de atribución que atribuye direcciones IP locales determinando la identidad de la carga de trabajo local desde su entorno. Para las cargas de trabajo de contenedores, Netflix aprovechó IPMan, un servicio de asignación de direcciones IP de contenedores, para atribuir direcciones IP locales. Una vez que se atribuyen las direcciones IP locales, las direcciones IP remotas se pueden atribuir aprendiendo los rangos de tiempo durante los cuales cada carga de trabajo posee una dirección IP determinada. FlowCollector mantiene un mapa de hash en memoria para representar este conocimiento y comparte los rangos de tiempo aprendidos con otros nodos utilizando Kafka. El nuevo método logra una atribución precisa y maneja los problemas transitorios de manera elegante, y también es rentable debido a su simplicidad y búsquedas en memoria. El método se extiende para atribuir direcciones IP entre regiones transfiriendo flujos a nodos en la región correspondiente. Finalmente, el método se extiende aún más para atribuir direcciones IP no pertenecientes a cargas de trabajo, como las que pertenecen a la red de entrega de contenido de Netflix.
CdXz5zHNQW_ODQpwXb03K.png

La Abstracción de Contador Distribuido de Netflix

La abstracción de contador distribuido de Netflix es un servicio diseñado para almacenar y consultar grandes volúmenes de datos de eventos temporales con latencias de milisegundos muy bajas. Soporta dos categorías principales de casos de uso: Best-Effort (Mejor Esfuerzo) y Eventualmente Consistente. El contador Best-Effort utiliza EVCache para un alto rendimiento y baja latencia dentro de una sola región, pero carece de replicación y garantías de consistencia entre regiones. El contador Eventualmente Consistente utiliza un sistema de cola durable como Apache Kafka para conteos precisos y duraderos, pero puede provocar retrasos y desafíos en el reequilibrio de particiones. El enfoque de Netflix combina la registración de cada actividad de conteo como un evento y la agregación continua de estos eventos para cumplir con los requisitos de auditoría y recuento.