RSS Google KI-Blog
Folgen
Interaktive On-Device-Segmentierung in Snapseed vorgestellt
Selektive Bildanpassungen verbessern Fotos, indem sie gezielte Verbesserungen ermöglichen. Zuvor war die Isolierung von Objekten für die Bearbeitung schwierig, insbesondere auf Mobilgeräten mit unpräzisen Touch-Steuerungen und begrenzter Verarbeitungsleistung. Snapseed für iOS führt nun den Objektpinsel ein, der diese Anpassungen schnell und einfach macht. Mit dem Objektpinsel können Benutzer einfach einen Strich über ein Objekt ziehen, um es für die individuelle Bearbeitung auszuwählen. Diese intuitive Funktion wird von einem On-Device-KI-Modell namens Interactive Segmenter angetrieben. Dieses fortschrittliche Modell kann ganze Objekte oder Personen in weniger als 20 Millisekunden nach einem einfachen Tippen oder dem Nachzeichnen einer Linie erkennen und auswählen. Das Modell generiert eine präzise Maske für das ausgewählte Objekt, die sich an dessen Grenzen anpasst. Das Training des Interactive Segmenter umfasste einen Big Transfer-Ansatz und Knowledge Distillation von einem größeren Lehrer-Modell zu einem kleineren, effizienten Edge-Modell. Dieser Prozess gewährleistet eine qualitativ hochwertige Segmentierung bei gleichzeitiger Echtzeit-Reaktionsfähigkeit. Das System entkoppelt das Bild- und Prompt-Verständnis in separate Untermodelle, um die Segmentierungsqualität mit geringer Latenz auszubalancieren. Schließlich sorgt die Masken-Upsampling in Bildgröße für eine hochauflösende Bearbeitungsqualität für detaillierte Anpassungen.