Notebookcheck Logo

Nvidia's DiffUHaul AI-tool kan objecten in afbeeldingen verplaatsen

Nvidia's DiffUHaul AI-model kan objecten in afbeeldingen verplaatsen (Afbeelding Bron: Omri Avrahami op YouTube)
Nvidia's DiffUHaul AI-model kan objecten in afbeeldingen verplaatsen (Afbeelding Bron: Omri Avrahami op YouTube)
Onderzoekers van Nvidia hebben een nieuwe AI-tool ontwikkeld die objecten in afbeeldingen kan verplaatsen. De tool kan de positie van een object in een afbeelding veranderen zonder de achtergrond te beïnvloeden.

Onderzoekers van Nvidia hebben op een artikel gepubliceerd over een nieuw AI-gereedschap, DiffUHaul, dat objecten in een afbeelding kan begrijpen en verplaatsen zonder de grootte of de achtergrond te veranderen. In het artikel staat dat het gereedschap "het ruimtelijk inzicht van een gelokaliseerd tekst-naar-beeld model gebruikt voor het slepen van objecten"

Huidige tekst-naar-beeld modellen hebben moeite met complexe beeldbewerkingstaken omdat ze "ruimtelijk redeneren" missen DiffuHaul lost dit probleem op door dit in het model in te bouwen, zodat het objecten in een afbeelding kan volgen en ze "naadloos" kan verplaatsen zonder iets anders te veranderen.

Om dit te bereiken, maskeert het hulpmiddel het object tijdens de denoisingstappen, zodat het de locatie ervan kan begrijpen en het kan scheiden van de achtergrond. Vervolgens interpoleert het het verschil tussen de originele en de gegenereerde afbeelding om het object op een nieuwe positie te plaatsen zonder de achtergrond te raken. Daarna worden fijnere details en kenmerken van de originele afbeelding verplaatst naar de nieuwe afbeelding voor consistentie.

DiffUHaul is gebaseerd op BlobGENeen model dat ruimtelijk inzicht gebruikt om afbeeldingen samen te stellen op basis van complexe aanwijzingen. Het artikel zegt dat het hulpmiddel trainingsvrij is, wat betekent dat het zonder datasets is gemaakt en direct werkt.

Please share our article, every link counts!
Mail Logo
> Overzichten en testrapporten over laptops en mobieltjes > Nieuws > Nieuws Archief > Nieuws archieven 2024 12 > Nvidia's DiffUHaul AI-tool kan objecten in afbeeldingen verplaatsen
Rohith Bhaskar, 2024-12- 3 (Update: 2024-12- 3)