Nvidia's Fugatto 1 kan audio synthetiseren om nieuwe geluiden te creëren

Nvidia heeft een nieuw generatief AI-model getoond dat audio kan synthetiseren door middel van eenvoudige tekstinstructies en contextuele audio-input om unieke geluiden te creëren. Nvidia ziet Fugatto 1 "als een hulpmiddel voor creatieven, waarmee ze snel hun sonische fantasieën en ongehoorde geluiden tot leven kunnen brengen - een instrument voor verbeelding, geen vervanging voor creativiteit."

In de onderzoekspaperzegt het team dat Large Language Models (LLM's) die op tekst getraind zijn, kunnen leren om instructies uit inputs af te leiden, maar dat LLM's die puur op audio getraind zijn, dat niet kunnen. Audio heeft geen gegevens die laten zien hoe het is gemaakt.

Fugatto 1 van Nvidia gebruikt een gespecialiseerde dataset die uit een breed scala aan geluiden put en een methode voor het begrijpen en besturen van instructies genaamd ComposeableART. Hierdoor kan het model een opkomende dataset creëren die het model kan helpen om verschillende geluiden te combineren, zelfs geluiden waar het niet voor getraind is.

Nvidia heeft een paar voorbeelden van het model in actie laten zien op Fugatto's Github-paginazoals de mogelijkheid om het geluid van een blaffende hond te synthetiseren met elektronische dansmuziek, een typemachine die elke getypte letter fluistert en zelfs een saxofoon die miauwt of blaft.

Tot nu toe heeft Nvidia geen plannen om het model publiekelijk vrij te geven.