Ant Group traint AI-modellen op Chinese chips, waardoor de kosten met 20 procent dalen

Jack Ma's fintech-krachtcentrale heeft chips van eigen bodem gebruikt van Alibaba en Huawei om AI-modellen te trainen die lijken te wedijveren met de H800 GPU's van Nvidia.

Volgens mensen met kennis van zaken heeft Ant Group een manier gevonden om AI-modellen te trainen op in China geproduceerde halfgeleiders, waardoor de kosten met ongeveer 20 procent dalen in vergelijking met conventionele methoden.

Insiders zeggen dat de resultaten van Ant gunstig afsteken bij de H800-chips van Nvidia Corp., die momenteel niet beschikbaar zijn voor Chinese bedrijven vanwege Amerikaanse exportcontroles. Hoewel Ant nog steeds Nvidia-hardware gebruikt voor een deel van zijn AI-werk, legt het bedrijf nu naar verluidt meer nadruk op AMD-processors en Chinese alternatieven voor zijn nieuwste modellen.

Ant heeft deze maand een onderzoeksrapport gepubliceerd waarin wordt beweerd dat de Ling-Plus en Ling-Lite modellen zelfs beter zijn dan Meta Platforms Inc. in bepaalde benchmarks. Als deze bevindingen kloppen, kunnen deze systemen een grote sprong voorwaarts betekenen voor Chinese AI door de kosten voor het trainen en uitrollen van AI-diensten drastisch te verlagen.

In het artikel wordt opgemerkt dat het gebruik van krachtige hardware om 1 biljoen tokens te trainen ruwweg 6,35 miljoen yuan (ongeveer $880.000) kost. Maar met de geoptimaliseerde aanpak van het bedrijf en apparatuur met lagere specificaties daalt dat cijfer naar ongeveer 5,1 miljoen yuan (ongeveer $700.000). Voor degenen die het niet weten: tokens zijn in wezen de informatie-eenheden die door deze modellen worden gebruikt om te leren en output te produceren.

Ant is van plan om deze AI-modellen te gebruiken voor toepassingen in de gezondheidszorg en de financiële sector. Eerder dit jaar nam het het Chinese online platform Haodf.com over om zijn op gezondheidszorg gerichte AI-diensten te versterken. Ant heeft ook een AI "levensassistent" app genaamd Zhixiaobao en een AI hulpmiddel voor financieel advies genaamd Maxiaocai.

Beide Ling-modellen zijn open source: Ling-Lite bevat 16,8 miljard parameters, terwijl Ling-Plus 290 miljard parameters bevat. Hoewel dit forse cijfers zijn, zijn ze nog steeds kleiner dan enkele andere grote AI-modellen-experts schatten dat GPT-4.5 op ongeveer 1,8 biljoen parameters zit en DeepSeek-R1 op 671 miljard.

Ant erkent dat er wat hobbels in de weg zitten, met name wat betreft de stabiliteit tijdens het trainen. In het onderzoeksverslag werd opgemerkt dat kleine veranderingen in de hardware of het modelontwerp soms grote pieken in de foutpercentages veroorzaakten.