Microsoft har avslöjat att de arbetar med ett nytt "planetärt" schemaläggningssystem för AI-arbetsbelastningar, kallat Singularity.
Som förklaras i en vitbok publicerad av företaget är Singularity en "ny arbetsbelastningsmedveten schemaläggare som kan förutse och elastiskt skala djupinlärningsarbetsbelastningar för att driva högt utnyttjande utan att påverka deras noggrannhet eller prestanda." genom en allmän känsla av AI-acceleratorer."
I icke-tekniska termer innebär detta att systemet är designat för att hjälpa till att säkerställa att företagets globala nätverk av serverhårdvara utnyttjas optimalt och därigenom minska kostnaderna för att köra AI-arbetsbelastningar.
microsoft unika
Kärnan i Singularitys värdeerbjudande är förmågan att skala jobb mitt i strömmen, samt flytta dem mellan olika anläggningar runt om i världen.
Som förklaras i dokumentet kan ett livejobb migreras till ett annat kluster eller datacenter och återupptas precis där det slutade, vilket optimerar kapacitetsutnyttjandet. Den kan också skalas upp eller ned elastiskt, med ett varierande antal och typ av AI-acceleratorer efter behov.
Det fina med detta system, enligt Microsoft, är att det inte kräver något extra arbete från utvecklarnas sida, eftersom inga kodändringar krävs för att få Singularity att fungera.
Men för att allt detta skulle vara möjligt var Microsoft tvungen att hitta ett sätt att frikoppla arbetsbelastningar från hårdvaruresurser. Den nya lösningen använder något företaget kallar en "device proxy", som körs i sitt eget adressutrymme och etablerar ett separationslager som möjliggör sömlös omfördelning av resurser.
"Singularity gör ett betydande framsteg när det gäller att planera djupinlärningsarbetsbelastningar, och förvandlar nischfunktioner som elasticitet till vanliga funktioner som alltid är på som schemaläggaren kan lita på för att upprätthålla strikta SLA," skrev Microsoft i sin sammanfattning. .
"Med nya mekanismer som gör omodifierade uppgifter prioriterade och storleksändringsbara med försumbar prestandakostnader, möjliggör Singularity oöverträffade nivåer av arbetsbelastningsfungibilitet, vilket gör att uppgifter kan dra fördel av tillgänglig kapacitet var som helst i nätverket. globalt distribuerad flotta.
Även om schemaläggningstjänsten är artikelns huvudfokus, konstaterar författarna att systemet är designat för att skalas med en flotta på hundratusentals GPU:er och andra AI-acceleratorer.
TechRadar Pro frågade Microsoft när de förväntar sig att Singularity ska vara kommersiellt tillgänglig.
