Bings nya chattläge GPT-4 har visat sin potential som Xbox-spelguideförfattare, men det ser ut som att det är en lång väg kvar att gå innan det konkurrerar med riktiga mänskliga författare.
Även om det för närvarande är okänt om det nya Bing AI-chattläget kommer att komma till Xbox Series X, är programvaran nu tillgänglig som en förhandsvisning för dem som ansluter sig till en väntelista. Enligt Xbox Wire-redaktören Mike Nelson, "kan han massor om videospel." Detta testades på ett sätt som beskriver både potentialen och några problem som kan uppstå när en algoritm för kontinuerlig inlärning adresserar spelspecifik kunskap.
Detaljerat i det fullständiga pressmeddelandet - öppnas i en ny flik - sidorna som Bing hämtar information från för att försöka svara på frågor du har om några av de bästa Xbox Series X-spelen. Ett särskilt exempel var att be den nya AI-chatt i GPT-4-läget att ger dig en detaljerad sammanfattning av vad som händer under de första 20 timmarna av The Witcher 3: Wild Hunt, hämtat från tio olika inlägg, inklusive vår systersida PC Gamer och olika YouTube-källor.
Även om informationen som presenterades var korrekt under den första halvan av CD Projekt Reds arbete, indikerar bredden av källor, inklusive de från YouTube, exakt hur väl Bings AI kommer att verifiera vad som tillhandahålls.
Alla onlineguider är inte skapade lika, och information om idealiska strategier i spelet kan variera kraftigt. Att kombinera en mängd olika källor som varierar i trovärdighet kommer därför inte alltid att garantera ett korrekt svar.
Vad är det rätta svaret igen?
Min oro sträcker sig till noggrannheten som presenteras i Bing AI GPT-2 chattläge Overwatch 4-frågan. Testmeddelandet frågar: "Vem är den bästa karaktären i Overwatch 2 för mig?" På denna fråga svarar AI:n att det finns totalt 33 karaktärer att välja mellan i spelet med klasser Damage, Tank och Support.
Tyvärr, i skrivande stund finns det faktiskt totalt 36 spelbara karaktärer i spelet, vilket betyder att informationen som dras är inaktuell. Rammatra är den nyaste karaktären och lades till redan i december i säsong 2, vilket innebär att AI:n är cirka tre månader efter.
Av de 10 källorna som citeras verkar det som att GPT-4 hade svårt att avgöra vilket som är det mest aktuella svaret eftersom det ger ett vagt svar: "Du kanske vill göra ett test som matchar din personlighet och dina preferenser med karaktären" istället för att erbjuda genomförbara alternativ baserat på den aktuella meta. Bing kunde producera något som lät bra på ytan men som faktiskt inte svarade på frågan på något vettigt sätt. Han gillade Echo, AI-karaktären, men förklarade ingenting om karaktärens spelstil eller egenheter utanför det.
Detta verkar vara det största problemet när man ställer frågor om Bing-spel och förväntar sig noggrannhet. Med tanke på att YouTube upprepade gånger har citerats som en trovärdig källa, vad hindrar folk från att medvetet sprida felaktig information om ett ämne och sedan anpassa det till AI-kopia?
Det väcker också frågor om hur GPT-4 citerar befintliga webbplatser direkt och hur passande det som sägs är i källmaterialet. Författare ges inte den beröm de förtjänar, och informationen som bifogas deras namn och inlägg kanske inte helt återspeglar den ursprungliga avsikten.