Ytelsesmålinger som Apples SunSpider har uten tvil bidratt til å sette nettleseres JavaScript-ytelse i fokus, selv om det lenge har blitt diskutert i hvilken grad gode resultater i slike tester har noe særlig å si for nettleserbrukernes opplevelser til daglig.
Men SunSpider er opprinnelige fra 2007 og nettlesernes JavaScript-ytelse har blitt mange ganger høyere i siden den tid. Google, som står bak nettleseren Chrome, mener derfor at ytelsestester som denne er i ferd med å bli foreldet.
I et blogginnlegg skriver programvareingeniøren Mike Belshe at mange av deltestene som må utføres i SunSpider og andre målinger, nå kan utføres av nettleserne på så kort tid at det ikke lenger er mulig å se hvilken nettleser som er raskest.
– En golfbil og en Tesla vil fullføre et løp på tre meter på nesten samme tid, skriver Belshe og mener at testene derfor må få lenger varighet for å være relevante.
Belshe skriver at tilstanden til Mozillas Kraken-test er bedre, siden den er mer moderne, men at testen ikke har blitt oppdatert for å fjerne en feil som har ført i alle fall Google i feil retning i forbindelse med ytelsesoptimalisering av Chrome.
På grunn av disse svakhetene har Google rett og slett gitt ut egne versjoner av både Kraken og SunSpider. Kraken er basert på kode fra Mozilla som ennå ikke er tatt i bruk av i Mozillas tjeneste, mens Googles SunSpider-utgave er satt opp til kjøre hver av de ordinære deltestene i SunSpider 50 ganger på rad.
Hensikten med det siste er å kunne gjøre nye former for optimalisering.
Microsoft har vist til nettopp SunSpider ved tidligere presentasjoner av ytelsen til Internet Explorer 9. Dette skyldes nok at nettleseren leverer et svært godt, men omdiskutert resultat i denne målingen. Hovedårsaken er forklart her.
I Googlew utgave av SunSpider kan man velge om man skal kjøres noen få eller 50 ganger på rad. I digi.nos høyst uvitenskapelige test ser vi at gjennomsnittstiden Chrome 11 bruker på å utføre alle deltestene én gang reduseres fra 286,9 ms til 212,3 ms når testene kjøres 50 ganger i stedet for noen få. IE9 gjør det svært godt når testene kjøres noen få ganger, bare 264,8 ms, men gjennomsnittstiden betydelig øker når testene blir utført mange ganger – til 294,3 ms.
Vi understreker at det er mange faktorer som kan ha påvirket disse resultatene, og vi har kjørt hver av testene bare to ganger. Vi har ikke testet andre nettlesere, heller ikke de nyeste testversjonene av Internet Explorer og Chrome.
SunSpider og Kraken er på ingen måte de eneste målingene for JavaScript-ytelse. Google har sin egen V8-test, men denne oppdateres jevnlig, slik at tester som ble utført for en måned siden er ikke nødvendigvis gyldige lenger.
Peacekeeper er en ytelsestest, som i motsetning til de øvrige, er levert av et selskap som ikke selv lager nettlesere. Man må i utgangspunktet gå ut fra at både Apple, Mozilla og Google har laget sine egne tester ut fra egne behov og med vekt på områder hvor deres respektive nettlesere har sine sterkere egenskaper.
Les også:
- [22.08.2012] En mer realistisk nettlesertest
- [19.11.2010] IE9-testversjon til topps i ytelsestest
- [15.09.2010] Mozilla med «mer realistisk» nettlesertest
- [20.08.2010] W3C retter søkelyset mot webytelse
- [19.03.2009] Viser betydningen av god JavaScript-ytelse
- [09.09.2008] Raskere nettlesere skaper måleproblemer
