Glasens Blog

So, wie schon angekündigt, folgt hier der erweiterte Vergleich der Distributionen. Einen herzlichen Dank möchte ich Johann Wawrik aussprechen, der mir ganz unbürokratisch seine externe Festplatte ausgeliehen hat. Ohne diese hätte ich den Test nicht in diesem Umfang durchführen können, da ich alle meine persönlichen Daten irgendwo sichern musste.

Ich habe versucht die Benchmarks so realitätsnah wie möglich zu halten. So habe ich nicht direkt auf die im ersten Test verwendeten Tests der Phoronix-Suite zurückgegriffen, sondern habe die vorher benutzten Tests der Suite auf die Verwendung der distributionseigenen Programme angepasst. Der Grund ist einfach, das die Test-Suite fast alle Testprogramme selbst kompiliert und diese dann nicht den Optimierungsgrad einer Distribution widerspiegeln. Die normale Vorgehensweise der Test-Suite mag Sinn ergeben, wenn man unterschiedliche Hardware unter der gleichen Distribution auf ihre Leistungsfähigkeit testen will, macht aber weniger Sinn wenn man die verschiedenen Distributionen auf der gleichen Hardware miteinander vergleichen will.

Zusätzlich habe ich versucht die Tests an die alltägliche Arbeit eines durchschnittlichen Benutzers anzupassen, d.h. es wurden nur Tests durchgeführt die einer wirklichen Benutzung eines Computers entsprechen. Synthetische Benchmarks wie Dhrystone mögen ja toll sein, nur spiegeln sie in den allerwenigsten Fällen auch die Realität wieder. Das Komprimieren einer großen Datei mit gzip bzw. bzip2 oder das Erstellen einer MP3-Datei aus einer WAV-Datei sind da schon wesentlich realitätsnäher und entsprechen im Großen und Ganzen dem was ein Durchschnittsbenutzer mit seinem Computer macht.
Natürlich ging es nicht ganz ohne synthetische Benchmarks. So habe ich z.B. den SunSpider-Benchmark benutzt um herauszufinden ob Firefox unterschiedlich schnell unter den verschiedenen Distributionen ist. Eine genaue Beschreibung aller Tests findet sich im weiteren Verlauf des Artikels.

Ich weiß das meine Vorgehensweise dem einen oder anderen ungewöhnlich oder befremdlich vorkommen mag, sie erlaubt aber einen alltagsnahen Vergleich der Distributionen. Läuft z.B. “oggenc” auf einer Distribution 5% schneller als auf einer anderen, hat man davon einen größeren Nutzen, als wenn man weiß das “RAMspeed” 5% mehr Durchsatz anzeigt. Letzteres lässt sich nämlich nicht ohne weiteres in reale Werte ummünzen, da kaum ein Benutzer wirklich weiß welchen Einfluss  die Geschwindigkeit seines RAMs auf die Gesamtgeschwindigkeit des Systems hat.

An den Stellen an denen ich auf synthetische Benchmarks zurückgegriffen habe (Im Speziellen Sunspider), blieb mir keine andere Wahl, da es sonst kaum einen Weg gibt die Geschwindigkeit eines Browsers zu messen.

Verwendete Hardware

Die Hardware entspricht dem vorangegangenen Test :

Notebook Dell Latitude D505 mit folgender Aussattung:

• P-Mobile 1,7GHz
• 2GB DDR-RAM (333 MHz)
• Samsung HM160HC (160GB)
• Chipsatzgrafik Intel 855GM
• Display mit 1400×1050 Bildpunkten Auflösung

Verwendete Distributionen

Ich habe die folgenden Distributionen in ihrer aktuellen Version benutzt. Die Distributionen waren mit den, zum Testlauf, aktuellsten Patches versorgt.

• Archlinux
• Fedora 10
• Mandriva 2009
• OpenSuSE 11.1
• Sidux 2008-04
• Ubuntu 8.10

Die Distributionen wurden, soweit möglich, in ihrer Standardinstallation benutzt (Ausnahme Archlinux, siehe weitere Beschreibung), d.h. es wurden keine Optimierung durch das Abschalten von Diensten oder durch Deinstallation nicht benötigter Features durchgeführt (z.B. Bluetooth). Dort wo GNOME oder KDE als Auswahl zur Verfügung standen, wurde GNOME gewählt. Da Sidux nur KDE anbietet, wurde dieses benutzt und alle notwendigen GTK+ bzw. GNOME-Bibliotheken nachinstalliert. Zusätzlich wurden noch die Pakete nachinstalliert, die für die Ausführung der Benchmarks notwendig waren (z.B. “oggenc”)

Die große Ausnahme in diesem Vergleich stellt Archlinux dar, da dieses nur eine Minimalinstallation anbietet, welche vom Benutzer dann selbst in ein brauchbares System verwandelt werden muss. Ich habe mich hier ans Wiki von Archlinux gehalten und mit Hilfe dieses eine GNOME-Installation aufgesetzt. Diese ist im Vergleich zu den anderen Distributionen nur rudimentär, d.h. man darf die Bootzeit nicht direkt mit den anderen Distributionen vergleichen.

Beschreibung der einzelnen Tests

Es wurden verschiedene Tests durchgeführt die, wie oben schon angesprochen, in den meisten Fällen dem normalen Benutzungsprofil eines Anwenders entsprechen. Jeder Test besteht aus einer unterschiedlichen Anzahl vom Durchgängen, aus dem dann das Endergebnis gemittelt wird. Es wurde versucht unter allen Distributionen möglichst die Distributions-eigenen Versionen der Programme für die Testläufe zu benutzen. Wo dies mangels eines Fehlers nicht möglich war, wurde die PTS-eigene Version des Programms benutzt (Siehe auch Bemerkungen unterhalb der Tabelle). Ein TAR-Archiv mit meinen Test-Profilen kann man hier herunterladen :

Profile für die Phoronix-Test-Suite (26.02.09 Korrigierte Version des TAR-Archivs)

Die Datei muss in den Ordner “~/.phoronix-test-suite” entpackt werden. Die Namen der Profile entsprechen den Namen der XML-Dateien.

MP3 -und OGG-Enkodierung

Abgewandeltes Testprofil der Phoronix-Test-Suite. Es wurde die distributionseigene Version von “lame” und “oggenc” benutzt.

Video-Kodierung

Abgewandeltes Testprofil der Phoronix-Test-Suite. Es wurde die distributionseigene Version von “ffmpeg” benutzt.

OpenSSL

Abgewandeltes Testprofil der Phoronix-Test-Suite. Es wurde die distributionseigene Version von “lame” und “openssl” benutzt.

Datei mit gnupg verschlüsseln

Abgewandeltes Testprofil der Phoronix-Test-Suite. Es wurde die distributionseigene Version von “gnupg” benutzt.

gzip-Komprimierung

Es wurde das Testprofil der Phoronix-Test-Suite benutzt.

Gtkperf-Benchmark

Es wurde die Zeichengeschwindigkeit des Gtk-Themes “Clearlooks” (Murrine-Version nicht “ClearLooksClassic”) gemessen. Die Anzahl der Testläufe innerhalb des Benchmarks betrug 1000 (Siehe auch den Artikel über den Themevergleich). Das Fenster des Benchmarks wurde auf seiner Standardgröße belassen.

OpenGL-Benchmark

Es wurde die Geschwindigkeit von X11 bzw. des OpenGL-Systems mit Hilfe des Spiels “OpenArena” gemessen. Es wurde das Testprofil aus der Phoronix-Test-Suite benutzt. Als Auflösung wurde “640×480″ gewählt, da diese die einzig wirklich praktikable Auflösung für die benutzte Hardware darstellt.

SunSpider-Javascript-Benchmark

Es wurde der SunSpider-Test unter Firefox 3  bzw. Iceweasel ausgeführt. Der Test besteht aus jeweils einem Testlauf, da SunSpider schon mehrere Testläufe ausführt und deren gemitteltes Ergebnis ausgibt.

Bootzeit

Es wurde die Ladezeit der Distribution bis zum vollständig geladenen Desktop gemessen. Es wurde das Autologin unter GDM bzw. KDM aktiviert. Die Messung wurde mit dem Betätigen der Eingabetaste im Grub-Bootloader begonnen, das Ende der Messung war das letzte dauerhafte Aufblinken der HDD-Led am Notebook.

Ursprünglich war noch ein Benchmark mit “bonnie++” in der Liste enthalten, da dieser aber in der Phoronix-Test-Suite 1.6 nicht mehr enthalten ist und zudem unter Version 1.4.2 keine Ergebnisse während eines “batch-run” abspeicherte, hab ich ihn komplett weggelassen.

Vergleichstabelle mit den Ergebnissen

In der Tabelle sind die Ergebnisse der Testläufe zu finden. In der ersten Spalte einer Distribution sind jeweils die gemittelten Werte der jeweiligen Testprofile zu finden, in der zweiten Spalte jeweils der Range oder zu Deutsch die Spannweite der Messwerte (Differenz zwischen kleinstem und größtem Wert). Zusätzlich kann man unter den beiden folgenden Links die unter Tabelle im ODF-Format und eine weitere Tabelle mit allen Einzelergebnissen herunterladen :

Tabelle des Distributionsvergleich

Tabelle mit allen Einzelergebnissen

Mandriva 2009.0

Fedora 10

Sidux

OpenSuSE 11.1

ArchLinux

Ubuntu 8.10

ø

RANGE

ø

RANGE

ø

RANGE

ø

RANGE

ø

RANGE

ø

RANGE

LAME

68,13s

0,79s

75,33s

0,85s

70,97s

1,21s

74,44s

0,64s

64,21s

0,42s

70,36s

1,59s

OGGenc

47,32s

0,16s

49,10s

0,42s

47,92s

0,38s

48,67s

0,40s

47,69s

0,12s

46,98s

0,19s

FFMPEG

46,15s

1,04s

45,32s

0,63s

45,99s

0,51s

44,92s

1,92s

43,86s

0,29s

46,43s

0,72s

OpenSSL

7,70sps

0,00sps

7,50sps

0,20sps

7,65sps

0,10sps

7,75sps

0,10sps

7,80sps

0,00sps

7,55sps

0,10sps

GnuPG

84,36s

5,05s

103,77s

0,96s

100,35s

0,62s

105,19s

2,70s

97,87s

2,22s

103,47s

6,30s

Gzip

175,51s

8,91s

195,91s

0,37s

178,07s

0,95s

198,68s

1,76s

184,02s

67,57s

180,11s

5,34s

GtkPerf

167,30s

0,04s

244,55s

24,62s

304,62s

1,54s

177,51s

0,78s

219,59s

0,67s

200,10s

1,64s

OpenArena

6,67fps

3,40fps

13,10fps

0,00fps

5,60fps

0,00fps

17,20fps

0,00fps

1,00fps

0,00fps

15,47fps

0,10fps

Bootzeit

53s

59s

41s

66s

32s

66s bzw. 59s

Sunspider unter Firefox

5600,6 +/- 2%

5697,6 +/- 2,5%

5484,4ms +/- 1,0%

6766,0ms +/- 1,8%

6165,0ms +/- 3,3%

6398.8ms +/- 2.7%

Bemerkungen :

1. Beagle-Indexdienst unter OpenSuSE 11.1 während der Tests abgeschaltet, da zu großer Einfluss auf die Ergebnisse.

2. Unter Fedora, OpenSuSE und ArchLinux wurde die PTS-Version des FFMpeg-Benchmarks benutzt, da die native Version kein Ergebnis lieferte.

3. Unter OpenSuSE wurde GnuPG in der PTS-Version benutzt, da OpenSuSE die Eingabe eines Schlüssels während der einzelnen Testläufe verlangte.

4. Keine 3D-Beschleunigung in OpenArena unter ArchLinux, obwohl glxinfo und glxgears keine Fehler anzeigten.

5. Bootzeit von Ubuntu mit Compiz, Rest der Tests ohne Compiz, da sonst keine 3D-Beschleunigung möglich. Ohne Compiz Bootzeit von 59s.

Besprechung der Ergebnisse

Wie man in der Tabelle sehen kann, liegen fast alle Ergebnisse recht nahe zusammen. Das lässt sich mehr oder weniger dadurch erklären das die meisten wirklich CPU-lastigen Programme sich nicht allzu sehr auf den Compiler zur Optimierung verlassen, sondern sehr oft auf nackten Assembler-Code zurückgreifen um das Optimum aus dem Rechner herauszuholen. Zusätzlich wird diese Optimierung zur Laufzeit eines Programmes aktiviert um nicht für jeden CPU-Typ eine extra Binärdatei anbieten zu müssen. Was verwundert ist das generell sehr gute Abschneiden von Mandriva in den CPU-lastigen Tests, bzw. das nicht ganz  so gute Abschneiden von ArchLinux. Eigentlich würde man erwarten das Arch durch seine Optimierung auf i686-CPUs allen anderen Distributionen meilenweit voraus ist, das ist aber nur in einem Test der Fall (Gzip-Test, bester Messlauf 161,37s). Das Arch trotzdem so ein schlechtes Ergebnis in diesem Test hat, liegt an einem Ausreißer (228,95s), der in dieser Form nur unter ArchLinux auftrat. Gzip scheint als einziges Programm im Test von einer i686-Optimierung zu profitieren.

Beim Gtkperf-Test war kein echtes Muster zu erkennen, warum eine Distribution nun besser als eine andere abgeschnitten hat. Hier scheint die Mischung aus der Version des verwendeten Xservers, der Treiberversion des Intel-Grafikkartentreibers, EXA bzw. XAA als Render-Beschleunigung und der verwendeten Version von Murrine bzw. der Cairo-Bibliothek das Ergebnis sehr stark zu beinflussen. Was welchen Einfluss hat, ist leider zu komplex um in ein paar Worten beschrieben werden zu können. Es scheint aber so zu sein das Sidux gerade deshalb so schlecht abgeschnitten hat, weil es im Gegensatz zu allen anderen Distributionen noch den Xserver 1.4, dem Intel-Treiber in der Version 2.4, EXA und Murrine in der Version 0.53 und Cairo in der Version 1.6.0 einsetzt. Alle anderen Distributionen dagegen setzen schon modernisierte Versionen der Programme bzw. Bibliotheken ein.

Am OpenArena-Test kann sehr schön den Einfluß der Xserver-Version auf das Endergebnis sehen. Alle Distributionen die einigermaßen brauchbare Frameraten erreichten, benutzen den Xserver in der Version 1.5.x. Alle anderen benutzten noch die ältere Version 1.4.x. Die Unterschiede zwischen Fedora und OpenSuSE bzw. OpenSuSE und Ubuntu lassen sich dann auch sehr leicht an den Versionsnummern der verwendeten Komponenten festmachen :

OpenSuSE und Ubuntu benutzen beide den Xserver in der Version 1.5.2, während Fedora die neuere Version 1.5.3 benutzt. Der Unterschied zwischen OpenSuSE und Ubuntu lässt sich wiederum durch die Versionnummer des Grafiktreibers erklären. OpenSuSE benutzt Version 2.5.0 des Treibers, während Ubuntu die Version 2.4.1 benutzt.

Zur Bootzeit gibt es eigentlich keine neueren Erkenntnisse. Hier liegt erwartungsgemäß Arch weit vor den anderen Distributionen, wobei man Arch außer Konkurrenz werten müsste, da das System nur auch eine halbwegs funktionierende GNOME-Oberfläche getrimmt wurde (So wollte das Automounten eines USB-Sticks nicht funktionieren). Sidux scheint auf Grund eines Updates (?) etwas langsamer zu booten als im letzten Test, liegt aber immer noch weit vor den restlichen Distributionen. Die restlichen Distributionen liegen alle sehr nahe zusammen. Mal sehen was sich in den nächsten Monaten noch so alles in dieser Richtung tut, da sich alle großen Distributionen die Verbesserung der Bootzeit auf die Fahnen geschrieben haben.

Am meisten erstaunt haben mich die Ergebnisse des Sunspider-Tests. So sollte man eigentlich meinen das ArchLinux auf Grund seiner i686-Optimierung den schnellsten Firefox anbietet, doch die Werte waren ähnlich hoch wie bei Ubuntu 8.10. Und das Sidux den Benchmark am schnellsten absolvierte, verwundert fast ebenso sehr, da Iceweasel bzw. Xulrunner unter Debian mit keinerlei besonderen Optimierungen kompiliert wurde. Ein probeweise durchgeführter Vergleich mit einem “Vanilla” Firefox 3, unter meiner persönlichen Ubuntu-Installation, ergab exakt die gleichen Werte wie die Ubuntu-eigene Version des Firefox. Warum gerade Sidux hier am Schnellsten, kann ich leider nicht nachvollziehen.

Fazit

Der Test enthielt für mich persönlich ein paar Überraschungen. So überraschte mich das sehr gute Abschneiden von Mandriva bzw. das relativ schlechte Abschneiden von ArchLinux. Im Großen und Ganzen liegen die Messwerte aber meistens so nahe zusammen, das es in den allerwenigsten Fällen einen Unterschied macht, welche Distribution man einsetzt.

Wer die Tests auf seiner Hardware und seiner Distribution nachvollziehen möchte, der kann sich die Datei mit den von mir verwendeten Test-Profilen herunterladen.