Glasens Blog

Dieser Artikel entstand auf Grund mehrerer Diskussionen bei ubuntuusers.de. Vor allem der Thread mit dem Titel “Ist Ubuntu in einer Sackgasse!” war eine der Hauptinspirationsquellen für diesen und noch weitere kommende Artikel.

Bevor ich überhaupt irgendwelche Ergebnisse präsentiere, möchte ich an dieser Stelle noch ein paar wichtige Anmerkungen anbringen :

1. Es ist mir durchaus bewusst das ich mich einigen Anfeindungen aussetze, wenn ich einen solchen Artikel online stelle. Es gibt einige Menschen da draußen, die es gar nicht gerne sehen, wenn ihre bevorzugte Lieblingsdistribution schlechter dasteht als sie es erwarten. Schnell werden dann Vorwürfe laut, die einen der Parteiname bezichtigen und/oder das die Tests nicht korrekt abgelaufen seien, da man andere Ergebnisse gelesen hätte, welche die persönliche Meinung bestätigen. Um diese Vorwürfe von vornherein zu entkräften,  habe ich versucht einen möglichst fairen Vergleich zu machen. Wenn ich von meiner vorgegebenen Verfahrungsweise abweichen musste, habe ich dieses entsprechend protokolliert und habe die Gründe für die Abweichung im weiteren Verlauf des Artikels auch entsprechend erklärt.
2. Es wurden bewusst nur Distributionen ausgewählt, welche einen vollständigen Desktop installieren. Ich habe zwar mit dem Gedanken gespielt auch Archlinux mit in den Vergleich aufzunehmen, habe diese Idee aber aus dem Grund wieder verworfen, da Arch im Gegensatz zu den anderen Distributionen keine Vorinstallation eines standardisierten Desktops anbietet und es mehrere Stunden gedauert hätte einen, mit den anderen Distributionen vergleichbaren, Desktop aufzusetzen. Zudem wollte Archlinux nach dem Update meiner Probeinstallation nicht mehr booten (Fehlermeldung in Grub) und ich hatte keine Lust bzw. keine Zeit diesen Fehler zu suchen und ihn auszubügeln. Vor dem Update wollte Arch noch, nach dem Update nicht mehr. Wenn ich die Zeit finde, werde ich Arch nochmal eine Chance geben. Falls sich jemand fragt wo OpenSuSE zu finden ist : Mea culpa, erst nachdem ich mein System wieder in den Ursprungszustand versetzt hatte, ist mir dessen Fehlen aufgefallen.
3. Ich habe versucht alle möglichen Fehlerquellen im Voraus auszuschließen. Ich kann natürlich nicht 100% sicher sein das ich keine Fehler gemacht habe, nur habe ich versucht offensichtliche Fehler zu vermeiden. Falls mir ein Ergebnis nicht plausibel vorkam, habe ich den Test sicherheitshalber noch dem Überprüfen des Systems wiederholt.
4. Der wichtigste Punkt : Alle Tests wurden jeweils mit der Standardinstallation der Distribution durchgeführt. Es wurden keine Dienste abgeschaltet oder sonst irgendwelche Optimierungen durchgeführt.

Nach dieser allgemeinen Einleitung, nun die eigentliche Beschreibung meines Vergleichs.

Für die Tests wurde ein Notebook “Dell Latitude D505″ mit folgender Ausstattung benutzt :

• P-Mobile 1,7GHz
• 2GB DDR-RAM (333 MHz)
• Samsung HM160HC (160GB)
• Chipsatzgrafik Intel 855GM
• Display mit 1400×1050 Bildpunkten Auflösung

Die Festplatte war in zwei Partitionen unterteilt :

• 1.Partition mit 16GiBi (Root)
• 2. Partition mit 132GiBi (Home)

Die Unterteilung habe ich von meiner ursprünglichen Ubuntu-Installation übernommen. Alle Distributionen wurden in der ersten Partition installiert, wobei die zweite Partition bei allen Distributionen als Benchmark-Partition für die Tests verwendet wurde (Ausnahme OpenSolaris). Der Grund dafür ist das ich kein passendes Backupmedium besitze auf welche alle meine Daten passen würden. Man möge mir diese Tatsache verzeihen, auf die tatsächlichen Ergebnisse hatte diese Unterteilung aber keine größeren Auswirkungen (Näheres siehe Auswertung der Ergebnisse).

Für die Test wurden folgende Distributionen herangezogen :

1. Fedora 10 (GNOME)
2. Sidux 2008.04 (KDE)
3. Ubuntu 8.10 (GNOME)
4. OpenSolaris 2008.11 (GNOME)

Alle Distributionen wurden mit allen aktuellen Updates versorgt. Im Falle von Sidux bedeutet dies, das an Stelle des Kernel 2.6.27 der aktuellere Kernel 2.6.28 einsetzt wurde.

Durchführung der Testreihen :

Jede Distribution wurde von ihrer Live-CD auf die erste Partition installiert, welche jedesmal formatiert wurde. Die zweite Partition wurde als Home-Verzeichnis eingebunden, auf welcher dann die Tests durchgeführt wurden. Es wurde jedesmal ein frischer Benutzer namens “test” eingerichtet. Dieser wurde vor jeder neuen Installation gelöscht, damit keine Benutzerdaten einer alten Installation die neue Installation durcheinander bringen konnte.

Alle Distributionen wurden nur mit den aktuellsten Upgrades und  den für die Benchmark-Suite notwendigen Paketen versorgt. Alles andere wurde nicht angetastet (sprich keine Optimierung durch Abschalten von Diensten, Compiz, etc.).

Folgende Tests (soweit möglich) wurden mit jeder Distribution durchgeführt (PDF-Version der Tabelle)

	Fedora 10	Sidux 2008.04	Ubuntu 8.10	OpenSolaris 2008.11
Bootzeit (in s)	60	36	66³	62
compress-gzip (in s)	195,34	178,29	179,7	192,95
compress-7zip (MIPS)	1216,66	1227	1215,66	1228,33
encode-mp3 (in s)	76,16	74,76	75,45	72,83
encode-ogg (in s)	48,18	45,92	46,72	62,05
ffmpeg (in s)	45,91	43,66	44,09	-¹
openssl (Signs/s)	7,42	7,77	7,6	4,2²
scimark2 composite (Mflops)	173,79	167,07	175,47	172,11
gtkperf (in s)	28,8	37,09	40,08³	28,65²
bonnie++ Random Read	36519	52582	50031	60593
bonnie++ Random Create	30684	31912	31195	54556
bonnie++ Seq. Read	45173	45782	43894	45945
bonnie++ Seq. Create	27568	28441	28437	30377

¹ Nicht unterstützt unter OpenSolaris

² Native Version, da Phoronix-Version keine Ergebnisse lieferte

³ Gemessen mit aktiviertem Compiz. Ohne Compiz Bootzeit 58s, Gtkperf 18,66s

Einheit der bonnie++-Werte – Ops/s (Operations per second)

Anmerkungen zu den Ergebnissen :

1. Die Vorgehensweise war bei allen Distributionen gleich : Installation, Updates einspielen, Neustart, Neustart, Autologin aktivieren, Neustart, Testen ob alles korrekt funktioniert und nirgends Probleme auftauchen, Neustart, dreimalige Messung der Bootzeit, Durchführung der einzelnen Benchmarks aus der Testsuite.
2. Die Messung der Bootzeit des installierten Systems wurde bis zum vollständig geladenen Desktop durchgeführt. Es wurde bei allen Distributionen das Autologin aktiviert. Jeder Messvorgang wurde erst dann gestoppt, wenn die Festplatten-LED des Notebooks keine Aktivität mehr anzeigte und alle Elemente des Desktops vollständig geladen waren. Unter Ubuntu 8.10 wurde der Bootzeit-Test zweimal durchgeführt. Einmal mit und einmal ohne aktiviertes Compiz. Diesen Schritt habe ich gemacht, da außer Ubuntu keine andere Distribution einen Compositing-Manager nach der Installation aktiviert hatte und ich vergleichbare Zahlen für alle Distributionen anbieten wollte. In der Spalte für Ubuntu finden sich aber die Zahlen mit aktiviertem Compiz.
3. Es wurden verschiedene, vor allem CPU-lastige, Benchmarks aus der Phoronix-Test-Suite verwendet. Die genaue Beschreibung der einzelnen Tests findet sich auf der Homepage der Test-Suite. Es wurde die letzte stabile Version (1.4.2) der Benchmark-Suite eingesetzt. Ursprünglich war noch der Test “mencoder” enthalten, da dieser aber nur unter Sidux fehlerfrei durchlief, habe ich ihn am Ende weggelassen.
4. Mangels einer vernünftigen 3D-Hardware habe ich keinerlei OpenGL-Benchmarks ausgeführt.
5. Der “gtkperf”-Test wurde unter allen Distributionen identisch durchgeführt. Es wurde nicht der vorgegebene Test der Phoronix-Test-Suite eingesetzt, da dieser eine Laufzeit von mehreren Minuten pro Einzeltest hat und man auch keine aussagekräftigeren Ergebnisse als bei einem Kurztest erhält. Es wurde aber die erstellte Binärdatei der Test-Suitde benutzt. Unter OpenSolaris musste “gtkperf” aus den systemeigenen Paketquellen nachinstalliert werden, da das Kompilieren des Tests fehlschlug. Es wurde unter allen Distributionen “Clearlooks” als GTK-Theme ausgewählt, das Fenster maximiert und danach auf Start gedrückt. Die vorgegebenen 100 Durchläufe pro Einzeltest wurden nicht verändert.
6. Wie beim “gtkperf”-Test wurde unter OpenSolaris die Binärdatei für den “openssl”-Test nicht erstellt. Um trotzdem ein Ergebnis zu erhalten wurde die Binärdatei von OpenSolaris mit den gleichen Parametern wie beim Phoronix-Test aufgerufen.
7. Alle Tests liefen auf der zweiten Partition (Ausnahme OpenSolaris). Hier wurde, wegen der fehlenden Schreibmöglichkeit auf ext3-Partitionen und des gewollten Tests des ZFS-Dateisystems, die erste Partition ausgewählt.

Auswertung der Testergebnisse :

Sieht man von einzelnen Ausreißern ab, liegen alle getesteten Distributionen bei den Ergebnissen nahe zusammen. Das weit verbreitete Gerücht das Sidux innerhalb von 15 Sekunden bootet, stimmt nur insofern, das damit wohl die Bootzeit bis zum Loginbildschirm des Systems gemeint ist. Nimmt man den ganzen Desktop als Maßstab sind es aber immer noch sehr gute 36s. Das ist fast doppelt so schnell wie bei allen anderen Systemen. Die anderen drei Systeme schenken sich aber hinsichtlich ihrer Bootzeit nichts, da sie fast gleichauf liegen (ungefähr 1 Minute). Vor allem OpenSolaris hat mich persönlich mit seiner Bootzeit positiv überrascht, da ich die Bootzeit von Solaris 10 kenne und dieses nicht gerade mit Formel1-Tempo glänzt.

Vergleicht man alle anderen Ergebnisse miteinander, stellt man fest das sich vor allem Ubuntu und Sidux wie ein Ei dem Anderen gleichen. Das minimal bessere Abschneiden von Sidux lässt sich am Ehesten mit dem aktuelleren Kernel erklären, aber der Unterschied ist trotzdem nur minimal (<1%). Fedora scheint generell etwas langsamer als Ubuntu 8.10 und Sidux zu sein. OpenSolaris leistet sich einen Ausrutscher bei Ogg-Encoding, ansonsten liegt es aber in der Größenordnung von Fedora. Wo OpenSolaris deutlich punkten kann, ist beim Dateisystemtest “bonnie++”. Hier merkt man sehr deutlich die technologische Überlegenheit von ZFS.

Was mich persönlich verwunderte war das sehr schlechte Abschneiden von Sidux beim Gtkperf-Test. Zwar lag Ubuntu mit aktiviertem Compiz hinter Sidux, mit deaktiviertem Compiz lief der Test unter Ubuntu aber um 10s schneller als unter Fedora 10 und OpenSolaris und mehr als doppelt so schnell als unter Sidux durch. Da Sidux von sich aus keinen Compositing-Manager aktiviert, der KDE-Desktop sich völlig normal anfühlte und sich ansonsten auch keinen Ausreißer erlaubte, kann ich mir dieses Ergebnis nur mit den verschiedenen Versionen des Grafiktreibers für den Intelchipsatz (Sidux 2.3, Ubuntu 2.4, Rest 2.5) erklären. Hier scheint die Version 2.4 schneller als alle anderen eingesetzten Versionen zu sein.

Zu OpenSolaris hätte ich noch zu anzumerken, das dieses auf meinem Notebook stellenweise sehr zäh anfühlte. Vor allem Firefox reagierte mehr als nur träge auf Benutzereingaben. Die Reaktions -und Zeichengeschwindigkeit der grafischen Oberfläche lies immer dann nach, wenn ein Zugriff auf die Festplatte stattfand, egal ob lesend oder schreibend. Das kenne ich zwar auch von anderen Systemen, aber so ausgeprägt wie bei OpenSolaris habe ich diesen Effekt noch nie erlebt. Einen Einfluß auf die Messergebnisse hatte dieses Phänomen aber nicht, der während der Durchführung der Messungen der Rechner nicht benutzt wurde.

Fazit :

Wie man an den Ergebnissen sehr deutlich erkennen kann, liegen alle Distributionen nahe beieinander. Keine Einzige kann sich in allen Tests von den anderen Distributionen absetzen. Sidux liegt zwar in vielen Fällen vorne, der Abstand zu den anderen Distributionen ist aber meistens so klein (vor allem Ubuntu), das er in der Praxis keine Rolle spielt.

Falls mir mein Nachbar seine 250GB-USB-Festplatte ausleiht, werde ich einen in den nächsten Wochen einen erweiterten Benchmark durchführen. Das heißt ich werde zusätzlich noch Archlinux, OpenSuSE, Mandriva und Debian in die Liste mit aufnehmen und vor allem die gesamte Festplatte benutzen. Zudem werde ich mich noch ein wenig tiefer mit der Phoronix-Test-Suite beschäftigen um einen automatisierten Testlauf für jede Distribution hinzubekommen und die Fehler bei den Einzeltests auszumerzen. Auch die Anzahl der eingesetzten Tests werde ich erweitern, damit von jedem Gebiet (CPU, FPU, 2D-Grafik, Java, Javascript, HDD) mehrere Tests vorhanden sind. Das sollte dann einen guten Überblick über alle Distributionen bieten.

glasen