7 replies to this topic

[tukozaki]

Je commence à monter une série de tests simples pour comparer des OS sur les quelques machines que j'ai (ou qui passent Vi le sujet peut avoir sa place sur un autre sous forum ; mais comme perso, je vais surtout comparer des distros GNU/Linux, et qu'il faut le mettre qlq-part je commence ici.

 

Quoiça ?
Comparer les performances d'OS pour un usage réel et courant à configs matérielles égales.
 - OS : GNU/Linux & Windows
 - usage courant : pour réaliser des opés courantes réelles (benchmark synthétiques? beuurk !) comme naviguer en sécurité (info webmail audio vidéos), écouter de la zic, mater un film (HD), déplacer des fichiers (gros petits, interne stockage amovible), réseau (ssh scp), dé/compresser, compiler, base de données

 - Configs : du netbook asthmatique à ... ∞, avec ± de RAM, en live, installé sur SSD / disque classique / clé USB ou SD Card

 - avec des kernels, systèmes de fichiers et réglages different

 

Bon et c'est quoi les buts ?

• • Mesurer l'impact réel du matériel, de l'OS-distro et des réglages pour des usages réels courants
• • Repérer les goulets d'étranglement (alias bottleneck) : hardware mais aussi OS et réglage
• • Trouver quels OS - distro et réglages sont les meilleurs relativement à une config matérielle
  - par ex. sur une clé USB
  - par ex. sur une machine très limitée Atom, ancienne (AMD, Core 2)
• • Partager les infos et les réglages valables
• • Comparer les résultats avec ceux des fichus benchmarks synthétiques
• • Méthodiser un peu le processus (c'est pas si simple voir les exemples ci-dessous)
• • Pratiquer Bash

 

Les résultats ils sont où ? lol 2" avant, faut voir :

Quelles opés sont testées et mesurées précisément ? post suivant (plus concret).
Quels méthode et outils pour tester ? post suivant. Doivent être reproduisibles cross-OS-distro, faciles et rapides à faire. Là ça devient intéressant pour ceusses qui ont l'esprit logique !

 

Si tu l'as déja fait, ou veux le faire, reste branché-e cousin-e et si tu veux partager un outil, un lien ou un besoin tu es le bienvenu-e.

 

 

 

Inspiration                                                                      

1. Phoronix (ici ou là) pour le tableau des specs, pas pour les benchs genre 'Himeno benchmark', 'C-Ray'... (excepté OpenSSL et le MM)
2. Comparison and Review of Xubuntu vs. Manjaro (Arch)(Xfce) on a Netbook
3. Windows Vs. Linux : Vision d’un utilisateur sur un NetBook - Le blog de p4nd1-p4nd4 bonjour l'objectivité
4. Memory consumption of Linux desktop environments : Méthode et outils utiles, par contre la conso ressources CPU/RAM sans une app ouverte, bof ! À compléter : ... while doing something, whether working or having fun.
5.  Memory usage comparison of DE-s / GNU/Linux Discussion / Arch Linux Forums
6.  Benchmarked: Ubuntu vs Vista vs Windows 7 | TuxRadar Linux

Ce message a été modifié par tukozaki - 20 septembre 2015 - 16:55 .

[tukozaki]

Que tester :

• Opés système : temps de démarrage/arrêt, retour d'hibernation
• Opés fichiers :Combien de temps pour copier ou déplacer gros et petits fichiers (en local, sur support externe)
• Mémoire : utilisée à l'issue du boot, pour chaque app/utilisation, et après la série de test.
• Actions applicatives : Web, Office, Audio, Vidéo, Réseau, Chiffrement, Compresser, Compiler, Serveur. Pour chaque : App - action - fonctionne ? - temps nécessaire - CPU & mémoire utilisé - réactivité.

Récupérer les specs : config matérielle, OS-distro, kernel, partitions, système de fichier, valeur du swapiness.
 
Comment ?
- reproductibles donc
- cross distros (et cross-OS quand c'est possible)
- assez rapides et facile à faire (pour être réalisé et obtenir rapidement les résultats).
 
Plus dans le prochain post. J'ai un chicot cassé d'hier et un autre qui me cause "de sagesse". Ça déconcentre parfois :}
 
Aussi je suis intéressé de lire ce que d'autres ont a dire à ce sujet.

[tukozaki]

J'ai noté les utilisations réelles suivantes comme particulièrement susceptibles de révéler des goulots d'étranglement (matériel, stockage, système de fichier, réglages OS dont tmpfs/RAMdisk, effets 3D etc) :

 

- synchronisation des marque-pages en nombre

- temps de démarage d'une session de surf bien fournie en onglets

- itou pour un client emails "outil de travail principal" (18K emails chez le prés d'une assoce cette semaine, très courant chez la génération pré Internet et active)

- itou pour un document "texte" ou tableur lourd

- n'importe quelle usage intensif et perceptible de SSH (bonne grosse app en X11forwarding depuis ta grosse bête sur ton petit bousin nomade par ex)

 

Que suggérez-vous de tester en matière d'usages courants ?

[Txon]

..

 

Bonnes idées ! Il y avait eu une ébauche de tests comparatifs entre OS -> ICI.

Ça vieillit et mériterait en effet d'être approfondi.

 

@+

[tukozaki]

Je m'y remet car double opportunité :
* ré-install de Arch sur mon antique netbook Celle atom 1ere gén. (ne boote plus avec aucune kernel 4+, 1ere installer depuis 4 ans) puis install-test d'1 dérivé Arch, Fedo (Viperr) et Ubuntu gnome
* j'aurai bientot la main sur 2 machines récentes. Un desktop Pentium Haswell 4 Go ddr3 ssd, et un smartbook (LDLC Mercure ou Chromebook motorisé par un Bay trail, Cherry ou petit Braswell)
* et plus tard un notebok ARM si dieu veut.

Le temps est un challenge. *Installer* Phoronix prend 2h30, faire les tests applicatifs *réels* une attention soutenue pendant des jours. Les tests simples genre glxgears sont... très simples, et j'ai les débuts de scripts pour chopper la config matérielle, logicielle + réglages (de l'aide serait cool) et le test ssh.

[tukozaki]

Bonnannée.

 

M'y suis collé après un test de Peppermint, distro graphique étonnament efficace et légère (comme je suis pas *Buntu c'est le retour dityrambique de Pat @ bloguelinux.ca qui me l'a fait découvrir). Les premiers résultats sont très intéressants ! Bien que j'ai testé peu de choses : navigateurs jsuque 10 onglets, le multi-tâches web/libreoffice/audio/image à cette heure. Aussi commencé les perfs CLI (fs, dé-chiffrement, db) bien que 3 tests phoronix passent pas sous Arch, dont openssl ?!

 

Comment je les fais ?

Déjà c'est long. Puis, cas concrets d'abord, benchmarks ensuite.

 

1. Avec les réglages 100% par défaut, ça permet de comparer le matos, l'efficacité initiale (ou pas) de l'OS, et celle des applications sur ledit matos (ex : Intel Atom 2nd génération vs Atom BayTrail vs ARM... pour : le surf, le multi-tasking, pis Firefox vs Chromium vs Palemoon vs...).

2. Réglages custom : Apps (où c'est que j'en suis), OS (kernels, IO scheduler, tmpfs, zswap) aident à comparer les perfs de l'OS, de l'architecture et les applications .

3. Tests concrets vs benchmarks : Les seconds testent qqch oui, mais quoi ça fait looongtemps que ça me turlupine ^^

 

Pour les distros je suis sur Arch, Peppermint et Slackware pour le moment (vu les résultats en live Peppermint va être installée ) Viperr, un remix Fedora par une bande de geeks francophones m'intrigue bien. Ubuntu LTS et Mageia devraient suivre inchallah. Y-en a d'autres bien frâiches dans la hotte à ISOs.

 

Dans les applicatifs, le Singedesmers va suivre (pas Midori déja testé, trop limité).

 

Y-a des apps, distros, réglages et scénarios concrets que vous voulez voir testés ? vous avez des idées ? une licence Geekbench 3 ? z'êtes callé en script ?-)

[tukozaki]

MÀJ tests

• Navigateurs : + Seamonkey (bien avancé «-- @Vigen y-a du lourd ; as-tu une idée de comment il se compare aux suivants sur une petite config ?) + Xombrero. Midori (débuté : pas moyen d'ouvrir une série d'onglets depuis la ligne de commande après 1/2 de lectures/tests - qui est callé et sait faire ?)
• Distro - en cours : + Porteus (Slackware 14.1) en frugal install sur clé USB, et sur carte SDHC rapide. À venir : OpenBSD
• Matériel - À venir : Desktop Intel Pentium/SSD/4Go. Chromebook x86 Intel "Celeron" Bay Trail/4 Go (et ARM Rockchip ou Tegra K1 inchalla)

Edité pour MÀJ.

Ce message a été modifié par tukozaki - 12 janvier 2016 - 20:12 .

[tukozaki]

J'ai réalisé le test-scénario concret suivant. Avez-vous une idée sur un autre scénario-test ? Pour finir de modéliser ceux prévus ?

• o-bulot : Ouverture à froid : $navigateur avec 10 onglets (inclu gmail ou zimbra) + un document texte d'une page mise en forme , un tableau de 10 feuilles, une photo et un (bon) morceau de musique. Puis restauration depuis le buffer-cache système. Pour moi un scénar méga courant, du coup 10 sec de gagnées = un paquet de temps mensuel.

Mesure :

A. Timing mesuré une fois l'image / son / document / tableau / session du navigateur dispo, et total. + RAM utilisée.

 
Tests à venir, toujours en GUI :

• o-bulot+ : comme "au boulot" + une synchro de fichiers en background ou équivalent (rsync-based, "GUI" ou autre) propositions bienvindues 
• o-bulot++ : itou mais avec 40 onglets et un document texte lourd (300 000 mots avec des fontes non-latines et NNN annotations/notes le tout mis en forme). Intéressant pour mesurer ou comparer l'efficacité avant de claquer 500 balles (plutôt que 20 dans une barrette de RAM), puis entre générations et types de SoC (x86 2-core vs nouveaux quad-core ARM). Propal bienvenue par ex. de sites/pages intéressants à inclure dans les 40 onglets.
• o-bulot-dans-le-clud : itou (-) applis locales (+) web apps avec les mêmes documents. Quels services vous conseillez d'utiliser pour le document, le tableau, l'image et la zic ? Je veux un commercial genre Google Drive-trucmuche, et un ouvert/libre avec Markdown... pas FramaPad-Pic trop dépouillés au niveau des fonctionnalités.
• o-bulot-sans-clud : (-) webmail (+) client mail local (Thunderbird)
• associal : Twittos, fessebouc, G+, framasphère, client Vo/IP. Propositions bienvenues
• jematte : stream vidéo + surf léger. itou.
• Fotography : pour une collection de photos/images + éditeur. Propositions bienvenues, surtout pour le scénario (macro-friendly, il doit être)
• Autres : les tests

À côté des mesures applicatives avec réglages par défaut j'effectue , pour l'instant et là aussi retours bienvunus :

B. Benchmarks pour comparer, compatibles x86/ARM : Web meta (Futuremark Peacekeeper, indépendant), javascript (Webkit Octane 2, Jetstream ou JSBench), Css3 (Kaizou indépendant), DOM (Mozilla Dromao), html5 2D rendering (Canvasmark), Web 2.0 (WebXPRT) - Système (Geekbench 3 version free car j'ai pas la licence). Certains benchs prennent un temps de malade sur les configs légères ; lequel des 3 tests javascript vous préconisez et pour quelle raison ?

C. Réglages : a) défaut - b) $navigateur et libreoffice customisés pour la config - c) version full/sans javascript du webmail