15 replies to this topic

[EboO]

Bonjour,

J'ai testé OA et comodo avec l'outil de matousec pour avoir une idée du résultat avec la configuration de base.

Question test j'ai fais un instantané juste avant d'attaquer, à chaque échec je restaure l'instantané pour ne pas influencer le résultat final. La machine (vbox...) est configurée conformément aux recommandations de matousec : win 7 64 bits sp1 avec ie9 par défaut, uac off.

comodo v5.9.221665.2197, OA free v5.5.0.1557

Voilà les résultats pour Online Armor : 95/110 soit 86,4% de réussite

- Level 1 : 100%

- Level 2 : 100%

- Level 3 : 100%

- Level 4 : 90% (SSS2 failed)

- Level 5 : 100% (schedtest2 : réussite partielle : la tâche est créée mais le script vbs est bloqué (toutefois matousec me dit que le test est réussi))

- Level 6 : 90% (SSS3 failed)

- Level 7 : 70% (autorun41 failed, firehole failed, regdel2 failed mais au redémarrage OA est présent et fonctionnel)

- Level 8 : 90% (autorun38 failed mais j'ai une alerte qui arrive un peu tard... et si je bloque le test est réussi, le hic étant que le script s'exécute avant l'alerte)

- Level 9 : 80% (DNStester failed, schedtest3 failed)

- Level 10 : 70% (autorun39 failed, autorun44 failed, kill3e failed)

- Level 11 : 60% (bitstest failed, kill3f failed, kill5 failed, wfpblock failed)

Je pense faire comodo jeudi si j'ai assez de temps, la procédure complète dure environ 2h30 avec tous les reboots et les tests de routine pour vérifier si le script est passé.

Ce message a été modifié par EboO - 21 février 2012 - 16:29 .

[lolo32]

bravo courageux^^^

[Txon]

Bravo !

Il ne te reste plus qu'à communiquer, pour information, le résultat complet à Matousec en précisant bien
... le contexte exact : Windows Seven 64 bits SP1 ... pro ? home edition ? ... UAC "off", IE9.
... la version : Online Armor free v5.5.0.1557

Je suis impatient de savoir si tu trouveras 94% de réussite pour Comodo, comme son équipe.

@+

[EboO]

Je ne savais même pas que l'on pouvait faire remonter l'info
Sinon comodo fera moins que 94% je pense vu que leur test est avec les paramètres au max alors que je le fais avec la config par défaut.

[Txon]

Je ne savais même pas que l'on pouvait faire remonter l'info

Pour information seulement. Seuls les résultats "officiels" suite à une demande formelle de test sont publiés.

Sinon comodo fera moins que 94% je pense vu que leur test est avec les paramètres au max alors que je le fais avec la config par défaut.

D'un côté, c'est bien car ça permet de mesurer la différence entre les paramètres standards et ceux qui poussés au maximum de sécurité.
D'un autre, c'est dommage, surtout pour Online Armor qui n'a pas encore de résultat avec des paramètres poussés.

@+

[brandodu31]

j ai online armor sur mon pc et il n y a pas , comme sur comodo, un curseur pour augmenter la puissance de la protection,
via defense plus .

les 86% de OA correspondent à un comparatif russe de l année derniere ,
ou comodo était à 98%
outpost 94%
pctools 65%
ZA 58%
en mode par defaut,en mode max pctools faisait un sacré bond à 96%.
% de mémoire , il peut y avoir des petites erreurs .

[Txon]

@ brandodu31
A quel test fais-tu référence ? Un test russe ou tchèque ? As-tu un lien vers le site de publication ?
Il y a un an Comodo a passé avec succès les leaktest de Matousec sous Windows 32 bits.et il était à 100%. de réussite.

Même si Online Armor n'a pas de curseur pour augmenter la puissance, il doit bien y avoir un moyen d'effectuer un paramétrage "dur" du pare-feu, non ?

@+

[brandodu31]

Même si Online Armor n'a pas de curseur pour augmenter la puissance, il doit bien y avoir un moyen d'effectuer un paramétrage "dur" du pare-feu, non ?

il n y a que quelques mini réglages dans la partie hips ,mais ça ne concerne que la maniere dont sont formulées les alertes .

pour le test , c était du russe,peut etre ce site de publication, la banniere a pu changer .

http://www.comss.ru/page.php?id=808

[Txon]

il n y a que quelques mini réglages dans la partie hips ,mais ça ne concerne que la maniere dont sont formulées les alertes .

Pourtant, dans le pare-feu il y a un onglet "Rules" qui permet d'ajouter (ou supprimer) des règles à sa convenance et donc de "durcir" ce pare-feu.

@+

[EboO]

OA est très peu paramétrable en terme de sensibilité, ce qui constitue un atout et une faiblesse.
Les tests de matousec sont des leaktests, des détournements d'applications, des injections de code, etc... : j'ai eu très peu d'alertes de pare-feu, elles surviennent notamment quand une application est détournée. L'essentiel des alertes repose sur le hips.
Dans les derniers niveaux certaines techniques sont assez pointues : au reboot windows update est détourné lors d'une mise à jour pour infecter le pc.

Ce message a été modifié par EboO - 22 février 2012 - 07:14 .

[EboO]

Voici les résultats pour comodo en mode sécurisé (installation par défaut) :
Réussite totale : 101/110 soit 91,8%

- Level 1 : 100%

- Level 2 : 100%

- Level 3 : 100%

- Level 4 : 100%

- Level 5 : 100%

- Level 6 : 80% (inject2 failed, SSS3 failed)

- Level 7 : 90% (firehole failed)

- Level 8 : 90% (DDEtest failed)

- Level 9 : 90% (cpilsuite2 failed)

- Level 10 : 70% (inject1 failed, kill3e failed, osfwbypass failed)

- Level 11 : 90% (kill3f failed)

En modifiant en mode paranoïa defense+ et en activant la protection avancée firehole est réussi, ainsi que DDEtest, cpilsuite2, inject1, kill3e et kill3f. Par contre inject2 est failed, de même que SSS3 et osfwbypass.
Le résultat est porté à107 /110 soit 97,3% mais au prix d'un certain nombre de pop-ups dont certains plutôt techniques... Et il semblerait qu'activer la protection avancée soit plus efficace que le mode paranoïa.
Ce qu'il y a de formidable c'est la différence avec les résultats de matousec...

Ce message a été modifié par EboO - 23 février 2012 - 23:22 .

[noisette]

Quel boulot! oO

Bravo.


Effectivement, les écarts avec les résultats de Matousec sont minimes, mais je ne me les explique pas.
Une liste (blanche ou noire) est-elle utilisée par défaut par Comodo dans le test ?

[Txon]

Désormais, c'est sur une plate-forme Windows « 7 » 64 bits que les tests ont lieu avec Internet Explorer 9 comme navigateur par défaut et l'UAC désactivée. Les paramètres des produits sont cependant poussés au maximum de sécurité et non pas avec la configuration standard utilisée dans de nombreux autres tests.

Excellent travail EboO !
Je tente de résumer.
... 94% de réussite, c'est le résultat publié par l'équipe de Matousec avec des "paramètres poussés au maximum" (mais il n'est pas dit lesquels ni comment).
... 91,8% de réussite en mode par défaut (sécurisé)
... 97,3% de réussite en mode "en mode paranoïa defense+ et en activant la protection avancée firehole".
Ceci voudrait dire que le mode par défaut n'est pas vraiment satisfaisant. Les conditions de tes tests étaient ils les mêmes que ceux de Matousec (version de Comodo et de "7", Internet Explorer et UAC) ?

@+

[EboO]

J'ai repris les conditions de test de matousec, du moins celles rendues publiques. Par contre ma version de comodo est plus récente.
Peut-être retrouve-t-on le problème du choix de la vm.

[Txon]

@ EboO ... Il se pourrait en effet que la machine virtuelle fausse un peu le résultat. Laquelle utilisais-tu ? Quel était l'hôte ?

@+

[EboO]

J'en suis à cette conclusion en effet.
J'utilise virtualbox à jour, l'hôte et l'invité sont tous les 2 des windows 7 64 bits à jour.
Il existe peut-être un biais lié à cet ensemble mais je pense qu'on peut s'en accommoder pour 2 raisons :
- les tests de matousec produisent des scores qui semblent assez proches de ce que je trouve, un poil meilleurs. Il semblerait que leurs tests ne soient pas modifiés par la pression de l'éditeur (ce que je cherchais à vérifier avant tout en fait). Pour voir la performance brute d'un produit il est donc plus raisonnable de se fier à matousec
- lors d'une étude si l'on ne peut pas éliminer un biais on s'arrange pour qu'il soit présent avec les mêmes paramètres dans tous les tests, ce que je fais dans le cas présent. La valeur de chaque test est donc relative comme dis précédemment mais par contre la possibilité de comparaison entre produit me semble possible et correcte.

Ce message a été modifié par EboO - 27 février 2012 - 14:07 .