Test à l'aveugle HD24/96 v.s. CD v.s. MP3/AAC :: RÉSULTATS

aevus · Post by **aevus** » Sun Dec 05, 2010 8:24 pm

Bon, voilà que le dernier groupe a passé le test aujourd'hui, ce qui clos le 3-days event.

Le protocole était simple: plusieurs extraits proposés: Beatles, Vivaldi, Nirvana, Jazz, electro, etc... entre 20 et 40 secondes chacun.

Cinq formats possibles: Hi-rez 24/96, CD 16/44, AAC256, MP3 128 et MP3 64. Le logiciel Itunes version 10.1 a été utilisé pour faire les compressions lossy, aucune option de coché.

Le output était fixe, tuné pour du 24/96, donc avantageait théoriquement ce dernier.

Les formats étaient d'abord présentés à la suite de l'autre, dévoilés à tous, en groupe, puis on passait chacun individuellement à l'aveugle, assis au sweet spot, sans bruit dans la salle et sans distraction possible.

Total de 6 répétitions de l'extrait sur chacune des pièces musicale, pour chacun des participants. Les gens devaient cocher la réponse qui selon eux était la bonne.
Seuls trois formats numériques étaient disponibles pour chacune des pièces et tous étaient passé un minimum de 1 fois. Donc pas de truc du genre "vous avez écouté six fois la même affaire.."

Certaines pièces offraient le choix du HD, d'autres non, certains avec du MP3, d'autres non. Trois formats max.

Tout a été conçu et préparé, de bonne foi, dans l'optique de trouver, de démasquer, de cibler toute différence qui serait audible. C'était, je crois, un environnement contrôlé qui étaient optimal pour une écoute très analytique, à des années-lumières de ce que monsieur et madame tout le monde fait en écoutant normalement de la musique. Nous étions donc en mode "laboratoire".

Dans le but d'améliorer les chances de tous, nous avons également offert aux gens de choisir la ou les pièces musicales qu'ils préféraient ainsi que le niveau sonore d'écoute, qui variait d'environ 80 à 85db au dessus de la position d'écoute selon les extraits.

De plus, nous avons également tenté "d'éduquer" l'oreille des participants en leur proposant d'écouter à la présentation de groupe les extraits en mode "contraste maximum", à savoir: du hi-rez et tout de suite après du MP3 64kbps, par exemple. Tout en leur donnant des explications sur les points de repères possibles où il fallait se concentrer.

aevus · Post by **aevus** » Sun Dec 05, 2010 8:50 pm

J'en suis à comptabiliser et analyser les résultats que nous avons accumulé jusqu'à maintenant (il reste le staff à passer!) mais nous avons eu à date une quarantaine de participations complètes.
J'aurais bien évidemment aimé passer la barrière de la centaine de participations, mais c'est relativement long comme processus et les gens saturent au bout d'un moment.

Et, surtout, le pattern devient assez évident très rapidemnet: certains formats n'offrent pas le contraste "jour et nuit" que l'on pourrait s'attendre... L'exercice s'avère difficile, donc les gens finissent par carrément capituler.

Je reviendrais en détails avec l'analyse des données, mais il s'avère que le MP3 64kbps a été "échappé" plus souvent que prévu, alors que les formats hi-rez 24/96, CD et AAC256 ont été virtuellement indifférenciables.

Observation intéressante sur le terrain: les participants, seuls assis dans la chaise, confronté au défi, avait un niveau de certitude dans leurs réponses qui étaient surprenament bas. Même avec des formats MP3.

Le seul format que j'ai observé être identifié facilement de certains individus, au point qu'ils écrivent la réponse presque immédiatement, en demandant même de mettre sur pause tellement ils étaient convaincus, c'était le MP3 64kbps.... Qui, pourtant, n'a pas su donner le score parfait que nous attendions de lui. Nous aurions probablement eu besoin d'aller à du 32kbps pour vraiment atteindre un niveau de certitude quasi absolu.

aevus · Post by **aevus** » Sun Dec 05, 2010 9:10 pm

Autre observation qui a (malheureusement ?) mis en lumière quelque chose:

Ce genre de test donne des débuts de réponses sur des formats audio, sur de l'équipement, mais aussi sur les participants. C'est un des effets inévitables et cela aura pour conséquence de mettre en relief les différentes capacités auditives de chacun.

Aussi cruel que cela pourrait paraître à première vue.

Déjà, une tendance claire apparaissait: certains identifiaient avec grande facilité les MP3 64kbps, d'autres pas.

Question de sensibilité ? d'acuité de l'ouïe ? d'expérience ? de pratique ? de tout cela ensemble ?

Je l'ignore.

Mais une chose semble certaine: il y a effectivement un stade assez précis où une ligne est tracée entre ceux qui finissent par entendre la différence, et ceux qui ne l'entendent pas (encore).
Il s'agirait donc de tester des composants ou éléments qui sont juste assez différenciables pour que certaines personnes puissent les capter, mais tout de même assez subtils pour en laisser d'autres dans la brume, et le clivage apparait.

Ce sera donc vraiment trèès intéressant d'observer OÙ exactement dans une chaine audio ce genre de clivage se montre le bout du nez... Ampli ? Câble ? DAC ? Enceintes ?

... à voir!

aevus · Post by **aevus** » Sun Dec 05, 2010 9:44 pm

Voici le lien video de la soirée de samedi en scoop avant tout le monde

http://www.webproduction.ca/fichiers/10-12-04-ctrl.htm

Ce sera affiché sur Cyberpresse plus tard..

Stoik · Post by **Stoik** » Sun Dec 05, 2010 9:47 pm

Essaye de rendre ton test disponible au public. Je ne sais pas, fait toi un fichier zip avec tout les fichiers (incluant les formulaires de test) et va le seeder sur The Pirate Bay en torrent. Donne un email pour le retour des résultats, fait un peu de promo pour le test sur You Tube et par peut-être l'article de presse qui va parler de ton test. Imagine les partys de noël et de jour de l'an que ça va faire...

Bien sûr, il y a la rigueur des résultats qui ne sera pas au rendez vous, mais ça va brasser la ruche en maudit... en plus d'amuser la planète entière.

Bye.

aevus · Post by **aevus** » Sun Dec 05, 2010 9:54 pm

Stoik wrote:Essaye de rendre ton test disponible au public. Je ne sais pas, fait toi un fichier zip avec tout les fichiers (incluant les formulaires de test) et va le seeder sur The Pirate Bay en torrent. Donne un email pour le retour des résultats, fait un peu de promo pour le test sur You Tube et par peut-être l'article de presse qui va parler de ton test. Imagine les partys de noël et de jour de l'an que ça va faire...

Bien sûr, il y a la rigueur des résultats qui ne sera pas au rendez vous, mais ça va brasser la ruche en maudit... en plus d'amuser la planète entière.

Bye.

Ce genre de test n'est crédible que s'il est organisé de façon rigoureuse, avec plusieurs participants et plusieurs témoins.

Déjà là, nous pourrions recevoir toute sorte de contestation. Bien que nous ayons essayé d'autres équipement à l'interne, les gens pourraient très bien dire qu'avec d'autres enceintes/ampli/acoustique/participants le résultat serait différent.
Aussi, le nombre de participant n'est peut-être pas suffisant pour tirer des conclusions. Peut-être est-ce les extraits musicaux choisis, etc...

Bref, nous ne prétendons pas montrer ce qu'est "la vérité" mais si ça peut pousser les gens à se questionner et faire leurs propres tests, alors mission accomplie.

Stoik · Post by **Stoik** » Sun Dec 05, 2010 10:15 pm

Je viens de regarder le vidéo... et je l'ai sauvegardé pour référence future.

Quel est l'autre extrait que tu as fait écouter à Boulgakov à part le #3, est ce que c'est le #4?

Bye.

aevus · Post by **aevus** » Sun Dec 05, 2010 10:17 pm

Boulgakov a fait le numéro 1 et 3 mais peut-être d'autre faudra que je fouille dans les notes plus tard.

aevus · Post by **aevus** » Sun Dec 05, 2010 10:24 pm

J'oubliais un point important:

Nous avons inséré une pièce de musique "pirate", la 4e, qui consistait d'un needledrop de vinyle numérisé 24/96, v.s. un autre mastering CD et un AAC256 du mastering vinyle

Malheureusement, le déroulement des tests à voulu que les gens passent surtout les autres extraits musicaux, sauf que lorsque celui ci a été passé, les gens avaient tendance à bel et bien remarquer le mastering différent!

Et, l'ironie étant une bébitte vicieuse, certains participants pro-vinyle ont préféré la version "loud-compressé" du CD

tsé quand ça va mal..

Mais ce qu'il faut retenir c'est qu'un mastering différent semble avoir un excellent potentiel d'identification à l'aveugle. Comme quoi des fois il n'y a pas de différence audible mais des fois, oui.

idée - kaline · Post by **idée - kaline** » Sun Dec 05, 2010 10:32 pm

Wow, j'ai manqué quelques choses,

En tous cas, pas d'accord sur les observations mécaniques limitative de la TT, d'accord que l'investissement que demande une TT pour performé aussi bien qu'un macmini et du 256 est trop élevé, mais

Avant d'aller plus loin, je t'invite à écouter du 33tours sur une Réga P9 et à identifier ces imperfections.

tu me diras ensuite, les imperfections que tu as identifier?

A+

Intéressant le vidéo

aevus · Post by **aevus** » Sun Dec 05, 2010 10:36 pm

Tapajeurs wrote:Wow, j'ai manqué quelques choses,

En tous cas, pas d'accord sur les observations mécaniques limitative de la TT, d'accord que l'investissement que demande une TT pour performé aussi bien qu'un macmini et du 256 est trop élevé, mais

Avant d'aller plus loin, je t'invite à écouter du 33tours sur une Réga P9 et à identifier ces imperfections.

tu me diras ensuite, les imperfections que tu as identifier?

A+

Intéressant le vidéo

J'avoue ne pas être un expert de la source analogique, mais de ce que j'ai compris des amateurs, c'est vraiment la bande magnétique qui est le "boutte-du-boutte" en terme de source analogique ?

Stoik · Post by **Stoik** » Sun Dec 05, 2010 10:59 pm

Je ne suis pas un expert non plus, mais un bon vieux open reel qui débite pas mal de pouces de ruban en une seconde, il parrait que c'est quelquechose.

http://en.wikipedia.org/wiki/Reel-to-re ... _recording

Bye.

haver · Post by **haver** » Mon Dec 06, 2010 7:18 am

J'ai regardé la vidéo et je me dis que c'est pas facile pour les gens de changer d'idée. Y aura toujours des sceptiques, des gens pour remettre en question les conclusions d'une expérience d'autant plus que cette expérience vient défaire ou sérieusement remettre en question leurs croyances.

De toute façon, je crois que le débat analogique vs numérique est entendu. Pas que l'analogique soit meilleur ou non, mais simplement par le fait que le marché a fait son choix : ça sera numérique. Toute proportion gardée, les vinyles sont en voie de disparition et même le cd risque à plus ou moins long terme de le suivre.

C'est plate, mais c'est ça.

ArnaudB · Post by **ArnaudB** » Mon Dec 06, 2010 8:12 am

En fait, je pense que ce que le test montre clairement, c'est qu'il n'est pas facile de reconnaitre différents types de formats sur une courte période (qqs secondes) et sans référence.
J'ai pour ma part inversé dans les deux sens du high rez et du 64...
Un test peut être intéressant serait de sélectionner un 15-20mn de musique et de le faire jouer dans les différents format sur une période de temps plus longue et de demander à la fin quelle séquence fut préférée.

Pour discussion.

Aevus et ton équipe,

je tiens à vous remercier pour votre accueil et suis très admiratif du travail accompli et des efforts déployés.

fredhammersmith · Post by **fredhammersmith** » Mon Dec 06, 2010 8:39 am

aevus wrote:J'oubliais un point important:

Nous avons inséré une pièce de musique "pirate", la 4e, qui consistait d'un needledrop de vinyle numérisé 24/96, v.s. un autre mastering CD et un AAC256 du mastering vinyle

Malheureusement, le déroulement des tests à voulu que les gens passent surtout les autres extraits musicaux, sauf que lorsque celui ci a été passé, les gens avaient tendance à bel et bien remarquer le mastering différent!

Et, l'ironie étant une bébitte vicieuse, certains participants pro-vinyle ont préféré la version "loud-compressé" du CD

tsé quand ça va mal..

Mais ce qu'il faut retenir c'est qu'un mastering différent semble avoir un excellent potentiel d'identification à l'aveugle. Comme quoi des fois il n'y a pas de différence audible mais des fois, oui.

un mastering différent a un excellent potentiel d'identification à l'aveugle??? le contraire eut été épouvantable! ou aurait prouvé une fois pour toutes qu'un test à l'aveugle trompe l'audition de manière certaine.