Chapitre 5 · Transformations visuelles et sonores

Discours 3

Sur les transformations

Ouverture

Les chapitres précédents ont construit un vocabulaire : des formes, des positions, des couleurs, chacune liée à un paramètre sonore.

Le Chapitre 5 décrit autre chose : ce qu’on fait à ces formes visuelles et ces objets sonores. Diluer, reproduire, faire trembler, saturer, distordre, bruiter. Six opérations, appliquées à une matière qui existait avant elles. Ce déplacement est plus profond qu’il n’y paraît. Jusqu’ici, le système fabriquait. Dans les quatre premiers chapitres, une forme était posée et une règle la convertissait ; à l’étude 08, un son était enregistré et une opération en extrayait une figure. Dans les deux cas, quelque chose venait d’être fait.

Ici, ce ne sont plus les opérations elles-mêmes qui sont inventées. Le flou gaussien, le delay ou le bitcrush existaient avant ce livre, dans des logiciels et des appareils de traitement, et ils continueront d’exister après lui. Le Chapitre 5 les sélectionne, les associe et en règle l’usage. Les objets sonores transformés sont bien produits par le dispositif, mais les procédés techniques qui les transforment lui préexistent. C’est le premier chapitre dont les principaux moyens sont explicitement empruntés à des pratiques déjà constituées.

1. Ce que le Chapitre 5 n’a pas eu à instituer entièrement

Les quatre premiers chapitres ont dû décider de nombreuses correspondances. Qu’une forme plus grande produise un son plus fort, puis plus long ; qu’une position haute produise un son aigu ; que l’angularité de la forme agisse sur le timbre : aucune de ces relations ne s’imposait entièrement d’elle-même.

Le Chapitre 5 doit encore choisir les procédés qu’il rapproche, leurs paramètres et leur représentation graphique. Mais il s’appuie davantage sur des opérations déjà communes au traitement des images et des sons. Ces rapprochements ne sont pas tous des identités strictes : ils relèvent de familles mathématiques semblables, de structures homologues ou de phénomènes perceptifs comparables.

Cinq des six transformations présentent une proximité opératoire particulièrement forte :

• Le flou et la réverbération peuvent tous deux être décrits par une convolution. Un flou remplace chaque point de l’image par une combinaison pondérée de points voisins ; une réverbération par convolution combine le signal avec une réponse impulsionnelle. L’opération appartient à la même famille mathématique, mais elle agit dans deux dimensions spatiales pour l’image et dans une dimension temporelle pour le son, avec des noyaux de nature différente ;
• Le delay et la reproduction reposent sur une structure de répétition. Un signal retardé peut être modélisé comme une série de copies décalées et éventuellement atténuées ; une image peut être reproduite selon une série comparable de translations et de variations d’opacité. La réverbération et le delay peuvent tous deux être décrits à partir

d’une réponse impulsionnelle, mais ils ne se distinguent pas uniquement par le nombre d’échos perçus : la densité, la diffusion et l’évolution temporelle de leurs réflexions jouent également un rôle ;

• L’effet de phase et le moiré relèvent tous deux de phénomènes d’interférence. Un phaser mélange le signal original avec une version dont la phase varie selon la fréquence, produisant des renforcements et des creux spectraux. Un moiré résulte de l’interaction de structures spatiales proches, superposées ou échantillonnées. Les deux phénomènes font apparaître des renforcements et des annulations, sans constituer pour autant un seul et même filtre ;
• La distorsion audio et certaines transformations tonales de l’image appliquent une fonction non linéaire aux valeurs du signal. Le bitcrush et la postérisation relèvent quant à eux de la quantification : ils réduisent le nombre de valeurs disponibles. Le nombre de bits et le nombre de niveaux sont liés, mais ne désignent pas exactement la même grandeur. La réduction de la fréquence d’échantillonnage et le sous-échantillonnage spatial constituent également des opérations comparables ; lorsque l’échantillonnage devient insuffisant et qu’aucun filtrage approprié ne le précède, un repliement spectral peut apparaître sous la forme d’aliasing sonore, de crénelage ou de moiré visuel ;
• Le bruit correspond dans les deux domaines à l’introduction d’un processus aléatoire dans le signal. Les notions de bruit blanc et de rapport signal sur bruit sont communes au son et à l’image. Leur définition doit toutefois tenir compte de la dimension du signal : temporelle dans un cas, spatiale dans l’autre.

Le Chapitre 5 ne découvre donc pas cinq identités absolues. Il met en évidence cinq proximités opératoires suffisamment fortes pour que des formes visuelles et des objets sonores puissent être transformés selon des structures comparables. La part d’institution ne disparaît pas : elle intervient dans le choix du rapprochement, dans le réglage des paramètres et dans la manière de rendre l’opération lisible.

2. Une exception, et ce qu’elle révèle

La saturation colorimétrique et la brillance sonore présentent une relation plus indirecte. La saturation d’une couleur décrit son degré de pureté ou de vivacité relativement à une référence achromatique ; la brillance sonore dépend notamment de la répartition de l’énergie dans le spectre et peut être approchée par le centroïde spectral. Les deux grandeurs ne reposent pas sur une opération mathématique commune.

L’étude 17 établit donc une correspondance explicitement instituée, motivée par une analogie perceptive entre couleur terne et son sombre, puis entre couleur vive et son brillant. Elle prolonge le travail engagé sur la couleur au Chapitre 4, mais elle ne découvre pas une identité formelle.

Cette exception précise la démonstration. Le chapitre ne se partage pas entre cinq vérités données par la mesure et une convention isolée. Il présente plutôt plusieurs degrés de proximité : des opérations appartenant à une même famille mathématique, des structures homologues, des effets perceptifs comparables et, dans le cas de l’étude 17, une association plus directement instituée.

3. Apport théorique pour la Partie II – Théorie des régimes perceptifs

du Livre des Sons

Ce constat rejoint la thèse que la Partie II – Théorie des régimes perceptifs formule sous le nom de commensurabilité opératoire⁵⁹. Dans un environnement numérique, une image et un son peuvent être représentés comme des tableaux de valeurs auxquels s’appliquent des familles d’opérations comparables – filtrage, convolution, gain, seuillage, interpolation, quantification ou compression.

Le Chapitre 5 en propose une mise à l’épreuve concrète. Il ne démontre pas que toutes les transformations visuelles et sonores sont identiques, mais montre que leur représentation numérique permet de construire des rapprochements formels précis et vérifiables.

Il faut cependant mesurer ce que cette commensurabilité établit et ce qu’elle n’établit pas. Elle ne dit pas qu’une forme visuelle et un objet sonore sont la même chose : ils restent une distribution d’énergie lumineuse dans l’espace et une variation de pression dans le temps. Elle dit qu’une fois échantillonnés, l’un et l’autre deviennent des suites de nombres, et que les opérations qui s’appliquent aux suites de nombres ne savent pas d’où elles viennent.

4. Deux histoires parallèles

Cette convergence opératoire a une conséquence historique que ce chapitre rend visible. Les deux domaines n’ont pas convergé par hasard vers un vocabulaire voisin. L’image et le son ont été intégrés à une histoire plus large du traitement du signal, développée dans les télécommunications, l’acoustique, l’optique, la télévision et l’informatique. Les outils ont circulé entre ces domaines plutôt que de passer dans une seule direction du son vers l’image.

Du côté du son

L’enregistrement précède le traitement. Le phonautographe de Scott de Martinville inscrit des vibrations sur du noir de fumée dès 1857, sans pouvoir les rejouer : le son y devient une trace avant de devenir un son reproductible. Il faut attendre Edison, en 1877, pour que l’inscription soit réversible. Ce qu’on peut inscrire, on peut le manipuler, et c’est de là que tout part.

La bande magnétique rend la manipulation banale. Le magnétophone allemand des années trente, capturé puis diffusé après-guerre, permet de couper, de coller, d’inverser et de ralentir. Une durée devient une longueur de bande, ce qui est déjà la conversion que ce livre opère à l’étude 05.

Pierre Schaeffer fonde une discipline sur ce constat. À partir de 1948, à la radiodiffusion française, il travaille au tourne-disque avant de passer à la bande, et invente le sillon fermé, qui répète indéfiniment un fragment. Le sillon fermé répète un fragment dix ans avant que la bande ne le permette. Son Traité des objets musicaux de 1966 décrit des objets qu’aucun instrument ne produit, et sa notion d’écoute réduite consiste précisément à écouter un son pour ce qu’il est plutôt que pour sa cause⁶⁰. Le pointé instrumental de l’étude 08 procède du même geste, appliqué à la vue.

Halim El-Dabh l’avait précédé. En 1944, ce compositeur égyptien enregistre une cérémonie de zar sur un magnétophone à fil, puis en retravaille le signal dans les studios de la radio du Caire, en jouant des filtres et de la chambre d’écho. The Expression of Zaar précède ainsi de quatre ans les premières études de Schaeffer, et rappelle que la transformation du signal n’a pas commencé en Europe.

Les studios institutionnels systématisent. Celui de la Westdeutscher Rundfunk ouvre à Cologne en 1951, celui de la RAI à Milan en 1955, le Columbia-Princeton Electronic Music Center à New York en 1959. Chacun développe ses machines et son vocabulaire. Stockhausen y compose Gesang der Jünglinge en 1956, où une voix d’enfant enregistrée et des sons de synthèse deviennent indiscernables : la transformation y efface la frontière entre ce qui a été capté et ce qui a été fabriqué.

Le vocabulaire se fixe avec les machines. La réverbération à ressort apparaît à la fin des années trente, l’écho à bande dans les années cinquante, la réverbération à plaque en 1957. Chacune donne son nom à une couleur d’espace, et ces noms subsistent aujourd’hui dans les logiciels alors que les objets ont disparu : quand un lecteur choisit une réverbération plate, il désigne une plaque d’acier de deux mètres qu’il n’a jamais vue.

Brian Eno en tire la formule la plus nette. Le studio n’est pas un lieu où l’on enregistre, c’est un instrument avec lequel on compose⁶¹. Ce qui était un moyen de capter devient un moyen de faire, et le compositeur cesse de prescrire pour manipuler.

Le dub jamaïcain en donne une démonstration. À partir des années 1970, King Tubby et Lee Scratch Perry travaillent des enregistrements existants par le mixage, le retrait de pistes, la réverbération, le délai, le filtrage et la saturation. Plusieurs de ces opérations occupent aussi une place structurante dans ce chapitre. Le rapprochement montre comment la console et le studio peuvent devenir des instruments de composition ; il ne fait pas du dub l’origine unique de ce vocabulaire technique.

Le numérique referme la boucle. Le premier traitement de son par ordinateur est l’œuvre de Max Mathews, aux Bell Labs, à partir de 1957 : le programme MUSIC I engendre puis manipule le son comme une suite de nombres⁶². C’est le même laboratoire où Shannon avait publié neuf ans plus tôt.

La théorie qui les réunit

Claude E. Shannon formalise en 1948 ce que cette pratique supposait : l’information peut être traitée indépendamment de sa substance⁶³. Une suite de valeurs se code, se transmet, se filtre et se dégrade selon les mêmes lois, qu’elle provienne d’un microphone ou d’un capteur. Ce cadre n’explique pas à lui seul le traitement numérique de l’image et du son, mais il fournit un vocabulaire commun pour penser des signaux encodés de nature différente. Une convolution ne sait pas si elle floute ou si elle réverbère. Harry Nyquist et Claude Shannon en tirent le théorème d’échantillonnage, qui fixe la fréquence minimale à laquelle il faut mesurer un signal pour pouvoir le reconstituer. En dessous, apparaît l’artefact que l’audio nomme aliasing et l’image crénelage : c’est le même phénomène sous deux noms, et c’est exactement ce que produit le sous-échantillonnage de l’étude 18.

Quand l’image devient un signal à son tour

Une évolution significative ne vient ni de l’informatique ni des arts, mais de la télévision. Pour transmettre une image, il a fallu la parcourir ligne à ligne et convertir chaque point en une tension électrique. Un signal vidéo est donc une tension qui varie dans le temps, exactement comme un signal audio. La différence tient à ce qu’on en fait à l’arrivée : un haut-parleur pour l’un, un balayage d’écran pour l’autre.

Cette conversion est antérieure au numérique. Le système Bartlane transmettait déjà des photographies de presse par câble transatlantique en 1921, en les codant sur cinq niveaux de gris ; la télévision électronique généralise le principe dans les années trente.

Une image est dès lors manipulable comme un son, et pour les mêmes raisons. C’est ce qui rend possible le Magnet TV de Paik : un aimant posé sur un téléviseur perturbe le champ qui dirige le faisceau d’électrons et déforme ainsi le balayage produisant l’image.

Le traitement numérique de l’image se développe fortement au Jet Propulsion Laboratory au milieu des années soixante. Les images lunaires transmises par les sondes Ranger, puis celles d’autres missions, doivent être corrigées, reconstituées et améliorées malgré les limites de leur acquisition et de leur transmission.

Les ingénieurs appliquent pour cela des méthodes issues de la théorie générale du signal et des communications : filtrage, restauration, correction géométrique et réduction du bruit. Le traitement numérique de l’image ne naît donc pas d’un désir esthétique, mais de plusieurs nécessités scientifiques et techniques. Il partage avec le traitement sonore un ensemble d’outils mathématiques communs ; il ne les emprunte pas exclusivement à l’audio.

Deux avancées contribuent ensuite à rendre ces traitements plus accessibles. Cooley et Tukey publient en 1965 un algorithme de transformée de Fourier rapide, qui réduit fortement le coût de nombreuses analyses spectrales⁶⁴. Le capteur à transfert de charge, ou CCD, est inventé quelques années plus tard, en 1969, par Willard Boyle et George Smith aux Bell Labs. Il facilite progressivement l’acquisition électronique puis numérique des images.

Une décennie plus tard, Gonzalez et Wintz publient en 1977 l’un des manuels qui contribuent à fixer la discipline⁶⁵. On y trouve, appliqués à l’image, tous les termes du traitement du son : convolution, filtrage passe-bas et passe-haut, échantillonnage, quantification, rapport signal sur bruit. Le vocabulaire n’a pas été traduit, il a été transporté.

Deux normes contemporaines, des principes apparentés JPEG et MPEG-1 Audio Layer III, qui donnera le format MP3, sont normalisés au début des années quatre-vingt-dix. Ils appartiennent à la même période et répondent à un même problème général : réduire la quantité de données en limitant autant que possible les pertes perceptibles.

Leurs méthodes ne sont cependant pas identiques. Le JPEG avec pertes découpe notamment l’image en blocs et applique une transformée en cosinus discrète avant de quantifier ses coefficients. Le MP3 emploie une banque de filtres hybride, comprenant une transformée en cosinus discrète modifiée, ainsi qu’un modèle psychoacoustique destiné à répartir les pertes selon ce que l’oreille masque ou perçoit moins facilement.

Les deux formats partagent donc une stratégie : transformer le signal, quantifier l’information et exploiter les limites de la perception. Mais ils ne réalisent pas ces opérations de la même manière. Leurs artefacts le montrent : blocs et contours altérés pour une image JPEG fortement compressée ; pré-échos, instabilités ou sonorités métalliques pour un fichier MP3 très dégradé.

Du laboratoire au logiciel Photoshop paraît en 1990. Thomas Knoll, qui l’écrit avec son frère John, préparait une thèse sur le traitement d’image ; les filtres du logiciel viennent directement de la littérature technique, flou gaussien compris, dont le nom même renvoie à la fonction mathématique qui le définit.

Des techniques longtemps réservées aux laboratoires, à l’ingénierie et aux logiciels spécialisés deviennent progressivement accessibles sous la forme de menus et de filtres destinés au grand public. Et c’est ce menu que ce chapitre emploie.

Ce que cette histoire établit Ce n’est donc pas ce livre qui rapproche arbitrairement deux domaines éloignés. L’image et le son ont progressivement été traités comme des signaux susceptibles d’être échantillonnés, filtrés, transformés et quantifiés. Cette histoire fournit une base technique à leur rapprochement, sans effacer les différences physiques et perceptives qui les séparent.

Une trace de cette commensurabilité apparaît dans certaines pratiques du glitch : les données d’un fichier d’image peuvent être ouvertes ou importées comme si elles constituaient des échantillons audio, puis transformées dans un éditeur sonore. Lorsqu’elles sont réinterprétées comme une image, les modifications apportées aux données deviennent visibles. Il y a bien changement d’interprétation et de format de lecture : ce ne sont pas directement les mêmes objets perceptifs, mais les mêmes données numériques peuvent être soumises à plusieurs modes de décodage.

5. Ce que les artistes en avaient fait

Cinq œuvres montrent que ces opérations peuvent cesser d’être des traitements pour devenir des formes. Steve Reich invente le phasing comme procédé compositionnel, et il l’invente par accident. En 1965, il superpose deux copies d’un même enregistrement sur deux magnétophones, cherchant à les synchroniser ; les machines ne tournent pas exactement à la même vitesse, et le décalage s’installe. Plutôt que de le corriger, il en fait la forme de It’s Gonna Rain : les deux voix se séparent lentement, passent par toutes les phases intermédiaires, puis se rejoignent⁶⁶. Ce que l’étude 16 traite comme un effet appliqué, Reich en fait la structure entière d’une pièce de dix-sept minutes. La différence entre un effet et une forme n’est parfois qu’une question de durée. Et l’origine de la découverte le rapproche du glitch dont il sera question plus loin : là aussi, un défaut de machine est devenu une méthode.

Alvin Lucier procède de même avec la réverbération. Dans I Am Sitting in a Room, en 1969, il enregistre une phrase, la rediffuse dans la pièce, la réenregistre, et recommence indéfiniment⁶⁷. Les résonances de la salle s’accumulent à chaque passage jusqu’à dévorer le langage : il ne reste que la pièce. C’est l’étude 14 poussée à sa limite, où la réverbération cesse d’affecter l’objet pour devenir l’objet.

Gerhard Richter fait du flou un sujet. Il peint d’après photographie puis passe une brosse sur la surface encore fraîche, si bien que le flou n’y est pas un défaut de netteté mais la manière même dont l’image se donne.

Nam June Paik distord un signal avant que le numérique n’existe. Magnet TV, en 1965, consiste à poser un aimant sur un téléviseur : le champ magnétique dévie le balayage et l’image se tord en figures mouvantes⁶⁸. C’est l’étude 18 obtenue sans calcul.

Le glitch⁶⁹ enfin, dont Rosa Menkman a proposé la théorie, fait de l’erreur technique une esthétique⁷⁰. Ce qui devait être évité, l’artefact, la compression ratée, le fichier corrompu, devient ce qu’on recherche. Les colonnes de droite des études 18 et 19 sont dans cette filiation : elles poussent la dégradation jusqu’au point où elle cesse d’être un défaut pour devenir une esthétique.

Ces cinq œuvres partagent un trait. Elles ne se contentent pas d’employer une transformation, elles la portent au point où elle devient le contenu. C’est la limite vers laquelle ce chapitre tend sans l’atteindre, puisque ses études restent des démonstrations réglées.

6. Six opérations, six études

Il reste à reprendre les six transformations, non plus par leur formule mais par ce qu’elles font :

• La dilution étend et atténue : une couleur qui se fond dans le support, perd de sa densité, s’évanouit. La réverbération fait exactement cela, elle prolonge le son dans l’espace

acoustique, l’atténue progressivement, le dissout dans le silence. L’étude 14 y ajoute une conséquence propre à ce livre : sur fond noir, se dissoudre revient à s’éteindre, et le noir est le silence ;

• La reproduction multiplie l’identique à intervalles réguliers ou irréguliers : tampon, pochoir, sérigraphie. Le delay (ou l’écho) est cette répétition, une copie du son qui revient, atténuée, après un délai. L’étude 15 a dû pour cela poser une règle nouvelle, la distance donnant le temps écoulé, et en neutraliser une autre, la taille cessant d’y coder la durée ;
• Le tremblement introduit une instabilité dans le trait : la ligne oscille, hésite, cesse de coïncider avec elle-même. L’effet de phase fait cela au signal, en le superposant à sa propre copie décalée. L’étude 16 opère par interférence : le mélange du signal avec une version dont la phase a été modifiée produit des renforcements et des annulations internes, sans faire entendre une répétition distincte ;
• La saturation colorimétrique modifie la vivacité de la couleur sans toucher à la forme. L’étude 17 lui fait coder la brillance, en coupant le haut ou le bas du spectre, et donne ainsi à la couleur un second paramètre indépendant du premier. C’est l’exception dont il a été question ;
• La distorsion force la matière. L’étude 18 la partage entre deux origines : l’analogique, qui procède par excès et ajoute des harmoniques, et le numérique, qui procède par défaut et retire de la résolution. Deux opérations inverses pour un même durcissement ;
• Le bruit superpose au signal une matière qui ne vient pas de lui. L’étude 19 en fait le terme du chapitre, car il est le seul qui ne transforme pas l’objet sonore mais le concurrence, et celui qui menace le plus son identité.

7. Ce que les transformations révèlent du système

Ces six transformations ont une propriété commune : elles ne créent ni de forme visuelle nouvelle ni d’objet sonore nouveau, elles prennent pour matière ce que les chapitres précédents ont construit. La forme visuelle et son objet sonore associé sont transformés mais restent reconnaissables, seuls leurs paramètres ont été déplacés.

Elles mettent en évidence une limite déjà observée lors des études précédentes : une opération ne produit pas le même résultat selon ce qu’elle rencontre.

Le constat revient d’étude en étude. Un filtre en cloche sélectionne des harmoniques sur un objet sonore à hauteur définie et sculpte une bande sur un bruit. Un effet de phase fait tourner la couleur d’un objet sonore harmonique et brasse l’air d’un objet sonore bruité. Une saturation ajoute des composantes à une sinusoïde et épaissit une matière déjà dense. Un bruit se distingue nettement sur un objet sonore pur et se confond avec un charleston.

Les transformations révèlent donc quelque chose que le système ne pouvait pas dire de lui- même : ses formes visuelles et ses objets sonores ne sont pas des valeurs interchangeables. Ils ont une matière, et cette matière résiste inégalement.

C’est là l’intérêt de ce chapitre. Il ne détruit pas le système, il en révèle la structure en le poussant à ses bords. Et il prépare le suivant, où plusieurs formes visuelles transformées et leur objet sonore associé devront coexister dans un même espace : la planche 3 de l’étude 18 l’annonce déjà en superposant deux opérations, avec un ordre d’application qui se lit sur l’image.

La question plus large du geste, graphique, sonore et corporel, dans d’autres pratiques, sera abordée dans un autre livre qui abordera des dispositifs expérimentaux pouvant être mis en place pour poursuivre ce travail de recherche. Elle y trouvera ce qui manque ici : une matière qui résiste sous la main. Les opérations de ce chapitre n’ont pas de corps, et c’est en cela qu’elles diffèrent d’un tracé.

6