Sonification - Sonification

Vidéo des données sur la pollution de l' air de Pékin transmises sous forme de morceau de musique

La sonification est l'utilisation d' audio non vocal pour transmettre des informations ou percevoir des données. La perception auditive présente des avantages en termes de résolution temporelle, spatiale, d'amplitude et de fréquence qui ouvrent des possibilités comme alternative ou complément aux techniques de visualisation .

Par exemple, le taux de clic d'un compteur Geiger donne le niveau de rayonnement à proximité immédiate de l'appareil.

Bien que de nombreuses expériences de sonification de données aient été explorées dans des forums tels que la Communauté internationale pour l'affichage auditif (ICAD), la sonification fait face à de nombreux défis pour une utilisation généralisée pour la présentation et l'analyse des données. Par exemple, des études montrent qu'il est difficile, mais essentiel, de fournir un contexte adéquat pour interpréter les sonifications de données. De nombreuses tentatives de sonification sont codées à partir de zéro en raison de l'absence d'un outil flexible pour la recherche de sonification et l'exploration de données

Histoire

Le compteur Geiger , inventé en 1908, est l'une des premières et des plus réussies applications de la sonification. Un compteur Geiger a un tube de gaz à basse pression ; chaque particule détectée produit une impulsion de courant lorsqu'elle ionise le gaz, produisant un clic audio. La version originale n'était capable de détecter que les particules alpha. En 1928, Geiger et Walther Müller (un doctorant de Geiger) ont amélioré le compteur afin qu'il puisse détecter plus de types de rayonnements ionisants.

En 1913, le Dr Edmund Fournier d'Albe de l' Université de Birmingham a inventé l' optophone , qui utilisait des capteurs photoélectriques au sélénium pour détecter les impressions noires et les convertir en une sortie audible. Un lecteur aveugle pouvait tenir un livre près de l'appareil et un appareil près de la zone qu'elle voulait lire. L'optophone jouait un groupe défini de notes : gc' d' e' g' b' c e . Chaque note correspondait à une position sur la zone de lecture de l'optophone, et cette note était réduite au silence si de l'encre noire était détectée. Ainsi, les notes manquantes indiquaient les positions où l'encre noire se trouvait sur la page et pouvait être utilisée pour la lecture.

Pollack et Ficks ont publié les premières expériences perceptives sur la transmission d'informations via l'affichage auditif en 1954. Ils ont expérimenté la combinaison de dimensions sonores telles que la synchronisation, la fréquence, l'intensité sonore, la durée et la spatialisation et ont découvert qu'ils pouvaient amener les sujets à enregistrer des changements dans plusieurs dimensions. immediatement. Ces expériences ne sont pas entrées dans beaucoup plus de détails que cela, puisque chaque dimension n'avait que deux valeurs possibles.

John M. Chambers , Max Mathews et FR Moore des Laboratoires Bell ont réalisé les premiers travaux sur les graphiques auditifs dans leur mémorandum technique "Auditory Data Inspection" en 1974. Ils ont augmenté un nuage de points en utilisant des sons qui variaient en fonction de la fréquence, du contenu spectral et de la modulation d'amplitude. dimensions à utiliser dans la classification. Ils n'ont fait aucune évaluation formelle de l'efficacité de ces expériences.

En 1976, le philosophe de la technologie, Don Ihde, écrivait : « Tout comme la science semble produire un ensemble infini d'images visuelles pour pratiquement tous ses phénomènes, les atomes et les galaxies nous sont familiers, des livres de table aux magazines scientifiques. les musiques,' aussi, pourraient être produites à partir des mêmes données qui produisent des visualisations." Cela semble être l'une des premières références à la sonification en tant que pratique créative.

Dans les années 1980, les oxymètres de pouls se sont généralisés. Les oxymètres de pouls peuvent sonifier la concentration en oxygène du sang en émettant des sons plus élevés pour des concentrations plus élevées. Cependant, dans la pratique, cette caractéristique particulière des oxymètres de pouls peut ne pas être largement utilisée par les professionnels de la santé en raison du risque de trop de stimuli audio dans les environnements médicaux.

En 1992, la Communauté internationale pour l'affichage auditif (ICAD) a été fondée par Gregory Kramer en tant que forum de recherche sur l'affichage auditif qui inclut la sonification des données. L'ICAD est depuis devenu un foyer pour les chercheurs de nombreuses disciplines différentes intéressés par l'utilisation du son pour transmettre des informations à travers sa conférence et ses actes évalués par des pairs.

Quelques applications et projets existants

  • Auditif altimètre , également utilisé dans la chute libre
  • Thermomètre auditif
  • Horloges, par exemple, avec un tic-tac audible toutes les secondes, et avec des carillons spéciaux toutes les 15 minutes
  • Affichages auditifs du cockpit
  • compteur Geiger
  • Ondes gravitationnelles au LIGO
  • Sonification interactive
  • Affichages auditifs médicaux et chirurgicaux
  • Affichages multimodaux (sens combinés) pour minimiser la surcharge visuelle et la fatigue
  • La navigation
  • Physique de l'espace
  • Oxymètre de pouls au bloc opératoire et en réanimation
  • Alarme de vitesse dans les véhicules à moteur
  • Sonar
  • Sonification tempête et météo
  • Détection d' activité volcanique
  • Analyse de cluster de données de grande dimension à l'aide de la sonification de trajectoire de particules
  • Volume et valeur du Dow Jones Industrial Average
  • Sonification d'image pour les malvoyants
  • CURAT Sonification Jeu basé sur la sonification psychoacoustique
  • Tiltification basée sur la sonification psychoacoustique

Techniques de sonification

De nombreux composants différents peuvent être modifiés pour changer la perception du son par l'utilisateur et, à son tour, sa perception de l'information sous-jacente représentée. Souvent, une augmentation ou une diminution d'un certain niveau dans cette information est indiquée par une augmentation ou une diminution de la hauteur , de l' amplitude ou du tempo , mais peut également être indiquée par la variation d'autres composants moins couramment utilisés. Par exemple, un cours boursier peut être représenté par une hausse de la hauteur lorsque le cours de l'action augmente et une baisse de la hauteur lorsqu'il baisse. Pour permettre à l'utilisateur de déterminer que plus d'un stock était représenté, différents timbres ou luminosités peuvent être utilisés pour les différents stocks, ou ils peuvent être joués à l'utilisateur à partir de différents points de l'espace, par exemple, à travers différents côtés de leurs écouteurs .

De nombreuses études ont été entreprises pour essayer de trouver les meilleures techniques pour divers types d'informations à présenter, et jusqu'à présent, aucun ensemble concluant de techniques à utiliser n'a été formulé. Comme le domaine de la sonification est encore considéré comme à ses balbutiements, les études actuelles visent à déterminer le meilleur ensemble de composants sonores à varier dans différentes situations.

Plusieurs techniques différentes pour le rendu auditif des données peuvent être classées :

  • Sonification acoustique
  • Auditer
  • Sonification basée sur un modèle
  • Mappage des paramètres
  • Sonification basée sur le flux

Une approche alternative à la sonification traditionnelle est la "sonification par remplacement", par exemple le traitement affectif mélodique pulsé (PMAP). Dans PMAP plutôt que de sonifier un flux de données, le protocole de calcul est des données musicales elles-mêmes, par exemple MIDI. Le flux de données représente un état non musical : dans PMAP un état affectif. Les calculs peuvent alors être effectués directement sur les données musicales, et les résultats peuvent être écoutés avec le minimum de traduction.

Voir également

Les références

Liens externes