Tactile Digital Experiences
Trois expériences sensorielles que j’ai conçues pour le navigateur : traverser un rideau de perles de verre, jouer avec une piscine de gelée et caresser un coussin de velours, avec du mouvement et du son.
Pourquoi j’ai créé ce projet
Jusqu’où puis-je pousser le numérique pour qu’il semble réel, ou possède certaines qualités d’un objet réel ? C’est ce que je voulais explorer avec ces expériences.
Je me suis concentrée sur le côté tactile : quelque chose sur un écran pourrait-il m’apporter une partie de la satisfaction sensorielle que je trouve dans le contact avec un objet physique ? Quelque chose à garder dans ma poche et à utiliser même quand ces objets ne sont pas à portée de main.
J’ai commencé par un rideau de perles de verre, puis une piscine de gelée, puis mon coussin de velours préféré. À chaque fois, j’ai travaillé la texture, le mouvement et la réaction au toucher. Le son comptait aussi, avec un rôle différent selon la matière.
Le rideau de verre
Je voulais créer quelque chose de beau que j’aurais envie de toucher encore et encore. J’ai commencé par générer des images de formes en verre et de rideaux dans Midjourney, puis travaillé dans Codex pour transformer cette direction visuelle en petits objets capables de bouger.
J’ai décrit le comportement d’un rideau de perles de verre : la façon dont les fils pendent, dont le mouvement se transmet le long de chaque fil et dont ils se stabilisent après le passage de la main. J’ai pris le temps d’affiner ce mouvement et de trouver le son qui lui correspondait.
La piscine de gelée
Pour la deuxième expérience, je voulais retrouver la sensation de plonger une main dans une piscine de gelée et d’y faire passer un doigt. Un son discret et satisfaisant, comme si je réorganisais de petites choses.
J’ai commencé par créer le type d’image que je voulais dans Midjourney, puis travaillé dans Codex. J’ai fait environ cinq ou six itérations sur l’apparence et le comportement : la quantité de reflets, la façon dont la lumière traverse les billes, leur aspect solide ou mou, leur vitesse et le nombre de couches nécessaires pour donner de la profondeur.
L’équilibre comptait. Je voulais assez de couches et de détails pour que la sensation soit satisfaisante, tout en gardant une expérience assez légère pour être utilisée confortablement.
Le son a été plus difficile à trouver. J’ai essayé de faire mes propres enregistrements, mais je n’avais pas les bons matériaux avec moi pour obtenir ce que j’avais en tête. J’ai finalement trouvé en ligne un enregistrement qui fonctionnait mieux que les autres essais.
Mon coussin de velours préféré
La troisième expérience était plus personnelle. Je voulais recréer mon coussin préféré, l’un des coussins vers lesquels je me tourne quand j’ai besoin de réfléchir ou de me calmer. J’aime beaucoup sa douceur et les marques que je peux laisser dans le velours en le caressant avec la main ou les doigts.
J’ai pris une photo et enregistré des vidéos du comportement du vrai coussin, puis utilisé ces références en travaillant dans Codex. Quand j’appuie à un endroit, tout le coussin bouge. J’ai passé plus de temps sur ce comportement pour que la réaction dépasse la zone directement sous ma main.
J’ai aussi travaillé le contraste entre une caresse dans le sens du velours et à rebrousse-poil, ainsi que les marques laissées dans chaque direction. J’ai ajouté deux façons de le caresser : un geste large de la main et des traces plus fines, avec les doigts ou un geste qui rappelle celui des ongles. Ce dernier geste est quelque chose que je fais souvent avec le vrai coussin ; je voulais donc le retrouver ici.
Le son est plus subtil dans cette étude. Ce qui compte le plus pour moi, c’est l’apparence du coussin et sa réaction quand je le touche.
Comment j’ai créé ces études
J’ai construit ces expériences dans Codex, en prenant les images générées et mes propres enregistrements comme références. Le code suit la souris ou le doigt et calcule les réactions en temps réel : les fils reliés se balancent, les billes souples bougent et se déforment, et le coussin change de forme tout en conservant la direction des caresses. Canvas dessine le rideau de verre ; WebGL rend les matières de la gelée et du velours, avec leur lumière et leur texture. L’audio du navigateur réagit aux gestes. J’ai utilisé React et TypeScript pour le rideau et le coussin, et JavaScript pour la gelée.
Médium : des matières interactives dans le navigateur, avec des réactions visuelles et sonores, adaptées aux écrans d’ordinateur et de téléphone.