ZillitronVR, lo Zillitron in realtà virtuale

Lo Zillitron è il mio prototipo storico di strumento musicale: un corpo di chitarra Epiphone che contiene un Artiphon Instrument One, un Roli Seaboard Block, un Genki Wave Ring, un Arduino Nano 33 BLE, una cassa Bose e un sensore laser di distanza.

Guarda il video: Lo Zillitron – video di presentazione

ZillitronVR è la sua versione per Meta Quest. L'idea è la stessa, suonare in modi nuovi, ma senza hardware: niente controller, solo le mani tracciate dal visore. Si suona dentro la scansione 3D di una sala prove, su un organo fatto di tastiere magnetiche oppure su una chitarra.

Un organo di tastiere magnetiche

All'apertura ci sono due file di quattro tastiere, come i due manuali di un organo Hammond. Ogni tastiera ha due ottave e le misure della ROLI LUMI Keys; le file sono disposte con le distanze di un Hammond B-3: il manuale superiore è più alto e più arretrato di quello inferiore.

Come le LUMI vere, le tastiere sono calamitate: avvicinandone una di lato a un'altra si aggancia da sola, e le ottave diventano consecutive. Più tastiere agganciate suonano come un'unica tastiera, fino ai limiti delle note MIDI. Si spostano pizzicando la fascia posteriore senza tasti: con una mano se ne stacca una, con due mani su due tastiere della stessa fila si sposta la fila intera.

• La velocity dipende dalla velocità con cui il dito scende sul tasto.
• L'aftertouch polifonico dipende da quanto si spinge oltre il fondo corsa, tasto per tasto.
• La pressione si vede: il tasto premuto si colora come un LED e una barra dietro ogni tasto sale con l'aftertouch.

Il menu di ogni tastiera

Il pulsante di accensione di ogni tastiera apre il suo menu: lo sfondo si sfoca e si scurisce, e restano solo i comandi.

• Organo, theremin e sample sono icone sopra uno slider: muovendo il dito sullo slider si miscela il suono di uno strumento con quello accanto.
• Le icone si riordinano trascinandole, così si possono miscelare strumenti sempre diversi.
• Uno slider regola il riverbero della tastiera.

Ogni strumento usa l'aftertouch a modo suo: nell'organo accelera il Leslie, nel theremin aumenta il vibrato, nel sample rende il suono più stretto e più forte.

Chitarra

Dal poster CAMBIA si può scegliere cosa tenere in ogni mano: tastiera o chitarra. La chitarra è costruita dalla foto di una vera chitarra classica: i tasti della foto coincidono con quelli del modello 3D. Si posiziona sull'asse tra i due pollici e ruota seguendo il polso sinistro, come quando la si imbraccia; pizzicando con entrambe le mani per mezzo secondo resta ferma dove si trova.

• Tapping: su ogni incrocio corda/tasto c'è un piccolo cubo morbido che si schiaccia sotto il polpastrello. Ogni dito suona la sua nota con un suono sinusoidale che scivola da una nota all'altra, come un theremin. Il volume dipende da quanto il dito si allontana dal pollice.
• Strum: la mano sinistra sceglie i tasti, la destra pizzica le corde sopra la buca. Il suono viene da campioni di chitarra classica e il volume segue la velocità del dito.

Comandi con lo sguardo

Con le mani impegnate a suonare, i bottoni da toccare sono scomodi. Per questo i comandi generali sono poster da concerto appesi al muro: basta guardarne uno, il poster si illumina e dopo un secondo l'opzione è scelta.

Una sala prove in 3D

Si suona dentro la ricostruzione 3D di una vera sala prove. Ho ripulito la scansione in Blender: tolti i frammenti sparsi, chiusi i buchi, ricostruiti pavimento e soffitto, alleggerita la geometria perché giri fluida sul visore. Il pavimento virtuale coincide con quello reale.

Come funziona

ZillitronVR gira nel browser del visore con WebXR: non si installa niente, basta aprire una pagina. La grafica è in Three.js, i suoni sono generati con la Web Audio API e la sala prove è stata preparata in Blender.

Crediti: foto della chitarra "Classical Guitar two views" di Martin Möller (Wikimedia Commons, CC BY-SA 2.0 DE); campioni di chitarra FluidR3 GM.