El sistema funcionaría gracias a la estructura del cuerpo humano y electromiografía (vigilancia de la actividad eléctrica en los músculos). Los músculos que controlan todas las articulaciones de los dedos y la muñeca se extienden hasta el codo, y este es envuelto por la banda de Google Gesture alrededor del antebrazo determinando que articulaciones se mueven y en qué manera.

Una vez que se sabe esto, es relativamente fácil de averiguar lo que el usuario está diciendo, lo que combinado con una aplicación puede traducir los gestos del lenguaje de signos de la usuaria en el discurso hablado en tiempo real. En combinación con las herramientas de traducción ya existentes de Google, Google Gesture podía traducir los gestos de una lengua a la palabra hablada de otra. Es un concepto muy innovador, sobre todo si se puede utilizar de un modo discreto y sin duda revolucionará las comunicaciones de los mudos.