TONGUE DRIVE SYSTEM

ABSTRACT

Tongue Drive System is a new revolutionary system to help individuals 

with disabilities to control wheelchairs,  computers and other devices simply 

by   using   their   tongue.   It   is   a   noncontact,   unobtrusive,   tongue­operated 

assistive technology. Tongue Drive system will be helpful to individuals with 

serious disabilities,  such as those with severe spinal cord injuries and will 

allow them to lead more active and independent lives.

Individuals using a tongue­based system should only be able to move 

their tongue, which is especially important if a person has paralyzed limbs. A 

tiny  magnet,  only  a  size  of  a  grain  of   rice,   is  attached  to  an   individual's 

tongue using implantation,  piercing or  adhesive.  This   technology allows a 

disabled person to use tongue when moving a computer mouse or a powered 

wheelchair. Scientists chose the tongue to control the system because unlike 

the feet and the hands, which are connected by brain through spinal cord, the 

tongue and the brain has a direct connection through cranial nerve. In case 

when a person has a severe spinal cord injure or other damage, the tongue 

will remain mobile to activate the system.  Tongue movements are also fast, 

accurate   and   do   not   require   much   thinking,   concentration   or   effort.  The 

motions of the magnet attached to the tongue are spotted by a number of 

magnetic field sensors installed on a headset worn outside or an orthodontic 

brace inside the mouth.The signals coming from the sensors are wirelessly 

sent to a portable computer that placed on a wheelchair or attached to an 

individual's  clothing. The Tongue Drive system is  touch­free,  wireless and 

non­invasive technology that needs no surgery for its operation.

INTRODUCTION 

Assistive technologies are critical for people with severe disabilities to lead a 

self­supportive   independent   life.   Persons   severely   disabled   as   a   result   of 

causes   ranging   from   traumatic   brain   and   spinal   cord   injuries   to   stroke 

generally   find   it   extremely   difficult   to   carry   out   everyday   tasks   without 

continuous help. Assistive technologies that would help them communicate 

their   intentions   and   effectively   control   their   environment,   especially   to 

operate a computer, would greatly improve the quality of life for this group of 

people   and   may   even   help   them   to   be   employed.   This   device   could 

revolutionize the field of assistive technologies by helping individuals with 

severe disabilities, such as those with high­level spinal cord injuries, return to 

rich, active, independent and productive lives. The TDS provides people with 

minimal or no movement ability in their upper limbs with an efficacious tool 

for computer access and environmental control. Tongue Drive consists of A 

small permanent magnet secured on the tongue by implantation, piercing, or 

tissue adhesives is used as a tracer, the movement of which is detected by an 

array of magnetic field sensors mounted on a headset outside the mouth or 

on  an  orthodontic  brace   inside.  The  sensor  outputs  signals  are  wirelessly 

transmitted to an ultraportable  computer carried on the user's  clothing or 

wheelchair and are processed to extract the user's commands. The user can 

then  use   these  commands   to  access  a  desktop computer,   control  a  power 

wheelchair, or interact with his or her environment. 

Use of Tongue for Manipulation 

TDS chose the tongue to operate the system because unlike hands and 

feet, which are controlled by the brain through the spinal cord, the tongue is 

directly   connected   to   the   brain   by   a   cranial   nerve   that   generally   escapes 

damage   in   severe   spinal   cord   injuries  or  neuromuscular  diseases.  Tongue 

movements   are   also   fast,   accurate   and   do   not   require   much   thinking, 

concentration   or   effort.   Movement   of   the   magnetic   tracer   attached   to   the 

tongue   is   detected   by   an   array   of   magnetic   field   sensors   mounted   on   a 

headset outside the mouth or on an orthodontic brace inside the mouth. The 

sensor   output   signals   are   wirelessly   transmitted   to   a   portable   computer, 

which can be carried on the user's clothing or wheelchair 

TDS PROCESSING 

In Tongue Drive system, the motion of the tongue is traced by an array 

of Hall­ effect magnetic sensors, which measure the magnetic field generated 

by a small permanent magnet that is contained within a nonmagnetic fixture 

and pierced on the tongue. The magnetic sensors are mounted on a dental 

retainer and attached on the outside of the teeth to measure the magnetic 

field from different angles and provide continuous real­time analog outputs. 

Fig. shows the Tongue Drive System block diagram with two major units: one 

inside the mouth,  the mouthpiece,  and the other outside, a portable body 

worn controller.  Small  batteries  such as  hearing aid button­sized cells  are 

intended to power the mouthpiece for extended durations up to a mouth. The 

power management circuitry scans through the sensors and turns them on 

one at  a   time to save power.  The time division multiplexes (TDM) analog 

outputs   are   then   digitized,   modulated,   and   transmitted   to   the   external 

controller unit  across a wireless  link.  The magnetic  field generated by the 

tracer   inside   and   around   the   mouth   varies   as   a   result   of   the   tongue 

movements. These variations are detected by an array of sensitive magnetic 

sensors mounted on a headset  outside the mouth,  similar  to a head­worn 

microphone, or mounted on a dental retainer inside the mouth, similar to an 

orthodontic brace. The sensor outputs are wirelessly transmitted to a personal 

digital assistant (PDA) also worn by the user. A sensor signal processing (SSP) 

algorithm running on the PDA classifies the sensor signals and converts them 

into user control commands that are then wirelessly communicated to the 

targeted  devices   in  the user's  environment.The principal  advantage  of   the 

TDS   is   that   a   few   magnetic   sensors   and   a   small   magnetic   tracer   can 

potentially capture a large number of tongue movements, each of which can 

represent a particular user command. A set of specific tongue movements can 

be tailored for each individual user and mapped onto a set of customized 

functions based on his or her abilities, oral anatomy, personal preferences and 

lifestyle. The user can also define a command to switch the TDS to standby 

mode when he or she wants to sleep, engage in a conversation, or eat. The 

signals   received   by   the   external   controller   unit   are   demodulated   and 

demultiplexed to extract the individual sensor outputs. By processing these 

outputs, the motion of the permanent magnet and consequently the tongue 

within the oral cavity is determined. Assigning a certain control function to 

each   particular   tongue   movement   is   done   in   software   and   can   be   easily 

customized control   functions  may  then  individual  user.  These  customized 

control   functions   may   then   be   used   to   operate   a   variety   of   devices   and 

equipments including computers, phones, and powered wheelchairs. 

One prototype for human trials, shown in Figure 2, was built on a face shield 

to facilitate positioning of the sensors for different subjects. The main function 

of this prototype was to directly emulate the mouse pointing and selection 

functions   with   the   tongue   movements.   Six   commands   were   defined:   left, 

right,  up,  and  down pointer  movements  Q3  and  single­  and  double­click 

movements. As long as the SSP algorithm was running in the background, no 

additional software or learning was needed if the user was familiar with the 

mouse operation and any piece of software that was operable by a mouse. 

Small,   cylindrical,   rare­earth   permanent   magnets   were   used   as   magnetic 

tracers. A pair of two­ axis magnetic field sensor modules (PNI; Santa Rosa, 

California)  was  mounted symmetrically  at   right  angles  on  the   face  shield 

close   to   the   user's   cheeks.   Each   two­axis   module   contained   a   pair   of 

orthogonal magneto­inductive sensors, Hence, we had one sensor along the 

x­axis,  one along the y­axis,  and two along the z­axis  with respect   to  the 

imaginary coordinates of the face shield. To minimize the effects of external 

magnetic   field  interference,   including  the earth magnetic   field,  we used a 

three­axis module as a reference electronic compass. The reference compass 

was placed on top of the face shield so as to be far from the tongue magnet 

and   to   only   measure   the   ambient   magnetic   field.   The   reference   compass 

output was then used to predict and cancel out the interfering magnetic fields 

at the location of the main two­axis sensor modules. All seven sensor outputs, 

already   in   digital   form,   were   sent   serially   to   the   ultralow­power   MSP430 

microcontroller   (Texas   Instruments;   Dallas,  Texas)   that   is   the   heart   of   the 

control unit. The microcontroller took 11samples/s from each sensor while 

activating only one module at a time to reduce power consumption. After 

reading all sensors, we arranged the samples in a data frame and wirelessly 

transmitted them to a personal computer (PC) across a 2.4 GHz wireless link 

established   between   two   identical   nRF2401   transceivers   (Nordic 

Semiconductor; Trondheim, Norway). The entire system was powered by a 3.3 

V   coin­sized   battery   (CR2032),   which   together   with   the   control   unit   and 

reference compass were hidden under the face shield cap. 

PROTOTYPE TONGUE DRIVE SYSTEM 

The   system   can   potentially   capture   a   large   number   of   tongue 

movements, each of which can represent a different user command. A unique 

set of specific tongue movements can be tailored for each individual based on 

the   user's   abilities,   oral   anatomy,   personal   preferences   and   lifestyle.   An 

individual   could   potentially   train   our   system   to   recognize   touching   each 

tooth as a different command. The ability to train our system with as many 

commands   as   an   individual   can   comfortably   remember   is   a   significant 

advantage over the common sip­ n­puff device that acts as a simple switch 

controlled by sucking or blowing through a straw. The Tongue Drive system 

is also non­invasive and does not require brain surgery like some of the brain­

computer interface technologies. 

TASKS PERFORMED IN TDS 

Computer mouse tasks ±  left, right, up and down pointer movements and 

single­ and double­click. For each trial, the individual began by training the 

system. During the five­minute training session, the individual repeated each 

of the six designated tongue movements 10 times. During the testing session, 

the   user   moved   his   or   her   tongue   to   one   of   the   predefined   command 

positions and the mouse pointer started moving in the selected direction. To 

move the cursor faster, users could hold their tongue in the position of the 

issued   command   to   gradually   accelerate   the   pointer   until   it   reached   a 

maximum velocity. Results of the computer access test by novice users with 

the current Tongue Drive prototype showed a response time of less than one 

second with almost 100 percent accuracy for the six individual commands. 

This is equivalent to an information transfer rate of approximately 150 bits per 

minute,  which is much faster than the bandwidth of most brain­computer 

interfaces. The research team has also begun to develop software to connect 

the   Tongue   Drive   system   to   a   wide   variety   of   readily   available 

communication   tools   such   as   text   generators,   speech   synthesizers   and 

readers. In addition, the researchers plan to add control commands, such as 

switching the system into standby mode to permit the user to eat, sleep or 

engage in a conversation while extending battery life. 

MODES IN POWERED WHEEL CHAIR 

Operated the powered wheelchair using two different control strategies:

 

1. DISCRETE MODE 

Discrete  mode,  designed  for  novice  users,  and continuous mode  for 

more experienced users. In discrete mode, if the user issued the command to 

move forward and then wanted to turn right, the user would have to stop the 

wheelchair   before   issuing   the   command   to   turn   right.   The   default   stop 

command was when the tongue returned to its resting position, bringing the 

wheelchair   to a standstill.Discrete mode is a safety feature particularly for 

novice users, but it reduces the agility of the wheel chair movement. 

2. CONTINUOUS MODE 

In   continuous   mode,   however,   the   user   is   allowed   to   steer   the   powered 

wheelchair to the left or right as it is moving forward and backward, thus 

making it possible to follow a curve. 

ADVANTAGES OF TDS 

• Allows disabled people to power a wheelchair 

• Allows disabled people to use a computer 

• Allows disabled people to not depend on others 

• Allows disabled people to have more freedom 

• Allows disabled people to become employable 

DRAWBACKS 

• Computer battery could die when not around charger 

• Could take a while to learn how to use it 

• Might not be affordable for some people 

• Decreases job opportunities for some 

• Computer could go down 

CONCLUSION 

Tongue drive system technology is a gift for the physically challenged and 

disabled persons to lead their life equal to the normal persons in the society. 

A tongue operated magnetic sensor based wireless assistive technology has 

been developed for people with severe disabilities to lead a self­supportive 

independent   life   enabling   them   to   control   their   environment   using   their 

tongue. This technology works by tracking movements of permanent magnet, 

secured on the tongue, utilizing an array of linear Hall­ effect sensors. The 

sensor   outputs   are   a   function   of   the   position­dependent   magnetic   field 

generated by the permanent magnet. This allows a small array of sensors to 

capture   a   large   number   of   tongue   movements.   Thus,   providing   quicker, 

smoother,   and   more   convenient   proportional   control   compared   to   many 

existing assistive technologies. Other advantages of the Tongue Drive system 

are   being   unobtrusive,   low cost,  minimally   invasive,   flexible,   and   easy   to 

operate.   A   more   advanced   version   with   custom   designed   low­power 

electronics that entirely fit within the mouthpiece is currently under 

development.