Natural language interface for SBOT

SBOT robot

Cieľ

Naším ceľom bolo vytvorenie rozhrania, pomocou ktorého by bolo možné prirodzeným jazykom komunikovať (myslené: písať) s SBOTom. Komunikácia prebieha v klasickej Win32 aplikácii a nielen získava textovú odozvu od robota, ale taktiež sa dá navigovať v pohyboch. Medzi, žiaľ nesplnené ciele, sme si dali aj možnosť učiť ho zložitejšie, viacslovné príkazy. Celá komunikácia prebieha v anglickom jazyku.

Postup

Samotný algoritmus je pre robota programovaný v AVR studiu a pre PC sme zvolili MS Visual Studio. Základnú časť algoritmu - rozoznávač reči, sme sa rozhodli ponechať v externej aplikácii a nevkladať ju do pamäte robota. Samotný robot v tejto verzii teda obsahuje iba pripravené jednoduché príkazy na ktoré dokáže reagovať.

Ukážka časti programu pre SBOTa

  switch (buffer[0])
  {
     case 'a': printf("HELLO\n");
               break;
     case 's': printf("%d %d %d %d %d %d %d\n", adc_vals[0], adc_vals[1], bumper_stat(BUMPER_0), bumper_stat(BUMPER_1), bumper_stat(BUMPER_2), bumper_stat(BUMPER_3), adc_vals[2]);
               break;
     case 'f': sbot_forward();
               break;
     case 'p': sbot_stop();
               break;
     case 'l': sbot_left();
               break;	
     case 'r': sbot_right();
               break;	
     case 'b': sbot_back();
               break;
     case 'o': sbot_rotate();
               break;
     case 'z': zrychli();
               break;
     case 'j': skuska();
               break;
  }

Zložitejšie príkazy potom budú riadené cez COM port z externého programu volaním týchto jednoduchších príkazov. Keďže prirodzený jazyk je veľmi rozsiahly, začali sme s implementáciou základných príkazov.

Základné príkazy

• hello
• go
• left
• right
• rotate
• back
• stop
• wait
• status

Možnosti budúceho rozvoja

Do budúcna by sme chceli dosiahnuť aj implementáciu nasledujúcich rozšírení a príkazov.

Základné príkazy

• how are you
• draw circle
• park (vráti sa na východzie miesto)
• follow light
• follow line
• bypass obstacle

Rozširujúce príkazy

• 10cm
• faster
• slower
• closer
• until hit
• mean (špeciálny príkaz slúži na "učenie")

Spojky

• and
• then

Foto dokumentácia

Prvá beta verzia aplikácie

Finálna verzia aplikácie

Odľahčená verzia aplikácie

Zdrojové súbory

Stiahnite si zdojové súbory pre MS Visual Studio (PC časť) a pre ‎AVR Studio (SBOT časť).

Externé odkazy

IBM's Watson (iba pre zaujímavosť)
Ludvik online (skúste sa porozprávať s Ludvikom)