Ambiente Didático Multissensorial Inclusivo Para Ensino De Lógica De Programação Básica

Resumo

Este projeto visa a auxiliar o ensino de lógica de programação a deficientes visuais usando um painel físico no qual o usuário monta um fluxograma tátil com peças representando símbolos padrão. Em cada peça é inserido um cartão contendo um texto aposto em ambos os lados – um lado em caracteres latinos e o outro em Braille, para leitura tátil. Ao montar um fluxograma físico no painel, o aluno aprende as estruturas básicas de programação (sequencial, condicional e de repetição). Foi então elaborada uma aplicação Client-Server, em que um software Client, executado em um dispositivo móvel, captura as imagens do painel montado, enviando-as a um software no lado Server que controla as chamadas: a) a uma CNN (Convolutional Neural Network) devidamente treinada para reconhecer os símbolos de fluxograma; b) a um OCR (Optical Character Recognition), que faz o reconhecimento dos textos escritos nos cartões; c) a um software que, a partir dos símbolos e textos reconhecidos, gera o código fonte correspondente ao fluxograma montado; d) e a uma IDE que compila e executa automaticamente o código fonte gerado. Toda interação do usuário com a aplicação Client e o programa gerado e executado é feita por reconhecimento e síntese de voz.