Publicado no Encontro de Saberes 2015
Evento: XXIII Seminário de Iniciação Científica
Área: CIÊNCIAS EXATAS E DA TERRA
Subárea: Ciência da Computação
| Título |
| Reconhecimento da Língua de Sinais Brasileira em Imagens de Profundidade usando o Sensor Kinect |
| Autores |
|
DEBORA NASSER DINIZ (Autor) GUILLERMO CAMARA CHAVEZ (Orientador) |
| Resumo |
| Os seres humanos foram dotados pela natureza com a capacidade de voz que lhes permite interagir e comunicar com outros seres humanos. Infelizmente, nem todos possuem esta capacidade, devido à falta de um sentido, isto é, a audição. Sendo assim, a língua de sinais é o método de comunicação alternativa básica entre pessoas surdas. Vários dicionários de palavras ou letras isoladas têm sido definidas para tornar esta comunicação possível. Os deficientes auditivos brasileiros utilizam a LIngua BRAsileria de Sinais (LIBRAS) para se comunicarem com outros deficientes auditivos e também com ouvintes. Nosso trabalho consiste em um estudo para avançar o estado da arte em reconhecimento de língua de sinais, sendo nosso foco principal, a LIBRAS. Para este propósito, criamos uma base de vídeos onde foram executadas diferentes sinais da LIBRAS. O vídeos foram gravados com o sensor Kinect, dispositivo desenvolvido para jogos interativos pela Microsoft, que permite gravar imagens coloridas, de profundidade, além de fornecer as coordenadas de 20 articulações do corpo humano. Neste trabalho, usou-se 7 articulações, referentes aos braços e ao peito. Para evitar problemas com a posição do usuário, as trajetórias foram convertidas em coordenadas esféricas, onde se assume o peito como a nova origem de coordenadas. Um dos principais desafios na análise de vídeos de gesto manuais é a variação do tempo que surge quando cada usuário faz um gesto com velocidades diferentes. A fim de contornar este problema, foi usada a técnica Dynamic Time Warping, pois a mesma permite a comparação de trajetórias de tamanhos diferentes uma vez que, a cada realização de um mesmo sinal, podemos encontrar informações diferentes, como a amplitude do movimento. Avaliamos nossa proposta com nossa base da LIBRAS, a qual consiste de 20 sinais diferentes com 20 amostras para cada sinal, gerando um total de 400 amostras. Obtivemos 94% de taxa de acerto. |
