Dispositivo usa microcâmera integrada ao celular e IA para transformar imagens do ambiente em descrições por voz

Dispositivo tem tecnologia que auxiliar pessoas com deficiência visual
Arquivo pessoal/Helinandro Oliveira
Uma pequena câmera presa à roupa captura imagens do ambiente e as envia ao celular, onde a inteligência artificial identifica e descreve o que está diante do usuário por meio de um fone de ouvido.
Essa é a proposta de um dispositivo desenvolvido por pesquisadores da Universidade Federal do Vale do São Francisco (Univasf) para ajudar pessoas com deficiência visual a se locomover com mais autonomia.
A ideia surgiu em uma disciplina de física experimental, ministrada por Helinando de Oliveira, professor titular do Colegiado de Engenharia Elétrica.
Em vez de uma prova tradicional, ele decidiu que os alunos deveriam desenvolver produtos capazes de resolver problemas reais.
O estudante Kaic Soares de Souza sugeriu criar um sensor para auxiliar pessoas com deficiência visual.
A primeira versão funcionava de maneira semelhante aos sensores de estacionamento dos carros: quanto mais perto o usuário estivesse de um obstáculo, mais frequentes ficavam os bipes.
O problema apareceu quando o protótipo foi levado a teste.
Professor Helinando de Oliveira e o estudante Kaic Soares de Souza
Arquivo pessoal
Opinião de voluntários mudou o produto
O professor e o estudante procuraram voluntários da Associação Petrolinense de Atletismo (APA), que reúne atletas com deficiência visual, para testar o produto.
Dois jovens testaram essa primeira versão e fizeram uma ressalva que mudou tudo: o som era incômodo e não fornecia informação suficiente sobre o que estava à frente deles.
“Foi quando surgiu a ideia de substituir o apito por algo mais inteligível, que conversa com a pessoa”, disse o professor.
A partir daí, o projeto deixou de ser apenas um sistema de alerta e passou a tentar descrever o cenário.
É essa função que a inteligência artificial desempenha na versão atual.
Segundo o professor, a IA consegue fazer a descrição em cerca de quatro a cinco segundos.
O sistema captura uma imagem, envia os dados ao celular e a resposta é transformada em áudio, que chega ao usuário por um fone de ouvido.
O equipamento fica preso à roupa, como um microfone de lapela.
Ele reúne uma pequena câmera, um microcontrolador e um botão.
A câmera se conecta ao celular por Wi-Fi e transmite as imagens para que a inteligência artificial faça a descrição do ambiente.
O usuário recebe as descrições pelo fone de ouvido em apenas um dos lados, algo que os próprios voluntários sugeriram.
Assim, eles mantêm um ouvido livre para ficarem atentos aos sons do ambiente enquanto escutam as informações fornecidas pela inteligência artificial.
O projeto já passou por quatro ou cinco versões, segundo o professor.
O circuito eletrônico, a programação e o aplicativo fazem parte do desenvolvimento da equipe.
Além disso, os cases foram produzidos com impressão 3D.
Primeira versão do dispositivo
Arquivo pessoal/Helinandro Oliveira
IA precisa aprender o que é importante descrever
A descrição feita pela inteligência artificial, porém, ainda não é exatamente o que os pesquisadores querem.
Em vez de narrar tudo o que aparece na imagem, o objetivo é que o sistema seja capaz de identificar aquilo que pode representar uma dificuldade para quem não enxerga.
Uma árvore ao fundo, por exemplo, pode ser menos relevante do que um buraco no caminho, uma escada, um desnível, uma rampa, uma placa de atenção ou um piso molhado.
Essa, portanto, é uma das próximas etapas do projeto, que é ajustar a inteligência artificial para que as descrições sejam mais direcionadas.
"O problema é que a IA é muito contemplativa, como os usuários definem.
Quando você tem um cenário, ela tenta descrever coisas do ambiente que não são necessárias para o usuário em si.
Entender que existe uma densidade grande de árvores no fundo talvez não seja tão interessante quanto mostrar que tem uma placa com piso deslizante.
Então, ela precisa ser mais seletiva."
Além de ajustar o prompt da IA, a equipe agora prepara dez unidades do aparelho para serem testadas por atletas com deficiência visual da APA.
A ideia é que os voluntários possam levar os equipamentos para casa e usar o sistema no cotidiano.
“A gente está produzindo esses crachás e vai passar para a associação nos próximos dias com case, com software e integrado ao celular para que eles possam dar o retorno quanto à relevância desse sistema", disse o professor.
"A ideia é que isso possa auxiliá-los no dia a dia.
Não só como atletas, na pista, mas no dia a dia para tentar diminuir a dependência com guia."
Para Oliveira, um dos ganhos está justamente em situações corriqueiras, nas quais uma pessoa com deficiência visual ainda pode depender da ajuda de outras pessoas.
“Uma jovem adolescente, por exemplo, que precisa de alguém para guiá-la no banheiro durante a aula, estaria independente para fazer essas coisas.”
Os testes devem ajudar também a identificar o que ainda precisa ser aperfeiçoado.
Entre as possibilidades está a de substituir o botão por um comando de voz.
“É um projeto que eu acho muito bonito em sua essência, porque a gente consegue chegar nas pessoas que realmente necessitam e que têm uma carência muito grande de tecnologia.”
De trabalho de faculdade a uma possível startup
O trabalho começou há cerca de um ano e agora busca avanços.
A equipe pretende documentar o processo, proteger a tecnologia por meio de patente e transformar a proposta em uma startup.
“A gente está fazendo treinamento de incubação e espero que, no próximo edital de seleção da incubadora da universidade, a gente possa incubar a nossa empresa”, disse Oliveira.
Para o professor, o projeto pode ser o início de uma frente maior de desenvolvimento de tecnologias voltadas à deficiência visual.
“O projeto é uma semente para coisas muito maiores dessa linha de deficiente visual.”
Mais Lidas