O mais moderno é de pouca serventia se não for acessível a todos. Não existe inovação disruptiva só para alguns, excluindo parte da população. A Apple tem compreendido isso, e nos últimos anos tem se esforçado para criar recursos para o iPhone voltados para usuários com deficiências.

Um deles foi lançado esta semana: o Screen Recognition, disponível no iOS 14, é um sistema de visão por computador que usa aprendizado de máquina para identificar e rotular cada botão, controle e guia exibidos na tela do aparelho. A ferramenta é um complemento do VoiceOver, que descreve para o usuário o que está acontecendo na interface.

publicidade

A solução faz com que, em qualquer aplicativo, os usuários possam rotular todos os itens na tela automaticamente – esse processo era até então manual. O Screen Recognition foi treinado com milhares de imagens de aplicativos em uso, aprendendo a aparência dos elementos em tela e o que acontece se o usuário interagir com eles.

“Procuramos áreas onde podemos fazer incursões na acessibilidade, como descrições de imagens”, conta Chris Fleizach, engenheiro de acessibilidade do iOS. “No iOS 13, rotulamos os ícones automaticamente – o reconhecimento de tela dá mais um passo à frente. Podemos olhar para os pixels na tela e identificar a hierarquia de objetos com os quais você pode interagir, e tudo isso acontece no dispositivo em décimos de segundo”, completa.

nova versão do ios conta com o screen recognition
A  última versão do sistema operacional móvel da Apple já foi instalada em 46,07% dos dispositivos compatíveis. Imagem: Apple/Divulgação

A criação do Screen Recognition só foi possível graças aos avanços no aprendizado de máquina e no poder de processamento dos smartphones. Criar um recurso semelhante há alguns anos seria extremamente desgastante para o sistema, demorando muito mais e esgotando a bateria do aparelho.

O Screen Recognition foi treinado a partir de milhares de capturas de tela de aplicativos e jogos, rotuladas manualmente. Esses dados alimentaram o sistema de aprendizado de máquina, que logo se tornou proficiente em selecionar esses mesmos elementos por conta própria.

“O VoiceOver tem sido o porta-estandarte da acessibilidade visual por muito tempo. Fizemos isso para garantir que nosso desenvolvimento de aprendizado de máquina continue a impulsionar a tecnologia na direção de uma excelente experiência do usuário ”, afirma Jeff Bigham, que trabalha com Inteligência Artificial voltada para acessibilidade na Apple.

Via: TechCrunch