Copilot Vision: IA da Microsoft agora vê sua tela

A Microsoft começou a testar uma nova atualização do Copilot no Windows. Chamada de Copilot Vision, ela permite ao assistente de inteligência artificial visualizar a tela ou aplicativos abertos no PC do usuário. A funcionalidade, que anteriormente era limitada ao navegador Edge, agora está sendo expandida para qualquer software instalado no sistema.

Durante um evento recente que celebrou os 50 anos da empresa, foi apresentada uma prévia da novidade. Na demonstração, o Copilot Vision foi capaz de orientar o uso de funções do Adobe Photoshop, oferecer sugestões em tempo real no editor de vídeo Clipchamp e até ajudar em tarefas dentro do jogo Minecraft.

A ideia é que o assistente possa destacar partes da tela para auxiliar na navegação por aplicativos, embora esse recurso específico ainda não esteja ativado na versão inicial de testes.

Integração com diversos aplicativos do sistema

• A nova função funciona de maneira semelhante ao compartilhamento de tela em chamadas do Microsoft Teams.
• Em vez de capturar automaticamente imagens da tela, como faz o recurso Recall, o Copilot Vision exige uma autorização ativa do usuário, simulando um compartilhamento consciente do que está sendo exibido.
• Além disso, a Microsoft também está testando um novo recurso de busca por arquivos com o Copilot no Windows.
• A funcionalidade permite perguntar ao assistente sobre o conteúdo de arquivos armazenados no computador.
• Os tipos compatíveis incluem .docx, .xlsx, .pptx, .txt, .pdf e .json, o que facilita a localização de documentos utilizados recentemente.

Sem necessidade de um Copilot Plus PC

Ambas as novidades — tanto o Copilot Vision quanto a busca por arquivos — estão sendo testadas com usuários do programa Windows Insider, nos Estados Unidos. A Microsoft afirma que essas funcionalidades exigem apenas o aplicativo Copilot instalado no Windows, sem a necessidade de um PC com a certificação Copilot Plus.

Usuários de iOS e Android também poderão experimentar o Copilot Vision, ampliando o alcance da ferramenta para além do ecossistema Windows. A previsão é de que o recurso seja liberado gradualmente para todos os usuários do Windows 11 nas próximas semanas ou meses.