O que aconteceu
Pesquisadores da Apple Machine Learning Research identificaram uma fraqueza nos modelos de linguagem-visão ao lidar com contexto puramente visual e propuseram um novo benchmark.
Por que importa
O desenvolvimento é criticamente importante para o avanço de sistemas autônomos de visão computacional, que precisam compreender padrões ocultos em dados visuais sem instruções textuais constantes de humanos.
Especialistas da divisão Apple Machine Learning Research publicaram um trabalho no qual constatam a capacidade limitada dos modernos modelos de linguagem-visão (VLM) de raciocinar exclusivamente com base em informações visuais. Apesar de serem capazes de seguir instruções textuais complexas, os sistemas atuais não conseguem identificar corretamente conceitos gerais a partir de conjuntos de exemplos de imagens e aplicá-los a novos dados de entrada.
Em resposta a esse problema, os pesquisadores apresentaram uma nova tarefa de avaliação chamada Visual Concept Inference from Sets (VICIS). A essência da metodologia consiste em fornecer ao modelo um pequeno conjunto contextual de imagens, unidas por uma ideia comum, e uma solicitação alvo. O sistema deve gerar novas imagens que preservem o conceito definido pelo conjunto contextual, permanecendo ao mesmo tempo consistentes com a solicitação.
Esta iniciativa visa preencher uma lacuna na avaliação da inteligência artificial, deslocando o foco da compreensão textual para o raciocínio lógico puramente visual. A implementação da tarefa VICIS permitirá medir com maior precisão o progresso dos modelos na área de generalização visual abstrata, sem depender de dicas textuais.
Fatos
- Modelos de linguagem-visão têm dificuldade em inferir conceitos gerais a partir de conjuntos de exemplos de imagens.
- A divisão Apple Machine Learning Research apresentou uma nova tarefa de avaliação chamada Visual Concept Inference from Sets (VICIS).
- A tarefa VICIS exige que o modelo gere imagens que preservem o conceito de um conjunto contextual e correspondam a uma solicitação.
Contexto
Os avanços atuais na área de inteligência artificial concentram-se predominantemente em modelos multimodais que dependem fortemente de prompts de texto para navegar pelo conteúdo visual.
O que ainda não sabemos
- Quais mudanças arquiteturais específicas serão necessárias para que os modelos passem com sucesso no teste VICIS?
- Com que rapidez os grandes modelos existentes conseguirão se adaptar aos requisitos de inferência puramente visual?
Análise de IA
A publicação deste trabalho sinaliza uma mudança de paradigma na avaliação da IA: a indústria está passando da verificação da capacidade de seguir instruções para a verificação da capacidade de detectar padrões autonomamente. Isso indica que o nível atual de desenvolvimento dos VLM é considerado insuficiente para tarefas que exigem compreensão visual profunda sem suporte linguístico.
Conclusão estratégica da IA
Espera-se que a tarefa VICIS se torne um novo padrão da indústria para testar a inteligência visual, estimulando o desenvolvimento de arquiteturas menos dependentes de âncoras textuais. O próximo sinal observável será o surgimento de relatórios sobre os resultados de testes dos principais modelos neste benchmark. A principal incerteza permanece sendo a velocidade com que os pesquisadores conseguirão superar as limitações fundamentais das abordagens atuais de treinamento baseado em imagens.