Pesquisadores do MIT e da Universidade de Nova York apresentaram uma plataforma de aprendizado que permite a robôs interpretarem a intenção por trás de comandos em linguagem natural. Batizado de FLEX, o sistema combina um modelo de linguagem de grande porte (LLM) com planejamento de movimento.
A plataforma foi demonstrada em simulações em que um braço robótico realiza tarefas como servir uma xícara de café. O operador humano pode digitar um comando como "Não derrame no laptop!", e o robô, por meio do LLM, raciocina para evitar não apenas o computador, mas todos os dispositivos eletrônicos no caminho.
A chave do sistema é um processo de três etapas chamado "Adicionar, Generalizar e Mascarar". Quando o usuário dá uma instrução, o robô primeiro adiciona um item à sua lista de elementos a evitar. Em seguida, um LLM como o GPT-4o analisa esse item e outros já citados para fazer uma generalização baseada em senso comum extraído de vastos textos da internet.
"Os LLMs viram tantos textos da internet", disse Nathan Dennler, pós-doutorando do Laboratório de Ciência da Computação e Inteligência Artificial do MIT. "As pessoas podem ter escrito sobre 'Meu telefone caiu na água e agora não funciona'. Então os LLMs capturam a ideia de que líquidos mais dispositivos levam a coisas que não funcionam."
Na terceira etapa, a visão computacional do robô verifica quais objetos da lista não estão mais presentes no ambiente e os remove. Todo o ciclo leva cerca de cinco segundos.
O trabalho, liderado pela professora Andreea Bobu, do MIT, será apresentado este mês na Conferência Aprendizado de Robô. Além do cenário do café, a equipe testou o FLEX em simulações de transporte de uma vela e de uma bola de boliche, com comandos como "Fique longe da pilha de papel" e "Não deixe cair no caneco".
Com a plataforma, o robô não apenas seguiu os comandos ao pé da letra, mas também inferiu que deveria evitar objetos inflamáveis no caso da vela e coisas frágeis no caso da bola de boliche. A abordagem elimina a necessidade de o usuário especificar cada item individualmente.
"O que me anima no FLEX é que ele pode captar isso com uma ou duas frases, em vez de pedir para você detalhar cada regra", afirmou Bobu. "Essa é a diferença entre um robô com o qual as pessoas toleram conviver e um que elas realmente querem em casa."
A pesquisa teve apoio do Consórcio de Impacto de IA Generativa do MIT e do programa de Responsabilidades Sociais e Éticas da Computação do MIT.


