Rich Sutton diz que modelos generativos imitam bem, mas não descobrem nada. Para uma criatividade artificial de fato, seria preciso diversidade, avaliação e seleção, afirma ele.
Rich Sutton começa com uma piada sobre algo que é ao mesmo tempo novo e bom — só não nas mesmas partes. Para ele, isso descreve bem boa parte da IA generativa: ela produz textos, imagens e vídeos que parecem plausíveis, mas faz isso imitando exemplos, não descobrindo. O ponto, diz ele, não é que esses sistemas sejam inúteis, e sim que sua utilidade termina onde começa a criatividade de que a ciência precisa. Para ir além disso, o processo teria de incluir algo que hoje falta: avaliação e seleção.
Sutton desmonta a ideia de que o valor da IA generativa esteja em ser ao mesmo tempo nova e boa. Para ele, boa parte do que hoje chamamos de IA generativa — de modelos de linguagem a sistemas de imagem e vídeo — só chega a resultados plausíveis porque processa enormes quantidades de exemplos humanos. Se a tarefa é resumir um documento ou responder fatos da web, diz ele, o que se quer não é invenção, e sim fidelidade à fonte.
Esses sistemas podem gerar saídas novas e boas ao mesmo tempo, mas não no mesmo instante. E, em muitos casos, isso é perfeitamente aceitável.
1:39
Se a resposta da IA é nova, então ela foi além do material de origem. E é exatamente isso que chamamos de alucinações.
2:09
Sutton admite que o acaso pode ser útil na fantasia, no entretenimento ou na geração de novas imagens. Mas insiste que o problema aí é, na prática, pouco solucionável: não sabemos até onde o sistema se afasta do material de treinamento, porque a web é enorme e as fontes possíveis são inúmeras. Para ele, a criatividade aparente continua sendo uma forma de incerteza controlada, não de descoberta.
O caminho que o sistema produz é ou novo ou bom. Ou ele se apoia no acaso ou nos dados, mas não combina os dois.
3:17
A IA generativa foi feita para imitar.
3:48
O ponto central não é gerar conteúdo, mas a criatividade de que ciência e matemática precisam. Nessas áreas, diz Sutton, reconhecer padrões não basta: é necessária descoberta real e julgamento real. Sua proposta é tão simples que parece banal, mas ele a trata como o princípio que falta em muita IA moderna: tentar muitas coisas, avaliar o que funciona e manter o melhor.
Descoberta é a ideia de tentar muitas coisas, ver quais funcionam e depois manter o que funcionou melhor.
7:12
O núcleo da descoberta é a combinação de três passos: diversidade, avaliação e retenção seletiva.
7:44
Para Sutton, essa sequência aparece em todo lugar: na seleção natural, no método científico, no aprendizado de animais e até no comportamento cotidiano. Na psicologia, diz ele, ela tem dois nomes: aprendizado instrumental e condicionamento operante; em machine learning, chama-se reinforcement learning*. A ideia comum é que o sistema não apenas reage, mas aprende com aquilo que produz.
Para sustentar isso, Sutton cita trabalhos de Donald Campbell, Daniel Dennett e Gary Cziko*. Ao mesmo tempo, reivindica uma contribuição mais específica: a ligação explícita entre descoberta e IA moderna, e sua separação de aprendizado supervisionado e backpropagation*. Esses métodos podem gerar comportamentos úteis, diz ele, mas sozinhos não têm o passo de avaliação que transforma diversidade em descoberta.
O novo nos meus comentários de hoje é ligar diretamente a ideia de descoberta à IA moderna.
8:51
A parte que falta é a avaliação. Sem avaliação, não pode haver retenção seletiva, e portanto não há descoberta.
9:25
Então Sutton chega ao ponto mais delicado: aquilo que ele chama de criatividade. Novidade, diz ele, não basta; se não for reconhecida, pisca e desaparece, sem deixar traço. Por isso, em sua definição, criatividade também significa avaliação e retenção, e não apenas geração. Nesse entendimento, criatividade é um processo de seleção, não um lampejo isolado.
Eu digo que criatividade exige que o que foi produzido seja avaliado. Sem avaliação e sem manter o melhor, nada foi criado.
9:58
A novidade pisca, mas se seu valor não for reconhecido, ela pisca e depois se perde.
10:03
Aqui Sutton distingue dois casos. No primeiro, o humano faz a avaliação, como quando o sistema gera muitas imagens e uma pessoa escolhe uma delas. No segundo, mais importante para ele, a avaliação vem do próprio campo: um lance que leva ao xeque-mate, um passo matemático que leva a uma prova, uma ação com alta recompensa, uma teoria que explica melhor os dados.
A consequência prática de seu argumento é que a diversidade precisa ser, em parte, cega. Ele admite que boa ciência não testa hipóteses ao acaso, mas também não é possível saber tudo antes. Se um algoritmo é totalmente definido, não há espaço para algo inesperado.
Não queremos que a diversidade seja totalmente desinformada, mas ela também não pode ser completamente definida.
12:08
Precisa haver alguma incerteza sobre onde está a resposta para que exista descoberta quando ela for encontrada.
12:17
Depois Sutton volta-se ao alvo mais concreto, o deep learning*. Backpropagation seria determinístico e, à primeira vista, incapaz de realizar descoberta no sentido que ele define. Em seguida, ele se corrige: o acaso entra no começo, na inicialização dos pesos, e dá ao sistema uma primeira dose de diversidade. Mas esse impulso, em sua visão, se esgota rapidamente.
Os pesos são inicializados com pequenos valores aleatórios, e isso fornece inicialmente um certo nível de diversidade.
12:47
Depois disso, a rede tende a perder sua capacidade de aprender, isto é, sua plasticidade.
13:07
Sutton liga essa fragilidade a um trabalho mais recente seu, continual backprop, que saiu há alguns anos na Nature*. A ideia é simples: de tempos em tempos, um neurônio pouco usado é reinicializado com pequenos pesos aleatórios, para que a diversidade não morra por completo e a plasticidade seja preservada. A tese implícita é que a criatividade computacional também depende de uma capacidade de mudança mantida continuamente.
No fim, Sutton amplia o argumento novamente. Criatividade e descoberta seriam mais amplas do que aquilo que reconhecimento de padrões, previsão ou modelagem de mundo conseguem fazer. Essas capacidades são importantes, diz ele, mas, sozinhas, não produzem descoberta. Para chegar lá, seria preciso compartilhar o objetivo com o sistema, para que ele possa ser criativo, avaliar e encontrar coisas por si mesmo.
Se quisermos toda a força dos cientistas artificiais, precisamos compartilhar nossos objetivos com eles.
14:49
Somos ousados. Vamos automatizar a criatividade e a descoberta.
15:03
Por que Sutton critica a IA generativa?
Sutton critica a IA generativa porque, em sua visão, ela produz saídas que são ou novas ou boas, mas não as duas coisas ao mesmo tempo. Em ciência e matemática, diz ele, isso não basta: é preciso descoberta e julgamento, não só imitação.
O que ele quer dizer com descoberta?
Descoberta é tentar muitas possibilidades, avaliá-las e manter a melhor. Sutton resume isso em três passos: diversidade, avaliação e retenção seletiva.
Por que ele menciona reinforcement learning?
Ele menciona reinforcement learning porque vê nele um exemplo de descoberta na máquina: o agente tenta, recebe feedback e melhora. Nesse sentido, reinforcement learning se aproxima mais do comportamento criativo útil do que a geração supervisionada.
O que, segundo Sutton, não funciona no deep learning?
Sutton diz que o deep learning perde sua plasticidade porque a diversidade surge só no começo, com a inicialização aleatória dos pesos. Seu método continual backprop tenta reintroduzir acaso para manter o aprendizado vivo.
Resumo assistido por IA do podcast de Rich Sutton, conferido com a transcrição original.