Google Illuminate gera bons episódios de podcast? (fio de Shriram Krishnamurthi)

Tradução do fio do professor Shriram Krishnamurthi (Universidade de Brown) em que ele relata seu uso do Google Illuminate para gerar episódios de podcast sobre os artigos que ele escreveu:

Recentemente, tive acesso ao Illuminate do Google, que gera automaticamente um resumo em formato de "podcast" de aproximadamente 6 minutos sobre um artigo de pesquisa. Para testá-lo, forneci 5 dos meus artigos recentes. Este fio resume a avaliação:

Escolhi meus próprios artigos porque posso avaliar com mais precisão o desempenho da ferramenta. Também selecionei artigos recentes para que houvesse pouca informação disponível na Web sobre eles, simulando o cenário de "este artigo acabou de sair, me ajude a entendê-lo".

Além disso, escolhi artigos de diversas áreas. Os tópicos abrangem teoria formal, linguagens de programação, sistemas, fatores humanos, engenharia de software e educação (a maioria deles combinando essas áreas). Isso permite avaliar o desempenho da ferramenta em diferentes tópicos de computação.

Escolhi 5 porque é possível gerar 5 por dia. Depois de gerá-los, enviei os resumos aos meus coautores para saber a opinião deles sobre a qualidade do conteúdo. As notas estão abaixo. Antes de apresentar as avaliações, quero destacar dois pontos positivos do Illuminate:

a. As duas vozes soam muito naturais. A conversa realmente flui (de certa forma, ainda que um pouco artificial – mas já ouviu alguns podcasts por aí?). Isso pode fazer com que pareça mais informativo do que realmente é!

b. Algumas pessoas perguntaram: "Por que o formato de perguntas e respostas?" Minha resposta: quando lemos, queremos títulos de seção ou outros marcadores de transição. Isso é difícil em áudio. A troca para outra voz fazendo uma pergunta funciona como um cabeçalho de seção mais acessível.

No entanto, uma coisa que não defini bem foi o critério de avaliação. Minha abordagem foi: «Imagine que este é o resumo do artigo apresentado por um aluno em um seminário de pós-graduação baseado em artigos. Que nota eu daria a esse aluno?»

Mas algumas pessoas avaliaram como se fosse um graduando resumindo o artigo (implicitamente, um graduando sem muita experiência em pesquisa, e não aqueles que atuam como alunos de pós-graduação). Isso levou a uma certa "inflação" das notas, devido às diferentes expectativas.

Basta! Chega! Isso já está parecendo aquelas receitas que começam com três parágrafos sobre a infância e viagens do autor. Eu sei por que você realmente está aqui: só quer ver as notas!

Artigo	Áreas	Nota 1	Nota 2	Nota 3	Nota 4
Conceptual Mutation Testing	Educação em CS, SE	C+	B+	B	B
Little Tricky Logics	Lógica, fatores humanos	D	C-	F	F
Rust ownership models	LP, visualização, fatores humanos	C-	D	B+ / C
R types	LP	C-		B-
Gradual Soundness	LP, SE	C	B	C

Problemas comuns: comete alguns erros, mas, acima de tudo, deixa de fora muitas informações importantes, incluindo algumas das ideias mais essenciais. Frequentemente, os resumos se concentram no contexto e no pano de fundo – partes que podem estar nos LLMs – e não tanto no artigo em si.

É exatamente como um pesquisador iniciante: tem uma noção geral do tema, mas nem sempre sabe no que focar. Às vezes consegue captar bem a ideia principal (especialmente para artigos mais "rasos"), mas com frequência deixa de fora alguns ou todos os elementos que tornam este artigo valioso.

No geral, qualquer coisa que ajude mais pessoas a aprender é algo positivo. Mas, no momento, há maneiras bem melhores de alcançar esse objetivo. (É por isso que escrevemos blogs!) O Illuminate certamente irá melhorar! Mas, por enquanto, sinto dizer que você ainda vai ter que ler os artigos. (-:

Os artigos estão em https://blog.brownplt.org/