A Gamificação da Academia, por Sean Flaherty e Gregg Gordon

Na academia, o ethos deveria ser sobre a busca incansável e descomprometida pela verdade acima de tudo, especialmente quando a verdade é desconfortável. A verdade, ou melhor, 'Veritas', é o lema de Harvard. Idealizamos os mártires da academia na história, como Galileo Galilei, que descobriu as evidências científicas para a teoria copernicana do movimento planetário e passou o resto de sua vida em prisão domiciliar por desafiar a doutrina de sua época. Sabemos o quão importante é a integridade acadêmica, no entanto, muitos estão dispostos a trapacear quando as métricas acadêmicas são gamificadas e os jogadores entendem as mecânicas do jogo. Táticas de gamificação em sistemas que conectam o trabalho do mundo real com ferramentas online podem distorcer os comportamentos das pessoas em qualquer ecossistema. A academia, em particular, é suscetível a esse fenômeno. Isso se deve à natureza da indústria ou é simplesmente um artefato da natureza humana em escala?

Yashihiro Sato, que estudou a interseção entre nutrição e saúde óssea, é considerado por muitos na academia como o maior fraudador acadêmico da história científica. Ele adulterou dados em inúmeras pesquisas clínicas e escreveu artigos subsequentemente publicados em revistas revisadas por pares e de alto impacto. Parte de seu trabalho chegou às diretrizes de tratamento que afetaram vidas humanas reais. Seus dados falsificados também foram usados para apoiar a justificativa de novos estudos clínicos. É uma história triste na academia, mas não é isolada. Em uma meta-análise do problema, Daniele Fanelli descobriu que 1,97% dos acadêmicos admitem fabricar, falsificar ou modificar dados de pesquisa. De volta a Harvard, um professor especializado em honestidade teve seus artigos retratados por desonestidade. Já experimentamos esse fenômeno de acadêmicos manipulando sistemas em primeira mão.

Até 1999, a máquina acadêmica tornou-se tão pesada que levar anos para publicar trabalhos acadêmicos através de periódicos tradicionais era comum. Havia e ainda há uma demanda incrível para acessar conhecimento novo e disponível mais rapidamente. Isso era um bom problema para a Social Science Research Network (SSRN) resolver. Nossa equipe começou a desenvolver o software para apoiar o SSRN, junto com Michael Jensen e uma equipe de editores em Rochester, NY, à medida que a Web amadurecia.

Como tecnólogos, enfrentamos o dilema de amadurecer os sistemas tecnológicos fundamentais do SSRN rapidamente o suficiente para acompanhar a demanda acadêmica aparentemente insaciável pelo conhecimento que o SSRN fornecia. Tínhamos um banco de dados enorme e crescente que incluía trabalhos de pesquisa da maioria das principais universidades do mundo e a atenção da maioria dos acadêmicos nas áreas de ciências sociais. Em 2013, alguns consideravam o SSRN a maior fonte mundial de conteúdo acadêmico livremente disponível. Havíamos descoberto como atrair a atenção dos acadêmicos e estávamos mudando seus comportamentos de maneira selvagem.

Focados em manter a posição do SSRN na hierarquia acadêmica, experimentamos diferentes táticas para impulsionar mais engajamento comunitário. Procurávamos maneiras únicas de visualizar os dados e compartilhá-los de maneiras significativas para os acadêmicos. Um de nossos experimentos iniciais foi com nossa distribuição de e-mails "Top Ten". Começou como um simples experimento para gerar visualizações de conteúdo e aumentar o número de downloads de trabalhos acadêmicos. Enviávamos e-mails aos autores no sistema cujos trabalhos eram os dez mais baixados em um domínio acadêmico no mês. O impacto foi imediato, e a mudança comportamental significativa. Havia algo mágico nos autores, que passaram meses e, em alguns casos, anos pesquisando, vendo seus nomes nas classificações. Vimos autores entrarem nos dias seguintes e fazerem upload de todos os seus trabalhos. Muitos acadêmicos do SSRN pararam de imprimir e distribuir cópias de seus trabalhos. Eles começaram a enviar links por e-mail para seus trabalhos no SSRN para concentrar suas contagens de downloads. Eventualmente, conseguimos construir uma tecnologia sofisticada para extrair, refinar e vincular a lista de referências de cada trabalho acadêmico aos trabalhos de pesquisa que o antecederam. Pouco depois, nossas equipes criaram um conjunto de métricas em torno do "Eigenfactor" score, que era uma tentativa de calcular objetivamente o valor acadêmico ao nível do artigo.

Isso alimentou o desejo das comunidades do SSRN por mais engajamento, conteúdo e entrega de valor à academia. O SSRN era uma startup operando com margens extremamente estreitas. Em nossas reuniões estratégicas, Jensen costumava dizer "Precisamos dar o máximo possível... recuperaremos com o volume". Ele estava convencido de que precisávamos construir a comunidade o mais rápido e abrangente possível. O SSRN estava altamente incentivado a crescer rapidamente porque precisávamos nos defender dos inúmeros concorrentes que surgiram para desafiar nossa posição.

Começamos a experimentar como Gregor Mendel com suas ervilhas quando descobrimos o poder da gamificação. Combinamos uma variedade de métricas e abordagens de disseminação para determinar o que impactaria os uploads, downloads e engajamento geral. Estávamos classificando trabalhos, autores, universidades, departamentos dentro de universidades e organizações dentro de países. Começamos a classificar redes acadêmicas, classificações e até sub-classificações para tentar dar a todos a oportunidade de ver como se comparavam aos seus concorrentes e ao mercado geral. Funcionou a ponto de analistas de notícias de alto perfil estarem usando as classificações do SSRN para ranquear universidades em diferentes domínios. Vimos muitos casos em que acadêmicos começaram a colocar suas classificações e contagens de downloads do SSRN em seus currículos para ajudá-los a aumentar seu valor de mercado e atenção ao mudar entre universidades. Os pesquisadores frequentemente solicitavam "verificação" de suas métricas para incluir em seus pacotes de promoção. Nossas métricas passaram a ter implicações reais nas carreiras das pessoas. Criamos um conjunto de métricas e classificações de artigos, autores, revistas e universidades que chamou mais atenção e gerou maior envolvimento.

Com toda a crescente atenção e incentivos associados às classificações do SSRN, começamos a perceber padrões estranhos em nossos dados de downloads. Alguns artigos estavam rapidamente subindo para o topo da classificação, causando preocupação à equipe. Jensen observou, em mais de uma ocasião, que alguns artigos terríveis alcançaram a classificação mais alta, o que não fazia sentido. Essa conscientização deu início a uma investigação detalhada sobre o que estava acontecendo. Descobrimos várias instâncias de atividades nefastas dentro da comunidade. Enfrentamos isso de frente, criando nosso próprio "Índice de Fraudes", que analisava vários pontos de dados, incluindo a origem dos downloads. Basicamente, era uma relação filtrada de geolocalização e cronometragem em relação aos downloads. Era complicado na época por várias razões, mas descobrimos os prováveis infratores. Uma vez que aprendemos a identificá-los, pudemos impor login e outras ações para rastrear suas atividades.

A mentalidade de "publicar ou perecer" continua a assombrar a academia. Essa mentalidade é a base para a promoção, a titularidade e um incentivo poderoso e subjacente para o reconhecimento e status. Isso leva muitos a tomar decisões e se comportar de maneiras que comprometem sua integridade pessoal e, em alguns casos, têm o potencial de prejudicar suas carreiras. A Teoria da Autodeterminação1 da motivação intrínseca humana descreve a necessidade de autonomia, competência e relacionamento, explicando parcialmente esse fenômeno. A academia tem se concentrado em hierarquias de dominação acadêmica e vários displays de status. O mundo online, sem controles, parece ser um lugar onde você pode exercer autonomia e controlar a percepção do mundo sobre sua competência, ajudando-o a obter vantagem na competição acadêmica. As classificações são proxies para a relevância acadêmica e podem desempenhar um grande papel na economia de atenção acadêmica. É uma poderosa confluência de forças extrinsecamente motivadoras.

Essas forças motivaram um número pequeno, mas não trivial, de acadêmicos a manipular as classificações. Alguns estavam tão desesperados para controlar a percepção de mercado de seu trabalho que estavam dispostos a cometer fraudes, tentando repetidamente manipular as métricas. Em vários casos, quanto mais obstáculos colocávamos, mais eles tentavam encontrar uma maneira de contorná-los. As táticas variavam e não podem ser totalmente divulgadas aqui, mas incluíam ter estudantes de pós-graduação baixando continuamente seus artigos, escrever scripts de software para inflar suas métricas e "promover" indevidamente os downloads de seus artigos.

Esse fenômeno de burlar as métricas na academia é um artefato de pessoas sendo atraídas para o campo em busca de status nas hierarquias de dominação da intelligentsia humana? Ou é um artefato do comportamento humano normal quando táticas de gamificação são inseridas na vida das pessoas?

 Tradução de texto disponível em https://dl.acm.org/doi/10.1145/3625253.