A CAPES tem como uma de suas finalidades a avaliação de Programas de Pós-Graduação stricto sensu no Brasil (atualmente a cada 4 anos). Um dos principais critérios dessa avaliação consiste na produção intelectual desenvolvida pelos mestrados e doutorados. E um dos fatores decisivos para aferir essa produção é a publicação de artigos em periódicos científicos. Para medir a qualidade das publicações, a CAPES criou o Sistema Qualis Periódicos – política institucional que, a partir de determinados critérios, classifica em 8 níveis as revistas que publicaram durante o quadriênio artigos de docentes e discentes dos PPGs, atribuindo uma quantidade de pontos para cada artigo: A1 (100 pontos), A2 (85 pontos), B1 (70 pontos), B2 (55 pontos), B3 (40 pontos), B4 (25 pontos), B5 (10 pontos) e C (0 ponto). Além de avaliar quantitativamente a produção intelectual dos programas, há um critério de análise que consiste na “produção qualificada”: a publicação nos estratos mais elevados do Qualis. Na última avaliação da área de Direito, foram assim consideradas as publicações de artigos nos estratos A1 e A2.

Ao definir critérios para a classificação de revistas, o Qualis acaba por estimular os periódicos a cumprirem requisitos mínimos para que os artigos recebam alguma pontuação (tais como a presença de Conselho Editorial, ISSN, avaliação cega dos artigos por pares, título, resumo e palavras-chave no idioma do artigo e em inglês, etc.). Mas não só. O sistema também estimula tais veículos a atenderem os critérios estabelecidos para o alcance dos estratos mais elevados da classificação, uma vez que quanto mais alto o Qualis da revista, maior será a sua procura por pesquisadores integrantes de programas de excelência que pretendem ver seus trabalhos publicados nos melhores periódicos.

A escolha de quais critérios permitirão que uma revista seja classificada como A1 ou A2 é uma decisão estratégica. Ela pautará o comportamento dos editores de periódicos e, por sua vez, a própria atuação dos pesquisadores. Se para ser A1 uma revista nacional precisa ter 75% de exogenia dos autores (isto é, se ¾ dos autores de artigos de cada número tiverem de ser afiliados a instituições de fora do Estado da federação em que se encontra a instituição promotora do periódico), os editores passarão a rejeitar artigos de autores vinculados a universidades da mesma unidade federativa do ente que promove a revista. E os autores, a seu turno, passarão a submeter os seus artigos a revistas de Estados diversos dos seus, buscando ampliar as chances de publicação do trabalho em revistas bem classificadas.

Definir critérios para a classificação de revistas, portanto, é estabelecer a política que determinará os rumos da própria forma de se fazer pesquisa no país. Se a maior parte das revistas A1 e A2 de determinada Área do Conhecimento for composta por periódicos nacionais, a tendência será a concentração das publicações nesse segmento. Logo, se um dos objetivos da CAPES para elevar o nível de excelência da pós-graduação brasileira for o da internacionalização (no caso do Direito, esse objetivo é explícito no Documento de Área), será necessário adotar critérios que possibilitem que um número mais expressivo de revistas estrangeiras atinja os estratos superiores. Do contrário, o estímulo aos pesquisadores será o de publicar seus artigos em veículos científicos nacionais.

A política de classificação de periódicos, fator decisivo no processo de avaliação e atribuição de nota aos programas, deve estar em consonância com as diretrizes da CAPES que irão reger a política de avaliação da pós-graduação stricto sensu no país. Conforme asseverado por Otavio Luiz Rodrigues, Ingo Wolfgang Sarlet e Felipe Chiarello de Souza (.O futuro da pós-graduação em Direito no Brasil. Folha de S. Paulo. 21.12.2017. Disponível em: https://goo.gl/C73QvT . Acesso em: 11 jan. 2018), há três diretrizes que devem ser adotadas no momento atual: (i) internacionalização; (ii) previsibilidade; e (iii) adequação dos mecanismos de avaliação e consolidação dos dados às especificidades da área. Na última avaliação da CAPES, relativa ao quadriênio 2013-2016, a Comissão Qualis Periódicos da Área do Direito adotou um conjunto de critérios para classificar as revistas nacionais e outro para a estratificação dos periódicos estrangeiros. Uma apreciação do trabalho realizado em relação à classificação das revistas estrangeiras nos estratos considerados como “produção qualificada” na última avaliação (A1 e A2) permite suscitar importantes reflexões para as ações futuras. É possível empreender esse balanço tomando como base as três diretrizes mencionadas.

I – Obstáculos à internacionalização

O primeiro aspecto que chama atenção consiste no percentual de revistas estrangeiras que ocupam os estratos A1 e A2 em comparação com a porcentagem das nacionais:

A busca na Plataforma Sucupira indica um total de 229 registros de revistas A1 e A2 no Direito. Porém, 72 deles são repetições de determinadas revistas (algumas possuem o registro da versão eletrônica distinto do registro da versão impressa, outras possuem registros distintos com abreviações ou variações do título). Na realidade, são 156 revistas na faixa A da Área do Direito somando-se nacionais e estrangeiras.

Nota-se que quase 60% daquilo que se considera “produção qualificada” na Área do Direito compõe-se de revistas brasileiras. No estrato A1 o percentual chega a quase 70% do total. Esse índice é muito expressivo, considerando-se que em outras Áreas do Conhecimento as revistas estrangeiras dominam a faixa A, em razão dos critérios adotados pelas respectivas Comissões Qualis Periódicos, que estimulam a internacionalização das publicações. Ademais, em relação às revistas B1 na área do Direito, se descontados os registros repetidos, observa-se que há um total de 236 revistas, sendo 113 delas (48%) estrangeiras. Ou seja, há 113 periódicos estrangeiros que contaram com produções de professores e alunos de PPGs, mas não alcançaram os estratos A1 e A2 (considerados como “produção qualificada” na última avaliação). É preciso, pois, averiguar por qual motivo no Direito a quantidade de periódicos de outros países é tão reduzida nos dois estratos mais elevados e tão presente no estrato B1.

Um dos critérios específicos fixados pela Comissão como condição mínima para que as revistas estrangeiras fossem alçadas a A1, A2 e mesmo B1 era possuir “vínculo com instituições científicas ou acadêmicas classificadas dentre as 500 melhores segundo os principais rankings internacionais”, assim considerados os seguintes: Academic Ranking of World Universities (ARWU), QS World University Ranking, Times Higher Education (THE) e SCImago Institutions Rankings (SIR).

O critério, por si só, é problemático por pelo menos três motivos: (i) grande parte das revistas científicas estrangeiras de maior prestígio na Área do Direito não são promovidas por universidades, mas sim por editoras comerciais ou institutos e associações científicas não universitárias; (ii) tais rankings são dominados por revistas de países de língua inglesa como Estados Unidos e Inglaterra, oriundos de tradições jurídicas distintas da brasileira, prejudicando a boa classificação de periódicos promovidos por entidades de países da América Latina e da Europa continental, com os quais o Direito brasileiro possui maior afinidade; (iii) nem sempre as universidades classificadas entre as 500 primeiras obtiveram tal posição nos rankings em razão de possuírem boas Faculdades de Direito, podendo esse critério resultar em uma boa classificação de revistas promovidas por instituições que, embora destacadas em outras áreas, não sejam referência no Direito, além de deixar de fora revistas promovidas pelas melhores Escolas de Direito pertencentes a universidades que, na avaliação geral de todos os cursos, não alcançaram o topo dos rankings.

Some-se a isso o fato de que, conforme se verá no próximo tópico referente à diretriz da previsibilidade, tal critério enunciado nem sempre foi observado. Verifique-se a tabela a seguir:

A demonstração de que o critério eleito não é adequado reside, entre outros, em dois fatores primordiais. O primeiro deles consiste no fato de que 42,2% das revistas estrangeiras classificadas como A1 e A2 não são promovidas por universidades. Portanto, é evidente que o parâmetro dos rankings internacionais indicados não tem como ser aplicado, já que deles só constam as universidades, não as editoras, nem as associações científicas. O segundo está na constatação de que 56,2% das revistas estrangeiras A1 e A2 ou não são promovidas por universidades, ou o são por universidades não incluídas entre as 500 primeiras nos rankings indicados.

É importante destacar que o conjunto de revistas estrangeiras aqui analisado se restringe àquelas que foram avaliadas no último quadriênio e que obtiveram Qualis A1 e A2. Não se fez menção aqui aos 113 periódicos estrangeiros classificados como B1, nem ao universo enorme de periódicos prestigiosos de outros países que não foram atrativos para os pesquisadores brasileiros do Direito entre 2013-2016 justamente pelo fato de que não atendiam a essa exigência da Comissão Qualis Periódicos, de sorte que a sua utilização gerou um desestímulo à publicação nesses outros veículos. Os docentes preferiram investir nos periódicos nacionais, que ocupam 59% da faixa A, ou nos estrangeiros que poderiam vir a receber tal qualificação.

No entanto, como se viu, mesmo periódicos estrangeiros que não cumpriram esse requisito mínimo para atingir A1 e A2 conseguiram obter essa classificação. Na realidade, 56,2% deles não atendiam à exigência, e ainda assim foram alçados aos estratos superiores do Qualis. Surge aqui a necessidade de se refletir sobre a segunda diretriz antes citada: a da previsibilidade.

II – Problemas de previsibilidade

Os processos de avaliação de periódicos precisam ser dotados de previsibilidade. O pesquisador precisa saber, com segurança, se a revista estrangeira na qual irá veicular sua pesquisa receberá ou não uma boa avaliação no Qualis. A classificação não pode ser uma surpresa.

Um primeiro problema identificado é o de que os critérios adotados no último quadriênio não indicaram quais fatores permitiriam enquadrar um periódico estrangeiro especificamente em cada um dos estratos da faixa B2 a B5. Foram definidos critérios mínimos que, se descumpridos, classificariam a revista como C. São eles: São eles: (i) linha editorial; (ii) ISSN; (iii) 3 números publicados; (iv) página web; (v) periodicidade aferida do mesmo modo que os periódicos nacionais; (vi) normas de submissão; (vii) afiliação institucional dos autores dos artigos; (viii) presença em pelos menos duas das seguintes bases de indexação ou bases similares: Latindex, IBSS, IBICT, RVBI, EZB, Diadorim, Portal de Periódicos da Capes, VLex, Ulrich, HeinOnline, Sumário de Revistas Brasileiras, CiteFactor, DOAJ, SherpaRomeu, HAPI, Dialnet, Academic, Journals Database, ICAP Proquest, Ebsco, Clase, REDIB, Redalyc (BRASIL. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Relatório da Avaliação Quadrienal 2017 – Direito. Disponível em: https://goo.gl/hbQaNH. Acesso em 18 mar. 2018).  Uma vez atendidos, habilitariam o periódico a receber de B5 para cima. Ademais, indicou-se, como já dito, que para se tornar A1, A2 ou B1 o periódico deveria ser vinculado a uma universidade constante de um dos 4 rankings internacionais mencionados. Porém, não se explicou qual parâmetro diferenciaria a inserção da revista nos estratos B2, B3, B4 ou B5. Esse aspecto precisa ser corrigido.

Um segundo problema decorreu do fato de que nos dois primeiros anos do quadriênio (2013 e 2014) não houve, por conta do processo de mudança da Coordenação da Área e respectivas comissões, nova classificação dos periódicos. Os pesquisadores, então, pautaram-se no Qualis do período avaliativo anterior (2010-2012) para submeter seus artigos às revistas estrangeiras nos primeiros anos do quadriênio seguinte. Em 2015, quando foi feita a primeira classificação de periódicos do quadriênio, divulgou-se um novo resultado da estratificação das revistas (inclusive as estrangeiras), diverso do anterior, com aplicação retroativa. Ou seja, um professor que em 2013 e 2014 publicou em uma revista de outro país até então considerada A1 (pois vigente ainda a avaliação de 2010-2012), na metade de 2015 descobriu que aquele artigo valeria como publicação de estrato inferior, porque os critérios foram modificados e aplicados retroativamente. A exigência de vínculo da revista com universidades bem ranqueadas, por exemplo, foi um parâmetro novo surgido em 2015 (terceiro ano do quadriênio), não constante da avaliação anterior, que acabou por prejudicar a previsibilidade do processo.

Um terceiro problema a ser relatado consiste na flexibilidade constatada em relação ao cumprimento dos critérios anunciados. Segundo o documento publicado no sítio eletrônico da CAPES relativo ao Qualis Periódicos na Área do Direito, os critérios para classificar um periódico estrangeiro como A1 ou A2 seriam: (i) cumprir os requisitos mínimos (v.g., ter linha editorial, ISSN, normas de submissão, etc.); (ii) ter vínculo com instituições classificadas entre as 500 melhores segundo os 4 rankings internacionais de universidades citados como os principais; (iii) em se tratando de revistas cuja área predominante pertencesse às Ciências Sociais Aplicadas e Ciências Humanas, a classificação se daria respeitando o estrato da sua área de origem.

Foi realizado um estudo por Emerson Gabardo, Daniel Wunder Hachem e Guilherme Hamada de todos os periódicos estrangeiros classificados como A1 e A2 na área do Direito na última avaliação quadrienal, indicando (i) Qualis; (ii) ISSN; (ii) nome do periódico; (iii) país; (iv) site; (v) instituição promotora; (vi) posição da instituição nos 4 rankings indicados pela CAPES; (vii) existência ou não de atribuição de Qualis equivalente por outra área das Ciências Humanas ou das Ciências Sociais Aplicadas; (viii) situação da revista em relação ao cumprimento dos critérios mínimos da área; (ix) índice de impacto no JCR ou SJR; (x) área predominante da revista. (O estudo foi desenvolvido para a elaboração do artigo GABARDO, Emerson; HACHEM, Daniel Wunder; HAMADA, Guilherme. Sistema Qualis: análise crítica da política de avaliação de periódicos científicos no Brasil. Revista do Direito, Santa Cruz do Sul, v. 1, n. 54, jan./abr. 2018 [artigo em vias de publicação]. Uma planilha com os resultados detalhados do estudo pode ser acessada pelo link: https://goo.gl/yr5tWZ. Do resultado dessa análise, é possível extrair os seguintes dados:

Verifica-se que 34,4% das revistas estrangeiras A1 e A2 não cumprem as exigências mínimas indicadas pela Comissão para receberem essa classificação, vale dizer, não são promovidos por universidades ranqueadas entre as 500 primeiras, nem receberam Qualis A1 ou A2 em sua área de origem (no caso de periódicos de outras áreas). No caso das revistas A1, o percentual é superior a 40%. A não aplicação, no momento da avaliação, dos critérios previamente anunciados pela Comissão em documento oficial é também fator prejudicial à previsibilidade do processo avaliativo. Afinal, se há periódicos estrangeiros classificados como A1 e A2 que não atendiam às exigências antes divulgadas, houve prejuízo a pesquisadores que perderam a oportunidade de publicar em revistas de outros países pelo receio de que elas não recebessem boa classificação em razão de não cumprirem os requisitos que, no final, não foram efetivamente observados.

Além disso, a diferenciação entre os estratos A1 e A2 para as revistas estrangeiras pautou-se, segundo o documento, no seguinte critério exigido para A1: ter índice de impacto do Journal Citation Reports ou no Scimago Journal Rank. Do estudo acima citado, é possível deduzir o seguinte quadro a esse respeito:

Dessa tabela se denota que 16,7% das revistas estrangeiras A1 não cumpriam a exigência indicada para a classificação nesse estrato, e que 37,5% das revistas A2 cumpriam a exigência para estarem no estrato A1 e não A2. Entre janeiro de 2013 (primeiro mês do período avaliativo) e dezembro de 2016 (último mês do quadriênio), não havia previsão de exceção para esse critério. No dia 13 de dezembro de 2016, com a publicação do documento “Considerações sobre Qualis Periódicos – Direito”, foi inserida uma exceção na nota de rodapé n. 9, segundo a qual “Excepcionalmente, a Área poderá classificar A1 periódico estrangeiro que atenda critérios para A2, mas que não tenha índice de impacto JCR ou SJR medido, que seja reconhecido como periódico com grande importância para uma ou mais subáreas, com o objetivo de induzir a internacionalização dos Programas da Área, devendo fundamentar no relatório da classificação, para dar amplo conhecimento da decisão”.

Além de ser problemática em termos de previsibilidade a criação de cláusula de exceção no último ano do quadriênio, na prática, ela não foi cumprida. Não houve indicação, nem fundamentação, para justificar o fato de que 16,7% das revistas estrangeiras A1 não cumpriam o requisito para tal classificação, e de que 37,5% dos periódicos que atendiam às exigências para tanto não receberam o enquadramento condizente.

Certamente que o enorme número de publicações a serem avaliadas pela Comissão gera dificuldades práticas, oriundas do excesso de trabalho. Daí a importância de compor comissões com um número suficiente de integrantes que participem efetivamente do processo. Ademais, é imprescindível dar aos programas de pós-graduação a oportunidade de auxiliarem a Comissão enviando formulários que indiquem objetivamente o cumprimento, pelas revistas estrangeiras que publicaram artigos de seus professores e alunos, dos critérios exigidos para a classificação de periódicos no Qualis. No último quadriênio, a avaliação dos periódicos estrangeiros foi realizada diretamente pela Comissão mediante busca das informações de cada revista na internet, sem haver chamada aos coordenadores dos programas para fornecer as informações básicas dos periódicos, algo que possibilitaria a simples conferência posterior pela Comissão.

III – Ausência de adequação dos mecanismos avaliativos à singularidade da Área do Direito

O último ponto a ser considerado diz respeito à necessidade de adequar os instrumentos de avaliação às especificidades da Área do Direito. Nesse tocante, é essencial que os critérios adotados para classificar as revistas estrangeiras sejam compatíveis com a realidade e as peculiaridades dos periódicos jurídicos. Do contrário, serão privilegiadas revistas de outras áreas do conhecimento, que nem sempre admitem a publicação de pesquisas desenvolvidas pelos investigadores do Direito.

Cumpre verificar se os parâmetros até aqui adotados: (i) sob o ponto de vista geográfico, prestigiam países com os quais o Direito brasileiro guarda afinidade; (ii) sob a perspectiva das áreas de conhecimento, privilegiam revistas voltadas à publicação de pesquisas jurídicas.

Quanto à primeira questão, do estudo antes mencionado constata-se a presença dos seguintes países:

Analisando-se conjuntamente os estratos da faixa A, observa-se, conforme a tabela a seguir, que do total de 64 periódicos estrangeiros classificados como A1 e A2, 29 deles (45,3%) estão sediados em países anglófonos (Estados Unidos, Reino Unido e Canadá); já 27 (42,2%) estão sediados na Europa Continental, 7 (11%) em países latino-americanos e 1 (1,5%) em país da Ásia.

A presença predominante de periódicos publicados em países anglófonos decorre do critério básico adotado para a classificação: foram privilegiadas revistas de universidades bem ranqueadas no âmbito internacional, o que gerou um predomínio de veículos promovidos por instituições dos Estados Unidos e do Reino Unido. O problema desse resultado está no fato de que tais países, embora indiscutivelmente importantes e aptos a serem objeto de interlocução com juristas brasileiros, pertencem ao sistema do Common Law, ao passo que o Direito nacional advém da tradição do Civil Law. Significa dizer que, nada obstante o diálogo com tais países ser em alguns casos possível, na grande maioria das vezes os assuntos a serem investigados não guardam denominadores comuns, tornando uma expressiva parte das pesquisas brasileiras desinteressantes para tais periódicos. A constatação de que somente 11% das revistas estrangeiras na faixa A provenham de países da América Latina é preocupante, notadamente quando a Constituição de 1988 enuncia em seu art. 4º, parágrafo único, que “A República Federativa do Brasil buscará a integração econômica, política, social e cultural dos povos da América Latina, visando à formação de uma comunidade latino-americana de nações”. A política adotada destoa da orientação determinada pela ordem constitucional e desestimula sobremaneira a publicação de professores brasileiros em periódicos estrangeiros e, principalmente, latino-americanos.

Em relação ao segundo fator apontado, relativo às áreas de conhecimento das revistas estrangeiras A1 e A2 na Área do Direito, tem-se o seguinte panorama:

Percebe-se que os critérios adotados para avaliar as revistas estrangeiras acabaram por privilegiar revistas de outras Áreas do Conhecimento que não o Direito. Do total de revistas na faixa A, 37,5% delas são periódicos de outras áreas, tais como Filosofia, Sociologia, Ciências Sociais, Ciência Política e Relações Internacionais, Economia, Administração, Ciências Humanas, Administração, Antropologia, Geografia, Ciências da Saúde e Interdisciplinar. Ainda que a interdisciplinaridade seja algo interessante, não se pode deixar de reconhecer que grande parte da produção intelectual desenvolvida no âmbito da dogmática jurídica não será aceita por esses quase 40% dos periódicos estrangeiros classificados como A1 e A2. O efeito desse resultado será a opção, pelos pesquisadores do Direito, de submeterem seus artigos a revistas A1 e A2 brasileiras, especializadas em suas respectivas áreas, no lugar de enviarem suas produções para os periódicos estrangeiros.

Todos esses aspectos devem ser objeto de reflexão para fins de aprimoramento do Sistema Qualis na Área do Direito, de modo que os parâmetros adotados para avaliar e classificar as revistas estrangeiras possam operar como incentivos aos pesquisadores brasileiros a publicarem seus trabalhos em periódicos de outros países. A escolha dos critérios e a forma de aplicá-los deverá levar em conta as diretrizes de estímulo à internacionalização, de previsibilidade e de adequação às peculiaridades da Área do Direito.