{rfName}
Re

Indexat a

Llicència i ús

Altmetrics

Anàlisi d'autories institucional

Schellaert, WAutor o coautorMartínez-Plumed, FAutor o coautorHernández-Orallo, JAutor o coautor

Compartir

28 d’octubre de 2024
Publicacions
>
Editorial
No

Rethink reporting of evaluation results in AI Aggregate metrics and lack of access to results limit understanding

Publicat a:Science. 380 (6641): adf6369-138 - 2023-04-14 380(6641), DOI: 10.1126/science.adf6369

Autors: Burnell, Ryan; Schellaert, Wout; Burden, John; Ullman, Tomer D; Martinez-Plumed, Fernando; Tenenbaum, Joshua B; Rutar, Danaja; Cheke, Lucy G; Sohl-Dickstein, Jascha; Mitchell, Melanie; Kiela, Douwe; Shanahan, Murray; Cohn, Anthony G; Leibo, Joel Z; Hernandez-Orallo, Jose

Afiliacions

- Autor o coautor
DeepMind - Autor o coautor
Google, Brain Team - Autor o coautor
Harvard Univ, Dept Psychol - Autor o coautor
Imperial Coll London, Dept Comp - Autor o coautor
MIT, Dept Brain & Cognit Sci - Autor o coautor
Shandong Univ - Autor o coautor
Stanford Univ - Autor o coautor
Univ Cambridge, Ctr Study Existential Risk - Autor o coautor
Univ Cambridge, Dept Psychol - Autor o coautor
Univ Cambridge, Leverhulme Ctr Future Intelligence - Autor o coautor
Univ Politecn Valencia, Valencian Res Inst Artificial Intelligence - Autor o coautor
Veure més

Resum

Aggregate metrics and lack of access to results limit understanding. Copyright © 2023 The Authors, some rights reserved.

Paraules clau

ArticleArtificial intelligenceAssessment methodReproducibility

Indicis de qualitat

Impacte bibliomètric. Anàlisi de la contribució i canal de difusió

El treball ha estat publicat a la revista Science a causa de la seva progressió i el bon impacte que ha aconseguit en els últims anys, segons l'agència WoS (JCR), s'ha convertit en una referència en el seu camp. A l'any de publicació del treball, 2023, es trobava a la posició 3/134, aconseguint així situar-se com a revista Q1 (Primer Cuartil), en la categoria Multidisciplinary Sciences. Destacable, igualment, el fet que la revista està posicionada per sobre del Percentil 90.

Des d'una perspectiva relativa, i tenint en compte l'indicador de impacte normalitzat calculat a partir de les Citacions Mundials proporcionades per WoS (ESI, Clarivate), proporciona un valor per a la normalització de citacions relatives a la taxa de citació esperada de: 7.33. Això indica que, comparat amb treballs en la mateixa disciplina i en el mateix any de publicació, el situa com un treball citat per sobre de la mitjana. (font consultada: ESI 14 Nov 2024)

Aquesta informació es reforça amb altres indicadors del mateix tipus, que encara que dinàmics en el temps i dependents del conjunt de citacions mitjanes mundials en el moment del seu càlcul, coincideixen a posicionar en algun moment el treball, entre el 50% més citats dins de la seva temàtica:

  • Mitjana Ponderada de l'Impacte Normalitzat de l'agència Scopus: 17 (font consultada: FECYT Febr 2024)
  • Field Citation Ratio (FCR) de la font Dimensions: 46.81 (font consultada: Dimensions Jul 2025)

Concretament, i atenent a les diferents agències d'indexació, aquest treball ha acumulat, fins a la data 2025-07-07, el següent nombre de cites:

  • WoS: 40
  • Scopus: 34
  • Europe PMC: 8

Impacte i visibilitat social

Des de la dimensió d'influència o adopció social, i prenent com a base les mètriques associades a les mencions i interaccions proporcionades per agències especialitzades en el càlcul de les denominades "Mètriques Alternatives o Socials", podem destacar a data 2025-07-07:

  • L'ús, des de l'àmbit acadèmic evidenciat per l'indicador de l'agència Altmetric referit com a agregacions realitzades pel gestor bibliogràfic personal Mendeley, ens dona un total de: 57.
  • L'ús d'aquesta aportació en marcadors, bifurcacions de codi, afegits a llistes de favorits per a una lectura recurrent, així com visualitzacions generals, indica que algú està fent servir la publicació com a base del seu treball actual. Això pot ser un indicador destacat de futures cites més formals i acadèmiques. Aquesta afirmació està avalada pel resultat de l'indicador "Capture", que aporta un total de: 66 (PlumX).

Amb una intenció més de divulgació i orientada a audiències més generals, podem observar altres puntuacions més globals com:

  • El Puntuació total de Altmetric: 176.3.
  • El nombre de mencions a la xarxa social Facebook: 1 (Altmetric).
  • El nombre de mencions a la xarxa social X (abans Twitter): 165 (Altmetric).
  • El nombre de mencions a mitjans de comunicació: 10 (Altmetric).

Anàlisi del lideratge dels autors institucionals

Aquest treball s'ha realitzat amb col·laboració internacional, concretament amb investigadors de: China; United Kingdom; United States of America.

Hi ha un lideratge significatiu, ja que alguns dels autors pertanyents a la institució apareixen com a primer o últim signant, es pot apreciar en el detall: Últim Autor (Hernández Orallo, José).