{rfName}
Yo

Indexat a

Llicència i ús

Citacions

21

Altmetrics

Anàlisi d'autories institucional

Schellaert, WAutor (correspondència)Martínez-Plumed, FAutor o coautorHernández-Orallo, JAutor o coautor

Compartir

Publicacions
>
Article

Your Prompt is My Command: On Assessing the Human-Centred Generality of Multimodal Models

Publicat a:Journal Of Artificial Intelligence Research. 77 377-394 - 2023-01-01 77(), DOI: 10.1613/jair.1.14157

Autors: Schellaert, Wout; Martinez-Plumed, Fernando; Vold, Karina; Burden, John; Casares, Pablo A M; Loe, Bao Sheng; Reichart, Roi; hEigeartaigh, Sean O; Korhonen, Anna; Hernandez-Orallo, Jose

Afiliacions

- Autor o coautor
Technion Israel Inst Technol - Autor o coautor
Univ Cambridge, Language Technol Lab LTL - Autor o coautor
Univ Cambridge, Leverhulme Ctr Future Intelligence - Autor o coautor
Univ Cambridge, Psychometr Ctr - Autor o coautor
Univ Complutense Madrid - Autor o coautor
Univ Politecn Valencia, VRAIN - Autor o coautor
Univ Toronto, Inst Hist & Philosophy Sci & Technol, Toronto - Autor o coautor
Veure més

Resum

Even with obvious deficiencies, large prompt-commanded multimodal models are proving to be flexible cognitive tools representing an unprecedented generality. But the directness, diversity, and degree of user interaction create a distinctive human-centred generality (HCG), rather than a fully autonomous one. HCG implies that-for a specific user- a system is only as general as it is effective for the user's relevant tasks and their prevalent ways of prompting. A human-centred evaluation of general-purpose AI systems therefore needs to reflect the personal nature of interaction, tasks and cognition. We argue that the best way to understand these systems is as highly-coupled cognitive extenders, and to analyse the bidirectional cognitive adaptations between them and humans. In this paper, we give a formulation of HCG, as well as a high-level overview of the elements and trade-offs involved in the prompting process. We end the paper by outlining some essential research questions and suggestions for improving evaluation practices, which we envision as characteristic for the evaluation of general artificial intelligence in the future.

Paraules clau

Ai systemsCognitive adaptationCognitive toolEconomic and social effectsHuman-centered evaluationInformationInternetMemoryMultimodal modelsResearch questionsTrade offUser interactionUser interfaces

Indicis de qualitat

Impacte bibliomètric. Anàlisi de la contribució i canal de difusió

El treball ha estat publicat a la revista Journal Of Artificial Intelligence Research a causa de la seva progressió i el bon impacte que ha aconseguit en els últims anys, segons l'agència Scopus (SJR), s'ha convertit en una referència en el seu camp. A l'any de publicació del treball, 2023, es trobava a la posició , aconseguint així situar-se com a revista Q1 (Primer Cuartil), en la categoria Artificial Intelligence.

Des d'una perspectiva relativa, i tenint en compte l'indicador de impacte normalitzat calculat a partir de les Citacions Mundials proporcionades per WoS (ESI, Clarivate), proporciona un valor per a la normalització de citacions relatives a la taxa de citació esperada de: 1.28. Això indica que, comparat amb treballs en la mateixa disciplina i en el mateix any de publicació, el situa com un treball citat per sobre de la mitjana. (font consultada: ESI 14 Nov 2024)

Aquesta informació es reforça amb altres indicadors del mateix tipus, que encara que dinàmics en el temps i dependents del conjunt de citacions mitjanes mundials en el moment del seu càlcul, coincideixen a posicionar en algun moment el treball, entre el 50% més citats dins de la seva temàtica:

  • Mitjana Ponderada de l'Impacte Normalitzat de l'agència Scopus: 1.19 (font consultada: FECYT Febr 2024)
  • Field Citation Ratio (FCR) de la font Dimensions: 10.94 (font consultada: Dimensions Jun 2025)

Concretament, i atenent a les diferents agències d'indexació, aquest treball ha acumulat, fins a la data 2025-06-26, el següent nombre de cites:

  • WoS: 9
  • Scopus: 12
  • OpenCitations: 7

Impacte i visibilitat social

Des de la dimensió d'influència o adopció social, i prenent com a base les mètriques associades a les mencions i interaccions proporcionades per agències especialitzades en el càlcul de les denominades "Mètriques Alternatives o Socials", podem destacar a data 2025-06-26:

  • L'ús, des de l'àmbit acadèmic evidenciat per l'indicador de l'agència Altmetric referit com a agregacions realitzades pel gestor bibliogràfic personal Mendeley, ens dona un total de: 16.
  • L'ús d'aquesta aportació en marcadors, bifurcacions de codi, afegits a llistes de favorits per a una lectura recurrent, així com visualitzacions generals, indica que algú està fent servir la publicació com a base del seu treball actual. Això pot ser un indicador destacat de futures cites més formals i acadèmiques. Aquesta afirmació està avalada pel resultat de l'indicador "Capture", que aporta un total de: 16 (PlumX).

Amb una intenció més de divulgació i orientada a audiències més generals, podem observar altres puntuacions més globals com:

  • El Puntuació total de Altmetric: 9.15.
  • El nombre de mencions a la xarxa social X (abans Twitter): 13 (Altmetric).

Anàlisi del lideratge dels autors institucionals

Aquest treball s'ha realitzat amb col·laboració internacional, concretament amb investigadors de: Canada; Israel; United Kingdom.

Hi ha un lideratge significatiu, ja que alguns dels autors pertanyents a la institució apareixen com a primer o últim signant, es pot apreciar en el detall: Primer Autor (Schellaert, Wout Willy M.) i Últim Autor (Hernández Orallo, José).

l'autor responsable d'establir les tasques de correspondència ha estat Schellaert, Wout Willy M..