{rfName}
Yo

Indexado en

Licencia y uso

Citaciones

21

Altmetrics

Análisis de autorías institucional

Schellaert, WAutor (correspondencia)Martínez-Plumed, FAutor o CoautorHernández-Orallo, JAutor o Coautor

Compartir

Publicaciones
>
Artículo

Your Prompt is My Command: On Assessing the Human-Centred Generality of Multimodal Models

Publicado en:Journal Of Artificial Intelligence Research. 77 377-394 - 2023-01-01 77(), DOI: 10.1613/jair.1.14157

Autores: Schellaert, Wout; Martinez-Plumed, Fernando; Vold, Karina; Burden, John; Casares, Pablo A M; Loe, Bao Sheng; Reichart, Roi; hEigeartaigh, Sean O; Korhonen, Anna; Hernandez-Orallo, Jose

Afiliaciones

- Autor o Coautor
Technion Israel Inst Technol - Autor o Coautor
Univ Cambridge, Language Technol Lab LTL - Autor o Coautor
Univ Cambridge, Leverhulme Ctr Future Intelligence - Autor o Coautor
Univ Cambridge, Psychometr Ctr - Autor o Coautor
Univ Complutense Madrid - Autor o Coautor
Univ Politecn Valencia, VRAIN - Autor o Coautor
Univ Toronto, Inst Hist & Philosophy Sci & Technol, Toronto - Autor o Coautor
Ver más

Resumen

Even with obvious deficiencies, large prompt-commanded multimodal models are proving to be flexible cognitive tools representing an unprecedented generality. But the directness, diversity, and degree of user interaction create a distinctive human-centred generality (HCG), rather than a fully autonomous one. HCG implies that-for a specific user- a system is only as general as it is effective for the user's relevant tasks and their prevalent ways of prompting. A human-centred evaluation of general-purpose AI systems therefore needs to reflect the personal nature of interaction, tasks and cognition. We argue that the best way to understand these systems is as highly-coupled cognitive extenders, and to analyse the bidirectional cognitive adaptations between them and humans. In this paper, we give a formulation of HCG, as well as a high-level overview of the elements and trade-offs involved in the prompting process. We end the paper by outlining some essential research questions and suggestions for improving evaluation practices, which we envision as characteristic for the evaluation of general artificial intelligence in the future.

Palabras clave

Ai systemsCognitive adaptationCognitive toolEconomic and social effectsHuman-centered evaluationInformationInternetMemoryMultimodal modelsResearch questionsTrade offUser interactionUser interfaces

Indicios de calidad

Impacto bibliométrico. Análisis de la aportación y canal de difusión

El trabajo ha sido publicado en la revista Journal Of Artificial Intelligence Research debido a la progresión y el buen impacto que ha alcanzado en los últimos años, según la agencia Scopus (SJR), se ha convertido en una referencia en su campo. En el año de publicación del trabajo, 2023, se encontraba en la posición , consiguiendo con ello situarse como revista Q1 (Primer Cuartil), en la categoría Artificial Intelligence.

Desde una perspectiva relativa, y atendiendo al indicador del impacto normalizado calculado a partir de las Citas Mundiales proporcionadas por WoS (ESI, Clarivate), arroja un valor para la normalización de citas relativas a la tasa de citación esperada de: 1.28. Esto indica que, de manera comparada con trabajos en la misma disciplina y en el mismo año de publicación, lo ubica como trabajo citado por encima de la media. (fuente consultada: ESI 14 Nov 2024)

Esta información viene reforzada por otros indicadores del mismo tipo, que aunque dinámicos en el tiempo y dependientes del conjunto de citaciones medias mundiales en el momento de su cálculo, coinciden en posicionar en algún momento al trabajo, entre el 50% más citados dentro de su temática:

  • Media Ponderada del Impacto Normalizado de la agencia Scopus: 1.19 (fuente consultada: FECYT Feb 2024)
  • Field Citation Ratio (FCR) de la fuente Dimensions: 10.94 (fuente consultada: Dimensions Jun 2025)

De manera concreta y atendiendo a las diferentes agencias de indexación, el trabajo ha acumulado, hasta la fecha 2025-06-26, el siguiente número de citas:

  • WoS: 9
  • Scopus: 12
  • OpenCitations: 7

Impacto y visibilidad social

Desde la dimensión de Influencia o adopción social, y tomando como base las métricas asociadas a las menciones e interacciones proporcionadas por agencias especializadas en el cálculo de las denominadas “Métricas Alternativas o Sociales”, podemos destacar a fecha 2025-06-26:

  • El uso, desde el ámbito académico evidenciado por el indicador de la agencia Altmetric referido como agregaciones realizadas por el gestor bibliográfico personal Mendeley, nos da un total de: 16.
  • La utilización de esta aportación en marcadores, bifurcaciones de código, añadidos a listas de favoritos para una lectura recurrente, así como visualizaciones generales, indica que alguien está usando la publicación como base de su trabajo actual. Esto puede ser un indicador destacado de futuras citas más formales y académicas. Tal afirmación es avalada por el resultado del indicador “Capture” que arroja un total de: 16 (PlumX).

Con una intencionalidad más de divulgación y orientada a audiencias más generales podemos observar otras puntuaciones más globales como:

  • El Score total de Altmetric: 9.15.
  • El número de menciones en la red social X (antes Twitter): 13 (Altmetric).

Análisis de liderazgo de los autores institucionales

Este trabajo se ha realizado con colaboración internacional, concretamente con investigadores de: Canada; Israel; United Kingdom.

Existe un liderazgo significativo ya que algunos de los autores pertenecientes a la institución aparecen como primer o último firmante, se puede apreciar en el detalle: Primer Autor (Schellaert, Wout Willy M.) y Último Autor (Hernández Orallo, José).

el autor responsable de establecer las labores de correspondencia ha sido Schellaert, Wout Willy M..