{rfName}
Le

Indexado en

Licencia y uso

Icono OpenAccess

Citaciones

55

Altmetrics

Grant support

This work was supported by the Agencia Estatal de Investigacion of the Spanish Ministerio de Ciencia e Innovacion under contract PID2019-105142RB-C22/AEI/10.13039/501100011033, and the United States National Institutes of Health National Cancer Institute Grants U01CA220401 and U24CA19436201. P.M. contribution was mostly before joining Microsoft Research, when he was supported by La Caixa Banking Foundation (ID 100010434, Barcelona, Spain) through La Caixa Fellowship for Doctoral Studies LCF/BQ/ES17/11600011.

Análisis de autorías institucional

López-Pérez, MiguelAutor o Coautor

Compartir

Publicaciones
>
Artículo

Learning from crowds in digital pathology using scalable variational Gaussian processes

Publicado en:Scientific Reports. 11 (1): 11612- - 2021-06-02 11(1), DOI: 10.1038/s41598-021-90821-3

Autores: Lopez-Perez, Miguel; Amgad, Mohamed; Morales-Alvarez, Pablo; Ruiz, Pablo; Cooper, Lee A D; Molina, Rafael; Katsaggelos, Aggelos K

Afiliaciones

Microsoft Res, Cambridge CB1 2FB, England - Autor o Coautor
Northwestern Univ, Ctr Computat Imaging & Signal Analyt, Chicago, IL 60611 USA - Autor o Coautor
Northwestern Univ, Dept Pathol, Chicago, IL 60611 USA - Autor o Coautor
Nothwestern Univ, Dept Elect & Comp Engn, Evanston, IL 60208 USA - Autor o Coautor
OriGenAI, Brooklyn, NY 11201 USA - Autor o Coautor
Univ Granada, Dept Comp Sci & Artificial Intelligence, Granada 18071, Spain - Autor o Coautor
Ver más

Resumen

The volume of labeled data is often the primary determinant of success in developing machine learning algorithms. This has increased interest in methods for leveraging crowds to scale data labeling efforts, and methods to learn from noisy crowd-sourced labels. The need to scale labeling is acute but particularly challenging in medical applications like pathology, due to the expertise required to generate quality labels and the limited availability of qualified experts. In this paper we investigate the application of Scalable Variational Gaussian Processes for Crowdsourcing (SVGPCR) in digital pathology. We compare SVGPCR with other crowdsourcing methods using a large multi-rater dataset where pathologists, pathology residents, and medical students annotated tissue regions breast cancer. Our study shows that SVGPCR is competitive with equivalent methods trained using gold-standard pathologist generated labels, and that SVGPCR meets or exceeds the performance of other crowdsourcing methods based on deep learning. We also show how SVGPCR can effectively learn the class-conditional reliabilities of individual annotators and demonstrate that Gaussian-process classifiers have comparable performance to similar deep learning methods. These results suggest that SVGPCR can meaningfully engage non-experts in pathology labeling tasks, and that the class-conditional reliabilities estimated by SVGPCR may assist in matching annotators to tasks where they perform well.

Palabras clave

Breast neoplasmsCrowdsourcingDeep learningFemaleHistocytochemistryHumansNormal distributionSoftware

Indicios de calidad

Impacto bibliométrico. Análisis de la aportación y canal de difusión

El trabajo ha sido publicado en la revista Scientific Reports debido a la progresión y el buen impacto que ha alcanzado en los últimos años, según la agencia Scopus (SJR), se ha convertido en una referencia en su campo. En el año de publicación del trabajo, 2021, se encontraba en la posición , consiguiendo con ello situarse como revista Q1 (Primer Cuartil), en la categoría Multidisciplinary. Destacable, igualmente, el hecho de que la Revista está posicionada por encima del Percentil 90.

Desde una perspectiva relativa, y atendiendo al indicador del impacto normalizado calculado a partir del Field Citation Ratio (FCR) de la fuente Dimensions, arroja un valor de: 10.13, lo que indica que, de manera comparada con trabajos en la misma disciplina y en el mismo año de publicación, lo ubica como trabajo citado por encima de la media. (fuente consultada: Dimensions Jun 2025)

De manera concreta y atendiendo a las diferentes agencias de indexación, el trabajo ha acumulado, hasta la fecha 2025-06-23, el siguiente número de citas:

  • WoS: 13
  • Scopus: 30
  • Europe PMC: 11
  • Google Scholar: 1
  • Open Alex: 27
  • OpenCitations: 24

Impacto y visibilidad social

Desde la dimensión de Influencia o adopción social, y tomando como base las métricas asociadas a las menciones e interacciones proporcionadas por agencias especializadas en el cálculo de las denominadas “Métricas Alternativas o Sociales”, podemos destacar a fecha 2025-06-23:

  • El uso, desde el ámbito académico evidenciado por el indicador de la agencia Altmetric referido como agregaciones realizadas por el gestor bibliográfico personal Mendeley, nos da un total de: 33.
  • La utilización de esta aportación en marcadores, bifurcaciones de código, añadidos a listas de favoritos para una lectura recurrente, así como visualizaciones generales, indica que alguien está usando la publicación como base de su trabajo actual. Esto puede ser un indicador destacado de futuras citas más formales y académicas. Tal afirmación es avalada por el resultado del indicador “Capture” que arroja un total de: 33 (PlumX).

Con una intencionalidad más de divulgación y orientada a audiencias más generales podemos observar otras puntuaciones más globales como:

  • El Score total de Altmetric: 2.75.
  • El número de menciones en la red social X (antes Twitter): 4 (Altmetric).

Es fundamental presentar evidencias que respalden la plena alineación con los principios y directrices institucionales en torno a la Ciencia Abierta y la Conservación y Difusión del Patrimonio Intelectual. Un claro ejemplo de ello es:

  • El trabajo se ha enviado a una revista cuya política editorial permite la publicación en abierto Open Access.

Análisis de liderazgo de los autores institucionales

Este trabajo se ha realizado con colaboración internacional, concretamente con investigadores de: Granada; United Kingdom; United States of America.

Existe un liderazgo significativo ya que algunos de los autores pertenecientes a la institución aparecen como primer o último firmante, se puede apreciar en el detalle: Primer Autor (López Pérez, Miguel) .