¿Cuántos de cada clase necesito para hacer una curva ROC?

curva-roc

Parece mentira, en el corto espacio de unas horas me he encontrado con el mismo problema, necesito saber cuántos pacientes más reclutar para un estudio de prueba diagnósticas. Ayer, con Belén, viendo los enfermos de lupus que lleva reclutados en su estudio y al advertir los pocos que están en brote (la variable gold standard), me quedé de repente bloqueada sin saber qué decirle (¡Jo!, llevo una semana grabando un curso y estoy durmiendo más bien poco–excusas, Carmon). Pues hoy me llega un correo de César justo planteando lo mismo:

Hola Loreto,

Espero que no pienses que tengo mucho morro por lanzarte esta pregunta “de gratis” pero es que he buscado la info durante demasiado tiempo y se me ha empezado a poner cara de tonto.

Aquí va la pregunta (a elegir una de las dos versiones):

Versión corta: Hay alguna norma que diga qué proporción (o número) de individuos debe de ir como mínimo a una de las dos categorías para calcular una curva ROC?

Versión extendida: Estoy con el diseño de un estudio del que se va a desarrollar un índice de actividad de una enfermedad y, además, se va a aprovechar para hacer una primera aproximación a su validación (=comportamiento del índice). Una cosa que se podría hacer es crear una curva ROC con este índice tomando como referencia unos criterios externos que me permite clasificar a los pacientes como activos o inactivos. Mi problema es que sospecho que tendré poquísimos pacientes en la categoría de inactivos y muchos en la de activos (en total son 170 pacientes). Me podrías decir, cuántos de estos pacientes deberían de caer en la categoría de “inactivos” para que esta curva ROC fuese viable?

Pues bien. No es fácil este cálculo. Por supuesto, como todo cálculo de tamaño muestral, depende del error que estés dispuesto a asumir. Lo pones, alfa = 0,05 y beta = 0,20. A continuación, fijas tu hipótesis, que la curva ROC tiene un área de al menos 0,700 frente a un resultado de “no sirve para nada” que es 0,500 (si es menos de 0,700, no merece la pena la prueba…). Lo último que necesitas es un ratio de positivos / negativos (en cuanto al resultado del gold standard).

Cuanto menor sea el tamaño de un grupo frente a otro (más positivos que negativos o al revés), más sujetos necesitamos. Cuanto más similares en tamaño, menos.

César tiene el tamaño fijado en 170, pero dice que tiene pocos “inactivos”. Supongo un ratio de 1 negativo/10 positivos (en realidad no me lo ha dicho).  Para 170 pacientes necesitaría al menos 16 negativos. Aumentando el ratio 1/20, 1/30, necesito muchos más pacientes y nunca bajo de necesitar 15 negativos.

Belén no ha fijado aún el tamaño. Lleva reclutados 47 y sólo 5 tienen brote (ratio = 1 brote por cada 21 no brotes). Para ver si la prueba que está investigando es útil para discriminar entre los que están en brote o no, vamos, para hacer una curva ROC informativa, hemos calculado que necesita esperar a que sus pacientes (o más que reclute, porque a este paso…) presenten ¡18 brotes!

 

* Para estos cálculos he usado MedCalc (https://www.medcalc.org/manual/sampling_ROC1.php)

Anuncios

El elefante en la habitación

Estamos en el Congreso de la Sociedad Española de Epidemiología. El lema es “Salud en todas las políticas” con alguna mesa sobre crónicos y multimorbilidad pero prácticamente nuestras comunicaciones las únicas sobre ERyME*. Y yo me pregunto ¿Por qué se ignora de esta manera la carga de enfermedad y el impacto de las ERyME en este congreso? Es como si todo fuera diabetes o cáncer. Ya Estitxu demostró que tener una ERyME empeoraba de forma importante la calidad de vida a igual número de enfermedades concomitantes [1]. Por favor, alguien de epi que nos haga caso…

[1] Loza E, Jover JA, Rodriguez L, Carmona L; EPISER Study Group. Multimorbidity: prevalence, effect on quality of life and daily functioning, and variation of this effect when one condition is a rheumatic disease. Semin Arthritis Rheum. 2009 Feb;38(4):312-9

*Y mientras escribo esta reseña, una estupenda a la que no tengo acceso: Comunicación oral 595 DOLOR CRÓNICO EN MAYORES DE 50 AÑOS: ESTUDIO DE SALUD, ENVEJECIMIENTO Y JUBILACIÓN EN EUROPA (SHARE). MC. CIMAS, AA. AYALA, JF. FORJA

Ven a conocernos al IX Congreso Internacional de la Asociación Española de Ciencias del Deporte

¡Pásate a hablar con nosotros!. Te informaremos acerca de nuestros servicios en metodología, asesoría en investigación, actividades formativas y orientación y coordinación de tesis doctorales.

Ven a conocernos al Congreso

Emprendiendo desde la pecera

¡Ya estamos oficialmente en Conde de la Cimera! Bueno, en realidad llevamos aquí desde abril, pero el 18 de noviembre (¡jorl!¡¡¡ya ha pasado un mes!!!) hicimos la inauguración, a la que vinieron nuestros amigos y a los que queremos agradecer su continuo apoyo y alegría contagiosa.

IMG_20151216_181336792

¿Y por qué lo de la pecera? Pues porque InMusc late en un despacho de cristal en el epicentro de Atención Reumatológica Integral (ARI), dirigido por nuestro amigo Pepe de la Mata, al que continuamente damos que pensar… Esa es la misión de una unidad de investigación, ¿no?

¿Pero, entonces, es un estudio transversal o longitudinal?

Buenos días, Loreto. A ver si me puedes aclarar esta duda.
Aun no tengo clara la diferencia entre estudio transversal y longitudinal.
Entiendo que transversal es un periodo limitado en el tiempo y longitudinal sería seguir a los mismos pacientes en diferentes momentos de su vida. ¿Pero entonces un estudio observacional, prospectivo o retrospectivo, que dura dos o tres años puede ser trasversal?

Lo de transversal o longitudinal es en cuanto a la observación de cada paciente, no de todos los pacientes.

En el diseño transversal cada tipo de datos se recoge una sola vez. Esto no quita que un día puedas recoger los datos de la historia y exploración, otro los análisis y otro las pruebas de imagen. Pero cada tipo de datos se recoge una sola vez para cada paciente, de una tacada. No hay que especificar el tiempo de seguimiento en el diseño, porque no hay seguimiento.

En el diseño longitudinal cada paciente tiene al menos dos visitas o momentos de recogida de datos, la basal y la final, y en ambas se pregunta por el outcome, en la basal generalmente para asegurarnos de que este no está presente y en la de seguimiento para ver si el sujeto en estudio lo ha desarrollado o no. Casi siempre hay más de dos visitas, estableciéndose la periodicidad a priori en base a la frecuencia y rapidez de aparición del outcome de interés. El tiempo que transcurre entre la visita basal y la final es la longitud del estudio, que hay que especificar en el diseño.

Recuerda que cuando hablamos del tiempo de un estudio este se refiere al tiempo de observación por paciente, no lo que tardes, o estimes que vas a tardar, en hacer el estudio. Esta última información sobre los tiempos del estudio (periodo de reclutamiento, periodo de recogida de datos, periodo de manejo de datos y análisis…) va en el plan de trabajo, no en el apartado diseño del protocolo.

En algún estudio, lo que nos interesa puede ser ver cómo ha cambiado un parámetro poblacional en el tiempo, por ejemplo, la tasa de cirugías bariátricas de una década a otra. En este caso, aunque se hagan dos medidas en el tiempo, generalmente retrospectivas, las medidas son transversales, porque no afectan a los mismos pacientes. Se hacen dos cortes transversales de la población, no dos observaciones en un paciente.

Espero haber aclarado algo.

News from the Eular Committee on Epidemiology and Health Services Research (May 13th, 2015)

By Deborah Symmons.

I hope that you are all well and looking forward to the EULAR Annual Congress in Rome in June. This newsletter includes some updates from the EULAR Executive, will flag up some important sessions at the EULAR Congress and seeks your input to the SCEHSR annual meeting.

FEEDBACK FROM THE EULAR EXECUTIVE

The website (www.eular.org) has been updated and is much improved. If you have not visited, already I encourage you to do so. You will find details about SCEHSR and its study groups under ‘How we work’. On the website you will notice that there are currently two joint EULAR-ACR calls. One is for the development of classification criteria or revising existing criteria sets; the other is for the development of response criteria for use in clinical trials and possibly clinical practice (Deadline 31st May 2015).
The new EULAR on-line journal: RMD Open (http://rmdopen.bmj.com) has now been launched and the first articles published. The editor is Bernard Combe.
Iain McInnes is leading EULAR work on developing a ‘Roadmap for research’ to be adopted transnationally. This will identify areas of priority to patients, likely to be solvable within a 5-10 year time span, and which have relevance across diseases.

Details of the SCEHSR annual business meeting in Rome

Axel Finkch will take over as the Chair of our committee during the EULAR Congress. He will chair the annual business meeting which will take place on Thursday June 11th in Room Quirinale. It will start at 8.30 am but the room is booked from 8.15 am. The meeting will end by 10.15 am. Light refreshments should be available. If you are a national representative please make every effort to attend. If you will not be at the Rome meeting, you are welcome to appoint a deputy. Please let us know in advance of any substitutes. If you are not a national representative but would still like to attend please also let us know. It will probably be possible but we were only allowed to book a modest sized room!
We will be circulating the agenda nearer the date. Please let me or Axel (axel.finckh at hcuge.ch) know, by 22nd May, if there are any items that you would like to be included in the agenda.

SCEHSR activities since September 2014

On 16th October 2014 representatives of the SCEHSR attended a conference organized by the EULAR Public Affairs Office at the EU Parliament in Brussels. It was entitled ‘Analysing how to reduce the access barriers to healthcare for people with chronic disease in Europe – challenges, good practice and policy: options for people with RMDs’.

The EULAR executive recently agreed to fund an application put forward via our committee entitled ‘Recommendations for the standardized content and structure of core data to facilitate patient care and research in rheumatoid arthritis’ . The project is being led by Johan Askling and Will Dixon in the EULAR RODS study group on registers and observational drug studies.

The 4th EULAR Course on Epidemiology will be held in Berlin on 3-4th July 2015. Further details are on the EULAR website (www.eular.org/edu_course_epidemiology.cfm). Plans are advancing well for a EULAR Course on Health Economics to be held in Nancy, France in spring 2016. This will be aimed at both rheumatologists and other healthcare professionals.

A second EULAR RODS meeting has been arranged for 7-8th December to be held in Prague. Details are not on the EULAR website yet. More details will be available in Rome.

Highlights to look forward to in Rome

Plans for the Rome Congress (10th-13th June 2015) are now complete (www.congress.eular.org) . Ingemar Petersson is the SCHESR representative on the scientific committee which organizes the Congress. The Chair of SCEHSR also sits on the committee. As in previous years, epidemiology and health services research received a large number of abstracts – the third largest category.
The open meeting of SCEHSR will be on Friday 12th June 15:45-17:15 in Room H. It will feature final reports from the EULAR PRO projects and how these can feed into the EULAR Outcome Measure Toolkit. Sadly this does clash with other sessions – but this was unavoidable.
There will be an epidemiology and HSR abstract session on Thursday 11th June 10:30 (Hall 2) and an epidemiology and HSR poster tour on Friday 12th June. Outcome Science sessions (all in Hall 1) which may be of interest to you include:

  • Optimising the use of electronic information and technology in clinic and research (Wed 10th June 15:00)
  • Searching for the evidence to support clinical practice (Wed 10th June 17:00)
  • Functioning measures of function: PROMs and CROMs (Thurs 11th June 13:45)
  • Work productivity as an outcome measure (Thurs 11th June 15:45)
  • Predicting the development of RA (Friday 12th June 13:45)
  • Cost effectiveness of biologics in RA (Friday 12th June 15:45)
  • New challenges in clinical trials (Sat 13th June 08:30)
  • Quality indicators – a way to measure the quality of care (Sat 13th June 12:00)

Of course there are many other interesting sessions in the other streams of work.
Planning for the 2016 meeting (to be held in London) will begin on the Monday before the Rome meeting. If you have any suggestions for sessions (ideally which fit within the Outcomes Sciences theme) they would be most welcome. Please send them to Ingemar Petersson or Axel Finckh by 5th June 2015. Your suggestions should include a session title and up to three suggested speakers – with titles for their talks.