Cómo utilizamos los cálculos de servilleta para otorgar becas

En Open Philanthropy, nuestra misión es ayudar a los demás tanto como podamos con los recursos que tenemos disponibles. Al tomar decisiones difíciles sobre qué becas tendrán un mayor impacto, recurrimos a una herramienta que ayuda a dilucidar el impacto esperado: los cálculos de servilleta (BOTEC, por sus siglas en inglés).

Los cálculos de servilleta son modelos cuantitativos generales que estiman el rendimiento social de la inversión (SROI, por sus siglas en inglés) de las becas potenciales. El personal de los programas de Open Philanthropy los utiliza para comparar los beneficios esperados de una beca con sus costos estimados.

A pesar de su nombre, la mayoría de los cálculos de servilleta no cabrían realmente en una servilleta. Suelen implicar docenas de supuestos, cálculos anidados y planificación de escenarios, especialmente cuando modelamos becas considerables o áreas de interés completas.

El personal de nuestras áreas de interés en salud y bienestar globales utiliza los cálculos de servilleta para ayudar a responder una pregunta clave: ¿es probable que esta beca supere nuestra vara para las becas de salud y bienestar globales?⁠a Actualmente, esa vara está fijada en un rendimiento ligeramente superior a 2000 veces en “dólares de Open Phil”.⁠b

Lo que los cálculos de servilleta pueden (y no pueden) decirnos

Los cálculos de servilleta son herramientas flexibles cuya estructura varía según el tipo de beca.

• Para las becas centradas en la salud, solemos estimar cuántos años de vida ajustados por discapacidad (AVAD) podría evitar una beca.
• En el caso del bienestar animal en las granjas, podríamos modelar reducciones en el sufrimiento.
• Para el trabajo de desarrollo de movimientos, podríamos estimar cuántos fondos podría recaudar una organización para entidades benéficas altamente costo-eficaces.

Algunos cálculos de servilleta son retrospectivos y se basan en la trayectoria de un becario. Otros son prospectivos, construidos en torno a la teoría del cambio del becario y la probabilidad que asignamos a su éxito.

Para explorar la gama de resultados posibles, el personal de los programas suele elaborar múltiples versiones de un cálculo de servilleta, utilizando valores de entrada optimistas y pesimistas para observar cuán sensibles son nuestras estimaciones a ciertos parámetros.⁠c El objetivo no es alcanzar una “respuesta” precisa, sino someter a prueba nuestro razonamiento bajo diferentes escenarios plausibles.

No dependemos exclusivamente de los cálculos de servilleta para tomar decisiones sobre las becas; son solo una pieza de un panorama más amplio. También ponderamos el liderazgo y la trayectoria del becario, las consideraciones estratégicas que el cálculo de servilleta difícilmente puede cuantificar, y el potencial de “beneficios imprevistos” o un efecto multiplicador inusual.⁠d La concesión de becas siempre conlleva incertidumbre, y los cálculos de servilleta no la eliminan, pero sí nos ayudan a gestionarla.

Ejemplos de cálculos de servilleta

A continuación se presentan cuatro ejemplos de cálculos de servilleta, simplificados ligeramente para facilitar su lectura. Utilizamos seudónimos para preservar la confidencialidad, pero todos provienen de becas reales que hemos otorgado en áreas de interés muy diversas. Compartimos estos ejemplos para ofrecer una idea de nuestra forma de pensar, los puntos que debatimos (¡con frecuencia!) y la forma en que procuramos asignar los recursos para ayudar a otros en la mayor medida posible. Como siempre, agradecemos tus comentarios aquí.

Ensayo de estatinas para el tratamiento de la tuberculosis

Esta beca se enmarca en nuestra área de interés de I+D en salud global.

Un ensayo reciente de fase IIa/b evaluó la atorvastatina como tratamiento complementario para la tuberculosis, enfermedad que causa anualmente la muerte de más de un millón de personas.⁠e El ensayo reveló que la atorvastatina contribuía a reducir más rápidamente los niveles de infección por tuberculosis y mostraba mejoras prometedoras en la disminución del daño pulmonar, según las radiografías de tórax.

Esta beca financiaría un ensayo de fase IIc para evaluar la atorvastatina como adición a los tratamientos estándar contra la tuberculosis.⁠f El ensayo propuesto investigaría si diferentes pautas de dosificación de atorvastatina mejoran las tasas de supervivencia, aceleran la disminución de los niveles de infección por tuberculosis y reducen el daño pulmonar a largo plazo. La beca también respaldaría los esfuerzos para desarrollar una prueba diagnóstica innovadora para la tuberculosis, basada en el sudor.

Beneficios de la beca

• ¿Cuántas personas podrían beneficiarse? Para estimarlo, proyectamos el número de personas que recibirían tratamiento para la tuberculosis farmacosensible para cuando estuvieran disponibles los resultados de un futuro ensayo confirmatorio de fase III. Partimos del número actual de casos nuevos y planteamos tres supuestos: que los nuevos casos disminuirían un 2 % anual hasta el ensayo de fase III (que, según estimamos, no concluiría sino ocho años después de otorgar esta beca), que la proporción actual de casos tratados permanecería constante y que el 96 % de los casos serían farmacosensibles. Esto resultó en una estimación de 5,5 millones de personas que podrían beneficiarse del tratamiento.
• Aceleración: Estimamos que financiar este ensayo resultaría en que la atorvastatina se adopte un año antes como tratamiento para la tuberculosis.⁠g
• ¿Cuán eficaz podría ser el tratamiento? Entre los pacientes con tuberculosis farmacosensible que reciben tratamiento, la tasa de mortalidad actual es de aproximadamente el 6 %. No sabemos qué tan eficaz podría ser este nuevo tratamiento (esa es la razón del ensayo), pero estimamos que un resultado positivo podría lograr una reducción relativa de la mortalidad del 10 % (es decir, una reducción absoluta del 0,6 %).
• ¿Qué proporción de pacientes realmente adoptaría este tratamiento? Estimamos que el 60 % de los pacientes adultos incorporaría la atorvastatina si demuestra ser eficaz para reducir la mortalidad por tuberculosis. Esta sería una tasa de adopción relativamente alta —superior a las cifras que usamos en la mayoría de nuestros cálculos de servilleta para desarrollo terapéutico—, pero consideramos que era justificable, dado que la atorvastatina ya es un medicamento genérico, económico y ampliamente disponible.
• Impacto en vidas salvadas: La combinación de las estimaciones anteriores implica que un ensayo exitoso permitiría una reducción absoluta de la mortalidad del 0,6 % para 3,3 millones de personas, lo que equivale a prevenir aproximadamente 19 900 muertes anuales por tuberculosis, una vez que la intervención se haya implementado a gran escala.
• AVAD: Este impacto representaría 539 500 AVAD (unas 19 900 muertes evitadas × 27 AVAD por muerte de tuberculosis).⁠h Esto generaría un valor total de 54 000 millones de dólares OP (539 500 AVAD × 100 000 dólares OP, es decir, el valor que asignamos a evitar un AVAD).
• Beneficio total: Dado que la beca generaría un año adicional de 54 000 millones de dólares al año, el valor total de la beca es de 54 000 millones de dólares OP.

Costos: El ensayo actual costaría 320 000 dólares. Sin embargo, al ser solo un ensayo de fase IIc, habría que considerar costos adicionales de investigación e implementación.⁠i Estimamos de forma aproximada que estos costos ascenderían a 7 millones de dólares.⁠j

Probabilidad de éxito: Estimamos una probabilidad del 40 % de que los ensayos de fase II y III tengan éxito.

Rendimiento social final: El rendimiento social de la inversión de la beca es el beneficio (54 000 millones de dólares OP) dividido por los costos totales del programa (7 millones de dólares), multiplicado por la probabilidad estimada de éxito (40 %). Esto resulta en un rendimiento social de la inversión de aproximadamente 3000 veces, muy por encima de nuestra vara de aproximadamente 2000 veces. Es decir, esperamos que la beca genere 3000 veces más valor —en dólares de Open Phil— de lo que cuesta.

Algunas limitaciones de este cálculo de servilleta

Este cálculo de servilleta omite algunos beneficios adicionales —como el valor potencial de una nueva herramienta diagnóstica para la tuberculosis—, así como cualquier mejora en la calidad de vida más allá de la prevención de muertes.

Además, solo contamos con estimaciones muy generales sobre el costo de los ensayos o estudios subsiguientes, y no incluimos la posibilidad de que tratamientos más nuevos para la tuberculosis, actualmente en desarrollo, reduzcan la carga de esta enfermedad más allá de la tendencia descendente actual.

Actualizaciones desde la concesión de la beca

Ha transcurrido más de un año desde que otorgamos esta beca y, durante este tiempo, hemos seguido aprendiendo sobre el panorama general de la tuberculosis. Si lo modeláramos hoy, esto es lo que cambiaríamos en el cálculo de servilleta:

• En retrospectiva, deberíamos haber asignado una probabilidad de éxito inferior, más cercana al 30 % que al 40 %.
• Por el contrario, deberíamos haber estimado una aceleración más significativa en la adopción de la atorvastatina: más cercana a tres años que a uno. Consideramos que esta es una estimación más apropiada porque no existían muchas opciones de financiamiento para este trabajo, y porque apoyamos al investigador principal en una etapa relativamente temprana de su investigación (antes de la publicación de sus resultados más prometedores).
• También modelaríamos un período más largo hasta el impacto para considerar la adopción generalizada del fármaco (en lugar de solo la finalización de un ensayo clínico definitivo). Estimamos provisionalmente que la adopción generalizada podría tardar 18 años, en comparación con los 8 años para el ensayo clínico. Los 10 años adicionales reducirían el rendimiento de la inversión de la beca, ya que esperamos que la prevalencia de la tuberculosis disminuya con el tiempo. Esto significa que un fármaco ampliamente disponible en 2042, en lugar de 2032, no alcanzaría a tantos pacientes potenciales.

Si bien la menor probabilidad de éxito y el mayor tiempo hasta el impacto reducirían el rendimiento social de la inversión, la mayor aceleración lo incrementaría sustancialmente. Considerados en conjunto, estos cambios aumentarían el rendimiento final.

Reducir el costo del cribado portátil basado en fluorescencia de rayos X

Esta beca entra dentro de nuestra área de interés de política de salud pública global.

Los métodos actuales para analizar si las pinturas contienen plomo requieren muchos recursos y conocimientos especializados. La medición portátil basada en fluorescencia de rayos X (pXRF, por sus siglas en inglés) utiliza un dispositivo manual para detectar plomo en la pintura y otros materiales de forma rápida y económica. De tener éxito, el dispositivo permitiría a los inspectores identificar más fácilmente la presencia de plomo en la pintura y prevenir los daños que este causa.

Esta beca financiaría a la organización sin ánimo de lucro Lead the Way⁠k para:

• Recoger entre 200 y 300 muestras de pintura mediante la pXRF y sofisticadas técnicas de laboratorio (en dos universidades para una validación adicional), y desarrollar métodos estándar para utilizar la pXRF.
• Implementar el método colaborando estrechamente con un gobierno nacional, capacitando al personal local y llevando a la práctica la pXRF para las mediciones.
• Probar el método para el cribado rápido de pinturas húmedas.

Los supuestos clave de la teoría del cambio⁠l son:

• El plomo en la pintura representa el 5 % (intervalo de confianza: 5-20 %) de la carga total de plomo en los países de ingresos bajos y medios.
• Para que esta beca impulse la reducción de la pintura con plomo, es necesario que aumente la detección (y, mediante esta, la aplicación de la normativa) por parte de los actores que utilizan la pXRF para analizar pinturas con niveles de plomo superiores a los estándares regulatorios.
  • Existe un 50 % de probabilidad (rango: 40-75 %) de que esta beca valide la pXRF lo suficiente como para que se publique como método de referencia.
  • Si la pXRF se publica como método de referencia, asumimos que los países que representan el 20 % (rango: 10-40 %) de la carga total de exposición al plomo en los países de ingresos bajos y medios adoptarán la pXRF para analizar el plomo en la pintura.
  • En total, estimamos un 50 % de probabilidad de que esta beca afecte a fuentes responsables de aproximadamente el 1 % de la carga total de plomo en los países de ingresos bajos y medios.
    • (Es decir, el 5 % de la exposición al plomo proviene de la pintura × el 20 % de los países que adoptan el método = 1 %).
• Sin embargo, “afectar” no significa “eliminar”. Aunque algunos países adopten la pXRF, solo se eliminará una fracción de la exposición al plomo de la pintura en esos países. Necesitaremos estimar esa fracción:
  • Asumimos que la mitad de la pintura por volumen de mercado tiene altos niveles de plomo y que —si se adopta— la pXRF reducirá en un 20 % (rango: 10-30 %) el mercado formal⁠m de pintura con plomo, que representa el 60 % (rango: 40-80 %) del problema del plomo.
  • Además, si se adopta la pXRF, asumimos que se utilizará para reducir significativamente el mercado informal. Asumimos que el 40 % (rango: 20-60 %) por volumen del mercado de pintura con plomo proviene de productores informales más pequeños, y que este método podría reducir el tamaño de ese mercado en un 50 % (rango: 25-90 %).
  • Por lo tanto, en general, esperaríamos una reducción del 20 % en el 60 % del mercado formal (12 % de la carga total), más otra reducción del 50 % en el 40 % restante del mercado informal (20 % del total), para una reducción general del 32 % (suponiendo que los países de ingresos bajos y medios adopten ampliamente la pXRF).
• Con base en los cálculos anteriores, ¿qué fracción de la exposición al plomo esperaríamos que eliminara esta intervención?
  • 50 % (probabilidad de que la pXRF se convierta en método de referencia) × 1 % (fracción de la carga global de plomo proveniente de la pintura en los países que utilizan el método —los países representan el 20 % de la carga de pintura, que es el 5 % de la carga global—) × [(20 % de la cuota de mercado del 60 % del sector formal) + (50 % del 40 % restante del sector informal)] = 0,16 %.
• ¿Cuánto beneficio se obtendrá de una reducción del 0,16 %?
  • Estimamos que el impacto del escaneo eliminará el 0,16 % de la carga total de plomo en los países de ingresos bajos y medios.
  • Estimamos que la carga total de plomo en los países de ingresos bajos y medios = 117 millones de bebés × 5 µg/dL × 3900 dólares OP por µg/dL⁠n = (~2,3 billones de dólares OP).
  • Por lo tanto, el beneficio total esperado es del 0,16 % de ~2,3 billones de dólares OP (2 281 500 000 000), lo que equivale a ~3600 millones de dólares OP (3 650 400 000).
  • También hacemos supuestos importantes, aunque especulativos, de que (i) al desarrollo de la pXRF solo le corresponde el 10 % (rango: 5-20 %) del crédito por el impacto total del escaneo con pXRF,⁠o y (ii) que la beca acelera el desarrollo del método en 8 años.
    • Considerando estos factores, multiplicamos 3600 millones de dólares OP por 0,1 para contabilizar la parte del crédito correspondiente al desarrollo por el uso del método = 360 millones de dólares OP.
    • Luego, multiplicamos por 8 para contabilizar los años de aceleración = 2900 millones de dólares OP.
  • Finalmente, multiplicamos nuevamente por 0,8 para contabilizar la parte del crédito de Open Philanthropy para el desarrollo = 2300 millones de dólares OP.⁠p El valor esperado de esta beca es (2300 millones de dólares OP en beneficio) / (costo total del proyecto [aproximadamente 350 000 dólares]) = un rendimiento social de la inversión de aproximadamente 6500 veces en términos esperados. Para cualquier parámetro, cambiar la mejor estimación al extremo más pesimista del intervalo de confianza aún produce un rendimiento social superior a la vara de aproximadamente 2000 veces.

Apoyo a una organización de recaudación de fondos para organizaciones benéficas eficaces

Esta beca entra dentro de nuestra área de interés de donación eficaz y carreras profesionales.

Giving Ground es la única organización profesional que promueve la donación eficaz en su país. Con solo 3,5 empleados a tiempo completo, recauda dinero casi exclusivamente para las organizaciones benéficas recomendadas de GiveWell.

En muchos casos, el personal de programa de Open Philanthropy utiliza cálculos de servilleta retrospectivos para estimar el impacto futuro. Así, para evaluar una posible nueva beca, creamos un cálculo de servilleta basado en el desempeño anterior de Giving Ground:

• Con gastos operativos de unos 300 000 dólares, Giving Ground recaudó cerca de 800 000 dólares para las organizaciones benéficas recomendadas de GiveWell durante los últimos 2,5 años, aproximadamente.
• Consideramos que la mayor parte de esta suma es directamente atribuible a Giving Ground. Una encuesta a los donantes de Giving Ground sugirió que el 15 % del dinero asignado provenía de personas que ya habían tenido contacto con la donación eficaz en otros contextos, por lo que aplicamos una reducción del 15 % a los fondos recaudados por Giving Ground al realizar nuestra estimación.

Tras el ajuste del 15 %, nuestra mejor estimación es que, en los próximos dos años, Giving Ground recaudará 2,27 dólares para GiveWell por cada dólar que gaste: 800 000 dólares × (1 - 0,15 [descuento por contrafactualidad]) / (300 000 dólares [gastos operativos]) = 2,27 veces.⁠q Nuestra vara para las intervenciones de donación eficaz es una razón de 2, por lo que esto la supera.⁠r

Mejorar las condiciones de los pollos de engorde

Esta beca entra dentro de nuestra área de interés de bienestar animal en las granjas. Nótese que el equipo de bienestar animal en las granjas utiliza una vara diferente a la del resto de nuestras áreas de interés de salud y bienestar globales.

Feather Forward realiza campañas nacionales para persuadir a las empresas a mejorar sus políticas de bienestar animal. Las campañas se enfocan en detener el uso de gallinas enjauladas para la producción de huevos y en mejorar el bienestar de los pollos criados para carne (denominados “pollos de engorde”).

Al igual que la beca anterior, este es un cálculo de servilleta retrospectivo. Al considerar una nueva beca para Feather Forward, modelamos su impacto bajo la beca anterior de la siguiente manera:

• Costos: 1 millón de dólares — gastos totales de Feather Forward durante el período que cubrió la beca (dos años).
• Animales afectados: Estimamos que Feather Forward impactó en 34 millones de animales vivos en cualquier momento a través de una combinación de:⁠s
  • 13 nuevos compromisos a nivel nacional de empresas para eliminar las jaulas.
  • Dos importantes compromisos globales para eliminar las jaulas a los que Feather Forward contribuyó.
  • Seis compromisos a nivel nacional sobre el bienestar de los pollos de engorde, incluyendo cinco grandes minoristas.
  • Progreso en la implementación de los compromisos para eliminar las jaulas en su país.
• Ajuste por atribución de mérito: Otorgamos a Feather Forward el siguiente porcentaje de mérito por cada conjunto de logros:⁠t
  • 80 % del mérito por los logros nacionales relativos a la eliminación de jaulas y al bienestar de los pollos de engorde: fueron el grupo principal detrás de estos; el 20 % restante del mérito se atribuye a otra organización en el país.
  • 10 % del mérito por los logros globales en la eliminación de jaulas: la organización dirigió casi todas las campañas en su región, lo que representó aproximadamente el 10 % de los logros a nivel mundial.
• Ajuste por esfuerzo de compromiso/implementación: En la mayoría de los casos, después de que los grupos de protección animal obtienen un compromiso corporativo, necesitan asegurar que la empresa cumpla con dicho compromiso.
  • Para los nuevos compromisos, aplicamos un ajuste (generalmente del 40-60 %) para contabilizar el costo del trabajo posterior.
  • Cuando atribuimos mérito a los grupos por el progreso de las empresas en la implementación de los compromisos, aplicamos de manera similar un ajuste para reconocer el trabajo de haber asegurado el compromiso inicial.

Considerando estos ajustes, estimamos que el trabajo de Feather Forward mejoró el bienestar de 5,4 millones de animales vivos en cualquier momento.⁠u Para determinar el valor completo de este impacto, aplicamos consideraciones adicionales que incluyen:

• Los años de antelación con los que se adoptaron reformas gracias a estas campañas
• El grado de mejora del bienestar por animal
• El grado de sufrimiento de cada pollo

Tras incorporar estos factores, calculamos que esta beca superó fácilmente nuestra vara interna para las intervenciones de bienestar animal en las granjas. Aunque nuestros cálculos de servilleta de bienestar animal en granjas incorporan ponderaciones morales y evaluaciones de mejora del bienestar que difieren de las que aplicamos en nuestras otras áreas de interés, el enfoque central sigue siendo coherente.