Por Lynda Blancato, jefa de proyectos, y Scott Kleiman, director general, Laboratorio de Rendimiento Gubernamental de la Escuela Harvard Kennedy*

En 2019, con el apoyo del Harvard Kennedy School of Government Performance Lab, la Agencia de Servicios Infantiles de Míchigan diseñó nuevos tableros de control de desempeño ejecutivo que ofrecen una imagen integral de las operaciones de la agencia a través de 42 métricas cuidadosamente seleccionadas. Este informe destaca la experiencia de Míchigan e incluye una lista de métricas seleccionadas para su uso y un ejemplo de tablero de control, todo lo cual puede utilizarse para orientar a otras agencias de bienestar infantil a medida que toman medidas para transformar sus propios sistemas.

Para obtener información más detallada sobre cómo los tableros eficaces pueden proporcionar a los líderes de las agencias una visibilidad de alto nivel sobre las tendencias operativas y de resultados en todo el sistema de bienestar infantil y conducir a la acción, consulte el documento informativo complementario, ¿Cómo pueden los tableros de rendimiento ejecutivo respaldar la eficacia de las agencias de bienestar infantil?

Antecedentes

La nueva dirección de la Agencia de Servicios Infantiles de Michigan buscó renovar los tableros de control de desempeño que el equipo de alta dirección revisaba regularmente. La agencia ya contaba con tableros de control, pero eran difíciles de usar para que los líderes generaran teorías sobre cómo cambiar la práctica y para rastrear si esos cambios estaban contribuyendo a mejores resultados.

Muchas de las métricas originales se seleccionaron debido a los requisitos de informes asociados con un decreto de consentimiento de larga data, en lugar de su posible impacto operativo. La agencia corría el riesgo de que surgieran nuevas crisis con poca advertencia, ya que pocos de los paneles destacados reflejaban medidas que se sabía eran indicadores tempranos de la salud del sistema a largo plazo o de los resultados para los niños y las familias. Y aunque la desagregación por oficinas locales era común, rara vez los líderes regionales obtenían información sobre su desempeño a lo largo del tiempo, lo que les dificultaba saber dónde estaban progresando y dónde ofrecer mayor orientación dentro de sus equipos.

Selección de las métricas correctas

Al desarrollar los nuevos paneles, los líderes de la agencia comenzaron por hacer una lluvia de ideas sobre las áreas actuales de preocupación en las operaciones de la agencia e identificar “puntos ciegos” en los paneles existentes donde el liderazgo carecía de un panorama claro del desempeño.

Para cada área principal del sistema de bienestar infantil —admisión centralizada, investigaciones de campo, casos abiertos y colocaciones fuera del hogar—, el departamento priorizó las preguntas de gestión más importantes en cada una de las tres categorías de desempeño: capacidad del sistema, calidad del programa y resultados para los niños y las familias. Luego, diseñó una métrica de tablero para presentar datos de cada una de estas preguntas.

Además, el departamento incorporó otros tres grupos de métricas que complementarían las identificadas para áreas funcionales específicas:

  • Elevió un conjunto de métricas relacionadas con las tendencias a nivel de sistema. Estas incluyeron los gastos en relación con el presupuesto, el recuento de muertes y lesiones graves por maltrato infantil en todo el estado, y —para observar los cambios en la eficacia del ecosistema de denuncias del estado— la proporción entre el número de denuncias de maltrato y el número de lesiones infantiles graves en los registros de facturación de Medicaid.
  • Dado que el equipo directivo de Míchigan tenía un interés especial en medir periódicamente el progreso en la reducción de las desigualdades que afectan a los niños y las familias, la agencia desarrolló además un conjunto de indicadores para analizar la desproporcionalidad y las disparidades por raza y origen étnico en momentos clave de la toma de decisiones.
  • Para permitir la detección temprana de problemas, se realizaría un seguimiento de los indicadores a corto y largo plazo para algunas de las medidas más críticas. Por ejemplo, para supervisar el éxito del sistema en la reducción de la incidencia de maltrato reiterado, los tableros informaban sobre las tasas de maltrato posterior fundamentado a intervalos de un mes, seis meses y 12 meses después del cierre del caso.

El apéndice de este informe breve incluye el conjunto completo de las métricas del panel de rendimiento de Míchigan, así como la pregunta de gestión que cada métrica fue diseñada para abordar.

Visualización de los datos para cada métrica del panel

Una vez que Míchigan seleccionó las métricas para incluirlas en los nuevos tableros de control, el equipo de datos del departamento se propuso diseñar cómo se visualizarían los datos para cada una. Uno de los nuevos tableros se centró en monitorear las operaciones y el rendimiento en la línea directa de admisión central, que recibe llamadas del público sobre denuncias de abuso o negligencia. Este tablero (ver el ejemplo de tablero a continuación) presenta la capacidad del personal para manejar eficazmente el volumen de llamadas entrantes a la línea directa de admisión central. El gráfico de la izquierda muestra la carga de casos de los especialistas de admisión, definida como el promedio de llamadas que cada especialista de admisión recibe y procesa cada mes. El gráfico de la derecha muestra la proporción de llamadas abandonadas cada mes.

Este tablero incorpora varios elementos de diseño que ayudan al equipo directivo a interpretar las tendencias en los datos y a analizar posibles medidas de seguimiento:

  • Resultados mensuales de los últimos tres años, que revelan niveles de carga de trabajo de los especialistas de admisión que habían aumentado lentamente con el tiempo, junto con un incremento drástico en la tasa de llamadas abandonadas.
  • Un mensaje que les recuerda a los líderes que una tasa elevada de llamadas abandonadas puede poner a más niños en riesgo de sufrir daños adicionales, ya que es posible que los denunciantes que abandonan las llamadas no intenten volver a ponerse en contacto con la agencia.
  • Orientación enfocada en soluciones para interpretar tendencias; en este caso, señalando que los aumentos en el volumen de casos o en la tasa de llamadas abandonadas pueden indicar la necesidad de ajustar el personal o los horarios de admisión central.

Otros nuevos tableros creados como parte de este proceso incluyen otras dos nuevas características de diseño: un punto de referencia objetivo o línea de referencia que permite a los líderes determinar la urgencia de posibles reformas; y una desagregación de las tendencias por componentes operacionalmente significativos para ayudar a identificar prácticas para difundir y unidades que puedan necesitar apoyo adicional.

Panel de control de admisión central de ejemplo de la Agencia de Servicios Infantiles de Míchigan

Graph showing staff capacity to manage calls from 2017 to 2020.

El uso de tableros de desempeño para impulsar el cambio

Cuando los tiempos de espera en las líneas directas de protección infantil se alargan demasiado, los miembros de la comunidad que intentan denunciar posibles casos de abuso o negligencia pueden colgar y no volver a llamar, lo que podría dejar a los niños expuestos a sufrir más daño. Como parte de las reuniones periódicas del equipo ejecutivo para revisar los datos de desempeño, los líderes de una agencia en Michigan notaron un aumento en la tasa de llamadas abandonadas a la línea directa central de recepción, a la que se recurre para denunciar presuntos casos de abuso o negligencia. A principios de 2017, menos del 5% de las llamadas a la línea directa se abandonaban antes de que un especialista en recepción las atendiera. Durante los dos años siguientes, la tasa de llamadas abandonadas aumentó de manera constante y luego se disparó a casi un tercio de las llamadas a mediados de 2019.

Esta tendencia preocupante en los datos llevó a los líderes de la agencia a reformar el funcionamiento del centro de atención. Los gerentes comenzaron analizando los datos de las llamadas para identificar los “puntos críticos” —momentos del día en los que los tiempos de espera eran particularmente largos y el número de llamadas abandonadas se disparaba— y ajustaron los horarios del personal para brindar cobertura adicional durante esos momentos. Además, el equipo directivo diseñó un nuevo informe para dar seguimiento al volumen de llamadas y a los tiempos de atención por cada miembro del personal, con el fin de descubrir las prácticas efectivas utilizadas por el personal de alto rendimiento e identificar a los trabajadores que necesitaban capacitación adicional. Los líderes de la agencia ajustaron las prácticas de contratación al reclutar para puestos de especialistas en atención de llamadas de manera continua —en lugar de solo cuando surgían vacantes— para contar con un grupo de candidatos que permitiera cubrir rápidamente cualquier vacante a medida que surgiera. A medida que se implementaron estos cambios, la tasa de llamadas abandonadas a la línea de ayuda bajó de un máximo de más de 35% a aproximadamente 5%. La agencia ha seguido monitoreando cuidadosamente estas tendencias mediante sus nuevos paneles de control.

Anexo

Tableros ejecutivos de la Agencia de Servicios Infantiles de Míchigan

A continuación se presenta el conjunto completo de indicadores del tablero de desempeño que la Agencia de Servicios para la Infancia de Michigan desarrolló para dar seguimiento a las operaciones y los resultados de su sistema. Cada indicador del tablero está vinculado a una pregunta clave de gestión que la agencia busca responder a través de los datos disponibles.

Los recursos siguientes pueden ser útiles para los líderes de agencias que trabajan en el desarrollo o perfeccionamiento de tableros de rendimiento ejecutivo adaptados a las prioridades y necesidades de sus propias jurisdicciones.

Nivel de sistema

Pregunta clave

Medida relacionada

Capacidad

1. ¿Tenemos suficiente capacidad de personal para gestionar eficazmente las necesidades de nuestro sistema?

Conteo de supervisores, investigadores de campo, gestores de casos de cuidado de crianza temporal, otro personal que maneja casos, especialistas de admisión centralizada, personal en capacitación, puestos vacantes

2. ¿Estamos asignando y desplegando eficazmente los fondos disponibles?

Para el año fiscal actual, comparación del presupuesto asignado versus los gastos reales por mes

Calidad

3. ¿Está funcionando nuestro sistema de informes de manera efectiva?

Proporción de informes de maltrato con respecto al número total de lesiones infantiles graves en los registros de facturación de Medicaid

4. ¿Estamos reduciendo eficazmente la desproporcionalidad y las disparidades en los resultados en todo nuestro sistema?

Comparación por raza/etnia del niño: población infantil total del estado, proporción de denuncias investigadas, proporción de maltrato fundamentado, proporción que ingresa a cuidado fuera del hogar, proporción que logra la permanencia en un plazo de 12 meses, proporción en cuidado durante 24 meses o más

5. ¿Estamos reduciendo el número de niños que ingresan al sistema de cuidado fuera del hogar y apoyando a los niños para que salgan de él?

Diferencia entre las admisiones y las altas en los servicios de atención fuera del hogar

Resultados

6. ¿Estamos reduciendo eficazmente la incidencia de muertes de niños y cuasi muertes?

Entre todas las muertes de niños y casi muertes atribuidas al maltrato, porcentaje con interacción previa con el sistema de bienestar infantil Y Conteo de todas las muertes de niños por causas no naturales

ADMISIÓN CENTRALIZADA

Pregunta clave

Medida relacionada

Capacidad

1. ¿Tenemos suficiente capacidad de personal para gestionar eficazmente las necesidades de nuestro sistema?

Conteo de supervisores, investigadores de campo, gestores de casos de cuidado de crianza temporal, otro personal que maneja casos, especialistas de admisión centralizada, personal en capacitación, puestos vacantes

2. ¿Contamos con suficiente personal para manejar el volumen de contactos?

Proporción de contactos totales procesados por trabajadores de admisión; de todas las llamadas presentadas, porcentaje de llamadas abandonadas

Calidad

3. ¿Estamos procesando los contactos eficientemente?

Porcentaje de contactos procesados con <1 hora, 1-3 horas, 3-5 horas o 5+ horas entre la recepción del contacto y la decisión de evaluación

4. Are we making consistent screening decisions?

Among all reports of child maltreatment, share of reports screened in for investigation

5. Are we screening out reports that may have benefited from being screened in?

Among reports that were screened out, share of families with subsequent contact to centralized intake / screen-in within following 3 months

Resultados

6. Are we screening in reports that potentially should have been screened out?

Among all investigations, share resulting in a Category V disposition AND Number of reconsideration requests by outcome

FIELD INVESTIGATIONS

Pregunta clave

Medida relacionada

Capacidad

1. Is the volume of investigations straining the capacity of our system?

Count of active and overdue investigations

2. Do we have sufficient staff capacity to manage the volume of investigations?

Share of staff with 11 or fewer investigations, 12 investigations, 13-14 investigations, 15+ investigations

Calidad

3. Are we making face-to-face contact with alleged victims in a timely way?

Share of alleged victims with face-to-face contact within priority timeframes (24 or 72 hours)

4. Are we making consistent decisions regarding the level of identified risk at investigation closure?

Share of investigations with Category V, IV, III, II, and I dispositions

5. Are we making consistent decisions to open ongoing cases or remove children to out-of-home settings?

Share of Category I cases with out-of-home placements; share of Category III cases opening to CPS

Resultados

6. Are we closing cases that may have benefited from having services put in place?

Among investigations that did not open to CPS, share with subsequent contact to centralized intake / screen-in within 3 months

ONGOING CASES

Pregunta clave

Medida relacionada

Capacidad

1. Is the volume of cases straining the capacity of our system?

Count of children in open cases who are in-home, out-of-home

2. Do we have sufficient staff capacity to manage the volume of ongoing cases?

Share of staff with caseloads of 16 or fewer families, 17 families, 18-19 families, 20+ families

3. Do we have sufficient service capacity to meet the needs of families?

Number of families on waitlist by program type

Calidad

4. Are we making face-to-face contact with children on a monthly basis?

Share of children with face-to-face visit in last 30 days

5. Are we making face-to-face contact with parents and caregivers on a monthly basis?

Share of primary caregivers / parents with goal of reunification with face-to-face visit in last 30 days

6. Are we regularly updating service plans to meet family needs and improve time to case closure?

Share of families with updated service plans / family team meetings within last 90 days

Resultados

7. Are we successfully providing supports that lower risk and keep children safe in-home?

Count of cases escalating to Category I or II

8. Are we effectively supporting families to care for their children and promote child safety and wellbeing?

Share of Category III cases closing within 90 days; share of Category I and II ongoing in-home cases closing within 6 months, 12 months

9. Are we effectively reducing the occurrence of repeat maltreatment?

Share of children with substantiated subsequent maltreatment within 1 month, 6 months, 12 months of case closure

OUT-OF-HOME PLACEMENT

Pregunta clave

Medida relacionada

Capacidad

1. Is the volume of out-of-home placements straining the capacity of our system?

Count of children in out-of-home care by placement type (kinship care-licensed, kinship care-unlicensed, foster care, residential, independent living, shelter, other) AND Share of children in each placement setting by race/ethnicity

2. Do we have sufficient staff capacity to support the volume of out-of-home placements?

Share of foster care workers with caseloads of ≤14, 15, 16-17, or 18+ children; share of state and private worker caseloads meeting target

3. Do we have enough available beds to meet the need for out-of-home care?

Utilization of available beds in residential, state foster care, private agency foster care

Calidad

4. Are we successfully placing children in appropriate placements?

Count of sibling groups placed separately; count of children under 12 placed in residential / shelter; share of children placed out of county

5. Are we supporting the placement stability of children in out-of-home care?

Share of children experiencing a placement disruption within 30 days of entering a new placement

6. Are we maintaining family connections for children placed out-of-home?

In cases with goal of reunification, share of children with visitation with their parents never / twice / four times in past month

7. Are we bringing youth who run away back into care quickly?

Count of runaway youth by length of time on runaway status (0-7 days, 8-30 days, 31+ days)

8. Are we making sure children do not linger in foster care?

Number of children in out-of-home care by length of stay (0-11 months, 12-23 months, 24-35 months, 36+ months)

9. Are we matching children who have adoption goals to adoptive families in a timely way?

Count of children waiting for adoption by adoption status (matched to family, waiting for family)

10. Are we supporting families to successfully navigate the challenges of reunification?

Count of families enrolling and persisting in after care following reunification

11. Are we effectively emancipating youth for successful transitions to adulthood?

Count of youth exiting to emancipation; share enrolled in transitional support program AND Share of youth aging out by race/ethnicity

Resultados

12. Are we keeping children safe while in out-of-home care?

Count of substantiated incidents of maltreatment in care by placement type

13. Are we supporting children to achieve permanency in a timely way?

Share of children achieving permanency within 6 months, 12 months, 24 months of entering care

14. Are we successfully reunifying children with their families?

Share of children exiting care to reunification, adoption/guardianship, or emancipation

15. Are we reducing re-entry into care? (Are reunified families staying together?)

Of all children exiting care 12 months ago, share that re-entered within 1 month, 6 months, 12 months

*The Government Performance Lab (GPL) at the Harvard Kennedy School of Government conducts research on how governments can improve the results they achieve for their citizens. An important part of this research model involves providing hands-on technical assistance to state and local governments. Through this involvement, the GPL gains insights into the barriers that governments face and the solutions that can overcome these barriers. By engaging current students and recent graduates in this effort, the GPL is able to provide experiential learning as well. The GPL wishes to acknowledge that these materials are made possible by grants and support from Casey Family Programs and the Laura and John Arnold Foundation. For more information about the Government Performance Lab, please visit our website at https://govlab.hks.harvard.edu.

Casey Family Programs consulta con individuos y equipos en todo el país para recopilar investigaciones, experiencias y conocimientos sobre enfoques que pueden reducir de manera segura la necesidad de acogida familiar y garantizar el bienestar de los niños y las familias. Compartimos esta información ampliamente para ayudar a los líderes de bienestar infantil y a sus socios a abordar problemas similares en sus propias comunidades. Para preguntas sobre este recurso, o si tiene otras necesidades de información sobre bienestar infantil, envíe un correo electrónico a kmresources@casey.org.