Por Lynda Blancato, jefa de proyectos, y Scott Kleiman, director general, Laboratorio de Rendimiento Gubernamental de la Escuela Harvard Kennedy*
En 2019, con el apoyo del Harvard Kennedy School of Government Performance Lab, la Agencia de Servicios Infantiles de Míchigan diseñó nuevos tableros de control de desempeño ejecutivo que ofrecen una imagen integral de las operaciones de la agencia a través de 42 métricas cuidadosamente seleccionadas. Este informe destaca la experiencia de Míchigan e incluye una lista de métricas seleccionadas para su uso y un ejemplo de tablero de control, todo lo cual puede utilizarse para orientar a otras agencias de bienestar infantil a medida que toman medidas para transformar sus propios sistemas.
Para obtener información más detallada sobre cómo los tableros eficaces pueden proporcionar a los líderes de las agencias una visibilidad de alto nivel sobre las tendencias operativas y de resultados en todo el sistema de bienestar infantil y conducir a la acción, consulte el documento informativo complementario, ¿Cómo pueden los tableros de rendimiento ejecutivo respaldar la eficacia de las agencias de bienestar infantil?
Antecedentes
La nueva dirección de la Agencia de Servicios Infantiles de Michigan buscó renovar los tableros de control de desempeño que el equipo de alta dirección revisaba regularmente. La agencia ya contaba con tableros de control, pero eran difíciles de usar para que los líderes generaran teorías sobre cómo cambiar la práctica y para rastrear si esos cambios estaban contribuyendo a mejores resultados.
Muchas de las métricas originales se seleccionaron debido a los requisitos de informes asociados con un decreto de consentimiento de larga data, en lugar de su posible impacto operativo. La agencia corría el riesgo de que surgieran nuevas crisis con poca advertencia, ya que pocos de los paneles destacados reflejaban medidas que se sabía eran indicadores tempranos de la salud del sistema a largo plazo o de los resultados para los niños y las familias. Y aunque la desagregación por oficinas locales era común, rara vez los líderes regionales obtenían información sobre su desempeño a lo largo del tiempo, lo que les dificultaba saber dónde estaban progresando y dónde ofrecer mayor orientación dentro de sus equipos.
Selección de las métricas correctas
Al desarrollar los nuevos paneles, los líderes de la agencia comenzaron por hacer una lluvia de ideas sobre las áreas actuales de preocupación en las operaciones de la agencia e identificar “puntos ciegos” en los paneles existentes donde el liderazgo carecía de un panorama claro del desempeño.
Para cada área principal del sistema de bienestar infantil —admisión centralizada, investigaciones de campo, casos abiertos y colocaciones fuera del hogar—, el departamento priorizó las preguntas de gestión más importantes en cada una de las tres categorías de desempeño: capacidad del sistema, calidad del programa y resultados para los niños y las familias. Luego, diseñó una métrica de tablero para presentar datos de cada una de estas preguntas.
Además, el departamento incorporó otros tres grupos de métricas que complementarían las identificadas para áreas funcionales específicas:
- Elevió un conjunto de métricas relacionadas con las tendencias a nivel de sistema. Estas incluyeron los gastos en relación con el presupuesto, el recuento de muertes y lesiones graves por maltrato infantil en todo el estado, y —para observar los cambios en la eficacia del ecosistema de denuncias del estado— la proporción entre el número de denuncias de maltrato y el número de lesiones infantiles graves en los registros de facturación de Medicaid.
- Dado que el equipo directivo de Míchigan tenía un interés especial en medir periódicamente el progreso en la reducción de las desigualdades que afectan a los niños y las familias, la agencia desarrolló además un conjunto de indicadores para analizar la desproporcionalidad y las disparidades por raza y origen étnico en momentos clave de la toma de decisiones.
- Para permitir la detección temprana de problemas, se realizaría un seguimiento de los indicadores a corto y largo plazo para algunas de las medidas más críticas. Por ejemplo, para supervisar el éxito del sistema en la reducción de la incidencia de maltrato reiterado, los tableros informaban sobre las tasas de maltrato posterior fundamentado a intervalos de un mes, seis meses y 12 meses después del cierre del caso.
El apéndice de este informe breve incluye el conjunto completo de las métricas del panel de rendimiento de Míchigan, así como la pregunta de gestión que cada métrica fue diseñada para abordar.
Visualización de los datos para cada métrica del panel
Una vez que Míchigan seleccionó las métricas para incluirlas en los nuevos tableros de control, el equipo de datos del departamento se propuso diseñar cómo se visualizarían los datos para cada una. Uno de los nuevos tableros se centró en monitorear las operaciones y el rendimiento en la línea directa de admisión central, que recibe llamadas del público sobre denuncias de abuso o negligencia. Este tablero (ver el ejemplo de tablero a continuación) presenta la capacidad del personal para manejar eficazmente el volumen de llamadas entrantes a la línea directa de admisión central. El gráfico de la izquierda muestra la carga de casos de los especialistas de admisión, definida como el promedio de llamadas que cada especialista de admisión recibe y procesa cada mes. El gráfico de la derecha muestra la proporción de llamadas abandonadas cada mes.
Este tablero incorpora varios elementos de diseño que ayudan al equipo directivo a interpretar las tendencias en los datos y a analizar posibles medidas de seguimiento:
- Resultados mensuales de los últimos tres años, que revelan niveles de carga de trabajo de los especialistas de admisión que habían aumentado lentamente con el tiempo, junto con un incremento drástico en la tasa de llamadas abandonadas.
- Un mensaje que les recuerda a los líderes que una tasa elevada de llamadas abandonadas puede poner a más niños en riesgo de sufrir daños adicionales, ya que es posible que los denunciantes que abandonan las llamadas no intenten volver a ponerse en contacto con la agencia.
- Orientación enfocada en soluciones para interpretar tendencias; en este caso, señalando que los aumentos en el volumen de casos o en la tasa de llamadas abandonadas pueden indicar la necesidad de ajustar el personal o los horarios de admisión central.
Otros nuevos tableros creados como parte de este proceso incluyen otras dos nuevas características de diseño: un punto de referencia objetivo o línea de referencia que permite a los líderes determinar la urgencia de posibles reformas; y una desagregación de las tendencias por componentes operacionalmente significativos para ayudar a identificar prácticas para difundir y unidades que puedan necesitar apoyo adicional.
Panel de control de admisión central de ejemplo de la Agencia de Servicios Infantiles de Míchigan
El uso de tableros de desempeño para impulsar el cambio
Cuando los tiempos de espera en las líneas directas de protección infantil se alargan demasiado, los miembros de la comunidad que intentan denunciar posibles casos de abuso o negligencia pueden colgar y no volver a llamar, lo que podría dejar a los niños expuestos a sufrir más daño. Como parte de las reuniones periódicas del equipo ejecutivo para revisar los datos de desempeño, los líderes de una agencia en Michigan notaron un aumento en la tasa de llamadas abandonadas a la línea directa central de recepción, a la que se recurre para denunciar presuntos casos de abuso o negligencia. A principios de 2017, menos del 5% de las llamadas a la línea directa se abandonaban antes de que un especialista en recepción las atendiera. Durante los dos años siguientes, la tasa de llamadas abandonadas aumentó de manera constante y luego se disparó a casi un tercio de las llamadas a mediados de 2019.
Esta tendencia preocupante en los datos llevó a los líderes de la agencia a reformar el funcionamiento del centro de atención. Los gerentes comenzaron analizando los datos de las llamadas para identificar los “puntos críticos” —momentos del día en los que los tiempos de espera eran particularmente largos y el número de llamadas abandonadas se disparaba— y ajustaron los horarios del personal para brindar cobertura adicional durante esos momentos. Además, el equipo directivo diseñó un nuevo informe para dar seguimiento al volumen de llamadas y a los tiempos de atención por cada miembro del personal, con el fin de descubrir las prácticas efectivas utilizadas por el personal de alto rendimiento e identificar a los trabajadores que necesitaban capacitación adicional. Los líderes de la agencia ajustaron las prácticas de contratación al reclutar para puestos de especialistas en atención de llamadas de manera continua —en lugar de solo cuando surgían vacantes— para contar con un grupo de candidatos que permitiera cubrir rápidamente cualquier vacante a medida que surgiera. A medida que se implementaron estos cambios, la tasa de llamadas abandonadas a la línea de ayuda bajó de un máximo de más de 35% a aproximadamente 5%. La agencia ha seguido monitoreando cuidadosamente estas tendencias mediante sus nuevos paneles de control.
Tableros ejecutivos de la Agencia de Servicios Infantiles de Míchigan
A continuación se presenta el conjunto completo de indicadores del tablero de desempeño que la Agencia de Servicios para la Infancia de Michigan desarrolló para dar seguimiento a las operaciones y los resultados de su sistema. Cada indicador del tablero está vinculado a una pregunta clave de gestión que la agencia busca responder a través de los datos disponibles.
Los recursos siguientes pueden ser útiles para los líderes de agencias que trabajan en el desarrollo o perfeccionamiento de tableros de rendimiento ejecutivo adaptados a las prioridades y necesidades de sus propias jurisdicciones.
Nivel de sistema
|
Pregunta clave |
Medida relacionada |
|
|---|---|---|
|
Capacidad |
1. ¿Tenemos suficiente capacidad de personal para gestionar eficazmente las necesidades de nuestro sistema? |
Conteo de supervisores, investigadores de campo, gestores de casos de cuidado de crianza temporal, otro personal que maneja casos, especialistas de admisión centralizada, personal en capacitación, puestos vacantes |
|
2. ¿Estamos asignando y desplegando eficazmente los fondos disponibles? |
Para el año fiscal actual, comparación del presupuesto asignado versus los gastos reales por mes |
|
|
Calidad |
3. ¿Está funcionando nuestro sistema de informes de manera efectiva? |
Proporción de informes de maltrato con respecto al número total de lesiones infantiles graves en los registros de facturación de Medicaid |
|
4. ¿Estamos reduciendo eficazmente la desproporcionalidad y las disparidades en los resultados en todo nuestro sistema? |
Comparación por raza/etnia del niño: población infantil total del estado, proporción de denuncias investigadas, proporción de maltrato fundamentado, proporción que ingresa a cuidado fuera del hogar, proporción que logra la permanencia en un plazo de 12 meses, proporción en cuidado durante 24 meses o más |
|
|
5. ¿Estamos reduciendo el número de niños que ingresan al sistema de cuidado fuera del hogar y apoyando a los niños para que salgan de él? |
Diferencia entre las admisiones y las altas en los servicios de atención fuera del hogar |
|
|
Resultados |
6. ¿Estamos reduciendo eficazmente la incidencia de muertes de niños y cuasi muertes? |
Entre todas las muertes de niños y casi muertes atribuidas al maltrato, porcentaje con interacción previa con el sistema de bienestar infantil Y Conteo de todas las muertes de niños por causas no naturales |
ADMISIÓN CENTRALIZADA
|
Pregunta clave |
Medida relacionada |
|
|---|---|---|
|
Capacidad |
1. ¿Tenemos suficiente capacidad de personal para gestionar eficazmente las necesidades de nuestro sistema? |
Conteo de supervisores, investigadores de campo, gestores de casos de cuidado de crianza temporal, otro personal que maneja casos, especialistas de admisión centralizada, personal en capacitación, puestos vacantes |
|
2. ¿Contamos con suficiente personal para manejar el volumen de contactos? |
Proporción de contactos totales procesados por trabajadores de admisión; de todas las llamadas presentadas, porcentaje de llamadas abandonadas |
|
|
Calidad |
3. ¿Estamos procesando los contactos eficientemente? |
Porcentaje de contactos procesados con <1 hora, 1-3 horas, 3-5 horas o 5+ horas entre la recepción del contacto y la decisión de evaluación |
|
4. ¿Estamos tomando decisiones de selección coherentes? |
De todos los informes de maltrato infantil, proporción de informes aceptados para investigación |
|
|
5. ¿Estamos descartando informes que podrían haberse beneficiado de haber sido incluidos? |
Entre los informes que fueron descartados, porcentaje de familias con contacto posterior a la admisión centralizada / admisión aprobada dentro de los 3 meses siguientes |
|
|
Resultados |
6. ¿Estamos incluyendo en la revisión reportes que potencialmente deberían haber sido excluidos? |
Entre todas las investigaciones, recursos compartidos que resultaron en una disposición de Categoría V Y Número de solicitudes de reconsideración por resultado |
INVESTIGACIONES DE CAMPO
|
Pregunta clave |
Medida relacionada |
|
|---|---|---|
|
Capacidad |
1. ¿El volumen de investigaciones está poniendo a prueba la capacidad de nuestro sistema? |
Conteo de investigaciones activas y vencidas |
|
2. ¿Tenemos suficiente capacidad de personal para gestionar el volumen de investigaciones? |
Proporción de personal con 11 o menos investigaciones, 12 investigaciones, 13-14 investigaciones, 15 o más investigaciones |
|
|
Calidad |
3. ¿Estamos estableciendo contacto cara a cara con las presuntas víctimas de manera oportuna? |
Proporción de presuntas víctimas con contacto cara a cara dentro de los plazos prioritarios (24 o 72 horas) |
|
4. ¿Estamos tomando decisiones coherentes con respecto al nivel de riesgo identificado al cierre de la investigación? |
Porcentaje de investigaciones con resoluciones de Categoría V, IV, III, II y I |
|
|
5. ¿Estamos tomando decisiones coherentes para abrir casos en curso o retirar a los niños y colocarlos en entornos fuera del hogar? |
Porcentaje de casos de Categoría I con colocaciones fuera del hogar; porcentaje de casos de Categoría III que se abren a CPS |
|
|
Resultados |
6. ¿Estamos cerrando casos que podrían haberse beneficiado de la implementación de servicios? |
Entre las investigaciones que no se abrieron para CPS, proporción con contacto posterior a la admisión centralizada / evaluación de aceptación dentro de los 3 meses |
Casos en curso
|
Pregunta clave |
Medida relacionada |
|
|---|---|---|
|
Capacidad |
1. ¿Está el volumen de casos tensionando la capacidad de nuestro sistema? |
Recuento de niños en casos abiertos que están en el hogar, fuera del hogar |
|
2. ¿Tenemos suficiente capacidad de personal para gestionar el volumen de casos en curso? |
Proporción de personal con cargas de casos de 16 o menos familias, 17 familias, 18-19 familias, 20 o más familias |
|
|
3. ¿Tenemos suficiente capacidad de servicio para satisfacer las necesidades de las familias? |
Número de familias en lista de espera por tipo de programa |
|
|
Calidad |
4. ¿Estamos haciendo contacto cara a cara con los niños de forma mensual? |
Porcentaje de niños con visita presencial en los últimos 30 días |
|
5. ¿Estamos teniendo contacto cara a cara con los padres y cuidadores mensualmente? |
Proporción de cuidadores principales / padres con objetivo de reunificación que tuvieron visitas presenciales en los últimos 30 días |
|
|
6. ¿Estamos actualizando regularmente los planes de servicio para satisfacer las necesidades de las familias y mejorar el tiempo hasta el cierre del caso? |
Porcentaje de familias con planes de servicio actualizados / reuniones de equipo familiar en los últimos 90 días |
|
|
Resultados |
7. ¿Estamos proporcionando con éxito apoyos que reducen el riesgo y mantienen a los niños seguros en el hogar? |
Recuento de casos que ascienden a la Categoría I o II |
|
8. ¿Estamos apoyando eficazmente a las familias para que cuiden a sus hijos y promuevan la seguridad y el bienestar infantil? |
Proporción de casos de Categoría III que se cierran en un plazo de 90 días; proporción de casos activos de Categoría I y II atendidos en el hogar que se cierran en un plazo de 6 meses, 12 meses |
|
|
9. ¿Estamos reduciendo eficazmente la incidencia de maltrato recurrente? |
Proporción de niños con denuncias posteriores fundamentadas de maltrato dentro de 1 mes, 6 meses, 12 meses después del cierre del caso |
Colocación fuera del hogar
|
Pregunta clave |
Medida relacionada |
|
|---|---|---|
|
Capacidad |
1. ¿El volumen de colocaciones fuera del hogar está poniendo a prueba la capacidad de nuestro sistema? |
Recuento de niños en cuidado fuera del hogar por tipo de colocación (cuidado de familiares con licencia, cuidado de familiares sin licencia, hogar temporal, residencial, vida independiente, refugio, otro) Y Porcentaje de niños en cada entorno de colocación por raza/etnicidad |
|
2. ¿Tenemos suficiente capacidad de personal para respaldar el volumen de colocaciones fuera del hogar? |
Porcentaje de trabajadores de cuidado temporal con cargas de casos de ≤14, 15, 16-17 o 18+ niños; porcentaje de cargas de casos de trabajadores estatales y privados que cumplen con la meta |
|
|
3. ¿Tenemos suficientes camas disponibles para satisfacer la necesidad de atención fuera del hogar? |
Utilización de las camas disponibles en hogares residenciales, cuidado temporal estatal y cuidado temporal de agencias privadas |
|
|
Calidad |
4. ¿Estamos colocando exitosamente a los niños en ubicaciones apropiadas? |
Conteo |
|
5. ¿Estamos apoyando la estabilidad de ubicación de los niños en cuidado fuera del hogar? |
Porcentaje de niños que experimentan una interrupción de la colocación dentro de los 30 días posteriores al ingreso a una nueva colocación |
|
|
6. ¿Estamos manteniendo las conexiones familiares para los niños ubicados fuera del hogar? |
En casos con el objetivo de reunificación, proporción de niños con visitas con sus padres nunca / dos veces / cuatro veces en el mes pasado |
|
|
7. ¿Estamos regresando rápidamente al sistema de cuidado a los jóvenes que se fugan? |
Conteo de jóvenes fugitivos por duración del estatus de fuga (0-7 días, 8-30 días, más de 31 días) |
|
|
8. ¿Nos estamos asegurando de que los niños no permanezcan demasiado tiempo en hogares de acogida? |
Número de niños en cuidado fuera del hogar según la duración de la estancia (0-11 meses, 12-23 meses, 24-35 meses, 36+ meses) |
|
|
9. ¿Estamos emparejando a los niños que tienen objetivos de adopción con familias adoptivas de manera oportuna? |
Cantidad de niños esperando adopción por estado de adopción (asignados a una familia, esperando una familia) |
|
|
10. ¿Estamos apoyando a las familias para que superen con éxito los desafíos de la reunificación? |
Recuento de familias que se inscriben y continúan en el cuidado posterior a la reunificación |
|
|
11. ¿Estamos emancipando eficazmente a los jóvenes para lograr transiciones exitosas hacia la edad adulta? |
Recuento de jóvenes que salen hacia la emancipación; proporción inscrita en un programa de apoyo de transición Y Proporción de jóvenes que alcanzan la edad límite por raza/etnicidad |
|
|
Resultados |
12. ¿Estamos manteniendo seguros a los niños mientras están en cuidado fuera del hogar? |
Cantidad de incidentes de maltrato comprobados en el cuidado según el tipo de colocación |
|
13. ¿Estamos ayudando a los niños a lograr la permanencia de manera oportuna? |
Porcentaje de niños que logran la permanencia dentro de los 6 meses, 12 meses y 24 meses de haber ingresado al sistema de cuidado |
|
|
14. ¿Estamos reunificando con éxito a los niños con sus familias? |
Proporcion de niños que salen del sistema de cuidado hacia la reunificación, adopción/tutela o emancipación |
|
|
15. ¿Estamos reduciendo el reingreso al cuidado? (¿Permanece unidas las familias reunificadas?) |
De todos los niños que salieron del cuidado hace 12 meses, porcentaje que volvió a ingresar en 1 mes, 6 meses, 12 meses |
El Laboratorio de Rendimiento Gubernamental (GPL) de la Escuela de Gobierno John F. Kennedy de Harvard realiza investigaciones sobre cómo los gobiernos pueden mejorar los resultados que logran para sus ciudadanos. Una parte importante de este modelo de investigación consiste en proporcionar asistencia técnica práctica a los gobiernos estatales y locales. A través de esta participación, el GPL obtiene información sobre las barreras que enfrentan los gobiernos y las soluciones que pueden superar estas barreras. Al involucrar a estudiantes actuales y recién graduados en este esfuerzo, el GPL también puede ofrecer aprendizaje experiencial. El GPL desea agradecer que estos materiales son posibles gracias a subvenciones y al apoyo de Casey Family Programs y la Fundación Laura y John Arnold. Para obtener más información sobre el Laboratorio de Rendimiento Gubernamental, visite nuestro sitio web en https://govlab.hks.harvard.edu.
Casey Family Programs consulta con individuos y equipos en todo el país para recopilar investigaciones, experiencias y conocimientos sobre enfoques que pueden reducir de manera segura la necesidad de acogida familiar y garantizar el bienestar de los niños y las familias. Compartimos esta información ampliamente para ayudar a los líderes de bienestar infantil y a sus socios a abordar problemas similares en sus propias comunidades. Para preguntas sobre este recurso, o si tiene otras necesidades de información sobre bienestar infantil, envíe un correo electrónico a kmresources@casey.org.
