Se dice a menudo que en los museos de ciencia no se evalúa pero esta no es una expresión exacta: siempre se evalúa en los museos y las exposiciones, lo que sucede es que los mecanismos de evaluación en museos que manifiestan una determinada intención social no siempre están dirigidos —paradójicamente— a revelar hasta qué punto se consigue aquello que ellos mismos proclaman haber planteado como misión[1]. Mientras que los museos con intenciones lucrativas evalúan cuidadosamente sus beneficios dinerarios, o los museos con intenciones turísticas ponderan puntualmente su presencia en las agendas de los turoperadores, los museos que proclaman misiones sociales no evalúan —sorprendentemente— el grado de consecución de las mismas sino otro tipo de cosas. Estos supuestos métodos de evaluación que en realidad no informan sobre el nivel de logro de la misión que se declara son de diversos tipos.

Uno de los indicadores más frecuentes y casi siempre medidos es el número de visitantes, un factor que se ha implantado en la gestión museística como un parámetro básico. Se trata de un dato sin duda interesante, revelador y necesario de medir y de cuidar, pero en absoluto suficiente para un museo que pretenda ser un instrumento relevante de cambio social[2]. En los casos de museos de ciencia muy grandes que arrastran una enorme cantidad de gastos fijos en episodios tales como el mantenimiento regular, el número de visitantes puede identificarse por parte de los mecanismos de gestión como un indicador relativamente rápido y manejable con el que intentar justificar con relativa facilidad la gran inversión anual que precisa el museo. Esto puede provocar un enfoque estratégico del museo excesivamente centrado en el objetivo de conseguir, sobre todo, muchos visitantes antes que muchas transformaciones[3].

Por otra parte y como parece obvio, es muy complicado obtener información cualitativa alguna a partir del indicador cuantitativo del número de visitantes; de hecho a partir de ese indicador se podrían llegar a plantear interrogantes que pudieran conllevar una reducción al absurdo, como por ejemplo ¿cuántos visitantes debe tener una institución cultural para que se considere que cumple su función social? En todo caso, el número de visitantes es un factor que responde a la perfección a las dinámicas cuantitativistas —cuando no directamente mercantilistas— que invaden los procedimientos de valoración de casi cualquier proyecto en la sociedad neoliberal contemporánea, en la que prácticamente todo parece tener que asegurar un retorno ponderable cuantitativamente —cuando no directamente crematístico— y normalmente en el menor plazo de tiempo posible. Este estilo de valoración cortoplacista está empezando a regir incluso en algunos proyectos de la Administración Pública, que hasta ahora parecía ser de las pocas instancias que podía asumir proyectos de inspiración social, de resultados cualitativos y ponderados a medio o largo plazo[4].

En ocasiones se defiende el número de visitantes como un indicador indirecto de la repercusión de un museo. Si un museo tiene visitantes —se sostiene— puede presumirse que es porque la visita está siendo útil o interesante al usuario y, debido a ello, se produce un fenómeno de boca-oreja que se manifiesta finalmente en un incremento de visitantes. En estos casos puede estar confundiéndose de nuevo la capacidad de atracción de un museo con su capacidad de impacto, puesto que no puede afirmarse que aquello que atrae más, influya o transforme más[5].

En todo caso, para una organización que declara pretender cosas del gran calado cualitativo de fomentar vocaciones científicas —por ejemplo— el número de visitantes dice poca cosa acerca de su eficacia a ese respecto. Por si fuera poco, existen diversas dificultades procedimentales para contar los visitantes de un modo standard para todos los museos, mezclando a menudo cosas muy poco comparables (como los museos que son gratuitos con los que no lo son) por lo que es realmente arriesgado establecer comparativas de éxito o de impacto usando esta magnitud. En todo caso, el museo de ciencia de intención transformadora pondrá siempre mucho más interés en meter mucho museo en las personas, que muchas personas en el museo.

En otros casos el factor de evaluación empleado en museos y exposiciones es la satisfacción personal de los directivos que los rigen o de las organizaciones que los costean. Que la exposición haya agradado personalmente a un cierto directivo o haya satisfecho a un sponsor determinado, se convierte así —sorprendentemente— en el factor fundamental para considerar que los recursos han sido bien empleados y que la exposición ha cumplido las expectativas, incluso en el caso de que el directivo o sponsor en cuestión no tengan especiales propósitos, conocimientos museísticos o experiencia en la gestión de organizaciones de acción social.

Algunos museos de ciencia llevan a cabo estudios de satisfacción del público como mecanismo principal de evaluación, normalmente basados en cuestionarios u otras técnicas de autoinforme[6]. En los museos de ciencia estos cuestionarios de satisfacción suelen arrojar calificaciones normalmente buenas o incluso muy buenas que con frecuencia se mantienen de forma aparentemente independientemente de la oferta museística. No obstante, y si los museos no quieren hacerse trampas en el Solitario, habrían de poner especial cuidado en ponderar estas cualificaciones adecuadamente, ya que los resultados de estos trabajos pueden estar especialmente sometidos a diversos sesgos de habitual presencia en los estudios realizados por medio de técnicas de autoinforme. Estos sesgos están muy relacionados con espacios que pueden ser identificados con el esparcimiento y el tiempo libre, máxime cuando éstos suelen ser de un precio muy asequible que normalmente tiene poco que ver con el coste real del servicio[7]. En cualquier caso y de forma aparentemente paradójica, tampoco la satisfacción expresada debería ser un factor con demasiado peso en la evaluación de un museo de ciencia de intención transformadora, ya que son muchos los visitantes que pueden pasar estupendos ratos en las salas por muy diversos motivos y manifestarlo así en los cuestionarios, aunque esto no signifique en absoluto que los objetivos del museo relacionados con propósitos tales como fomentar vocaciones científicas —otra vez por ejemplo— se estén verificando efectivamente[8].

Evaluar tampoco consiste en preguntarle todo directamente al visitante. Aunque parezca sorprendente es muy frecuente articular presuntos sistemas de evaluación en base a cuestionarios u otras técnicas de autoinforme, en las que se pregunta directamente al público cosas como si han aprendido algo nuevo, si creen que recordarán tal contenido de una exposición dentro de un año o si opina que la exposición impacta en el visitante, preguntas que en realidad tienen bastante de retóricas y que casi con toda seguridad cosecharán un buen número de respuestas afirmativas que en muchos casos sólo servirán para alimentar un cierto sentido de autocomplacencia en el museo, ya que se trata de cuestiones que fomentan respuestas interferidas por diversos sesgos muy conocidos por los expertos en técnicas de autoinforme[9]. Naturalmente, para ser mínimamente fiables y eficaces las consultas directas al público no pueden tener estas características. En este mismo orden de cosas, debe evitarse sistemáticamente sacar conclusiones en base a las llamadas correlaciones espurias[10], a fin de no confundir casualidad con causalidad.

También es fundamental tener en cuenta que en los trabajos de evaluación es muy difícil hallar respuestas o soluciones concretas —recetas— a problemas ni de gestión ni de ningún otro tipo, ni tampoco los visitantes van a decirle al museo explícitamente lo que tiene que hacer para ser exitoso, pues eso es algo que naturalmente está reservado al trabajo de los profesionales[11]. Los estudios de evaluación no resuelven los problemas sino que sólo contribuyen a su detección; ofrecen información acerca de aquello que los visitantes necesitan, a fin de que los museos tengan una idea más clara de qué es lo mejor que ellos pueden ofrecer a sus visitantes empleando los recursos del lenguaje museográfico que le son propios.

Otro aspecto habitualmente manejado como indicador cuantitativo tiene que ver con el llamado impacto económico del museo. Es habitual que, asociado a un nuevo proyecto de museo de ciencia, se encargue un estudio de impacto económico a una consultoría especializada, a veces con la idea de justificar mejor el proyecto del museo. Este estudio arrojará interesantes cifras económicas o macroeconómicas relacionadas con la influencia económica que el nuevo museo puede producir en su entorno. Así, el informe seguramente ofrecerá pronósticos sobre magnitudes tales como el VAB (valor añadido bruto) u otros indicadores relacionados con el rendimiento económico por visitante en el entorno del museo. Sin dudar sobre el interés añadido de este tipo de estudios como una herramienta informativa más a disposición del mejor conocimiento de la comunidad propia del museo, es preciso no perder de vista que el museo de ciencia de intención transformadora no dirige sus intenciones de impacto hacia lo económico, sino hacia lo social, pues lo que realmente pretende transformar el museo de ciencia es la relación de los ciudadanos con la ciencia[12].

Para valorar la acción de un museo de ciencia que pretenda transformaciones sociales es preciso, antes de nada, concretar con todo detalle cuáles son las transformaciones sociales pretendidas. Y hacerlo siempre sobre la base de una serie de necesidades sociales detectadas como rigurosamente existentes, descartando el uso de eventuales visiones arbitrarias personales, y conjugando a la vez una pasión ideológica con un realismo pragmático, todo ello en el marco de una adecuada planificación estratégica. Luego será necesario determinar una serie de indicadores de base profundamente cualitativa (que complementarán a los habituales indicadores cuantitativos) que permitan valorar hasta qué punto se consigue ese impacto social pretendido. Seguramente estos indicadores no serán inmediatamente detectables ni tampoco de fácil medida ni estudio (la complejidad de los indicadores aumentará en directa proporción a lo ambicioso de cada propósito), pero son los que permitirán al museo manejar verdaderas referencias del alcance de su acción social y, sobre todo, le permitirán saber cómo mejorar cada día en todos los aspectos de su gestión, consolidando y aumentando así su eficacia como recurso social educativo en el sentido más amplio[13].

Es evidente que evaluar la repercusión de un museo (y en general de todo proyecto de intención social de base cualitativa) no tiene nada de fácil. Suele decirse que el evaluador del museo es por naturaleza humilde, pues ha de ser siempre muy consciente de lo muy complejo y ambicioso de sus pretensiones y no olvidar que su aproximación a la sofisticada influencia del museo de ciencia sobre el visitante será siempre forzosamente incompleta. Por descontado que la repercusión del museo en las personas es implícita, abstracta y muy compleja, y se entreteje a medio-largo plazo en el bagaje intelectual y emocional de los visitantes en un contexto compartido y co-construido con otro tipo de experiencias intelectuales formativas que vive cada persona en su día-a-día, debiendo desgranarse adecuadamente este proceso del concepto habitual de aprendizaje entendido como la asunción de una serie de contenidos concretos. No obstante, el hecho de admitir que nunca podrá saberse todo sobre la repercusión de la experiencia museística en las personas, no significa que no haya que trabajar por conocer lo máximo posible.

Abundando en lo anterior: algunas voces críticas con la evaluación en museos de ciencia sostienen que las intenciones evaluadoras en el museo apenas tienen efectividad —o incluso que pueden resultar ingenuas— en tanto en cuanto las identifican con un intento demasiado cartesiano de valorar el impacto de un ámbito de repercusiones tan abstractas y cualitativas como es el museo de ciencia[14]. Pero todo proyecto evaluativo adecuadamente orientado en el ámbito del museo deberá partir necesariamente del hecho fundamental de que la repercusión del museo de ciencia es efectivamente abstracta y profundamente cualitativa, incluso puede hablarse de mágica haciendo una abstracción poética del efecto de un buen museo. Y esta última palabra puede no ser excesiva, en el sentido de que el  museo de ciencia puede hacer cosas por los ciudadanos que otros estamentos educativos no pueden hacer. En todo caso la evaluación museística bien enfocada acepta plenamente esta dimensión abstracta y subjetiva —incluso mágica— del impacto social del museo de ciencia, aunque aspira a acceder a ella y a promover sus efectos desde su más profundo conocimiento. A pesar de que pueda parecer una paradoja, el interés en evaluar para saber más acerca del impacto social del museo de ciencia, se justifica como una forma eficaz de conseguir que la influencia social del museo de ciencia siga siendo y sea aún más abstracta y todavía más mágica.

Es habitual que algunos zoos y aquariums (como establecimientos que usan de forma plena los recursos propios del lenguaje museográfico) reciban a menudo presiones procedentes de diferentes organizaciones ecologistas que cuestionan el bienestar de los animales u otros aspectos éticos sobre la idoneidad de exhibir animales vivos. En estos casos los zoos y aquariums alegan en su defensa diferentes argumentos, algunos de los cuales están relacionados con la educación de los ciudadanos. No obstante, no es frecuente que aporten estudios de evaluación sistemáticos, cualitativos y rigurosos que demuestren que efectivamente se obtienen esos resultados educativos en el sentido que sea. Sin entrar a profundizar en este polémico y complejo tema, finalmente las organizaciones ecologistas suelen ganar este tipo de debates ante la opinión pública por total incomparecencia del contrario.

El número de visitantes y la satisfacción expresada son sin duda indicadores de base cuantitativa que también son interesantes, pero el museo transformador necesita saber no sólo cuánto atrae o cuánto gusta, sino, sobre todo, cuánto impacta socialmente y si realmente consigue aquello a lo que manifiesta aspirar dedicando una gran cantidad de recursos. Solamente siendo socialmente efectivos (y sobre todo pudiéndolo demostrar con datos cualitativos), los museos de ciencia serán capaces de ostentar el espacio que merecen en las sociedades necesariamente eficientes del siglo XXI[15]. Todo apunta a que la sociedad del futuro será cada vez más exigente y crítica con el destino de los recursos (tanto públicos como privados) dedicados a toda iniciativa de acción social, y los museos de ciencia de intención transformadora deberán estar preparados para responder a estos eventuales —y lógicos— cuestionamientos, ofreciendo datos concretos que demuestren la eficacia de su acción social, datos que sólo pueden cultivarse a partir de una labor evaluativa regular, sostenida y comprometida. Las repercusiones sociales de los museos de ciencia pueden ser abstractas y complejas, pero las preguntas de quienes costean los museos probablemente serán cada vez más —legítimamente— concretas y precisas.

ANTERIOR: El museo transformador quiere ser eficaz.

SIGUIENTE:  La evaluación como parte de la planificación estratégica del museo.

[1] Algo más sorprendente todavía en aquellos casos en que los recursos que se emplean son públicos.

[2] Probablemente el uso generalizado del indicador número de visitantes procede de una extrapolación imprecisa de indicadores de gestión de otro tipo de espacios abiertos al público, tales como centros comerciales o parques de atracciones, lugares en los que la orientación a la obtención de beneficios económicos tiene en el número de usuarios un puntal básico de feedback. José María Parreño identificaba esta práctica llevada al extremo como una patología de los museos contemporáneos que él denominó irónicamente la peste numérica.

[3] La cantidad de visitantes en el museo de ciencia transformador no habría de ser un objetivo, sino la consecuencia de un buen trabajo hecho con intención socialmente transformadora.

[4] Otro parámetro cuantitativo generalmente ponderado por los museos de ciencia y que guarda relación con el conteo de visitantes, es el número de apariciones (impactos) en prensa, un factor que suele ser directamente proporcional a la exhuberancia de los proyectos que presente el museo. Al igual que el número de visitantes y aunque también sea de interés tenerlo en cuenta, este parámetro habla no obstante muy poco del impacto social del museo.

[5] Cabría mencionar aquí como ejemplo similar la proliferación de distintos programas de TV al estilo del Brainiac británico, que reconvierten ciertos medios de especial valor estético de la divulgación científica en fines para proponer un espectáculo televisivo. Sin poner en duda la total legitimidad de pretender lo anterior, sí es preciso diferenciar entre el propósito de divulgar ciencia y el propósito de crear un espectáculo dedicado al entertainment: puede sostenerse que este tipo de producciones de TV no buscan divulgar ciencia (sencillamente porque —independientemente de lo que proclamen— rara vez ponen en marcha proyectos destinados a evaluar la ciencia que divulgan), sino que lo que pretenden conseguir es mucha audiencia, pues eso es justamente lo que sí evalúan puntualmente.

[6] Valorar principalmente la satisfacción del visitante puede tener el efecto de reducir un visitante a un usuario. El visitante pasa así de ser el sujeto de una transformación —que en el museo transformador debería ser— al objeto de un servicio.

[7] Por ejemplo: el en ocasiones denominado efecto halo se manifiesta con fuerza en las entrevistas hechas a los visitantes en museos de ciencia. En estos casos el encuestado en realidad no opina sobre el producto museográfico, sino que lo que está valorando —de forma hasta cierto punto inconsciente— son aspectos globales de su experiencia en la que participan otro tipo de activos. Así, en el marco de una visita al museo realizada durante un estupendo y soleado sábado vacacional en familia, las valoraciones que se hacen del producto museográfico pueden sufrir un sesgo positivo muy marcado, el cual puede mantenerse elevado bastante independientemente de la calidad de la oferta museística. Por otra parte cabría preguntarse hasta qué punto la capacidad crítica de un visitante interpelado puede verse afectada por el hecho de que la visita tenga un precio gratuito o casi gratuito.

[8] Por ejemplo: si el objetivo del museo es suscitar vocaciones científicas, una forma de evaluarlo podría ser hacer un seguimiento de varios grupos de visitantes escolares a través de diferentes años de su itinerario escolar, a fin de ponderar cuántos de ellos se han decidido por opciones de ciencias y qué papel ha tenido el museo en esa elección. Evidentemente no se trata de un estudio de evaluación sencillo pero es que tampoco lo es el muy ambicioso objetivo planteado.

[9] Por ejemplo el sesgo denominado deseabilidad social (en el contexto del museo, los visitantes tienen tendencia a responder afirmativamente a preguntas que les impliquen intelectualmente).

[10] En el blog Spurious correlations es posible encontrar rigurosos ejemplos de este tipo de relaciones estadísticas capaces de inducir a graves errores. Así, puede sacarse la conclusión de que ver películas de Nicolas Cage aumenta el riesgo de ahogarse en una piscina, o que la tasa de divorcios en el estado de Maine está directamente relacionada con el consumo de margarina por persona en USA.

[11] Tampoco el museo puede reducir su desempeño profesional a poner inmediatamente en práctica las sugerencias de sus visitantes. La función del museo transformador no consiste en ofrecer lo que se pide, sino en hacer lo que se necesita.

[12] Si se pretenden impactos sobre todo de tipo económico es muy probable que puedan encontrarse establecimientos más adecuados que los museos de ciencia. De hecho, algo que caracteriza a ciertos proyectos de museos de ciencia especialmente relevantes por sus efectos socialmente transformadores es precisamente su génesis: al no poder ofrecer incentivos a corto plazo que fomenten su creación (económicos, turísticos, de ubicación de una colección preexistente, de promoción de una entidad, etc…) este tipo de museos de base ideológica —que acaban revelando una especial capacidad de penetración en la sociedad— suelen nacer del esfuerzo idealista, e incluso a veces heroico, de unos pocos visionarios fundadores.

[13] Las dificultades para identificar indicadores de base cualitativa que demuestren su impacto social, unidas a la falta de una mayor intensidad en la gestión estratégica, probablemente sean aspectos que faciliten de alguna manera que las organizaciones del sector cultural sean, a menudo y muy lamentablemente, identificadas por personas sin escrúpulos como un contexto ideal para amparar iniciativas corruptas (caso Nóos, caso Palau, etc…).

[14] Cabe decir que resulta cuando menos paradójico que un museo de ciencia ponga en duda procedimientos de base científica para evaluar su impacto social. Por otra parte, también llama la atención que algunos museos de ciencia se planteen ciertos tipos de objetivos y a la vez ellos mismos afirmen que no son evaluables. Parece bastante frustrante desde un punto de vista profesional y personal dedicar tanto tiempo y recursos a perseguir unos objetivos cuyo cumplimiento se asume de entrada que será algo imposible de verificar.

[15] En el delicioso Museums of Influence, Kenneth Hudson sugiere que un indicador cualitativo clave podría estar basado en el grado de relación del museo con su entorno próximo; el nivel de influencia que ha conseguido crear en su comunidad más próxima, particularmente en el caso de museos pequeños. El museo de ciencia transformador no debería poder cerrarse al público de un día para otro sin que ello tuviera consecuencias sociales muy evidentes.