PRÁCTICA
PROFESIONAL DOCENTE III
LA
EDUCACIÓN EN EL CONTEXTO ACTUAL – (3)
LA EVALUACIÓN - CONSIDERACIONES GENERALES
En este apartado
asumiremos a la evaluación desde una visión amplia, abarcadora para comprender
su potencialidad. Algo ya venimos tratando…
Asimismo, se pone aquí de manifiesto de qué
manera desaprovechamos esta herramienta que, bien utilizada, nos permitiría
mejorar mucho el rendimiento de nuestros alumnos.
La toma de
conciencia del poderoso instrumento que es la evaluación, y de los beneficios
al ponerla al servicio del mejoramiento continuo del proceso de enseñanza y
aprendizaje, y no al de los intereses particulares del docente, resultan
vitales para la mejora de la calidad educativa.
Por ello es que
abordaremos tanto los términos asociados a la evaluación, como una amplia gama
de definiciones que estudiosos del tema han dado. Luego estableceremos por qué
y para qué se evalúa. Y, por último, nos referiremos a la forma en que
evaluamos, la eticidad y las patologías de la evaluación.
Hay varios autores
que se han ocupado de este tema y que han aportado una visión más clara sobre
el concepto de la evaluación, entre ellos podemos citar a
Miguel Santos
Guerra, a Florencia Carlino,
Sanjurjo, Vera; Bertoni, y
algunos más que irás viendo en la bibliografía al final.
El Modelo
Pedagógico Didáctico se enmarca en la Ley Nacional de Educación y con ellos,
que la evaluación es un proceso, porque durante su desarrollo se puede
modificar y mejorar.
TEMA: LA EVALUACIÓN DEL APRENDIZAJE
Consideraciones Generales
CON ESTE APARTADO DEL TEMA PRETENDO QUE:
1. Comprendas el fenómeno evaluativo en una dimensión amplia y
abarcadora.
2. Reconozcas los fines y motivos del ejercicio evaluativo.
3. Conozcas las patologías de la evaluación.
4. Valorares la necesidad de una evaluación ética
GLOSARIO
Intencionalidad: Lo intencional
es consciente, involucra la/s acción/es en pos de un objetivo a lograr.
Rendimiento académico: Hace referencia
a la evaluación de los conocimientos adquiridos, también supone la capacidad
del alumno para responder a estímulos educativos, en este sentido el
rendimiento académico está vinculado a la aptitud.
Criterios de evaluación: Sirven como indicadores
de la evolución de los aprendizajes del alumnado, como elementos que ayudan a
valorar los desajustes y necesidades detectadas y como referentes para estimar
la adecuación de las estrategias de enseñanza puestas en juego. Establecen de alguna
manera el tipo y grado de aprendizaje que se espera hayan alcanzado los alumnos
con respecto a las capacidades implícitas en los objetivos.
Efectos de la
evaluación: Se refiere a un
cambio o resultado.
EXPOSICIÓN DE CONTENIDOS
-¿Qué
podemos decir de un término al que estamos tan relacionados desde nuestra
infancia?
Todos sabemos qué es la evaluación, dado que hemos
sido examinados desde que ingresamos al sistema formal de enseñanza. Sin
embargo, la palabra entraña una serie de significados. Indudablemente,
semejante a un calidoscopio, el término se nos dibuja o desdibuja según la
ocasión en la que nos encontremos, o frente a quién estamos interactuando.
Lo que queremos significar es que la voz no es unívoca
y que un breve recorrido por la historia
de la evaluación nos muestra que se asocia a sentimientos – muchos de ellos
negativos- y a recuerdos de situaciones no gratas.
En efecto, la palabra “evaluación” no tiene buena
reputación: ligada a situaciones de fuerte tensión y exigencia posee una
notoriedad negativa que precede a la resistencia que ocasiona.
Se observa que el mismo rechazo se da frente a una
evaluación en el ámbito administrativo, personal, comercial o educacional.
Lo antedicho significa, también, que el término no es
privativo del medio educativo y, por lo tanto, si sólo lo asociamos con un acto
calificatorio mediante el cual un alumno recibe una nota o acredita un
conocimiento, estamos acotando la magnitud y potencialidad del acto de evaluar
en sí.
Por ello es que parece un buen ejercicio establecer
con qué otros términos podemos asociar el de “evaluación”.
_ Términos asociados a la acción de evaluar
-
juzgamos,
_ enjuiciamos,
_ ponderamos pros y contras,
_ verificamos,
_ constatamos,
_ medimos,
_ valoramos
_ controlamos,
_ comprendemos,
_ anticipamos consecuencias,
_ estimamos,
_ apreciamos,
_ interpretamos,
_ analizamos,
_ conocemos,
_ comparamos posibilidades,
_ aprehendemos realidades...
Indudablemente que se nos escapan muchos de esos términos.
Todos ellos muestran la riqueza de posibilidades inherentes a la evaluación.
No realizamos una evaluación simplemente para evaluar,
no es un ejercicio de ese estilo, sino que iniciamos un proceso evaluativo
cuando necesitamos tomar una decisión. La evaluación nos permite obtener la
información necesaria para poder decidir, de todas las alternativas posibles,
cuál es la óptima o más adecuada según nuestros propósitos o necesidades.
En este punto, acordamos con Luis Blanco Felip (1996)
en que no podemos caer en el simplismo de que evaluar es sinónimo de recoger
información. Tampoco, por lo tanto, puede ser sinónimo de aplicar un test o
instrumento examinador y de medición. Evaluar, en su sentido más estricto tiene
que ver con la emisión de un juicio de valor sobre esa información relevada.
A continuación, mostramos algunas de las definiciones
que estudiosos del tema en el área de la educación han hecho sobre ella.
_ Definiciones
de varios autores:
“La evaluación es la reunión sistemática de evidencias
a fin de determinar si en realidad se producen ciertos cambios en los alumnos y
establecer también el grado de cambio en cada estudiante” (BLOOM
et.al., 1975)
“La
evaluación educativa sistemática consiste en un juicio formal del valor de los
fenómenos educativos”. Sistemática porque diferencia la evaluación educativa de
la evaluación diaria informal. Formal en el sentido de determinar el mérito de
una actividad. (POPHAM, 1980)
“Evaluación
es el proceso de diseñar, obtener y proveer información útil para juzgar entre
alternativas de decisión acerca de un programa educacional” (STUFFLEBEAM et
al., 1981)
“Evaluación
es el proceso que tiene por objetivo determinar en qué medida se han conseguido
los objetivos previamente establecidos” (TYLER,1982).
“Proceso
de recogida y provisión de evidencia sobre el funcionamiento y evolución de la
vida en el aula, en relación a los cuales se toman decisiones sobre la
posibilidad, efectividad y valor educativo del currículum” (PEREZ, 1983).
“La evaluación
es el proceso de identificar, obtener y proporcionar información útil y
descriptiva acerca del valor y el mérito de las metas, la planificación, la
realización y el impacto de un objeto determinado con el fin de servir de guía
para la toma de decisiones, solucionar los problemas de responsabilidad y
promover la comprensión de los fenómenos implicados” (STUFFLEBEAM-SHINKFIELD,
1987).
“Para
los alumnos no debe ser ni justa ni piadosa, sino reveladora de lo que el
alumno realmente sabe, de sus dificultades y de sus posibilidades para superarlas”.
(Bertoni-Poggi,
1999)
En la opinión de
Florencia Carlino (1999), la evaluación educacional aparece mucho antes de que
existieran las escuelas. Y una breve historia de la evaluación parece darle la razón.
Si nos remitimos a la
noción de evaluación como examen, conocemos que hay antecedentes de pruebas
tomadas en China hace más de 4000 años entre la casta de los mandarines y con
el objeto de seleccionar funcionarios.
_ Cómo se concibe como:
-un acto educativo de profunda intencionalidad
pedagógica
-no un castigo, o una acción
temida y resistida por los alumnos.
_ Por
qué se evalúa:
Como anticipáramos, no se evalúa por el solo ejercicio
de hacerlo, sino que siempre hay una necesidad o propósito. Por ello es que
podemos decir que la pregunta de por qué se evalúa remite a la intención
del evaluador, de acuerdo a su filosofía. Entonces, podemos considerar
que un evaluador evalúa para medir, o para apreciar más agudamente una
situación o para comprender más certeramente un hecho. Las intenciones pueden
ser muchas y variadas, pero creemos que usted ya podrá darse cuenta y aportar,
desde su experiencia, nuevas necesidades y propósitos.
_ Para qué se evalúa:
Este interrogante remite a los efectos
de la evaluación, en relación directa con el objetivo de ella. Tiene que
ver con el uso de resultados de la evaluación. Esto implica una necesaria
relación del evaluador con el ámbito de decisiones.
Volvemos a mencionar que si alguien evalúa lo hace
porque necesita tomar resoluciones respecto del fenómeno evaluado.
_ ¿Evaluación
o examen?
En el ámbito educativo, el modo de evaluar es casi
exclusivamente mediante exámenes orales o escritos. Y esta aseveración hace que
nos preguntemos, junto a otros estudiosos de la evaluación, si podemos
priorizar uno sobre otros.
Después de todo, la evaluación nos permite obtener
información en ámbitos formales e informales. Pero es un secreto a voces que lo
que cuenta en el momento de acreditar conocimientos es la puntuación o nota que
el alumno obtiene como resultado de un examen.
¿Cómo
conjugar ambas nociones a fin de obtener la mayor eficacia y eficiencia del
proceso evaluativo y, a la vez, acreditar qué conocimientos tiene el alumno?
Si bien Howard Gardner (1995) considera que debiera
ponerse énfasis en la evaluación y no en el examen, pensamos que nuestra
atención puede ir dirigida a ambas realidades, sobre todo a partir del debate
actual (cuyos inicios están a fines de la década de 1990) sobre la confiabilidad
y la validez de los exámenes, con la cuota de objetividad que pretende dársele
y con el objeto de terminar con juicios que conllevan una fuerte carga de
arbitrariedad.
A dicho planteo, Gardner
refuta con la opinión de que estos test privilegian los ambientes neutros o
descontextualizados, con una dirección (agregamos nosotros) muy distinta a la
que la rama de la evaluación educacional se está dedicando hoy en día.
En efecto, cualquier
estudio que se precie de serio en este ámbito, no puede descuidar los estudios
del sujeto de la evaluación, y su entorno y capacidades o potencialidades. Como
así también, debe tener en cuenta los límites que su realidad socio cultural le
impone.
No desconocemos que hay
test que miden y rankean conocimientos en Lengua, Ciencias, Matemática a nivel
mundial, pero pensar en una evaluación aséptica y uniforme para las diversas
comunidades, nos aleja de cuanto aconsejan la Sociología y la Antropología
Social para la rama de evaluación.
_ Criterios
de evaluación
Una postura acorde a la reconciliación de la
evaluación y el examen es la que nos plantea Edith Litwin (1998), para quien el
gran desafío a la hora de pensar en evaluación consiste en fijar los criterios
que nos permitan obtener información válida y confiable. A modo de ejemplo,
propone como criterios:
_ el progreso o logro de los alumnos,
_ normativos
_ mixtos.
Alicia Camilloni (1998): También resalta la
importancia de fijar criterios. En realidad, expresa que cuando se quiere
determinar si un instrumento es válido se requiere información acerca de los
criterios que han presidido su construcción y administración. Esto significa
que dichos criterios deben ser especificados y explicitados de antemano. Su
ejemplificación incluye:
• Criterios generales: del
Instituto, o del Departamento de materias afines.
• Criterios diferentes:
surgen del docente y en relación con el alumno o grupo de alumnos.
Para Florencia Ruth Carlino (1999), los criterios de
evaluación son:
• El objeto a evaluar:
conocimientos, centros educativos, desempeño docente, material bibliográfico,
etc.
• La función o finalidad de la
evaluación: acreditación, retención, por ejemplo.
• La extensión de la evaluación: parcial o
global.
• La procedencia de los evaluadores: internos o
externos.
• El momento de su aplicación: inicial,
procesual, final.
• El grado de formalización: tanto de las
situaciones como de los instrumentos que se utilicen para obtener la
información.
• El tipo de diseño: experimental, exploratorio, etc.
Nos parece conveniente acercarle, a la par de los criterios evaluativos,
cuáles son los juicios que se pueden tener acerca de la evaluación en
educación, tal como los plantea A. Loera Varela (1997):
1. Juicios de autorreferencia: se
elaboran generalmente sobre aspectos valorativos de uno mismo.
Ej: “Este año tengo menor nivel de tardanzas y ausentismo a clases”
2. Juicios referidos a objetivos: se
diseñan con fundamento en la capacidad de si los alumnos son lo suficientemente
competentes para lograr expresar los objetivos de un programa curricular:
Ej.: El 75 % de los alumnos de este curso puede establecer la validez de
un silogismo por diagramas.
3. Juicios referidos a criterios: se
basan en los juicios del punto anterior, pero se expresan de manera que se
identifica si se satisface o no un criterio determinado.
Ej.: “El 60 % de los alumnos sabe establecer adecuadamente la validez de
un silogismo por diagramas.” criterio: adecuadamente (significa que al menos el 60 % de los
silogismos propuestos fueron resueltos sin errores)
4. Juicios referidos a dominios:
también basados en los objetivos, se refieren a un área epistémicamente
diferenciada del programa, en referencia a la cual se diseña un conjunto de
ítem para evaluar.
Ej.: “El 75 % de los alumnos conoce silogismos”
5. Juicios referidos a normas: aquí
se distinguen niveles de desempeño claramente jerarquizados. Se puede observar
en la curva normal, a la derecha.
Ej.: “Los alumnos que ya tuvieron Lógica en el secundario saben más de esa
disciplina que sus otros compañeros, ya que su promedio de notas es mayor.”
Estos
juicios permiten sentar las bases para elaborar una noción acerca del desarrollo
de la materia y contribuyen a establecer elementos de mejoramiento.
Para ello se requiere la conformación de un buen sistema
de indicadores, tema que abordaremos en la en otro documento.
_ ¿Qué se evalúa?
En la opinión de quienes son evaluadores, sobre todo
formados en la escuela de Chicago, lo que se evalúa, generalmente, es el rendimiento
académico.
Rendimiento Académico (Pizarro, 1985)
“Es la medida de capacidad o comportamiento máximo, inferida de acciones
operativas, físicas y mentales, que indica o manifiesta estimativamente lo que un
alumno ha logrado o cambiado por experiencia o acumulación, delimitado en un
espacio y tiempo, dentro de un contexto de un proceso educativo o formativo.”
La capacidad se infiere de acuerdo a los objetivos
educacionales esperados o posibles.
Relación entre el objetivo
educacional deseado con el Rendimiento Académico (Pizarro,
1985):
Permite comparar entre lo que se quiere lograr en el proceso de
aprendizaje y lo que logró asimilar el alumno.
_ Evaluación
y poder. Patologías.
“Es de orden natural la necesidad de que haya quien mande y quienes obedezcan”
decía San Agustín en su obra De Civitate Dei refiriéndose con claridad al poder.
¿Qué es el poder?
Podemos concebir al poder como una fuerza que se ejerce sobre
algo o alguien.
A esa fuerza se le opone otra llamada resistencia.
Básicamente, podemos definir al poder como un conjunto de fuerzas encontradas,
pero no iguales. En el poder hay desproporción y asimetría, ya que,
básicamente, hay uno que se impone y otro que acata. El encuentro de fuerzas,
la presión ejercida, lo acatado o soportado, puede darse en muchos ámbitos, con
diversa intensidad y hasta con suavidad, pero implacablemente se produce.
Nótese que no hemos abordado aquí el tema desde un poder determinado: el
político, el militar, el de la prensa... Es mucho más abarcativo.
¿Cómo nace el poder?
De una necesidad. Si concebimos al hombre como un ser social, es decir,
formando parte de una comunidad, no lo podemos pensar como un individuo aislado
sino interdependiente de otros para el logro de sus realizaciones. Y es en esa sociedad
donde siempre está el poder rigiendo, regulando y controlando las relaciones.
El hombre tolera y al mismo tiempo reclama la instalación de una fuerza que a
la vez proteja y organice al grupo humano conformado.
Nos importa destacar que simplemente se trata aquí de dejar en claro que
es en las relaciones humanas más básicas donde surge y se construye el poder.
En otras palabras: el poder es una necesidad social, consentida por el
grupo que rige. El consentimiento se puede notar en que, si bien todos pueden
contestar, apelar o criticar la implementación, nadie lo hace sobre su
necesidad.
Si hay una característica sobresaliente del poder es que es pleno acto.
Aparentemente se puede adquirir, pero no alcanza con detentarlo, no
basta con haber nacido rey, alcanzar la primera magistratura de un país o
llegar a jefe de una sección: si no se es respetado en sus decisiones por el
pueblo en un caso o por los empleados a su cargo en el otro, no se tiene poder,
ya que se carece de fuerza, de capacidad para influir sobre otros y, por lo
tanto, no tiene autoridad.
¿Es bueno? ¿Es malo?
En sí no se puede establecer lo uno o lo otro. Pero tiene mala fama
debido a que habitualmente se lo
relaciona a corrupción. Y es cierto: es de naturaleza corrosiva. Pero, en
definitiva, depende de la debilidad de quien lo ejerza.
Si nos referimos a la evaluación, las características dadas para
cualquier estilo de poder, puede ser aplicado para esta área de conocimiento y
ejecución. De hecho, podemos decir con Hans Morgenthau “El poder puede
consistir en cualquier cosa que se establezca y mantenga el control del hombre
sobre el hombre.”
La historia de la evaluación educativa nos muestra cómo siempre ésta se presentó
como una herramienta poderosa, aún antes de su aparición formal con Ralph
Tyler.
Hasta aproximadamente el 1900, al considerarla como juicio crítico,
contribuyó a la reformulación de la educación, y el fenómeno abarcó
prácticamente todo el mundo occidental. El poder de la evaluación va creciendo
a medida que ella misma evoluciona y abarca algo más que una función calificativa.
Ya en la etapa de la medición o “testing” se pretende determinar el cambio
ocurrido en los alumnos y se considera como el rol de la evaluación educativa
el proporcionar un medio para el continuo perfeccionamiento de un programa
educativo, y determinar la efectividad de las instituciones educativas. También
aquí es sencillo descubrir su importancia y poder.
En la época postyleriana, ya sea que entendamos la evaluación como un
juicio profesional basado en la opinión de expertos evaluadores, como que esté orientada
a la toma de decisiones, no cambia fundamentalmente lo afirmado antes. Ya sea
que la concibamos como valoración, en donde importa el relevamiento de información
y la toma de decisiones respecto de lo que se está evaluando (un curso, los programas,
un área de conocimiento, un nuevo plan educativo implementado...), o la
consideremos también como con una función de control (aquí se valora al
profesorado a fin de mejorar la calidad docente), o la tomemos como
meta-evaluación, se percibe el poder que tiene. Es, en todos los casos, un
instrumento poderoso que predefine o delinea posibles o convenientes acciones a
seguir.
Nótese, también, cómo el evaluador cobra poder. Él es quien utiliza y
ejecuta este poderoso instrumento y, por lo tanto, él también se vuelve
poderoso. Si su rol se desempeña como el de un integrante del proceso o de la
institución a evaluar, encaja perfectamente en el planteo que venimos
realizando, ya que forma parte de la
comunidad educativa que lo ha elegido y ponderado para la tarea, poniéndose el
grupo: directivos, pares, discípulos, a su disposición como una parte del
objeto de evaluación. La ponderación se debe, es lo más probable, a que tenga
en sí algo que el resto no posee y por lo cual lo han seleccionado: capacidad y
conocimiento para evaluar. Y esto también es poder, pero un poder que no se
nota casi por lo suave de su ejercicio.
En cambio, si no pertenece a la institución, significa que fue
contratado como evaluador y ejerce su poder porque determina y guía el proceso
de evaluación.
Y esos pasos, seguramente, influirán de una u otra manera en la
actividad de todos los integrantes de la comunidad educativa. Él es quien
decide qué modelo-enfoque aplicar, de qué manera y con qué recursos. Luego, seguramente,
elaborará un informe plagado de datos y por último, hará las sugerencias a
quien lo contrató. En cada movimiento que hace muestra su autoridad, solicita
(no necesita ni ordenar) y es atendido; organiza, planifica, delinea caminos a
seguir durante todo el tiempo que dure la evaluación. Eso es poder en
ejercicio.
La presión que realiza el evaluador, sea interno o externo, ni parece
física, pero sí lo es: encierra en un todo la definición inicialmente dada: el poder es una fuerza
que se ejerce sobre algo o alguien, aunque se perciba poco.
¿Cuál es la fuerza que dirige aquí?
No es una de tipo corporal, bélica, política, económica, sino que es la
más sutil de todas y que viene imponiéndose día a día: la que otorga el
conocimiento. El conocimiento es una nueva manifestación del poder. El poder
epistemológico, si bien es antiguo, ha sido reconocido recientemente. Es una
idea ya muy aceptada que los que se imponen, dirigen, guían, controlan, hacen
ejecutar acciones no son hoy en definitiva, los grandes políticos o militares,
sino los que detrás de ellos conocen y sugieren acciones a implementar.
Las manifestaciones del poder, como ya se adelantó, han cambiado.
Antaño, la fuerza física era la manifestación de poder más grande, luego ésta
le cedió paso a la concentración económica y así han ido sucediéndose. Sin
embargo, se puede afirmar que la manifestación más grande de poder se encuentra
en quien posee la información. Sea en el ámbito que sea. La información da
poder. Su manejo es poder en ejercicio. Quien tiene el conocimiento, quien sabe
cómo lograr la información es el poderoso de hoy, porque es necesario,
requerido, valorado y cotizado.
Lo dicho aquí bien puede aplicarse a un evaluador. Este no pierde ni un
poco de poder si no es el encargado de tomar decisiones, le basta con
descubrir, plantear una situación y sugerir, si así se lo piden.
El evaluador, al involucrarse en una evaluación de cualquier índole, es
un integrante más del proceso evaluativo. Como tal es un observador agudo, un analista
de situaciones complejas, que juzga y valora el proceso en sí y cada una de las
etapas implementadas. Y si puede hacerlo es porque conoce. Ese conocimiento
epistemológico acerca de la evaluación y los enfoques-modelos, así como la
información que maneja, en todos los casos delicada, confidencial, importante
para un grupo de personas (empezando por el que la solicita), le confieren al
evaluador un poder que pocos poseen.
Cada vez que se habla de poder surge, indefectiblemente, el tema ético.
El evaluador, como sujeto que ostenta el poder, debe ser honesto y
respetuoso, no debe divulgar información, dado que hay alguien que puso su
confianza en él. Se lo rescata como a una persona preparada con una sólida
formación moral y profesional y, por lo tanto, alguien que debería rehusarse a realizar
su tarea si percibiera que los fines que persigue el contratante no son buenos.
Y puede hacerlo, porque tiene el suficiente talento y capacidad para no
necesitar convertirse en un mercenario del poder de otros. Y esto también es
poder en ejercicio.
Respecto de las patologías que encierra el poder de la evaluación,
podemos remitirnos a Santos Guerra (1999), quien relaciona estas patologías con
deformaciones en las que puede caer el evaluador si no lleva a cabo con corrección
y éticamente su tarea. Menciona una patología general de la evaluación referida
a que el único sujeto de evaluación en el ámbito educacional es el alumno,
mayormente sólo se evalúan resultados, se evalúan descontextualizadamente,
competitivamente, incoherentemente, y varias deformaciones más que hacen que la
evaluación sea una práctica temida y resistida por los evaluados y que muestra
a las claras la necesidad de reflexionar sobre sus potencialidades y usos.
BIBLIOGRAFÍA
BERTONI, A, y
otros, Evaluación. Nuevos significados para una práctica compleja. Bs. Aires,
Kapelusz, 1999. CAPÍTULO I.
CARLINO, F. La
evaluación educacional. Historia, problemas y propuestas. Buenos Aires, Aique,
1999. INTRODUCCIÓN.
SANJURJO, T. y M.
Vera, Aprendizaje significativo y enseñanza en los niveles medio y superior.
Rosario, Homo Sapiens, 1994. CAPÍTULO V.
SANTOS GUERRA,
Miguel, Evaluación Educativa (vol.1). Buenos Aires, Magisterio del Río de la
Plata, 1999. CAPÍTULO I.
Bibliografía
Recomendada:
ALTBACH, Ph.,
Educación superior en el siglo XXI. Desafío global y respuesta nacional. Buenos
Aires, Biblos, 2000.
BLANCO, Luis A,
La Evaluación educativa, más proceso que producto. Barcelona, Educación y Món
Actual, 1996.
POPHAM, W. James,
Evaluación
basada en criterios. Madrid, Magisterio Español, 1983.
Programa de
Evaluación de la Calidad de la Educación. Memoria. Madrid, 1997.
Programa de Evaluación de la Calidad de la
Educación. Documentos l. Bs. Aires. (s/f).
