Language assessment in kindergarden: Development and validation of a rubric
DOI:
https://doi.org/10.31391/S2007-7033(2022)0058-015Keywords:
language acquisition, kindergarten children, curriculum-based assessment, criterion referenced tests, performance-based assessmentAbstract
The objective of this research was to develop and obtain validity evidence of a language assessment instrument for kindergarten students. A methodological study of educational evaluation was conducted, it was divided into two phases: Instrument development, which was based on the guidelines of international standards for the development of measurement instruments; and a second phase dedicated to obtaining evidence based on test content through expert judgment, and evidence based on internal structure applying exploratory factor analysis. The rubric obtained is aligned to the curriculum, administered by teachers, appropriate to assess children’s performance, in both oral and written language, and can be used for formative purposes and monitoring trends. The rubric’s content is supported by evidence, and the results indicated the rubric has high reliability and a one-dimensional structure. The characteristics of this instrument, which make evident that it is adequate to be used in the Mexican kindergarten education system, are discussed.
Downloads
References
American Educational Research Association/American Psychological Association/ National Council on Measurement in Education (AERA/APA/NCME) (2014). Standards for educational and psychological testing. Estados Unidos.
American Psychological Association-Coalition for Psychology in Schools and Education (2019). Top 20 principles from psychology for early childhood teaching and learning. https://www.apa.org/ed/schools/teaching-learning/top-twenty-early-childhood.pdf
Andrade, H., Bennett, R. & Cizek, G. (2019). Prefacio. En H. L. Andrade, R. Bennett y G. Cizek. Handbook of formative assessment in the disciplines. Londres: Routledge.
Arter, J. (2010). Scoring rubrics. En P. Peterson, E. Baker y B. McGaw. International Encyclopedia of Education (3a ed.) (pp. 123-139). Reino Unido: Elsevier.
Bentler, P. (2006). EQS 6 Structural Equations Programs Manual. California, EUA: Multivariate Software Inc.
Black, P. & Wiliam, D. (2019). Developing a theory of formative assessment. Educational Assessment, Evaluation and Accountability, vol. 21, núm. 1, pp. 5-31. https://doi.org/10.1007/s11092-008-9068-5
Black, P. & Wiliam, D. (2018). Classroom assessment and pedagogy. Assessment in Education: Principles, Policy & Practice, vol. 25, núm. 6, pp. 551-575. https://doi.org/10.1080/0969594X.2018.1441807
Brijmohan, A., Khan, G. A., Orpwood, G., Sandford Brown, E. & Childs, R. A. (2018). Collaboration between content experts and assessment specialists: Using a validity argument framework to develop a college mathematics assessment. Canadian Journal of Education, vol. 4, núm. 2, pp. 584-600. https://journals.sfu.ca/cje/index.php/cje-rce/article/view/3239
Cardemil, C. y Román, M. (2014). Presentación de la sección temática: la importancia de analizar la calidad de la educación en el nivel inicial y preescolar. Revista Iberoamericana de Evaluación Educativa, vol. 7, núm. 1, pp. 9-11. https://revistas.uam.es/riee/issue/view/423/254
Castro, F. y Neira, L. I. (2008). Caracterización de instrumentos de evaluación del desarrollo del lenguaje para hablantes del español. Revista Areté, vol. 8, núm. 1, pp. 53-62. https://arete.ibero.edu.co/article/view/435
Collie, R. & Zumbo, B. (2014). Validity evidence in the journal of educational psychology: Documenting current practice and a comparison with earlier practice. En R. Collie & E. K. H. Chan (eds.). Validity and validation in social, behavioral, and health sciences (pp. 113-135). Nueva York: Springer International Publishing.
Creswell, J. & Creswell, D. (2018). Research design: Qualitative, quantitative, and mixed methods approach (5a ed.). Estados Unidos: SAGE Publishing.
Dubeck, M. & Gove, A. (2015). The early grade reading assessment (EGRA): Its theoretical foundation, purpose, and limitations. International Journal of Educational Development, vol. 40, pp. 315-322. https://doi.org/10.1016/j.ijedudev.2014.11.004
Fernald, L., Prado, E., Karinger, P. & Raikes, A. (2017). A toolkit for measuring early childhood development in low- and middle-income countries. Washington, DC: The World Bank.
Ferreiro, E. (2006). La escritura antes de la letra. CPU-e, Revista de Investigación Educativa, núm. 3, pp. 1-52. https://doi.org/10.25009/cpue.v0i3.136
García Medina, A. M., Aguilera García, M. A., Pérez Martínez, M. G. y Muñoz Abundez, G. (2011). Evaluación de los aprendizajes en el aula. Opiniones y prácticas de docentes de primaria en México. México: INEE.
Gómez Meléndez, L. E., Cáceres Mesa, M. L. y Zúñiga Rodríguez, M. (2018). La evaluación del aprendizaje en la educación preescolar. Aproximación al estado del conocimiento. Revista Conrado, vol. 14, núm. 62, pp. 247-255. https://conrado.ucf.edu.cu/index.php/conrado/article/view/712
Gómez Patiño, R. y Seda Santana, I. (2008). Creencias de las educadoras acerca de la evaluación de sus alumnos preescolares: un estudio de caso. Perfiles Educativos, vol. 30, núm. 119, pp. 33-54.
Hattie, J. & Timperley, H. (2007). The power of feedback. Review of Educational Research, vol. 77, núm. 1, pp. 81-112. https://doi.org/10.3102/003465430298487
Hernández-Nieto, R. (2011). Instrumentos de recolección de datos en ciencias sociales y ciencias biomédicas. Mérida, Venezuela: Universidad de Los Andes.
Hernández-Nieto, R. (2002). Contribuciones al análisis estadístico. Mérida, Venezuela: Universidad de Los Andes.
Instituto Nacional de Evaluación Educativa (INEE) (2014). El aprendizaje en preescolar en México. Informe de resultados EXCALE 00 aplicación 2011 lenguaje y comunicación y pensamiento matemático. México.
Instituto Nacional de Evaluación Educativa (INEE) (s.f.). Cuadernillo técnico de evaluación educativa. Uso de resultados y retroalimentación. México.
Jornet Meliá, J. M., González Such, J. y Suárez Rodríguez, J. (2010). Validación de los procesos de determinación de estándares de interpretación (EE) para pruebas de rendimiento educativo. Estudios sobre Educación, vol. 19, pp. 11-29. https://hdl.handle.net/10171/18323
Jornet Meliá, J. M., Perales Montolío, M. J. y González Such, J. (2020). El concepto de validez de los procesos de evaluación de la docencia. Revista Española de Pedagogía, vol. 78, núm. 276, pp. 233-252. https://doi.org/10.22550/REP78-2-2020-01
Lane, S., Raymond, M., Haladyna, T. y Downing, S. (2016). Test development process. En S. Lane, M. Raymond y T. Haladyna (eds.). Handbook of test development (vol. II, pp. 3-18). Nueva York, EUA: Routledge.
Leyva Barajas, Y. E. (2011). Una reseña sobre la validez de constructo de pruebas referidas a criterio. Perfiles Educativos, vol. 33, núm. 131, pp. 131-154. https://doi.org/10.22201/iisue.24486167e.2011.131.24238
Lloret Segura, S., Ferreres Traver, A., Hernández Baeza, A. y Tomás Marco, I. (2014). El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. Anales de Psicología, vol. 30, núm. 3, pp. 1151-1169. https://dx.doi.org/10.6018/analesps.30.3.199361
López García, A. Y. & Willms, J. D. (2020). A national evaluation of kindergarten outcomes: Findings from Uruguay. En J. Hall, A. Lindorff & P. Greet (eds.). International Perspectives in Educational Effectiveness Research (pp. 361-381). Nueva York, EUA: Springer International Publishing.
Marín Uribe, R., Guzmán Ibarra, I. y Castro Aguirre Guzmán, G. (2012). Diseño y validación de un instrumento para la evaluación de competencias en preescolar. Revista Electrónica de Investigación Educativa, vol. 14, núm. 1, pp. 182-202. https://redie.uabc.mx/redie/article/view/308
Martínez Rizo, F. (2012a). Dificultades para implementar la evaluación formativa. Revisión de literatura. Perfiles Educativos, vol. 35, núm. 139. https://doi.org/10.22201/iisue.24486167e.2013.139.35716
Martínez Rizo, F. (2012b). La evaluación en el aula. Promesas y desafíos de la evaluación formativa. Aguascalientes: Universidad Autónoma de Aguascalientes.
Morales Vallejo, P. (2013). El análisis factorial en la construcción e interpretación de tests, escalas y cuestionarios. Revista Comillas, pp. 1-46.
Moreno Olivo, T. (2015). Las competencias del evaluador educativo. Revista de la Educación Superior, vol. 44, núm. 174, pp. 101-126. https://doi.org/10.1016/j.resu.2015.04.011
Pedroza Zúñiga, L. H. y Luna Serrano, E. (2017). Desarrollo y validación de un instrumento para evaluar la práctica docente en educación preescolar. Revista Iberoamericana de Evaluación Educativa, vol. 10, núm. 1. https://doi.org/10.15366/riee2017.10.1.006
Pianta, R., La Paro, K. & Hamre, B. K. (2008). Classroom assessment scoring system: Manual K-3. Estados Unidos: Paul H Brookes Publishing.
Secretaría de Educación Pública (SEP) (2018). Manual de exploración de habilidades básicas en lectura, escritura y conteo. Herramienta para la escuela. México: Dirección General de Desarrollo de la Gestión e Innovación Educativa.
Secretaría de Educación Pública (SEP) (2017). Aprendizajes clave para la educación integral. Educación preescolar. Plan y programas de estudio, orientaciones didácticas y sugerencias de evaluación. México.
Shepard, Lorrie, K., Sharon, L. & Wurtz, E. (1998). Principles and recommendations for early childhood assessments. Washington, DC: National Education Goals Panel.
Sireci, S. & Faulkner Bond, M. (2014). Validity evidence based on test content. Psicothema, vol. 26, núm. 1, pp. 100-107. https://doi.org/10.7334/psicothema2013.256
Snow, C. & Van-Hemel, S. (eds.) (2008). Early childhood assessment: Why, what, and how. Washington, DC: The National Academies Press.
The Learning Bar (2021). Evaluación infantil temprana. https://www.earlyyearsevaluation.com/index.php/es/
Vogt, D., King, A. y King, L. (2004). Focus groups in psychological assessment: Enhancing content validity by consulting members of the target population. Psychological Assessment, vol. 16, núm. 3, pp. 231-243. https://doi.org/10.1037/1040-3590.16.3.231
Willms, J. D. (2018). Las brechas de aprendizaje: uso de datos para formular la política educativa. Francia: Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura.
Willms, J. D. (2014). Informe final de resultados de la evaluación infantil temprana. Estudio piloto en Colonia, Uruguay. Fredericton: The Learning Bar Inc.
Wortham, S. & Hardin, B. (2016). Assessment in early childhood education (8a ed.). Estados Unidos: Pearson.
Downloads
Published
Issue
Section
License
Copyright (c) 2022 Sinéctica
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International license.
Authors who publish in Sinéctica agree to the following terms:
The authors retain copyright and grant the journal the right of first publication of the authorized work simultaneously under a Creative Commons Attribution License, which allows others to share the work as long as both the authorship of the work and the initial publication in this journal are acknowledged.
Authors may enter into additional separate contractual agreements for non-exclusive distribution of the published version of the journal (e.g., publishing in an institutional repository or a book), with acknowledgement of initial publication in this journal.
Authors are allowed to publish their work in institutional repositories or on their own website before and during the submission process, as it may generate productive exchanges, as well as earlier and greater citation of the published work.
Explanatory note: As of 2017 Sinéctica is governed by the Creative Commons Attribution Non-Commercial 3.0 International License, a version that standardizes licenses internationally.
Articles published between 1992 and 2016 are covered by a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International license, which allows a work to be shared and distributed non-commercially and with acknowledgement of the author, but prohibits modification of the original creation.
