[AIED 2024] Cfp: Workshop on Automated Evaluation of Learning and Assessment Content
Diana Galván
*We apologize if you receive multiple copies of this CFP*
*Spanish and Portuguese follows English*
*Workshop website: https://sites.google.com/view/eval-lac-2024/
===============
1st Workshop on Automated Evaluation of Learning and Assessment Content
AIED 2024 workshop | Recife (Brazil) & Hybrid | 8-12 July 2024
===============
We are happy to announce the first edition of the Workshop on Automated Evaluation of Learning and Assessment Content will be held in Recife (Brazil) & online during the AIED 2024 conference.
About the workshop
The evaluation of learning and assessment content has always been a crucial task in the educational domain, but traditional approaches based on human feedback are not always usable in modern educational settings. Indeed, the advent of machine learning models, in particular Large Language Models (LLMs), enabled to quickly and automatically generate large quantities of texts, making human evaluation unfeasible. Still, these texts are used in the educational domain -- e.g., as questions, hints, or even to score and assess students -- and thus the need for accurate and automated techniques for evaluation becomes pressing. This hybrid workshop aims to attract professionals from both academia and the industry, and to to offer an opportunity to discuss which are the common challenges in evaluating learning and assessment content in education.
Topics of interest include but are not limited to:
- Question evaluation (e.g., in terms of alignment to learning objectives, factual accuracy, language level, cognitive validity, etc.).
- Estimation of question statistics (e.g., difficulty, discrimination, response time, etc.).
- Evaluation of distractors in Multiple Choice Questions.
- Evaluation of reading passages in reading comprehension questions.
- Evaluation of lectures and course material.
- Evaluation of learning paths (e.g., in terms of prerequisites and topics taught before a specific exam).
- Evaluation of educational recommendation systems (e.g., personalised curricula).
- Evaluation of hints and scaffolding questions, as well as their adaptation to different students.
- Evaluation of automatically generated feedback provided to students.
- Evaluation of techniques for automated scoring.
- Evaluation of bias in educational content and LLM outputs.
Human-in-the-loop approaches are welcome, provided that there is also an automated component in the evaluation and there is a focus on the scalability of the proposed approach. Papers on generation are also very welcome, as long as there is an extensive focus on the evaluation step.
Important dates
Submission deadline: May 17, 2024
Notification of acceptance: June 4, 2024
Camera ready: June 11, 2024
Workshop: 8 July or 12 July 2024
Submission guidelines
Authors are invited to submit short papers (5 pages, excluding references) and long papers (10 pages, excluding references), formatted according to the workshop style available on the website.
Submissions should contain mostly novel work, but there can be some overlap between the submission and work submitted elsewhere (e.g., summaries, focus on the evaluation phase of a broader work). Each of the submissions will be reviewed by the members of the Program Committee, and the proceedings volume will be submitted for publication to CEUR Workshop Proceedings.
===============
1er Workshop en Evaluación Automatizada de Contenidos de Aprendizaje y Evaluación
AIED 2024 workshop | Recife (Brazil) & Híbrido | 8-12 Julio 2024
===============
Nos complace anunciar que la primera edición del workshop en Evaluación Automatizada de Contenidos de Aprendizaje y Evaluación (Automated Evaluation of Learning and Assessment Content) se llevará a cabo en Recife (Brasil) y en línea durante la conferencia AIED 2024.
Sobre el workshop
La evaluación de los contenidos de aprendizaje y evaluación siempre ha sido una tarea crucial en el ámbito educativo, pero los enfoques tradicionales basados en la retroalimentación humana no siempre son utilizables en los entornos educativos modernos. En efecto, la llegada de los modelos de aprendizaje automático, en particular los grandes modelos lingüísticos (LLM), ha permitido generar rápida y automáticamente grandes cantidades de textos, lo que hace inviable la evaluación humana. Sin embargo, estos textos se utilizan en el ámbito educativo -por ejemplo, como preguntas, pistas o incluso para calificar y evaluar a los estudiantes-, lo que resalta la necesidad de contar con técnicas precisas y automatizadas para la evaluación de los mismos. Este workshop híbrido pretende atraer a profesionales tanto del mundo académico como de la industria, y ofrecer la oportunidad de debatir cuáles son los retos comunes a la hora de evaluar contenidos de aprendizaje y evaluación en el ámbito educativo.
Se aceptan artículos de investigación sobre los siguientes temas, incluyendo, pero sin limitarse a:
- Evaluación de preguntas (por ejemplo, en términos de adecuación a los objetivos de aprendizaje, precisión factual, nivel lingüístico, validez cognitiva, etc.).
- Estimación de las estadísticas de las preguntas (por ejemplo, dificultad, discriminación, tiempo de respuesta, etc.).
- Evaluación de distractores en preguntas de opción múltiple.
- Evaluación de pasajes de lectura en preguntas de comprensión lectora.
- Evaluación de clases (contenido) y material del curso.
- Evaluación de rutas de aprendizaje (por ejemplo, en términos de prerrequisitos y temas impartidos antes de un examen específico).
- Evaluación de sistemas de recomendación educativa (por ejemplo, planes de estudios personalizados).
- Evaluación de pistas y preguntas de andamiaje, así como de su adaptación a diferentes estudiantes.
- Evaluación de los comentarios de retroalimentación a estudiantes generados automáticamente.
- Evaluación de técnicas de puntuación/calificación automática.
- Evaluación de la parcialidad (bias) de los contenidos educativos y de los resultados del LLM.
Métodologías de human-in-the-loop (HITL) son bienvenidas, siempre y cuando también haya un componente automatizado en la evaluación y se preste atención a la escalabilidad del enfoque propuesto. También son bienvenidos los trabajos sobre generación, siempre que se preste especial atención a la fase de evaluación.
Fechas importantes
Fecha final para el envío de artículos: 17 de mayo de 2024
Notificación de aceptación: 4 de junio de 2024
Versión final: 11 de junio de 2024
Workshop: 8 de julio o 12 de julio de 2024
Tipos de artículos y pautas para los autores
Se invita a los autores a presentar artículos cortos (5 páginas, excluyendo referencias) y largos (10 páginas, excluyendo referencias), formateados según la plantilla del workshop que se encuentra disponible en el sitio web.
Los artículos deberán contener principalmente trabajos novedosos, pero puede haber ciertas similitudes entre la versión del trabajo enviado a este workshop y una versión del trabajo que haya sido presentado en otros lugares (por ejemplo, resúmenes, centrados en la fase de evaluación de un trabajo más amplio). Cada uno de los trabajos enviados será revisado por los miembros del Comité de Programa, y serán enviados para su publicación a CEUR Workshop Proceedings.
===============
1er Workshop sobre Avaliação Automatizada de Conteúdo de Aprendizagem e Avaliação
AIED 2024 workshop | Recife (Brazil) & Híbrido | 8-12 Julho 2024
===============
Temos o prazer de anunciar que a primeira edição do workshop sobre Avaliação Automatizada de Conteúdo de Aprendizagem e Avaliação (Automated Evaluation of Learning and Assessment Content) será realizada em Recife (Brasil), e on-line durante a conferência AIED 2024.
Sobre o workshop
A avaliação do conteúdo de aprendizagem sempre foi uma tarefa crucial na educação, mas as abordagens tradicionais baseadas em feedback humano nem sempre são utilizáveis em ambientes educacionais modernos. De fato, o surgimiento de modelos de aprendizado de máquina, em especial os modelos linguísticos de grande porte (LLMs), possibilitou a geração rápida e automática de grandes quantidades de textos, inviabilizando a avaliação humana. No entanto, esses textos são usados na educação - por exemplo, como perguntas, dicas ou até mesmo para classificar e avaliar os alunos - destacando a necessidade de técnicas precisas e automatizadas para a avaliação de textos. Este workshop híbrido tem como objetivo atrair profissionais do meio acadêmico e do setor e oferecer uma oportunidade para discutir desafios comuns na avaliação de conteúdo de aprendizagem e avaliação na educação.
Artigos de pesquisa sobre os seguintes tópicos são bem-vindos, incluindo, mas não se limitando a:
- Avaliação de perguntas (por exemplo, em termos de adequação aos objetivos de aprendizagem, precisão factual, nível linguístico, validade cognitiva, etc.).
- Estimativa das estatísticas das perguntas (por exemplo, dificuldade, discriminação, tempo de resposta, etc.).
- Avaliação de distratores em perguntas de múltipla escolha.
- Avaliação de passagens de leitura em questões de compreensão de leitura.
- Avaliação de palestras (conteúdo) e material do curso.
- Avaliação dos caminhos de aprendizado (por exemplo, em termos de pré-requisitos e tópicos ensinados antes de um exame específico).
- Avaliação de sistemas de recomendação educacional (por exemplo, currículos personalizados).
- Avaliação de faixas e perguntas de andaimes e sua adaptação a diferentes alunos.
- Avaliação de comentários de feedback de alunos gerados automaticamente.
- Avaliação de técnicas automáticas de marcação/classificação.
- Avaliação de preconceitos no conteúdo educacional e nos resultados do LLM.
As metodologias Human-in-the-loop (HITL) são bem-vindas, desde que haja também um componente automatizado para a avaliação e que seja dada atenção à escalabilidade da abordagem proposta. Trabalhos sobre geração também são bem-vindos, desde que seja dada atenção especial à fase de avaliação.
Datas importantes
Prazo final para envio de artigos: 17 de maio de 2024
Notificação de aceitação: 4 de junho de 2024
Versão final: 11 de junho de 2024
Workshop: 8 ou 12 de julho de 2024
Tipos de artigos e diretrizes para autores
Os autores são convidados a enviar artigos curtos (5 páginas, excluindo referências) e longos (10 páginas, excluindo referências), formatados de acordo com o modelo de workshop disponível no site.
Os artigos devem conter principalmente trabalhos novos, mas pode haver algumas semelhanças entre a versão do artigo enviado para este workshop e uma versão do artigo que tenha sido apresentada em outro lugar (por exemplo, resumos, com foco na fase de avaliação de um artigo maior). Cada um dos trabalhos enviados será revisado por membros do Comitê do Programa e será enviado para publicação nos Anais do Workshop do CEUR.
Organisers
Luca Benedetto (1), Andrew Caines (1), George Dueñas (2), Diana Galvan-Sosa (1), Anastassia Loukina (3), Shiva Taslimipoor (1), Torsten Zesch (4)
(1) ALTA Institute, Dept. of Computer Science and Technology, University of Cambridge
(2) National Pedagogical University, Colombia
(3) Grammarly, Inc.
(4) FernUniversität in Hagen