¿Y si pudiéramos ensayar una clase antes de darla? ¿Probar cómo reacciona un grupo ante un cambio de metodología, detectar en qué punto de una explicación se pierde la mitad del aula, o anticipar el efecto de una evaluación continua sin experimentar con estudiantes reales?

Esta práctica propone construir un gemelo digital del aula: un entorno de simulación donde tanto el docente como los estudiantes están representados por agentes basados en modelos de lenguaje. Cada estudiante sintético tiene su propio perfil —conocimientos previos, motivación, estilo de aprendizaje, nivel de participación— y el agente docente imparte, responde y se adapta. De la interacción entre ellos emergen dinámicas de aula que podemos observar, medir y modificar a voluntad.

El trabajo combina varias líneas que están hoy en la frontera de la IA aplicada:

Diseño de agentes y arquitecturas multiagente: perfilado de personas sintéticas, memoria, y protocolos de interacción en el aula simulada.

Ingeniería de prompts y orquestación de LLMs, con posibilidad de trabajar con modelos abiertos desplegados localmente.

Validación empírica: contrastar el comportamiento del gemelo con datos y evidencias de aulas reales, un problema abierto y muy interesante desde el punto de vista metodológico.

Experimentación educativa: usar el simulador como banco de pruebas de intervenciones docentes de bajo coste y riesgo cero.

El estudiante se incorporará al grupo de investigación con un papel activo en el diseño del sistema, no como mero implementador. La práctica está pensada para encadenarse de forma natural con el Trabajo Fin de Máster, de modo que los tres meses de contrato sirvan de arranque de un TFM con recorrido propio y potencial de publicación en congresos de IA en educación o de sistemas multiagente.

Perfil buscado: interés por los LLMs y los sistemas de agentes, soltura en Python y ganas de trabajar en un problema abierto donde todavía no hay respuestas cerradas. No se requiere experiencia previa en el ámbito educativo.

1. Resumen del proyecto

El proyecto plantea el uso de técnicas de aprendizaje profundo para estimar la manera en que una persona va a interactuar con los objetos que la rodean, en entornos heterogéneos y a diferentes niveles temporales: acción, actividad y comportamiento. El objetivo es construir modelos capaces de anticipar la interacción persona-objeto combinando información espacial (percepción 3D del entorno) e información temporal (secuencias de movimiento y contexto), integrando estos tres niveles de granularidad en una arquitectura común.

2. Contexto y motivación

La predicción de interacción persona-objeto es un problema clave para aplicaciones de robótica asistiva, realidad aumentada, vigilancia inteligente y sistemas de asistencia a la conducción, entre otras. Anticipar qué objeto va a usar una persona, cómo lo va a manipular y con qué finalidad (actividad o comportamiento) requiere combinar percepción 3D, modelado temporal y razonamiento contextual sobre el entorno. Estas prácticas se enmarcan en el 3D Perception Lab y ofrecen al estudiante la oportunidad de trabajar con datos y sensores 3D reales, arquitecturas de deep learning de vanguardia y un problema de investigación con aplicación directa.

3. Objetivos de las prácticas

• Familiarizarse con los fundamentos de percepción 3D (nubes de puntos, mallas, RGB-D) y su procesamiento con deep learning.

• Estudiar el estado del arte en predicción de interacción persona-objeto (affordances, anticipación de acción, reconocimiento de actividad).

• Diseñar y/o adaptar un pipeline de datos que capture los tres niveles temporales: acción, actividad y comportamiento.

• Implementar y entrenar modelos de aprendizaje profundo para la tarea de predicción de interacción.

• Evaluar los modelos en entornos heterogéneos y analizar su capacidad de generalización.

• Documentar el trabajo realizado y contribuir a posibles publicaciones o demos del laboratorio.

4. Acciones a desarrollar

1. Estado del arte
2. Familiarización técnica
3. Definición de niveles temporales
4. Preparación de datos
5. Diseño del modelo
6. Implementación y entrenamiento
7. Evaluación
8. Documentación y cierre

5. Metodología de trabajo

• Reuniones periódicas de seguimiento con el/la tutor/a del laboratorio.

• Desarrollo iterativo: cada acción se cierra con un entregable revisable antes de avanzar a la siguiente.

• Uso de control de versiones (Git) para código y documentación técnica compartida.

• Registro continuo de resultados experimentales para favorecer la reproducibilidad.

6. Cronograma orientativo.

Duración estimada: 4-6 meses, adaptable a la duración real del convenio de prácticas.

• Mes 1: Acciones 1 a  4 estado del arte y familiarización técnica. Definición de niveles temporales y preparación de datos.

• Mes 2: Acciones 5 y 6 diseño del modelo, implementación y entrenamiento.

• Mes 3: Acción 7 y 8  evaluación y análisis de resultados, documentación, cierre y presentación final.

7. Resultados esperados

• Un modelo de predicción de interacción persona-objeto funcional, evaluado a los tres niveles temporales propuestos.

• Un conjunto de datos anotado y documentado, reutilizable en trabajos futuros del laboratorio.

• Una memoria técnica y, en su caso, material para una futura publicación o demo del 3D Perception Lab.

8. Competencias que adquirirá el/la estudiante

• Manejo de datos y sensores de percepción 3D (nubes de puntos, RGB-D).

• Diseño e implementación de arquitecturas de deep learning para tareas espacio-temporales.

• Experiencia en investigación aplicada: revisión bibliográfica, experimentación y comunicación de resultados.

• Trabajo en un entorno de laboratorio con metodología de proyecto real.

Artificial intelligence is increasingly expected to understand the same content across different types of data. An object, event, or concept may be observed through an image, an audio signal, a text description, or a structured symbolic representation, with each modality providing complementary information. One of the main challenges in multimodal AI is therefore to learn a shared embedding space in which semantically related items are placed close together, regardless of their original modality. Such representations enable cross-modal retrieval: using information from one modality as a query to find related content expressed in another.

Real-world multimodal data, however, are rarely complete or perfectly aligned. Some examples may contain only a subset of the available modalities, while others may be missing or incorrectly aligned. A robust multimodal system should therefore be able not only to combine information when every modality is available, but also to learn meaningful representations and perform retrieval using whichever modalities are present.

This research internship will explore deep learning methods for robust multimodal representation learning and cross-modal retrieval. The student will investigate how modality-specific representations can be aligned within a common search space and how multimodal fusion can improve the resulting models. The project may consider techniques such as contrastive learning, pretrained modality-specific encoders, shared projection layers, early, late, or hybrid fusion, modality dropout, masked-modality training, or representation-level reconstruction.

The models will be evaluated through cross-modal retrieval experiments and embedding-space analysis. The study will examine not only whether the correct items can be retrieved, but also whether the learned space is organised according to semantic content rather than simply separating the different modalities. Particular attention will be paid to robustness under controlled scenarios in which one or more modalities are missing.

Music provides a particularly rich and intuitive case study for this problem. The same musical work may exist as an audio recording, a scanned or digitally rendered sheet-music image, and a machine-readable symbolic score. Although these representations look completely different, they describe the same underlying musical content. The student will work with these three complementary views and explore tasks such as retrieving a score from an audio query, finding a recording from a score image, matching symbolic and visual scores, or identifying related musical content across different formats.

Rather than starting from scratch, the work will build on datasets, code, and baseline models developed within the research project, allowing the student to focus on experimentation, analysis, and new ideas.

The internship will provide hands-on experience with current research topics in deep learning, representation learning, contrastive learning, and information retrieval. The work will be carried out within the nationally funded project Music Representation Learning for Efficient Multimodal Retrieval (LEMUR), in the Pattern Recognition and Artificial Intelligence Group (PRAIg) at the University of Alicante.