Program

Esta presentación ofrece una introducción a la arquitectura Transformer, base de los modelos de lenguaje modernos (Large Language Models, LLM). Se explicarán sus principales componentes, como los mecanismos de atención, las codificaciones posicionales y las redes neuronales, para comprender cómo procesan y representan la información. Finalmente, se introducirán sus aplicaciones en modelos multimodales capaces de integrar texto e imágenes.

Se presentará la evolución de las diversas técnicas de fine-tuning en LLMs, su relevancia en el desarrollo de SLMs y su aplicación en el desarrollo de agentes inteligentes que realizan tareas al llamar funciones.

Esta presentación ofrecerá una introducción a los principales componentes y herramientas para diseñar sistemas de inteligencia artificial, desde los modelos de lenguaje hasta los agentes inteligentes. Se explorará cómo estos elementos se integran para desarrollar sistemas capaces de razonar, utilizar herramientas y ejecutar tareas de forma autónoma, destacando sus aplicaciones y los aspectos clave para su diseño e implementación.

This talk introduces PLLuM (Polish Large Language Model), a flagship open-source AI initiative funded by the Ministry of Digital Affairs of Poland. Developed by a including Polish universities, research institutes and computing centres, PLLuM advances the Polish AI ecosystem through a set of open-weight models ranging from 4B to 70B parameters across base, instruction-tuned and aligned chat variants. The presentation will focus on six key areas of PLLuM development: legal compliance with EU copyright and TDM regulations, methodological rigor, robust security and safety protocols, reliance on high-quality organic instruction data, user-centric public sector design and complete openness. To overcome model collapse, the initiative prioritizes manually curated instructions and human-preference alignment. Pre-training strategies encompass both models built entirely from scratch, such as a 24B parameter base, alongside strategic collaborations with Mistral AI. To ensure linguistic accuracy and reliable real-world usage, performance is benchmarked using tailored evaluation frameworks. These developments are intended to serve practical public sector applications, enabling domain-specific text simplification and real-world deployment within mObywatel – a free official mobile application and public service platform for Polish citizens.

Many data intensive applications that use machine learning or artificial intelligence techniques depend on humans providing the initial dataset, enabling algorithms to process the rest or for other humans to evaluate the performance of such algorithms. LLMs are also being used for automating labeling at scale. However, building systems data processing pipelines that require human or machine labeling remains difficult. In this short tutorial, we present practical considerations for designing and implementing tasks that require the use of humans and machines in combination with the goal of producing high-quality labels for training sets. This tutorial will be given in Spanish.

La negación está presente en todas las lenguas humanas y se considera un rasgo definitorio del lenguaje y de la cognición. Los modelos de lenguaje, desde las arquitecturas Transformer de generaciones anteriores hasta los modelos de lenguaje de gran tamaño más avanzados, suelen mostrar un rendimiento inferior al procesar textos que contienen negación. Esta limitación se observa en aplicaciones como la traducción automática, la respuesta a preguntas y la recuperación de información. En otras palabras, traducir oraciones con negación, responder preguntas que requieren razonar sobre textos que la incluyen y recuperar documentos relevantes a partir de consultas que la contienen suelen ser tareas más difíciles que sus equivalentes en ausencia de negación.

En esta charla, presentaré el fenómeno de la negación y analizaré las limitaciones de los modelos de lenguaje al abordar problemas que requieren su compresión. A continuación, expondré varias estrategias diseñadas para mejorar la robustez de estos modelos frente a la negación. Dado que son independientes tanto del modelo como de la tarea, estas estrategias pueden aplicarse a cualquier modelo de lenguaje con el fin de mejorar su comprensión general de la negación, en lugar de limitar las mejoras a un modelo o a una tarea específicos.

La ciencia de datos permite identificar patrones y anticipar fenómenos complejos. Sin embargo, una predicción por sí sola no siempre es suficiente para apoyar la toma de decisiones. En esta charla se presentarán dos aplicaciones de machine learning y analítica visual orientadas a la prevención. La primera aborda el análisis espacio-temporal de la criminalidad en grandes ciudades, incluyendo la detección de hotspots y el estudio de la relación entre los delitos y las características urbanas. La segunda se enfoca en la prevención de la deserción universitaria mediante herramientas visuales que combinan modelos predictivos, análisis de supervivencia y explicaciones contrafactuales.

Este tutorial práctico de 90 minutos está diseñado para principiantes sin conocimientos previos en procesamiento del lenguaje natural (NLP) ni inteligencia artificial (IA), guiándolos paso a paso a través de la evolución tecnológica que sustenta a la IA generativa actual. El recorrido comienza examinando cómo las computadoras transforman el texto a representaciones numéricas mediante técnicas fundamentales como one-hot encoding, Bag-of-Words y TF-IDF. A continuación, se explora el salto hacia los embeddings estáticos (Word2Vec, GloVe) y la revolucionaria arquitectura Transformer, destacando cómo el contexto dinámico y los mecanismos de atención transformaron el análisis tanto de texto como de voz (incluyendo aplicaciones clínicas con Whisper). Finalmente, el taller conecta estos fundamentos con la era moderna, desmitificando el funcionamiento de los modelos de lenguaje de gran tamaño (LLMs), la arquitectura de extracción aumentada (RAG) para consultar documentos, y la orquestación de sistemas autónomos mediante frameworks de agentes de IA.

People turn to language models for information, advice, and emotional support, but our lab’s research shows these models fail as social interlocutors in consistent ways: they flatter users, speak with unwarranted confidence, mimic human traits too readily, and center their own perspective over the user’s. These flaws carry real costs, including overreliance, skewed judgment, and diminished personal responsibility. In this 30-minute talk, I’ll present key findings, introduce the datasets and metrics we use to measure these behaviors, and discuss early mitigations, along with the design, evaluation, and accountability measures needed to protect user well-being.

This tutorial will introduce recent progress in spatial intelligence for multimodal AI, with a focus on Vision-Language Models, 3D Large Language Models, and their ability to reason about space. I will first briefly review how modern VLMs connect visual perception with language understanding, and why spatial reasoning remains challenging despite strong performance on general image-language tasks. I will then discuss how 3D LLMs and spatially grounded multimodal models extend this paradigm by incorporating depth, geometry, object relations, scene structure, multi-view observations, and embodied interaction.

The tutorial will cover the main tasks and benchmarks used to evaluate spatial reasoning, including qualitative relations, metric distance estimation, 3D grounding, navigation, manipulation, and scene-level reasoning. It will also summarize the main methodological trends: synthetic spatial supervision, 3D scene graphs, depth- and point-based representations, multi-view and video-based reasoning, visual chain-of-thought, and embodied training for robotics. The goal is to give participants a clear conceptual map of the field, explain why spatial reasoning is a key bottleneck for multimodal intelligence, and highlight open challenges for building models that can understand, communicate, and act in 3D environments

¿Cómo relaciona un sistema de inteligencia artificial lo que ve con una instrucción y decide qué hacer después? Este tutorial desarrolla esa conexión mediante un ejemplo que acompañará toda la sesión, un robot que mueve objetos sobre una mesa. Comenzaremos con las imágenes como arreglos numéricos y explicaremos cómo las representaciones aprendidas capturan información visual. Después examinaremos cómo los modelos relacionan imágenes y lenguaje, introduciendo los fundamentos matemáticos y las ideas de arquitectura del aprendizaje multimodal. Sobre esta base, exploraremos cómo los modelos generativos producen respuestas y cómo los agentes utilizan herramientas para actuar a partir de ellas. Los ejemplos resueltos y las demostraciones de código harán explícitos los pasos intermedios, incluida la verificación de que una acción alcanzó su objetivo y respetó las restricciones de la tarea. El tutorial adapta material del curso de aprendizaje multimodal que imparto en Rutgers University y se impartirá en español.

La Minería de Patrones (Pattern Mining) se refire a algoritmos de búsqueda sistemática de patrones que aparecen con frecuencia o satisfacen determinadas restricciones. A diferencia de las técnicas de Machine Learning, que generalmente busca aprender modelos para realizar predicciones, Pattern Mining se centra en descubrir y representar explícitamente estructuras presentes en los datos. En esta charla se ofrecerá una visión general de Pattern Mining a través de cuatro familias fundamentales: itemsets frecuentes, reglas de asociación, patrones secuenciales y subgrafos frecuentes. Se introducirán sus conceptos, principios de búsqueda y principales aplicaciones, mostrando cómo pueden utilizarse para descubrir conocimiento en diferentes tipos de datos. También se explorará la relación entre Pattern Mining y Machine Learning, incluyendo cómo los patrones descubiertos pueden utilizarse para tareas como la recomendación. Finalmente, se presentarán ejemplos de aplicación en turismo, mostrando cómo estas técnicas permiten descubrir comportamientos recurrentes, secuencias de visitas y relaciones entre lugares.

Los algoritmos clásicos de Machine Learning aprenden patrones exclusivamente a partir de los datos disponibles, sin incorporar conocimiento previo sobre las leyes físicas, químicas o biológicas que rigen el fenómeno estudiado. Esto los hace altamente flexibles y potentes cuando se dispone de grandes volúmenes de datos, pero también los expone a limitaciones importantes: pueden producir predicciones físicamente inconsistentes. Frente a esta limitación, surgen los algoritmos de Physics-Informed Machine Learning (PIML), un paradigma que integra explícitamente el conocimiento físico del sistema en el proceso de aprendizaje, ya sea mediante funciones de pérdida modificadas o arquitecturas especializadas. La importancia de este enfoque radica en que preserva la naturaleza intrínseca de los datos: reconoce que las observaciones no son puntos abstractos e independientes, sino manifestaciones de procesos físicos subyacentes con estructura, coherencia temporal y restricciones dimensionales. En esta charla introducimos los fundamentos de los algoritmos de PIML e ilustramos algunas de sus aplicaciones.

Commercial applicant tracking systems match candidates by extracting skills from resumes and job postings. However, open research remains limited: HR data is private, annotation is expensive, and existing work rarely covers multiple languages or resumes. This talk presents a multilingual evaluation based on an industrial dataset: 1,200 job offers and resumes annotated in English, Spanish, Portuguese, Italian, German, and French by NLP researchers and HR professionals. Comparing rule-based, semantic, and supervised approaches against conversational LLMs shows that skills are consistently harder to extract from resumes than job postings due to variable phrasing and structure. Furthermore, LLMs reveal a trade-off between accuracy and explainability. While LLMs best match human meaning, they struggle with exact text boundaries. Simpler methods keep every extracted skill traceable to a specific text span, a crucial factor for hiring compliance and auditability. Finally, we outline policy recommendations aligned with current AI regulations, discussing what these technical trade-offs mean for candidates navigating an AI-driven job market.

Despite their remarkable performance, vision transformers remain challenging to interpret, and existing explainability methods often produce substantially different explanations for the same predictions. In this talk, we will discuss a systematic framework for examining explainability in vision transformers, combining quantitative evaluation metrics with human-derived visual relevance annotations. Through a comprehensive comparison of explainability methods and model architectures, we identify two complementary dimensions of explanation quality: spatial overlap and human alignment, highlighting the importance of evaluating explanations beyond individual metrics. Building on these findings, we will explore how neuroscience-inspired mechanisms can improve the explanations generated by these models. Drawing inspiration from the regulatory role of astrocytes in biological neural systems, we introduce an activity-dependent modulation mechanism that dynamically adjusts internal signal propagation during inference, improving the alignment of model explanations with human visual relevance without requiring retraining. Together, these studies provide new insights into the factors shaping explainability in vision transformers and demonstrate how principles from neuroscience can contribute to the development of more interpretable AI systems.

A recent empirical study found that the European Commission (EC)’s public communications uses very complex language, specialized jargon, and a nominal style that obfuscates political action, excluding many people from democratic processes due to insufficiently accessible information. Accessibility is an underestimated asset for democratic participation, consequently, a lack of accessibility to information directly leads to the exclusion of several people from democracy. Persons who encounter difficulties making sense of content are a diverse group of individuals with varying degrees of reading, writing, and understanding abilities, including people with intellectual disabilities, older adults who struggle with long and complicated documents, or low-literacy people. The inclusion of people with language barriers in democracy is a sine qua non to guarantee full legitimate democratic outcomes. The EC has recently imposed new requirements across the European Union regarding the accessibility of some products and services for people with disabilities following the ratification by the EU of the United Nations Convention on the Rights of Persons with Disabilities (UNCRPD). One way to guarantee that people have equal access to information is through the production of information in some form of easy language (e.g., plain language or easy-to-read). However, making information accessible to all requires considerable efforts and expertise, which sometimes limits the production of or the translation into easy language. In this talk I will describe the work carried out in the context of the Horizon Project iDEM to facilitate democratic participation for people with language barriers. The talk will highlight the development of language resources created in the project as well as the development of text simplification services which are integrated into a mobile application to allow participation in deliberative democracy.

This presentation will explore how Artificial Intelligence (AI) and Large Language Models (LLMs) transform education domain, particularly automatic grading and feedback generation in educational settings. We will discuss our research on the application of AI-driven approaches to evaluating student work and generating personalized, meaningful, and actionable feedback. The presentation will also highlight current research trends, the potential benefits of these technologies for students and educators, and key challenges related to grading accuracy, feedback quality, fairness, and reliability.

Investigadores y profesionales de muchas disciplinas usan hoy modelos de lenguaje (LLM) para analizar texto a gran escala. Los emplean para filtrar literatura científica, extraer variables de registros no estructurados y codificar textos abiertos. En estos casos, los resultados no son predicciones que puedan evaluarse con un benchmark. Son hallazgos que requieren escrutinio. Necesitamos poder inspeccionarlos, corregirlos y explicar cómo llegamos a ellos. Usar estos sistemas de manera responsable también exige saber qué pueden y qué no pueden hacer, y tener cierto control sobre aquello de lo que aprendieron. El paradigma actual no nos ofrece nada de esto. Los LLM son modelos monolíticos que transforman texto en texto para resolver prácticamente cualquier tarea de lenguaje, y la estructura que pueda tener la tarea queda absorbida en los parámetros del modelo. En la mayoría de los casos tampoco tenemos acceso a los datos ni a los procesos de entrenamiento del modelo. El resultado es una opacidad en ambos extremos, porque no podemos ver de qué aprendió el modelo ni cómo llegó a su respuesta.

En esta charla sostengo que los modelos de lenguaje y la estructura cumplen funciones complementarias. El modelo aporta juicios locales sobre el texto sin necesidad de mucha supervisión. La estructura organiza esos juicios en algo que podemos examinar, corregir y justificar. Mostraré cuatro cosas que la estructura nos provee. Sirve de guía para inducir constructos interpretativos de colecciones de texto, lo cual ilustraré con trabajos sobre narrativas mediáticas. Ancla la predicción y la generación en una representación que un experto puede leer y editar, mediante inferencia sobre predicciones obtenidas de modelos guiados por prompts. Orienta la forma en que se construyen los modelos, al derivar configuraciones de pre-entrenamiento a partir de los metadatos que un corpus ya contiene. Y nos ofrece una perspectiva para estudiar lo que hacen los modelos, pues los benchmarks generados a partir de una representación explícita permiten localizar fallas que las soluciones agregadas ocultan. Concluiré con una discusión sobre el futuro de este paradigma, tanto en el entrenamiento como en entornos multi-agente.

Esta presentación explorará cómo la inteligencia artificial y los modelos de lenguaje permiten aprovechar los Datos del Mundo Real para impulsar la investigación en salud. Se presentarán aplicaciones de procesamiento del lenguaje natural para extraer información relevante de redes sociales, publicaciones científicas y registros médicos electrónicos, destacando su potencial para generar evidencia, identificar tendencias y facilitar nuevos descubrimientos en el ámbito médico.

Machine learning (ML), particularly deep learning, is being used everywhere. However, not always is used well, ethically and scientifically. In this talk we first do a deep dive in the limitations of supervised ML and data, its key component. We cover small data, datification, bias, predictive optimization issues, evaluating success instead of harm, and pseudoscience, among other problems. The second part is about our own limitations using ML, including different types of human incompetence: cognitive biases, unethical applications, no administrative competence, misinformation, and the impact on mental health. In the final part we discuss regulation on the use of AI and responsible AI principles, that can mitigate the problems outlined above.

Generative large language models (LLMs) are rapidly entering healthcare, yet only a small fraction of studies (around 5%) evaluates them on real patient data from electronic health records (EHRs). This talk first presents findings from our systematic reviews of LLM studies that used real EHR data, then use a case study to illustrate how general-domain LLMs can be optimized for a specific task. Our studies demonstrated that generative LLMs must be optimized and evaluated rigorously for specific clinical tasks and specialties before applied in clinical practice.

For decades, cameras have captured the world as flat images, limiting our ability to experience and interact with physical reality. Recent advances in generative AI and neural rendering are opening new possibilities for photorealistic, interactive 3D experiences. However, reconstructing dynamic 3D worlds remains computationally expensive and data-hungry. While the prevailing trend in AI emphasizes larger models, more data, and greater computation, this talk explores a complementary question: Can we exploit geometry, rendering, and physical structure to build better 3D representations with less data and computation? I will present four recent works from our lab addressing this challenge. First, I will discuss generating and reconstructing photorealistic 3D humans from minimal observations, including consistent 3D heads and animatable full-body avatars. I will then move to dynamic 3D environments, presenting methods towards real-time reconstruction of live sporting events, from basketball games to high-speed Formula 1 racing. Together, these works demonstrate how explicit 3D structure can improve the efficiency, consistency, and scalability of learning, paving the way for new applications in augmented communication, telepresence, and interactive sports broadcasting.

Los modelos de inteligencia artificial (IA) participan cada vez más en conversaciones sobre noticias y pueden generar argumentos persuasivos que influyen en lo que las personas consideran verdadero o falso. Estas interacciones no solo ocurren entre personas y modelos de IA, sino también entre distintos agentes de IA. Además, la influencia no ocurre en una sola dirección: las personas también pueden influir en las respuestas de los modelos.

En esta charla presentaré nuestra investigación sobre cómo funciona la persuasión en distintos tipos de interacciones: de los modelos hacia las personas, de las personas hacia los modelos y entre los propios agentes de IA. A través de experimentos con participantes humanos, agentes de IA que representan distintos perfiles demográficos y simulaciones de conversaciones entre múltiples agentes, estudiamos cómo las personas y los modelos responden a argumentos persuasivos y a la desinformación. Analizaremos las similitudes y diferencias entre sus respuestas, así como el papel de las interacciones entre agentes en la difusión de información falsa. Finalmente, discutiremos las oportunidades, limitaciones y riesgos éticos de utilizar modelos de lenguaje para comprender cómo las personas evalúan la veracidad de la información y cómo sus opiniones pueden ser influenciadas.

La charla aborda la traducción automática del habla en lenguas indígenas del Perú, comparando los modelos tradicionales de traducción automática con los modelos de lenguaje de gran escala (LLMs). Se analizan sus ventajas, limitaciones y desempeño frente a los desafíos de las lenguas con pocos recursos digitales, como el quechua y el aimara. Asimismo, se reflexiona sobre el potencial de estas tecnologías para preservar las lenguas originarias, promover la inclusión lingüística y facilitar la comunicación intercultural.