Iniciativa de IA Fronteriza de la UE: Desarrollo de soluciones de IA fronteriza seguras y computacionalmente eficientes dentro de Apply AI (RIA)

Resultado esperado:

La Estrategia Apply AI^[1] también busca reforzar las capacidades de la UE y lograr la excelencia en IA para apoyar el desarrollo de modelos fronterizos europeos. Como parte de la Iniciativa de IA Fronteriza, que reúne a los principales actores de Europa en el campo, este tema apoyará el desarrollo de IA fronteriza soberana garantizando la seguridad desde el diseño. Este tema contribuye directamente a la Estrategia Apply AI. Se espera que los resultados del proyecto contribuyan a todos los siguientes resultados esperados:

• Fortalecimiento de las capacidades europeas en el desarrollo de modelos de IA fronteriza.
• Mejora de la eficiencia computacional de los modelos de IA fronteriza, lo que resulta en una reducción de los costos computacionales.
• Mejora de la seguridad de los sistemas de IA avanzados basados en modelos de IA fronteriza mediante el desarrollo y la implementación de principios de seguridad desde el diseño y/o agentes de IA que actúen como evaluadores de seguridad.

Alcance:

Avanzar en el desarrollo de modelos de IA fronteriza hacia el más alto nivel de rendimiento, al tiempo que se garantiza la eficiencia energética, se abordan las limitaciones computacionales y se refuerza la seguridad. El enfoque de este tema es doble. Primero, tiene como objetivo avanzar en el campo de la IA a través del desarrollo y entrenamiento de un modelo de IA fronteriza. El modelo de IA debe demostrar un rendimiento de vanguardia, tener capacidades multimodales y estar optimizado para capacidades de IA agéntica como el uso de herramientas, el razonamiento y la resolución autónoma de problemas. Segundo, este tema apoya la investigación sobre métodos integrales para reducir las demandas computacionales de los modelos de IA fronteriza y para garantizar su seguridad, incluyendo metodologías técnicas como las pruebas automatizadas y la interpretabilidad.

Los principales impulsores de los sistemas de IA computacionalmente eficientes son los desafíos urgentes planteados por la creciente huella energética de la IA y las limitaciones computacionales actuales. Los modelos de IA modernos, especialmente los modelos de IA fronteriza, requieren recursos computacionales sustanciales, con un impacto significativo en el medio ambiente. Además, crean barreras de entrada para aquellos interesados en avanzar en el campo de la IA. Las áreas clave de investigación incluyen técnicas de compresión y destilación destinadas a reducir la complejidad de los grandes modelos de IA. Las innovaciones en arquitecturas de IA también son relevantes, con un enfoque en modelos innovadores que reducen significativamente las demandas computacionales para el entrenamiento y la inferencia. Además, también se pueden considerar enfoques algorítmicos destinados a minimizar la carga computacional durante el preentrenamiento, el postentrenamiento y la inferencia.

Garantizar la seguridad de los sistemas de IA es esencial, especialmente a medida que los modelos de IA se vuelven cada vez más sofisticados y omnipresentes. Las posibles áreas de investigación a considerar incluyen abordar la desalineación, particularmente la desalineación involuntaria de los grandes modelos de IA. El trabajo en esta área podría explorar métodos para detectar y mitigar el comportamiento sofisticado, como la falsificación de alineación, el hackeo de recompensas de la supervisión humana y el razonamiento codificado en la cadena de pensamiento (CoT). Además, la investigación podría centrarse en mejorar la robustez contra ataques adversarios, jailbreaks y puertas traseras. Otras posibles áreas de innovación incluyen el avance de la transparencia y la interpretabilidad de los modelos de IA. La investigación en seguridad también podría considerar los riesgos que pueden surgir al integrar modelos fronterizos dentro de marcos de IA agéntica, contribuyendo significativamente a la confianza y la adopción segura de soluciones de IA potentes.

Este tema contribuye a la iniciativa de IA Fronteriza de la UE. El proyecto debe establecer fuertes vínculos con el Resource for AI Science in Europe (RAISE), asegurando que sus prioridades informen los temas de investigación abordados. Se espera que las actividades involucren a la comunidad europea de investigación en IA y atraigan y retengan a los mejores talentos en IA que trabajan en modelos fronterizos y áreas relacionadas.

Se espera que todas las propuestas incorporen mecanismos para evaluar y demostrar el progreso, incluyendo KPI cualitativos y cuantitativos, puntos de referencia…