Microsoft entrega más herramientas para crear aplicaciones de IA generativa

Microsoft amplía su colección de herramientas para desarrolladores en Azure AI Studio, que ahondan en la capacidad de crear aplicaciones de inteligencia artificial (IA) generativa.

Entre estas herramientas se encuentra Prompt Shields, que ayuda a detectar en tiempo real entradas que son sospechosas y bloquearlas para que no alcancen el modelo base. Y, así, evitar ataques de inyección de prompts, tanto directos como indirectos.

Otra novedad es Groundedness detection. En su caso contribuye a la identificación de alucinaciones basadas en texto. Es capaz de detectar material que no está fundamentado con el objetivo de mejorar los resultados de los modelos de lenguaje de gran tamaño (LLM).

Microsoft pondrá a disposición de los desarrolladores plantillas de mensajes de sistema de seguridad en los playgrounds Azure AI Studio y Azure OpenAI Service. Lo hará de forma predeterminada para reducir el contenido dañino y los usos indebidos.

También relacionado con la seguridad, anuncia evaluaciones automatizadas para métricas de riesgo que miden la susceptibilidad de las aplicaciones frente a tentativas de jailbreak. Microsoft busca combatir el contenido violento, relacionado con autolesiones, que incite al odio, sexual o injusto.

Además, introduce la monitorización de riesgos y seguridad en Azure OpenAI Service. Permitirá visualizar volumen, gravedad y categoría de las entradas de usuario y las salidas del modelo bloqueadas por filtros. Asimismo, incluirá informes para identificar abusos.