Inyeccion de prompt en chatbots con IA
Un chatbot de cara al cliente leera lo que sea que el usuario escriba, incluidas instrucciones. Si el bot puede invocar herramientas o citar documentos, una instruccion inyectada puede reescribir su comportamiento a medio-conversacion.
Un bot de reservas filtrando reglas de precios. Un bot de soporte enviandole al atacante una copia de la ultima conversacion. Un bot de captura de leads regalando un cupon que no existe.
Fijamos el system prompt, validamos las entradas de las herramientas contra una lista permitida y corremos contra tu integracion especifica los ataques de inyeccion publicados por Anthropic y OWASP. Los bugs que encontramos vienen con transcripcion de prueba.