What Is Prompt Engineering? A Guide.

Cualquier persona puede proporcionar una entrada a un modelo de lenguaje grande. La pregunta es, ¿el resultado del LLM cumple el objetivo deseado o responde a la pregunta planteada? Eso depende en gran medida de lo bien que se haya hecho la entrada, que es donde entra en juego la ingeniería rápida. Una buena consulta aumenta significativamente las probabilidades de que un LLM produzca exactamente lo que necesita el proyecto; también genera beneficios secundarios que pueden acumularse en proyectos futuros.

¿Qué es la ingeniería de petición de datos?

La ingeniería de peticiones de datos es la práctica de crear instrucciones, o peticiones de datos, para guiar un modelo de IA generativa a fin de generar los resultados deseados. Este proceso utiliza esfuerzos iterativos para mejorar la forma en que se realizan varios formatos, frases, llamadas a funciones de LLM a otros sistemas y elementos variables adicionales de una petición de datos de IA. El objetivo es proporcionar al LLM una especificidad y un contexto óptimos.

Los siguientes son algunos de los elementos más importantes de la ingeniería inmediata:

• Formato: debido a la forma en que se desarrollan y entrenan los LLM, el formato y la estructura de las peticiones de datos son importantes para la salida. Las mejores salidas comienzan con una comprensión del formato preferido para el LLM utilizado en el modelo.
• Llamadas de función: la incorporación de datos de orígenes externos puede aumentar la calidad y precisión de una salida. Las peticiones de datos pueden iniciar llamadas de función para la recuperación de datos dinámicos, lo que devolverá resultados siempre que se pueda acceder a los datos deseados.
• Especificidad: la ambigüedad en la redacción de la petición de datos puede crear respuestas inexactas, mal dirigidas o abiertas, incluso sin sentido. Un enfoque en la especificidad en la elección de palabras aumenta la calidad y la profundidad de las respuestas de salida. En pocas palabras, es la diferencia entre decir "quiero un perro" y "quiero un perro de rescate menor de tres años que esté entrenado en jaulas y sea bueno con niños pequeños".
• Público de usuario: las peticiones de datos producen los resultados más precisos cuando integran el conocimiento del público. Una persona altamente técnica es muy diferente a un estudiante o un niño, y eso debe reflejarse en el mensaje para que el resultado cumpla con las expectativas de la audiencia tanto para el tono como para el detalle.

Si bien el término ingeniería de petición de datos refleja la ciencia general de mejorar las peticiones de datos para lograr resultados, también actúa como un paso en el proceso de desarrollo de aplicaciones. En su rol, los ingenieros de peticiones de datos crean plantillas y scripts, conocidos como peticiones de datos base, dentro de la aplicación que enlazan las entradas del usuario final con el modelo mientras son invisibles para el usuario. El objetivo de una petición de datos base es proporcionar un método escalable y automatizado para cerrar consultas mientras se trabaja dentro de los límites de recursos del proyecto. Una infraestructura que soporte inherentemente las capacidades de IA y aprendizaje automático y los recursos escalables puede simplificar y optimizar este tipo de proyectos.

Conclusiones clave

• La ingeniería rápida es el proceso de elaboración, evaluación y mejora de peticiones de datos para obtener resultados más precisos de un modelo de IA.
• Los factores que mejoran las peticiones de datos incluyen el formato preferido del LLM, la especificidad del lenguaje, la identificación adecuada de las expectativas del público y la realización de llamadas de función para datos externos.
• En el proceso de desarrollo de aplicaciones, los ingenieros crean una plantilla base que aborda los factores necesarios para salidas precisas para unir las entradas de usuario potencialmente vagas con el LLM de la aplicación.
• El desarrollo de aplicaciones funciona mejor cuando la infraestructura subyacente proporciona servicios de inteligencia artificial y aprendizaje automático, lo que permite a los ingenieros centrarse en la tarea en cuestión.

Explicación de ingeniería de petición de datos

La industria de la IA ve la ingeniería rápida en dos contextos, y la segunda definición es una extensión de la primera. La primera definición se refiere al conjunto de habilidades real en sí: la capacidad de crear y refinar un indicador de IA para obtener la salida más deseable posible. Un proceso de prueba y error entra en juego a medida que los ingenieros experimentan, con formato, elección de palabras, datos contextuales adicionales, como llamadas a funciones extraídas externamente a través de API y otras variables, para lograr el resultado deseado. Los ingenieros expertos en los modelos de IA estándar más populares tendrán más posibilidades de comprender los formatos específicos que ofrecen resultados sólidos. Además, los ingenieros rápidos a menudo utilizan herramientas que rastrean el historial de construcción rápida, proporcionan espacio de experimentación en sandbox y ofrecen pruebas A/B de indicaciones.

Una calidad útil para los ingenieros rápidos es un fuerte conocimiento en el tema del proyecto. Este no es un requisito absoluto para el papel; los ingenieros rápidos ciertamente pueden incorporarse a la experiencia técnica en IA en lugar de la comprensión contextual. Sin embargo, al iniciar un proyecto con cierta comprensión de su propósito general, los ingenieros rápidos pueden verificar de manera más eficiente los resultados para mayor precisión y eficiencia.

Sin embargo, es imposible esperar que cada usuario conozca la estrategia de un ingeniero rápido cuando use una aplicación. La segunda definición de ingeniería rápida, entonces, es integrar una petición de datos base creada estratégicamente en el ciclo de desarrollo de una aplicación. Esta petición de datos base proporciona toda la experiencia del ingeniero de peticiones de datos en una plantilla no vista. Cuando los usuarios introducen sus consultas de entrada, esos datos aumentan las peticiones de datos base en lugar de entrar en frío por completo. Esta es una parte clave del desarrollo exitoso de aplicaciones basadas en IA porque ayuda a garantizar la mayor flexibilidad de la capacidad del usuario al tiempo que proporciona un estándar de salida establecido.

¿Por qué es importante la ingeniería rápida?

La ingeniería rápida es importante porque maximiza la eficiencia de las iniciativas de IA en todos los ámbitos, en recursos, en esfuerzo y en la experiencia del usuario. Las peticiones de datos de calidad reducen los costos de procesamiento de consultas y aumentan la satisfacción del usuario. Esto hace que la ingeniería rápida sea una inversión valiosa para los desarrolladores de aplicaciones, incluso si toma tiempo y recursos adicionales durante el ciclo de desarrollo.

A un nivel más detallado, la ingeniería rápida puede ayudar a mejorar los siguientes riesgos para los desarrolladores:

• Sesgo de desarrollador: en el contexto de la ingeniería de petición de datos, el sesgo se refiere a la introducción intencional o no intencional de puntos de vista, suposiciones o preferencias por parte de ingenieros que están creando peticiones de datos, lo que puede sesgar la salida del modelo de IA. Para evitar este problema, el proceso de ingeniería de peticiones de datos puede proporcionar espacio para examinar el algoritmo, los datos de entrenamiento y los resultados de salida desde una variedad de perspectivas. Esto ayuda con la prevención de sesgos, tanto proporcionando una revisión interna adicional durante la generación de peticiones de datos como creando peticiones de datos base de una manera que puede compensar o abordar los propios sesgos de un usuario.
• Drenaje inesperado de recursos: durante el proceso de prueba y error, los ingenieros de petición de datos pueden determinar qué información contextual (como el historial de usuarios, las bases de datos internas o los sistemas externos) se necesita para ofrecer una salida relevante. Mediante la identificación de los datos necesarios para peticiones de datos de base sólidas, los desarrolladores pueden examinar el impacto práctico (obtener acceso a datos internos) y técnico (drenaje de recursos de llamadas de función a través de API) en los recursos antes de llegar demasiado lejos en el ciclo de desarrollo.
• Límites y parámetros no identificados: la ingeniería de petición de datos proporciona otra capa de examen que ayuda a todo el equipo de desarrollo a establecer límites y limitaciones relevantes. Estos incluyen parámetros para la retención contextual frente al uso de recursos; límites para la interacción del usuario frente a la cognición del software; y problemas inesperados con parámetros de entrada, como el formato y la semántica.
• Consultas de usuario impredecibles: al crear peticiones de datos base que definan la base de las entradas, la ingeniería de peticiones de datos puede proporcionar un estándar de calidad para las consultas, incluso si las entradas del usuario son vagas y generales.

Funcionamiento de la ingeniería de petición de datos

Los ingenieros de petición de datos suelen comenzar con consideraciones de proyecto antes de llevar a cabo un proceso de prueba y error que establece una petición de datos exitosa, antes de finalmente integrarlo en la aplicación.

A continuación, se proporciona una vista general de cómo suele funcionar este proceso:

1. Comprender el objetivo y el público del modelo y la aplicación: antes de que se produzcan pasos técnicos, los ingenieros suelen dar un paso atrás y considerar los matices contextuales del proyecto. La demografía del público, la complejidad del modelo y las expectativas de resultados basadas en variables, como la industria o el conocimiento esperado, deben entenderse para una generación rápida efectiva. Sin este conocimiento, incluso una salida técnicamente precisa puede no funcionar para las necesidades de la audiencia.

2. Comprender el problema o pregunta que se va a explorar: una vez que se ha establecido el contexto más amplio de la situación, el ingeniero puede aumentar detalle hasta el problema específico. Los factores que se deben considerar incluyen el objetivo deseado, el nivel de detalle, los seguimientos anticipados, los pasos o segmentos utilizados y las posibles llamadas de función para obtener más datos.

3. Comprender las tendencias y preferencias del LLM: los LLM individuales vienen con sus propias peculiaridades en formatos, semántica y complejidad. Otros factores incluyen limitaciones de recursos involucradas con la infraestructura subyacente del modelo.

4. Crear la petición de datos inicial: todos los pasos anteriores deben establecer suficiente información sobre el contexto, el propósito, el público y las limitaciones para crear una petición de datos inicial.

5. Evaluar resultados: una vez que se utiliza la petición de datos, las salidas se deben evaluar para que se realicen correctamente. La forma en que se mide el éxito depende de los objetivos del proyecto. Si bien la precisión es primordial, las situaciones individuales también pueden requerir un énfasis en el tono, la voz, la longitud, el nivel de detalle y el compromiso continuo utilizando la memoria retenida.

6. Afinar según sea necesario: el acotado de una petición de datos incluye ajustar el lenguaje, agregar contexto, integrar funciones a través de llamadas de API y otras posibilidades. Los ingenieros de Petición de Datos también pueden utilizar varias herramientas para ayudar en el proceso de refinamiento; tales herramientas pueden registrar el historial de peticiones de datos, mostrar los resultados a través de pruebas A/B y gestionar el análisis de salida para el refinamiento acelerado.

7. Prueba de exportabilidad: la exportabilidad proporciona dos ventajas organizativas. Al probar la petición de datos con diferentes LLM, el equipo de desarrollo puede encontrar que un LLM se adapta mejor al proyecto. Además, los ingenieros de prompt pueden examinar las partes neutras del contexto de la petición de datos para ver si se pueden exportar para su uso en otros proyectos.

8. Integrarse en un modelo de IA para el despliegue: con una petición de datos base exitosa diseñada, el equipo de desarrollo puede comenzar integraciones para la automatización y la escalabilidad dentro del proyecto, preferiblemente en una infraestructura en la nube con servicios gestionados de IA/ML para un rendimiento optimizado. Esto produce el objetivo de tener una petición de datos base efectiva que luego se puede aumentar mediante la entrada del usuario.

Piense en el ejemplo de un asistente en una aplicación meteorológica. El campo base puede identificar la siguiente información antes de que un paciente entre en una consulta:

• Ubicación, extraída de la dirección IP del dispositivo
• Hora del día, también determinada por la dirección IP
• Datos demográficos, extraídos del perfil de la aplicación del usuario
• Buscar en el historial los tipos típicos de datos solicitados, como tráfico o actividades al aire libre
• Finalidad de la aplicación, para enmarcar respuestas
• Tono de la aplicación, por elección de palabras

Todas esas piezas se pueden poner en su lugar utilizando una petición de datos base, luego se integran con la pregunta de un usuario para una salida que proporciona una mayor precisión y personalización y el tono y el lenguaje adecuados.

Ventajas de la ingeniería de peticiones de datos

La ingeniería rápida crea el beneficio clave de resultados más específicos y precisos. La forma en que se logra eso depende de las dos formas diferentes de ingeniería rápida, tanto la práctica experta real de ingeniería rápida como la integración en un modelo como plantillas base para consultas públicas.

Los siguientes son algunos de los beneficios más comunes de la ingeniería rápida en su conjunto:

• Eficiencia y salida de IA optimizada: los modelos de lenguaje grandes pueden funcionar con cualquier entrada o consulta general, pero hacerlo a menudo es una pérdida de recursos porque se requieren mejoras y esfuerzos adicionales. Como conjunto de aptitudes, la ingeniería de peticiones de datos omite peticiones de datos genéricas para obtener respuestas más precisas. Cuando se integra en un modelo de IA, la ingeniería de petición de datos apunta al usuario en una dirección relevante y colorea de manera eficiente los detalles sin un esfuerzo adicional por parte de la persona que realiza la consulta.
• Flexibilidad y personalización mejoradas: cuando se ejecutan correctamente, los primeros pasos de un enfoque de ingeniería rápido pueden ofrecer una mayor flexibilidad y personalización a un proyecto. Al crear un contexto neutro en el dominio, los esfuerzos de ingeniería rápidos se pueden importar a otras aplicaciones o modelos. Ejemplos de contexto neutro de dominio incluyen la identificación de datos demográficos del usuario, datos de tiempo y temporada, y función y tono de la aplicación. Estos elementos pueden funcionar con casi cualquier modelo al tiempo que reducen los resultados vagos y generalizados.
• Experiencia de usuario y satisfacción mejoradas: a menudo, las personas se acercan a un LLM o una aplicación sabiendo lo que quieren, pero sin la capacidad de articular la solicitud de una manera que devuelva la respuesta deseada. Tomemos la analogía de ir a la tienda de comestibles. Sin una ingeniería rápida, es similar a entrar en la tienda, pararse en la entrada y decir: "Tengo hambre". En este escenario, la ingeniería rápida podría refinar esa solicitud en función de aspectos como el presupuesto, las preferencias y las capacidades para llevarlo al pasillo correcto. Cuando se incorpora en el modelo, la ingeniería rápida proporciona una mejor comprensión inmediata del usuario y el objetivo, lo que produce una mejor experiencia general con resultados más precisos.

Desafíos de ingeniería de petición de datos

Como ciencia, la ingeniería rápida es relativamente joven. Los profesionales incluyen desarrolladores de software que crean peticiones de datos para agregar funciones basadas en IA a sus aplicaciones para tareas como generación de contenido, resumen, traducción y asistencia de código; comunicadores técnicos que buscan crear sistemas como bots conversacionales de servicio al cliente; y profesionales especializados de ingeniería inmediata que se centran en diseñar, probar y optimizar peticiones de datos para casos de uso muy específicos y especializados.

Los siguientes son algunos de los desafíos más comunes a los que se enfrentan las personas que realizan ingeniería rápida:

• Equilibrar la especificidad y la creatividad: el objetivo de la ingeniería rápida es apoyar la libertad creativa sin atascar la salida o los recursos. Lograrlo es un equilibrio difícil. Volviendo a la analogía de la tienda de comestibles, la ingeniería rápida desequilibrada es como responder a un usuario hambriento con una sola opción de espaguetis congelados. La especificidad ayuda a garantizar la eficiencia, pero los LLM necesitan flexibilidad adecuada para ofrecer resultados precisos y de alta calidad.
• Gestión de la ambigüedad: cuando una aplicación o un modelo de IA producen resultados ambiguos, eso supone una mayor carga para el usuario, y cuanto más necesita un humano iterar y acotar una consulta, más recursos utiliza el proceso. Como conjunto de habilidades, una faceta clave de la ingeniería rápida es minimizar la cantidad de ambigüedad en los resultados. El desafío, entonces, es afinar la pronta para establecer un estándar de especificidad sin crear demasiadas limitaciones en los resultados.
• Adaptación a las limitaciones del modelo: según el propósito y la función de una aplicación, su modelo puede tener una audiencia y un tono muy específicos en mente. Para los ingenieros rápidos, esta dirección conocida puede proporcionar un camino más fácil para comenzar. Sin embargo, también puede hacer que caigan en una trampa, creando salidas que tienen una capacidad limitada para incorporar entradas inesperadas o diversas. Los desarrolladores de aplicaciones pueden trabajar con ingenieros rápidos para discutir una gama aceptable de entradas y seleccionar plantillas de petición de datos base que puedan equilibrar entre las consultas creativas y la función específica de la aplicación.
• Afinamiento iterativo: los ingenieros de petición de datos pueden caer en una trampa al asumir que una petición de datos efectiva es una y está lista. Sin embargo, debido a que los modelos de IA están aprendiendo continuamente y las aplicaciones están en desarrollo continuo, una petición de datos efectiva pronto puede estar obsoleta. Una vez que se construye un aviso, los ingenieros deben avanzar con conciencia para adaptarse a la naturaleza dinámica del medio ambiente. Cuando una petición de datos se ha integrado en el flujo de trabajo de una aplicación, la mejora y la evaluación continuas son particularmente clave para ayudar a ofrecer resultados de calidad.
• Retención de contexto: durante el proceso de desarrollo de una aplicación, todo el equipo debe considerar cómo equilibrar la función y el rendimiento. Desde la perspectiva de la experiencia del usuario, la retención del contexto es clave para crear una salida precisa. Sin embargo, cada capa de retención consume más recursos, por lo que el desafío que enfrentan los equipos de desarrollo y sus ingenieros rápidos es comprender qué contexto debe formar parte de una petición de datos interna establecida y qué se requiere de los usuarios externos para las peticiones de datos posteriores. Al igual que las limitaciones del modelo, la elección de la infraestructura subyacente y sus capacidades para proporcionar soporte integrado para proyectos de IA puede optimizar significativamente los recursos para aumentar la flexibilidad al examinar la retención del contexto.
• Gestión de consultas largas y complejas: finalmente, los modelos de IA probablemente podrán gestionar consultas extremadamente complejas. En este momento, la mayoría de ellos no pueden, por lo general existe un punto de inflexión donde la salida se vuelve ineficaz. Los desarrolladores pueden utilizar la ingeniería de petición de datos para reducir las variables relacionadas con este tipo de resultado mediante la precarga del contexto clave y la asignación de parámetros.
• Alineación de la intención del usuario: la ingeniería rápida puede aumentar la eficiencia y proporcionar una ventaja, pero ¿y si apunta en la dirección equivocada? La especificidad es una característica clave en las salidas de ingeniería rápida, pero solo si está funcionando. Por lo tanto, los equipos de desarrollo deben verificar para asegurarse de que la ingeniería rápida no sea tan específica que evite las verdaderas intenciones de un usuario.

Para abordar estas y otras limitaciones de recursos, muchas empresas despliegan sus LLM en una infraestructura en la nube con servicios gestionados integrados que están adaptados para admitir la IA.

Aptitudes necesarias para ingeniería de petición de datos

A medida que el concepto de ingeniería rápida ha pasado a la vanguardia solo en la última década, sigue siendo un papel en evolución. Un ingeniero rápido exitoso necesita un conjunto de habilidades básicas y una comprensión de dónde encaja la función en el mayor proceso de entrenamiento de algoritmos y desarrollo de aplicaciones.

En su esencia, la ingeniería rápida requiere una combinación de fuertes habilidades de comunicación, experiencia en la materia y perspicacia en la programación. Hay estructuras precisas de lenguaje, semánticas y gramaticales necesarias para obtener las respuestas deseadas de los modelos de IA, y el ingeniero también debe comprender la lógica y los patrones subyacentes utilizados por el LLM de la organización. Además, deben poder evaluar la exactitud y pertinencia de la producción generada.

Cuando se integra en un flujo de trabajo de desarrollo, el conjunto de habilidades de un ingeniero rápido debe ser más técnico. Debido a que una petición de datos puede necesitar realizar solicitudes externas, por ejemplo, una comprensión de cómo funcionan las API y las llamadas a funciones y la competencia en los lenguajes de programación estándar son valiosas. Además, una formación técnica permite a los ingenieros considerar los costos computacionales de diferentes estrategias de estímulo para que puedan lograr un equilibrio entre el rendimiento y la rentabilidad.

Petición de datos - Casos de uso de ingeniería

La ingeniería rápida puede ser una herramienta vital para mejorar tanto la eficiencia en el uso de recursos de IA como la satisfacción del usuario. Al integrar una petición de datos básica en el flujo de trabajo de una aplicación, las aplicaciones pueden generar resultados mejores y más precisos incluso cuando los humanos proporcionan entradas vagas.

Las siguientes son solo algunas de las formas en que la ingeniería inmediata puede beneficiar a casos de uso específicos.

• Educación: los modelos de IA tienen varios usos en aulas y laboratorios, y la ingeniería rápida ayuda a crear una ruta personalizada y efectiva. Considere la posibilidad de que una universidad implemente un asistente digital personalizado para mejorar la experiencia del estudiante, con peticiones de datos adaptadas para responder preguntas con información en tiempo real. Una escuela podría usar la IA para desarrollar planes de aprendizaje personalizados, con indicaciones que puedan extraer datos de los objetivos de los estudiantes y los planes de lecciones mientras realizan llamadas de función a registros y clases anteriores. O un desarrollador de aplicaciones de tutoría puede diseñar peticiones de datos para que las respuestas sean adecuadas para la edad y el nivel de aptitud de cada alumno.
• Finanzas: las aplicaciones pueden ayudar en los aspectos financieros tanto internos como orientados al cliente, incluida la generación de informes, el análisis de tendencias de mercado y el servicio al cliente. En cada uno de estos casos, la ingeniería de petición de datos puede crear arranques iniciales para el usuario. Para los informes internos, las peticiones de datos pueden obtener datos de llamadas de función a datos de mercado externo o métricas internas. Para el servicio al cliente, las peticiones de datos pueden obtener datos del historial de un cliente y factores externos, como la hora, la temporada y el tipo de consulta. Internamente, las peticiones de datos se pueden personalizar para ayudar con el trabajo de prevención del fraude.
• Atención sanitaria: la IA puede ayudar a diagnosticar afecciones médicas, resumir las historias clínicas de los pacientes y generar informes médicos. Estos sistemas también pueden apoyar a los profesionales sanitarios. Para lograr todo esto, las peticiones de datos podrían diseñarse para reflejar un tono apropiado para el público del paciente o del profesional mientras extraen el contexto requerido a través de llamadas de función externa a registros adicionales, sistemas de empleados y la última investigación médica relacionada.
• Fabricación: las empresas de fabricación han adoptado la IA para admitir una amplia gama de funciones, incluido el seguimiento del estado de la cadena de suministro, el control de calidad y las herramientas de autoservicio del cliente. Cada uno de estos casos de uso requiere acceso a orígenes internos y externos para satisfacer las diferentes necesidades del público. Por ejemplo, para optimizar los programas de producción, se pueden diseñar peticiones de datos para ir más allá del uso de plazos internos establecidos y tener en cuenta elementos como el estado del proveedor, los datos del ciclo de vida de las herramientas y los problemas en tiempo real que pueden afectar la entrega, como las vacaciones o las inclemencias del tiempo.
• Marketing: las campañas de marketing digital generan muchos datos. El contenido de marketing generado por IA se beneficia enormemente de peticiones de datos diseñadas para aprovechar estos datos. Los ingenieros pueden preparar peticiones de datos base que incluyan, por ejemplo, publicaciones en redes sociales que hagan referencia a la marca. Para optimizar el compromiso, las campañas publicitarias podrían dirigirse a datos demográficos y de opinión específicos de los usuarios.
• Real estate: la industria inmobiliaria toma insumos de una amplia gama de fuentes: registros de ventas públicas, tasas de interés y tendencias financieras, incluso datos climáticos y estacionales. Pero las aplicaciones de la industria tienden a centrarse en una cosa: hacer coincidir a aquellos que buscan casas con las propiedades adecuadas. Mientras tanto, las empresas inmobiliarias tienen desafíos únicos de gestión de RR. HH. con los que la IA puede ayudar. La ingeniería de petición de datos puede apuntar a una aplicación en la dirección correcta en función de las necesidades y los datos actuales mientras prepara las llamadas de función adecuadas en las peticiones de datos base para ofrecer lo que los usuarios necesitan.
• Comercio minorista: las aplicaciones de asistente de compras habilitadas para IA pueden aumentar la satisfacción del cliente y las tasas de conversión al personalizar las recomendaciones y agregar automatización a los flujos de trabajo de los clientes. Gran parte de los datos que impulsan estas mejoras se obtienen de los datos de los clientes, incluidos los historiales de compras, búsquedas y servicios. Al crear una petición de datos base que utilice de forma proactiva las personas de los clientes y obtenga los datos adecuados, los bots conversacionales y otras aplicaciones pueden interactuar mejor con los compradores.
• Viajes: las aplicaciones de viajes basadas en IA pueden mejorar las recomendaciones e itinerarios personalizados, gracias a la ingeniería inmediata. Por ejemplo, cuando un usuario solicita una reserva de restaurante durante un viaje planificado, la petición de datos puede ir más allá de la ubicación general y tener en cuenta el historial del usuario, como si los niños están involucrados, mientras hacen llamadas de función para la cocina, la disponibilidad de la mesa y el costo. Todos estos son factores que se pueden lograr profundizando en los resultados, pero la ingeniería inmediata puede proporcionar una ventaja para facilitar la carga de trabajo de las consultas y, al mismo tiempo, ofrecer una salida más rápida y precisa. Las peticiones de datos bien diseñadas también pueden permitir a los asistentes digitales basados en IA ayudar tanto a los clientes como al personal a responder preguntas sensibles al tiempo.

Petición de datos - Técnicas de ingeniería

Varias técnicas de ingeniería rápida vienen con fortalezas y debilidades. La determinación de la adecuada para un proyecto depende de los objetivos, las capacidades de procesamiento y la infraestructura de soporte subyacente, el LLM en uso, el público y otros parámetros únicos.

A continuación se tratan algunas de las técnicas de ingeniería rápida más populares utilizadas hoy en día:

• Cadena de pensamiento: dirigir el LLM para identificar y enumerar los pasos intermediarios hacia el objetivo final es un medio para mejorar la precisión y la transparencia. Las técnicas de cadena de pensamiento se pueden disparar solicitando al modelo que enumere los pasos, incluidas muestras de listas de pasos prácticos, u ofreciendo opciones de opción múltiple mientras solicita razonamiento para una selección.
• Estímulo direccional: la salida del LLM se puede mejorar proporcionando indicaciones e instrucciones con el indicador. El estímulo direccional funciona proporcionando pistas, parámetros y contexto específicos a las preguntas generales en el texto después de la pregunta base. Al agregar la palabra "hint" y una lista de detalles, similar a la forma en que una publicación en redes sociales puede agregar hashtags para proporcionar contexto, la salida se puede configurar para incorporar esos elementos y generar un resultado de mayor calidad.
• Menos que: implica dividir una petición de datos en subproblemas y, a continuación, ejecutarlos en una secuencia definida. La petición de menor a mayor se asemeja al enfoque de la cadena de pensamiento en que ve una petición de datos en un nivel granular, pero su uso de pasos intermedios para construir progresivamente una respuesta permite una mayor complejidad en la ejecución. Al igual que las peticiones de datos de cadena de pensamiento, las peticiones de datos de menor a mayor se aplican más eficazmente a problemas complejos que se pueden dividir en una serie de subproblemas secuenciales más simples.
• Maieutic: implica peticiones de datos graduales y abiertas que se basan en respuestas al guiar al modelo para que reflexione sobre su razonamiento. El estímulo Maieutic se basa en el método socrático del diálogo, que generalmente comienza con una pregunta abierta, luego profundiza más en el razonamiento detrás de cada respuesta. En la práctica, esto se logra comenzando con una pregunta, luego pidiendo sucesivamente al modelo que explique su respuesta en más profundidad.
• Auto-refinamiento: la mejora gradual de la producción de un LLM se puede lograr alimentando la respuesta anterior al modelo mientras se solicita una mejora. La petición de datos de autorrefinación es una técnica iterativa que brinda al modelo la oportunidad de reevaluar su salida para posibles ajustes y adiciones; se utiliza mejor para considerar problemas en los que el objetivo es optimizar una solución particular, como la generación de código. Debido a que se trata de una técnica basada en instrucciones, los ingenieros deben verificar que el modelo tenga la capacidad y los recursos para retener las respuestas y construir sobre ellas de forma iterativa.
• Secuencial: implica una serie de pasos relacionados y secuenciales como medio para completar un flujo de trabajo o esquema. La petición secuencial funciona mejor en dos situaciones: cuando se involucra una secuencia específica, como instrucciones o procedimientos, y cuando se comienza con un enfoque más amplio de un tema en particular, luego se construye a partir de la respuesta como un diálogo guiado hasta que se logra un punto satisfactorio. La petición de datos secuencial se reconoce mediante palabras clave claras que delimitan la secuencia, como "paso 1" o "parte 2".

Mejores prácticas para la ingeniería rápida

Los ingenieros rápidos a menudo trabajan en muchos proyectos diferentes con diferentes objetivos, en diferentes plataformas de LLM con diferentes niveles de recursos informáticos. Sin embargo, hay algunas consideraciones comunes para lograr la mejor salida posible.

1. Considera la "personalidad" de tu LLM
Además de las limitaciones estándar de todos los LLM, como las alucinaciones, cada plataforma viene con pros y contras. Por ejemplo, actualmente GPT-4 puede soportar tanto texto como imágenes, pero utiliza muchos recursos computacionales. BERT es de código abierto y ofrece una comprensión potente, pero requiere más esfuerzo en el ajuste para tareas específicas. Cada LLM también tiene su propio formato y semántica preferidos para la entrada, y los modelos siempre están evolucionando. Lo que funciona para un proyecto ahora podría no ser en seis meses o un año.

2. Equilibra la precisión y la brevedad
Las peticiones de datos imprecisas y abiertas llevan a los modelos a obtener resultados vagos o repetitivos. La especificidad es la clave para una buena ingeniería rápida, incluidos los elementos técnicos y prácticos. En el aspecto técnico, las indicaciones precisas tienen en cuenta los formatos preferidos y los parámetros conocidos del LLM y la aplicación. En el lado práctico, los factores clave incluyen el público objetivo, la función de aplicación / modelo, los conocimientos previos esperados y las instrucciones precisas, así como las muestras o parámetros adecuados, como el número de puntos o ejemplos solicitados.

3. Agregar pistas contextuales
En consultas complejas, el contexto puede marcar la diferencia, por lo que los ingenieros de peticiones de datos prestan atención a informar la petición de datos y proporcionan un motivo de enmarcado para la solicitud. Considere la pregunta: "¿Hoy hace buen tiempo?" Al elaborar una petición de datos para una IA, un ingeniero rápido reconoce que la definición de "bueno" es subjetiva. Al agregar contexto estratégicamente a la petición de datos, el ingeniero puede obtener respuestas más útiles. Por ejemplo, en lugar de simplemente hacer la pregunta a la IA, se podría estructurar una petición de datos para incluir el contexto:

• Restricciones del usuario: ¿La persona sufre de asma o tiene alergias al polen? Un ingeniero podría programar la IA para considerar las condiciones locales y los problemas de salud específicos.
• Intención del usuario: ¿Es un agricultor que espera lluvia o un estudiante que espera un día soleado para una excursión? La IA puede proporcionar un contexto estacional y basado en actividades.
• Especificidad temporal y geográfica: ¿Cuál es el país, la ciudad, la estación y el día de la semana?

Proporcionar contexto estratégicamente ayuda al LLM a generar respuestas más útiles y personalizadas. Los ingenieros de petición de datos pueden elegir identificar varias llamadas a funciones externas a través de API que pueden generar parte de este contexto con antelación.

4. Ten paciencia con las pruebas iterativas y la acotación
La ingeniería de peticiones de datos es un proceso de prueba y error. Afortunadamente, los profesionales tienen acceso a varias herramientas que pueden soportar pruebas iterativas y refinamiento al proporcionar elementos como el historial de peticiones de datos, entornos de sandbox para diferentes LLM, evaluaciones y sugerencias de rendimiento y pruebas A/B. Mediante el uso de una herramienta de gestión de peticiones de datos, la acotación se vuelve más eficiente y rastreable, lo que permite una vista más completa de la ruta a una petición de datos optimizada. Esta visibilidad también puede crear una base para exportar peticiones de datos base de contexto neutral repetibles.

Futuro de la ingeniería de petición de datos

La trayectoria evolutiva de la ingeniería rápida probablemente estará vinculada a los avances técnicos de la IA y los LLM. La mayoría de los ingenieros pronosticados esperan que a medida que la comprensión de los LLM continúa creciendo, las indicaciones pueden llegar a ser cada vez más sofisticadas, lo que permite la inclusión de mayor detalle, especificidad e información contextual. Actualmente, los LLM tienden a tener un punto de ruptura en el que las peticiones de datos largas y complejas dan como resultado salidas sin sentido.

Una tangente a una mayor complejidad rápida es la capacidad de adaptación rápida. En otras palabras, los ingenieros de IA están buscando formas de que los LLM generen peticiones de datos que se puedan autoadaptar en función del contexto, el historial y las especificaciones de una conversación. Del mismo modo, los desarrolladores buscan hacer que los LLM funcionen con varios tipos de entrada. En un mundo perfecto, los LLM podrían tomar una entrada multimodal de texto, audio e imágenes para crear una salida.

Una versión de eso existe actualmente en forma de generación aumentada de recuperación (RAG). La RAG se superpone con el propósito general de la ingeniería rápida en el sentido de que se esfuerza por proporcionar un contexto más profundo que resulte en resultados más precisos. Sin embargo, la RAG se realiza mediante la recuperación de datos autopropagada, basada en pistas dentro de la petición de datos. En un mundo perfecto, un ingeniero rápido construye una petición de datos base, luego RAG agrega más contexto a través de la recuperación de datos más relevantes, lo que resulta en una salida altamente precisa. Las herramientas RAG funcionan mejor utilizando bases de datos vectoriales para una recuperación rápida y cuando se les da suficiente potencia de procesamiento. A medida que los proveedores de nube abordan estos y otros problemas para los proyectos de IA y aprendizaje automático, las capacidades inherentes y el diseño escalable de estos servicios proporcionarán una mejor base para respaldar las capacidades de los LLM.

Cómo puede ayudar Oracle

Oracle Cloud Infrastructure (OCI) Generative AI proporciona servicios gestionados que pueden ayudar a liberar tiempo para que los ingenieros puedan experimentar con sus consultas sin preocuparse por el acceso a varias opciones de LLM, recursos escalables y seguridad empresarial. La experiencia de chat de OCI proporciona una interfaz lista para usar con los modelos Cohere y Meta, al tiempo que ayuda a mantener los datos privados.

Los ingenieros rápidos son parte traductor, parte detective y parte codificador, utilizando su creatividad y habilidades lingüísticas para elaborar las palabras e instrucciones precisas para descubrir el resultado deseado de LLM inmensamente complejos. La elaboración de mensajes es una habilidad exclusivamente humana, y la recompensa es ese momento en el que ajustar una frase transforma la respuesta de la IA de genérica, incluso alucinógena, a genio.

Preguntas frecuentes sobre ingeniería de petición de datos

¿Qué es la ingeniería inmediata en IA?

La ingeniería de petición de datos se refiere a dos elementos diferentes en la IA. El primero es el conjunto de habilidades de ingeniería de prompt, que es el proceso de refinar una petición de datos de entrada para obtener el mejor resultado y más preciso. La segunda es la integración en un flujo de trabajo de IA de peticiones de datos base repetibles, automatizadas y escalables que han sido creadas por un ingeniero de peticiones de datos para ayudar a generar salidas incluso si los usuarios solo proporcionan consultas vagas.

¿Cómo mejora la ingeniería de pronósticos los resultados del modelo de IA?

Sin ingeniería de petición de datos, las salidas del modelo de IA a menudo solo proporcionarán una respuesta muy general a una consulta básica típica. Los ingenieros de Petición de Datos participan en un proceso de prueba y error para identificar patrones, que comprenden la elección de palabras, el formato, las llamadas a funciones y otros elementos, que luego se pueden integrar en la aplicación como una petición de datos base, lo que puede ayudar a ofrecer respuestas detalladas a consultas de usuarios incluso vagas.

¿Qué herramientas se utilizan comúnmente para la ingeniería rápida?

Las herramientas que pueden ayudar a los ingenieros a hacer su trabajo mejor y más rápido permiten un sandbox de prueba y error para peticiones de datos, al tiempo que proporcionan herramientas de gestión y la capacidad de examinar los resultados con análisis detallados, historial y evaluación de peticiones de datos, pruebas A/B y encadenamiento. Las herramientas de petición de datos admiten una variedad de modelos y salidas de IA principales: algunas son solo de texto, mientras que otras admiten imágenes y texto.

¿En qué se diferencia la ingeniería inmediata de la programación tradicional?

La programación tradicional funciona con un estricto conjunto de reglas siguiendo un formato de código específico, todo para lograr una respuesta repetible. La ingeniería rápida sigue un flujo de entrada/salida similar, pero en una ruta mucho más flexible. Las entradas de ingeniería rápidas utilizan lenguaje natural, pero también funcionan mejor cuando se adhieren a los formatos y la semántica preferidos por un modelo de IA específico. Debido a esta naturaleza abierta, los cambios pueden ser más rápidos en la ingeniería rápida debido a ajustes de lenguaje de prueba y error en lugar de refinar o depurar código; sin embargo, estos cambios pueden no lograr los resultados precisos que se encuentran con los procesos de código repetibles.