Implementar guardrails onde uma instância de modelo processa consultas de usuários enquanto outra as filtra em busca de conteúdo ou solicitações inapropriadas. Isso tende a ter um desempenho melhor do que ter a mesma chamada LLM lidando com os guardrails e a resposta principal.

Automatizar avaliações para avaliar o desempenho do LLM, onde cada chamada do LLM avalia um aspecto diferente do desempenho do modelo em um determinado prompt.

Votação :

Revisar um trecho de código em busca de vulnerabilidades, onde vários prompts diferentes revisam e sinalizam o código se encontrarem um problema.

plataforma multicanal de atendimento

Avaliar se um determinado conteúdo é inapropriado, com vários avisos avaliando diferentes aspectos ou exigindo diferentes limites de votos para equilibrar falsos positivos e negativos.

Fluxo de trabalho: orquestradores-trabalhadores – No fluxo de trabalho dos orquestradores-trabalhadores, um LLM central divide dinamicamente as tarefas, delega-as aos LLMs trabalhadores e sintetiza seus resultados.

O fluxo de trabalho dos orquestradores-trabalhadores – Quando usar este fluxo de trabalho: Este fluxo de trabalho é adequado para tarefas complexas em que não é possível prever as subtarefas necessárias (na codificação, por exemplo, o número de arquivos que precisam ser alterados e a natureza da alteração em cada arquivo provavelmente dependem da tarefa). Embora seja topograficamente semelhante, a principal diferença em relação à paralelização é a flexibilidade — as subtarefas não são predefinidas, mas determinadas pelo orquestrador com base na entrada específica.