LLM evaluation report
Evaluate an AI feature rigorously: define the test set and metrics, compare models or versions on quality and cost, analyze failures, and decide whether to ship.
Prompt
Write an LLM evaluation report for an AI help-center answer bot, comparing three candidate models. Purpose: decide which model to use and whether the feature is ready to launch. Requirements: open with the recommendation, describe the eval set's sources, size and scenario mix, define metrics such as accuracy, factuality and format compliance and how they're scored, compare quality, latency and cost per request in a table with a breakdown by scenario, categorize failures with representative examples, report safety test results, and close with launch criteria, a staged rollout plan and production monitoring metrics. Base everything on the eval data and don't invent scores.
- Fonte
- Ofox
Como usar
- 1
Toque em “Criar um igual”
O Ofox Chat abre com a estrutura deste documento já pronta. Faça login antes, se ainda não fez.
- 2
Deixe do seu jeito
Edite as partes destacadas do prompt com os seus próprios detalhes.
- 3
Envie e crie
Envie e o Ofox Chat escreve o documento completo para você baixar. Continue a conversa para revisá-lo.
Perguntas frequentes
Que tipo de arquivo eu recebo?
Um documento completo para baixar (Word ou PDF), não apenas um bloco de texto no chat.
Preciso preparar algo?
Não: você pode enviar direto e o Ofox Chat escreve uma primeira versão a partir do modelo. Se incluir contexto, dados ou documentos que já tem (colados ou enviados como PDF, Word e outros arquivos), o resultado fica muito mais próximo da sua realidade.
Posso editar o prompt?
Sim. O prompt vai para a caixa de entrada do Ofox Chat e, antes de enviar, você pode trocar o tema pelo seu, acrescentar requisitos ou remover o que não precisa.
Posso copiar e usar o prompt diretamente?
Sim. Toque em “Copiar” no cartão do prompt para obter o texto puro; ele também funciona em outras ferramentas de escrita com IA.
Mais como este
Mais prompts de Engenharia- Technical design docExplain how a system or feature will be built—architecture, data model, APIs and alternatives—and assess performance, risks, rollout and rollback.Engenharia
- API referenceDocument auth, conventions, error codes, and each endpoint's parameters and examples so developers can complete the integration on their own.Engenharia
- Incident postmortemReconstruct a production incident on a timeline, quantify its impact, trace the root cause, and set owned, dated actions to prevent a repeat.Engenharia
- Technology evaluationWeigh candidate technologies against criteria set by business needs, score them with evidence, and recommend one with risks and a rollout plan.Engenharia
- Test planDefine what to test, how, where, and when testing is done for a release or project, aligning QA, engineering and product on expectations.Engenharia
- Release runbookTurn a deployment into a step-by-step runbook: pre-release checks, numbered steps, post-release verification, and rollback with clear triggers.Engenharia
- Coding standardsSet shared coding standards: rules ranked must vs. should for naming, structure, error handling, security and reviews, each with examples.Engenharia
- Database design docDocument the data layer: entity relationships, tables and constraints, the query behind each index, volume estimates and archiving.Engenharia
- Migration planPlan a system or data migration: inventory, strategy, data sync and validation, phased cutover, and rollback at every stage.Engenharia
- Performance test reportReport a performance test: throughput, latency percentiles and resource use against targets, the bottlenecks found, and a go/no-go call.Engenharia
Tem uma ideia sua? Comece a criar
Descreva em uma frase a imagem que você quer e o Ofox Chat cria do zero.