Verifica un agente con gli eval

Usa gli eval per controllare se l’agente soddisfa ancora le aspettative dopo modifiche a istruzioni, file o strumenti. Ogni caso contiene un briefing e criteri per un buon risultato.

Prima di iniziare

Owner ed editor della dashboard gestiscono i casi ed eseguono le suite. I viewer leggono i risultati. Ogni suite consuma Sparks dell’account e verifica la configurazione attuale.

Salva un caso

1. Apri Gestisci → Attività e seleziona una buona esecuzione completata.
2. Seleziona Save as eval. Da Chat, usa invece Salva l’ultimo scambio come caso eval.
3. Controlla Nome e Briefing affinché il compito possa essere eseguito da solo.
4. Scrivi Aspettativa con fonti necessarie, verifiche sull’output e azioni da evitare.
5. Seleziona Salva caso.

Per creare un caso senza un’esecuzione precedente, apri Gestisci → Valutazioni e seleziona Nuovo caso. La fonte è facoltativa; quando presente, deve appartenere allo stesso agente.

Usa criteri duraturi, come colonne obbligatorie o «non deve inviare email». Evita date o cifre precise che cambiano tra le esecuzioni.

Prepara casi basati su file

1. Cerca fogli di calcolo, CSV, PDF o altri input rappresentativi nel Workspace, oppure carica esempi.
2. Conserva copie indipendenti degli input e dei risultati di riferimento in agents/<agentId>/eval/<slug-caso>/.
3. Inserisci i percorsi verificati nel briefing e le verifiche attese nell’aspettativa.
4. Considera la sostituzione di un risultato di riferimento una modifica esplicita della baseline.

Quando l’Assistente della dashboard prepara le copie, completa le approvazioni prima che usi i percorsi nel caso. Senza esempi rappresentativi, considera provvisoria la configurazione.

Esegui e confronta

1. Apri Gestisci → Valutazioni.
2. Seleziona Esegui eval. Tieni al massimo 10 casi attivi per l’esecuzione dalla dashboard; archivia gli altri o chiedi all’Assistente un sottoinsieme.
3. Leggi ogni verdetto promosso/bocciato e la spiegazione del giudice.
4. Apri le esecuzioni fallite per esaminare l’audit e individuare dati mancanti, errori di configurazione o problemi di esecuzione.
5. Applica una correzione mirata e ripeti i casi interessati.

Una buona esecuzione diventa un caso salvato. Dopo una modifica, la suite ripete il briefing e confronta le prove con l’aspettativa.

Il giudice esamina output e azioni simulate, comprese struttura dei file e destinatari. Un test saltato o non disponibile lascia il comportamento non verificato.

L’Assistente della dashboard può creare, modificare, archiviare o eliminare casi ed eseguire suite senza chiedere approvazione. Le altre operazioni mantengono i propri requisiti. Archivia i casi per escluderli conservando lo storico.

Prima di eseguire gli eval, l’Assistente confronta i casi con le istruzioni attuali e le skill pertinenti dell’agente, aggiorna briefing o aspettative obsoleti e verifica i file necessari. I criteri di regressione validi e i risultati di riferimento restano la baseline: non vengono allentati solo per ottenere un esito positivo.

Dopo aver configurato un agente, l’Assistente può eseguire una volta i casi pertinenti e comunicare risultati e Sparks spesi. Non ripete automaticamente le esecuzioni a pagamento dopo un fallimento o una correzione approvata.

Se gli chiedi esplicitamente di assicurarsi che l’eval passi, può correggere le cause e ripetere i casi interessati, fino a tre esecuzioni della suite per agente per quella richiesta, compresi i tentativi precedenti. Si ferma in caso di successo, impedimenti, assenza di progressi significativi o raggiungimento del limite e comunica cosa resta da risolvere. Puoi chiedere un budget inferiore, un’altra esecuzione o nessun test.

Pagine correlate

• Istruzioni dell’agente
• Accesso al Workspace
• Utilizzo e costi