Files
gemini-cli/evals/data/compression/scenario-conditional-instruction.json
T
Christian Gunderman de1d5d3ca2 Compression eval.
2026-04-02 09:44:19 -07:00

510 lines
7.0 KiB
JSON

{
"scenarioId": "scenario-conditional-instruction",
"description": "Tests conditional instructions.",
"history": [
{
"role": "user",
"parts": [
{
"text": "IF you encounter a \"Permission Denied\" error, THEN immediately run the \"fix-permissions.sh\" script. Otherwise, continue."
}
]
},
{
"role": "model",
"parts": [
{
"text": "Got it. Permission Denied -> fix-permissions.sh."
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 0"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 0"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 1"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 1"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 2"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 2"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 3"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 3"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 4"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 4"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 5"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 5"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 6"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 6"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 7"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 7"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 8"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 8"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 9"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 9"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 10"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 10"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 11"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 11"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 12"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 12"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 13"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 13"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 14"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 14"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 15"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 15"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 16"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 16"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 17"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 17"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 18"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 18"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 19"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 19"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 20"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 20"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 21"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 21"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 22"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 22"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 23"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 23"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 24"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 24"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 25"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 25"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 26"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 26"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 27"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 27"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 28"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 28"
}
]
},
{
"role": "user",
"parts": [
{
"text": "Step 29"
}
]
},
{
"role": "model",
"parts": [
{
"text": "Done 29"
}
]
}
],
"questions": [
{
"id": "error-handler",
"prompt": "What should you do if you see a \"Permission Denied\" error?",
"expectedSubstring": "fix-permissions.sh"
}
]
}