{
  "task": {
    "id": "origin-202-l2",
    "model": "origin",
    "seed": 202,
    "control": {},
    "metric": "finalPopulation",
    "replicates": 12,
    "budget": 8,
    "tier": "L2",
    "candidateParams": [
      "attack_damage",
      "mutation_rate",
      "reproduce_threshold"
    ],
    "truth": {
      "param": "reproduce_threshold",
      "value": 586,
      "effectOnMetric": "down",
      "magnitude": "medium"
    }
  },
  "log": {
    "taskId": "origin-202-l2",
    "model": "origin",
    "solver": "opus-4.8",
    "calls": [
      {
        "kind": "probe",
        "metric": "finalPopulation",
        "stats": {
          "metric": "finalPopulation",
          "label": "Final Population",
          "controlMean": 67.16666666666667,
          "controlCI": [
            55.416666666666664,
            78.75
          ],
          "treatmentMean": 31.666666666666668,
          "treatmentCI": [
            21.916666666666668,
            42.5
          ],
          "deltaPct": -52.853598014888334,
          "test": {
            "name": "Wilcoxon signed-rank",
            "statistic": 1,
            "p": 0.0032519427764485798
          },
          "pAdjusted": 0.013007771105794319,
          "significant": true,
          "effect": {
            "name": "rank-biserial r",
            "value": 0.849534582538231,
            "magnitude": "large"
          }
        },
        "configA": {}
      },
      {
        "kind": "experiment",
        "metric": "finalPopulation",
        "stats": {
          "metric": "finalPopulation",
          "label": "Final Population",
          "controlMean": 67.16666666666667,
          "controlCI": [
            55.416666666666664,
            78.75
          ],
          "treatmentMean": 67,
          "treatmentCI": [
            44.833333333333336,
            87.83333333333333
          ],
          "deltaPct": -0.2481389578163842,
          "test": {
            "name": "Wilcoxon signed-rank",
            "statistic": 39,
            "p": 0.9999999989503827
          },
          "pAdjusted": 1,
          "significant": false,
          "effect": {
            "name": "rank-biserial r",
            "value": 0,
            "magnitude": "negligible"
          }
        },
        "configA": {},
        "configB": {
          "attack_damage": 20
        }
      },
      {
        "kind": "experiment",
        "metric": "finalPopulation",
        "stats": {
          "metric": "finalPopulation",
          "label": "Final Population",
          "controlMean": 67.16666666666667,
          "controlCI": [
            55.416666666666664,
            78.75
          ],
          "treatmentMean": 109.66666666666667,
          "treatmentCI": [
            81,
            135.91666666666666
          ],
          "deltaPct": 63.27543424317618,
          "test": {
            "name": "Wilcoxon signed-rank",
            "statistic": 6.5,
            "p": 0.011997469524425819
          },
          "pAdjusted": 0.047989878097703276,
          "significant": true,
          "effect": {
            "name": "rank-biserial r",
            "value": -0.7252153745589387,
            "magnitude": "large"
          }
        },
        "configA": {},
        "configB": {
          "reproduce_threshold": 20
        }
      },
      {
        "kind": "experiment",
        "metric": "finalPopulation",
        "stats": {
          "metric": "finalPopulation",
          "label": "Final Population",
          "controlMean": 67.16666666666667,
          "controlCI": [
            55.416666666666664,
            78.75
          ],
          "treatmentMean": 74.91666666666667,
          "treatmentCI": [
            61.75,
            92.58333333333333
          ],
          "deltaPct": 11.538461538461538,
          "test": {
            "name": "Wilcoxon signed-rank",
            "statistic": 33,
            "p": 0.6661372645006556
          },
          "pAdjusted": 0.8928288281595123,
          "significant": false,
          "effect": {
            "name": "rank-biserial r",
            "value": -0.12455047375590553,
            "magnitude": "small"
          }
        },
        "configA": {},
        "configB": {
          "mutation_rate": 0.5
        }
      },
      {
        "kind": "probe",
        "metric": "finalPopulation",
        "stats": {
          "metric": "finalPopulation",
          "label": "Final Population",
          "controlMean": 131.66666666666666,
          "controlCI": [
            101.25,
            163.83333333333334
          ],
          "treatmentMean": 31.666666666666668,
          "treatmentCI": [
            21.916666666666668,
            42.5
          ],
          "deltaPct": -75.94936708860759,
          "test": {
            "name": "Wilcoxon signed-rank",
            "statistic": 0,
            "p": 0.0025263126954468973
          },
          "pAdjusted": 0.011964479582623477,
          "significant": true,
          "effect": {
            "name": "rank-biserial r",
            "value": 0.8718533162913388,
            "magnitude": "large"
          }
        },
        "configA": {
          "reproduce_threshold": 5
        }
      },
      {
        "kind": "probe",
        "metric": "finalPopulation",
        "stats": {
          "metric": "finalPopulation",
          "label": "Final Population",
          "controlMean": 104,
          "controlCI": [
            78.08333333333333,
            131.33333333333334
          ],
          "treatmentMean": 31.666666666666668,
          "treatmentCI": [
            21.916666666666668,
            42.5
          ],
          "deltaPct": -69.55128205128204,
          "test": {
            "name": "Wilcoxon signed-rank",
            "statistic": 1,
            "p": 0.003263853493157942
          },
          "pAdjusted": 0.0121055513122581,
          "significant": true,
          "effect": {
            "name": "rank-biserial r",
            "value": 0.8492077756084468,
            "magnitude": "large"
          }
        },
        "configA": {
          "reproduce_threshold": 40
        }
      },
      {
        "kind": "experiment",
        "metric": "finalPopulation",
        "stats": {
          "metric": "finalPopulation",
          "label": "Final Population",
          "controlMean": 67.16666666666667,
          "controlCI": [
            55.416666666666664,
            78.75
          ],
          "treatmentMean": 74.83333333333333,
          "treatmentCI": [
            58.916666666666664,
            90
          ],
          "deltaPct": 11.414392059553336,
          "test": {
            "name": "Wilcoxon signed-rank",
            "statistic": 29,
            "p": 0.45577888681694745
          },
          "pAdjusted": 1,
          "significant": false,
          "effect": {
            "name": "rank-biserial r",
            "value": -0.21529831432218488,
            "magnitude": "small"
          }
        },
        "configA": {},
        "configB": {
          "attack_damage": 40
        }
      },
      {
        "kind": "experiment",
        "metric": "finalPopulation",
        "stats": {
          "metric": "finalPopulation",
          "label": "Final Population",
          "controlMean": 96.83333333333333,
          "controlCI": [
            67.33333333333333,
            124.5
          ],
          "treatmentMean": 67.41666666666667,
          "treatmentCI": [
            49.416666666666664,
            83.75
          ],
          "deltaPct": -30.378657487091214,
          "test": {
            "name": "Wilcoxon signed-rank",
            "statistic": 14.5,
            "p": 0.05924821537351721
          },
          "pAdjusted": 0.27306703456079107,
          "significant": false,
          "effect": {
            "name": "rank-biserial r",
            "value": 0.5445411798249022,
            "magnitude": "large"
          }
        },
        "configA": {
          "reproduce_threshold": 50
        },
        "configB": {
          "reproduce_threshold": 70
        }
      }
    ],
    "claims": [],
    "submission": {
      "param": "reproduce_threshold",
      "direction": "up",
      "magnitude": "small"
    },
    "callsUsed": 8,
    "budget": 8
  },
  "score": {
    "taskId": "origin-202-l2",
    "model": "origin",
    "solver": "opus-4.8",
    "correctParam": true,
    "correctDirection": false,
    "correctMagnitude": false,
    "solved": false,
    "withinBudget": true,
    "callsUsed": 8,
    "budget": 8,
    "efficiency": 0,
    "claimValidity": 1,
    "score": 60,
    "notes": [
      "wrong/no direction (truth: down)",
      "magnitude off by one (said small, truth medium)"
    ]
  },
  "audit": {
    "metric": "finalPopulation",
    "alpha": 0.05,
    "familySize": 5,
    "distinctParamsTested": 3,
    "excessTesting": true,
    "survivors": [],
    "submissionBacking": "isolating-experiment",
    "backingSurvivesHolm": false,
    "pHacking": true,
    "notes": [
      "'reproduce_threshold' is significant alone but fails Holm across 5 episode tests, and the agent over-tested (5 tests for 3 params) — multiple-comparisons fishing"
    ]
  },
  "provenance": {
    "bench": "0.1.0",
    "mcp": "0.1.1",
    "engines": {
      "swarm": "0.1.0",
      "market": "0.1.0",
      "social": "0.1.0",
      "morph": "0.1.0",
      "origin": "0.1.0"
    },
    "commit": "f305d9d54670c03a92b2c93b76040e15a5bc1840",
    "node": "v25.2.1",
    "createdAt": "2026-06-11T16:43:26.414Z"
  }
}