Astra low·medium·high에 어느 Sol 설정이 도달할까?
공개 점수가 기준 이상인 Sol 설정을 low → max 순으로 찾았다. 사실 오류율은 기준 이하를 찾는다. 수치 비교이며 능력의 동등성이나 통계적 우위를 뜻하지 않는다. 예를 들어 Science에서 Sol max 57.0은 Astra medium 57.4에 가까워도 이 엄격한 기준에는 미달한다.
| 평가 분야 | Astra low 기준 | Astra medium 기준 | Astra high 기준 |
|---|---|---|---|
| DeepSWE v1.1 | Sol medium 73.0% / 기준 67.0% $0.42 / Astra $1.60 | Sol medium 73.0% / 기준 72.8% $0.42 / Astra $3.08 | Sol high 75.2% / 기준 73.2% $0.65 / Astra $3.92 |
| GDP.pdf | Sol high 32.0% / 기준 30.4% $0.35 / Astra $1.70 | Sol high 32.0% / 기준 30.4% $0.35 / Astra $1.72 | Sol high 32.0% / 기준 31.0% $0.35 / Astra $1.79 |
| AutomationBench 1.0.6 | Sol medium 31.7% / 기준 30.3% $0.19 / Astra $1.08 | Sol xhigh 35.5% / 기준 34.1% $0.25 / Astra $1.27 | 도달하는 설정 없음 Astra 37.1% · $1.44 |
| OSWorld 2.0 · offline · partial reward | Sol medium 66.8% / 기준 62.2% $0.77 / Astra $2.72 | Sol high 69.6% / 기준 69.3% $0.96 / Astra $5.36 | Sol max 71.4% / 기준 70.0% $1.27 / Astra $6.91 |
| Terminal-Bench Science 0.1 | Sol max 57.0% / 기준 55.4% $5.47 / Astra $11.41 | 도달하는 설정 없음 Astra 57.4% · $12.34 | 도달하는 설정 없음 Astra 62.0% · $14.95 |
| 고난도 프롬프트 사실 오류율 | Sol medium 6.3% / 기준 6.3% $0.06 / Astra $0.24 | Sol xhigh 4.1% / 기준 4.4% $0.10 / Astra $0.31 | 도달하는 설정 없음 Astra 3.9% · $0.48 |