# Gemini Decision 1：均一英文題庫全量文法分類與效能測試

## 結果

- 全部 12,695 題（選擇 3,641、填空 9,054）均取得主要分類與五個額外候選的回應。
- 提出 294 個細分文法概念，涵蓋博幼 I、II、III 冊共 20 個教材單元。這是依教材單元與文法知識編製的實驗提案，不是已由博幼教師確認的正式分點。
- 2,228 題判定沒有適合文法點；其他 10,467 題有一個主要文法點提案。這不是人工驗證的正確率。
- 6,943 題至少一個受檢額外候選的 yes 機率 ≥ 0.5；這只是描述性統計，門檻未校準，不能當成已確認的跨點標籤。
- 既有教師回饋中 2 題標為無法分類，本次同樣標為無法分類 0 題。此教師資料曾參與既有政策調整，並非獨立測試集；新舊知識點粒度不同，其他主要點無法直接依代碼比較。

## 用量與速度

| 階段 | 題數 | 本次分類運行時間 | 題／秒 | 成功 API 請求 | 輸入 token | 付費標價估算 |
|---|---:|---:|---:|---:|---:|---:|
| 單元路由＋主要知識點 | 12,695 | 464.43 秒 | 27.33 | 3,194 | 26,415,711 | US$2.6416 |
| 五個額外候選評估 | 12,695 | 166.79 秒 | 76.11 | 1,597 | 9,227,665 | US$0.9228 |
| 合計 | 12,695 | 631.22 秒 | — | 4,791 | 35,643,376 | US$3.5643 |

兩階段分別使用 4／4 個平行工作；時間為本次模型批次處理的牆鐘時間，包含等待與重試，不包含資料準備及最終匯出。上表每秒題數以本次新完成題數除以該階段耗時；若續跑，表中耗時不是跨次累計總耗時。主要分類單次 API 請求中位數／P90：0.561／0.761 秒；額外候選評估：0.398／0.504 秒。這是本次工作負載，並非服務保證。

成功請求合計輸出 token 0；主要／額外階段 API 嘗試數分別為 3,194／1,597。價格按 [Google Decision 公告付費輸入單價](https://aistudio.google.com/docs/pricing#gemini-decision) US$0.10／百萬 token 估算；帳戶實際方案、免費額度及最終帳單未知。失敗請求若產生未回報用量，無法納入估算。前置 24 題、圖片與額外候選冒煙測試共 62,619 輸入 token，依同一付費標價約 US$0.0063，加上全量階段共約 US$3.5706。

## 各來源結果

| 教材 | 題數 | 有主要文法提案 | 未找到合適文法點 |
|---|---:|---:|---:|
| 國中文法 I–III | 6,935 | 6,203 | 732 |
| 初級教材與 Workbook | 4,560 | 4,164 | 396 |
| 國中 800 單字 | 800 | 51 | 749 |
| 國小 400 單字 | 400 | 49 | 351 |

## 主要文法點所屬單元

| 提案單元 | 題數 |
|---|---:|
| I-1 | 1,774 |
| I-2 | 2,287 |
| I-3 | 656 |
| I-4 | 370 |
| I-5 | 109 |
| I-6 | 1,120 |
| I-7 | 210 |
| I-8 | 566 |
| II-1 | 432 |
| II-2 | 341 |
| II-3 | 216 |
| II-4 | 355 |
| II-5 | 255 |
| II-6 | 322 |
| II-7 | 399 |
| II-8 | 139 |
| III-1 | 489 |
| III-2 | 133 |
| III-3 | 112 |
| III-4 | 182 |

## 方法和限制

1. 原封裝 `manifest.json` 與 `scope-questions.csv` 逐鍵核對後，取用題幹、選項、答案、提示與文章；9 題附帶圖片的題目傳送其實際圖片。批次大小最多 8 題，每題個別命名並獨立提問。
2. 模型先從全部 20 個單元與「無適合文法點」路由；第二次從路由機率最高的三個單元的細分知識點與「無適合文法點」中選擇主要點。沒有進入前三單元的知識點無法成為主要點；主要點信心也是相對於該候選集合，不能視為全目錄正確機率。
3. 額外點從第二階段主要點之外的機率前五名候選進行獨立 yes/no 評估，並非對 294 點全面逐點檢查；分數未經教師標註校準。所有 5 筆機率均保留，可另行複核。
4. I 冊來源有 51 個既有分點，本次為達到細分而重新提出整套概念；II／III 冊只有教材單元來源，逐點名稱和單元歸屬均屬推定。提案可能重疊、欠缺或超出實際教材，需老師審核。
5. 題庫中也有初級與單字題，純詞義、閱讀或圖片理解題應由模型選擇不適用；模型可能誤判，不能把標記當作事實。已有來源題目及提示本身可能需複核。
6. `prop_*` 是本次實驗內部代碼，不是均一知識點 ID；原 CSV 的 `cover_range` 與既有阻擋狀態沒有改動，也未執行正式匯入。信心或高機率不能替代教師審核。

## 產物

| 檔案 | 內容 |
|---|---|
| `catalog.csv` / `catalog.json` | 294 個文法提案、所屬單元、來源與標記 |
| `classified-mc.csv` / `classified-fill.csv` | 原匯出題目欄位與順序，附主要點提案；`cover_range` 保留原值 |
| `classification-with-candidates.csv` | 逐題主要點、信心與五個額外候選及機率 |
| `statistics-by-point.csv` | 每個提案知識點被選為主要點的題數 |
| `teacher-sample-review.csv` | 21 題既有教師案例與新分類逐題對照；粒度不同的分類需人工判讀 |
| `results.json` | 逐題完整主要分類及路由／候選機率 |
| `cross-7fbca501fa1890ab/cross-results.json` | 五個額外候選完整 yes/no 回應 |
| `requests.jsonl`、各階段 `summary.json` | 單次請求耗時、成功回報用量、匯總統計 |

原始封裝 SHA-256：`2dd48545d0f3ce5b20ef8340dcca0125e94164e96aab60cf014f014d06007728`；主要結果 SHA-256：`44712149616eeeb89ca791dcdbe9639d2285e8b14748bc5a2f611695882ac440`；額外候選結果 SHA-256：`587fb27b09a837d6f7007ed1dbdd95448c31c6d538e1297923cf8398b897a69a`。