是什麼

路由會先對輸入分類，再把它導向專門的後續任務。這是一種「關注點分離」：每個處理器都能針對自己的類別調校，不必把所有狀況塞進一個包山包海的巨型提示。

運作方式

輸入 ──▶ [ 分類 LLM ]
                 ├──▶「退款」 ──▶ 退款處理流程
                 ├──▶「技術」 ──▶ 技術支援鏈
                 └──▶「一般」 ──▶ 一般 FAQ 模型

何時用

「適合那種有明確不同類別、分開處理會更好的複雜任務。」— Anthropic
  • 輸入會落入彼此分明、各自值得專門處理的類別。
  • 你想把簡單問題送給便宜快速的模型，難題送給更強的模型。
  • 用一個提示通吃所有情況，反而會傷到沒調校到的那些。

取捨

  • 路由準確度是瓶頸 —— 分錯類就會把輸入送到錯的處理器。
  • 在真正工作之前，多了一個分類步驟（延遲／成本）。
  • 類別要事先設計好；模糊或重疊的類別會造成搖擺。

實例

  • 客服分流：把一般／退款／技術問題導向不同流程。
  • 成本路由：簡單問題給 Claude Haiku，複雜問題給 Claude Sonnet。
  • OpenAI 對選模型的看法一致：不是每個任務都需要最聰明的模型。