別人制定的標準

別人制定的標準

短文

今天看到知識衛星推出一個 AI 能力測驗,他把使用 AI 的能力分成六個等級,分別是:

  1. L1 基石:能在具體工作中說清需求,並查核、修正 AI 的產出,完成可用的成果。
  2. L2 造物:能運用可重用的方法,穩定做出符合需求與風格的成果。
  3. L3 分身:能讓 AI 接上工作所需的資料與工具,完成中間處理,並將成果送到需要的位置。
  4. L4 流程:能依照實際需求,安排 AI、程式與人工的分工,讓整體工作更有效率、更可控。
  5. L5 產品:能讓 AI 工具與流程持續投入真實工作,並在需求改變、功能調整或發生問題後維持正常交付。
  6. L6 進化:能建立品質判準與運作邊界,讓 AI 系統自行檢查、定向修正與重新驗證,並在必要時交回給人。

我剛好在等 agent 跑某個規模有點大的重構,就登入帳號來測試看看。


測驗一開始詢問我最近一次用 AI 完成的工作是什麼,我就分享了目前工作上在做的事: 從 9 月下旬以來,我就開始為新公司製作生產管理系統。原本公司在這件事情上是採取紙本的方式進行,紙本開單後會交由工廠的員工開始根據單據組裝,然後再檢核、包裝、出貨。我跟另一位同事逐步把這段流程全部數位化,他負責調查與理解現場狀況與工作流程,並跟 Claude 討論 prototype,我則是用 Claude Code 把 prototype 實際做出來。

在大約幾週的迭代與測試後,這個系統已經開始上線給同事們使用了。同事們若使用上遇到任何問題或者有回饋,可以用頁面上的「回報」按鈕填寫細節,送出後就會在 Github 上面自動建立 issue,然後我開啟 Claude Code session 後會去拉取還未處理的 issues,並且用一個「分析意見」的 skill 找出同事回報問題裡面真正希望解決的核心問題,然後提出建議的做法(以及潛在的成本)給我判斷,完成後再開始安排順序實作,實作後會進行自動的 code review & security review。

我大概就跟這個測驗的 AI 分享這些東西,然後它有問我一些細節,我也簡單回答,問了幾輪後,沒有要補充的東西,就送出了,結果過兩分鐘測驗結果出來,我被評為 L5。

看了測驗系統的回饋,我以為他在意的是「AI 系統自行檢查」這一塊,所以我又補充說明開發的時候,Claude Code 都會用 playwright 打開介面截圖檢查,也會進行完整的測試。

但補充完畢後,還是一樣是 L5。我又再補充了一段我的用法,結果還是 L5。

由於這個測驗只允許補充說明兩次,若要再補充或再測試,就要買課程,所以我就不再補充與測試了。


晚上回家後,我跟我自己的 agent 分享這件事,跟他講這個測驗的六個等級標準,然後請他用最嚴格的方式也幫我評分一次。他知道我的 repo 在做什麼,於是他直接去讀 repo 的規則、還有規則的變更紀錄、開發紀錄等等,最後他的評分也是 L5(嚴格版),他說:「用嚴格的標準看,七個條件裡大部分都有,有幾項做得很紮實。差在人的位置:你是每一次都要過的關卡,不是只在例外時才被找回來。所以測驗給 Level 5,以這兩張截圖的標準來說,我認為講得通。」

我跟我的 agent 討論了兩輪後,感覺到的狀況是,如果以知識衛星這六個等級來判斷評分,我確實在某些細項上可能沒達標,所以判 L5 合理。但我們的共識是,這個 L6 的判準有兩個問題:

  1. 目前的系統分級看起來是照「交給系統做的範圍有多大」往上排,最高級是人只處理例外。但是他沒有去區分「做不到」與「刻意不這麼做」的差別以及背後的原因。
  2. 目前的系統分級假設了每個工作目標都能寫成可以檢查的條件(判準),但某些任務的目標可能不存在這種可以檢查的判準。(例如我自己的 agent repo 的目標是「更讓我理解我自己」,但這件事缺乏某種量化的標準,就很難達標 L6。

分析完後我突然頓悟,有道理,如果我自己用 agent 用的很開心、很有用(三個多月來開了近 400 個 sessions,幫我做了好多事,累積了好多深度對話),也開發出公司同事們實際在用而且持續迭代改進的系統,好像沒什麼需要在意某個特製標準下的評分。

這時我又好像頓悟一個更上層的大道理,所謂的自由,就是可以不用活在別人制定的標準和評分裡吧?

pinchlime.com pjwu.me

「Pin 起來」已關站,現在你看到的是轉址後的新網站 pjwu.me

你好,你剛才點的是 pinchlime.com 的舊連結。那個網站現在已經搬到這裡(pjwu.me),歡迎繼續閱讀。

若想知道搬家的細節,可以參考完整搬家說明。