專文 · AI 與研究 · 讀書筆記
讀〈Claude-shaped science〉：人、AI 與領域專家怎麼一起做研究
Matthew Schwartz 用 3 個月完成 36 篇研究，靠的是可以檢查的問題、會累積的工具，以及領域專家的參與。
Matthew Schwartz 在 Anthropic 分享的〈Claude-shaped science〉，說明他如何從自己的專業出發，逐步建立工具，再找其他領域的專家一起把研究往前推，然後在 3 個月內完成了 36 篇文章。
他的做法很務實，先從熟悉的理論物理開始，讓 Claude 整合散落在不同論文、不同程式語言裡的方法，補上只有論文、沒有程式的部分，再逐步累積成一套叫做 BootLoops 的工具與研究流程。挑選問題時，有個很重要的條件：結果必須能夠被檢查。以其中的積分問題來說，可以先用物理與數學條件縮小答案範圍，再用高精度數值計算補足資訊，最後透過不同計算路徑交叉核對。
這個過程讓我很有感。每次研究產出的程式、測試與使用說明，都可以留給下一個題目使用；遇到新的問題，再改進既有工具或補上缺口。BootLoops 也把「什麼情況才算完成」、「如何用已知答案測試」、「驗證資料是否獨立」寫進流程。這樣累積下來，研究團隊留下的東西就很具體：除了這次的結果，還有下一次可以接著用的能力。
整個流程都是「人＋AI＋領域專家」。這個組合可以理解成三種角色：有人負責把研究問題與 AI 工作流程接起來；AI 協助搜尋方法、寫程式、計算與測試；領域專家則參與選題、建模和結果解讀。這些角色可以由同一個人兼任，但每個環節都需要有人承接。
文中的生態學案例很有意思，Schwartz 和 Claude 算出了森林實際變化與中性理論預測的差距，原本覺得是很好的成果。但找來生態學家 James O’Dwyer 討論後，才知道這個方向的問題，領域裡其實早有認識。專家進一步建議，把中性理論當成基準，往偏離基準的部分追下去。
後續，他們把物種的成長、存活、繁殖，以及外來種子與共同環境變動納入模型，嘗試預測哪些樹種會增加、哪些會減少。這一步讓計算結果接上了更具體的生態問題。領域專家的價值，在研究過程中就會不斷出現：眼前這個問題，大家已經知道多少？哪些差異值得追？還缺什麼證據？有人能回答這些問題，AI 的計算能力才比較容易變成有意義的研究進展。
作者更進一步的把這套方法遷移到其他領域。其中一條路，是找出不同領域背後相似的數學結構。例如粒子物理使用的部分積分方法，也能用在群體遺傳或親緣演化的貝氏計算；人口研究中處理生命週期的方法，則被拿來分析太陽黑子。這讓我想到，跨領域合作的一個機會，是把某個領域已經成熟的方法，帶到另一個還沒充分使用它的問題上。地球科學也已經出現在他們的探索中。他們和地球化學專家合作，整合大氣化學、氣候與地質紀錄，建立大氧化事件（Great Oxidation Event，GOE）期間氧氣變化與冰期關係的模型。
但上述限制也很清楚。Schwartz 提到，AI 仍會過早宣布完成、誤判結論、在長任務中遺失 context，甚至一直花時間硬算。他也坦白，這些專案消耗了大量運算與 token，過程需要持續的人為引導。AI 很會報喜，研究者還是得親自看圖、追問，確認它到底做出了什麼。更需要留意的是，計算精確度與模型能否解釋現實，是兩個都要檢查的環節。
所以，讀完這篇，完全可以體會到一個很會使用AI的人有多麼的誇張，他需要知道AI的極限以及邊界，然後，搭配一個領域專家，就可以快速的遷移到其他領域去進行研究。
附上一小段原文
Things are changing fast, and it’s practically impossible to plan ahead. Why apply for a grant for three years of funding to compute a problem an AI model might end up solving overnight? I still don’t know how to train graduate students. Since I published my piece on vibe physics, that feeling has only become more acute. In some fields, such as computer science, the disruption is downright scary. Two years ago, I would have recommended a course on “Python for engineers” as essential. Today, it’s unnecessary.