如何在您的大學中推行 AI 導師試點計劃

如果您正在閱讀這篇文章，您可能已經相信以課程教材為基礎的 AI 輔導能夠使您的學生受益。您現在要解決的是另一個問題：如何提出、規劃和執行一個試點項目，並產生足以說服預算控制者的證據。

這篇文章旨在供您轉發給委員會。它詳細涵蓋了範疇、指標、時間表、設置和分析，其詳細程度足以讓人直接據此起草一份提案。

步驟 1：選擇正確的受試群體

試點項目需要足夠小以便於管理，但同時也需要足夠大以產生有意義的數據。

規模：實驗組包含 100-200 名學生，並配備一個規模相近的配對對照組。這在關鍵指標上具有統計學意義，同時又足夠小，可以在單一學系內進行設置和監控。

選擇：選擇一門在歷史上讓學生在理解、參與度或留存率方面面臨挑戰的課程。第一年的課程特別合適，因為導致退學的滾雪球差距通常始於第一年，且第一年的學生群體規模足夠大，可以提供對照組。

對照組：可以是由同一位講師教授的同一門課程的平行班（如有），或者是前一年使用相同教材修讀同一門課程的學生群體。對照組應控制盡可能多的變量：相同的講師、相同的教材、相同的評估結構。

學科：AI 導師適用於任何學生需要與文本、講座和源材料互動的學科，這涵蓋了高等教育的大多數領域。閱讀量特別大的學科（人文學科、社會科學、法律）往往能最快看到明顯成效，因為在閱讀負擔最重的地方，導師幫助學生瀏覽和理解閱讀材料的能力顯然最具價值。

步驟 2：定義您要衡量的指標

在學期開始前，而不是結束後，決定您的評估指標。委員會想知道的是您預期會發現什麼，而不僅僅是您實際發現了什麼。

首要指標：

成績分布。比較實驗組和對照組之間的期末成績分布。成績分布的變化（D/F 等級減少，B/C 等級增加，或平均分提高）是學術影響最直接的證據。即使是不及格率的微小變化也意義重大，因為每多一名及格而非不及格的學生，就意味著少了一名需要重修該模組的學生。

留存率。比較實驗組與對照組完成課程的學生百分比。如果該課程歷史上的退學率超過 5%，則此指標會很有參考價值。對於退學率較低的課程，樣本量可能不足以單憑此指標達到統計學上的顯著性。

學生滿意度。在學期末進行簡短的調查，詢問 AI 導師的實用性、使用頻率以及對他們理解課程的預期影響。包括關於信心、學術支持感以及向其他學生推薦該工具的意願等問題。

次要指標：

參與頻率。學生使用 AI 導師的頻率，通過會話次數、每週查詢次數以及使用時間分布（學生是否主要在評估前使用？深夜使用？還是在自主閱讀週使用？）來衡量。這些模式對於理解該工具如何融入學生的行為習慣非常有用。

教材覆蓋率。學生上傳了哪些課程教材、他們在不同主題上使用導師的完整程度，以及使用情況是否與他們認為最困難的主題相關聯。

定性回饋。學生關於他們認為最有用和最沒用之處的開放式回答，以及對高頻使用者和非使用者樣本進行的結構化訪談，以了解採用和不採用該工具的模式。

步驟 3：設置試點項目

設置過程應只需教職員和學生投入極少的精力。如果試點項目帶來了顯著的行政負擔，這將削弱其推廣至更大規模的合理性。

學生引導。實驗組的學生將獲得 Fabric 的訪問權限，並被指示上傳他們的課程教材：教學大綱、課程投影片、指定的閱讀材料和教科書章節。如果課程包含錄音/錄影講座，學生可以直接進行錄音與轉錄。引導說明會應耗時 15-30 分鐘，並可納入第一次輔導課或研討會中。

教職員參與。教授該課程的教職員不需要改變他們的教學方式、教材或評估。AI 導師會根據學生上傳的任何教材進行工作。應向教職員簡要介紹該工具的功能（以及它不能做什麼），並應邀請他們使用自己的課程教材親自進行測試，以便他們能體驗學生的感受。

數據處理。在試點分析中，學生的使用數據應進行匿名和匯總處理。教職員不應看到個別學生的使用情況，也不應將其與成績掛鉤。學生數據已加密，且不會用於訓練 AI 模型。在學生同意過程中澄清這一點，以解決隱私顧慮。

倫理審查批准。如果您打算發表研究結果或將數據用於研究目的，請在學期開始前獲得倫理審查批准。如果該試點純粹用於機構內部評估，您機構的標準評估程序可能就足夠了，但請向您的倫理委員會確認。

步驟 4：執行學期任務

試點項目一旦上線，運營需求極低。

學期中檢視。在學期中旬，審查參與度數據以確保該工具得到使用，並識別任何採用上的問題。如果使用率低於預期，簡短的提醒或引導式課程，向學生展示具體的使用案例（要求解釋、生成練習題、尋找閱讀材料之間的聯繫），可以提高參與度。

不對對照組進行干預。對照組應接受與沒有試點項目時完全相同的教學和支持。重點是衡量 AI 導師帶來的增量影響，而不是額外關注所產生的影響。

記錄一切。對學期中任何可能影響對比的異常事件（如模組重組、講師更換、評估方式變更）進行簡要記錄。這些在解讀結果時將非常重要。

步驟 5：分析並呈現結果

在學期結束時，編譯數據並為控制預算的委員會準備一份簡報。

以留存率和成績數據開場。這些是機構決策者最關心的指標。並排呈現成績分布。突出顯示不及格率、退學率或獲得優等成績學生比例的任何差異。

納入財務背景。將任何改善與留存學生的財務理由聯繫起來。如果試點項目留住了哪怕是少數原本會退學的學生，請計算其帶來的收入影響。以每名學生每月約 10 美元的成本計算，如果該工具能留住極少數的學生，它就能實現收支平衡。

展示參與模式。委員會想知道學生是否真的使用了該工具。展示會話次數、整個學期的使用模式，以及使用情況與成績之間的關聯（如果存在的話）。

加入學生的聲音。定量數據提供了論據，而定性數據則使其更具說服力。精選學生調查中的引述，說明該工具如何幫助他們理解困難的教材，或在落後時追趕進度，這些都是強有力的支持證據。

提出擴大規模的提案。如果結果是積極的，請提出一個明確的擴大試點提案：涉及哪些學系、多少名學生、規模化後的每生平均成本是多少，以及根據試點數據預期的留存回報是多少。

提案範本

對於需要在試點批准前向委員會發送簡短提案的人，以下是核心結構：

問題。學生退學每年給機構帶來每名學生 £X / $X 的損失。目前的留存干預措施是被動的且依賴人力。導致退學的滾雪球差距始於早期微小的學術困難，而目前的支援系統無法在大規模範圍內及時捕捉到這些困難。

干預措施。一個基於課程自身教材的 AI 導師，隨時為學生提供服務，解釋概念、回答指定閱讀材料中的問題並生成練習題。每個回答都引用了來源，這使其有別於通用聊天機器人。

證據。關於個人輔導的 Bloom 研究。2025 年哈佛隨機對照試驗（RCT）表明，AI 輔導產生的學習效率是主動學習課堂的兩倍。多項研究中衡量出的適應性學習系統的效果。

試點項目。一門課程，100-200 名學生，一個學期。衡量成績、留存率、滿意度和參與度。成本：在試點期間，每名學生每月約 10 美元。

請求。批准運行該試點項目，並承諾公正評估結果。如果數據顯示有所改善，則進一步討論更廣泛的部署。

常見問題

一個試點項目的費用是多少？以 200 名學生在九個月的學年中每名學生每月約 10 美元計算，試點總成本約為 18,000 美元。對於大多數機構而言，這屬於學系的可支配支出，不需要重大的預算審批。

如果試點項目沒有顯示出效果怎麼辦？這是一個有效且有用的結果。這可能意味著該工具使用不夠（採用問題）、該課程不適合使用該工具來增加價值（範疇問題），或者對照組配對不當（方法論問題）。了解試點為什麼沒有取得成果與了解它為什麼取得成果幾乎同樣有價值，而且查明原因的成本極低。

我們可以在多個學系同時運行試點項目嗎？是的，這通常比單一學系的試點更有參考價值，因為它揭示了哪些類型的課程和哪些學生群體受益最大。跨學系協調指標和時間表，以便結果具有可比性。

內部應由誰來主導該試點項目？理想情況下，由一名授課的教職員和一名學生成功（student success）或學術支持團隊的成員共同主導。教職員提供學術公信力，並能說明該工具的適用性。學生成功團隊可以將試點與機構的留存數據及更廣泛的支持基礎設施相聯繫。

延伸閱讀：學生為何退學、學生退學的成本、AI 輔導 vs ChatGPT、布魯姆（Bloom）的雙標準差問題。相關頁面：AI 導師、致學生、AI 輔導應用案例。