我用 Claude Code 一天做出自己的 AI 助理：LINE、Gmail、會議錄音全收進來，自動抓出待辦和期限

當顧問之後，我發現工作從來不會只從一個地方進來。

有的客戶習慣傳 LINE，有的寄 Email；報價單、發票、合約夾在附件裡；重要的事情又常常是在會議上講的。每一個地方都可能藏著一個「下週五前要回覆」或「這筆款項月底到期」。

東西散在這麼多地方，就很容易漏掉。開完會要整理會議記錄，也是一件很花時間的事😫

而且我還有另一個想法：我平常已經在用 AI Agent 幫我做事了，如果它讀得到我所有的工作資料，我就可以直接問它「這個客戶最近怎麼樣」「這週有哪些事情要處理」。

所以 10 月 3 號下午，我開了一個空的 repo，叫 Claude Code 幫我做一個 AI 助理。當天晚上 11 點多，它就在正式環境上線了。

這篇會分享：

• 這個 AI 助理在做什麼
• 一天的時間軸：從空的 repo 到正式上線
• 寫程式的是 Claude Code，那我在做什麼？
• 語音轉文字為什麼選 Cloudflare Whisper（每天 3.5 小時免費）
• 上線快三週，它幫我收了什麼、花了多少錢
• 幾個值得偷學的設計，還有上線後才發現的問題

📌 這個系統收的是我工作上和客戶的資料，所以文章裡不會出現任何客戶名稱或內容，數字都是只取總數的統計。文章裡的截圖都是另外架了一套假資料拍的，裡面的公司、人名、金額都是虛構的。

這個 AI 助理在做什麼？

一句話：把 LINE、Gmail、會議錄音全部收進一個資料庫，自動轉成文字、抽出待辦、期限和金額，再讓我的 AI Agent 直接讀。

另外有一個管理介面，讓我打開就知道「最近進來什麼、有什麼要注意」，也可以用手機錄完音直接上傳。

不過管理介面不是重點。真正在用這些資料的，是我的 AI Agent。 它有資料庫的讀取權限，我問它問題，它自己去查。這個概念我在 AI Agent 的記憶與檔案系統 那篇有講過：agent 能做多少事，很大程度取決於它讀得到多少資料。

一天的時間軸：從空的 repo 到正式上線

看 git 紀錄和 Claude Code 的對話紀錄最清楚。這是 10 月 3 號那天（台灣時間）：

從開工到上線大約 10 個小時，當天 62 個 commit。程式大約 16,500 行 TypeScript，另外還有 32 個測試檔、約 4,300 行測試。

用的技術很普通：TypeScript、PostgreSQL、Docker，跑在一台 2 vCPU／4GB 的 VM 上。連 queue 都直接用 PostgreSQL 做，沒有另外裝 Redis，一台機器、一個資料庫就搞定。

上一次叫 Claude Code 做 淨資產儀表板 是一個早上、3,800 行；這次是一天、規模大了四倍多，還要接 LINE、Google、Cloudflare 三家的 API。老實說，這個速度我自己也有點嚇到😱

寫程式的是 Claude Code，那我在做什麼？

我在做決定。 那天我大約傳了 70 幾則訊息給 Claude Code，很多只是「繼續」「push 吧」，但關鍵的那幾則，都是在決定「要做什麼、不做什麼」。

決定 1：MVP 只要「收得完整」

開工 40 分鐘後，我停下來先定義 MVP。我跟它說的原話是：

我希望它至少可以把外部訊息跟資料收集完整，先不需要做什麼處理跟分析沒關係，只要我的 agent 可以讀取資料庫，就可以根據這些資料做回答跟分析。

接著又補了一句：「Agent 讀取層也不用做進系統，我先用外部有資料庫權限的 agent 就好。」

這兩句話砍掉了一大塊工作。系統只負責收和整理，聰明的事交給 agent。

決定 2：先收、再加工

資料收完之後，下一步才是「理解」：附件轉全文、需要結構化的存成結構化資料、再用 LLM 寫摘要。我給的原則是：

agent 看 parse 出來的內容、結構化資料跟摘要就能完成任務的話，就這樣；不能的話，agent 再去抓原始檔案自己處理。

信件串、客戶近況這種「上層摘要」我也決定先不做，交給 agent 臨時去整理。

決定 3：兩個 session 一起跑

下午 3 點，我開了第二個 Claude Code session 專門處理部署：開 GitHub repo、規劃 CI/CD、準備 VM。兩邊同時改同一個 repo 會打架，所以我請它開一個 git worktree，各做各的，做完再合回去。

這有點像同時帶兩個工程師，一個寫功能、一個弄部署🤏

決定 4：管理介面「畫面有點空」

一開始我說管理介面先不做，晚上又改變主意。第一版做出來，我的回饋是：

我目前會覺得畫面有點空？依照你的專業去設計。

它就重新設計了一版：列表直接顯示 AI 抽出的重點，不用點進去才看得到。

你不需要會設計，但你要說得出「哪裡怪怪的」。

語音轉文字：為什麼選 Cloudflare Whisper？

因為它幾乎不用錢：Cloudflare 的免費方案，每天大約可以轉 3.5 小時的錄音。

會議錄音轉逐字稿是我最想要的功能之一。那天下午我請 Claude Code 上網研究有哪些方便又便宜的方案，最後選了 Cloudflare Workers AI 上的 Whisper（whisper-large-v3-turbo）。算給你看：

• Cloudflare 免費方案每天有 10,000 neurons（Cloudflare 的計費單位）的免費額度
• Whisper 轉 1 分鐘的錄音大約用掉 46.63 neurons
• 換算下來，每天大約 214 分鐘（3.5 小時）的錄音完全免費
• 超過免費額度的話，付費方案每分鐘 $0.0005，一小時的會議大約 $0.03 美元

（數字來自 Cloudflare Workers AI 官方價格頁，額度每天台灣時間早上 8 點重置。）

用起來是這樣：開完會，用手機把錄音上傳，填個會議名稱就好。

我目前正式跑過一場 40.6 分鐘的會議，實際的數字是這樣：

有趣的是，最便宜的反而是語音轉文字，真正花錢的是後面讓 Claude 潤飾。 一場 40 分鐘的會議，從上傳到摘要出來大約 5 分半，總共不到 0.3 美元。

轉完之後，AI 摘要的每一條重點都會標時間碼，點下去就能跳到逐字稿和錄音的那一段：

Whisper 也有缺點：不會分辨是誰在講話、台語比較弱，中文還常常輸出簡體字。這些要怎麼處理、怎麼呼叫 Cloudflare 的 API、跟其他語音轉文字方案的比較，我下一篇會專門寫一篇 Whisper 中文的實作。

上線快三週，這個 AI 助理幫我收了什麼？

數字是 10 月 22 號從正式環境統計的：

• 信件 1,021 封（接了 3 個 Gmail 信箱），LINE 目前只有 20 幾則，主力還是信箱
• 附件 115 個：扣掉雜訊信裡的，有 83 個轉成了文字（38 張圖片、35 份 PDF 等等）
• 198 份文件和訊息被分析，抽出 67 項待辦、171 個日期、256 筆金額
• 背景工作跑了 29,178 次，只失敗 1 次

最讓我意外的是信件分類：

1,021 封信裡，有 92% 是促銷、通知和電子報。 交易和個人的信加起來，只有 82 封。這些雜訊如果全部丟給 Claude 分析，錢就白花了，所以系統會先分類，雜訊只收集、不加工。

花費的部分：

• AI 費用：10 月到目前 5.20 美元，大部分花在 Claude 分析文件（約 4.4 美元）；我設了每月 20 美元的上限，超過就自動暫停 AI 處理
• 主機：Linode 2 vCPU／4GB，每月 24 美元
• Cloudflare：語音轉文字、DNS 都在免費額度內

一個月大約 30 美元，就有一個幫我顧著所有訊息的助理。

有哪些設計值得偷學？

就算你不打算自己做，下面這幾個設計，拿去用在任何 AI 自動化都很受用：

1. 系統只負責「收」，分析交給 agent。
系統不做任何問答介面，只寫了一份給 agent 看的說明文件：資料放在哪、該先讀什麼。讀取順序是摘要 → 結構化資料 → 全文 → 原始檔案，上層能回答就不往下讀，省時間也省 token。這其實就是 MCP / Tools / Skills 那篇講的漸進式揭露。

2. 先分類，再花錢。
就像上面那 92% 的雜訊，先用規則和便宜的分類模型篩掉（1,600 多次分類只花了 0.13 美元），只把重要的東西送給 Claude。

3. 每個 AI 結果都能追回原文。
AI 抽出來的每一個金額、期限，都標了出處：第幾頁、錄音第幾分幾秒。AI 一定會出錯，能一鍵核對原文，才敢信它。

4. 每一次 AI 呼叫都記帳，還有預算上限。
每次呼叫 Claude 或 Whisper，都記下用了多少 token、花了多少錢。月底不會被帳單嚇到，也能算出「一場會議到底花多少」。

5. LINE 的訊息一定要先存下來。
LINE 的 Messaging API 只會用 webhook 把新訊息推給你，沒有「讀取歷史訊息」的功能，服務掛掉的那段時間，訊息就永遠拿不回來了。所以收到 LINE 的通知時，系統只做三件事：驗證、存進資料庫、排進工作佇列，然後馬上回應，AI 處理之後再慢慢做。

6. 換模型之前，先跑 eval。
一開始分析預設用 Claude Opus，第二天為了省錢先換成 Sonnet。後來我拿 30 筆真實資料做 eval，比較兩者：Opus 抽待辦和期限沒有明顯比較好，摘要只是略好一點，但花費是 2.2 倍、每筆還慢 5 秒，所以就維持 Sonnet。貴的模型不一定比較適合你的任務，量過才知道。

上線後兩週，才發現的問題

一天做出來的是「能用」，要變成「好用」還是得靠真的用。上線後兩週又多了 100 多個 commit，幾個印象比較深的：

• 信件簽名檔的小圖示也被拿去 OCR。 很多人的簽名檔有社群網站的小 icon，這些小圖也被當成附件拿去處理，後來改成太小的圖片直接跳過。
• 繳費通知被分類成雜訊。 一開始為了省錢，分類只看信件內文的前 100 個字，結果寫在後段的繳費要求就看不到了。改成看全文之後，再把舊信全部重新分類一次。AI 判斷錯，常常不是它不夠聰明，是給它的資料不夠。
• 電子報裡也抽出了待辦。 被過濾掉的電子報和附件，一樣抽出了待辦和期限，混進我的清單裡😂 後來改成被過濾的就不列出來。
• 另外加了 LINE 對話的期限和待辦、在收件匣直接回 LINE、手機版的底部選單和直接上傳錄音、聯絡人歸到客戶底下等等。

這也是我很推薦的做法：先用一天做出一個能跑的版本，接上真實資料，再讓問題自己浮出來。 很多問題，沒接上真實資料之前是想不到的。

我也想要一個，怎麼做？

這個專案收的是我和客戶的資料，所以沒有開源。但做法是可以照抄的，重點是開工前先想清楚這三件事：

1. 你的資料從哪裡進來？ LINE、Email、Slack、會議錄音……先列出來，再挑一兩個最痛的開始。
2. MVP 是什麼？ 我的答案是「收得完整、agent 讀得到」就好，分析之後再加。範圍越小，一天做完的機會越大。
3. 哪些事交給系統，哪些交給 agent？ 固定、量大的（轉文字、分類）交給系統；臨時、需要判斷的（這個客戶最近怎樣）交給 agent。

然後把這些講給 Claude Code 聽，剩下的就是一路做決定。如果你還沒用過 Claude Code，可以先從 Vibe Coding 做網頁完整實戰 開始，體驗一下「出一張嘴」的開發方式。

常見問題

不會寫程式，可以做出這種 AI 助理嗎？

小一點的可以。這個專案牽涉到 LINE、Google、Cloudflare 的帳號設定、主機部署，這些步驟 Claude Code 都會一步一步帶你做，但遇到問題時，懂一點基本概念會順很多。建議先從單一來源開始，例如只收 Gmail。

把客戶的訊息交給 AI，安全嗎？

資料庫在我自己的主機上，檔案存在 Cloudflare R2，不經過任何第三方的 AI 助理服務。只有需要分析的內容才會送到 Claude API、錄音送到 Cloudflare 轉文字；依 Anthropic 的商業條款，API 的資料不會被拿去訓練模型。LINE、Google 的登入憑證在資料庫裡是加密的，就算 agent 有資料庫權限，也讀不到明文的密碼和 token。

LINE 個人帳號的聊天可以收嗎？

不行。LINE 只開放官方帳號的 Messaging API：客戶傳給官方帳號的訊息，或是有把官方帳號加進去的群組，才收得到。個人帳號之間的聊天，沒有官方的方式可以收集。

一個月要花多少錢？

以我上線快三週的用量：主機每月 24 美元、Claude API 大約 5 美元、Cloudflare 的語音轉文字在免費額度內，加起來一個月大約 30 美元。費用主要看你有多少文件要分析。

為什麼不用現成的 AI 會議記錄工具？

如果只需要會議記錄，現成的工具就很夠用了。我要的是所有來源都在同一個資料庫裡：會議提到的報價，可以跟信件裡的報價單、LINE 裡的討論對在一起，agent 才能看到完整的來龍去脈。

結語

10 個小時，從一個空的 repo 到一個正式上線、幫我顧著 LINE、Gmail 和會議錄音的 AI 助理。

回頭看那天，我做的事情其實不是寫程式，而是一直在回答「這個要不要做？」「先做哪個？」「這樣夠了嗎？」。AI Agent 把「做出來」的成本降到很低之後，真正的功夫，變成了知道自己要什麼。

如果你也有那種「一直想做、但覺得要寫很多程式」的工具，也許可以挑一個下午試試看～希望這篇對你有一丁點兒的幫助！

延伸閱讀：

• 自架 AI Agent 實戰（一）：在自己電腦養一隻會自己開工的 AI 員工
• AI Agent 的記憶與檔案系統：memory、檔案記錄、漸進式揭露
• MCP / Tools / Skills：AI Agent 的三種能力擴充
• 用 Telegram / LINE 遙控你的 AI Agent、收任務通知
• 我叫 AI Agent 一個早上做出淨資產儀表板

喜歡這篇文章嗎？

📧 訂閱 Newsletter — 新文章直接寄到你信箱
🎬 追蹤我的 YouTube — 看 AI / 工具實作影片
💬 加我的 LINE — 有問題隨時問我
🧵 追蹤 Threads — 平常的工程隨筆

掰掰～👋