Mark Ku's Blog

開場白

(開場音樂)

Mark: Hey 大家好,歡迎收聽 Mark 的 Tech Insights!我是 Mark。今天 AI 界的新聞真的是冰火五重天啊!一方面,我們看到 AI 模型正朝著極致輕量化、高效率的方向狂奔;但另一方面,背後的算力競賽和資金投入卻是前所未有的巨大。今天我們就來聊聊這些矛盾又迷人的趨勢,看看 AI 如何一邊變「輕」,一邊又變「重」。

本日重點新聞

1. PrismML 推出 1-bit LLM「Bonsai」:速度提升 8 倍,能耗降低 80%

  • 來源: HPCwire / AIwire (原文連結)
  • 摘要: 一家剛從潛伏期現身的新創 PrismML,發表了一系列名為 Bonsai 的 1-bit 大型語言模型。他們透過極致的權重壓縮技術,大幅降低了模型的記憶體佔用、延遲和能耗,號稱能在現有硬體上實現 8 倍速處理,並減少 75-80% 的能源消耗。
  • 台灣觀點: 這對台灣的 IC 設計和終端裝置製造商來說是個大利多。如果 1-bit 模型成為趨勢,專為這種架構優化的晶片將會是 Edge AI 市場的致勝關鍵。
  • 討論要點:
    • 1-bit 壓縮技術是否會犧牲模型的準確性或「推理能力」?
    • 這對 NVIDIA 這類以高精度運算為主的 GPU 巨頭會帶來什麼衝擊?
    • 哪些終端應用(如手機、汽車、物聯網裝置)會最先因此爆發?
  • 講稿建議:

    Mark: 欸,今天第一則新聞就超酷的!一家叫 PrismML 的公司丟出一個震撼彈,叫做 Bonsai 的 1-bit 模型。所謂 1-bit,你可以想像就是把模型參數從複雜的小數點數字,簡化成只有 0 或 1 的開關,極度壓縮!這讓模型跑起來快 8 倍,耗電量只有原來的四分之一。這代表什麼?以後你手機上的 AI 助理可能不用再連到雲端,就能做到即時、複雜的對話,而且還不怎麼耗電。對我們台灣的硬體產業來說,這條路一定要密切關注。誰能先做出最適合跑 1-bit 模型的晶片,誰就能在下一波 Edge AI 浪潮中佔到好位置。不過,我最好奇的是,這麼極致的壓縮,AI 會不會變笨?這絕對是接下來大家會檢驗的重點。

2. 博通 (Broadcom) 與 Google、Anthropic 擴大晶片協議,涵蓋 3.5 GW 算力

  • 來源: CNBC (原文連結)
  • 摘要: Broadcom 簽下了更大的訂單,要為 Google 和 Anthropic 生產下一代的客製化 AI 晶片 (ASIC)。其中,光是給 Anthropic 的部分,從 2027 年開始就要動用到約 3.5 Gigawatts 的運算能力。這顯示頂尖 AI 公司為了確保算力,已經開始自己下場設計專用晶片,建立獨立的供應鏈。
  • 台灣觀點: 這再次印證了「客製化晶片」的趨勢銳不可擋。雖然最終可能還是由台積電代工,但對台灣的 IC 設計公司是個警訊也是轉機,必須更積極切入高價值、客製化的 AI 晶片設計服務。
  • 討論要點:
    • 3.5 Gigawatts 是什麼概念?為什麼頂尖 AI 公司不直接買 NVIDIA 的 GPU 就好?
    • 這是否意味著 AI 晶片市場將從 NVIDIA 一家獨大,走向「GPU + 各家 ASIC」的多元格局?
    • Google (TPU) 和 Anthropic 都在自研晶片,這對 OpenAI 有什麼壓力?
  • 講稿建議:

    Mark: 剛聊完模型變輕,現在來看算力變「重」得多誇張。Broadcom 要幫 Google 和 Anthropic 做客製化 AI 晶片,光是給 Anthropic 的算力就要 3.5 Gigawatts!你知道那是什麼概念嗎?那差不多是 2-3 座核能發電機組的功率,只為了給一家 AI 公司訓練模型!這背後的戰略意義是,他們不想再被 NVIDIA 綁架了。通用 GPU 雖然好用,但功耗和成本太高。他們要的是為自己模型量身打造的專用晶片,就像是做了一台專門用來跑 Claude 的超級跑車。這對台灣的啟示是,未來大客戶要的不只是代工,更是「設計夥伴」。台積電穩坐代工王座,但前面的設計環節,才是價值鏈往上爬的關鍵。

3. 2026 年 Q1 創投金額破紀錄:3000 億美元湧入新創,80% 投向 AI

  • 來源: Crunchbase News (原文連結)
  • 摘要: 全球創投市場在 2026 年第一季達到了瘋狂的 3000 億美元,其中高達 80%、也就是 2420 億美元都流向了 AI 公司。史上最大的五筆投資案中,有四筆都發生在今年第一季,由 OpenAI、Anthropic、xAI 和 Waymo 領銜。
  • 台灣觀點: 雖然絕大多數資金集中在美國的頭部公司,但這股熱錢會產生巨大的外溢效應。台灣 AI 新創的估值和募資機會都會水漲船高,同時也加劇了對頂尖 AI 人才的爭奪戰。
  • 討論要點:
    • 這波 AI 投資熱潮是健康的成長,還是一個巨大的泡沫?
    • 錢都集中在少數幾家巨頭,對整個新創生態是好是壞?
    • 除了模型公司,AI 應用層或基礎設施層還有哪些被低估的投資機會?
  • 講稿建議:

    Mark: 接下來這個數字,大家坐穩了。今年才過三個月,就有 2420 億美金,也就是超過 7 兆台幣的資金,砸給了 AI 公司。這是什麼概念?這比台灣一整年的政府總預算還多!OpenAI 一家就拿了 1220 億美金,簡直是富可敵國。這就是我們說的「算力軍備賽」背後的「金錢軍備賽」。老實說,這絕對有泡沫的成分在,但它也像一劑超強的催化劑,正在用錢強行把未來十年才會發生的事,壓縮在兩三年內完成。對台灣的創業者和工程師來說,這意味著你的身價正在飛漲,但競爭也從來沒有這麼激烈過。

4. NVIDIA 發表新款實體 AI 模型,機器人應用遍地開花

  • 來源: NVIDIA Newsroom (原文連結1, 原文連結2)
  • 摘要: NVIDIA 正在將 AI 從數位世界推向物理世界。他們發布了專為機器人設計的「實體 AI 模型 (Physical AI Models)」,並宣布將開源其「實體 AI 數據工廠」藍圖,幫助開發者大規模生成用於訓練機器人的模擬數據和強化學習環境。
  • 台灣觀點: 台灣是工業電腦、自動化與精密製造的重鎮。NVIDIA 這套從模擬、訓練到部署的完整機器人開發平台,對鴻海、台達電、廣達、研華等企業來說,是加速智慧工廠和自主機器人佈局的超級武器。
  • 討論要點:
    • 「實體 AI 模型」和我們熟悉的 LLM 有什麼根本不同?
    • 開源「數據工廠」藍圖,對加速整個機器人產業的發展有多重要?
    • 當機器人開始能理解物理世界並自主學習,離通用人形機器人還有多遠?
  • 講稿建議:

    Mark: 聊了這麼多雲端的模型和數據,來看看 AI 怎麼走進現實世界。NVIDIA 這次不只賣晶片,他們直接給你一套「打造機器人大腦」的完整工具箱。他們推出了所謂的「實體 AI」,就是讓 AI 能理解物理定律、能跟環境互動。更佛心的是,他們還要把那個用來生成訓練數據的「數據工廠」開源出來。這就像是,NVIDIA 不只賣你麵粉和烤箱,還直接把米其林師傅的食譜公諸於世。這對台灣的製造業來說,簡直是天大的好消息。過去我們強在硬體,現在有了這套工具,等於是幫我們把機器人的「靈魂」補上了。未來工廠裡可能不再只是機械手臂,而是能自主判斷、學習的 AI 工人。

5. 猶他州開美國先例:授權 AI 系統可更新藥物處方

  • 來源: Crescendo AI / Latest AI News (原文連結)
  • 摘要: 美國猶他州通過法案,成為全美第一個正式賦予 AI 系統法律權力,可以為病患續開藥物處方籤的州。此舉旨在緩解醫生人力不足的壓力,但同時也引發了關於醫療責任、病患安全和監管的激烈辯論。
  • 台灣觀點: 台灣的健保體系和醫療人員也長期處於高壓之下。猶他州的案例極具參考價值,但要導入台灣,法規的修訂、民眾的信任度,以及最重要的「出事了誰負責」,將會是比技術本身更難解的課題。
  • 討論要點:
    • 如果 AI 開錯藥,法律責任該歸屬於醫生、醫院、還是 AI 開發商?
    • 哪些類型的處方(例如:慢性病用藥 vs. 管制藥品)適合由 AI 處理?
    • 你個人是否願意讓 AI 來決定你的用藥?信任的邊界在哪裡?
  • 講稿建議:

    Mark: 最後這則新聞,我覺得值得我們所有人好好想一想。美國猶他州居然立法,允許 AI 幫你 renew 處方藥。這聽起來很未來,也很嚇人。好處很明顯,可以把醫生從大量、重複性的行政工作中解放出來,去處理更複雜的病症。但問題也很大:萬一 AI 判斷錯誤,造成了醫療事故,這個責任誰來扛?是監督的醫生?還是開發 AI 的公司?這在台灣肯定會引發大哉問,我們的健保署、衛福部絕對在密切關注。這件事標誌著 AI 已經從一個「輔助工具」,開始變成一個擁有「決策權力」的實體,這條紅線一旦跨過去,整個社會的運作方式都可能被改變。

結尾段落

(結尾音樂)

Mark: 好了,今天我們從極輕的 1-bit 模型,聊到極重的算力投資,再到走入現實工廠和藥局的實體 AI。可以感覺到,AI 的發展正以一種我們難以想像的速度,同時在各個維度上極限擴張。這是一個充滿機會,也充滿挑戰的時代。感謝你的收聽,我是 Mark,我們下次的 Tech Insights 再見!

作者

Mark Ku

擁有 10+ 年經驗的資深軟體工程師,現為 AI 應用 Builder,專注於大型平台架構與簡化複雜系統設計,從電商系統到訂閱與收費平台,結合 AI Agent、AI 整合與自動化開發,打造高效率且可持續演進的產品技術基礎。閱讀更多

覺得這篇有幫助?

作者做的免費工具、每日 Podcast 與電子報,都在這裡。

Mark Ku · 本文採用 CC BY 4.0 授權,轉載請註明作者並附上原文連結。

留言

訂閱電子報

訂閱後即時收到新文章通知,不錯過任何技術分享。

提交即表示同意接收電子報,隨時可

熱門文章

View all
Mark Ku
··604

Oracle Cloud 永久免費方案 Linux 主機及固定 IP :0 元打造雲端解決方案

Oracle Cloud 永久免費方案 Linux 主機及固定 IP :0 元打造雲端解決方案
Mark Ku
··450

告別 Postman 收費陷阱!開源 Git 原生 API 測試神器 Bruno 實戰指南

告別 Postman 收費陷阱!開源 Git 原生 API 測試神器 Bruno 實戰指南
Mark Ku
··319

一款免費開源類似於 Notion 類知識庫系統 — Outline Wiki 佈署與備份全攻略

一款免費開源類似於 Notion 類知識庫系統 — Outline Wiki 佈署與備份全攻略
Mark Ku
··239

打造高效 API 管理平台:從 0 開始部署 Kong Gateway - Part 1

打造高效 API 管理平台:從 0 開始部署 Kong Gateway - Part 1
Mark Ku
··224

在 Ubuntu 上設置 Samba 來共享資料夾,讓 Windows 11 用戶可以存取

在 Ubuntu 上設置 Samba 來共享資料夾,讓 Windows 11 用戶可以存取
Mark Ku
··214

訓練自己的 AI 語音:硬體門檻、開源模型比較與 LoRA 微調

訓練自己的 AI 語音:硬體門檻、開源模型比較與 LoRA 微調
🎙️ AI 日報 Podcast — 模型輕量化、算力軍備賽、實體 AI - Mark Ku's Blog