繼上次使用 Claude Code 建立 VScode 擴充功能差異應用程式之後,我決定用完全是個人興趣的應用程式來創作一個【貓日記】。
實現本身使用了 Claude Code,但在這個過程中,我嘗試了最近在新聞上引起話題的 Groq (格洛克),所以我想向各位介紹它。
使用 Groq API 的背景
應用程式概述
只是上傳貓的照片並建立最愛資料夾太無趣了,所以我想,如果 AI 能看著上傳的照片,從貓的角度生成評論,那就太有趣了,於是我立刻實現了這個想法。
預先輸入貓的個人資料、性格、喜歡的東西等,然後透過提示詞指示 AI 必須從「貓」的視角出發,用第一人稱表達自己的感受和行動,並在當下果斷地陳述。
上傳照片後,會產生約 100-160 字、2-3 句左右的評論,角度是以那隻貓的視角。
免費 LLM API Groq
評論生成必然需要 AI API。
有人推薦了一個名為「Groq」的 API 服務,它支援影像且有免費額度,使用的是「Llama 4」模型系列的 Scout 版本。
官方網站:Groq
Groq 本身並未開發 ChatGPT 或 Gemini 那樣的「AI 模型」。而是採用了 Meta 公開的「Llama」等其他公司公開的開源 AI 模型,透過自家高速晶片執行並提供服務。
基本使用額度完全免費,無需註冊信用卡,實際上可以註冊並發行 API 金鑰,直接將其整合到應用程式中執行。
(目前免費,但未來使用條款可能會有所變更,敬請留意。)
Groq 公司本身創立於 2016 年,但因為「以專用晶片實現超高速 AI 推論」的商業模式受到關注,是從 2023~2024 年左右才成為相對較新的趨勢。
試用 Groq 了!
根據公開資訊,每秒可處理超過 100 個權重符號,能夠以相當於 ChatGPT 約 20 倍的速度生成回答。
我向 Groq chat 提問「請用 1000 字解釋貓這種生物」。
顯示影片文字記錄(日語)
(Groq chatに「猫という生き物について1000字で解説して」と入力)
(質問を受け取ってから即時回答が生成される)
從接收問題到完成回答生成所花費的時間只需 1.91 秒!
快到爆炸!!
不僅速度超快,相比傳統 GPU,還成功大幅降低了耗電量。
實際測試後,843個token(日文相當於數百字)的回應,在短短1.91秒內生成(每秒442個token)。
利用超高速API
適合的開發情境
- 需要快速回應的應用 — Groq最大的優勢(專用晶片LPU)就是生成速度,所以很適合聊天機器人或需要即時性的UI(輸入時立即回應、語音助手那樣講究節奏感的應用)。
- 處理大量簡易任務 — 摘要、分類、簡單文章生成等,希望以較低的單位成本大量處理的情況。
- 原型製作、個人開發、內部工具 — 像這次的應用一樣,先免費測試想法能否實現的時候。
不太適合的情況
- 需要精妙日文表現和複雜指示對應的正式服務 — 初次提示中第一人稱的指示沒有被很好地反映,細微指示的再現性還是Claude / ChatGPT比較穩定。不過日文對應能力確實有改善不少。
- 需要穩定運營的商用服務 — 免費方案有速率限制,且模型廢止、變更也相當頻繁(實際上途中就廢止了
llama-3.2-11b-vision-preview),所以不太適合用於本番的主力功能。
總結
Groq是擁有超高速生成這個明確優勢的服務。
因此,由於「免費可用的 AI API」,能夠在當天想到就立即整合到應用程式中的便利性,對個人開發和驗證階段的專案而言是一大推力;同時也消除了「不知道是否值得付費…」的猶豫。
只要結合 Groq 的優勢與 Claude Code「將實裝交託」的強大能力,
『將想到的點子當場原型化,一口氣完成反應靈敏的使用體驗』
這樣兼具速度感的應用程式開發,即使是個人開發者也完全能夠實現!!
我主要從事標記語言、JavaScript、React 和 Next.js 的前端開發。看到自己參與的網站順利上線時最開心!興趣是彈吉他。喜歡貓咪和烤地瓜🐱🍠
Hiracchi
前端工程師 / 2022年入職