爬蟲
含有「爬蟲」共 73 篇內容
全部內容
發佈日期由新至舊
付費限定
這篇文章是我在全職工作之外，用業餘時間整理、測試、撰寫的技術教學。從資料擷取邏輯、模組設計、到程式碼驗證，每一段都希望能幫助你更透明地理解市場資料與量化流程。
如果你覺得這篇內容對你有幫助，或單純喜歡這種風格，歡迎用一杯咖啡的價格（39 元）支持我繼續創作。你的打賞不只是鼓勵，更是讓我有動力持續更
🇰🇷 韓國篇：用 pykrx 套件打造 KRX 股票清單與日K下載器（含續跑、驗證、黑名單）
這篇教學介紹的是韓國股市（日K）資料擷取模組，主要針對 KRX（韓國交易所）旗下的 KOSPI 與 KOSDAQ 普通股。程式設計上延續日本篇的「單一 Cell 完成」哲學，並加入 pykrx 清單擷
這一篇介紹的是日本股市（日K）資料擷取模組，主要針對東京證券交易所（TSE）掛牌的普通股。程式由 AI 生成，我負責測試與整合，設計上延續中國篇的「單一 Cell 完成」哲學，並加入多輪預篩、批次下載、單檔補救與續跑機制。
🧠 程式功能亮點與模組設計
這份模組具備以下特色：
✅ 清單來源優先
📈 香港股市數據自動下載器 - 完整功能介紹
這是一個專為香港股市 (HKEX) 設計的自動化數據下載工具,能夠從 Yahoo Finance 批量下載股票日K線數據,並具備智能續跑和數據驗證功能。
🎯 核心特色
1️⃣ 官方數據源 + 智能篩選
📋 數據來源:從香港交易所 (HKEX
在這一篇，我要介紹的是中國股市（日K）資料擷取模組，主要針對上海證券交易所（SSE）與深圳證券交易所（SZSE）上市的 A 股公司。這份程式碼由 AI 生成，設計上延續台灣、香港、美國篇的核心邏輯，但中國篇有一個非常實用的特色：
✅ 只需一個 Cell，就能完成清單擷取、預篩、下載、驗證與狀態管理
這一篇介紹的是美股日K資料擷取模組。程式由 AI 生成，我負責測試與整合，目標是打造一套具備「清單解析 → 預篩 → 批次下載 → 單檔補救 → 斷點續跑 → 資料驗證」的完整流程。
🧠 功能亮點與模組設計
這份美股模組延續了香港篇的設計理念，並加入多執行緒預篩與批次下載補救機制，具備以下特色
《台灣股市產業清單擷取模組》
在打造六國股市資料擷取系統的過程中，台灣市場是最值得優先處理的模組之一。除了資料來源穩定、格式清晰，台灣股市還具備一項獨特優勢：官方網站直接提供上市、上櫃、興櫃的完整產業分類清單，而且可以透過 pandas.read_html() 一鍵解析。
這篇文章將帶你一步步建
🕷️ 一句話定義
爬蟲就是一種「自動幫你上網抓資料」的程式。
💡 比喻理解
想像你是個人類「資料收集員」，每天要做的事情是：
打開瀏覽器
進到一個網站
把你想要的文字、圖片或價格抄下來
存進 Excel
這樣做手動太慢了。
於是你寫一個「爬蟲程式」，
Google 悄悄移除能顯示 100 筆搜尋結果的 &num=100 參數，對網路世界產生劇烈衝擊。
對 SEO 業者，這導致排名追蹤成本暴增近十倍，對 AI 發展，這形同 Google 築起一道「數據壁壘」。過去 AI 競爭者能低成本獲取大量數據來摘要資訊；現在成本與難度大增。
Firecrawl、Apify、RapidAPI、BrowserAct、Scrapy、Playwright 工具的主要功能特色、收費模式、適用情境，以及在 n8n 中的操作方式