crawler
含有「crawler」共 8 篇內容
全部內容
發佈日期由新至舊
── 一次真實的資料偵錯實戰紀錄
一、故事的起點：一筆「詭異的 +113%」
某天，我在檢查台股週K報酬分布時，發現一筆極度誇張的紀錄： 8476.TW（台境）在 2023 年第一週的週K漲幅竟高達 +113%。
我原以為是興櫃或除牌後復牌的特殊行情，但越看越不對勁。 台境並不是那種會一週翻倍
🇰🇷 韓國篇：用 pykrx 套件打造 KRX 股票清單與日K下載器（含續跑、驗證、黑名單）
這篇教學介紹的是韓國股市（日K）資料擷取模組，主要針對 KRX（韓國交易所）旗下的 KOSPI 與 KOSDAQ 普通股。程式設計上延續日本篇的「單一 Cell 完成」哲學，並加入 pykrx 清單擷
這一篇介紹的是美股日K資料擷取模組。程式由 AI 生成，我負責測試與整合，目標是打造一套具備「清單解析 → 預篩 → 批次下載 → 單檔補救 → 斷點續跑 → 資料驗證」的完整流程。
🧠 功能亮點與模組設計
這份美股模組延續了香港篇的設計理念，並加入多執行緒預篩與批次下載補救機制，具備以下特色
《台灣股市產業清單擷取模組》
在打造六國股市資料擷取系統的過程中，台灣市場是最值得優先處理的模組之一。除了資料來源穩定、格式清晰，台灣股市還具備一項獨特優勢：官方網站直接提供上市、上櫃、興櫃的完整產業分類清單，而且可以透過 pandas.read_html() 一鍵解析。
這篇文章將帶你一步步建
package main
import (
"fmt"
"io"
"net/http"
"os"
"strconv"
)
func Get(url string) (result string, err error) {
resp, err1 := http.Get(url)
if
由於我的研究所報告涉及律師法修正，但法務部的最新資料只到民國107年，且並無關於事務所規模之統計。基於假設會計師與律師執業上的相似性、參考會計師的統計數據，可以發現會計師事務所的營收規模，和從業人員數呈現正相關。因此，在法務部未針對律師產業進行調查統計前，應可藉由事務所人數粗略估計其規模。
在使用網頁爬蟲之前，首先確定爬下來的資料，是否符合著作權法的合理使用規範；其次，如果爬下來的資料涉及他人個資，最好是取得同意後再使用；再者，如果爬下來的資料是事業競爭對手的資料，則是能免則免。
俗話說的好：科技始終來自於人性。網頁爬蟲工具，可以幫助人類完成重複性高且枯燥、瑣碎的收集過程。我透過本次有目的的實作，也算是初嘗網頁爬蟲的甜頭，未來應該還是會努力學習Python，畢竟能自己寫程式，就代表能自動化處理更多種樣態的工作。
