資料清洗
含有「資料清洗」共 14 篇內容
全部內容
發佈日期由新至舊
本文重新審視人文素養在AI浪潮下的關鍵地位，看似枯燥的數據清洗實則與傳統校勘學的語境推敲不謀而合，隨著大型語言模型普及，自然語言就是新世代的程式碼，技術並非人文的對立面，而是現代文人的新筆墨，期勉文科生克服技術焦慮，以語意敏感度指揮算力，轉型為AI總編輯，於數據與文本交會處，執中致和，開創職涯新局。
台灣銀行的 AML／EDD 人員，不只要做反洗錢，還常被迫背上信貸、信用卡、補件、資料清洗等「不屬於 AML」的工作。原因不是銀行笨，而是制度性甩鍋：前端業務、省事單位與主管機關的規範不明，都把任何模糊、難查、客戶亂填的資料丟給 AML 處理，導致 AML 本應做的風險分析變成大量行政苦工。
我在跑台股 yearK 統計時，發現一筆堪稱「驚悚」的異常：
某檔股票的收盤價出現六位數（30 萬元）以上！
這篇不只要解剖這筆異常，更要講清楚——
其實，這不是孤例。 任何減資、拆股、反向分割的股票，都可能出現同樣錯位。
我們會一起看真實案例、驗證證據， 並展示一整套能
簡單來說，我們用自己寫的程式把日K資料轉成月K，然後篩出2020-2025年間所有月漲幅超過100%的股票清單。
為什麼要做這個檢查
因為轉資料的程式很複雜：
要處理除權息
要過濾異常值
要偵測停牌復牌
要處理時區問題
怕哪個環節出錯，把沒漲100%的股票也算進來，或者該算的沒算到
由於方格子單篇文章有字數限制，因此本次完整的日K → 週/月/年K 清洗與報酬計算程式碼，將分成兩篇文章提供：
def detect_pingpong_patterns(day_df: pd.DataFrame, price_col='收盤', threshold=0.4) -> pd.D
本模組負責將各市場的日K資料轉換為週K（W-FRI）、月K、年K格式，並進行一系列清洗與報酬計算。整體流程已涵蓋：
極端報酬過濾（跳空、燭身、最高/最低）
ghost 段偵測與復牌標記
停牌後復牌的週期性跳空處理
薄樣本與極端報酬的 QA 標記
pingpong 模式偵測（疑似除權錯位
# [已修改] 函式名稱: audit_weekly_high_consistency
def audit_weekly_high_consistency(market_key: str, week_path: str):
"""
[🌟 修正路徑] QA 稽核路徑：改為讀
# --------------------------------------------------------------------------------
# Colab Cell 4: QA 稽核函式 (Part 4)
# ----------------------------
📋 程式概述
這是一個企業級股票數據清洗與時間週期轉換系統，專門處理日 K 線數據並轉換為週/月/年 K 線，同時進行多層次的數據品質控管與異常偵測。程式採用玩股網口徑標準，確保數據品質符合量化交易需求。
🎯 核心功能架構
1. 數據來源與處理範圍
時間範圍：2000-01-01