如何撈取台美股所有的股號的資料並儲存於SQLite? Part 1

更新於 發佈於 閱讀時間約 4 分鐘
  • 文內如有投資理財相關經驗、知識、資訊等內容,皆為創作者個人分享行為。
  • 有價證券、指數與衍生性商品之數據資料,僅供輔助說明之用,不代表創作者投資決策之推介及建議。
  • 閱讀同時,請審慎思考自身條件及自我決策,並應有為決策負責之事前認知。
  • 方格子希望您能從這些分享內容汲取投資養份,養成獨立思考的能力、判斷、行動,成就最適合您的投資理財模式。

在此系列文章,我們將討論如何在Google Colab的環境下,撈取所有台美股的股票代碼,並獲取相關細節,最後將獲取的資訊存取於SQLite資料庫中。

raw-image

在此篇文章中,我們先來探討如何獲取所有的股票代碼。



步驟1

  • stocksymbol註冊帳號並獲取API金鑰。
  • 於Colab筆記本中安裝stocksymbol。
!pip install stocksymbol

步驟2

  • 在存取於Google Drive中的SQLite資料庫Stock.db中建立資料表Tickers。
import sqlite3

con = sqlite3.connect('/content/drive/MyDrive/data/Stock.db')

cursor = con.cursor()

query = """
CREATE TABLE "Tickers"
(
[symbol] varchar(50) NOT NULL,
[longName] varchar(255) ,
[exchange] varchar(255) ,
[market] varchar(255),
PRIMARY KEY(symbol)
)
"""

cursor.execute(query)

con.commit()

cursor.close()

步驟3

  • 開始對於所有股票代碼進行撈取並轉換成DataFrame。
from stocksymbol import StockSymbol

api_key = 'Your API Key'
ss = StockSymbol(api_key)

# get symbol list based on market
symbol_list_us = ss.get_symbol_list(market="US")
symbol_list_tw = ss.get_symbol_list(market="TW")

import pandas as pd

df_us = pd.DataFrame(symbol_list_us)
df_tw = pd.DataFrame(symbol_list_tw)

步驟4

  • 將獲取的訊息存入Stock.db中的資料表Tickers。
con = sqlite3.connect('/content/drive/MyDrive/data/Stock.db')

for row in df_us.to_records(index=False):
con.execute(" INSERT INTO Tickers (symbol, longName, exchange, market) VALUES (?, ?, ? ,?) ", (str(row[0]),str(row[2]), str(row[3]) , str(row[4])) )
con.commit()

for row in df_tw.to_records(index=False):
con.execute(" INSERT INTO Tickers (symbol, longName, exchange, market) VALUES (?, ?, ? ,?) ", (str(row[0]),str(row[2]), str(row[3]) , str(row[4])) )
con.commit()

我們獲取一萬多筆資料,在接下來的文章,我們將會對此資料進行像是PE, moving average等相關資料的撈取。

raw-image



Thank you and Enjoy it! You can check this for English version!

Enjoy it! If you want to support Informula, you can buy us a coffee here :)

𝗕𝘂𝘆 𝗺𝗲 𝗮 𝗰𝗼𝗳𝗳𝗲𝗲

Thank you and more to come :)


Informula 致力於提升工作生產力,分享生產力工具使用情境、簡單的程式、資料處理、數據分析、網路爬蟲應用等。 尋求長期的自我成長要求或職場臨時急救包的朋友歡迎一起交流。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
In this series of article, we will discuss how to pull stock detailed information for All Tickers in the US and TW Market.
如何計算ETF的PE ratio - 00878?
In this series of article, we will discuss how to pull stock detailed information for All Tickers in the US and TW Market.
如何計算ETF的PE ratio - 00878?
你可能也想看
Google News 追蹤
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
在此篇中,我們來拿實務的例子作實戰練習,我們會討論如何在Google Colab的環境下,撈取所有台美股的股票代碼,並獲取相關細節,最後將獲取的資訊存取於SQLite資料庫中。
你是否曾使用Python進行網上爬蟲、撈取資料、分析,並將結果存進雲端資料庫? 你知道這一切可以全部發生在Google Drive裡嗎?而且,全部都是免費的!
Thumbnail
對於剛接觸Python程式的使用者來說,要一口氣學會爬蟲可能相對困難,但若想即時且輕鬆獲得台股相關數據,你可以利用證交所所提供的API進行數據蒐集。只需要簡單幾行程式碼,就能輕鬆抓到台股上千支股票的每日資訊,是不是棒呆了!!
Thumbnail
這是一份每週投資筆記,記錄了投資事情、股票表現以及未來操作策略。文章中還包含了市場爭論、未來技術趨勢和特斯拉股東會等內容。
Thumbnail
今天有家人詢問買股票要從哪裡開始學? 我接觸股票也有非常多年的時間了,一時半刻也想不起來一開始怎麼做的。好在現在資訊是真的發達,隨便哪個平台都有許多教學...整理了一下,我會建議這樣做 (一) 先去開一個證券戶 身為台灣人,最方便的是先了解台股。 對大部分人有了證券戶,才有了實戰感。 與其先
Thumbnail
因為工作的關係,需要在EXCEL產生和台股有關的資訊。 要抓取台股的方式有很多,譬如說用EXCEL 現在的功能從網頁匯入,但是畢竟愛寫程式的人就是因為懶,不想每次都用滑鼠點點點,所以就想要如何用VBA克服。 還好研究了一下,備齊以下幾個工具,就可以了。 (1)要有一個可以解析JSON格式的Li
Thumbnail
每日台股車況-24.01.29一 今日牛棚: 采鈺6789、欣興3037、崇越5434、高力8996 投資交易的方法、觀念、流派眾多,但把交易的流程拆解,可以簡化成以下步驟: 1.選股:                              2.決定買點(與加碼點) 上車 3.監
Thumbnail
每日台股車況-24.01.25四 今日牛棚: 神基3005、群電6412 投資交易的方法、觀念、流派眾多,但把交易的流程拆解,可以簡化成以下步驟: 1.選股:                              2.決定買點(與加碼點) 上車 3.監控持股變化 4.決定賣點(
Thumbnail
每日台股車況-24.01.24三 今日牛棚: 采鈺6789、擎亞8096、新日興3376 投資交易的方法、觀念、流派眾多,但把交易的流程拆解,可以簡化成以下步驟: 1.選股:                              2.決定買點(與加碼點) 上車 3.監控持股變化
Thumbnail
之前有分享過GOOGLE SHEET可以用函數快速取得股票價格,那EXCEL如果要取得股票價格有沒有辦法呢? EXCEL取得股票的方法有超多種,這集要介紹最簡單的方式,完全不用寫任何函數,只要有滑鼠就可以了!! ▶️短片介紹 看教學影片之前可以先下載練習檔,學中做、做中學效果更好哦。
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
在此篇中,我們來拿實務的例子作實戰練習,我們會討論如何在Google Colab的環境下,撈取所有台美股的股票代碼,並獲取相關細節,最後將獲取的資訊存取於SQLite資料庫中。
你是否曾使用Python進行網上爬蟲、撈取資料、分析,並將結果存進雲端資料庫? 你知道這一切可以全部發生在Google Drive裡嗎?而且,全部都是免費的!
Thumbnail
對於剛接觸Python程式的使用者來說,要一口氣學會爬蟲可能相對困難,但若想即時且輕鬆獲得台股相關數據,你可以利用證交所所提供的API進行數據蒐集。只需要簡單幾行程式碼,就能輕鬆抓到台股上千支股票的每日資訊,是不是棒呆了!!
Thumbnail
這是一份每週投資筆記,記錄了投資事情、股票表現以及未來操作策略。文章中還包含了市場爭論、未來技術趨勢和特斯拉股東會等內容。
Thumbnail
今天有家人詢問買股票要從哪裡開始學? 我接觸股票也有非常多年的時間了,一時半刻也想不起來一開始怎麼做的。好在現在資訊是真的發達,隨便哪個平台都有許多教學...整理了一下,我會建議這樣做 (一) 先去開一個證券戶 身為台灣人,最方便的是先了解台股。 對大部分人有了證券戶,才有了實戰感。 與其先
Thumbnail
因為工作的關係,需要在EXCEL產生和台股有關的資訊。 要抓取台股的方式有很多,譬如說用EXCEL 現在的功能從網頁匯入,但是畢竟愛寫程式的人就是因為懶,不想每次都用滑鼠點點點,所以就想要如何用VBA克服。 還好研究了一下,備齊以下幾個工具,就可以了。 (1)要有一個可以解析JSON格式的Li
Thumbnail
每日台股車況-24.01.29一 今日牛棚: 采鈺6789、欣興3037、崇越5434、高力8996 投資交易的方法、觀念、流派眾多,但把交易的流程拆解,可以簡化成以下步驟: 1.選股:                              2.決定買點(與加碼點) 上車 3.監
Thumbnail
每日台股車況-24.01.25四 今日牛棚: 神基3005、群電6412 投資交易的方法、觀念、流派眾多,但把交易的流程拆解,可以簡化成以下步驟: 1.選股:                              2.決定買點(與加碼點) 上車 3.監控持股變化 4.決定賣點(
Thumbnail
每日台股車況-24.01.24三 今日牛棚: 采鈺6789、擎亞8096、新日興3376 投資交易的方法、觀念、流派眾多,但把交易的流程拆解,可以簡化成以下步驟: 1.選股:                              2.決定買點(與加碼點) 上車 3.監控持股變化
Thumbnail
之前有分享過GOOGLE SHEET可以用函數快速取得股票價格,那EXCEL如果要取得股票價格有沒有辦法呢? EXCEL取得股票的方法有超多種,這集要介紹最簡單的方式,完全不用寫任何函數,只要有滑鼠就可以了!! ▶️短片介紹 看教學影片之前可以先下載練習檔,學中做、做中學效果更好哦。