跨平台解鎖 - Colab Python + SQLite in Google Drive

更新於 發佈於 閱讀時間約 4 分鐘

你是否曾使用Python進行網上爬蟲、撈取資料、分析,並將結果存進雲端資料庫? 你知道這一切可以全部發生在Google Drive裡嗎?而且,全部都是免費的!

Colab 是什麼?

Colab (Colaboratory) 可讓我們在瀏覽器中編寫及執行 Python 程式碼,不必進行任何設定,且可以與他人共用你的程式碼。由於可以編寫及執行 Python 程式碼,我們可以透過在Colab環境裡執行機器學習、資料視覺化、資料處理、爬蟲等任務

SQLite 是什麼?

SQLite 是一個輕量級的開源關聯式資料庫管理系統,特別適合嵌入式應用和本地資料存儲。它的特點在於不需要伺服器、配置或管理,資料存儲於單一檔案中,這使得 SQLite 非常適合用於小型專案中。

  1. 無伺服器:SQLite 是一個「伺服器無須運行」的資料庫,這表示不需要安裝額外的伺服器軟體或配置。SQLite 整個資料庫可以嵌入到應用程式中,以一個檔案的形式運行。
  2. 跨平台兼容:SQLite 支援多種操作系統和語言並支援 C、C++、Python、Java 等主流語言,使得它在多種平台上應用非常廣泛。
  3. 小巧高效:SQLite 佔用資源非常少,因此非常適合資源有限的裝置。此外,SQLite 的查詢速度快,特別是針對小型或中型資料集,性能表現極佳。
  4. 支援標準 SQL:SQLite 支援 SQL-92 標準,並提供基本的 SQL 功能如 CREATEINSERTSELECTUPDATEDELETE 等,適合用來學習 SQL 和進行簡單資料操作。

網上有蠻多供下載的db檔案,下載後將其至於 Google Drive 中。若不知道怎麼抓晚點我整理在數遊原人的數位商品館中。



首先,將SQLite檔案 sample.db 存進Google Drive的資料夾裡,之後的資料都會存進此檔案裡。

raw-image


接著,在你的Google Drive的資料夾裡案右鍵,找到Google Colaboratory,可以開啟Colab環境,我們將此檔案命名為SQLite.ipynb


raw-image


  • Import 套件
import sqlite3
from google.colab import drive
import pandas as pd

這段程式碼導入了 sqlite3(用來處理 SQLite 資料庫)、drive(用來掛載 Google Drive)以及 pandas(用來處理資料表的資料分析套件)。

  • 掛載 Google Drive
drive.mount('/content/drive')

將 Google Drive 掛載到 Colab,讓 Colab 能夠讀取存放在使用者 Google Drive 中的檔案。

  • 連接資料庫
  1. 定義好連線和query,透過 sqlite3.connect() 方法連接到指定路徑中的 SQLite 資料庫檔案(Stock.db)。
  2. 這個資料庫檔案位於 Google Drive 的 /MyDrive/data/ 資料夾中。
  3. 建立一個範例資料表dignoape_sample

con = sqlite3.connect('/content/drive/MyDrive/data/sample.db')
cursor = con.cursor()
query = """
CREATE TABLE "dignoape_sample"
(
    [As_Of] date,
    [Subject]  varchar(255)
)
"""

cursor.execute(query)
con.commit()
cursor.close()


  • 試著插入一筆資料,今天日期和文章標題。
import time
from datetime import date
from datetime import timedelta

today = date.today()

con = sqlite3.connect('/content/drive/MyDrive/data/sample.db')
con.execute(" INSERT INTO dignoape_sample (As_Of, Subject) VALUES (?, ?) ",
(str(today),str('使用Colab Python + SQLite在Google Drive裡建立簡易的資料庫') ))
con.commit()
cursor.close()


  • 試著把剛剛插入的資料讀取出來。
import pandas as pd

con = sqlite3.connect('/content/drive/MyDrive/data/sample.db')

query = " select * from dignoape_sample"
df_data = pd.read_sql(query, con)
df_data.head(10)


raw-image



謝謝您花時間將此篇文章讀完,若覺得對您有幫助可以幫忙按個讚、分享來或是珍藏喔!也歡迎Follow我的Threads/ FB,持續追蹤生產力工具、商業分析、商業英文的實用範例,提升自己的職場力喔!

留言
avatar-img
留言分享你的想法!
avatar-img
DigNo Ape 數遊原人
56會員
138內容數
我們秉持著從原人進化的精神,不斷追求智慧的累積和工具的運用來提升生產力。我們相信,每一個成員都擁有無限的潛力,透過學習和實踐,不斷成長和進步。
DigNo Ape 數遊原人的其他內容
2025/01/15
根據 h1bdata info 整理的資料顯示,雇主於2024 提交H1B簽證所包含的薪資訊息,以關鍵字Data Analyst 的1700多條紀錄為例: - 薪資中位數是$85000. - 約有2%介於$150K到$200K - 21% 介於$100K到$150K - 以中位數來看近三年數
2025/01/15
根據 h1bdata info 整理的資料顯示,雇主於2024 提交H1B簽證所包含的薪資訊息,以關鍵字Data Analyst 的1700多條紀錄為例: - 薪資中位數是$85000. - 約有2%介於$150K到$200K - 21% 介於$100K到$150K - 以中位數來看近三年數
2024/12/03
- 圖片去背 - 圖片Mirror
Thumbnail
2024/12/03
- 圖片去背 - 圖片Mirror
Thumbnail
2024/11/27
使用Python 於valuesider網站爬取巴菲特(波克夏 海瑟威)13F報告,並製作成動態barchart,數據更新至FY24Q3。
Thumbnail
2024/11/27
使用Python 於valuesider網站爬取巴菲特(波克夏 海瑟威)13F報告,並製作成動態barchart,數據更新至FY24Q3。
Thumbnail
看更多
你可能也想看
Thumbnail
常常被朋友問「哪裡買的?」嗎?透過蝦皮分潤計畫,把日常購物的分享多加一個步驟,就能轉換成現金回饋。門檻低、申請簡單,特別適合學生與上班族,讓零碎時間也能創造小確幸。
Thumbnail
常常被朋友問「哪裡買的?」嗎?透過蝦皮分潤計畫,把日常購物的分享多加一個步驟,就能轉換成現金回饋。門檻低、申請簡單,特別適合學生與上班族,讓零碎時間也能創造小確幸。
Thumbnail
嗨!歡迎來到 vocus vocus 方格子是台灣最大的內容創作與知識變現平台,並且計畫持續拓展東南亞等等國際市場。我們致力於打造讓創作者能夠自由發表、累積影響力並獲得實質收益的創作生態圈!「創作至上」是我們的核心價值,我們致力於透過平台功能與服務,賦予創作者更多的可能。 vocus 平台匯聚了
Thumbnail
嗨!歡迎來到 vocus vocus 方格子是台灣最大的內容創作與知識變現平台,並且計畫持續拓展東南亞等等國際市場。我們致力於打造讓創作者能夠自由發表、累積影響力並獲得實質收益的創作生態圈!「創作至上」是我們的核心價值,我們致力於透過平台功能與服務,賦予創作者更多的可能。 vocus 平台匯聚了
Thumbnail
※ 為什麼選擇SQLite? 安裝簡單:SQLite是一個零配置的資料庫,不需要複雜的設定和安裝過程。。 使用SQL語法。 設計選擇多元性(MySQL / SQLite):適合於小零件資料應用、嵌入式系統、物聯網設備。 ※ SQLite四大優點: 執行檔檔案很小:資料庫系統需要的磁碟空
Thumbnail
※ 為什麼選擇SQLite? 安裝簡單:SQLite是一個零配置的資料庫,不需要複雜的設定和安裝過程。。 使用SQL語法。 設計選擇多元性(MySQL / SQLite):適合於小零件資料應用、嵌入式系統、物聯網設備。 ※ SQLite四大優點: 執行檔檔案很小:資料庫系統需要的磁碟空
Thumbnail
教大家如何使用 google colab 讀取雲端硬碟中的資料
Thumbnail
教大家如何使用 google colab 讀取雲端硬碟中的資料
Thumbnail
firestore 是 google 所提供的雲端文件式資料庫服務,為各種開發工具提供了方便使用的 sdk,python 的套件名稱為 firebase-admin,用 pip 安裝後就可操作了。 pip install firebase-admin
Thumbnail
firestore 是 google 所提供的雲端文件式資料庫服務,為各種開發工具提供了方便使用的 sdk,python 的套件名稱為 firebase-admin,用 pip 安裝後就可操作了。 pip install firebase-admin
Thumbnail
在這一課中,我們將學習如何在Python中使用sqlite3模塊進行基本的資料庫操作。 創建資料庫和表 首先,我們需要創建一個資料庫和一個表。
Thumbnail
在這一課中,我們將學習如何在Python中使用sqlite3模塊進行基本的資料庫操作。 創建資料庫和表 首先,我們需要創建一個資料庫和一個表。
Thumbnail
Google Colab是一個基於雲端的Python開發環境,提供免費的CPU和GPU資源,讓用戶可以在網頁瀏覽器中運行和編寫Python程式。它具有強大的協作功能,可以與他人共享和編輯程式碼。Google Colab支援Jupyter筆記本,並提供預裝的Python套件,方便進行數據分析、機器學習
Thumbnail
Google Colab是一個基於雲端的Python開發環境,提供免費的CPU和GPU資源,讓用戶可以在網頁瀏覽器中運行和編寫Python程式。它具有強大的協作功能,可以與他人共享和編輯程式碼。Google Colab支援Jupyter筆記本,並提供預裝的Python套件,方便進行數據分析、機器學習
Thumbnail
開發工具介紹 上山砍材一定要帶一把斧頭,而且要知道斧頭怎麼使用,不管是金斧頭還是銀斧頭,自己用的順手最重要, 以下推薦五個常用來寫Python的工具和兩個AI輔助工具,每種都有個別的優缺點。 Google Colab Google Colab是一個基於雲端的Python開發環境,提供免費的G
Thumbnail
開發工具介紹 上山砍材一定要帶一把斧頭,而且要知道斧頭怎麼使用,不管是金斧頭還是銀斧頭,自己用的順手最重要, 以下推薦五個常用來寫Python的工具和兩個AI輔助工具,每種都有個別的優缺點。 Google Colab Google Colab是一個基於雲端的Python開發環境,提供免費的G
Thumbnail
上一篇我們已經介紹過Google Colab的基本用法,建議可以先行閱讀「【Google Colab系列】台股分析預備式: Colab平台與Python如何擦出火花?」,進行基本概念與環境的建置再進行下一步會比較容易進行學習。 雖然網路上已經提供非常多的股市資訊,但各個網站可能都零零散散,難免我們得
Thumbnail
上一篇我們已經介紹過Google Colab的基本用法,建議可以先行閱讀「【Google Colab系列】台股分析預備式: Colab平台與Python如何擦出火花?」,進行基本概念與環境的建置再進行下一步會比較容易進行學習。 雖然網路上已經提供非常多的股市資訊,但各個網站可能都零零散散,難免我們得
Thumbnail
我自己是使用微軟的SQLIT軟體 這個軟體的操作上 沒有辦法直接用滑鼠點選或是拖拉的方式來看到你想看到的表格 都是要下指令的像是要看data.sqlite中的user這個table我就必須下 才能把table調閱出來看 那做為一個python三年工作經驗的工程師通常我不會直接在SQLIT軟體 裡面下
Thumbnail
我自己是使用微軟的SQLIT軟體 這個軟體的操作上 沒有辦法直接用滑鼠點選或是拖拉的方式來看到你想看到的表格 都是要下指令的像是要看data.sqlite中的user這個table我就必須下 才能把table調閱出來看 那做為一個python三年工作經驗的工程師通常我不會直接在SQLIT軟體 裡面下
Thumbnail
當我們抓取了相當多的網站資料,這些來自不同網站的資料總不可能全都匯集成一張Excel吧,因此通常在寫程式的使用者,都需要一個可以存放資料,並進行串聯的資料庫(SQL),因此我們今天就來教大家如何安裝使用免費的資料庫吧!!
Thumbnail
當我們抓取了相當多的網站資料,這些來自不同網站的資料總不可能全都匯集成一張Excel吧,因此通常在寫程式的使用者,都需要一個可以存放資料,並進行串聯的資料庫(SQL),因此我們今天就來教大家如何安裝使用免費的資料庫吧!!
Thumbnail
知識流動,一日分享 初學者最愛 寫程式很麻煩的第一個關鍵,就是安裝程式,有時候菜鳥搞了好幾個小時還無法搞定,設定很多玩意兒,有時候就把一開始的熱情琢磨掉了。 隨著python的穩定度逐漸提升,很多平台紛紛支援線上撰寫的功能,在這裡推薦Google Colab,對於一般使者而言就夠用了,而且省去安裝的
Thumbnail
知識流動,一日分享 初學者最愛 寫程式很麻煩的第一個關鍵,就是安裝程式,有時候菜鳥搞了好幾個小時還無法搞定,設定很多玩意兒,有時候就把一開始的熱情琢磨掉了。 隨著python的穩定度逐漸提升,很多平台紛紛支援線上撰寫的功能,在這裡推薦Google Colab,對於一般使者而言就夠用了,而且省去安裝的
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News