跨平台解鎖 - Colab Python + SQLite in Google Drive

閱讀時間約 4 分鐘

你是否曾使用Python進行網上爬蟲、撈取資料、分析,並將結果存進雲端資料庫? 你知道這一切可以全部發生在Google Drive裡嗎?而且,全部都是免費的!

Colab 是什麼?

Colab (Colaboratory) 可讓我們在瀏覽器中編寫及執行 Python 程式碼,不必進行任何設定,且可以與他人共用你的程式碼。由於可以編寫及執行 Python 程式碼,我們可以透過在Colab環境裡執行機器學習、資料視覺化、資料處理、爬蟲等任務

SQLite 是什麼?

SQLite 是一個輕量級的開源關聯式資料庫管理系統,特別適合嵌入式應用和本地資料存儲。它的特點在於不需要伺服器、配置或管理,資料存儲於單一檔案中,這使得 SQLite 非常適合用於小型專案中。

  1. 無伺服器:SQLite 是一個「伺服器無須運行」的資料庫,這表示不需要安裝額外的伺服器軟體或配置。SQLite 整個資料庫可以嵌入到應用程式中,以一個檔案的形式運行。
  2. 跨平台兼容:SQLite 支援多種操作系統和語言並支援 C、C++、Python、Java 等主流語言,使得它在多種平台上應用非常廣泛。
  3. 小巧高效:SQLite 佔用資源非常少,因此非常適合資源有限的裝置。此外,SQLite 的查詢速度快,特別是針對小型或中型資料集,性能表現極佳。
  4. 支援標準 SQL:SQLite 支援 SQL-92 標準,並提供基本的 SQL 功能如 CREATEINSERTSELECTUPDATEDELETE 等,適合用來學習 SQL 和進行簡單資料操作。

網上有蠻多供下載的db檔案,下載後將其至於 Google Drive 中。若不知道怎麼抓晚點我整理在數遊原人的數位商品館中。



首先,將SQLite檔案 sample.db 存進Google Drive的資料夾裡,之後的資料都會存進此檔案裡。

raw-image


接著,在你的Google Drive的資料夾裡案右鍵,找到Google Colaboratory,可以開啟Colab環境,我們將此檔案命名為SQLite.ipynb


raw-image


  • Import 套件
import sqlite3
from google.colab import drive
import pandas as pd

這段程式碼導入了 sqlite3(用來處理 SQLite 資料庫)、drive(用來掛載 Google Drive)以及 pandas(用來處理資料表的資料分析套件)。

  • 掛載 Google Drive
drive.mount('/content/drive')

將 Google Drive 掛載到 Colab,讓 Colab 能夠讀取存放在使用者 Google Drive 中的檔案。

  • 連接資料庫
  1. 定義好連線和query,透過 sqlite3.connect() 方法連接到指定路徑中的 SQLite 資料庫檔案(Stock.db)。
  2. 這個資料庫檔案位於 Google Drive 的 /MyDrive/data/ 資料夾中。
  3. 建立一個範例資料表dignoape_sample

con = sqlite3.connect('/content/drive/MyDrive/data/sample.db')
cursor = con.cursor()
query = """
CREATE TABLE "dignoape_sample"
(
    [As_Of] date,
    [Subject]  varchar(255)
)
"""

cursor.execute(query)
con.commit()
cursor.close()


  • 試著插入一筆資料,今天日期和文章標題。
import time
from datetime import date
from datetime import timedelta

today = date.today()

con = sqlite3.connect('/content/drive/MyDrive/data/sample.db')
con.execute(" INSERT INTO dignoape_sample (As_Of, Subject) VALUES (?, ?) ",
(str(today),str('使用Colab Python + SQLite在Google Drive裡建立簡易的資料庫') ))
con.commit()
cursor.close()


  • 試著把剛剛插入的資料讀取出來。
import pandas as pd

con = sqlite3.connect('/content/drive/MyDrive/data/sample.db')

query = " select * from dignoape_sample"
df_data = pd.read_sql(query, con)
df_data.head(10)


raw-image



謝謝您花時間將此篇文章讀完,若覺得對您有幫助可以幫忙按個讚、分享來或是珍藏喔!也歡迎Follow我的Threads/ FB,持續追蹤生產力工具、商業分析、商業英文的實用範例,提升自己的職場力喔!

    26會員
    51內容數
    我們秉持著從原人進化的精神,不斷追求智慧的累積和工具的運用來提升生產力。我們相信,每一個成員都擁有無限的潛力,透過學習和實踐,不斷成長和進步。
    留言0
    查看全部
    發表第一個留言支持創作者!
    你可能也想看
    Google News 追蹤
    Thumbnail
    這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
    Thumbnail
    11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
    Thumbnail
    Hi 大家好,我是Ethan😊 相近大家都知道保濕是皮膚保養中最基本,也是最重要的一步。無論是在畫室裡長時間對著畫布,還是在旅途中面對各種氣候變化,保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水,還能提升後續保養品的吸收效率。 曾經,我的保養程序簡單到只包括清潔和隨意上乳液
    Thumbnail
    PROCESS macro for SPSS 可以用非常簡單方式學會調節中介模式。本文將介紹四種類型的變項,並解釋調節式中介的公式,還有如何操作最4.0版本的PROCESS macro for SPSS。文末也會附上所有所有Process模型圖例,提供給讀者方便分析~
    Thumbnail
    PROCESS macro for SPSS 可以用非常簡單方式使用調節分析。本文將介紹三種類型的變項,還有如何操作最4.2版本的PROCESS macro for SPSS進行調節模式。文末也會附上所有所有Process模型圖例,提供給讀者方便分析~
    Thumbnail
    PROCESS macro for SPSS 可以用非常簡單方式進中介模式。本文將介紹三種類型的變項,還有如何操作最4.0版本的PROCESS macro for SPSS。文末也會附上所有所有Process模型圖例,提供給讀者方便分析~
    Thumbnail
    Potato Media雖然和方格子及Matters同樣歸類為寫作平台,同樣強調將內容變現,前者卻與後面兩者完全不同,當然,所獲得的收入報酬也不會一樣,更清楚一點來說,連獲得收益的方式也大不相同。
    Thumbnail
    我們將介紹各種類型的信度和統計方法,包含Cohen Kappa 係數、組內相關係數、α係數的SPSS教學。信度的可以使用不同的評估方法來評估。信度對於確定評分標準或量表的一致性和穩定度至關重要。
    Thumbnail
    如果依變項並非連續變項時,就可以改用羅吉斯迴歸。接下來本文將介紹勝算、勝算比、計算範例、二元/順序/多項式羅吉斯迴歸分析範例和SPSS操作方法。
    Thumbnail
    通常我們對於類別變項就直接看敘述統計大小,但如果我們想要用檢定確定兩者差距是達到統計顯著,就要用卡方檢定(Chi-square test)是一種統計學方法,獨立性考驗用於檢驗兩個類別變項各組別之間是否有顯著關聯。本文將介紹卡方檢定並介紹上機操作和事後比較方法。
    Thumbnail
    本篇介紹Mplus的「結構方程模型(Structural Equation Modelling, SEM)」之語法內容,並透過例題向大家示範如何分析撰寫SEM的語法。本文為新手教學,輸入方式可能不是最有效率,但是比較簡單且不太會犯錯
    Thumbnail
    當樣本有所關聯時,就不能使用獨立樣本t檢定,而是需要使用相依樣本t檢定,本文檢定介紹使用時機,並教導如何使用SPSS進行相依樣本t檢定
    Thumbnail
    今天要跟大家分享的主題,主要會圍繞在氣喘的簡介、常見症狀、常見藥物以及相關的迷思破解。 當出現咳喘、喘鳴聲、甚至呼吸窘迫等典型氣喘的症狀之後,家長通常會趕緊帶孩童去看醫生,醫生會根據孩童的病程發展及嚴重度選用最適合的藥物。氣喘的藥物分成兩大類...
    Thumbnail
    這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
    Thumbnail
    11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
    Thumbnail
    Hi 大家好,我是Ethan😊 相近大家都知道保濕是皮膚保養中最基本,也是最重要的一步。無論是在畫室裡長時間對著畫布,還是在旅途中面對各種氣候變化,保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水,還能提升後續保養品的吸收效率。 曾經,我的保養程序簡單到只包括清潔和隨意上乳液
    Thumbnail
    PROCESS macro for SPSS 可以用非常簡單方式學會調節中介模式。本文將介紹四種類型的變項,並解釋調節式中介的公式,還有如何操作最4.0版本的PROCESS macro for SPSS。文末也會附上所有所有Process模型圖例,提供給讀者方便分析~
    Thumbnail
    PROCESS macro for SPSS 可以用非常簡單方式使用調節分析。本文將介紹三種類型的變項,還有如何操作最4.2版本的PROCESS macro for SPSS進行調節模式。文末也會附上所有所有Process模型圖例,提供給讀者方便分析~
    Thumbnail
    PROCESS macro for SPSS 可以用非常簡單方式進中介模式。本文將介紹三種類型的變項,還有如何操作最4.0版本的PROCESS macro for SPSS。文末也會附上所有所有Process模型圖例,提供給讀者方便分析~
    Thumbnail
    Potato Media雖然和方格子及Matters同樣歸類為寫作平台,同樣強調將內容變現,前者卻與後面兩者完全不同,當然,所獲得的收入報酬也不會一樣,更清楚一點來說,連獲得收益的方式也大不相同。
    Thumbnail
    我們將介紹各種類型的信度和統計方法,包含Cohen Kappa 係數、組內相關係數、α係數的SPSS教學。信度的可以使用不同的評估方法來評估。信度對於確定評分標準或量表的一致性和穩定度至關重要。
    Thumbnail
    如果依變項並非連續變項時,就可以改用羅吉斯迴歸。接下來本文將介紹勝算、勝算比、計算範例、二元/順序/多項式羅吉斯迴歸分析範例和SPSS操作方法。
    Thumbnail
    通常我們對於類別變項就直接看敘述統計大小,但如果我們想要用檢定確定兩者差距是達到統計顯著,就要用卡方檢定(Chi-square test)是一種統計學方法,獨立性考驗用於檢驗兩個類別變項各組別之間是否有顯著關聯。本文將介紹卡方檢定並介紹上機操作和事後比較方法。
    Thumbnail
    本篇介紹Mplus的「結構方程模型(Structural Equation Modelling, SEM)」之語法內容,並透過例題向大家示範如何分析撰寫SEM的語法。本文為新手教學,輸入方式可能不是最有效率,但是比較簡單且不太會犯錯
    Thumbnail
    當樣本有所關聯時,就不能使用獨立樣本t檢定,而是需要使用相依樣本t檢定,本文檢定介紹使用時機,並教導如何使用SPSS進行相依樣本t檢定
    Thumbnail
    今天要跟大家分享的主題,主要會圍繞在氣喘的簡介、常見症狀、常見藥物以及相關的迷思破解。 當出現咳喘、喘鳴聲、甚至呼吸窘迫等典型氣喘的症狀之後,家長通常會趕緊帶孩童去看醫生,醫生會根據孩童的病程發展及嚴重度選用最適合的藥物。氣喘的藥物分成兩大類...