使用 Cloud Functions 和 Cloud Scheduler定期清理未使用的IP 資源

閱讀時間約 10 分鐘

Overview

使用 Cloud FunctionsCloud Scheduler 來識別和清理浪費的雲端資源。

raw-image
  • 創建used-ip-address和unused-ip-address
  • static-ip-instance使用used-ip-address
  • 創建cloud function(unused_ip_function)檢查並刪除沒有被使用的ip資源
  • 創建Cloud Scheduler定期執行cloud function

啟用 Cloud Scheduler API 和clone github repo

  1. 啟用 Cloud Scheduler API
gcloud services enable cloudscheduler.googleapis.com
raw-image
  1. clone 原廠的github程式碼
git clone <https://github.com/GoogleCloudPlatform/gcf-automated-resource-cleanup.git> && cd gcf-automated-resource-cleanup/


  1. 設定環境變數(PROJECT_ID, region, WORKDIR)
export PROJECT_ID=$(gcloud config list --format 'value(core.project)' 2>/dev/null)
export region=us-east1
export WORKDIR=$(pwd)


建立 IP 位址

cd $WORKDIR/unused-ip
  1. 設定環境變數(USED_IP, UNUSED_IP)
export USED_IP=used-ip-address
export UNUSED_IP=unused-ip-address


  1. 使用剛剛的環境變數建立兩個靜態IP
gcloud compute addresses create $USED_IP --project=$PROJECT_ID --region=us-east1
gcloud compute addresses create $UNUSED_IP --project=$PROJECT_ID --region=us-east1


  1. 檢查環境中的ip資源
gcloud compute addresses list --filter="region:(us-east1)"


  1. 將USED_IP的ip設定環境變數(USED_IP_ADDRESS)
export USED_IP_ADDRESS=$(gcloud compute addresses describe $USED_IP --region=us-east1 --format=json | jq -r '.address')


建立 VM

  1. 使用USED_IP_ADDRESS建立VM(static-ip-instance)
gcloud compute instances create static-ip-instance \\
--zone=us-east1-d \\
--machine-type=e2-medium \\
--subnet=default \\
--address=$USED_IP_ADDRESS
raw-image
  1. 檢查IP資源使用情況
gcloud compute addresses list --filter="region:(us-east1)"


查看 github repo 的程式碼

  1. grep "const compute" -A 31 → 查找"const compute"並往下顯示31行
cat $WORKDIR/unused-ip/function.js | grep "const compute" -A 31

output:

const compute = new Compute();
compute.getAddresses(function(err, addresses){ // gets all addresses across regions
if(err){
console.log("there was an error: " + err);
}
if (addresses == null) {
console.log("no addresses found");
return;
}
console.log("there are " + addresses.length + " addresses");

// iterate through addresses
for (let item of addresses){

// get metadata for each address
item.getMetadata(function(err, metadata, apiResponse) {

// if the address is not used:
if (metadata.status=='RESERVED'){

// compute age by convering ISO 8601 timestamps to Date
var creationDate = new Date(metadata.creationTimestamp);
var currDate = new Date();
var addressAge = Math.floor((currDate - creationDate)/86400e3);;

// delete address
item.delete(function(err, operation, apiResponse2){
if (err) {
console.log("could not delete address: " + err);
}
})
}
  • compute.getAddresses(function(err, addresses) uses the getAddresses method to retrieve IP addresses across all regions in the project.
  • item.getMetadata(function(err, metadata, apiResponse) gets the metadata for each IP address and checks its STATUS field.
  • if ((metadata.status=='RESERVED') & (calculateAge(metadata.creationTimestamp) >= ageToDelete)){ checks whether the IP address is in use, calculates its age by using a helper function, and compares its age against a constant (set to 0 for the purposes of the lab).
  • item.delete(function(err, operation, apiResponse2){ deletes the IP address.

部署Cloud Function

  1. 部署Cloud Function
gcloud functions deploy unused_ip_function --trigger-http --runtime=nodejs12 --region=us-east1
raw-image
  1. 將Cloud Function的Trigger URL設定環境變數(FUNCTION_URL)
export FUNCTION_URL=$(gcloud functions describe unused_ip_function --region=us-east1 --format=json | jq -r '.httpsTrigger.url')
raw-image

使用Cloud Scheduler

  1. 建立一個App Engine 以使用 Cloud Scheduler(舊版Scheduler需先起一個App Engine)
gcloud app create --region us-east1


  1. 建立一個 Cloud Scheduler 任務以在每晚凌晨 2 點(UTC+0)執行 Cloud Function
gcloud scheduler jobs create http unused-ip-job \\
--schedule="* 2 * * *" \\
--uri=$FUNCTION_URL \\
--location=us-east1

手動觸發Cloud Scheduler定時作業

  1. 手動觸發Cloud Scheduler
gcloud scheduler jobs run unused-ip-job \\
--location=us-east1
raw-image

檢查是否成功刪除

  1. 檢查ip資源狀態只剩下used-ip-address
gcloud compute addresses list --filter="region:(us-east1)"



如果你喜歡這篇文章歡迎幫我按愛心鼓勵一下喔!~閱讀愉快!~

延伸閱讀

其他學習資訊


avatar-img
18會員
44內容數
歡迎來到「Marcos的方格子」!目前在「Marcos談科技」撰寫在職涯上學習到的知識,在「Marcos談書」分享我在日常的閱讀和心得,歡迎您的到來!!
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
Marcos的方格子 的其他內容
在 OpenAI 推出 ChatGPT 模型的企業版後不到一天,Google Cloud Next 2023開跑,展示了Google Cloud最新產品發佈,並體現了各科技龍頭在 AI 領域搶佔主導地位的激烈競賽。
在著陸區(Landing Zone)在規劃時,在上一篇文章[1]的網路架構分享是以Shared VPC為例,但是在現實生活中,總是有各種前人留下的歷史共業或公司規範、作業考量而不能使用Shared VPC來集中管理雲端環境的網路架構。 因此分享常見的網路架構設計和設計架構時參考的因素!
💡 什麼是登陸區(Landing Zone)?這是一種模塊化與可擴展的配置,讓組織可以因應商業需要動態使用Google Cloud。
數位轉型是對組織運作方式的根本性重塑。 數位轉型使用各種不同的資訊技術並利用數據驅動來優化工作流程,達到對快速變動的市場更快、更智能、更即時的決策。最終,改變了客戶的期望並創造了新的商機。
宣告式管理是一種管理方法,其中您描述系統或資源的期望狀態,而不必關心實際如何達到該狀態。kubectl apply 命令在 Kubernetes 中實現了這種宣告式管理方式,以下是執行指令時的運作流程...
在 OpenAI 推出 ChatGPT 模型的企業版後不到一天,Google Cloud Next 2023開跑,展示了Google Cloud最新產品發佈,並體現了各科技龍頭在 AI 領域搶佔主導地位的激烈競賽。
在著陸區(Landing Zone)在規劃時,在上一篇文章[1]的網路架構分享是以Shared VPC為例,但是在現實生活中,總是有各種前人留下的歷史共業或公司規範、作業考量而不能使用Shared VPC來集中管理雲端環境的網路架構。 因此分享常見的網路架構設計和設計架構時參考的因素!
💡 什麼是登陸區(Landing Zone)?這是一種模塊化與可擴展的配置,讓組織可以因應商業需要動態使用Google Cloud。
數位轉型是對組織運作方式的根本性重塑。 數位轉型使用各種不同的資訊技術並利用數據驅動來優化工作流程,達到對快速變動的市場更快、更智能、更即時的決策。最終,改變了客戶的期望並創造了新的商機。
宣告式管理是一種管理方法,其中您描述系統或資源的期望狀態,而不必關心實際如何達到該狀態。kubectl apply 命令在 Kubernetes 中實現了這種宣告式管理方式,以下是執行指令時的運作流程...
你可能也想看
Google News 追蹤
Thumbnail
透過充分利用 AWS Organizations 和 CloudFormation StackSets,您可以更好地實現企業級的雲端管理與控制,為業務的持續發展提供穩固的技術支撐。
Thumbnail
隨著數位轉型的加速,雲計算已成為企業支撐運營和創新的關鍵技術。本文將深入探討雲計算的基本概念、主要服務商的比較,以及企業在選擇和實施雲計算服務時的最佳實踐。
Thumbnail
Google 提供了免費的雲端服務 Google Apps Script (GAS) ,我們可以撰寫一些簡易的程式APP,串接其他 Google 雲端服務 如 Google Docs ,Sheets …,就能夠幫助我們利用雲端硬碟做日常工作
Thumbnail
本文介紹如何在GCP上使用Terraform建立CloudFlare DNS解析和模組化。通過閱讀本文,可以瞭解如何設置Terraform建立CloudFlare DNS解析以及取得GCS上的Terraform state file並透過Terraform建立CloudFlare DNS解析的步驟。
Thumbnail
👨‍💻簡介 最近因為憑證越來越多,需要監控什麼時候到期,當到期時發送到期通知,因此撰寫一個簡單的小程式來完成。 這次使用Python和Telegram Bot來監控SSL證書的到期時間並發送通知。並使用GCP工具,如CloudFunction和CloudScheduler做部署平台。
Thumbnail
客戶提出以下需求: 當用戶在日本,會導到離用戶最近的CloudFront節點(亞洲),當CF要回原站時,需要導到新加坡的S3 當用戶為美國,會導到離用戶最近的CloudFront節點(美國東岸),當CF要回原站時,需要導到美國的S3
Thumbnail
題目敘述 題目會給我們一個定義好的類別和function介面,要求我們實作建構子和ping() function來滿足指定的需求。 RecentCounter類別的建構子 建構子應該初始化來電紀錄,內容為空(零筆資料) int ping(int t) t代表來電時刻,單位是毫秒m
Networking 網路類 Get the IP address of all interfaces(顯示網路資訊): networkctl status Display all IP addresses of the host(顯示主機名稱相關): hostname -I Enable/d
使用 AWS CLI 的方式,設定 CloudWatch 偵測到 StatusCheckFailed 時的 Auto recover action
Thumbnail
本文介紹如何使用AWS WAF Rules規則,透過IP Set(白名單) 以及TW IP的設定,來達成阻擋除臺灣以外的請求。同時也介紹了設定規則所需的條件及真值表。該方法可有效提升網站的安全性。
Thumbnail
透過充分利用 AWS Organizations 和 CloudFormation StackSets,您可以更好地實現企業級的雲端管理與控制,為業務的持續發展提供穩固的技術支撐。
Thumbnail
隨著數位轉型的加速,雲計算已成為企業支撐運營和創新的關鍵技術。本文將深入探討雲計算的基本概念、主要服務商的比較,以及企業在選擇和實施雲計算服務時的最佳實踐。
Thumbnail
Google 提供了免費的雲端服務 Google Apps Script (GAS) ,我們可以撰寫一些簡易的程式APP,串接其他 Google 雲端服務 如 Google Docs ,Sheets …,就能夠幫助我們利用雲端硬碟做日常工作
Thumbnail
本文介紹如何在GCP上使用Terraform建立CloudFlare DNS解析和模組化。通過閱讀本文,可以瞭解如何設置Terraform建立CloudFlare DNS解析以及取得GCS上的Terraform state file並透過Terraform建立CloudFlare DNS解析的步驟。
Thumbnail
👨‍💻簡介 最近因為憑證越來越多,需要監控什麼時候到期,當到期時發送到期通知,因此撰寫一個簡單的小程式來完成。 這次使用Python和Telegram Bot來監控SSL證書的到期時間並發送通知。並使用GCP工具,如CloudFunction和CloudScheduler做部署平台。
Thumbnail
客戶提出以下需求: 當用戶在日本,會導到離用戶最近的CloudFront節點(亞洲),當CF要回原站時,需要導到新加坡的S3 當用戶為美國,會導到離用戶最近的CloudFront節點(美國東岸),當CF要回原站時,需要導到美國的S3
Thumbnail
題目敘述 題目會給我們一個定義好的類別和function介面,要求我們實作建構子和ping() function來滿足指定的需求。 RecentCounter類別的建構子 建構子應該初始化來電紀錄,內容為空(零筆資料) int ping(int t) t代表來電時刻,單位是毫秒m
Networking 網路類 Get the IP address of all interfaces(顯示網路資訊): networkctl status Display all IP addresses of the host(顯示主機名稱相關): hostname -I Enable/d
使用 AWS CLI 的方式,設定 CloudWatch 偵測到 StatusCheckFailed 時的 Auto recover action
Thumbnail
本文介紹如何使用AWS WAF Rules規則,透過IP Set(白名單) 以及TW IP的設定,來達成阻擋除臺灣以外的請求。同時也介紹了設定規則所需的條件及真值表。該方法可有效提升網站的安全性。