Professional Data Engineer 考試/心得整理 ｜Google Cloud

考試資訊

時長:2 hours

費用: $200/120(partner)

報名要求：無

語言: English, Japanese

測驗形式: 50-60 題選擇題 (內含多選題)

考試方式：

• 在線監考
• 現場監考考試
• • 恆毅Systex_Taipei(14F, No.99 Fuxing N. Road)
  • 資策會iSpan International Inc.(No. 390, 2F Section 1st, Fuxing South Road,, Da’an District)

證照效期：Google Cloud 兩年有效期，到期前60天才可重新認證

案例研讀： Professional Data Engineer 沒有 study case 的考題

考試政策：兩年內最多可以嘗試四次。如果沒有通過考試，可以在 14 天後再次參加考試。如果第二次沒有通過，必須等待60天才能參加第三次。如果第三次沒有通過，則必須等待365天才能參加第四次。

考試範圍 (規章連結)

1. 第一部分：設計資料處理(datapipeline)系統(22%)
2. 第二部分：攝取和處理資料(25%)
3. 第三部分：儲存資料 (20%)
4. 第四部分：準備和使用資料進行分析(15%)
5. 第五部分：維護和自動化資料工作負載(18%)

讀書資源

• Data Engineer Learning Path | cloudskillsboost
• Examtopic
• 範例試題
• https://github.com/sathishvj/awesome-gcp-certifications/blob/master/professional-data-engineer.md
• Google cloud community blog

答題技巧

• 抓關鍵字，以該需求為主
• Google Cloud 最佳實踐為主
• 有幾題題目的選項都是可以做到題目的需求，我都是選目前最新最主打的功能( Analytics Hub, BigLake…等等)

考試後還記得的考題方向 (202409)

資料工程

• Pub/Sub
• • exactly-once delivery
  • topic retention policy
  • exponential backoff(retry policy)
  • Pub/Sub Snapshot
  • Pub/Sub Seek
• Dataflow
• • watermarks
  • hopping window VS tumbling window
  • Drain a job for Update
  • Reshuffle operation
• Cloud Composer
• • DAP (有向無環圖)
  • on_failure_callback
• Cloud DLP
• • 各種去識別化的方式(format-preserving encryption 最常出現)
• Cloud Data Fusion
• Dataprep
• Dataproc (hadoop, spark)
• • Disk I/O tuning

資料倉儲

• BigQuery
• • table management(partitioned vs clustered)
  • BigQuery Omni
  • materialized view
  • Analytics Hub
  • scheduling service
  • 計價(可以設 slots limit, 或按用量計費)
• Cloud Storage
• • Signed URL
  • turbo replication
  • encryption(GMEK, CMEK)
  • autoclass
  • retention policy

資料治理

• BigLake
• • external table
• Data Catalog
• Dataplex
• VPC Service Controls

心得

• Professional Data Engineer 這個考試在 2024 年初的時候有進行更新，和之前的考試題目差非常多，之前考非常多開源專案的東西(Apache Beam, Apache Airflow….等等)，現在的考試就真的有圍繞在 Google Cloud 的服務上，也可能是因為 Google Cloud 上關於資料的服務也越來越齊全的緣故。
• 除了資料工程一定會有的處理資料、建置資料管線、存儲資料、維護管線之外，也考了滿多資料治理的服務，同時也有和其他公有雲或是地端串接的情景。
• 除此之外大概 1~2 題有考到 ML 的範疇，像是 BQML, AutoML …等等
• Examtopic 的答案不一定對，還是要自己看文件檢查過或是做實驗
• 當天共50題目
• 考試當天可提前到場，有機會也可以提早考試
• 攜帶護照並確認報名名稱和護照名稱一致
• 攜帶考試授權碼(考試前幾天寄至信箱)

最後，最重要的是先報名，在準備考試！給自己一點時間壓力吧！

如果來不及準備，一週前都是可以改考試時間的，祝大家考試順利。