[面試分享] Tiktok 抖音 (Data Scientist)

Tiktok 面試內容因面試官而異。這次面試很多問題都很 hard core，針對技術問題有非常細部的討論。建議想面試 Tiktok 的人給自己多點時間面試，除了深度外也要顧及廣度

面試公司與職位

公司名稱: Tiktok

職位名稱: TikTok Shop - Data Scientist - Operations

面試時間: 2024/03

面試地點: remote

工作地點: Singapore

結果: Rejected

面試內容

HR phone call (45 mins) > Hiring Manager - Singapore team (45 mins) > Hiring Manager - China team (45mins)

在第二關被告知因為不夠資深而無法獲得新加坡簽證，後續改面中國團隊，但最終在第三關被刷 😢

Hiring Manager - Singapore (技術關)

除了開場的英文自我介紹外都是中文面試，壓力小許多。雖然個人覺得整體面試滿順利的，最終還是被以不夠資深為由沒辦法挺進新加坡團隊 Senior role 的下一關，詢問過 Feedback 但並沒有回應。個人認為是對於 Tiktok shop 的產品準備不足，一是台灣並沒有該功能，二是本身就不是 Tiktok 核心用戶，對於該產品的研究不足，在產品情境題中沒有扣環到公司目前的狀況以及可能進行中的專案，因此被刷掉。

(1) 面試官自我介紹

(2) 英文自我介紹

(3) 技術問答 & 過往經驗問答

SQL

• 請舉一個 window function 的例子並提供使用情節
• • rank(), row_number(), ......
• 請簡述該 window function 的 SQL code
• • rank () OVER (PARTITION BY ORDER BY)

實驗設計

• 怎樣設計一個 A/B Test
• • 了解實驗目標是什麼、定義受眾
  • 訂立指標並且基於過去實驗經驗選定 MDE、計算 Sample size
  • 設定指標 Decision matrix 輔助實驗決策
  • Tracking design
  • 與 PM 和 stakeholder 溝通整體時程

Note. 這裡問的很明確，是如何設計一個實驗，所以並沒有針對是否需要做實驗進行補充說明

埋點經驗

• 有沒有產品端的埋點經驗？
• 有沒有 schema 的設計經驗
• 有沒有遇過相關的痛點，例如共用 schema 但是被濫用、亂用

商業端經驗分享

• Attribution model
• 廣告優化
• CRM journey

職涯規劃

• 每個工作階段的目標，為什麼想要離開？

(4) 產品情境題

• 可以怎樣優化 tiktok shop tab? 會怎樣去找機會點
• • 先把整個大的框架描述出來，細部去闡述 Traffic, CVR, AOV 的關係以及可能的痛點
• 要怎麼衡量每個不同的機會點
• • 透過 RICE 去衡量。reach sizing, impact, confidence & effort
• 如果今天發現 CVR 和 AOV 比 Benchmark 低很多，會怎樣解釋並找機會
• • 先去了解是否有公平比較，例如相同區域、類似的指標計算方法
  • CVR 可以從不同的面向解讀，根據用戶意圖去了解問題出現在哪裡？是隨便逛逛、沒有明確目標的流量大且 CVR 低，還是 CVR 低主要是源自搜尋的人。隨便逛逛的用戶需要給予更多的動機去激勵購買，像是優惠或是 loyalty program 等紅利回饋。搜尋的用戶可以了解是否搜尋結果不好，可能是因為翻譯或是 ranking 甚至是相關商品數過少導致
  • AOV 可以先從商品數量以及商品單價的關係去切分，了解其原因。再來根據用戶族群做切分，例如年紀、區域等等，或許低於 benchmark 只是因為組成不同，並不是表現不佳。後續怎麼提升 AOV 則是可以改善 ranking 把高單價的放前面，或是合理範圍內提供優惠、促銷。

(5) 工作內容以及團隊介紹

(6) 主動發問時間

Hiring Manager - China team

相對於新加坡團隊，中國團隊更學院派一點，注重你的基礎理論以及技術能力，過程中非常多技術細節的討論，情境題也非常的刁鑽。認為被刷掉的原因有兩點，1. 對於 Causal inference 的面試準備不足 2. 情境題回答的太混亂

(1) 面試官自我介紹

(2) 自我介紹

(3) 過往經驗問答

產品相關經驗

• 請舉一個過往成功的產品經驗
• • 基於數據挖掘發起獎勵任務專案
  • 基於數據挖掘找到 high value action，透過獎勵任務方式吸引用戶回訪，並以此進行 high value action，將其引入購買以及通知旅程中
  • 成功的 A/B test 結果且最終上線
• 怎麼判斷 high value action
• • 透過統計模型去找到動作與購買的關聯性做第一層篩選，分數約高代表越相關
  • 以使用者分群當作標籤結果，根據歷史資料去進行檢測，相比沒有進行該動作的用戶來說，有進行該動作的用戶是否轉換率較高
• 該專案怎麼判斷 GMV 增長
• • 透過 A/B test 證明用戶回訪率提升進而帶動 GMV 上升。獎勵任務方面，因為不是每個高價值動作都直接和購買相關，我們觀測的是該任務的完成率而非帶來的 GMV
• 如果不能做實驗，怎麼判斷 GMV 增長
• • difference in difference 或其他統計模型
  • 可以切國家上特徵，再透過統計模型去驗證成效
  • 如果全部國家都要上特徵，也可以拿使用者的過往資料進行假的分組，並進行預測
• 是否能運用因果推斷找到增長
• • 沒有太多相關的經驗，以實驗和統計假設為主。可以去找不同動作間的相關性，如果相關係數夠高，就可以作為判斷

實驗與統計

• 一個實驗設計需要什麼
• • 從頭到尾闡述。實驗目標與假設 → 群眾設定 → SSE 計算 → decision map → tracking design → QA
• 如果 RD 說實驗埋點太多該怎處理？
• • 排優先程度。從最重要的做起，其他 nice to have 的追蹤可以不用在實驗版本上線，但安排在實驗結束且確認會上線 feature 的版本把追蹤補上，又或是在實驗期間的版本補上
  • 如果有非常重要的追蹤遺失，且會影響實驗判讀，則會和 PM 溝通人力成本不足，可能會需要延後實驗上線
• 埋點缺失該怎麼追
• • 先 QA 做第一步簡單確認，確保有送追蹤，且送的時機是對的
  • 切不同的維度去了解問題的 scope，是全站都有問題，還是特定的裝置。再根據過去的經驗下去判斷，可能的原因。例如: 事件在 pipeline 計算中被丟失了，或是有透過特定的 attribute 進行篩選但是值錯誤
• Sample Size 的計算公式

(4) 電商情境題

• 如果今天上了一個功能，把商城的 coupon 改成不會自動套用，但是發現商城的 GMV 沒有掉，反而是另一個頁面的 GMV 下滑，該怎麼分析? (答的很糟)
• • 先判斷 GMV 怎麼計算，是獨立計算還是歸因後的結果 (獨立計算)
  • 兩個頁面是否有關聯性，是否能從 A 進入 B 不斷的相互進入 (基本上可以看作獨立)
• 如果今天是 GMV 突然掉了 10%，怎麼解讀?
• • GMV = Order * AOV = Traffic * CVR * AOV
  • 可以先從大的維度下手，看看是訂單數出了問題還是 AOV。假設問題是 Order 出問題，再往下區分

(5) SQL

• 每個品類每個月的新買家數 (group by, min, date, date_trunc)
• 每個用戶在該品類累積到 2000 元的日期 (window function, group by, sum, cast)

(6) 主動發問時間

總結

• 語言方面不用太擔心，面試官全都是中國人，基本上英文有簡單準備都可以應付
• 和朋友閒聊後發現，Tiktok 面試內容因面試官而異。像我這次遇到的就很 Hard core，針對技術問題有非常細部的討論，例如 Sample size 公式當場寫出來並解釋，我相信分析人員對於該計算絕對不陌生，但臨時要針對細部解釋可能還是會愣住
• 建議想面試 Tiktok 的人給自己多點時間面試，不要臨陣磨槍，因為考題可能非常廣，且審核滿嚴格的。準備多半還是由個人過往的專案經驗開始，再根據該專案涉及的技術問題或是情境問題進行準備。網路上也滿多 Tiktok 過去的面試經驗，可以多刷多準備