[面試分享] houzz 美商好適家數據科學家 (Data Scientist)

houzz 面試過程流暢且舒服，但由於是全英文面試，所以還是滿緊張的。面試問題滿全面的，會根據過往專案經驗去挖掘你的技術水平，同時也會考量你是否能夠獨立自主工作、會怎樣解決問題。技術難易度中上，著重在實驗設計、統計檢定以及產品相關問題，但對於 coding 能力較不要求。

面試公司與職位

公司名稱: houzz (美商好適家有限公司台灣分公司)

職位名稱: Data Scientist

面試時間: 2021

面試地點: remote

工作地點: Taiwan

結果: offer

面試內容

技術關 (60 mins) > Director (45 mins) > Hiring Manager (45mins) > Product Manager (45mins) 共四關，大約兩週多結束面試

技術關

面試邀請說第一面是技術關，原先以為會是很硬的 online coding 測試，但實際上討論過去經驗居多，直到最後 10 分鐘才考 SQL，難易度大概是 Easy。問答過程沒有太刻意刁難，主要針對過去經驗做詢問，並依照你的回答提供進行延伸詢問。

(1) 面試官自我介紹 (5 mins)

(2) 自我介紹 (5 mins)

(3) 相關經驗問答 (20 mins)

• 主要都針對模型應用發問，不會太深入詢問模型的比較和相關細節，點到為止。例如：「想解決怎樣的問題？採用什麼樣的資料設計模型？模型的選擇依據是什麼？怎麼做 feature importance？」

(4) 情境題 (25mins)

• 假設 houzz 要在首頁第一個曝光版位置入專業人士的介紹影片，你會設計什麼指標衡量這個新版位？
• • CTR。 假設有做 A/B test，便可以比較同樣位置但不同內容的兩個板塊，新上線的影片版位點擊率是否有比舊版高。
  • 停留時間。由於是影片且可以直接播放，用戶很可能會停滯在該版位觀看影片，因此停留時間也是一個可以觀測的指標。
  • Traffic Acquisition。已知這會是提供服務方的介紹影片，所以可以觀察這個版位實際替賣方帶來多少流量，也就是有多少流量來自首頁的新版位，有多少來自其他地方。
  • CVR。不限定是成立服務還是電話諮詢。主要想看實際上替服務方的來多少的轉換，畢竟對於賣方來說，有很大的流量固然很好，但如果都進到該頁面就離開，也不是期望的表現。因此轉換率也會是很重要的指標。

• 如果今天要上線這個新版位，可能會遇到怎樣的問題？
• • 已知 houzz 架構有區分商品和服務兩種，因此如果這個版位原本是曝光商品為主，可能就會導致商品的銷售額受影響，需要在商品與服務銷售中找到平衡點，找到對公司來說最大利益的版本。
  • 首頁會是一個重要的 landing page，且這個版位會是第一個用戶看的的內容，因此對於行銷團隊或是廣告團隊來說，這會是個很大的改動，需要事先溝通。

(5) SQL test (5 mins)

• Group By + count & count distinct
• rank - window function

(6) 發問時間 (5 mins)

Data Director

這是當時遇過最難的面試，面試官非常資深，在 houzz 工作五年，碰觸過非常不同的業務，一開始加入 houzz 是做 MKT SEO ，後來業務範圍變得比較廣。此外，面試官是個 A/B 好手，如果你有相關的經驗，一定要準備夠齊全，不是點到為止的那種問答，會問非常深入的技術。過程中不會給予太多的提示，在你思考過程中會全程無聲，壓力超大。

(1) 面試官自我介紹

(2) 自我介紹 (穿插問答)

(3) 情境題

指標與數據分析

• 假設今天有個 task 要評估 coupon 的效益，你會設計哪些指標？
• • CVR。coupon 主要是想要減低大家對金額的阻礙，所以轉換率會是一個重要的指標。
  • Utilization rate。CVR 的提升不一定代表用戶是使用 coupon ，可能還有其他因素影響，所以 coupon 的使用率也是需要觀察的指標。
  • ROI。coupon 本身存在成本，即便可能帶來一定的訂單成長，也不代表實際對公司的收入是正向的，說不定投入過多成本，投資報酬率極低。
  • AIV, AOV。coupon 的目的是降低金額的阻礙，所以用戶可能會更願意買高單價的商品，也可能會購買低金額商品，全額用 coupon 折抵，這個指標可以觀測使用者的消費習慣。

• coupon 可能不是為了 GMV 為目標，那還有什麼可以觀測的指標？
• • Utilization rate 或 諮詢率。如果 coupon 的設計是減低聯絡費用，希望用戶可以更願意聯繫專業人士進行服務諮詢，那目標就不是 GMV ，而是諮詢次數是否有上升。因此使用率和諮詢次數可以做為重要觀測指標。
  • Profit。coupon 會促進 GMV 提升，但很有可能是虛胖，因此 Profit 就會是另一個專注點。

實驗與統計

• 假設這次 coupon 的目標是 revenue per user，在做假設檢定的時候，會使用什麼樣的統計方法呢？ (在考 z-test 和 t-test 的概念以及差異)

• z-test 是最好的方法嗎？有怎樣的使用限制？什麼樣的實驗比較適合用 z-test？ z-test 有什麼特性？

(4) 開放式題目

• 如果今天有一個問題，兩個 team 都有可能的解法，但現在發生了衝突，你會怎麼做？
• • 先了解兩邊解法的細節，找到衝突的原因。各自評估兩邊做法的優缺，例如工程成本、實際上會帶來的成效，再看看能否從中找到共通的特點，進而融合兩種方法。
• 你會怎麼替手上的 task 排優先序
• • 用 RICE 的方式去衡量。評估手上 task 的價值和工時。

(5) 發問時間

Hiring Manager (直屬主管)

Data Director 跟直屬我是連著面的，兩者給人的感受和壓迫感截然不同，直屬主管親民許多，也比較會緩和情緒。相比上一關，這關的應答非常流暢，主要是理解過去經驗，不會過度深入探討很多問題，和一面的內容比較相近，但會再多問技術的問題。面試官會把履歷仔細看完，幾題都是履歷上有寫，但是自我介紹沒講到的內容。

(1) 面試官自我介紹

(2) 自我介紹 (穿插問答)

(3) 情境題/ 技術題

指標與數據分析

• 這個 team 會接觸到非常多面向的問題，其中 houzz 的使用者瀏覽體驗是最主要的項目。在 houzz 的 web 或是 app 中有非常多的版位和功能，請問你會設計怎樣的指標觀測使用者的瀏覽體驗？
• • Traffic。因為這個問題很大，不太確定想要問什麼，所以想像會是站上最重要的幾個指標。流量是最基本的指標，代表的是多少用戶使用這個產品。
  • 停留時間。假設一個用戶很喜歡 houzz 這個產品，勢必會願意花更多時間在這上面，所以用戶的停留時間是個可偵測的指標。不論是整體站上，或是個別頁面都可以做比較。
  • 回訪率。若用戶喜歡這個產品，想像會是不定時回來逛逛，所以續逛率也就是回訪率越高，代表用戶的黏著度越高，瀏覽體驗越好。
  • CVR。流量只能代表願意使用，但是否能真的找到想要的商品或服務，還是要看轉換率。不論是訂單或是特定功能的使用率(fav, cart)，都是可衡量的指標。
• 今天有個功能可以儲存用戶喜好的商品或服務，如果這個功能的轉換率 (view to fav)大幅下降，你會怎麼解釋呢？問題轉換：今天發現數據上出現不正常的情況，如很大的 drop 或 jump 會怎麼去解釋？
• • 會先去檢查資料正確性問題。確定該問題是產品本身造成的，而非我們遺漏 tracking 導致。也會確定是否是因外部因素影響導致，例如上週有行銷活動大力推這個功能，導致上週使用率暴增，這週只是回到正常水平。
  • 假設資料都正確無誤，且沒有外部因素影響，會從不同的 dimension 或是 segmentation 進行觀察，切分國家、裝置等維度，找到問題實際發生的原因。
• 除了國家和裝置外，你還有可能用什麼樣的維度去切分觀察？
• • 除了事實的資訊外，也會透過用戶分群去切分，例如新客、舊客。或是有其他的 user funnel 可以輔助切分，也會是個適合的維度。
• 如果今天想要計算用戶的 engage score ，你會怎麼做呢？
• • 先定義什麼 engage score 的依據跟用途，以 houzz 而言，最終目標還是希望用戶可以進行購買，所以會把購買當成最終目標，分數越高代表越有機會進行購買。
  • 可以從用戶的互動紀錄中，建立 user journey，label 會是用戶在未來一段時間內是否進行購買，features 則是使用者的互動紀錄，例如看十個商品、儲存五張照片、參與三十則對話 ......，以此計算在用戶有特定行為的情況下，會購買的機率多少，以此作為每個行為的分數。
• 儲存照片這種行為特徵，資料的分佈通常會長得怎樣？
• • right skewed。多數的使用者都只會有少量的行為，只有特定使用者會瘋狂使用該功能。
• 儲存幾張照片和花費多少時間進行對話，這兩個特徵的資料 range 差異非常大，如果要拿來計算分數，你會做什麼處理嗎？
• • 正規化

實驗與統計

• 怎麼解釋 p value?
• 怎麼對不懂相關技術的人解釋 p value 越小越好？
• 你會怎麼計算這次實驗是否具有顯著性？
• 發現實驗設定是 50/50 ，但是實驗組和控制組的表現不同，如何確認這個不同是可被接受的，而不會影響實驗結果？
• • SRM 檢測
  • A/A test
• 要怎麼確定實驗要跑多久？
• • Sample Size Calculation
  • 根據目的不同會有不同的實驗長度，例如想要檢測回購率是否提升，就需要至少實驗兩個購買週期才能觀測結果

(4) 發問時間

Product Manager

PM 這關也相對輕鬆，主要都是詢問過去專案合作的狀況，沒有任何技術問題

(1) 面試官自我介紹

(2) 自我介紹

(3) 專案合作經驗問答

• 有用甚麼工具做實驗嗎？
• 最失敗的經驗、從中學到甚麼？
• 指標是自己訂的還是老闆/主管指定的？
• 喜歡和怎樣的人合作？不喜歡怎樣的人？
• 是否會自我學習？
• 是否有和 PM 合作的經驗？
• 到一個新的環境，會用怎樣的方法讓自己更快上手？

(4) 問問題時間

總結

• 如果過去沒有全英文面試的經驗，一定要有充足的事先準備，否則現場可能當機講不出來
• 記得重溫過去的專案經驗，了解專案目標、過程遭遇的問題以及如何解決
• 由於該位置主要是與產品改動相關，最好事先上 houzz 的網站看看其產品長怎樣，可能有哪些特殊點以及痛點，可能會需要觀測哪些指標。也去找找相關的報導，所謂知己知彼，百戰百勝，認識越多越有可能猜到面試問答題，就越有利
• 實驗設計與統計是必備的能力，不需要倒背如流，但是基本的概念需要有，例如實驗要跑多久、要選擇什麼指標等等。統計方面只能 K 書了，多數人 (包含我) 僅會使用統計檢定相關的工具或是套公式，但對於其背後原理沒有很深入了解，基本的 p-value 要能夠解釋 (記住是英文解釋)，其他能準備越多當然越好