2022機器學習工程師面試經驗分享

• 畢業後在美國軟體公司約六年的工作經驗。
• 本身工作是和ML相關的軟體工程師，也希望找ML相關的職位。
• 在senior level有兩年多的時間，目標找尋staff level的職位。

準備面試前的準備

為什麼要找新工作?

時間是你的朋友

Be strong，mentally!

了解你的對手

• Recruiter: 主要的工作就是負責招募，協調面試過程及最後和你談offer的人。他們通常對相關產業有基礎的理解，大致知道要找具備哪些技能的人，但不一定懂技術。他們的目標(以及被評量表現的方式)就是找到人來填補職缺。站在這個角度，他們其實和你是同一個陣線的，因為只要你面試表現好，拿到並接受offer，就可以在他們的考績記上一筆。但從另一個角度看，他們也有動機想要用越便宜的成本招募到你越好，因此被recruiter刻意貶低價值也是常有的事，例如他們很有可能說: “就你的資歷，我們很難給你staff-level，不如我們把目標放在senior比較容易怎麼樣?”，或是”根據你的表現，我們願意給你X的年薪，在目前的就業市場應該算是很頂尖的” (但其實遠低於行情)。關於談判技巧，網路上有很多資源這裡就不贅述，重點是在事前想清楚自己的底線在哪裡，禮貌並堅定地表達出你的要求，及做好拒絕或被拒絕的準備 (如果你打從心底害怕談判破裂，那其實也不用談判了對吧？)。但請記得一定要保持良好的態度，不管你實力再強，一個被惹毛的recruiter是完全有能力/權力搞砸一切的。
• Hiring manager: 就是想要招人的主管，也很有可能就是你如果加入後的主管。在招募的某個環節(通常是前幾次面試，但也不一定)，recruiter會讓他和你面談。主要目的是聊一聊你的經驗，看看你的能力適不適合他的職缺，也順便大致了解一下你是什麼樣的人。如果他覺得你適合的話，hiring manager大概會是整個過程裡最希望所有面試一切順利，給你你想要的offer(反正不是從他的口袋裡出)讓你加入的那個人。Hiring manager對面試結果和offer有某種程度的影響力，例如向Hiring committee表達你是很適合的人選來把在邊邊差一點沒過的面試結果拉上來，或是幫你爭取更好的offer。因此給Hiring manager留下好印象是很重要的。當然，再喜歡你的hiring manager也沒辦法把一個搞砸的面試救回來，所以面試本身還是主體。反過來說，和hiring manager的面談也是你少數擁有可以在做決定前了解未來主管的機會， 因此趁機觀察對方是不是一個好主管也是不容忽視的課題。
• Interviewer: 面試官，一群在工作中間被抓來面試的工程師(或相關職位)們。有些來自於即將要加入的組，有些則是具有相關背景的員工。他們通常是一群覺得面試人很浪費時間但又不得不做的人(當然也有些很樂在其中，享受折磨人的快感?)。他們被要求作為公司門面留給面試者好印象，但實際上不太關心你表現得好不好(畢竟你也不見得會去，去了也不見得會一起工作)。對他們而言，面試的過程就是代表公司盡可能地搜集評量你能力的訊號，整理成一個簡單的報告交給hiring committee做決定。身為一個面試者，除了回答他們的問題之外，最好可以幫面試官節省時間給他們留下好印象。舉例來說，在一段討論結束後，主動整理你們的結論，甚至把結論打出來讓他們可以複製貼上，就是一個加分的動作。
• Hiring committee: 負責決定要不要發offer的人們。他們通常是一群比較有經驗或較高位階的工程師/主管們，recruiter會把他和你面談的筆記和各個面試官的報告統整成一份報告來和hiring committee們討論offer結果。在找工作的過程中幾乎不太會和他們有互動，因此也沒有什麼太多值得注意的地方。

到底什麼是ML工程師？

• Research Scientist: 注重研究和學術層面，工作目標是研發新技術以發表論文和科學期刊為主，研究通常是離產品較遠但目光放得更長(3-5年以上)的項目。在為研究題目做假設和簡化過程比較不需要去顧慮到實際層面運用上的限制。
• Data Scientist / Data Analyst: 注重實務上的數據分析，通常具有統計的背景，處理的問題和實際的產品有關。例如: 為某個即將推出的功能設計A/B test的實驗，分析現有訓練數據的品質，根據產品的需要提出適當的模型來分析或是預測。。等等。
• ML Engineer / Research Engineer / Applied Scientist: 簡單來說就是具備ML知識的軟體工程師，實際的工作內容每個公司或甚至每個組都可以差異很大，處理的專案通常還是比較偏產品端，有相對較短的任務目標(1-3年)。本篇即是著重分享找尋這類型職缺的經驗。

• 有基本對於ML的認識，對幾種常用的古典ML方法或工具(例如: linear/logistic regression，SVM，PCA…)有所認識並了解他們的使用時機。
• 對Deep Learning各領域大致了解並熟悉至少一個子領域(Computer Vision/ Natural Language Processing/ Recommendation System…)並對該領域有名或最新的技術(<2年)有所了解。
• 有能力把一個實際的問題轉化成ML問題並提出可行的解決方法。
• 可以看懂 / 實作 / 改進 / 客製化已發表的期刊或論文。
• 懂得利用平行運算(例: MapReduce)的工具來處理大規模(Large scale)的資料。
• 了解研發一個ML系統具備有哪些要件和流程(例如: 資料搜集/儲存，模型訓練，表現評估。。。)。

Senior vs Staff?

• Senior: 通常被公司認為是一個可以穩定為公司產出的工程師，不會強力要求要持續進步並往下一個職等邁進，因此這是一個理論上可以一路待到退休的職等，要不要繼續升遷完全取決於個人對職涯的規劃，我有遇過能力很強的同事，選擇長時間待在這個職等以換取更好的work-life balance。這個職等的工程師除了本身的工作外，會直接影響到1-5個其他工程師的工作內容，領導的專案大致需要幾個月至一年的時間完成，在組裡為至少一個領域的專家(大家有什麼相關問題都會去找你)。
• Staff: 和Senior不同的是影響的人數擴展到10人左右。所謂的”直接影響”不只是“參與”一個多人的團隊，而是更接近於領導並推動一個多人的專案，制訂要完成的工作並指派團員去達成，推動的專案通常需要跨組或是跨部門的合作並需要一至多年的時間來完成，或是直接管理多人的團隊並成功達成一些目標。

面試實務層面

• Team match (hiring manager chat): 通常會有一到兩回這類型的面試，有的會發生在最剛開始，有的會是都過了hiring committee才做。主要目的是讓主管知道你的背景，看看適不適合，同時也讓你多了解未來的主管和工作內容。
• Behavioral (bar-raiser / cross-functional / experience): 在onsite interview中可能會有1-2關這類型的面試。主要目的在瞭解你過去的經驗，看看你和公司的文化契不契合，並從中衡量你過去參與或領導過的專案scope大小。在某種程度上，這關的內容會幫助決定最後的職等。
• Design (ML Design / System Design): onsite interview中可能會有2-3回合這類型的面試。個人覺得是整個面試裡面最重要的類型了，他不僅是考專業的技術問題，同時也幫助面試官衡量適合你的職等。
• Coding (AI coding / ML coding): 在phone和onsite interview都會出現，總共大概2-3回。主要就是考你寫程式解決問題的能力。對senior以上的職缺，這類型的面試算是測驗基本能力，需要表現得好，但通常不太會用這關的結果來決定職等。

Coding

• 給一篇跟Deep learning的論文，讓你讀完某一小章節，並用TensorFlow/PyTorch實現。
• 給一堆二維的點(x，y)，請推導piecewise regression (linear regression簡單版的變形) 的參數，並用Python實現該演算法。
• 請解釋sparse vector怎麼實現的(用什麼資料結構)，他們的一些運算(加減乘)是怎麼實現。
• 如果給你一堆資料夾裡面有很多video，請設計並實現一個在訓練模型可以用的data loader。
• 給你一個x的多項式，請你推導他的導函數並用數值分析的方法實現它。當x是高維度的向量時，同樣的問題會變成什麼答案。

• 不要浪費太多時間在自我介紹和問問題: 禮貌上，一開始面試官都會自我介紹也請你介紹自己，或問你有沒有什麼問題。請不要花過多時間講自己的豐功偉業，因為那完全不是這回合面試的重點。搞清楚面試的長度，如果東扯西扯把時間填滿導致最後code沒寫完，就算你講的是一些過去很了不起的成就，這關一樣是個fail。
• 在沒有和面試官確認前不要寫任何一行code: coding面試考的不只是你有沒有寫程式的能力，更包括了你有沒有辦法清楚的表達內心的思路，和別人溝通的能力。一聽到題目就埋頭開始寫，即使完全正確，對某些面試官來說其實是red flag。
• 在寫完之後不要直接說”我完成了”，而是提醒面試官你寫完初版了，請他和你一起瀏覽這些code並且逐步講解每行的作用。一方面是讓面試官能夠了解你的想法和實作內容，另一方面可以邊檢查有沒有發現bug並主動修改。
• 可以適當的簡化問題，但要讓面試官清楚你的假設: 有些時候一開始不能馬上想到解法，可以試著透過一些假設讓問題簡化，例如: 可能題目要你解k是所有正整數的狀況，但你可以先從假設k很小或是1的情況開始解。一方面可以幫助你思考，另一方面就算沒解出一開始的題目，能夠對問題做簡化並成功解完也算是能拿到部分的分數。但切記讓面試官了解你做簡化的過程及假設，不然很容易讓人覺得你難以溝通。
• 找同事或朋友幫你練習: 很多人沒有意識到自己悶著頭寫Leetcode跟有人盯著你要你邊想邊講邊寫是完全不同的兩回事。因此找朋友假裝當面試官幫你練習可以讓你習慣被面試的感覺。如果你覺得找朋友幫你聽很害羞又怕丟臉，相信我，真正面試時候的壓力和不適感只會更強烈。

Behavioral

• ”我接到的專案是一個離職的前輩交接給我的，該專案裡面的程式碼的開發者都已經聯絡不到，很多其他同事嘗試著想要接手但都失敗了，我臨危受命花了一個月的時間把他讀懂，重新整理並設計實現成新的套件，最後成功的達成專案目標.”
• “我負責主導一個團隊開發一個產品功能的技術，目標在XX發表會上展示，在發表會前兩個月，我們突然發現有另外一個團隊也在開發類似的技術，在短時間內我們必須要和他們合作進行技術的比較，並且達成最終產品要用誰的技術的共識…”

• 一開始用一兩句話講明這個故事證明了你的哪些特質跟經驗，尤其注意這些特質跟經驗是對準你想申請的職等。例如第一句就說: “我想分享的是之前身為一個超過X人專案主導者，在執行的過程中，如何和公司其他Y個部門合作，讓一個Z年計畫順利進行並為公司增加W營收的經驗。”
• 再來利用STAR原則把整個經驗的細節解釋清楚，提出證據讓人相信那些是你真正完成的事情。
• 最後再像開頭一樣用幾句話統整你達成的目標。

• 針對某些公司的題目或文化去做準備: 例如有些自駕車公司的文化特別重視”安全”，就可以想一下有哪些故事可以說明你是一個做事謹慎不求快，能完美達成目標的人。或是有的公司注重大膽創新，就想一下有沒有什麼經驗是你用非常規的方式解決遇到的問題。
• 說故事時要明確，不要吹噓不屬於自己的經驗: 有人可能會把某個專案講得很籠統，但面試官需要知道的是你在該專案裡扮演著怎麼樣的角色，是主導者? 發起者? 執行者? 還是其中一位工程師? 透過一系列的問題，其實很容易發現到底是不是在說謊。當然，如果你覺得你對同事甚至是主管做事的內容有足夠多的了解，悄悄的把一些經驗說成是自己做的可能也不一定會被發現，就看願不願意賭一把就是了。
• 掌控時間: 在回答問題的時候，注意時間並且察言觀色，不要講得太鉅細彌遺結果最後只答完一題。重點不是講多長，而是能不能讓面試官聽到他想聽的。寧願一開始講短一點，再視需要補充更多細節。

Design

• 需要多精準的方向判別? 例: 只需要左右方向的角度，還是同時需要距離?
• 需要多短的反應時間?
• 這個產品會被放置在什麼樣的高度?
• 需要考慮多隻狗的情況嗎？
• 我們有現有的訓練資料嗎？有預算可以請人標記資料嗎？有多少？
• 有需要分辨不同的狗種嗎？ 有需要分辨不同隻狗嗎？
• …

• 假設只處理一條狗的情況。
• 假設只需要顧慮左右的方向，不用判定遠近。
• 假設不需要分辨不同的狗或狗種。

• 討論要訓練一個object detection model需要的資料如何準備，要標記多少，如何搜集訓練資料，如何搜集評估的資料。
• 討論市面上有哪些不同的object detection models，他們的優缺點，你覺得哪個比較適合，為什麼?
• 要用什麼指標(offline/online)來評估系統好壞?

• 產品有沒有插電，需不需要考慮系統耗電量?
• 產品本身有沒有運算能力，有的話多強?
• 模型要直接在產品上面跑還是要把影像傳回伺服器跑?
• 如果套用既有的物件偵測模型會不會有data mismatch的問題? 有的話如何解決?
• 多隻狗的情況可能怎麼做? 需要應付關燈或黑暗的情況嗎？
• 產品有計劃推出什麼其他的功能嗎？例如: 偵測狗的行為，偵測危險狀況。。。
• …

• 面試前先查好面試官的背景，去閱讀面試官或該組最近發表的一些文章/論文/演講。系統設計的題目很多都來自於真正解決過的問題。
• 事前先整理好設計固定的流程，確認哪些是一定會要問的問題，並寫在小紙條上隨時提醒自己。
• 在一些分享考古題的網站多看一下別人遇到的問題，ML設計這類型題目的題庫比coding小很多，所以更容易撞題，但網路上也通常不會有詳細的答案所以要自己先思考並查好資料。
• 有自信地為自己的選擇辯護。這類型的問題通常沒有正確答案，即使面試官心目中有個答案，只要你能夠為你的選擇提出足夠的理由一樣不會有問題，因此不要畏懼地以試探的方式去猜面試官心中的答案。

結語

• 要自信但不自大: 展現出自信其實非常重要。你的自信會感染到面試官們，讓他們更相信你的能力，和你陳述的經驗。但請記得不要過頭了，不管你的能力多強，他們想找的是討人喜歡並在未來合作愉快的人，過度自大很有可能會讓人覺得你難以合作導致否定掉你優秀的能力。
• 面試官不是你的敵人: 有些人會以為面試官的目的在於把你考倒，但這其實完全是錯誤的。面試官只是想要透過和你的互動衡量的你能力和未來的工作表現。他們也希望有個互動舒服跟結果良好的面試。因此請把他們放在幫助和引導解題的角色上，如果卡住了，適度地尋求提示和協助不見得是件壞事。
• 面試是雙向的: 面試同樣也是你可以了解對方公司的機會，面試官有時候甚至可能是你未來的同事。他們的態度展現了部分公司的文化，他們本身的知識水平和能力也可以透露出這是不是一個可以持續成長學習的環境。因此請不要浪費這些機會，並準備好一些問題來獲得更多資訊。