備忘錄：關於Data Center Switch的一些想法與定位

Lightsaber Collection on Unsplash

幾個在網路通訊業界的朋友跟前輩最近出來創業，我自己是相信現在是網路通訊設備創新創業的好時機，特別是瞄準中型企業作微型資料中心所使用的交換機。

於是把想法寫成這個備忘錄，供自己未來參考。

風口是怎麼產生的？

在創新圈裡，有一個很有名的理論，叫做飛豬理論。這個理論的大意是說，只要站在風口上，連豬都能飛，但是要如何在起飛後幫自己加上翅膀才是存活的關鍵。

雖然是個有點自嘲的理論，但是點出了創新很重要的第一個關鍵：如何辨別趨勢（風口）。

我認為交換機市場目前正處在一個讓豬狂歡的風口，但為何是交換機這個傳統又基礎的設備變成風口了呢？以下這幾個外在的趨勢造成了這個風口。

軟體主導的典範轉移

交換機是個很特殊好玩的產業，實質上是個軟體產業，只是依附在特定用途的硬體上，這點跟很早軟硬體就分離的PC產業完全不同。

在PC產業，自從IBM開放了XT/AT架構後，從BIOS到作業系統都跟硬體徹底分離了，從而誕生出大大小小各自專注在硬體或軟體的公司。可是對交換機相關產業來說，狀況就不一樣了，從早期硬體功能不足、通訊協定跟狀態又有許多不同變化或相容性等等多樣化的條件，交換機市場一直都是以軟體來決定價值的產業。

而軟體是需要大量的時間與技術累積，所以在這個市場裡，除非有新的產業分支出現，例如電腦網路介面改變、無線網路興起等因素，導致使用習慣發生變化，否則很少會出現新的外來競爭者，大部分新創公司都是近親演化出來的。當然，市場規模跟PC產業不能比也是很大的原因啦，哈。

這個狀況跟行動通訊設備，特別是手機，非常類似。從最開始的類比一直到3G發展的初期，都只有通訊大廠或專精的代工廠才有能力參加遊戲，主要的原因就是軟體的穩定度跟累積的學習成本都很高，所以在那段時間，市場上只有少數品牌跟產品，而每個品牌有自己專用的軟體跟系統。雖然一直有廠商發起了聯盟或新的授權等方式，但一直到Android開放前，都沒能成功打破這個現象。

Android原始碼的完全開放是絕對是行動通訊產業的關鍵時刻。

藉由開放軟體的賦權，讓這個市場的進入門檻快速降低，有能力參加的廠商急遽增加。從一開始使用者介面的客製化，到中期在功能或規格上產生大幅差異化，整個市場活絡了，競爭多了，新的動態平衡開始了。結果就是跟不上的舊巨人開始倒下，新的品牌開始冒出。

類似的進程也在其他的通訊產業開始蔓延了，先是OpenWRT這類的開放軟體出現，釋放了無線路由器的潛力，進而改變了市場認知。舉例來說，身邊許多朋友，早期選擇華碩的無線路由器最大的原因就是因為RAM或FLASH等硬體規格好，所以買回來進行第三方軟體（如DD-WRT）的更新，這樣就可以拿到功能多、效能好又便宜的無線路由器，也是因為這樣的流行，讓華碩的無線路由器的佔有率快速提升。

開放原始碼當然也開始在交換機產品上出現了。從最早的浪潮開始，交換機開始使用特製的Linux作為作業系統，並且以此為基礎來使用軟體內建的通訊協定來降低自己的開發成本與週期，但這樣的方式除了大幅依賴晶片供應商不一定開放的硬體移植外，整個系統的架構還是為了PC設計的，要功能新增或錯誤修改都還是需要專業工程師與大量的時間來進行，所以對需要高度穩定需求的企業應用，例如設備機房，就不是那麼合用了。所以目前為止，開放原始碼還沒能徹底改變交換機這個行業。

當然，開放原始碼的推廣者也注意到這些問題，開始把特製的Linux變得更開放，也更客製了：專為交換機而改寫的Linux版本開始誕生了。這些版本針對高階通訊協定、不同於PC的客製化硬體與架構等議題進行了重新改寫，同時也希望藉由開放的特性來減少相容性與擴充性問題，雖然聽起來挺美好，可是如同Linux在電腦上的處境一樣，始終是玩家而非大眾的選擇。

雲端資料中心的大量建置改變了這個狀況，微軟為了成本與管理，在自家的AZURE雲建置的時候，開始採用、修改、發行並開放它們自己的特製版本（SONIC），這個舉動不但讓交換機軟體的穩定性與開發週期得到大幅的改進，也逼誘了晶片廠商開放了介面，讓交換機的軟體跟硬體有完全分離的可能。

歷史是不斷重複的，當初Android在手機產業成功的因素：開放的環境、開發門檻的降低與軟體與硬體的分離條件現在在交換機產業也出現了，你不覺得這是個因典範轉移而形成市場洗牌的大好機會嗎？

Data Center下凡間

以前在技術跟網路基礎架構剛開始發展的時候，要架設企業內部的網路通訊環境、EMAIL、檔案分享等IT架構，是件非常麻煩又昂貴但不得不做的事，每家公司內部都要規劃一個機房的空間作為內部的資料中心，當然架構上是豐簡由人，但基本上是逃不開自建這條路，哈。這樣的趨勢塑造出了一堆終端設備的興起，包含PC、檔案伺服器、SMB使用的網路設備等等大行其道。

後來基礎架構起來了，各式各樣的雲端服務開始蓬勃發展，人們開始爭執到底是要自建機房還是委外服務？時間過去了，當雲端服務的規模越來越大，功能越來越多，在管理跟實際成本的花費越來越低都變成了現實後，除了特殊目的外，建立自己的Data Center而非使用雲端服務變得越來越不合理了。

這造就了過往十年，大型資料中心開始一直設立的榮景。整個基礎架構的投資也開始從以往重視終端設備的發展轉變為集中於集中式的局端設備；更別說FAANG這類的雲端服務巨頭，在局端設備的投資跟建置花費的資源足以讓他們跳過傳統大型局端設備製造商進而自行發包，擅長電子代工的台灣廠商在這一波可是賺了不少呢。

但是近幾年對資訊安全的高門檻要求（如GDPR）開始讓跨國企業開始重新考量是否需要開始建立自己的資料倉儲中心；而近期的AI風潮又興起了一波新的高潮，大家都想利用AI增加效率，但是如果持續利用雲端服務來作AI的話，那公司內部的資料如何確保不會外流？公司內部的獨特的知識優勢或營運相關機密資料會不會就開始外流了呢？所以微型化的資料中心開始興起了，所謂的微型化資料中心可能是數個機櫃，位置可能放置在外部或是公司內部機房，專門存放需要快速反應或公司內部機密資料進行處理。

虛擬化改變了機房架構

在機房中，42U（機器高度單位）大小的機櫃是最常見的型態，但機箱中最少需要放置網路交換機、KVM、理線工具、UPS等等設備，一般留給伺服器的空間約為30U左右，但是再加上機房承重、散熱與電力（伺服器是很耗電的，加上備援電源，一台伺服器規劃1000W的電力預算是很常見的）等建置環境上的限制，一般一個機櫃最多也就大概放個二十台左右的伺服器。

以往CPU計算能力不強、多工處理技術也沒那麼麼進步的時候，一個機櫃上面伺服器的規劃可能是幾台規劃作HTTP伺服器並且作負載平衡，幾台作商業邏輯的計算，再搭配一個大型的硬碟陣列作資料農場，很多流量其實是透過機櫃上的交換機在機櫃的內部流動，所以在網路架構上會配一台Layer 2的交換機當作內部流量交換用（一般術語叫做Access Switch）；然後多台機櫃上的交換機上行串接到另外一台交換機（一般術語叫做Aggregation Switch），一如其名，這台交換機除了是把各機櫃上傳的流量作匯流交換外，常常也會把防火＼毒＼駭牆放到這裡，用來確保相關資料的安全性；最後會把多台的Aggregation Switch上行串接到骨幹網路上的交換機（一般術語叫做Core Switch），來跟Internet作資料交換，這就是所謂的三層架構。此外，機櫃上還很有可能安裝另外一台與資料交換頻段隔離的交換機，用來管理伺服器（包含BMC跟Server管理軟體），一般稱作OOB（Out of Band）交換機，這台交換機跟機房架構比較無關，順手提一下罷了。

所有的故事都一樣，時間過去了，技術進步了，舊的處理方法也就有新的作法可以選擇了。這次的故事是CPU的算力越來越多，只跑單一任務跟有限的資料量對大部分的伺服器已經是浪費了，在單一台伺服器上增加新的工作除了有效增加複雜度外也不一定能有效利用現有伺服器算力的壟餘。於是辛苦的工程師同胞就開始想，如果可以在一台伺服器的硬體上，同時間執行多個獨立的系統，讓這些算力可以被盡可能利用，那不但可以解決算力壟餘的問題，還可以少設備、電力跟耗損的支出了，這不就是個節能減碳救地球的好方法，對吧？這就興起了虛擬化浪潮。

迎來虛擬化後，對機櫃來說，影響可就大了，雖然實體上還是20台伺服器在櫃上，但實際同時可能有幾十台虛擬的伺服器在運作，資料的流向的比重開始從機櫃內部流動轉而傾斜到跨機櫃間流動，這樣的改變對常見的三層架構展開了挑戰。

首先出現的挑戰當然是人類永恆的追求，速度。對速度的要求可以分兩個大類：接口速度跟反應速度。

接口速度簡單，10G交換器市面上已經普及了，花錢就有，但是反應速度就比較麻煩。以往大部分流量都是在機櫃中流動，大部分的流量都不會出Access層的交換機，對反應速度需求的解決方案都是在如何優化前端伺服器跟相關環境；現在流量開始跨機櫃了，對於一個觀看網頁的需求，很有可能資料來源、運算、認證、http伺服器是橫跨多個機櫃的，資料的流向就可能會流經過兩三台交換器，增加反應時間。

伺服器的虛擬化又是另外一個挑戰，不管採取怎樣的技術來作虛擬化，總歸是共用同樣的CPU、同樣的網路線來連接，但對實體交換機來說，要交換的MAC/IP地址就有可能是倍數成長的；此外，伺服器都已經虛擬化了，那要搬遷伺服器不就可以不用勞師動眾的進機房鎖螺絲跟接網路線了嗎？只要在網路上動動手指改改設定應該就可以啦，不是嗎？

因應這些五花八門的新需求，在網路架構上把Aggregation Switch移除，讓網路拓普從三層的架構變成兩層看起來是最直覺方便的作法，這樣一來，所有跨不同機櫃的流量會經過的實體節點就都會是固定交換次數，而不是動態的次數，影響反應速度的因素減少了一個；再者，由於省略了中間層交換，Access Switch是直接連接到Core Switch上，每次要新增機器或機櫃的相關設定就變得非常簡單，拓展新設備的彈性提高了，這完全符合虛擬化下的管理需求。這個資料交換的架構，一般就稱做SPINE-LEAF，普及在虛擬化後中小型的資料中心。

舊架構？新需求！

如果你恰恰好是個經驗豐富的網路設備工程師，此時，你應該會跳出來一個疑問，這樣的架構以前常見呀，不就是在使用大型插卡式或多設備堆疊交換機的場景嗎？沒錯，SPINE LEAF就是聰明的網路架構師就把以前因為成本跟管理複雜度而少用的兩層架構再次利用。但是，時代不單單考驗青年，也一樣要考驗交換機，哈。以往兩層架構對交換機的考驗只是成本跟複雜度，現在多了虛擬化，那交換機要如何進步呢？

偏見：以管窺天 趨勢與新產品的機會

說了那麼多，還是簡單總結說說個人的看法作個總結，大概分成市場定位、產品規格跟商業模式三個構面來描述我個人對交換機新風潮的理想切入點。不過，在這之前有幾個前提要先說明一下，市場切入策略的前提是作為資源匱乏的新創來尋找利基市場，如果是資源充沛或有富爸爸的公司，策略跟作法當然會完全不一樣。

對新創來說，尋找利基市場不外乎兩種方法，在既有需求中切分出一個足夠大又不會太大的品類作努力；或是創造或滿足一種目前尚未被滿足或看到的需求。滿足新需求的成果大，但是風險也很高，目前交換機既然正處於變革的道路上，切分出一個新的品類應該是個可以嘗試的道路。

市場定位

既然是新創，如何集中資源而不發散的選擇產品跟戰場是最重要的題目，微型資料中心是個不錯的新市場切入點。落實到具體來說，到底我心目中需要自建微型資料中心，又是新創公司可能可以切入的客戶是哪些族群呢？首先一定是學術單位跟中大型醫療單位，這類的客戶本來就有大量的資料需要快速或保密的處理，並且對新產品有較高的接受度；再來是中大型企業與工廠，特別是製造業，面臨接下來能源成本與環保上的新限制，很多公司已經面臨到要將內部傳統機房變成虛擬化架構的極大壓力，正是導入新架構的時間點、當然，政府單位也面臨到一樣的壓力。金融銀行業雖然是最早導入虛擬化的群體，但是由於他們不缺錢也怕風險，一直都是一線大廠重點行銷對象，可能不適合新創公司初期經營。

對要建立微型資料中心的客戶來說，低階的交換機市場太多產品了，就算不說性價比，在功能上，低階的交換器也無法滿足SPINE-LEAF架構中的LEAF所需的功能，頂多當作OOB交換器來使用。同時，對於微型資料中心來說，由於機櫃跟對外頻寬的限制，對SPINE跟LEAF交換機的功能與速度並不會有太大的差異，所以初期產品應該以LEAF交換機作為主要的切入點，而不是目前大廠所定義具有100Gb以上速度的SPINE交換機。

產品規格

既然初步的產品是以LEAF交換機作為開始的切入，那就來看看規格應該怎麼開吧。

首先來說說速度，當然，在資源不虞匱乏的情況下，速度當然是能有多快要多快，但是實際上資源不可能是無限的，所以到底要多快才會達到成本性能比的甜蜜點呢？要回答這個問題，或許回過頭以伺服器的現狀回推是不錯的解方。

以DELL R760的伺服器規格來看，這是2023年使用第四代Intel Xeon處理器的主流高階2U伺服器，出廠時可以選擇最快的網路配置是四個10/25G網路孔，如果不夠使用就要利用PCI-E介面來擴充，不過受限於PCI-E的頻寬限制，超過兩個接口的100G外接卡目前也不常見，所以現在這階段，微型資料中心伺服器的主流規格應該還是在10/25G接口。所以對一般接口的設定要支援到10Gb，同時，為了架構上避免BLOCKING，上行接口的設定可以為100Gb。

從另外一個角度來看，對資料中心，不管是大型或是微型，備援都是很重要的選擇因素。對交換機來說，備援除了電源要能不斷電外，更重要的就是對伺服器的資料交換不能中斷，所以對交換機的軟硬體都會有一些要求，對硬體來說，第一個要求一定是具備高效率（80%以上）的可插拔的備援雙電源供應；其次，散熱也是個重要的因素，熱流與風扇的設計是需要強調的。另外硬體晶片上對於802.1Qbb/802.1Qaz這類的資料中心會遇到的優先交換權協定必須要支援（雖然我認為現在的10Gb Switch fabric不會有人沒作啦，哈）。

而對軟體來說，面對虛擬化架構，一台伺服器可能會虛擬出許多的伺服器並通過同一條網路線進行資料交換，所以同一台交換機的MAC地址跟VLAN TABLEs很容易被耗盡，要解決這個問題，需要支援VxLAN通訊協定，這個協定是利用UDP封包來增加傳統VLAN跟MAC地址的TABLE大小，交換機跟伺服器端都需要支援才會動作。

NVGRE（Network Virtualization Using Generic Routing Encapsulation）協定的作用跟VxLAN是一樣的，但是使用不同的底層通訊協定與機制，主要是使用在微軟的虛擬化軟體Hyper-X上，目前使用人數比較少，初期是可以忽略的。

另外一個常常跟VxLAN一起出現的通訊協定是EVPN，這個協定的主要目的是將遠方/異地的交換機利用Layer3的通訊協定（如BGP）綁定虛擬的通道（對，就是類似VPN），然後利用VxLAN來建立一個異地的Layer2交換架構，這個功能對於微型資料中心大部分時候是沒有使用場景的，在開發的初期可以忽略。

另外一個重要且需要實踐的通訊協定是M-LAG（Multichassis Link Aggregation Group），這個協定是讓伺服器可以將網路線連線到多台不同的交換機，萬一當其中一台交換機流量不足或失效的時候，可以即時進行流量上的備援。而且M-Lag也可以取代傳統的多台交換機實體堆疊（STACKING）功能，一方面可以免除堆疊時不同設備的相容性問題，也會增加管理上的彈性。

此外，類似Jumbo frame(用於VxLAN交換)、VRRP（路徑備援）、IGMP /MLD SNOOPING（用於減少虛擬環境流量）、LACP、MPLS、IP Routing這類傳統交換機都具備的功能，就不特別標出來了。

綜觀上面的要求，目前開放原始碼的SONIC都有支援，所以在硬體規格上需要能夠移植SONIC就好，由於運算量不是很高，CPU的選擇上要使用x86或是ARM/PPC/MIPS其實都可以，只要ASIC原廠支援就可以。

商業模式

傳統上會建立資料中心的團體，一定都會具有整體規劃與設定的能力。但是當架構虛擬化與微型資料中心同時發生的時候，事情就開始有點不太一樣了。

首先是需要建立微型化資料中心的組織，不一定具有複雜環境架構與設定的專業人員，這點好解決，花錢就好；其次，也是比較重要的問題是，虛擬化的設備規劃是一門新的學問，不能從傳統的設備架構的角度來看，也不能光從伺服器配置的角度來看，我知道，聽到我這樣說一定覺得我在虎扯，哈。

這裡我利用比較熟的VMWARE的虛擬化環境作個例子，在VMWARE的環境下，會透過一套叫做NSX的虛擬交換機把多台的虛擬伺服器的流量整合/拆分到實際的網路線上，但是NSX畢竟是軟體交換機，所以效能不能跟硬體交換機對比。

如果今天設計架構的人從伺服器架構配置的角度出發，把所有的伺服器、SAN通通規劃到一台虛擬交換機上，那整體的流量一定是低的可悲。又如果是從傳統設備架構的角度來規劃網路流量的備援，但卻沒有跟虛擬交換機的設定做好搭配，那這樣的流量備援也不會正確運作。但懂虛擬化又懂設備設置的人才，一般大型組織才會有需求，就算花錢也不一定會有。

第三，即使成功建立了微型資料中心，日後的維運呢？伺服器有虛擬化工具廠商建立的工具可以協助，但交換機？特別是SONIC這類的開放式架構，通常都只提供命令列（CLI）的方式來設定與維護，要能維持基礎架構的穩定，需要IT人員不少的時間來學習與試錯。

基於以上的假設，我會把新創公司的產品，由單純的設備製造販賣，轉變為提供整體服務的設備商；這並不是希望我們變成單純的系統整合商，而是希望仿效Ubiquiti作為有效方案的提供者。

理想中要如何達成這個目標呢？第一步是提供整合工具，例如具有友善使用者介面的多台交換器佈署、管理工具，並且與虛擬化軟體（如VMWARE、HYPER-VH）緊密合作、其次是提供潛在客戶虛擬化環境的規劃範本與早期建議。想達成這樣的銷售方式，在組織上需要建立軟體工具開發的團隊與了解架構的售前規劃。