转自架構師技術聯盟
一、資料中心網路架構設計原則
網路是資料中心最重要的組成部分，主要由大量的二層存取設備和少量的三層設備組成的網路結構。以前，資料中心的網路規模普遍不大，網路透過數十台設備簡單互連就可達到互聯互通的目的。而現在，資料中心對網路的要求越來越高，為了滿足各種應用，網路架構也需要及時調整，網路架構經歷了多種多樣的變化。在一個資料中心建置過程中，網路架構是重要部分，架構設計的好壞直接決定了資料中心資料轉送效率和可靠性。

（1）可擴展性
為適應業務的發展、需求的變化、先進技術的應用，資料中心網路必須具備足夠的可擴展來滿足發展的需要。如採用合理的模組化設計，盡量採用連接埠密度高的網路設備、盡量在網路各層上具備三層路由功能，使得整個資料中心網路具有強大的路由擴充能力。功能的可擴展性是資料中心網路隨著發展提供增值業務的基礎。
（2）可用性
包括網路設備和網路本身的冗餘。關鍵設備均採用電信級全冗餘設計，採用冗餘網路設計，每個層級均採用雙機方式,層次與層級之間採用全冗餘連接。提供多種冗餘技術，在不同層次可提供增值冗餘設計。
（3）靈活性
靈活的目的是實現可根據資料中心不同使用者的需求進行定制，網路/設備能夠靈活提供各種常用網路介面、能夠根據不同需求對網路模組進行合理搭配。
（4）安全性
安全性是資料中心的使用者最關心的問題，也是資料中心建置的關鍵，它包括實體空間的安全控制及網路的安全控制。
二、資料中心網路組網設計
（1）Fabric網絡

隨著雲端運算的發展，在資料中心網路中伺服器虛擬化技術廣泛應用，但伺服器在遷移時，為了確保遷移時業務不中斷，就要求不僅虛擬機的IP位址不變，而且虛擬機的運作狀態也必須保持原狀（例如TCP會話狀態），所以虛擬機器的動態遷移只能在同一個二層域中進行，而不能跨二層域遷移，這就要我的二層網路夠大。而傳統的二層技術，不論是透過縮小二層域的範圍和規模來控制廣播風暴的影響範圍或是阻塞掉冗餘設備和鏈路來破環，網路中能夠容納的主機數量、收斂性能以及網路資源的頻寬利用率對於資料中心網路而言是遠遠不夠的。
M-LAG（Multichassis Link Aggregation Group）即跨裝置鏈路聚合組，是一種實現跨裝置鏈路聚合的機制，將一台裝置與另外兩台裝置進行跨裝置連結聚合，從而將連結可靠性從單板級提高到了設備級。對二層來講，可將M-LAG理解為一種橫向虛擬化技術，將M-LAG的兩台設備在邏輯上虛擬成一台設備，形成一個統一的二層邏輯節點。 M-LAG提供了一個沒有環路的二層拓撲同時實現冗餘備份，不再需要繁瑣的生成樹協定配置，極大的簡化了組網及配置。這種設計相對傳統的xSTP破環保護，邏輯拓樸更加清晰、連結利用更有效率。
（2）Overlay網絡

Overlay在網路技術領域，指的是一種網路架構上疊加的虛擬化技術模式，其大體框架是對基礎網路不進行大規模修改的條件下，實現應用在網路上的承載，並能與其它網絡業務分離，並以基於IP的基礎網路技術為主。其實這種模式是以對傳統技術的最佳化而形成的。
針對前文提出的三大技術挑戰，Overlay在很大程度上提供了全新的解決方式。
①針對虛機遷移範圍受到網路架構限制的解決方式
Overlay是一種封裝在IP封包之上的新的資料格式，因此，這種資料可以透過路由的方式在網路中分發，而路由網路本身並無特殊網路結構限制，具備良性大規模擴展能力，且對設備本身無特殊要求，以高效能路由轉送為佳，且路由網路本身俱備很強的故障自癒能力、負載平衡能力。
②針對虛機規模受網路規格限制的解決方式
虛擬機器資料封裝在IP封包中後，對網路只表現為封裝後的的網路參數，即隧道端點的位址，因此，對於承載網路（特別是接取交換器），MAC位址規格需求大幅降低，最低規格也就是幾十個（每個連接埠一台實體伺服器的隧道端點MAC）。
③針對網路隔離/分離能力限制的解決方式
針對VLAN數量4000以內的限制，在Overlay技術中引入了類似12比特VLAN ID的用戶標識，支援千萬級以上的用戶標識，並且在Overlay中沿襲了雲端運算「租戶」的概念，稱之為Tenant ID(租戶識別)，以24或64位元表示。針對VLAN技術下網路的TRUANK ALL(VLAN穿透所有設備)的問題，Overlay對網路的VLAN配置無要求，可以避免網路本身的無效流量頻寬浪費，同時Overlay的二層連通基於虛機業務需求創建，在雲端的環境中全域可控。
（3）Spine+Leaf網絡

Spine+Leaf兩層設備的扁平化網絡架構來自CLOS網絡，CLOS網絡以貝爾實驗室的研究人員Charles Clos命名，他在1952年提出了這個模型，作為克服電話網絡中使用的機電開關的性能和成本相關挑戰的一種方法。 Clos用數學理論來證明，如果交換器按層次結構組織，在交換陣列（現在稱為結構）中實現非阻塞性能是可行的，主要是透過組網來形成非常大規模的網絡結構，本質是希望無阻塞。在此之前，要實現“無阻塞的架構”，只能採用NxN的Cross-bar方式。存取連接的數量仍然等於折疊後的三層CLOS網路架構的Spine與Leaf之間的連接數，流量可以分佈在所有可用的連結上，不用擔心過載問題。隨著更多的連接被連接到Leaf交換設備，我們的鏈路頻寬收斂比將增加，可以透過增加Spine和Leaf設備間的鏈路頻寬來降低鏈路收斂比。
Spine+Leaf網路架構的另一個好處是，它提供了更可靠的網路連接，因為Spine層面與Leaf層面是全交叉連接，任一層中的單交換器故障都不會影響整個網路結構。因此，任一層中的一個交換器的故障都不會使整個結構失效。
（4）BGP EVPN

EVPN是基於BGP協定的技術，需要部署在網路交換器上。這表示網路交換器需要作為VTEP節點，進行VXLAN封裝。伺服器透過介面或VLAN存取網路交換器。這些介面或VLAN會對應到對應的廣播域BD，同時BD也會綁定一個EVPN實例，透過EVPN實例間路由的傳遞實現VXLAN隧道的建立、MAC學習。透過BGP EVPN在兩個資料中心內部各建立一段VXLAN隧道，資料中心之間再建立一段VXLAN隧道，可實現資料中心互聯。
三、資料中心網路的發展趨勢
資料的集中處理、儲存、傳輸、交換和管理無一不是在建構數位經濟的基礎設施。網路技術驅動資料中心網路從以「資料」為中心發展到了以「算力」為中心。相較傳統的資料中心網絡，現代大規模資料中心網絡在架構、技術上和運維都發生了巨大變革，主要表現在：
（1）網路頻寬加速發展，建構高效能網絡
網路支撐業務的底層連接，將網路設備上從管理平面、控制平面和資料平面分離，軟體定義網絡，以軟體集中管理設備簡化資料平面，讓網路更智能，更簡單。以先進的網路架構，實現線上和離線對業務網路的互聯互通，靈活調度網路流量滿足個人化業務需求，建構高頻寬、低時延高效能網路才能滿足日新月異的網路業務要求。
（2）高密度異質運算集群，大規模彈性擴展
資料中心網路將從交換器網路趨向以資料互聯I/O為中心的架構，透過技術和規模彈性給予使用者低成本，高可靠的網路資源。提供更安全，穩定的網路基礎設施，根據業務需要彈性擴展，以更簡單的方式降本提效是下一代資料中心網路發展的指導原則。
（3）降本提效，實現智慧視覺化運維
網路成本的最佳化，是許多網路業務發展不可或缺的一環。相較於傳統網路架構，大規模資料中心網路架構透過使用單晶片box設備進行建置資料中心網絡，降低能耗，解決能耗瓶頸，同時在電力、散熱、空間成本上進行降本提效。同時，隨著網路規模不斷擴大，人工維運不再現實，自動化運維部署，軟體功能自動升級及故障自動告警，恢復等成為許多廠商設備建設資料中心努力的方向。

原創 不信邪的實幹家 ESG與企業管理
上個世紀80年代，思科系統這家剛起步的公司在多個業界巨頭的眼皮底下搶走了網路設備市場。該公司的誕生歷程以及打敗巨頭的方式生動地表明了，在變革大潮中急流勇進、趨利避害的力量是何其強大。思科公司所利用的變革大潮包括軟體逐漸成為一種關鍵技術、企業資料網路的成長、IP網路的興起以及公共網路的爆炸性發展。

在1980年代早期，史丹佛大學電腦設備管理中心的主任拉爾夫·戈林希望能找到一種方式，把蘋果、Alto、DEC品牌的電腦以及多個印表機連接成一個網路。為了對資訊進行編碼，每個類型的電腦網路都使用不同的電線、插頭、時序，最重要的是有不同的專有協定。戈林要求找到一種方法，把這些專有網路連接起來。史丹佛大學的教師安迪·貝希托爾姆斯姆海和威廉·耶格爾最終共同拿出了解決方案，共同編寫了被稱為「藍盒子」的路由軟體。這是當時第一台能辨識不同傳輸協定的路由器。

史丹佛大學的另外兩位教師倫納德·博薩卡和姍蒂·勒娜開始對「藍盒子」進行重新定義，並在改進的基礎上創辦了思科系統公司。 1987年，思科公司為了與史丹佛大學脫離關係，獲得了對其發明的軟體的所有法定權利，接受了史丹佛大學提出的苛刻條件:向史丹佛大學支付167000美元，並承諾史丹佛大學購買思科產品時享受打折優惠。當時人們普遍認為思科公司可能會把它所發明的“藍盒子”，即我們今天所說的路由器銷售給其他大學的研究機構，但沒有人預料到思科公司會因此而大賺一筆，肯定也沒人預料到思科公司會在2000年一躍成為世界上最有價值的公司。

1988年，創投機構為思科公司注入了第一筆風險資本，之後不久，思科公司的管理階層被職業經理人取代。 1988-1995年，約翰·莫里奇出任思科公司的首席執行官，接替他的是約翰·錢伯斯。這兩位執行長指引著思科公司充分利用了推動產業變革的強大力量。 1988-1993年，思科同時駕馭了三股變革潮。思科將硬體製造業務外包了出去，專注於軟體、銷售和售後服務，對此拉爾夫·戈林評價說:

思科巧妙地銷售了能夠插在牆上、有風扇而且能發熱的軟體。

思科在早期發展階段所利用的第二個變革潮是企業網路的興起。就像史丹佛大學希望把電腦設備連成一個網路一樣，許多企業都發現越來越有必要把基於不同協議的大型主機、個人電腦和印表機連成網路。而思科路由器能夠處理多種協議，因此產品需求量日益攀升。

思科利用的第三個變革潮是IP網路的興起。 1990年，大多數網路協定都是由企業贊助研發的，都歸企業所有。例如，IBM公司擁有系統網路體系，DEC公司擁有DEC網絡，微軟擁有網路基本輸人輸出系統，蘋果公司擁有對話網，施樂公司研發了乙太網路等。相較之下，網際網路協定是在1970年代晚期，為了處理網路的前身-阿帕網路上的資訊而出現的。互聯網協定是純邏輯性質的，沒有電線和連接器，也沒有時序和硬體要求。此外，它是免費的，不是哪一家公司的專有產品。隨著企業開始將相互獨立的電腦連成網絡，企業的IT部門也逐漸看到了廠商中立協議的價值。於是，越來越多的企業開始把網際網路協定當作主幹網路協議，思科公司也開始以網際網路協定作為其路由器的中樞協定。

至關重要的一點是，電腦產業中現有的幾個巨頭都沒有大舉進軍這個市場，因為每個巨頭都有自己的專屬網路協議，誰都不願意完全放棄。此外，每個巨頭都不願製造路由器，因為路由器會讓競爭對手的裝置進入自己的網路。

如果說三次變革潮還不夠，那麼1993年出現的變革可以說是為思科公司幾乎爆炸性的發展提供了重大機會。當時網路逐漸崛起，在民眾之間的普及程度大大提高。在企業內部，電腦使用者突然想連上網路了。不只是透過數據機撥接上網，還希望直接接取永久線上的IP骨幹網路。隨著大學和企業奮力實現這個目標，網際網路協定贏得了爭奪內部網路標準的競爭，思科公司的路由器一舉佔領了企業網路市場2/3的份額。同時，網際網路骨幹網路上的資訊量急劇增加，而思科公司早已捷足先登，為網路市場提供了能夠高速、大規模處理資料的路由器。哪裡有競爭壁壘，思科公司就繞道而行，巧妙地躲開了這些壁壘。 1992一1994年，思科公司與IBM公司展開合作，在其路由器中增設了對IBM公司SNA協議的支持，同時也和美國電話電報公司等企業展開合作，以確保自己的設備支持電信產業的各種協議，包括異步傳輸模式和幀中繼。

在檢視一個企業的成功經驗時，許多人會問:「其成功當中有多少是技術的因素，又有多少是運氣的因素呢?」思科公司的案例生動地說明了，各種力量的融合產生的作用比單純的技術或運氣強大得多。如果沒有幾次席捲電腦和電信業的強而有力的變革大潮，思科公司估計還只是一家在利基市場上努力求生存的小公司。思科公司的管理者和技術人員善於發現並利用這些變革大潮，而且很幸運地沒有犯下任何致命的錯誤。反管，思科公司的主要競爭對手IBM公司在經過長達13年的反托拉斯訴訟之後，拳頭正在逐漸縮回。正是在此時，網路應運而生，加速了思科公司的發展。而且當時業界的多個巨頭由於種種原因而備受掣肘，其中包括它們自身的慣性，還包括它們採取了僅僅支持某一個協議或專有協議的戰略。最後，變革的速度之快也是其中的因素。