【主題連載】資料中心網路(2)

2020/08/26

資料中心網路-2-基本規格與概念

面對資料中心伺服與儲存端的網路連接,客戶採購新設備伺服與儲存已經普遍加購10G或更高速乙太網路界面;這一系列精技電腦企業解決方案訊息公告將開始針對精技電腦有販售的品牌網路產品進行說明,針對代理伺服器/儲存設備品牌DELLEMC、HPE、Lenovo數據中心資料網路關聯的網路設備產品。

 探討內容包含Data Center Switch,品牌產品系列 DELLEMC PowerSwitch S-Series,Lenovo Ethernet RackSwitch NE-Series,HPE StoreFabric M-Series。

 
第二章 針對常見的規格說明;延續第一章規格問題

●規格&需求:伺服器/PC/儲存設備常見相關問題與規格名詞說明

   ●連接埠port數量?前計算網路連接埠port數量用一個蘿蔔一個坑(port)就大約可以算出來需要的port數。
圖示Lenovo NE1032為例,Lenovo 網站標示規格: https://lenovopress.com/lp0605.pdf 產品網站標示


Interface Configurations 32x 10Gb Ethernet SFP+ ports [32x SFP/SFP+ ports to attach SFP/SFP+ transceivers for 1 Gb or 10 Gb Ethernet connections or DAC cables and AOCs for 10 Gb Ethernet connections.] 代表著可以安裝32個 SFP(1G)或SFP+(10G)型式的接頭(接到伺服器Server、儲存設備Storage、上行端的交換器);或者是帶線的接頭DAC/AOC型式連接。SFP/SFP+型式的port大小相同是113.9 mm2 (平方公釐),如上圖比例尺。

圖示DELLEMC S5148為例,截取DELLEMC原廠型錄規格

•1RU high-density 25/10/1 GbE ToR switch with up to forty eight ports of native 25 GbE (SFP28) ports supporting 25 GbE without breakout cables

Multi-rate 100GbE ports support 10/25/40/50 GbE S5148可以接48個SFP(1G)/SFP+(10G)/SFP28(25G)這三種速度的接頭(視接頭速度種類不同)6個100GQSFP28埠,QSFP28埠適用於40/100GbE速度接線。如果採用Splitter Cable/ breakout cable(俗稱1對2或1對4線材) 可以將100G分成多條不同速率連接。

port速度、埠port型式、連接線與SFP接收器接頭型式?
詳請參考
Mellanox 網站 Mellanox Cable Management Guidelines and FAQ - Cable and Connector Definitions
https://docs.mellanox.com/display/CABLEMANAGFAQ/Cable+and+Connector+Definitions 這份文件對於接頭與光纖線說明非常詳細。

對於10-25/40-100GbE 之間的關係引用sina.org資料圖示說明


舉例企業常見規劃伺服器網路速度考量10G SFP+ 網卡已經應用多年,接到資料中心交換器,交換器對交換器使用40G QSFP+或更高速界面互聯或堆疊。
伺服器10/25G網卡價格客戶已經可以接受,採用10/25G接到資料中心交換器,交換器對交換器使用100G QSFP28互聯。
交換器採用Splitter Cable/ breakout cable)將40G QSFP+分成4*10G(40Gbe=4x10Gb/s)或100G QSFP28分成4*25G(100Gbe=4x5Gb/s)。

參考資料來源 John F. Kim Mellanox Technologies  Benefits of 25,40, and 50GbE Networks for Ceph and Hyper-Converged Infrastructure
對於伺服器端網卡列舉三個品牌資源參考

Intel https://www.intel.com/content/www/us/en/products/network-io/ethernet/10-25-40-gigabit-adapters.html
Mellanox
https://www.mellanox.com/products/ethernet/connectx-smartnic    
Broadcom
https://www.broadcom.com/products/ethernet-connectivity/network-adapters

●DAC接頭纜線與一對多纜線Splitter Cable/ breakout cable


圖左:OM4 LC-LC接頭 光纖線
圖右:OM3/OM2 LC-LC接頭 光纖線

上圖:SFP接頭與光纖線組合
下圖:採用一體成型DAC線組
(另一頭也是一樣)

Duplex LC 接頭, 接到 SR SFP/SFP+ Female MPO接頭 接到SR4 QSFP
Mellanox MC6709309 MPO to LC Splitter Cable/ breakout cable Mellanox MFA2P10-A003 Active Optical Cable (25GbE SFP28)









































 


Direct Attach Cable DAC(直連電纜) 與 Active Optical Cables AOC(有源光纜)差異
DAC:電<對>電的信號,通常纜線長度不會太長是固定長度,價格較AOC便宜。
AOC:光信號,AOC不受電磁干擾,比較輕巧。


     ●Q:可不可以接兩條線傳比較快? 接多台而且要多條備援?
            
這個要看伺服器端或交換器端而且牽涉到作業系配置。


以DELLEMC VxRail vSAN 超融合架構下為例;左邊的交換器接到各節點網埠uplink1,2是負責管理與VM服務工作,兩路互為備援。右邊的交換器接到各節點網埠uplink3,4是負責vSAN資料管理服務工作,兩路互為備援。


    Q:伺服器,儲存設備,網路連接都要HA高可用?
           
上題表達了伺服與儲存端的雙重連接,如果考量到雙網路交換器架構下,應該要調整分散在兩台。如下圖。

 

 

 

     ●Q:虛擬網路VLAN是什麼?
           接上題的架構,無論是交換器或虛擬化架構下,會採取區分不同網路流量,
 
           VLAN可以做到這功能,流量區分不同VLAN要能夠帶到上行的交換器。
          不同VLAN用網路第二層的Tag標籤來識別與阻隔資料傳遞。
          隨著虛擬化的應用VM數量增加相對應的VM 所產生與耗用更多的MAC地址有可能需要可以處理更
          大容MAC的交換器
 或者是採取不同的設架構或者有多重的資料中心網路彈性的變化,
          例如更大型的架構方案overlayer/underlayer網路,VLAN結合VXLAN….等方案。

    
     ●Q:虛擬機VM資料傳輸網路夠用嗎?
           有許多考量因素以虛擬化系統考量大致可分為以下幾點配置網路時,請考慮以下最佳做法。

  1. ‧ 將主機管理,vSphere vMotion,vSphere FT等網路相互隔離,以提高安全性和性能。
    ‧ 將單獨的實體NIC專用於一組虛擬機,或使用網路I / O控制和流量整形來保證虛擬機的頻寬。這種分離還可以使整個網路工作量的分佈在多個CPU上。然後,隔離的虛擬機可以更好地處理例如來自vS??phere Client的應用程序流量。 
  2. ‧ 要將實體上的網路服務分開,並將一組特定的NIC專用於特定的網路服務,請為每個服務創建vSphere標準交換機Standard Switch或vSphere Distributed Switch。如果無法實現,請將單個網路服務附加到具有不同VLAN ID的端口組來分離單個網路服務。在任何一種情況下,請與網路管理員確認所選的網路或VLAN與環境的其餘部分是隔離的,並且沒有路由器連接它們。
    ‧ 將vSphere vMotion連接保持在單獨的網路上。使用vMotion進行遷移時,客戶機操作系統內存的內容將通過網路傳輸。您可以通過使用VLAN劃分單個實體網路,也可以使用單獨的實體網路(最好使用後者)來實現。
    ‧ 為了保護您最敏感的虛擬機,請在虛擬機中部署防火牆,這些虛擬機在具有上行鏈路的虛擬網路之間路由到物理網路以及沒有上行鏈路的純虛擬網路。
    ‧ 連接到同一vSphere Standard Switch或vSphere Distributed Switch的實體物理網路配置也應連接到同一實體網路。
    ‧ 在vSphere Distributed Switch中的所有VMkernel網路適配器上配置相同的MTU。如果將配置有不同MTU的多個VMkernel網路適配器連接到vSphere分佈式交換機,則可能會遇到網路連接問題。並請確認伺服器網路端口MTU數值與交換器端口匹配。

     

     ●Q:網路虛擬化?
       
請詳見VMware網站說明
       
https://www.vmware.com/tw/topics/glossary/content/network-virtualization.html 


以上相關各項將連載說明於精技電腦網站企業解決方案訊息公告。
以上各品牌與商標屬各廠家所有,引用資料來源與相關資源參考如下附註
DELLEMC PowerSwitch產品網站
https://www.dell.com/en-us/work/shop/servers-storage-and-networking/sc/networking-products
HPE  M-Series Switch QuickSpec
https://h20195.www2.hpe.com/v2/gethtml.aspx?docname=a00021858enw
Nvidia Mellanox OEM 產品網站
https://www.mellanox.com/oem/hpe/products_switches_m-series
Lenovo Etherner RackSwitch 產品網站
https://www.lenovo.com/us/en/data-center/networking/ethernet-rackswitch/c/ethernet-rackswitch
VMware vSphere 7.0 Networking Best Practices
https://docs.vmware.com/en/VMware-vSphere/7.0/com.vmware.vsphere.networking.doc/GUID-B57FBE96-21EA-401C-BAA6-BDE88108E4BB.html
MPO/MTP 光纖連接線補充說明
https://www.thefoa.org/tech/connID.htm 光纖接頭 (The Fiber Optic Association, Inc.)
https://www.usconec.com/featured-products/mtp-solutions-universal-hardware (USCONEC MTP專利產品公司)

John F. Kim Mellanox Technologies  Benefits of 25,40, and 50GbE Networks for Ceph and Hyper-Converged Infrastructure 2016 SNIA DSI Conference
https://www.snia.org/sites/default/files/DSI/2016/presentations/stor_networks/JohnKim_Benefits_25-40_50Gb_Networks_V2.pdf

本網站使用cookie分析和其他追蹤技術為您提供更好的用戶體驗。 通過使用我們的官網,您確認並同意我們的cookie政策。 更多關於cookie或更改cookie設置的信息,請閱讀精技電腦股份有限公司的Cookie政策我同意
線上報修流程說明 Top