2022年7月7日 星期四

逛Google機房,學資料中心設計:設備篇

1. 配電盤設在機櫃上方

供電用的配電盤設置在機櫃上方約1公尺高的軌道上,而且可以順著軌道移動。台達電子雲端技術中心資深處長翟本喬解釋,一般電力線設置在高架地板下,但遇到要移動機櫃、機櫃臺數改變或機櫃大小改變時,變動難度很高。而Google這個作法的好處是容易改變,明線設計也容易維修,缺點是電力線較長。預留的挑高空間,未來也能使用更高的機櫃或建造兩層樓的機櫃。


2. 置頂式水冷熱交換器


機櫃後方連結的鐵灰色通道就是熱通道。熱通道上方是水冷式的置頂式熱交換設備。台達電子雲端技術中心資深處長翟本喬表示,因為馬達效率比風扇效率好,同樣的熱透過空氣傳遞到100公尺外所需要的能量,遠高於用水載送所消耗的能量。一般採用冷通道或熱通道的機房PUE值可以達到1.7,若再搭配將水送到伺服器旁來冷卻設備的作法,可以比將冷風送到伺服器旁更能省電,送水到機器旁的作法可以再讓PUE值減少0.1~0.2。


3. 3合1機櫃,插滿自製伺服器


Google的機櫃是採用3合1設計,由3座機櫃併成一個大機櫃。每一櫃可裝28臺伺服器,整座大機櫃總共安裝84臺伺服器,而且Google會盡可能全部插滿伺服器。這種機櫃尺寸遠超過一般電梯的容量,必須在資料中心內設置大型貨梯。Google使用的是沒有機殼的自製伺服器,所有線路都集中到前方以便維修,機櫃供電插座也設置在前方。交換器安裝在機櫃上方,照片中每一座機櫃使用4臺交換器,每一臺伺服器都連結到不同的交換器上。Google用網路線的顏色來區分伺服器所連結的交換器,使用同一種顏色網路線的伺服器,就是連結到同一臺交換器。


4.Google自行設計伺服器


Google擁有上百萬臺伺服器,為了降低成本,也為了改善伺服器耗電,Google自行設計了自家使用的伺服器。採用個人電腦等級的零組件來降低成本,也沒有外殼。每一臺伺服器還內建了12 伏特的電池,以避免主電源斷電時還可以供電運作一段時間。維修人員可以直接抽換伺服器來更換損壞的設備,不需要中斷服務。


5.  特殊的熱風通道設計


這是Google資料中心使用的熱風通道內部,這張照片是在Mayes小鎮Google資料中心所拍攝的,不過,雷諾資料中心也採用相同的設計。
熱通道兩側就是機櫃背面,可以看到一排排伺服器的散熱風扇,而沒有任何管線,Googel將所有線路和電源都改到機櫃前方,人員就不需要進入熱通道中維修。
因為Google在熱通道上方安裝了置頂式冷卻系統,重量較重,所以熱通道設計了交叉支架來強化載重,另外為了讓機櫃底部的熱氣可以往上移動,所以熱通道寬度較寬,約有1公尺。
翟本喬表示,這是大型網路業慣用的作法,但企業伺服器數量少,不會使用這樣的設計,倒是可以改用水平式的空調系統,能直接提供冷空氣到機櫃底部,就可以減少熱通道的寬度,台達電子的經驗是熱通道只需要30公分就夠了。


6. 為遵循法規才用磁帶櫃


雷諾資料中心除了伺服器層和網路室以外,另有一間擺放磁帶櫃的房間。Google會將資料備份到磁帶機上,不過,台達電子雲端技術中心資深處長翟本喬表示,Google檔案系統自動會將資料備份3份,再加上伺服器也有備援機制,其實不需要將資料備份到磁帶機上,設置磁帶機只是為了符合老舊法規的要求,一般企業也可以將資料直接備份到硬碟中或直接備份到雲端。


7. 冷卻管線噴銀漆,強化隔熱效果


照片中的設備是位於冷卻水塔下的過濾設備,因為傳輸冷卻水的管線暴露在外部空氣中,Google除了用隔熱材質來包覆管線之外,還將管線噴上銀漆,翟本喬表示,這個作法可以更進一步減少太陽照射對冷卻水管線的加溫效果。 


資料來源: https://www.ithome.com.tw/tech/87704

沒有留言: