打造數(shù)據(jù)中心信息化布線的高可靠性

數(shù)據(jù)集中、SAN、云計(jì)算、10/40/100G運(yùn)用正引領(lǐng)我們整整的高帶寬時(shí)代，數(shù)據(jù)中心的高速物理鏈路也遭遇自綜合布線系統(tǒng)誕生以來空前的質(zhì)量要求。即便是有著豐富經(jīng)驗(yàn)的大型集成商、安裝商和供應(yīng)商，習(xí)慣了以往布線方式和檢測(cè)方式的他們也正開始經(jīng)歷一番“磨難”。特別是高速、高密度光纖鏈路的使用帶來了一些設(shè)計(jì)、安裝、驗(yàn)收、維護(hù)等方面的深刻變化。本文探討如何打造高可靠性的數(shù)據(jù)中心，并著重從測(cè)試的角度提供實(shí)現(xiàn)靠可靠性的保障方法，使得因布線問題造成的系統(tǒng)資源浪費(fèi)、低效運(yùn)行、停運(yùn)等造成的損失減到最小。

高可靠性的數(shù)據(jù)中心布線系統(tǒng)一方面意味著基本上不會(huì)出問題，即便出了問題也一定是應(yīng)用系統(tǒng)軟硬件的問題，但實(shí)際情形卻并不樂觀。CTEAM 2010年提供的數(shù)據(jù)表明，我國1000點(diǎn)以上的工程檢測(cè)報(bào)告的可信度在84%左右，不包括未進(jìn)行光纖二級(jí)測(cè)試(后述)的比例。加上此因素后則可信度在20%以下。另一方面，如果布線系統(tǒng)出現(xiàn)問題則需要盡快發(fā)現(xiàn)、定位并盡快解決。但在云計(jì)算系統(tǒng)中，低效的布線鏈路很難被即時(shí)發(fā)現(xiàn)，因?yàn)樗鼤?huì)被系統(tǒng)誤認(rèn)為是服務(wù)器資源的退化，進(jìn)而分配資源給其它服務(wù)器承擔(dān)計(jì)算工作，結(jié)果造成云系統(tǒng)中可能積累大量被錯(cuò)判的低效服務(wù)器，且這種誤判會(huì)持續(xù)相當(dāng)長(zhǎng)的時(shí)間，浪費(fèi)大量計(jì)算資源。

那么，如何才能打造一個(gè)高可靠性的數(shù)據(jù)中心信息布線系統(tǒng)呢？

打造高可靠的數(shù)據(jù)中心信息化布線系統(tǒng)始于規(guī)劃設(shè)計(jì)階段。除了選擇品質(zhì)過硬的產(chǎn)品和能支持靈活擴(kuò)容的方案，設(shè)計(jì)時(shí)預(yù)留適度備份(TIA942A要求4級(jí)的物理鏈路達(dá)到1:1備份)、采用電子(追蹤)標(biāo)簽、采用“結(jié)構(gòu)化可重敷管線槽系統(tǒng)”、注意電纜系統(tǒng)散熱處理、接地處理等措施可以大大減少系統(tǒng)可靠性降低的風(fēng)險(xiǎn)。設(shè)計(jì)任務(wù)書中應(yīng)標(biāo)明擬采用何種方式、標(biāo)準(zhǔn)等進(jìn)行驗(yàn)收檢測(cè)、選型測(cè)試、進(jìn)貨測(cè)試，在運(yùn)行維護(hù)階段如何采取措施保證標(biāo)簽準(zhǔn)確即時(shí)更新、保證定期檢測(cè)維護(hù)的周期和內(nèi)容得以具體落實(shí)，也是提高可靠性的有效手段。具體時(shí)間中，任務(wù)書的效力在逐漸遞減，這是需要解決的一個(gè)問題。

如果在施工管理階段實(shí)施進(jìn)場(chǎng)測(cè)試、入庫測(cè)試、隨工測(cè)試、監(jiān)理測(cè)試等流程控制，驗(yàn)收階段保證普遍實(shí)施光纖二級(jí)測(cè)試、銅纜外部串?dāng)_測(cè)試，使用維護(hù)階段保證實(shí)施開通測(cè)試、維護(hù)后恢復(fù)再認(rèn)證測(cè)試、擴(kuò)容升級(jí)拓?fù)鋬?yōu)化調(diào)整后再認(rèn)證測(cè)試，則系統(tǒng)可靠性可達(dá)高指標(biāo)。

甲方如何選擇并委托有資質(zhì)和經(jīng)驗(yàn)的監(jiān)理方、第三方檢測(cè)機(jī)構(gòu)來實(shí)施上述可靠性方案。目前在高可靠性特別是高密度數(shù)據(jù)中心布線系統(tǒng)工程中這還是一個(gè)尚未解決的難題。甲方如何就后續(xù)使用維護(hù)階段獲得持續(xù)的可靠性保障所需的人員、經(jīng)驗(yàn)、工具也基本上處于自我摸索階段。

其實(shí)，如何實(shí)施高可靠性項(xiàng)目已經(jīng)是一套比較成熟的理論和方法，以下部分就如何通過檢測(cè)來保障數(shù)據(jù)中心信息化布線系統(tǒng)的高可靠性進(jìn)行介紹，以期縮短這種“摸著石頭過河”不成熟期和高損失期。

如何避免開通應(yīng)用時(shí)鏈路誤碼率高的問題

【案例】一家網(wǎng)絡(luò)即時(shí)通訊公司租用電信機(jī)房作為數(shù)據(jù)中心，數(shù)十條萬兆鏈路開通時(shí)工作不穩(wěn)定，端口總有錯(cuò)誤，且時(shí)常重啟，由于光纖長(zhǎng)度70~100米，損耗只有大約2.5dB，故懷疑是10G光模塊問題，更換模塊和交換機(jī)主機(jī)后問題依舊。后經(jīng)過高解析度OTDR測(cè)試發(fā)現(xiàn)是中間誤用了一段35米左右的OM1光纖。更換OM3光纖后系統(tǒng)回復(fù)正常。

由于損耗測(cè)試合格，鏈路長(zhǎng)度不超差，故傳統(tǒng)的損耗測(cè)試(一級(jí)測(cè)試，Tier 1)在此不能發(fā)揮作用，必須引入二級(jí)測(cè)試(在一級(jí)測(cè)試的基礎(chǔ)上增加OTDR測(cè)試)，才能檢測(cè)是否有異質(zhì)光纖、連接點(diǎn)/熔接點(diǎn)損耗超標(biāo)、連接點(diǎn)/氣泡/裂紋/捆扎過緊是否有過強(qiáng)反射。為了識(shí)別1米跳線，OTDR最好使用事件分辨率指標(biāo)短于1米的。

【案例】電纜光纜混合系統(tǒng)，萬兆采用電纜，少量40G采用高密度OM4光纖系統(tǒng)。設(shè)備開通時(shí)誤碼率很高，超過50%的鏈路不能正常工作。開通前對(duì)電纜鏈路進(jìn)行過永久鏈路的驗(yàn)收檢測(cè)，但由于高密度40G設(shè)備使用了預(yù)端接的MPO光纜進(jìn)行連接，故沒有進(jìn)行檢測(cè)，后來發(fā)現(xiàn)萬兆問題是因?yàn)槭褂玫腃at6A跳線有質(zhì)量問題，串?dāng)_值非常高，MPO光纖因?yàn)榘惭b時(shí)不便清潔就只用氣囊吹了幾下，造成插座內(nèi)端面靜電灰塵沒有清理干凈，部分光纖芯損耗超過3.5dB，加上MPO跳線安裝前直接拆封沒有進(jìn)行清潔就插入設(shè)備，端面反射達(dá)到-17dB，誤碼率升高。

電纜跳線是最容易忽略質(zhì)量的地方，但卻是最容易處理好的地方。Cat6/6A一般不允許用戶自制跳線，原因是成品率不高。永久鏈路(PL)在驗(yàn)收時(shí)一般會(huì)做檢測(cè)，如果開通時(shí)只做通道測(cè)試(PC)，則可能因?yàn)樘�線水晶頭不合格但通道檢測(cè)合格致使鏈路誤碼率上升。數(shù)據(jù)中心中應(yīng)該將準(zhǔn)備投入使用的跳線都做預(yù)檢(PC)，以保障接入鏈路后100%能投入正常使用，這就是著名的不等式：PL+PC>CH。

由于跳線參數(shù)離散性很大，跳線測(cè)試需要居中性的Cat6A跳線適配器進(jìn)行檢測(cè)，以確保任何合格的PL鏈路都能接入使用。

由于長(zhǎng)度一般很短，光纖跳線測(cè)試需要使用高解析度的OTDR來測(cè)試，以便區(qū)分跳線兩端的反射(ORL)是否過高。測(cè)試時(shí)必須在跳線兩端加上一段發(fā)射補(bǔ)償光纖和接收補(bǔ)償光纖，以避開測(cè)試死區(qū)和仿真端接情形。高速光纖跳線測(cè)試重點(diǎn)關(guān)注回波損耗參數(shù)(ORL)，永遠(yuǎn)也不要認(rèn)為剛開封的跳線就一定是清潔無污損的。這對(duì)保證整條鏈路的高可靠性重要。

由于MPO光纖將12芯光纖預(yù)端接在一個(gè)MPO插頭/插座之中，普通的光纖測(cè)試儀不能直接進(jìn)行測(cè)試，致使部分用戶放棄現(xiàn)場(chǎng)檢測(cè)，這是嚴(yán)重降低高可靠性的“不良行為”。其實(shí)解決方法很簡(jiǎn)單，實(shí)施此類一般需要使用扇形跳線與光源/光功率計(jì)或OTDR相連進(jìn)行測(cè)試�；蛘咧苯邮褂肕PO測(cè)試插座的測(cè)試儀進(jìn)行測(cè)試。

如何避免驗(yàn)收測(cè)試不合格比例搞的問題

驗(yàn)收時(shí)發(fā)現(xiàn)大批量不合格是一件令所有參與各方都很尷尬的事情，最主要的原因有兩個(gè)：一是產(chǎn)品選擇不當(dāng)，二是施工質(zhì)量/工藝太差。第一個(gè)問題可以通過監(jiān)測(cè)試、入庫測(cè)試、進(jìn)場(chǎng)測(cè)試等手段完美地解決。第二個(gè)問題可以通過隨工測(cè)試、監(jiān)理測(cè)試等手段及早發(fā)現(xiàn)并即時(shí)解決。

T2測(cè)試如何幫助保證高速鏈路的質(zhì)量

T2測(cè)試(Tier 2)就是光纖二級(jí)測(cè)試，是在損耗測(cè)試的基礎(chǔ)上增加OTDR測(cè)試，并判斷是否有影響鏈路性能的“事件”。

低速鏈路不需要T2測(cè)試。這里1G速率是一個(gè)轉(zhuǎn)折點(diǎn)，從1G開始特別是進(jìn)入10G、40/100G高速鏈接后對(duì)光信號(hào)的色散和損耗都比較敏感。由于色散的測(cè)試現(xiàn)場(chǎng)存在實(shí)施困難和精確度問題，目前建議采用變通的方式來進(jìn)行測(cè)試。TIA568C中增加了使用OTDR對(duì)連接點(diǎn)、熔接點(diǎn)的損耗進(jìn)行檢測(cè)，并提出了最低值極限要求。在通用光纖標(biāo)準(zhǔn)中要求中增加了光回波損耗測(cè)試的要求(分為-35/-40/-55dB三檔，對(duì)應(yīng)不同的連接器類型要求)。需要特別指出的是，由于數(shù)據(jù)中心光纖使用較短，跳接較多，一般的OTDR不適用與這種測(cè)試場(chǎng)合，而要求使用事件死區(qū)短于1米的OTDR，這樣才能檢測(cè)可能被使用的1米跳線是否存在問題。

高密度短鏈路測(cè)試的特殊問題

如上所述，高密度MPO光纖的損耗測(cè)試需要使用扇形測(cè)試跳線(fan-out cord)，或者直接使用具備MPO測(cè)試插座的測(cè)試儀進(jìn)行測(cè)試。

跳線級(jí)測(cè)試：光纖、電纜

光纖鏈路誤碼率高最大的原因是光纖端面污損

端面污損占據(jù)光纖鏈路檢測(cè)不合格比例90%以上。由于面板/配架插座不注意防塵，引起損耗增加。由于跳線多位凸出設(shè)計(jì)，非常容易收到灰塵特別是指紋的污染。高速光纖對(duì)損耗和反射非常敏感，因此高速光纖與低速光纖安裝時(shí)的習(xí)慣要求差異大，接入前必須堅(jiān)持端面檢查和清潔流程。此時(shí)在低速光纖安裝中長(zhǎng)期積累的一些“不良經(jīng)驗(yàn)”不再適用，比如默認(rèn)新開封的光條線一定干凈無污損的、使用一些噴霧自動(dòng)清潔劑、使用氣囊代替用清潔劑進(jìn)行清潔、使用帶纖維殘留的清潔布/棉簽等。

定期檢測(cè)、視情檢測(cè)、再認(rèn)證與高可靠性

高可靠性的最基本要求就是a)不出或少出問題(防止問題)，b)除了問題能即時(shí)解決(快速解決問題)。由于布線系統(tǒng)經(jīng)常存在增刪、擴(kuò)容、拓?fù)浣Y(jié)構(gòu)改變、速度升級(jí)等必要活動(dòng)，定期檢測(cè)和視情檢測(cè)向結(jié)合是防止信息化問題發(fā)生的最佳方法。一般建議1.5-2年需對(duì)布線系統(tǒng)進(jìn)行輪測(cè)，而對(duì)于變動(dòng)、開通、升級(jí)、擴(kuò)容、故障后恢復(fù)等活動(dòng)則進(jìn)行再認(rèn)證、視情檢測(cè)相結(jié)合的方法實(shí)施檢測(cè)。

【小結(jié)】

高密度數(shù)據(jù)中心信息化布線系統(tǒng)對(duì)可靠性要求非常高。這是保證系統(tǒng)運(yùn)行效率、減少低效運(yùn)行、停運(yùn)、故障持續(xù)時(shí)間帶來的巨額損失的最基礎(chǔ)指標(biāo)。高可靠性從規(guī)劃設(shè)計(jì)階段就要開始質(zhì)量保障流程的落實(shí)，進(jìn)而在選型采購、安裝調(diào)試、檢測(cè)驗(yàn)收、使用維護(hù)個(gè)階段引入靠可靠性保障措施。檢測(cè)方法、時(shí)機(jī)、手段在各階段中起著最核心的作用。

服務(wù)器租用/服務(wù)器托管中國五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]