機房運維：核心機房電源中斷應急預案

發(fā)布時間：2019-01-02 來源：卓運信息工程有限公司

核心機房電力的保障一直是維護體系的頭等重要事項，通過實施應急發(fā)電演練，建立了可靠的應急預案機制，大限度的降低電源中斷對網(wǎng)絡傳輸質量的影響?，F(xiàn)分享核心機房電源中斷應急預案，希望分公司盡快建立一套統(tǒng)一指揮、職責明確、反應迅速、處置有力的機房安全保障機制。

核心機房電力的保障一直是維護體系的頭等重要事項，通過實施應急發(fā)電演練，建立了可靠的應急預案機制，大限度的降低電源中斷對網(wǎng)絡傳輸質量的影響?，F(xiàn)分享核心機房電源中斷應急預案，希望分公司盡快建立一套統(tǒng)一指揮、職責明確、反應迅速、處置有力的機房安全保障機制。

組織架構:

責任領導、工程維護、網(wǎng)絡監(jiān)控、網(wǎng)絡運維、質量管理等相關人員。

機房電源系統(tǒng)說明:

1.機房電力是兩路三相四線制供電，進線線纜規(guī)格為：RVV504+161銅芯護套線。

2.機房電源系統(tǒng)采用三級防雷系統(tǒng)，三級防雷分別位于電源進線端、UPS輸入前端。

3.機房現(xiàn)有兩臺60KVA-UPS電源，均處于正常運行狀態(tài)。

4.機房現(xiàn)有設備機柜已編號，均通過UPS電源和市電供電，每個機柜有獨立的20A空氣開關?？照{、墻壁插座開關、應急燈、照明等都是單獨空開接市電。

5.運行中的UPS電源所帶負荷，在逆變運行狀態(tài)下能正常工作約4小時(已經(jīng)過UPS放電測試)。

一.核心機房電源中斷預案

1.在接到停電通知的情況下：

1)計劃性停電通知要確保綜合部、工維機房管理部對口人接到通知(提前將對口聯(lián)系人備案在物業(yè)處)，機房管理員接到計劃停電通知后，升級到調度中心進行信息發(fā)送，同步進行郵件通知相應應急小組成員。并與負責組長及責任領導電話告知，確保已經(jīng)接收到本次停電的時間及可能發(fā)生的情況。

2)維部進行發(fā)電應急預案小組成員通知，提前做好機房發(fā)電預案要求的準備工作，將相應的發(fā)電機、連接線、人員安排到位，各司其職，隨時待命現(xiàn)場，做發(fā)電準備工作。確保停電時刻的電力安全及機房用電的保障措施，提前調度安排好相應人員做好保障用電的措施。

3)計劃停電時間開始后，馬上啟動應急發(fā)電操作，按照機房發(fā)電操作步驟實施階梯供電的步驟，恢復市電保障。并進行現(xiàn)場值守及設備工作確認，確保全部正常后電話告知調度中心及維護體系領導。

2.在沒有接到任何通知，突然發(fā)生停電的情況下：

確認停電線路，停電時刻，停電時間等要素，啟動核心機房發(fā)電應急預案。

1)值班網(wǎng)管工作流程：

⑴值班網(wǎng)管監(jiān)控到核心機房停電，第一時間告知工維部、網(wǎng)絡部、運維部應急小組組長。信息傳達到工維部機房管理員(一主一備)，告知停電開始時間。

要求在停電5分鐘內將消息傳達到調度中心，各應急小組組長。如無法聯(lián)系上，進行升級到責任領導-工維部經(jīng)理經(jīng)理處。

⑵網(wǎng)管將停電信息電話傳達后，進行調度派單，確保全部的應急小組成員都收到本次故障停電的信息。然后進行機房中設備的檢查，包括：UPS設備主機、各核心設備、匯聚設備、服務器、語音系統(tǒng)等。檢查是否受影響。同時啟動機房降溫措施(降溫方案：初步為加裝抽排風設備、增加大風扇排風形成熱量流動降溫)

⑶實時監(jiān)控設備及UPS工作情況，包括：電量下降情況，設備工作正常情況，每15分鐘通報一次電量情況。

2)運維部應急工作流程：

⑴運維應急同事接到故障通告后，第一時間往停電現(xiàn)場趕，到現(xiàn)場配合網(wǎng)管/工維部門進行設備儀器的檢查、客服語音系統(tǒng)的保障，應急發(fā)電的協(xié)助。

⑵現(xiàn)場配合進行機房降溫散熱措施實施，實時檢查網(wǎng)絡設備的工作情況。

3)運營質量管理應急工作流程：

⑴調度中心值班人員接到網(wǎng)管監(jiān)控調度信息后，第一時間將故障信息記錄并發(fā)故障通告到相關應急成員，并電話通知各應急小組組長是否知悉。

⑵進行客服調度系統(tǒng)的設備工作運行系統(tǒng)檢查，特別語音系統(tǒng)級坐席電腦，是否有問題，如發(fā)現(xiàn)工作系統(tǒng)有異常，及時與運維應急小組成員溝通，進行檢查處理。

⑶實時關注故障工單流程進度登記，配合應急小組進行人員調度通告。

4)工維部應急工作流程：

⑴機房管理員第一時間往停電現(xiàn)場趕，同時進行電話溝通供電公司、物業(yè)方等，咨詢停電原因，是屬于計劃性還是突發(fā)性停電，預計停電時長，將咨詢清楚的結果反饋到應急小組成員中，電話聯(lián)系物業(yè)溝通好需要發(fā)電需求申請。

⑵工維應急小組組長接到時間后第一時間往停電現(xiàn)場趕，同時進行發(fā)電應急小組成員調度，安排第一時間到場工作開展，并升級通報告知主管領導，對口集團維護中心上報信息。

⑶工維應急小組成員接到停電時間后第一時間往停電現(xiàn)場趕，要求30分鐘內必須到場(住機房附近的人員往現(xiàn)場去，較遠同事可以進行打車往現(xiàn)場去)，先行到處同事配合網(wǎng)管、運維同事啟動做好應急發(fā)電前的準備：連接線布放、接續(xù)、發(fā)電機發(fā)電前檢測油/電/水路檢查，確保正常。確保一切就緒后，確認可以進行發(fā)電操作后，按照發(fā)電操作流程進行發(fā)電恢復市電。

⑷網(wǎng)管將監(jiān)控到停電的相應信息及級別同步發(fā)送到運營質量管理部調度崗，由調度崗將相應信息進行工維、運維、網(wǎng)絡關聯(lián)同事進行信息告知，同時報工維主管領導知悉。

5)應急機房發(fā)電操作流程：

⑴機房用電系統(tǒng)包括四方面：空調制冷、主/備UPS主機、照明系統(tǒng)、客服調度系統(tǒng)。

⑵發(fā)電前考慮4方面系統(tǒng)設備用電功率情況，為保障發(fā)電機帶動的正常，不能進行同步供電，要區(qū)分優(yōu)先恢復的步驟實施，確認發(fā)電機的工作正常。在發(fā)電前將需要供電的“空調制冷、主/備UPS主機、照明系統(tǒng)、客服調度系統(tǒng)”的市電輸入主開關關閉。防止同步啟動時發(fā)電機的無法供電保證。

⑶啟動發(fā)電機，檢測發(fā)電輸出電流通斷，待發(fā)電機運行穩(wěn)定后。

第一步啟動空調制冷系統(tǒng)的市電輸入開關，運維應急小組成員重新啟動空調主機(空調因為市電恢復后需要重新啟動)觀察空調制冷工作是否正常。

第二步啟動主UPS設備的市電輸入開關，觀察發(fā)電機運行穩(wěn)定情況，主UPS主機工作穩(wěn)定情況，網(wǎng)絡設備的工作正常與否。

第三步啟動客服系統(tǒng)的市電輸入開關，包括(客服坐席電腦、UPS設備、空調制冷等)，觀察發(fā)電機運行穩(wěn)定情況，設備恢復工作情況。

第四步啟動備UPS設備、市電照明的市電輸入開關，觀察發(fā)電機運行穩(wěn)定情況，備UPS主機工作穩(wěn)定情況，網(wǎng)絡設備的工作正常與否。

⑷發(fā)電機啟動，市電輸入正常后，網(wǎng)管將降溫系統(tǒng)的抽排風設備關閉，與運維同事進行所有設備的運行進行全面的檢查，確保設備已經(jīng)是運行正常。

⑸發(fā)電機發(fā)起市電正常后，工維應急小組安排專人現(xiàn)場值守，及時關注發(fā)電機油量情況，同時與油品供應商確認油品配送要求及時間要求，并實時與供電部門確認市電恢復時間。

6)停電過程中突發(fā)事項預防:

⑴網(wǎng)管在停電時進行機房確認運行中的UPS工作組、設備組工作狀態(tài)。主/備UPS工作切換是否正常，在市電中斷時UPS是否已經(jīng)開始進行供電保護。

⑵值班網(wǎng)管對機房中的所有設備進行全面檢查，確保所有的設備已經(jīng)是有主備供電，市電中斷后UPS已經(jīng)正常保障設備工作。同時對機房的溫度進行觀察，溫度是否突然升高。

⑶停電后，UPS處于逆變工作狀態(tài)，當班人員要每隔15分鐘觀察一次UPS的蓄電池容量、帶負荷情況、機房環(huán)境溫度，盡量使蓄電池容量大于60%，帶負荷小于85%(因為已經(jīng)有自購發(fā)電機應急，盡快要求短時間發(fā)起電，減少UPS的放電過度)。

⑷發(fā)現(xiàn)機房環(huán)境溫度大于26℃。當以上指標不能保證時，要及時向機房管理員匯報，同時上報責任領導知悉，網(wǎng)管預案小組成員經(jīng)過慎重討論，適時采取關閉不必要網(wǎng)絡的網(wǎng)絡設備、加強通風降溫等措施盡量延長關鍵設備運行時間。

二.核心機房應急發(fā)電流程圖及崗位責任

三.應急發(fā)電機的油品保障措施

發(fā)電機正常啟動后，需要做到油品及時供應，具體保障措施方案為:

1.確認多家供應商進行油品供應，簽署油品供應協(xié)議，確保油品的供應充足。

2.油品的供應以應急小組成員通知后開始準備，協(xié)議要求是6小時內送貨到場。

3.只要進行發(fā)電一小時以上，則必須在停止發(fā)電后補充滿油品，確保發(fā)電機隨時都是滿配油品保障中。

4.油品的零購是屬于公安部門的監(jiān)管，所以分公司提前將資料向公安部門報備，在公司因為特殊原因有零購油品需求，在公安部門已經(jīng)有分公司備案資料下，每次使用零購油品進行公安部門蓋章申請?？梢噪S時進行購買。

四.恢復交流電后的處理措施

1.打開電力室和網(wǎng)絡機房空調市電開關，并將調節(jié)溫度設定為20℃。首先恢復機房制冷系統(tǒng)的正常工作。

2.等供電穩(wěn)定后(一般在恢復市電10分鐘后)，閉合主/備UPS設備空氣開關，恢復給主/備UPS交流供電。觀察并確認UPS轉換為交流穩(wěn)壓和浮充狀態(tài)。

3.閉合客服系統(tǒng)的主空氣開關，恢復客服系統(tǒng)的交流供電，并觀察設備工作運行情況。

4.觀察10分鐘后，確保所有網(wǎng)絡及設備、UPS設備組工作穩(wěn)定后，將發(fā)電機停止發(fā)電，并將情況報告給調度及主管領導。

5.應急小組將發(fā)電的物資進行收拾整理存放好，并進行記錄發(fā)電機的工作時間及油/水/電路的切斷。機房的降溫設備的關閉確認及物資收拾整理存放好。

6.將處理情況做詳細書面記錄，請相關人員簽字確認并報集團公司信息化系統(tǒng)管理平臺上填寫相關記錄。

五.發(fā)電機的日常維護措施

對于柴油發(fā)電機來說，由于它不是日常的主要供電設備，所以日常的維護保養(yǎng)主要包括以下幾個方面：

1.定期檢查和更換柴油過濾器和機油過濾器;

2.定期清理檢查進氣過濾器，并在固定的周期進行更換(或者根據(jù)現(xiàn)場的工況和進氣過濾器的透氣程度進行更換);

3.定期檢查和清理電池組接線柱，保持接線柱清潔;

4.定期檢查電池組的充電狀態(tài)，保證良好的充電效果;

5.定期檢查風扇皮帶的狀態(tài)，確保無損傷和處于正常的松緊度;

6.定期檢查冷卻液的狀態(tài)，確保滿足要求;

7.定期檢查或者更換柴油機機油，確保油位正常;

8.冬天寒冷季節(jié)要確保機組預熱裝置正常工作，以便在需要啟動發(fā)電機時能正常啟動;