從備份到營運,都別讓「單點失誤」釀成企業災難/傅瑞德

閱讀時間約 7 分鐘

日前公共電視台的影片檔案在交由外部廠商備份時,出現了數十萬筆資料完全消失的嚴重錯誤。無論是備份的技術問題、或是人為操作失誤,這個現象都凸顯了「災難性單點失誤」在公視流程中的存在。這種失誤不僅會出現在備份時,也會在人事、財務、管理上發生;於是本文就以備份為例,來討論一下這個問題。

財團法人公共電視新聞「片庫」驚傳重大災情,公視新聞部、客家電視台及台語台,近5年約42萬筆新聞資料畫面,竟遭外包資訊公司人員全數刪除,其中包括許多具歷史意義的珍貴影像,未來要剪輯相關畫面只能花公帑向華視購買。離譜的是,去年6月公視才遭駭客入侵,為防再遭駭客入侵,才找來專業資訊公司備份片庫等資料,沒想到竟出現如此低級錯誤。本刊調查,公視董事會已要求相關單位在24日前提出調查報告,並委託律師向廠商求償。

──鏡新聞〈公視認片庫遭全刪 強調:正研擬提告求償
以我當過業主、也當過外包廠商的經驗,把唯一一份資料交給外包廠商去備份,是最容易出錯的事情之一。
其實不只是資料,企業中包括營運、人事、資源管理、工作程序等等,都必須遵循一個最高原則,就是:
絕對要避免讓「災難性的單點失誤」出現。
由於公視事件的詳細內情尚不清楚,所以這邊只是將它當作個引子,來討論一下「單點失誤」的問題。
而本文所說的「備份」原則,如前面所提過的,雖然字面上談的是資料,但也適用於人事、財務、流程等等,請讀者自行推論聯想。

備份的原則

一般在談備份的時候,觀念上是從A複製出一份B,就算是備份了。在確保A、B兩份在符合以下標準:
  • 備份作業成功、內容完整;
  • A、B內容完全相同(行話叫做「mirrored」);
  • A、B內容可以各自獨立開啟;
……的前提下,就算是完整的備份作業(這些前提適用於以下所有敘述,不再重複)。
或許「完全相同」、「可各自開啟」看起來像是廢話;但在人類歷史上,備份完A、B內容不太一樣或有缺損,或是A打得開B打不開、甚至兩個都無法打開(例如RAID 1嚴重損毀)的案例都發生過太多,所以千萬不要覺得不可能。
以個人的非關鍵資料而言,或許從A到B的備份就夠用了;但是對於多人、多部門的企業而言,就必須有妥善的備份策略,才能避免如公視(和其他許多沒有上新聞的企業)這樣的慘劇發生。

一切都要「分散」

理想的備份策略,不只要異地、要多份、還要分時,部門在交出一份拷貝之前自己也要先備份、而且不能在同一時間時備份在同一個地方。
異地、多份的觀念比較常聽說,「分時」則比較少人談;簡單的說,就是各部門不要在同一時間進行備份作業,以免例如公司大樓停電,導致同時進行的作業全部失敗。
總之,就是必須假設每一個程序都會出問題(這很正常,誰來做都一樣),但盡量將每一個可能出問題的環節錯開,將「單點失誤」導致全毀的機率降到最低。
以全公司的檔案備份而言,理想狀況下的基本策略應該是如下圖所示:
  • 各部門自己先將資料從A拷備份成B拷;
  • 交出B拷給中央MIS彙整成C拷、並備份成D拷;
  • MIS將D拷交給外部廠商;
  • 外部廠商將D拷做成E拷,再分散成異地或重複備份(行話叫做「redundant」,也有翻譯成「冗餘」的,但我自己不喜歡這個翻法)的F、G、H拷。
在這個圖中,最容易出問題的有兩個地方:
  1. 路徑重疊度越高的(例如前面提過的「同時停電」),所以要盡量錯開;
  2. 只有單一路徑,所以最容易出現「單點失誤」的;如圖中間的部分,所以必須額外加上重複備份的安全措施。
當然在中間的單一路徑部分,也可能在「安全措施」的單線處理中出錯,但至少C、D、E同時全部損毀的機率很低;而且萬一真的發生,也還有A、B階段的資料可以支援。
回過頭來看,即使在A拷階段就出錯,最糟也就是損失單一部門的資料而已,不會影響到其他部門。

人的問題

不過除非公司中央的MIS有嚴格要求並執行,實務上會完整做到上述程序的公司很少;多半會省略其中一些步驟,甚至直接從A→C→E,沒有任何內部先備份,頂多MIS自己備個B拷留底,就交給廠商處理了。
而今天看到的公視新聞資料損毀情形,如果確定是「全毀無備份」、並且從這個狀況倒推,就是部門也懶得做備份、公司MIS也懶得留底,將一切回復到最原始的「A→B」做法;然後就在過程中發生最違反資訊安全原則、最致命、損失最大、而且最容易在不該發生的時候發生的「災難性單點失誤」。
這是十分常見的「人因問題」,我自己也在個人資料上犯過這種錯,所以十分明白這種「懶得做」、「沒碰沒責任」、「沒那麼倒楣」、「給廠商做就好」的心態;但如果MIS部分經過妥善的策略規劃,這些程序都可以全自動進行(排除「懶」和「部門責任」因素)、也多用不了幾(十)顆硬碟,比起出狀況後的處理善後成本,實在便宜太多了。

設備的問題

新聞資料中沒有明說廠商是用什麼方式備份,有其他報導指出廠商是用NAS網路磁碟機;但因為還無法確認,所以就從與事件無關的角度來談一下設備的事情。
我自己曾經是NAS的愛用者,但後來連續發生兩次主機板損毀、陣列重建失敗(不算是單點失誤,只是運氣很差),導致兩個備份全毀(幸好都已經先另外備份到雲端)之後,我對於NAS這種線上(不是網路的線上)備份機制就不再那麼信任了。
現在則是改用雙重雲端備份、以及「定時備份到外接硬碟A,再設定程序自動將A備份到硬碟B」;如同前面所說的原則,A和B兩者都不是陣列,內容相同,而且可以獨立讀取)。
在正常的備份作業中,原始資料和備份資料同時完全損毀的機率不高,但確實會發生(而且如前述就發生在我身上);但除非是外部原因(如地震導致設備實體損毀、或是停電),多數的作業方式都只會造成備份資料因不完整而損壞,而不會損及原始資料。
依據我自己的經驗,最容易發生的設備配置就是磁碟陣列(RAID);而矛盾的是,雖然許多種類的陣列設計都是以資料完整為目的,但在發生實體(如主機板)損毀之類的狀況時,往往分散儲存、甚至加密處理的陣列資料也是最難回復的。
以彙整資料的「線下」安全性備份(如上圖中的D和E步驟)而言,我認為反而「老式」的磁帶機、硬碟、或是RAID 1陣列還是比較安全的。
至於廠商,或許就用相對便宜的方式來處理(第一道備份千萬不要直接進NAS啊),覺得「應該不會那麼衰」,結果就是這麼衰。

結語

雖說不同的備份裝置有不同的特性,不同的資料型態、存取時間需求、甚至各家MIS主管都有自己的偏好,所以本文所提到的個人觀念(例如「不要用NAS做備份」)不一定大家都同意,每個人選擇的裝置、設計的程序也都可能有所不同。
但總而言之,如同一開始時提過的,資料備份也好、人事佈局也好、投資策略也好,任何企業決策一樣,避免風險最好的方式之一,就是透過機制的設計和資源(設備、人員、外部廠商等等)的配置運用,在整個流程中盡可能消除「災難性單點失誤」的可能性。
此外,雖然「消除單點失誤」屬於預防性的設計,但如果在數位轉型的過程中就已經內化成體系的一部分,就會像是免疫系統一樣,有助於資訊體系的健全、流程的順暢、以及資訊的安全與完整性。

相信我,相較於出狀況後才彌補、或是事後才恍然大悟趕快建立流程,預防的成本會低很多很多。
為什麼會看到廣告
1.4K會員
2.0KContent count
為您送上頂尖作者的最新管理與科技產業思維。
留言0
查看全部
發表第一個留言支持創作者!
為了減輕櫃台店員的負擔、也為了試驗一下他們的介面流程,我在麥當勞吃晚餐時用大螢幕自動點餐機點了晚餐;老實說體驗並不是很好,但從它的介面設計、以及商品的排列方式來看,仍然可以看出他們的設計思維、以及可能的問題所在。
有學者認為,人類在21世紀末會被少數的超級人類控制,變成了低等生物;要避免這個結果,人類必須更加「創新」、有更多的「創業」,讓科技發展和政府體制都更民主化和自由化。因此,創新和創業是人類社會維持優勢的必要途徑。
有些時候,未來科技的發展方向是很明確的;但在進入2022年不久的現在,有些價值可能高達幾兆美元的商機,花落誰家都還難有定論。這些就是本文要討論的題目:加密貨幣、汽車、時尚,還有其他。
有些時候,未來科技的發展方向是很明確的;但在進入2022年不久的現在,有些價值可能高達幾兆美元的商機,花落誰家都還難有定論。這些就是本文要討論的題目:加密貨幣、汽車、時尚,還有其他。
企業的營業秘密不僅與產品、技術、核心競爭力息息相關,在某些關鍵層面甚至是國家安全問題。近年來,有許多工程師或高階主管在商業和薪資競爭之下「帶槍投靠」對岸企業;雖然或許得到了一時的高薪,但也可能在新的法律之下為自己帶來無窮後患,不可不慎。
在職場上,每個人對「主導」和「負責」都有自己的想法;有人喜歡領導、但不愛負責,有人願意奉獻、但沒有權力,也有人兩者都不喜歡。但這樣的選擇將會造就你的定位、你的能力、以及未來的表現和發展。那麼,你的選擇又是什麼?
為了減輕櫃台店員的負擔、也為了試驗一下他們的介面流程,我在麥當勞吃晚餐時用大螢幕自動點餐機點了晚餐;老實說體驗並不是很好,但從它的介面設計、以及商品的排列方式來看,仍然可以看出他們的設計思維、以及可能的問題所在。
有學者認為,人類在21世紀末會被少數的超級人類控制,變成了低等生物;要避免這個結果,人類必須更加「創新」、有更多的「創業」,讓科技發展和政府體制都更民主化和自由化。因此,創新和創業是人類社會維持優勢的必要途徑。
有些時候,未來科技的發展方向是很明確的;但在進入2022年不久的現在,有些價值可能高達幾兆美元的商機,花落誰家都還難有定論。這些就是本文要討論的題目:加密貨幣、汽車、時尚,還有其他。
有些時候,未來科技的發展方向是很明確的;但在進入2022年不久的現在,有些價值可能高達幾兆美元的商機,花落誰家都還難有定論。這些就是本文要討論的題目:加密貨幣、汽車、時尚,還有其他。
企業的營業秘密不僅與產品、技術、核心競爭力息息相關,在某些關鍵層面甚至是國家安全問題。近年來,有許多工程師或高階主管在商業和薪資競爭之下「帶槍投靠」對岸企業;雖然或許得到了一時的高薪,但也可能在新的法律之下為自己帶來無窮後患,不可不慎。
在職場上,每個人對「主導」和「負責」都有自己的想法;有人喜歡領導、但不愛負責,有人願意奉獻、但沒有權力,也有人兩者都不喜歡。但這樣的選擇將會造就你的定位、你的能力、以及未來的表現和發展。那麼,你的選擇又是什麼?
你可能也想看
Thumbnail
1.加權指數與櫃買指數 週五的加權指數在非農就業數據開出來後,雖稍微低於預期,但指數仍向上噴出,在美股開盤後於21500形成一個爆量假突破後急轉直下,就一路收至最低。 台股方面走勢需觀察週一在斷頭潮出現後,週二或週三開始有無買單進場支撐,在沒有明確的反轉訊號形成前,小夥伴盡量不要貿然抄底,或是追空
Thumbnail
重點摘要: 1.9 月降息 2 碼、進一步暗示年內還有 50 bp 降息 2.SEP 上修失業率預期,但快速的降息速率將有助失業率觸頂 3.未來幾個月經濟數據將繼續轉弱,經濟復甦的時點或是 1Q25 季底附近
Thumbnail
近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎? 新版式整體視覺上「更加凸顯圖片」,為了搭配這次的更新,我們推出首次貼文策展 ❤️ 使用貼文功能並完成這次的指定任務,還有機會獲得富士即可拍,讓你的美好回憶都可以用即可拍珍藏!
Thumbnail
當我的故鄉 – 香港 – 正面臨被逐步瓦解摧毀,我們可否依樣畫葫蘆,為香港存一個備份,好待劫後復修;或將來在異地重啟?
Thumbnail
硬碟壞軌問題 索引 硬碟壞軌的現象及形成原因 如何分辨硬碟是否有壞軌 備份時遇到壞軌的實際場景 結論 常見問題 (QA) 硬碟壞軌的現象及形成原因 壞軌的定義:壞軌是指硬碟表面上的磁道中,因為各種原因而無法正常讀取或寫入資料的一小塊區域。這些區域可能受到物理損傷或其他因素的影響,導致
Thumbnail
大家好我是尼可拉斯寒吉,人生不易,生活不易,且行且珍惜。其實我想說的是:「因為被資遣了,所以出來接案。」我現在是全職自由接案工作者。 這篇文不是要教你如何成為自由工作者,只是單純分享我的心得。據我所知大多數的人對自由工作者抱持憧憬,衝動離職後,不是差點餓死就是在前往即將餓死的路上。
Thumbnail
最近迷上了抖音上的小故事。 就是那種用AI唸小說,然後配上遊戲啊、做蛋糕做料理影片的故事。 聽了幾個月,直接先從結論說起。 雖然有演算法的推薦問題,但如果文學創作可以反映社會氛圍,那麼內地氛圍的主題是「憤怒」。 言情小說在這個主題下可以分成四種: 重生復仇 基本上就是主人公誤信小人,被設
Thumbnail
我方格子 Premium 分潤從 1084 元成長到 3084元,那我能達成每一季 1 萬嗎?1️⃣ 回顧 2021 四季的分潤 2️⃣ 一年下來的心得 3️⃣ 分潤的基本模型 4️⃣ 將來一季分潤一萬元的可行性
Thumbnail
十月份又到打考績的月份,我以前年輕的時候,一直很努力工作但是卻跟升遷無緣,跟主管的關係也不錯,但是考績永遠只是B,那麼到底問題出在那裡? 直接問主管他也只是婉委的說別人的效率比你好,在維基百科定義:「效率是可以成功的把事情做好,且沒有浪費的能力。」,但是就字面上仍然是很抽象的定義,而每個人工作特
創作立場聲明:本文用近3000字、內含十款TWS的體驗文章,建議收藏後,慢慢看!描述有識的,各位值友可以在文後留言補充,期待您的點贊、打賞,您的支持就是樓主更新文章的最大動力! 大傢好!我是漢風001,一個熱愛科技的數碼領域作者 對於日常喜歡聽歌的用戶來講,耳機已成為瞭一種剛需,走在大街上,你會發現
Thumbnail
對不起,讓你們失望了... 東京奧運剛落幕,這陣子接收到非常多有關奧運的訊息, 我注意到,當輸掉比賽時,很多選手會發文表示很抱歉讓大家失望了, 為什麼要道歉呢? 這是我的疑惑,也讓我想到「讓人期待落空」, 在諮商工作中常常看到總是「很抱歉」的個案 不論是對家人或是工作,會經常感覺到自己做錯事情,讓
Thumbnail
我採訪到的八大人因為不同理由缺錢入行, 再因為「想像不出更好的未來」留下,其實匱乏感是不分階級的,一位富過三代、身家幾百億、位居台灣社會頂層的大老闆曾告訴我,他小時候總是看到父母為錢與投資爭吵......
Thumbnail
1.加權指數與櫃買指數 週五的加權指數在非農就業數據開出來後,雖稍微低於預期,但指數仍向上噴出,在美股開盤後於21500形成一個爆量假突破後急轉直下,就一路收至最低。 台股方面走勢需觀察週一在斷頭潮出現後,週二或週三開始有無買單進場支撐,在沒有明確的反轉訊號形成前,小夥伴盡量不要貿然抄底,或是追空
Thumbnail
重點摘要: 1.9 月降息 2 碼、進一步暗示年內還有 50 bp 降息 2.SEP 上修失業率預期,但快速的降息速率將有助失業率觸頂 3.未來幾個月經濟數據將繼續轉弱,經濟復甦的時點或是 1Q25 季底附近
Thumbnail
近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎? 新版式整體視覺上「更加凸顯圖片」,為了搭配這次的更新,我們推出首次貼文策展 ❤️ 使用貼文功能並完成這次的指定任務,還有機會獲得富士即可拍,讓你的美好回憶都可以用即可拍珍藏!
Thumbnail
當我的故鄉 – 香港 – 正面臨被逐步瓦解摧毀,我們可否依樣畫葫蘆,為香港存一個備份,好待劫後復修;或將來在異地重啟?
Thumbnail
硬碟壞軌問題 索引 硬碟壞軌的現象及形成原因 如何分辨硬碟是否有壞軌 備份時遇到壞軌的實際場景 結論 常見問題 (QA) 硬碟壞軌的現象及形成原因 壞軌的定義:壞軌是指硬碟表面上的磁道中,因為各種原因而無法正常讀取或寫入資料的一小塊區域。這些區域可能受到物理損傷或其他因素的影響,導致
Thumbnail
大家好我是尼可拉斯寒吉,人生不易,生活不易,且行且珍惜。其實我想說的是:「因為被資遣了,所以出來接案。」我現在是全職自由接案工作者。 這篇文不是要教你如何成為自由工作者,只是單純分享我的心得。據我所知大多數的人對自由工作者抱持憧憬,衝動離職後,不是差點餓死就是在前往即將餓死的路上。
Thumbnail
最近迷上了抖音上的小故事。 就是那種用AI唸小說,然後配上遊戲啊、做蛋糕做料理影片的故事。 聽了幾個月,直接先從結論說起。 雖然有演算法的推薦問題,但如果文學創作可以反映社會氛圍,那麼內地氛圍的主題是「憤怒」。 言情小說在這個主題下可以分成四種: 重生復仇 基本上就是主人公誤信小人,被設
Thumbnail
我方格子 Premium 分潤從 1084 元成長到 3084元,那我能達成每一季 1 萬嗎?1️⃣ 回顧 2021 四季的分潤 2️⃣ 一年下來的心得 3️⃣ 分潤的基本模型 4️⃣ 將來一季分潤一萬元的可行性
Thumbnail
十月份又到打考績的月份,我以前年輕的時候,一直很努力工作但是卻跟升遷無緣,跟主管的關係也不錯,但是考績永遠只是B,那麼到底問題出在那裡? 直接問主管他也只是婉委的說別人的效率比你好,在維基百科定義:「效率是可以成功的把事情做好,且沒有浪費的能力。」,但是就字面上仍然是很抽象的定義,而每個人工作特
創作立場聲明:本文用近3000字、內含十款TWS的體驗文章,建議收藏後,慢慢看!描述有識的,各位值友可以在文後留言補充,期待您的點贊、打賞,您的支持就是樓主更新文章的最大動力! 大傢好!我是漢風001,一個熱愛科技的數碼領域作者 對於日常喜歡聽歌的用戶來講,耳機已成為瞭一種剛需,走在大街上,你會發現
Thumbnail
對不起,讓你們失望了... 東京奧運剛落幕,這陣子接收到非常多有關奧運的訊息, 我注意到,當輸掉比賽時,很多選手會發文表示很抱歉讓大家失望了, 為什麼要道歉呢? 這是我的疑惑,也讓我想到「讓人期待落空」, 在諮商工作中常常看到總是「很抱歉」的個案 不論是對家人或是工作,會經常感覺到自己做錯事情,讓
Thumbnail
我採訪到的八大人因為不同理由缺錢入行, 再因為「想像不出更好的未來」留下,其實匱乏感是不分階級的,一位富過三代、身家幾百億、位居台灣社會頂層的大老闆曾告訴我,他小時候總是看到父母為錢與投資爭吵......