修復切換伺服器後的局部存取故障

你終於把網站遷移到了全新的美國伺服器,切換了 DNS 紀錄,監控面板一片綠色……接著工單開始出現:「X 城市無法存取」、「電信商 Y 的行動網路打不開首頁」,而你的合成監控依然一切正常。這種「部分地區存取異常」的分裂狀態,幾乎都是 DNS 快取副作用導致的結果,尤其是在 DNS TTL、DNS 快取、DNS 傳播、伺服器遷移、零停機部署已經成為你日常發佈流程一部分的時候。
為什麼只有部分地區在切換伺服器後出問題
當你切換伺服器時,你不只是挪動了一堆 CPU 算力,你是在請求整個全球遞迴 DNS 層更新「這個網域在哪裡」的看法。這個層級高度快取、異質性嚴重,而且絕不會在全球同時更新。結果就是,你會得到一張邏輯上的世界地圖:一部分自治系統仍然連向舊伺服器,另一部分已經忠實跟隨到了新 IP。
- 部分中國或歐洲地區仍然解析到已經下線的舊 IP。
- 其他地區已經解析到新的美國伺服器,看到的是完全健康的站點。
- 一些行動網路介於中間:DNS 已經更新,但舊的 TCP 連線仍在殘留。
對使用者來說,這看起來非常隨機:隔壁換個電信商就能打開網站,而自己就是打不開。對工程師來說,這是 DNS 快取為了「抗脆弱」和「容災」而設計、而不是為「同步切換」設計的自然結果。
你真正需要掌握的那點 DNS 理論
你不需要把所有 RFC 背下來才能排這種故障,但你確實需要一個關於查詢鏈路的心智模型,並知道 TTL(Time To Live,存活時間)在其中扮演什麼角色。可以把 DNS 想像成一個分散式唯讀 KV 儲存系統,具備「最終一致性」,中間還塞滿了你完全無法控制的快取節點。
- 用戶端的裝置讓本地 stub resolver 去解析
example.com。 - stub resolver 將查詢轉發給遞迴解析器(電信商 DNS 或公共 DNS)。
- 如果遞迴解析器裡有尚未過期的快取答案,會立刻回傳。
- 否則,它會沿著 DNS 樹往上查找,直到命中你的權威 DNS,拿到 IP 和 TTL。
- 遞迴解析器把這個答案快取 TTL 指定的時間,並在這段時間為大量使用者提供服務。
TTL 其實就等於「在這段時間內別再來煩我」的一個提示。假如你設定了 3600 秒 TTL,你就是在告訴解析器:在未來一小時裡請相信這個 IP,不必重複查詢。這在穩定期非常棒,直到你改了 IP,卻發現半個地球仍然固執地相信舊答案。
如何在真實環境中辨識 TTL 快取導致的問題
在你開始重啟新伺服器或回滾部署之前,應該先證明或推翻「DNS 快取陳舊」的假設。只要知道看哪裡,症狀其實非常有特徵。
- 故障具有地域性或電信商特異性,而不是全球性的。
- 海外使用者一切正常,而本地少數電信商異常,或者反過來。
- 在不同網路環境下,用戶用
ping或nslookup看到的 IP 並不一致。
回報越是「不對稱」和「互相矛盾」,越有可能是 DNS 傳播與 TTL 問題,而不是某台伺服器的單點故障。當你的業務部署在美國基礎設施上時,這種不對稱還會被跨洲路由與電信商路由策略進一步放大。
像工程師而不是觀光客那樣使用全球 DNS 檢測工具
線上「全球 DNS 檢查」工具是你手裡的第一台顯微鏡。大多數工程師打開一次,看到一片綠色勾勾,就關掉了。如果用得好,它其實可以當成 Nameserver 紀錄的時間序列除錯工具。
- 從多個地區查詢你的
A紀錄或CNAME紀錄。 - 記錄哪些地區仍然回傳舊 IP,哪些已經回傳新 IP。
- 每隔幾分鐘重複同樣的查詢,觀察這張「世界地圖」如何逐漸收斂。
如果在理論 TTL 早該過期之後,仍有多個地區回傳舊 IP,要嘛某些解析器的快取行為非常不標準,要嘛你存在多個 DNS 區域或多條紀錄路徑,但只修改了其中一部分。不管是哪種情況,這都不是 HTTP 層問題,而是控制平面漂移問題。
終端級排查:dig、nslookup 以及它們的朋友
全球工具很好用,但你還需要來自真正出問題網路的「第一線實況」。這時你就要開始拜託同事、朋友或遠端伺服器,幫你在各處跑命令列查詢。
- 在不同網路節點上執行
dig yourdomain.com。 - 在不同電信商網路下的 Windows 機器上執行
nslookup yourdomain.com。 - 對比「ANSWER SECTION」裡的 IP 和「Server」那一行,確認使用的是哪一個解析器。
當同一個網域在同一時間裡,依照解析器不同卻解析出兩到三個 IP 時,你看到的就是「錯峰過期」的快取。有的解析器已經打到你新的美國伺服器,有的仍然牢牢指向舊機,就會出現那種熟悉的故事:A 區域工單狂暴,B 區域說「一切正常」,狀態頁也一臉茫然。
理想作法:切換前先預降 TTL
如果你足夠幸運,在下一次遷移之前讀到這篇文章,而不是在事故期間,那你手裡最有力的一張牌,反而是看起來很無聊的那一張:提前降低 TTL。這幾乎是 DNS 運維裡的「秘技」。
- 計畫切換伺服器前 24–48 小時,先把相關紀錄的 TTL 調低。
- 至少等待一個舊 TTL 週期,讓所有舊快取有機會自然過期。
- 透過
dig或 DNS 服務商控制台確認線上實際 TTL 已經變短。 - 只有在確認無誤之後,再把紀錄的 IP 指向新的美國伺服器。
這個「兩階段切換」讓整個生態系先在「短 TTL 版本」上達成共識,再執行真正危險的 IP 切換。當你最終翻轉 IP 時,任一遞迴解析器保留舊答案的最長時間,將被你新設定的短 TTL 限制,而不是某個歷史遺留下來的大數值。
已經切完了但 TTL 還很長:現在怎麼辦
現實總是很粗糙:IP 已經改了,紀錄上的 TTL 卻還是 7200 秒之類的大數。你不可能讓解析器「回到過去」並立刻忘掉已經快取的結果,但你至少可以止血,並改善之後的行為。
- 立刻把相關紀錄的 TTL 調低到一個合理但不過分激進的值(例如 300–600 秒)。
- 保持新 IP 穩定,不要在多個 IP 之間來回切換,試圖「強迫」刷新。
- 向利害關係人清楚溝通一個現實的傳播時間窗口(例如最長還需若干小時)。
事後再調低 TTL 並不是魔法:已經拿到舊紀錄且 TTL 很長的解析器,仍然會在原來的倒數計時走完之前繼續提供舊答案。但從現在起,任何重新查詢的解析器都會得到新 IP 和更短的 TTL,從而縮短未來不一致狀態的持續時間。
緊急逃生方案:備用網域與直連 IP
有時候,商業現實不會跟你講道理:某個國家的金流通道已經連不上你,「再等兩個小時看看」這個答案完全不能接受。這種情況下你需要一些不好看但有效的應急捷徑。
- 建立一個從未被快取過的臨時子網域,直接指向新伺服器。
- 把這個臨時網域或其短網址發給受影響的合作夥伴或內部團隊。
- 必要時在該臨時入口上只開放唯讀或裁剪後的功能,以降低風險。
因為這個子網域是全新的,不會有舊 IP 被陳舊快取牢牢抓住。它可以直接把流量打到新的美國基礎設施。沒錯,這比較像是一段運維上的「管線膠帶」,而不是優雅架構,但它能在主網域「追上現實」之前,讓金流繼續運作。唯一要記得的是,在主網域徹底恢復後,要及時回收這些應急入口。
當問題不是 DNS:到美國伺服器的鏈路品質
工程師們都愛調侃「八成是 DNS 的鍋」,但當你的源站部署在美國機房、用戶遠在海外時,有時問題真的只是中間那段網路。DNS 可能早就收斂完畢,而 HTTP 或 TCP 流量在半路悄悄掉進黑洞。
- 某些電信商指向美國地區的鏈路出現高封包遺失或高延遲抖動。
- 新伺服器上的防火牆策略對部分地理區域存在差異化處理。
- CDN 某些邊緣節點仍然指向舊源站,設定尚未完全更新。
關鍵在於把「名稱解析問題」和「路徑品質問題」拆開來看。如果所有人解析到的 IP 完全一致,但只有部分路徑出現逾時或 RTT 飆升,那就是路由和連通性問題,而不是 DNS 快取怪象。這時 traceroute 之類的路由追蹤和分散式 HTTP 檢測,比全球 DNS 檢視工具更有價值。
伺服器租用與伺服器託管:不同的故障邊界
如果你的網站跑在某個託管平台的伺服器租用(hosting)環境上,很多網路與 DNS 層都被抽象掉了。你可能只控制頂級網域的紀錄,而服務商負責內部健康檢查和故障切換。在伺服器託管(colocation)架構下,更多控制鈕在你自己手上:BGP 公告、自建 DNS 解析器,甚至機架內的快取基礎設施。
- 在伺服器租用平台上,先弄清楚它們在遷移時的 DNS 與負載平衡行為。
- 在伺服器託管架構下,稽核你自己的權威 DNS 和任何自建解析元件。
- 不論哪種模式,都要清楚每個主機名稱的「最終權威」設定到底在哪裡。
切換伺服器後出現局部存取異常,往往是跨多層的 Bug:DNS 紀錄在一個系統裡改了,防火牆規則躺在另一個系統裡,流量策略又寫死在第三個系統裡。如果你沒辦法在白板上清楚畫出一條完整的請求路徑——從瀏覽器,到解析器,到權威 DNS,再到負載平衡器,最後到美國主機——那你在定位這類細膩的傳播問題時就會非常吃力。
把 TTL 策略當成程式碼,而不是「祖傳經驗值」
很多團隊把 TTL 當成填表時順手敲進去的隨機數,這就是為什麼你會看到某個子網域 TTL 是 120 秒,另一個卻是 28800 秒,而且完全沒人記得當初為什麼這麼配。成熟的團隊會把 TTL 當成一等公民設定,像應用程式碼一樣進行版本管理和審查。
- 預先定義一小組「允許使用的 TTL 檔位」,並為每一檔定義清晰的運維語意。
- 在基礎設施即程式碼或 DNS 管理腳本中明確固化這些檔位。
- 當有人想設定極低或極高 TTL 時,程式碼審查中必須給出理由。
透過收緊 TTL 的「調色盤」,你就更容易在遷移期間推導「快取最糟持續時間」。事後做事故回顧時,你也不用靠猜測來判斷當時 TTL 到底是多少,而是可以直接查設定歷史,推算傳播不一致狀態的上限時間。
下一次切換伺服器時可以直接複用的遷移流程
現在把上面的內容濃縮成一份可以直接複用的 Runbook。假設你要把主站切換到新的美國主機,並且非常在意「部分地區打不開」的時間窗口長度。
- T–7 天:拉起新環境,同步資料,並在隱藏網域上做端到端測試。
- T–48 小時:將正式環境網域的 TTL 降到一個較短但安全的值。
- T–24 小時:透過
dig等工具確認遞迴解析器已經看到新的短 TTL。 - 切換時刻:把正式環境紀錄指向新的美國伺服器。
- 前 6 小時:持續監控全球 DNS、HTTP 可用性與各區域指標。
- 穩定之後:將 TTL 調回中等值,避免不必要的解析抖動。
這個流程不依賴任何花俏工具,只需要紀律和可觀測性。回報是:當某個地區使用者說「網站還在掛」,你可以很快判斷這在當前 TTL 策略下是否合理,還是該去排查路由、內容差異或瀏覽器本地快取。
搜尋引擎與爬蟲在這類切換中的表現
搜尋引擎同樣隱藏在 DNS 基礎設施之後。當你切換伺服器、快取出現分裂時,爬蟲也會看到那種「腦裂」狀態。好消息是:只要你不把這種不穩定當成習慣,它們通常比真人使用者更能容忍短期異常。
- 儘量保持主網域穩定,不要在多個來源主機之間來回搖擺。
- 在遷移過程中儘量減少 5xx;維護頁只在絕對必要時使用。
- 不要在切換窗口裡同時大規模改網域,避免給爬蟲增加額外維度的混亂。
隨著 DNS 逐漸收斂,搜尋爬蟲也會更新對你 IP 的認知。真正的 SEO 風險不在於這短暫的傳播延遲,而在於長期或反覆的不可用行為——這會訓練爬蟲「學會不信任你」。穩定的 TTL 策略和謹慎的切換流程,會讓你的网站在爬蟲眼裡變得「無聊」,而這正是你想要的狀態。
本主題下的圖片 alt 文字範例
如果你在文章裡插入一張示意圖,比如從使用者到解析器再到新舊伺服器的流向圖,alt 屬性應該描述其功能,而不是生硬堆砌關鍵字。下面是一個簡潔又實用的範例:

去掉「玄學」的收尾總結
切換伺服器後出現的地區性存取異常,看起來像玄學,背後的機制卻非常樸素:你發佈了一個新答案,然後整個星球的 DNS 快取需要各自決定什麼時候相信你。只要稍微多一點自律——把 TTL 當成設定程式碼來管理,在切換前做幾次彩排,並像網路工程師那樣從名稱解析一路排查到路徑品質,而不是只盯 HTTP 層——未來每一次遷移到美國基礎設施,就都能更接近日常維護,而不是生產事故。同樣那批看起來很無聊的工具和流程,會在每一次涉及 DNS TTL、DNS 快取、DNS 傳播、伺服器遷移、零停機上線的變更行事曆裡,持續幫你把「玄學問題」變成「可控工程」。
