← 文章列表

Python HTMLParser 文字擷取：排程缺少 Beautiful Soup 時的標準庫回退

Python HTMLParser 文字擷取：排程缺少 Beautiful Soup 時的標準庫回退

無人值守排程常在最脆弱的地方失敗：開發電腦能匯入第三方解析套件，換到精簡執行環境卻在第一行就中止。本文聚焦 Python HTMLParser 文字擷取，示範如何以 Python 3.11 標準庫建立可測試的回退路徑，保留標題、段落與清單文字，同時排除不應進入內容分析的程式碼與樣式區塊。這不是把完整瀏覽器縮成數十行程式，而是為「已取得靜態 HTML、只需抽出可見文字」這個明確需求，建立依賴少、失敗條件清楚、能在排程啟動前驗證的工具。

什麼情境適合 Python HTMLParser 文字擷取

當輸入是已下載的靜態 HTML、任務只需比對標題日期與正文關鍵字，而且執行環境不能保證第三方套件存在時，標準庫解析器是合理回退；若內容必須執行 JavaScript 才出現，就不適用。

適用條件要同時成立。第一，來源回應中本來就有目標文字，而不是只有載入框架與前端資料請求。第二，輸出用途是搜尋、分類、日期核對或建立證據摘要，不要求還原瀏覽器的 CSS 排版。第三，排程重視可攜性，寧可接受有限但明確的解析範圍，也不希望因臨時安裝套件、網路波動或 Python 執行器不同而中斷。

這個定位能避免兩種誤用。其一，把 HTTP 成功回應當成內容成功；伺服器可能回傳空殼頁、同意畫面或錯誤提示，仍需檢查必要欄位。其二，把 HTMLParser 當成完整 DOM；它是事件式解析器，透過開始標籤、結束標籤及文字資料回呼逐段處理輸入，不會替你執行腳本、套用樣式或計算可見性。

建議先寫出輸入契約：文字必須存在於原始回應；接受哪些編碼；哪些標籤形成段落；哪些區域要排除；至少要找到哪些欄位才算通過。契約越具體，回退邏輯越容易測試，也越不會把缺字的結果交給後續分析。

解析器設計：用狀態而不是字串取代

可靠的最小解析器應以標籤事件維護「是否位於排除區域」的深度，並在區塊標籤邊界加入換行；不要用單一正規表示式移除所有角括號內容，因為巢狀標籤、實體字元與分段語意很快就會失真。

核心設計包含三個集合與一個整數狀態。SKIP 收納 script、style、noscript、svg 等不納入文字分析的元素；BLOCKS 收納標題、段落、清單、連結及換行元素；skip_depth 則處理排除元素內仍有巢狀排除元素的情況。只有深度為零時，handle_data 才接收文字。

建構子明確設定 convert_charrefs=True。Python 3.11 文件指出，在一般元素內容中，字元參照會轉為對應字元，因此 A & B 的文字結果應是 A & B。這項預設雖然方便，測試仍要固定，避免後續改寫建構子時無意改變輸出契約。完成所有 feed() 後再呼叫 close()，讓緩衝資料完成處理。

以下程式只操作字串，不連線、不寫入遠端，也不需要額外安裝。它保留文章文字與區塊換行，並清理空白行：

from html.parser import HTMLParser

class TextParser(HTMLParser):
    BLOCKS = {"p", "div", "li", "h1", "h2", "h3", "br", "time", "a"}
    SKIP = {"script", "style", "noscript", "svg"}

    def __init__(self):
        super().__init__(convert_charrefs=True)
        self.parts = []
        self.skip_depth = 0

    def handle_starttag(self, tag, attrs):
        tag = tag.lower()
        if tag in self.SKIP:
            self.skip_depth += 1
        elif self.skip_depth == 0 and tag in self.BLOCKS:
            self.parts.append("\n")

    def handle_endtag(self, tag):
        if tag.lower() in self.SKIP and self.skip_depth:
            self.skip_depth -= 1

    def handle_data(self, data):
        if self.skip_depth == 0:
            self.parts.append(data)

    def text(self):
        joined = "".join(self.parts)
        return "\n".join(
            line.strip() for line in joined.splitlines() if line.strip()
        )

這段程式刻意不猜測所有 HTML 語意。若專案需要表格欄列、替代文字、微資料或連結位址，應新增明確回呼與測試，而不是把所有屬性混入正文。越少隱含規則，日後遇到來源版型變更時越容易指出是哪一項契約失效。

文字正規化與通過條件

解析完成不代表資料可用；正確流程要把輸出正規化、必要欄位檢查與失敗分類分開，只有符合內容契約的結果才能進入日期比對、關鍵字篩選或後續摘要。

最小正規化可以移除每行頭尾空白、略過空行，卻不應一開始就把全文壓成單行。保留區塊邊界能降低標題與正文黏在一起的機率，也方便逐行篩選日期、版本名稱與更新標題。若來源可能有不換行的長段落，再依任務加入長度限制，而不是任意截掉結尾。

內容檢查至少要回答四件事：輸出是否非空；預期標題是否存在；至少一個日期或版本欄位是否符合格式；錯誤頁常見標記是否出現。任何一項不符都應回傳清楚的失敗狀態，不要以空陣列假裝「沒有更新」。如此才能區分「來源真的沒有新資料」與「解析器根本沒看到資料」。

字元編碼也要顯式決策。若檔案契約固定為 UTF-8，使用 read_text(encoding="utf-8") 並讓錯誤直接浮現最容易治理；若來源品質不一而選擇忽略無效位元組，必須記錄發生過解碼替代，並對必要欄位做更嚴格檢查。無聲忽略可能讓關鍵名稱缺字，因此不能只看程式是否正常結束。

驗證與重現：Python 3.11.15 的三項測試

本次在 Windows 11 排程環境使用 Python 3.11.15 實際執行三項非破壞性單元測試，結果皆通過；測試只解析記憶體字串，確認實體轉換、排除區域及分段輸入行為，沒有連接遠端系統或修改應用資料。

  1. 建立空白測試資料夾，確認 python --version 顯示 Python 3.11.15，再把本文解析器與下列測試存成 verify_htmlparser_article.py。
  2. 執行 python -m unittest verify_htmlparser_article.ParserTests.test_visible_text_and_entities -v，通過條件是 A & B 轉成 A & B，並保留下一段的換行。
  3. 執行 python -m unittest verify_htmlparser_article.ParserTests.test_ignored_elements -v，通過條件是輸出只有 Keep 與 End，不含腳本或樣式文字。
  4. 執行 python -m unittest verify_htmlparser_article.ParserTests.test_incremental_feed -v，通過條件是分兩次餵入的標題合併為 Split title，正文位於下一行。
  5. 最後執行 python verify_htmlparser_article.py；通過時三個案例皆標示 ok，結尾為 OK，任一斷言不符則程序回傳失敗。
import unittest

class ParserTests(unittest.TestCase):
    def parse(self, source):
        parser = TextParser()
        parser.feed(source)
        parser.close()
        return parser.text()

    def test_visible_text_and_entities(self):
        self.assertEqual(
            self.parse("A & BNext"),
            "A & B\nNext",
        )

    def test_ignored_elements(self):
        value = self.parse(
            "Keepdrop()"
            ".drop{}End"
        )
        self.assertEqual(value, "Keep\nEnd")

    def test_incremental_feed(self):
        parser = TextParser()
        parser.feed("Split")
        parser.feed(" titleBody")
        parser.close()
        self.assertEqual(parser.text(), "Split title\nBody")

if __name__ == "__main__":
    unittest.main()

實際執行紀錄為三項測試全部 ok、總結 OK。這裡只報告功能案例，不宣稱效能數據；樣本太小，執行器計時也不足以形成可靠基準。若要評估大量頁面，應另建固定資料集、預熱規則、重複次數及資源監測方式。

限制、失敗模式與升級界線

HTMLParser 最重要的限制是只看取得的標記內容，不會執行 JavaScript 或重現瀏覽器排版；當必要資料不在原始 HTML、頁面結構極度不規則，或任務需要 CSS 選擇器與完整 DOM 操作時，應改用鎖版且經預檢的專用工具。

排除深度也有邊界。這個簡化版本假設排除元素具有可配對的結束標籤；嚴重破損的標記可能使深度無法回到零，導致後續正文被略過。對來源品質有疑慮時，要加入「輸出突然過短」與「必要標題消失」檢查，並保存已去識別化的最小失敗樣本做單元測試。

註解、CDATA、表格與替代文字各有不同需求。預設 handle_data 不會把 HTML 註解當一般文字，但若加入其他回呼，要小心不要把內嵌程式碼或圖形描述混入正文。表格若只是逐格串接，可能失去欄列關係；這時應輸出結構化資料，而不是勉強轉成長字串。

升級第三方解析套件時，不要在排程執行中臨時安裝。應建立隔離環境、固定 Python 與套件版本、把安裝寫入建置流程，並在工作開始前匯入檢查。回退解析器仍可保留，但啟用條件與輸出差異必須有測試，避免同一份輸入因環境不同而產生無法追查的結果。

排程整合檢查清單

把標準庫回退納入排程時，應先驗證執行器與輸入契約，再解析、檢查必要欄位、產生可觀察狀態，最後才把資料交給後續步驟；任何內容檢查失敗都要停止，不得把空白當成正常結果。

  • 固定並輸出 Python 主次版本，避免互動終端與排程呼叫到不同執行器。
  • 在啟動前匯入 html.parser，並執行一個實體字元與段落邊界的快速測試。
  • 對輸入檔做大小、編碼及內容類型檢查，不把任意回應直接當 HTML。
  • 明列排除標籤與區塊標籤；新增規則時同步新增單元測試。
  • 完成 feed() 後呼叫 close()，再取得正規化文字。
  • 以必要標題、日期或版本欄位判定內容通過，不只判斷文字非空。
  • 將「下載失敗」「解碼失敗」「解析完成但欄位缺失」分成不同狀態。
  • 保存來源雜湊、解析器版本與檢查時間，但公開輸出不攜帶環境特定值。
  • 若來源改成動態渲染，明確失敗並移交瀏覽器型測試流程，不偷偷回傳殘缺文字。

結論

Python HTMLParser 文字擷取的價值不在取代所有解析工具，而在為範圍明確的靜態 HTML 任務提供可攜、可測試、無額外套件的回退。先定義內容契約，再用排除深度、區塊換行與必要欄位檢查約束結果，才能讓排程在依賴缺失時仍然可靠，並在來源超出能力邊界時清楚失敗。

廣告