Python正則如何匹配中文字符?完整解決方案

匹配中文字符在python正則表達式中最可靠的方式是使用unicode編碼范圍。1. 常用漢字可通過[u4e00-u9fff]匹配;2. 若需包含擴展a區(qū)漢字,則使用[u3400-u4dbf];3. 對于擴展b區(qū)等生僻字,標準re模塊不支持,需使用第三方Regex庫,并采用[p{script=han}]寫法。此外,應(yīng)注意編碼格式為utf-8、避免誤匹配標點、優(yōu)化性能及結(jié)合其他規(guī)則使用。

Python正則如何匹配中文字符?完整解決方案

匹配中文字符在python正則表達式中其實是一個挺常見的需求,比如做文本清洗、關(guān)鍵詞提取或者數(shù)據(jù)驗證時都可能會用到。直接說重點:使用 Unicode 編碼范圍來匹配中文字符是最可靠的方式

Python正則如何匹配中文字符?完整解決方案


一、中文字符的Unicode范圍

中文字符主要分布在幾個Unicode塊中,最常見的包括:

Python正則如何匹配中文字符?完整解決方案

  • u4e00-u9fff:常用漢字(包含簡體和繁體)
  • u3400-u4dbf:擴展A區(qū)漢字
  • U00020000-U0002a6df:擴展B區(qū)漢字(這部分需要啟用正則的“完整模式”或使用第三方庫如 regex)

所以,最基礎(chǔ)也是最常用的寫法是:

立即學習Python免費學習筆記(深入)”;

import re pattern = r'[u4e00-u9fff]+' text = "你好,世界!Hello World" matches = re.findall(pattern, text) print(matches)  # 輸出 ['你好', '世界']

如果你只需要處理常見中文,只用 u4e00-u9fff 就夠用了。

Python正則如何匹配中文字符?完整解決方案


二、如何匹配所有中文字符(含生僻字)

如果你要處理古籍、專業(yè)文獻或者用戶可能輸入生僻字的情況,就需要考慮擴展區(qū)了。

標準的 re 模塊不支持 U00020000-U0002a6df 這類高位 Unicode 字符,這時候可以換用 Python 的第三方正則模塊 regex:

pip install regex

然后這樣寫:

import regex as re pattern = r'[p{Script=Han}]+' text = "你好abc龘龘" matches = re.findall(pattern, text) print(matches)  # 輸出 ['你好', '龘龘']

這里 p{Script=Han} 表示匹配所有屬于“漢字書寫系統(tǒng)”的字符,包括各種擴展區(qū)的生僻字。


三、注意事項與常見問題

  • 避免誤匹配標點符號:中文里經(jīng)常混雜全角標點,比如 “,。《》【】” 等等。如果你只想提取純漢字,這些不屬于 u4e00-u9fff 范圍,不會被匹配到。
  • 注意編碼格式:確保你的源文件或輸入文本是 UTF-8 編碼,否則可能出現(xiàn)亂碼或匹配失敗。
  • 性能優(yōu)化:如果處理的是大文本,盡量使用 finditer 替代 findall,減少內(nèi)存占用
  • 結(jié)合其他規(guī)則使用:例如想匹配“中文+數(shù)字”的組合,可以寫成:
    pattern = r'[u4e00-u9fff]+d+'

基本上就這些。正則匹配中文不算復(fù)雜,但很容易忽略擴展字符和編碼細節(jié),特別是當你要處理更復(fù)雜的文本場景時。

? 版權(quán)聲明
THE END
喜歡就支持一下吧
點贊13 分享