python操作csv文件核心是csv模塊，讀取用csv.reader，寫入用csv.writer。處理特殊字符需注意：1.字段含逗號需用引號包裹；2.含引號需轉義或換引號包裹；3.含換行符也需引號包裹；4.quoting參數控制引用策略，如quote_minimal、quote_all等；5.escapechar設置轉義字符。編碼問題需在讀寫時指定正確encoding，可用chardet檢測編碼。處理超大文件可分塊讀取（如pandas的chunksize）、逐行讀取或使用dask并行處理。
簡單來說，python操作csv文件，主要就是用csv模塊讀寫。特殊字符處理就得看具體情況，編碼問題、分隔符問題、轉義字符等等，一個個解決。
讀寫CSV文件，Python提供了多種方法，但核心還是csv模塊。
使用csv模塊讀取CSV文件
讀取CSV，最常用的就是csv.reader。它會把每一行數據解析成一個列表。
立即學習“Python免費學習筆記（深入）”；
import csv with open('your_file.csv', 'r', encoding='utf-8') as file: reader = csv.reader(file) for row in reader: print(row)
這里encoding=’utf-8’很重要，特別是處理中文CSV文件時。如果文件編碼不是UTF-8，就要改成對應的編碼，比如gbk。 如果你的CSV文件特別大，可以考慮逐行讀取，減少內存占用。
使用csv模塊寫入CSV文件
寫入CSV文件，可以使用csv.writer。
import csv data = [['Name', 'Age', 'City'], ['Alice', '25', 'New York'], ['Bob', '30', 'London']] with open('output.csv', 'w', encoding='utf-8', newline='') as file: writer = csv.writer(file) writer.writerows(data)
newline=”是為了避免在windows系統下出現空行。 寫入模式’w’會覆蓋原有文件，如果想追加內容，改成’a’。
如何處理CSV文件中的特殊字符？
CSV文件里的特殊字符，真是個麻煩事。常見的有：
- 逗號： 作為字段分隔符，如果字段內容本身包含逗號，就需要用引號包裹。
- 引號： 如果字段內容包含引號，需要轉義，或者用另一種引號包裹。
- 換行符： 如果字段內容包含換行符，也需要用引號包裹。
csv模塊提供了quoting參數來處理這些情況。
import csv data = [['Name', 'Description'], ['Alice', 'A, very nice person'], ['Bob', 'He said, "Hello!"']] with open('output.csv', 'w', encoding='utf-8', newline='') as file: writer = csv.writer(file, quoting=csv.QUOTE_MINIMAL) # 或者 csv.QUOTE_ALL, csv.QUOTE_NONNUMERIC, csv.QUOTE_NONE writer.writerows(data)
quoting參數有幾個選項：
- csv.QUOTE_MINIMAL：只在必要時引用字段（比如包含分隔符、引號）。
- csv.QUOTE_ALL：引用所有字段。
- csv.QUOTE_NONNUMERIC：引用所有非數字字段。
- csv.QUOTE_NONE：不引用任何字段。
選擇哪個，取決于你的CSV文件的具體情況。 escapechar參數可以指定轉義字符，默認是None。如果你的CSV文件使用了自定義的轉義字符，就要設置一下。
如何使用pandas庫操作CSV文件？
pandas庫是數據分析的瑞士軍刀，操作CSV文件簡直不要太方便。
import pandas as pd # 讀取CSV文件 df = pd.read_csv('your_file.csv', encoding='utf-8') print(df.head()) # 寫入CSV文件 df.to_csv('output.csv', encoding='utf-8', index=False)
pandas的read_csv函數有很多參數，可以處理各種復雜的CSV文件。比如，指定分隔符、跳過行、指定列名等等。 index=False是為了不把DataFrame的索引寫入CSV文件。
如何處理CSV文件中的編碼問題？
編碼問題是CSV文件操作的常見坑。
- 讀取時： 確保open()函數和pd.read_csv()函數的encoding參數與CSV文件的編碼一致。
- 寫入時： 同樣要指定正確的編碼。
- 檢測編碼： 如果不知道CSV文件的編碼，可以用chardet庫檢測。
import chardet with open('your_file.csv', 'rb') as file: result = chardet.detect(file.read()) print(result['encoding'])
chardet不一定100%準確，但大多數情況下都能給出正確的編碼。 如果CSV文件編碼混亂，可能需要先用文本編輯器轉換編碼，再用Python處理。
如何處理超大型CSV文件？
如果CSV文件太大，一次性加載到內存可能會導致程序崩潰。這時，可以考慮：
- 分塊讀取： 使用pandas的chunksize參數分塊讀取。
import pandas as pd for chunk in pd.read_csv('large_file.csv', encoding='utf-8', chunksize=10000): # 處理每個chunk print(chunk.head())
- 逐行讀取： 使用csv.reader逐行讀取，減少內存占用。
- 使用Dask： Dask是一個并行計算庫，可以處理大型數據集。
import dask.dataframe as dd df = dd.read_csv('large_file.csv', encoding='utf-8') # 進行并行計算 print(df.head())
選擇哪種方法，取決于你的具體需求和硬件條件。 如果只是簡單地過濾數據，逐行讀取可能就夠了。如果需要進行復雜的數據分析，Dask可能更適合。
