在数据处理与编程开发领域，文本文件（通常以.txt为扩展名）扮演着基础而关键的角色。它不仅是记录程序日志、存储配置信息的首选，也是不同系统间进行原始数据交换的通用格式。对于Python开发者而言，掌握高效、稳健地读写txt文件的方法是一项必备的核心技能。值得庆幸的是，Python标准库内置的功能已经非常强大，无需依赖任何第三方包，就能完成从简单到复杂的各类文本操作。本文将系统性地讲解Python处理txt文件的完整方案，涵盖基础读写、大文件处理、编码难题解决以及现代最佳实践，助你全面提升数据操作能力。
1. 如何向txt文件写入数据
1.1 核心方法：open()与write()
所有文件操作都始于open()函数。这是最经典、最直接的写入方式：
# 打开（或创建）文件并准备写入
with open('example.txt', 'w', encoding='utf-8') as file:
file.write("这是第一行文本\n")
file.write("这是第二行文本\n")
file.write("这是第三行文本\n")
代码解析与关键注意事项：
'w'模式：代表“写入”模式。需特别注意，此模式为“覆盖写入”，若目标文件已存在，其原有内容将被完全清空。encoding='utf-8'：强烈建议始终显式指定文件编码。UTF-8编码能完美支持中文等多语言字符，是避免乱码问题的黄金标准。with上下文管理器：这是Python文件操作的最佳实践。它能确保文件句柄在使用完毕后被自动、正确地关闭，即使在代码块中发生异常，也能有效防止资源泄露。
1.2 高效写入多行内容
若你已有一个字符串列表需要批量写入，使用writelines()方法效率更高。但请注意，该方法不会自动添加换行符，需要你在每个字符串元素末尾手动添加\n。
lines = ["第一行\n", "第二行\n", "第三行\n"]
with open('multiline.txt', 'w', encoding='utf-8') as file:
file.writelines(lines)
1.3 在文件末尾追加内容
若需保留原文件内容，仅在其末尾添加新数据，只需将文件打开模式从'w'更改为'a'（append，追加）即可。
with open('example.txt', 'a', encoding='utf-8') as file:
file.write("这是在文件尾部新增的内容\n")
1.4 动态内容与格式化写入
实际应用中，写入的内容往往是动态生成的。结合Python灵活的字符串格式化功能，可以轻松创建结构化的文本内容。
name = "张三"
age = 25
with open('formatted.txt', 'w', encoding='utf-8') as file:
file.write(f"姓名: {name}, 年龄: {age}\n")
# 也可使用传统的format方法
file.write("职业: {}\n".format("工程师"))
2. 从txt文件中读取数据
2.1 一次性读取整个文件
对于体积较小的文件，最简便的方法是使用read()函数，它将整个文件内容作为一个字符串返回。
with open('example.txt', 'r', encoding='utf-8') as file:
content = file.read()
print(content)
2.2 逐行迭代读取（推荐）
文件对象本身是一个可迭代对象，这意味着你可以直接使用for循环来遍历文件的每一行。这种方式对内存消耗极小，是处理文本文件的推荐做法。
with open('example.txt', 'r', encoding='utf-8') as file:
for line in file: # 通过迭代器逐行读取
print(line.strip()) # 使用strip()移除行末的换行符
2.3 将全部行读入列表
如果你需要对文件内容进行多次处理或随机访问特定行，可以使用readlines()方法，它将文件所有行读取到一个列表中。
with open('example.txt', 'r', encoding='utf-8') as file:
lines = file.readlines() # 返回由所有行组成的列表
for i, line in enumerate(lines, 1):
print(f"第{i}行: {line.strip()}")
2.4 大文件读取策略
面对数GB级别的日志文件或大型数据集，一次性加载到内存并不可行。此时，必须采用内存友好的读取策略。
# 策略一：逐行读取（最常用，内存效率最高）
with open('large_file.txt', 'r', encoding='utf-8') as file:
for line in file:
process_line(line) # 自定义的处理每一行的函数
# 策略二：分块读取（适用于非行结构或单行超大的文件）
chunk_size = 1024 * 1024 # 设定每次读取1MB数据
with open('large_file.txt', 'r', encoding='utf-8') as file:
while True:
chunk = file.read(chunk_size)
if not chunk: # 当读取到文件末尾时，chunk为空字符串
break
process_chunk(chunk) # 自定义的处理每个数据块的函数
3. 文件路径的规范处理
3.1 相对路径与绝对路径
路径处理是跨平台开发中的常见痛点。Python的os.path模块提供了与操作系统无关的路径操作方法。
# 相对路径（相对于当前脚本运行的工作目录）
with open('./data/example.txt', 'r') as file:
...
# 绝对路径（使用os.path构造，确保跨平台兼容性）
import os
file_path = os.path.join('C:', 'Users', 'username', 'Documents', 'example.txt')
with open(file_path, 'r') as file:
...
3.2 现代路径处理：pathlib模块（Python 3.4+）
对于Python 3.4及以上版本，pathlib模块提供了面向对象、语义更清晰的路径操作API，被视为现代Python文件路径处理的“标准答案”。
from pathlib import Path
# 创建Path对象
file_path = Path('data/example.txt')
# 检查文件是否存在
if file_path.exists():
# 读取文件全部内容
content = file_path.read_text(encoding='utf-8')
print(content)
# 向文件写入内容
file_path.write_text("新的文本内容\n", encoding='utf-8')
4. 彻底解决文本编码问题
4.1 常见的编码错误
读写文本文件时，编码错误是最令人困扰的问题之一。主要错误类型包括：
UnicodeDecodeError：尝试使用错误的编码（例如用UTF-8解码一个GBK编码的文件）读取文件时引发。UnicodeEncodeError：尝试将无法用指定编码表示的字符（如某些特殊符号）写入文件时引发。
4.2 编码问题的通用解决方案
对于编码未知的文件，一种稳健的策略是尝试多种常见编码格式进行解码。
# 定义常见编码列表以供尝试
encodings = ['utf-8', 'gbk', 'gb2312', 'big5', 'latin1']
def read_with_fallback(filename):
for encoding in encodings:
try:
with open(filename, 'r', encoding=encoding) as file:
return file.read()
except UnicodeDecodeError:
continue # 当前编码失败，尝试下一个
raise UnicodeDecodeError(f"无法解码文件 {filename}，已尝试所有常见编码")
# 写入时，若包含无法处理的字符，可设置errors参数忽略（谨慎使用）
with open('output.txt', 'w', encoding='utf-8', errors='ignore') as file:
file.write("可能包含特殊字符的文本内容")
5. 高级应用与技巧
5.1 文件的读写混合模式
使用'r+'模式可以打开一个文件同时进行读写操作。操作时需注意文件指针的位置，通常需要配合seek()方法来精确定位。
with open('example.txt', 'r+', encoding='utf-8') as file:
content = file.read() # 读取后，文件指针位于末尾
file.seek(0) # 将指针移回文件开头
file.write("新增的标题行\n" + content) # 在原有内容前插入新行
5.2 处理CSV格式的文本文件
许多以.txt为扩展名的文件实际存储的是逗号分隔值（CSV）格式。虽然可以手动分割字符串，但使用Python内置的csv模块更加专业和安全。
import csv
# 写入CSV格式的文本
with open('data.txt', 'w', newline='', encoding='utf-8') as file:
writer = csv.writer(file)
writer.writerow(['姓名', '年龄', '城市'])
writer.writerow(['张三', 25, '北京'])
writer.writerow(['李四', 30, '上海'])
# 读取CSV格式的文本
with open('data.txt', 'r', encoding='utf-8') as file:
reader = csv.reader(file)
for row in reader:
print(row)
5.3 处理JSON格式的文本文件
JSON作为一种流行的结构化数据格式，有时也以.txt文件保存。Python的json模块让读写JSON文件变得异常简单。
import json
data = {
"name": "张三",
"age": 25,
"skills": ["Python", "数据分析"]
}
# 将JSON数据写入文本文件
with open('data.txt', 'w', encoding='utf-8') as file:
json.dump(data, file, ensure_ascii=False, indent=4) # ensure_ascii=False确保中文正常显示
# 从文本文件中读取并解析JSON数据
with open('data.txt', 'r', encoding='utf-8') as file:
loaded_data = json.load(file)
print(loaded_data)
6. Python文件操作最佳实践总结
掌握方法后，遵循以下最佳实践能让你的代码更加健壮、专业且易于维护：
- 强制使用
with语句：这是保证文件资源被自动管理的铁律，防止因忘记关闭文件导致的内存泄漏。 - 显式指定文件编码：在处理包含中文等非ASCII字符的文本时，务必设置
encoding='utf-8'。 - 完善的异常处理：使用
try...except块捕获并处理文件不存在、权限不足等异常，提升程序鲁棒性。 - 避免硬编码文件路径：使用
os.path.join()或pathlib.Path来构建路径，确保代码跨平台（Windows/Linux/macOS）兼容。 - 大文件处理原则：对于潜在的大文件，应优先设计逐行读取或分块读取的方案，避免内存溢出。
- 使用标准库处理路径分隔符：不要再手动拼接
\或/，交由os.path或pathlib处理。
完整实战示例
下面是一个综合性示例，整合了路径创建、文件读写、异常预防等多个核心知识点：
from pathlib import Path
def process_file_operations():
# 创建目录（如果目录不存在）
data_dir = Path('data')
data_dir.mkdir(exist_ok=True)
# 写入初始内容到文件
file_path = data_dir / 'example.txt'
file_path.write_text(
"第一行文本\n"
"第二行文本\n"
"第三行文本\n",
encoding='utf-8'
)
# 读取并处理文件内容
if file_path.exists():
content = file_path.read_text(encoding='utf-8')
print("文件内容:")
print(content)
# 在原有内容后追加新内容
file_path.write_text(
content + "\n这是通过程序追加的内容\n",
encoding='utf-8'
)
else:
print("目标文件不存在")
if __name__ == "__main__":
process_file_operations()
总结
综上所述，Python为纯文本文件（txt）的处理提供了一套极其全面且强大的原生工具集。从入门级的open()、read()、write()操作，到进阶的路径管理、编码问题排查、大文件高效读写，这些核心技能足以应对日常开发中的绝大多数文本数据处理需求。对于简单任务，内置函数简洁高效；而在复杂的项目环境中，pathlib等现代模块能提供更优雅的解决方案。养成良好习惯——始终明确编码、善用上下文管理器、预先考虑异常情况——是编写出稳健、可维护代码的基石。将这些方法与技巧融入你的Python开发工作流，必将使你在处理各类文本数据时更加得心应手，游刃有余。
