C# StreamReader/StreamWriter实战5个真实场景下的高效文本处理技巧在数据处理的世界里文本文件就像数字时代的纸张承载着从配置信息到海量日志的各种关键数据。作为C#开发者我们每天都要与这些文本文件打交道而StreamReader和StreamWriter就是我们最得力的工具。不同于简单的File.ReadAllText流式处理能让我们优雅地应对GB级日志文件、实时配置更新等复杂场景同时保持内存效率。本文将聚焦五个真实开发中高频出现的文本处理场景每个技巧都经过生产环境验证。你会看到如何用几行代码解决实际问题同时理解背后的性能考量和最佳实践。这些方法特别适合需要处理大量文本数据的中高级开发者无论是构建日志系统、解析复杂数据文件还是优化现有IO操作。1. 日志轮转自动分割每日日志文件日志系统是每个应用的黑匣子但当单个日志文件变得过大时不仅打开缓慢还可能影响程序性能。下面实现一个自动按日期分割日志的方案public class DailyLogger { private static readonly object _lock new object(); private static string GetCurrentLogFilePath() { string logDir Path.Combine(AppDomain.CurrentDomain.BaseDirectory, Logs); Directory.CreateDirectory(logDir); // 确保目录存在 return Path.Combine(logDir, $app_{DateTime.Now:yyyyMMdd}.log); } public static void Log(string message) { lock (_lock) { string logFile GetCurrentLogFilePath(); using (var writer new StreamWriter(logFile, true, Encoding.UTF8, 8192)) { writer.WriteLine($[{DateTime.Now:HH:mm:ss.fff}] {message}); } } } }关键优化点使用lock确保多线程安全写入设置8KB缓冲区大小(8192)减少磁盘操作自动按日期生成日志文件(如app_20230815.log)追加模式(true参数)避免覆盖历史日志提示在生产环境中可考虑结合Log4Net或Serilog等成熟框架但理解底层机制能帮你更好地定制日志方案。2. 高效CSV解析处理百万行数据不卡顿当处理大型CSV文件时全量读取到内存会导致性能问题。下面展示如何流式处理CSV保持低内存占用public IEnumerablestring[] ParseCsv(string filePath) { using (var reader new StreamReader(filePath, Encoding.UTF8, true, 16384)) // 16KB缓冲区 { while (!reader.EndOfStream) { string line reader.ReadLine(); if (string.IsNullOrWhiteSpace(line)) continue; string[] fields line.Split(,) .Select(f f.Trim()) // 去除引号 .ToArray(); yield return fields; // 使用yield实现惰性加载 } } } // 使用示例 foreach (var row in ParseCsv(data.csv)) { // 处理每行数据 Console.WriteLine($第一列: {row[0]}); }性能对比表方法内存占用(1GB文件)处理时间适用场景全量读取高(1GB)快小文件流式处理恒定(低)稍慢大文件并行处理中等最快多核CPU环境3. 实时配置文件监视与热重载许多应用需要在不重启的情况下响应配置变更。下面实现一个配置监视器当文件变化时自动重新加载public class ConfigWatcher : IDisposable { private readonly FileSystemWatcher _watcher; private Dictionarystring, string _config; private readonly string _filePath; public ConfigWatcher(string filePath) { _filePath filePath; LoadConfig(); _watcher new FileSystemWatcher { Path Path.GetDirectoryName(filePath), Filter Path.GetFileName(filePath), NotifyFilter NotifyFilters.LastWrite }; _watcher.Changed OnConfigChanged; _watcher.EnableRaisingEvents true; } private void LoadConfig() { var newConfig new Dictionarystring, string(); using (var reader new StreamReader(_filePath)) { string line; while ((line reader.ReadLine()) ! null) { string[] parts line.Split(, 2); if (parts.Length 2) { newConfig[parts[0].Trim()] parts[1].Trim(); } } } _config newConfig; } private void OnConfigChanged(object sender, FileSystemEventArgs e) { Thread.Sleep(100); // 等待文件写入完成 LoadConfig(); Console.WriteLine(配置已更新); } public string GetValue(string key) _config.TryGetValue(key, out var value) ? value : null; public void Dispose() _watcher.Dispose(); } // 使用示例 using (var config new ConfigWatcher(app.config)) { // 程序运行期间修改文件会自动重载 string setting config.GetValue(Timeout); }注意事项文件系统事件可能触发多次需要适当延迟复杂配置建议使用System.Text.Json或Newtonsoft.Json考虑添加文件锁异常处理4. 二进制日志与文本混合处理技巧有时我们需要处理混合了二进制数据和文本的复杂文件格式。下面演示如何安全读取这类文件public void ProcessMixedFile(string filePath) { using (var stream new FileStream(filePath, FileMode.Open)) using (var reader new StreamReader(stream, Encoding.ASCII, false, 1024, true)) { // 读取文本头部 string header reader.ReadLine(); // 处理二进制段 if (header.StartsWith(BINARY:)) { int binaryLength int.Parse(header.Substring(7)); byte[] binaryData new byte[binaryLength]; // 临时切换回基础流读取二进制 stream.Read(binaryData, 0, binaryLength); // 处理二进制数据... // 恢复文本读取 reader.DiscardBufferedData(); // 清除缓冲区 string footer reader.ReadLine(); } } }关键方法说明DiscardBufferedData(): 重置读取器状态当从文本模式切换回流操作时必须调用leaveOpen参数设为true保持基础流打开状态精确控制读取位置避免数据错位5. 异步日志队列高并发下的零阻塞方案在高并发场景中直接写入日志可能导致线程阻塞。下面实现一个基于内存队列的异步写入方案public class AsyncLogger : IDisposable { private readonly BlockingCollectionstring _logQueue new BlockingCollectionstring(10000); private readonly Task _writingTask; private readonly string _logFilePath; private bool _isRunning true; public AsyncLogger(string filePath) { _logFilePath filePath; _writingTask Task.Run(ProcessQueue); } public void Log(string message) { if (!_logQueue.IsAddingCompleted) { _logQueue.TryAdd($[{DateTime.Now:O}] {message}); } } private void ProcessQueue() { using (var writer new StreamWriter(_logFilePath, true, Encoding.UTF8, 8192)) { writer.AutoFlush false; while (_isRunning || _logQueue.Count 0) { if (_logQueue.TryTake(out var message, 100)) // 100ms超时 { writer.WriteLine(message); // 每100条或1秒刷新一次 if (_logQueue.Count 0 || _logQueue.Count % 100 0) { writer.Flush(); } } else { writer.Flush(); // 定期刷新缓冲区 } } } } public void Dispose() { _isRunning false; _logQueue.CompleteAdding(); _writingTask.Wait(); } } // 使用示例 using (var logger new AsyncLogger(high_perf.log)) { Parallel.For(0, 100000, i { logger.Log($Processing item {i}); }); }架构优势生产者-消费者模式解耦日志产生与写入批量刷新减少IO操作内存队列缓冲突发流量优雅关闭确保不丢失日志在实现这些技巧时我发现最容易被忽视的是StreamWriter的缓冲区管理。设置合理的缓冲区大小(如8KB)能在内存和性能间取得良好平衡而适时调用Flush()则能确保关键日志不丢失。另一个经验是对于超大型文件处理始终优先考虑ReadLine而非ReadToEnd即使现代服务器内存充足保持低内存占用的习惯能让应用更稳定。