用Visual C#实现文件大批量处理

在科研、企业的数据处理中，有时会涉及大量的文件操作。在大量数据处理的时侯，有时需要进行多对一，或一对多的文件操作，即多个数据文件与一个数据文件进行信息交互，Microsoft的.NET开发利器C#提供了前所未有的高开发效率，在文件操作方面也有所体现。笔者基于.NET平台，以C#开发工具，实现了如下功能：

　　1、多个文本文件合并成一个文件；

　　2、一个电子表格文件分成多个文件。

　　一、编程任务描述：

　　1、从多个文件中读取数据生成一个文本文件

　　笔者是处理测井资料的时侯碰到这种编程需求，现有测井资料若干，每口井一个文件，为进一步处理现需要，将这些数据读到一新文件中去，在实际处理，当然包括一定的计算与筛选及格式化。

　　多个源文件在源文件路径下，最终生成的目标文件存在在目标文件路径下。

　　例子数据在sourcefile 文件夹下：1.bln,2.bln,3.bln,4,bln,5,bln,6.bln共六个文件，它们合并后生成的total.txt文件在aimfile子文件夹下。

　　2、从一个文件中读数据，生成多个文本文件

　　例子源文件是：xcsj.xls存放在aimfile文件夹下，其数据内容是：

井名	层位	细分小层号	层顶深度	层厚
13-10	S3中4	1	3263.5	1.5
13-10	S3中5	2	3311.6	1.6
… … …

　　其中多口井的数据在一个表格中，实际工作中需要将其中每口井的资料选出来生成一个独立的文件，文件后缀为.xc,存在目标文件路径下，生成文件的格式为：

井名	层位	细分小层号	层顶深度	层厚
13-10	S3中4	1	3263.5	1.5
13-10	S3中5	2	3311.6	1.6
… … …

　　生成的的目标文件13-10.xc等也存放在aimfile文件夹下。

　　二、程序界面

　　生成一个窗体，窗体上主要添加如下控件：

　　1、三个按扭：一是合并文件； 一是文件拆分； 一是退出；

　　2、一个列表框 用来显示程序执行情况

　　3、两个文本框，分别用来输入源文件路径与目标文件路径；

　　4、一个进度条，用来指示，程序的执行进度；

　　程序界面如下：

　　　　　　　　　　



　　三、源程序主要代码：

　　1、名字空间

using System;using System.Drawing; using System.Collections; using System.ComponentModel; using System.Windows.Forms; using System.Data; using System.IO; //使用StreamWriter与StreamReader必须加的Namespaceusing System.Data.OleDb; using System.Data.SqlClient; //读电子表格文件必须加的Namespace

　　2、文件合并按钮响应方法

string winDir1; //源文件路径 string winDir2; //目标文件路径 string temp1; int ii; winDir1=textBox1.Text.Trim(); winDir2=textBox2.Text.Trim()+"\\total.txt"; //获取winDir1路径下所有文件列表 string[] dirs = Directory.GetFiles(winDir1); //建立或打开目标文件 StreamWriter writer = new StreamWriter(winDir2); writer.WriteLine("这是汇总文件头"); writer.WriteLine("这是汇总文件第二行"); ii=0; foreach(string dir in dirs) { 　StreamReader reader=new StreamReader(dir); 　try 　{ 　　reader.ReadLine(); 　　do 　　{ 　　　temp1=reader.ReadLine(); 　　　temp1=temp1.Trim(); 　　　writer.WriteLine(temp1); 　　} 　　while(reader.Peek() != -1); 　　　ii=ii+1; 　} catch( Exception err) 　{ 　　MessageBox.Show(err.Message); 　} 　finally 　{ 　　reader.Close(); 　} } addListItem("合并操作结束"); addListItem("本次操作共有"+ii.ToString()+"个文件合并到文件total.txt中去"); addListItem("total.txt文件存放位置为"+textBox2.Text); writer.Close();

　　3、文件拆分按钮响应方法

//定义变量 string winDir; //文件路径 string filename; //结果文件名 string [] filename2=new string[300]; //保存生成的文件名 string temp1,temp2,temp3,temp4; string strCon; //连接串 int ii; //统计生成的结果文件数 ii=1; winDir=textBox2.Text.Trim()+@"\xcsj.xls;"; //创建一个数据链接 strCon= " Provider = Microsoft.Jet.OLEDB.4.0 ; Data Source ="+winDir+"Extended Properties=Excel 8.0" ; OleDbConnection myConn = new OleDbConnection ( strCon ) ; string strCom = " SELECT * FROM [Sheet1$] " ; myConn.Open ( ) ; //打开数据链接，得到一个数据集 OleDbDataAdapter myCommand = new OleDbDataAdapter ( strCom , myConn ) ; //创建一个 DataSet对象 DataSet myDataSet = new DataSet ( ) ; //得到自己的DataSet对象 myDataSet try { 　myCommand.Fill ( myDataSet , "[Sheet1$]" ) ; } catch( Exception err) { 　MessageBox.Show(err.Message); } //根据电子表格中第一列的井号读出井名到数组中去 temp1=myDataSet.Tables[0].Rows[0][0].ToString().Trim(); filename2[ii]=temp1; foreach ( DataRow row in myDataSet.Tables[0].Rows ) { 　if (temp1!=row[0].ToString().Trim() ) 　{ 　　ii=ii+1; 　　filename2[ii]=row[0].ToString(); 　　temp1=row[0].ToString().Trim(); 　} } //进度条初始化 progressBar1.Step=1; progressBar1.Minimum=1; progressBar1.Maximum=ii; winDir=textBox2.Text.Trim(); for(int k=1;k<=ii;k++) { 　filename=@winDir+"\\"+filename2[k].Trim()+".xc"; 　StreamWriter writer = new StreamWriter(filename); 　writer.WriteLine("层位 细分小层号 层顶深度 层厚"); 　foreach( DataRow row in myDataSet.Tables[0].Rows ) 　{ 　　temp1=row[1].ToString().Trim(); 　　temp2=row[2].ToString().Trim(); 　　temp3=row[3].ToString().Trim(); 　　temp4=row[4].ToString().Trim(); 　　writer.WriteLine(temp1+" "+temp2+" "+temp3+" "+temp4); 　} 　writer.Close(); 　progressBar1.PerformStep(); } myConn.Close(); addListItem("操作结果"); addListItem("共生成"+ii.ToString()+"文件"); addListItem(@"文件位置:F:\wangwei\work\h12\xc路径下"); listBox1.Refresh();

　　4、为显示执行结果添加了一上列表框，为方便操作列表框需要为表单类添加一个方法：

private void addListItem(string value) { 　this.listBox1.Items.Add(value); }

　　五、要点分析

　　1、用StreamWriter与StreamReader类进行文件存取操作

　　这是一对从 Stream 派生的类，用于字节的输入和输出。其名字空间为 system.io

　　2、读取电子表数据

　　本程序提供了一种连接电子表文件的方法，必要的名字空间要加好，注意连接串不要写错。

　　3、Directory类的GetFiles 方法应用

　　可以程序自动的读出文件列表到到一个标准数组中去，以备进一步使用，选取文件的方法有多种，这种方法体现了C#的高效性，值得向大家推荐。

　　说明：本文附源程序，在运行的时侯注意输入正确的文件路径。若你机器里面没装.net,也可以直接运行已经编译好的执行文件。在\bin\debug子文件夹下面的Csdata.exe。

原文转自：http://www.ltesting.net

评论列表（网友评论仅供网友表达个人看法，并不表明本站同意其观点或证实其描述）