1、直接返回DataSet对象

  特点:通常组件化的处理机制,不加任何修饰及处理;

  优点:代码精减、易于处理,小数据量处理较快;

  缺点:大数据量的传递处理慢,消耗网络资源;

  建议:当应用系统在内网、专网(局域网)的应用时,或外网(广域网)且数据量在KB级时的应用时,采用此种模式。

2、返回DataSet对象用Binary序列化后的字节数组

  特点:字节数组流的处理模式;

  优点:易于处理,可以中文内容起到加密作用;

  缺点:大数据量的传递处理慢,较消耗网络资源;

  建议:当系统需要进行较大数据交换时采用。

3、返回DataSetSurrogate对象用Binary序列化后的字节数组

  特点:微软提供的开源组件;

  优点:易于处理,可以中文内容起到加密作用;

  缺点:大数据量的传递处理慢,较消耗网络资源;

  建议:当系统需要传输中文数据或需要加密时采用此种方式

4、返回DataSetSurrogate对象用Binary序列化并Zip压缩后的字节数组

  特点:对字节流数组进行压缩后传递;

  优点:当数据量大时,性能提高效果明显,压缩比例大;

  缺点:相比第三方组件,压缩比例还有待提高;

  建议:当系统需要进行大数据量网络数据传递时,建议采用此种可靠、高效、免费的方法。

  测试用例:SqlServer2000数据库,数据量大小40000行,字段数10个,结果如下:

使用方法

用时(秒)

数据量(Byte)

大小

百分比(%)

直接返回DataSet

12.625

19629414

100%

返回二进制序列化后DataSet

9.712

12049645

61.38%

返回转化DataSetSurrogate的DataSet 并且二进制序列化后

7.943

5138990

26.18%

返回转化DataSetSurrogate的DataSet 并且二进制序列化后使用zip压缩

7.619

978033

4.98%

using System;
using System.Data;
using System.Web;
using System.Collections;
using System.Web.Services;
using System.Web.Services.Protocols;
using System.ComponentModel;using System.IO;
using System.IO.Compression;
using System.Data.SqlClient;
using System.Runtime.Serialization.Formatters.Binary;namespace DataSetWebService
{/// <summary>/// Service1 的摘要说明/// </summary>[WebService(Namespace = "http://tempuri.org/")][WebServiceBinding(ConformsTo = WsiProfiles.BasicProfile1_1)][ToolboxItem(false)]public class DataSetService : System.Web.Services.WebService{[WebMethod(Description="直接返回DataSet对象")]public DataSet GetDataSet(){//http://www.dzbsoft.com  XT_TEXTstring sql = "select * from XT_TEXT";SqlConnection conn = new SqlConnection("Server=60.28.25.58;DataBase=s168593;user id=s168593;password=h0y+FeC*;");conn.Open();SqlDataAdapter dataAd = new SqlDataAdapter(sql, conn);DataSet DS = new DataSet("XT_TEXT");dataAd.Fill(DS);conn.Close();return DS;}[WebMethod(Description = "返回DataSet对象用Binary序列化后的字节数组")]public byte[] GetDataSetBytes(){DataSet DS = GetDataSet();BinaryFormatter ser = new BinaryFormatter();MemoryStream ms = new MemoryStream();ser.Serialize(ms, DS);byte[] buffer = ms.ToArray();return buffer;}[WebMethod(Description = "返回DataSetSurrogate对象用Binary序列化后的字节数组")]public byte[] GetDataSetSurrogateBytes(){DataSet DS = GetDataSet();DataSetSurrogate dss = new DataSetSurrogate(DS);BinaryFormatter ser = new BinaryFormatter();MemoryStream ms = new MemoryStream();ser.Serialize(ms, dss);byte[] buffer = ms.ToArray();return buffer;}[WebMethod(Description = "返回DataSetSurrogate对象用Binary序列化并ZIP压缩后的字节数组")]public byte[] GetDataSetSurrogateZipBytes(){DataSet DS = GetDataSet();DataSetSurrogate dss = new DataSetSurrogate(DS);BinaryFormatter ser = new BinaryFormatter();MemoryStream ms = new MemoryStream();ser.Serialize(ms, dss);byte[] buffer = ms.ToArray();byte[] Zipbuffer = Compress(buffer);return Zipbuffer;}public byte[] Compress(byte[] data){MemoryStream ms = new MemoryStream();Stream zipStream = null;zipStream = new GZipStream(ms, CompressionMode.Compress, true);zipStream.Write(data, 0, data.Length);zipStream.Close();ms.Position = 0;byte[] compressed_data = new byte[ms.Length];ms.Read(compressed_data, 0, int.Parse(ms.Length.ToString()));return compressed_data;}}
}客户端调用:C/Susing System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Text;
using System.Windows.Forms;using System.IO;
using System.IO.Compression;
using System.Data.SqlClient;
using System.Runtime.Serialization.Formatters.Binary;namespace Test
{public partial class Form1 : Form{public Form1(){InitializeComponent();}private void BindDataSet(DataSet DS){this.dataGridView1.DataSource = DS.Tables[0];}private void button1_Click(object sender, EventArgs e){com.dzbsoft.www.DataSetService ds = new Test.com.dzbsoft.www.DataSetService();DateTime dtBegin = DateTime.Now;DataSet DS = ds.GetDataSet();this.label1.Text = string.Format("耗时:{0}", DateTime.Now - dtBegin);BindDataSet(DS);}private void button2_Click(object sender, EventArgs e){com.dzbsoft.www.DataSetService ds = new Test.com.dzbsoft.www.DataSetService();DateTime dtBegin = DateTime.Now;byte[] buffer = ds.GetDataSetBytes();DataSet DS = ds.GetDataSet();BinaryFormatter ser = new BinaryFormatter();DataSet dataset = ser.Deserialize(new MemoryStream(buffer)) as DataSet;this.label2.Text = string.Format("耗时:{0}", DateTime.Now - dtBegin + "          " + buffer.Length.ToString());BindDataSet(DS);}private void button3_Click(object sender, EventArgs e){com.dzbsoft.www.DataSetService ds = new Test.com.dzbsoft.www.DataSetService();DateTime dtBegin = DateTime.Now;byte[] buffer = ds.GetDataSetSurrogateBytes();BinaryFormatter ser = new BinaryFormatter();DataSet DS = ds.GetDataSet();DataSetSurrogate dss = ser.Deserialize(new MemoryStream(buffer)) as DataSetSurrogate;DataSet dataset = dss.ConvertToDataSet();this.label3.Text = string.Format("耗时:{0}", DateTime.Now - dtBegin + "          " + buffer.Length.ToString());BindDataSet(DS);}private void button4_Click(object sender, EventArgs e){com.dzbsoft.www.DataSetService ds = new Test.com.dzbsoft.www.DataSetService();DateTime dtBegin = DateTime.Now;byte[] zipBuffer = ds.GetDataSetSurrogateZipBytes();byte[] buffer = UnZipClass.Decompress(zipBuffer);BinaryFormatter ser = new BinaryFormatter();DataSet DS = ds.GetDataSet();DataSetSurrogate dss = ser.Deserialize(new MemoryStream(buffer)) as DataSetSurrogate;DataSet dataset = dss.ConvertToDataSet();this.label4.Text = string.Format("耗时:{0}", DateTime.Now - dtBegin + "          " + zipBuffer.Length.ToString());BindDataSet(DS);}}
}UnZipClass.csusing System;
using System.Collections.Generic;
using System.Text;
using System.IO;
using System.IO.Compression;namespace Test
{public static class UnZipClass{/// <summary>/// Decompresses the specified data./// </summary>/// <param name="data">The data.</param>/// <returns></returns>public static byte[] Decompress(byte[] data){try{MemoryStream ms = new MemoryStream(data);Stream zipStream = null;zipStream = new GZipStream(ms, CompressionMode.Decompress);byte[] dc_data = null;dc_data = EtractBytesFormStream(zipStream, data.Length);return dc_data;}catch{return null;}}public static byte[] EtractBytesFormStream(Stream zipStream, int dataBlock){try{byte[] data = null;int totalBytesRead = 0;while (true){Array.Resize(ref data, totalBytesRead + dataBlock + 1);int bytesRead = zipStream.Read(data, totalBytesRead, dataBlock);if (bytesRead == 0){break;}totalBytesRead += bytesRead;}Array.Resize(ref data, totalBytesRead);return data;}catch{return null;}}}
}

C# 之 提高WebService性能大数据量网络传输处理相关推荐

  1. 怎样提高WebService性能大数据量网络传输处理(转)

    1. 直接返回DataSet对象 特点:通常组件化的处理机制,不加任何修饰及 处理: 优点:代码精减.易于处理,小数据量处理较快: 缺点:大数据量的传递处理慢,消耗网络资源: 建议:当应用系统在内网. ...

  2. 如何 提高企业网站大数据量 效率

    摘  要:目前企业信息化正在如火如荼地开展之中,企业信息量在急剧膨胀.这使得信息的搜索工作变得极为繁重起来.据调查统计,人们在平时的工作中,有70%的时间都花费在信息搜索上.由此,如何提高人们搜索信息 ...

  3. WEB Service 下实现大数据量的传输

    Vs2005里面的,查询12000条记录,设置RemotingFormat = SerializationFormat.Binary; 再序列化,通过WebService传输,客户端接收,再反序列化, ...

  4. WEB Service 下实现大数据量的传输

    Vs2005里面的,查询12000条记录,设置RemotingFormat = SerializationFormat.Binary; 再序列化,通过WebService传输,客户端接收,再反序列化, ...

  5. Talend 大数据量导致传输报错

    我们经常回碰到传输数据量大时,talend会报错,如果我们确定job没问题时,或者小数据量没问题时,那估计就是内存溢出导致的.我们只需修改.bat 或者 .sh文件,将-Xmx 修改大点即可,但JDK ...

  6. 如何提高效率SQLITE 大数据量操作效率

    今天有个朋友测试 SQLite,然后得出的结论是:SQLite 效率太低,批量插入1000条记录,居然耗时 2 分钟! using System.Data; using System.Data.Com ...

  7. gRPC大数据量消息传递方法

    1.摘要 本文探讨了gRPC中大数据量消息的传输限制及相应的两个解决方法:修改限制值大小和流式数据传输,并给出了gRPC C++版本下采用流式数据传输的示例代码,在该示例中同时说明了如何在Visual ...

  8. 利用Cache缓存数据DataTable数据提高大数据量访问性能-.NET教程,数据库应用

    在数据量不大的情况下,程序怎么写基本上性能差别不大,但是当我们面对数以万计的数据的时候,我想性能就是个不得不考虑的问题了,每写一个方法,每填充一 笔数据都要考虑到性能问题,否则服务器将承担巨大的执行开 ...

  9. mysql 查询 写入 性能极致优化 3000万数据3分钟 深层次优化大数据量

    前言:为什么说是极致优化,不要小瞧上面的3000万说的比较少,为啥,因为我们知道数据量不能代表一切,还要看字段的长度,和字段数量,这3000万数据 分化在60张表里面,核心表6 7张每张数据量大约在3 ...

最新文章

  1. PL/SQL集合类型的整理学习
  2. Vue+Element-ui+二级联动封装组件
  3. 图灵奖得主Judea Pearl:人工智能是如何走出死胡同的?
  4. 听说这是互联网公司招工时忽悠的黑话? | 每日趣闻
  5. 网络新高速:T比特网络技术实现成功测试
  6. 安装python-devel开发包
  7. 公布硕士论文最新进展一(2007.3.6)
  8. UITableViewCell 设置
  9. 【三分钟学习FFMPEG一个知识点】FFMPEG关于avio_alloc_context申请使用内存释放问题
  10. 余玄相似度,TF-IDF
  11. 拼图项目的动机和目标
  12. mysql驱动加载原理_老调重弹:JDBC系列 之 lt;驱动载入原理全面解析gt;
  13. eosio.cdt心得
  14. sql还原数据库备份数据库_有关数据库备份,还原和恢复SQL面试问题–第二部分
  15. linux安装mysql.rpm软件包_Linux环境安装MySQL数据库(RPM格式的软件包)
  16. 【谨记】PCB画板子的正确步骤(说多了,都是泪啊!)
  17. SLAM学习 | 世界坐标系转经纬度误差分析
  18. 央行二代征信系统即将上线 有哪些变化?
  19. latex系列---Latex参考文献的引用
  20. 删除电脑属性制造商_修改Win7系统GHO中OEM信息图文教程

热门文章

  1. mysql数据库遍历表,其一字段获取上一条数据
  2. SQLAlchemy 教程 —— ORM 方式使用示例
  3. sqlmap使用方法
  4. MySql 主从模式原理及操作步骤
  5. Mysql 学习笔记08
  6. ngnix高并发的原理实现(转)
  7. Java_基础—try...catch的方式处理异常1
  8. ssh : how to add hostkey to “know_hosts”
  9. C++重载IO操作符
  10. linux节点ssh免密码登录linux节点