• 沙里软件

  • ShaliSoft.com [手机站]   办公桌收纳抽屉
  • 首页
  • 博文
  • 演示
  • 管理
  • 腾讯OA基础服务使用C# 开发的千万级应用

    网络   2016/9/7 9:25:46

    话说昨天的港股发生了一件大事,腾讯成为亚洲市值最高的公司,在这历史性的一刻,作为在鹅厂工作的C# 程序员,也应该让世人了解下C# 并不是那么没有市场。在鹅厂,代码构成中60%以上是C++, C#也有10%左右的份额,后续的文章中我会和你继续分享,当然如果你有兴趣加入鹅厂会更快获取类似信息,需要可以找我内推。小二计划写几篇文章来让大家正确的认识下C#。

    当我们还没来得及把自己的梦想捂热的时候,伟大的王老师一语惊醒了所有吃瓜的围观群众——人嘛,光着眼于梦想是不行滴,还是要先定一个能达到的小目标。一个一天处理5000万级别的应用,换算成每秒578个请求,当然应用不会这么平淡,有高峰有低谷,不过这也不是很难达到的目标,我们就来看看这样的一个小目标如何实现,这里分享的是我的一个真实案例:腾讯OA基础服务,简称TOF。

    首先给出一个直观的数据,让大家有个初步的印象。



    2015-11-5 这天的组织架构API的请求数达到36535867,超过了三千万的请求,这天的总请求数48922122,接近五千万的请求。 

    你很难想象到TOF使用的是.NET技术构建的,能够在每天几千万请求,可以媲美同样是.NET技术构建的StackOverflow社区,不过确实我也使用了大量StackOverflow开源的.NET技术,架构上也非常像StackOverflow。下面列下硬件列表:

    ·6台数据库服务器(6台SQL Server),其中3台SQL Server 2012 Always集群式核心数据库使用的是物理服务器

    ·12台Web服务器(IIS7.5),服务器是IT云VD-6机器(8核32G内存)

    ·2台分布式缓存服务器(Redis),服务器是IT云VD-5机器(4核16G内存)

    ·8台应用服务器(处理TOF的核心业务,使用WCF服务构建),服务器是IT云VD-6机器(8核32G内存)

    ·IT云提供的负载均衡服务器(LVS集群)

    这些服务器都是虚拟化的服务器,腾讯IT有个内部的私有云平台的机器,比StackOverflow的服务器比起来要弱很多。但是我在程序的架构和性能优化方面做了很多,程序架构上采用微服务架构的思想,一图胜千言,下面给出TOF的架构图:


    上面是总体的架构图,那么每个具体的服务又遵循了单体应用的架构,使用的是N层服务,一图胜千言,下面给出TOF的服务架构图。


    负载均衡(LVS)

    负载均衡使用的LVS和tlinux,负载均衡器使用的是IT云的LVS集群,通过IT云进行管理

    Web层架构(IIS 7.5,ASP.Net MVC 5.2.1,和.Net 4.5.2)

    TOF经过负载均衡层导入流量到12台Web服务器, 分区域部署在2个地区,Web层通过WCF服务同后端的业务服务交互。

    服务层(WCF 4.5, Net 4.5.2)

    在整体逻辑架构图上可以清晰的看到,紧挨着Web层的是服务层(部署在Window服务器Windows 2008 R2上)。服务层基于WCF实现的微服务架构。为了提升这服务做了非常多的冗余,每个服务都有至少3个实例。

    缓存(Redis)

    TOF在缓存层用Redis,Redis服务器16G内存,采用master/slave结构部署,尽管每天2500万的ops,每个实例的CPU使用率也在2%之下。

    Redis所在服务器有L1/L2高速缓存,Web服务的HTTP缓存设置在一级缓存L1中,Redis缓存在二级缓存L2。当用户访问在一级缓存L1中未命中后会去二级缓存中的Redis取值,如果web服务在L1和L2两级缓存都未命中,则会直接去原始数据源获取(比如,数据库查询,API回调等),然后并把获取到的结果缓存到本地和Redis中,这时其它服务未命中L1高速缓存便会去二级缓存L2/Redis中获取,节省了调用数据库查询或者API回调的访问时间。

    OA登陆和组织架构都有自己的L1/L2高速缓存,通过L1缓存Key前缀、L2/Redis缓存数据库ID。

    贴张Redis缓存服务已经运行445天,处理了110亿的请求的监控图:


    数据库(SQL Server)

    SQL Server是TOF唯一的源数据库,所有Redis的数据都来自SQL Server。使用微软的SQL Server监控组件AlwaysOn Availability Groups部署了一个SQL Server集群。服务器集群的配置也比较低4核32G 的A5机器。 

    所有数据库过去24小时CPU监控图如图所示,大部分情况CPU使用率较低,偶尔做下缓存任务时会高些。


    细心的朋友可能看出上图就是使用StackOverflow开源的Opserver所采集的数据。

    .NET应用程序性能优化

    TOF系统属于高并发的系统,使用系统默认的配置是不行的,需要对操作系统和.NET框架做优化:


    • Windows优化:调整tcp连接数,保证系统层面保证服务的不受限于操作系统,调整操作系统的TCP/IP参数,比如把Time_Wait 时间窗口2分钟à45秒,可用的端口数调整到65535,默认才5024个,对一个大并发的系统来说远远不够。

    • Web服务器优化:根据服务器的CPU核数调整进程数和HTTP层相关配置。

    • WCF框架的参数优化:

    1. 采取NETTCP绑定,保证框架通信的高效率

    2.  序列化:xml -> rest\json ->protobuf,适配器模式,使用protobuf替代wcf默认的二进制序列化,这里就可以6倍的性能提升。

    3.  根据服务流量调整WCF流量限制配置的值  


      总体来说,TOF整体架构并没有采用那些非常高端的技术,使用的都是非常普通的.NET技术,混合使用Windows/Linux和开源技术照样可以打造高性能高并发的应用系统。 


    阅读(5405) 分享(0)

    上一篇: StackOverflow网站架构,.NET技术架构解析
    下一篇: 微信清缓存工具,微信怎么清理缓存?

  • 精彩推荐

    ◆ 服务器iis支持tls1.2,windows server 2008 r2 中IIS启用TLS 1.2(安装SSL后用TLS 1.2)
    ◆ 怎么判断银行卡号格式是否正确?
    ◆ 接口限流算法总结
    ◆ asp.net中Eval()、Bind()、<%%>、<%=%>比较有什么区别
    ◆ ASP.NET 获取上个月当前月的1号和月尾
    ◆ MySQL 百万级分页优化(Mysql千万级分页)
    ◆ FORM提交表单,数据由gb2312传到utf-8 乱码的解决方案.
    ◆ 程序员"偷懒"给软件带来安全隐患
    ◆ 如何防止被人肉?防人肉宝典——平时上网应该注意什么?
    ◆ Python识别网站验证码
  • 用心做事 不能唯利是图

    • 吊儿
    • 用QQ联系我17905772
  • 搜索


  • 最新文章

    • 导出Excel 格式 mso-number-format
    • 服务器iis支持tls1.2,windows server 2008 r2 中IIS启用TLS 1.2(安装SSL后用TLS 1.2)
    • MySQL配置优化
    • EditPlus 添加文件比较工具winmerge
    • 滚动悬浮固定JS特效

  • 热门文章

    • php sso单点登录实现代码
    • 中国菜刀(China chopper) 最新黑客工具
    • redis.conf中文版(基于2.4)
    • 搜索引擎名单大全
    • php图片上传类,支持加水印,生成略缩图

  • 最新图库


  • 最新评论


  • 友情链接

  • 沙里软件

  • 最近访客

    Powered by ShaliSoft.com 豫ICP备13008529号

    免责声明:本站部分内容来源于互联网,转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,不为其版权负责,也不构成任何其他建议。如果发现侵犯版权,联系QQ17905772进行删除。