-
Google Analytics与百度统计的原理
网络 2015/12/26 15:55:12Google Analytics与百度统计的统计数据都是有差异的，而且差异非常大，其根本原因在于数据统计的原理和机制是不同的。下面分享一下两位博友李鑫和赵高欣对Google Analytics与百度统计做出的原理分析。
百度统计的工作原理分析
百度统计提供的JS，实质上是往页面中引入hm.baidu.com/h.js的这段代码，该代码的内容会根据后面的参数有所不同，h.js?后面的参数就是你在百度统计里的id。
获取该h.js代码的同时，百度统计会往你的浏览器写入一个名字为“HMACCOUNT”的cookie，该cookie的过期时间为2038年，所以只要你没有清空浏览器cookie，基本就永不过期。
h.js被下载后，便执行其脚本获取一些浏览器相关信息和访问来源，获取的信息包括屏幕尺寸、颜色深度、flash版本、用户语言等。
从js代码中可以得到，所有参数包括这些：”cc,cf,ci,ck,cl,cm,cp,cw,ds,ep,et,fl,ja,ln,lo,lt,nv,rnd,sb,se,si,st,su,sw,sse,v”。这些参数的意义大致如下：
cc: 不知道，一般为1 cf:url参数hmsr的值 ci:url参数hmci的值 ck:是否支持cookie 1:0 cl:颜色深度 如 “32-bit” cm:url参数hmmd的值 cp:url参数hmpl的值 cw:url参数hmkw的值 ds:屏幕尺寸,如 ’1024×768′ ep:初始值为’0′，时间变量，反映页面停留时间，格式大概是：现在时间-载入时间+“，”+另一个很小的时间值 et:初始值为’0′，如果ep时间变量不是0的话，它会变成其他 fl:flash版本 ja:java支持 1:0 ln:语言 zh-cn lo: 不知道，一般为0 lt:日期 time.time()，如“1327847756”，在首次请求没有 nv: 不知道，一般为1或者0 rnd:十位随机数字 sb:如果是360se浏览器该值等于‘17’ se: 和搜索引擎相关 si:统计代码id st: su:上一页document.referrer sw: 不知道，估计和搜索引擎有关，一般为空 sse:不知道，估计和搜索引擎有关，一般为空 v:统计代码的版本 ，目前该值为“1.0.17”
当这些参数都设置完毕了(有些参数并没有赋值)，筛选出已经赋值了的参数，并作为hm.baidu.com/hm.gif的参数拼凑出一个url，如：http://hm.baidu.com/hm.gif?cc=1&ck=1&cl=32-bit&ds=1366×768&ep=0&et=0&fl=11.0&ja=1&ln=zh-cn 。然后请求该图片。
百度统计服务端，通过接收到这个请求，并从这个图片的网址附带的参数获取相关信息，记录访客访问记录;当页面被用户关闭的时候，同样会触发一次请求hm.gif的过程，但这个过程不是所有浏览器和所有关闭动作都支持。
使用使用Wireshark(一款网络抓包工具)测试可以发现，浏览器总共向服务器端发送了4次请求：
http://hm.baidu.com/h.js?3266e9d3684e7a1307dc7c4b4a64b0ae http://hm.baidu.com/hm.gif?cc=1&ck=1&cl=32-bit&ds=1366×768&ep=0&et=0&fl=11.0&ja=1&ln=zh-cn&lo=0<=1328171561&nv=1&rnd=2889921&si=3266e9d3684e7a1307dc7c4b4a64b0ae&st=3&su=http%3A%2F%2Fwww.zhanghangbo.com%2F&v=1.0.17 http://hm.baidu.com/hm.gif?cc=1&ck=1&cl=32-bit&ds=1366×768&ep=7289%2C115&et=3&fl=11.0&ja=1&ln=zh-cn&lo=0<=1328171561&nv=1&rnd=1444115283&si=3266e9d3684e7a1307dc7c4b4a64b0ae&st=3&su=http%3A%2F%2Fwww.zhanghangbo.com%2F&v=1.0.17 http://hm.baidu.com/hm.gif?cc=1&ck=1&cl=32-bit&ds=1366×768&ep=212486%2C4614&et=3&fl=11.0&ja=1&ln=zh-cn&lo=0<=1328171541&nv=1&rnd=1067394506&si=0f9e2caa14d6d0a51371b168d182314a&st=1&v=1.0.17
可以发现，浏览器总共向服务器端发送了4次请求：
1、请求一段js脚本。
2、加载完毕时候出发一次请求，并传递参数
3、退出页面时候，发出一次请求，并传递参数，与上面对比，发现ep参数有变化。
百度统计是基于cookie的，当请求js脚本的时候，会在你电脑里保存一个永久cookie，该cookie作为你的用户标识。同时发现，但退出时候参 数ep从最开始的0变为了“7289%2C115”，转义后是“7289，115”这是两个毫秒单位，即7.2秒和0.1秒的意思。同时前两次请求 hm.gif的时候lt参数(时间，javascript：(new Date).getTime())是不变的。rnd随机数每次都变。
下面使用Python模拟请求代码：
import urllib2 import urllib import random import math import urlparse import time import cookielib ######################################################################## class Baidu: """""" Referer='http://www.shalisoft.com' TargetPage='/www.shalisoft.com' BaiduID='' Hjs="http://hm.baidu.com/h.js?" Hgif="http://hm.baidu.com/hm.gif?" UserAgent='Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)' #IE9 MyData={'cc':'1','ck':'1','cl':'32-bit','ds':'1024x768','et':'0','ep':'0','fl':'11.0','ja':'1','ln':'zh-cn','lo':'0','nv':'1','st':'3','v':'1.0.17'} #---------------------------------------------------------------------- def __init__(self,baiduID,targetPage=None,refererPage=None): """Constructor""" self.TargetPage=targetPage or self.TargetPage self.Referer=refererPage or self.Referer self.BaiduID=baiduID self.MyData['si']=self.BaiduID self.MyData['su']=urllib.quote(self.Referer) pass def run(self,timeout=5): cj=cookielib.CookieJar() opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) opener.addheaders=[("Referer",self.TargetPage),("User-Agent",self.UserAgent)] try: response=opener.open(self.Hjs+self.BaiduID).info() self.MyData['rnd']=int(random.random()*2147483647 ) self.MyData['lt']=int(time.time()) fullurl=self.Hgif+urllib.urlencode(self.MyData) response2=opener.open(fullurl,timeout=timeout).info() self.MyData['rnd']=int(random.random()*2147483647 ) self.MyData['et']='3' self.MyData['ep']='2000,100' response3=opener.open(self.Hgif+urllib.urlencode(self.MyData),timeout=timeout).info() pass except urllib2.HTTPError ,ex: print ex.code pass except urllib2.URLError,ex: print ex.reason pass pass if __name__ =="__main__": a=Baidu('百度统计id','http://www.shalisoft.com/','www.shalisoft.com') a.run()代码中，实际我没有模拟4次请求，发出3次就可以在百度统计的最新访客里看到记录，发出前两次的话，在百度统计里可以看到有访问记录，但是不显示来源和访问页面。用法很简单，只要实例化Baidu这个类，并给他传递3个参数，第一个为百度统计给你的统计id，第二个是被访问页面的url，这个url可以是不存在的，因为实际百度统计并没有验证页面的存在，第3个就是访问该页面的来源页面，这样就可以在百度统计的后台看到来自‘www.lixin.com.cn’的用户访问了test4这个页面。
Google Analytics的工作原理
当用户访问了一个包含Google Analytics统计代码的页面，这段代码会被用户的浏览器执行，而这段代码的作用就是用来收集这位访客的信息，比如浏览页面的URL、浏览器类型、操作系统、系统语言、屏幕分辨率等。
GA统计代码随后将这些访客信息存储到Cookie中，Cookie是一段短小的文本，存放于本地，与访问的网站相关联，它被用来判断一个用户是初次访问还是多次访问，页面的推荐来源和随后的页面浏览信息等。
最后，所有的被收集到的信息会被发送到Google Analytics的数据服务器上。这个过程比较巧妙，我们知道服务器的日志文件会记录每一次的文件请求信息，而Google Analytics收集数据的方式便是通过向服务器请求一个透明的1×1的GIF图片文件，这个文件请求以及请求时间会在服务器日志中被记录，而文件请求 信息包含了GA统计代码收集的数据和Cookie信息，这样，每当这个GIF图片收到请求申请时，访客的访问信息就会被Google Analytics数据服务器收集。
不过Google Analytics只是发送一张gif请求，很多时候会发送多张gif请求。假如有一个gif图片无法统计，那么GA会发送其他gif请求，
总结：
网站分析大师Avinash曾经说过只要有数据有90%的准确度，那么就可以及时采取行动了。重要的是能够看出趋势，进而采取行动，然后进行测试，不断地优化。
阅读(3393) 分享(0)
