curl获取网站的响应时间
0.问题
总有人反馈说打开某个页面比较慢,
但是他们并不清楚到底慢在哪里。
同样的问题,
在我们访问外部业务的接口时,
往往也是感觉很慢,
但就是不清楚慢在哪里。
1.分析
当我们打开一个网页,
对于一个不需要考虑技术的人,
想象的画面应该是,
我们通过地址栏问浏览器要个东西,
然后浏览器通过我们提供的地址去对应的服务器取对应的文件,
然后根据服务器的回应将内容显示给我们。
从一个运维人员的视角,
可能就不能这么简单粗暴地想象了,
否则可能永远也无法确认问题究竟出现在哪里了。
简单点来概括下,
1.当我们打开浏览器,在地址栏输入www.qq.com时,
浏览器首先会根据浏览器缓存,电脑缓存,电脑hosts文件,DNS服务来解析www.qq.com对应的网络地址是多少,这个过程会根据解析地方的不同而耗时不同。
使用浏览器缓存和电脑缓存,
返回的结果是最快的,但是可能不是最新的,也可能是错误的。
通过hosts文件解析域名的优先级是高于DNS服务的解析的,
我们也可以在hosts中修改某些域名的解析结果。
2.浏览器获得域名相应IP后,开始与服务器进行三次握手进行连接。
3.浏览器与服务器建立连接后向其发起服务请求
4.服务器内部处理完请求后,将处理结果发送给浏览器
5.浏览器解析服务器发送的结果,然后展示给用户
上面简单描述了浏览器在与服务器进行服务请求的过程,
其中任何一个环节耗时过久都将影响到用户访问网站的速度。
2.Curl获取相关数据
使用cur -w/--write-out l获取相关数据
几个比较关键的参数:
url_effective 最后获取的URL。
http_code 上一次HTTP(S)或FTP(S)操作返回的响应码。在7.18.2版加入的response_code显示同样的信息。
http_connect 在最后一次对cURL的CONNECT请求的响应(从代理)中发现的数值代码。 (在7.12.4版加入)
time_total 全部操作耗费的时间,单位为秒。精确到毫秒。
time_namelookup 从开始到域名解析完成耗费的时间,单位为秒。
time_connect TCP连接远程主机(或代理服务器)所耗时间,单位为秒。
time_appconnect SSL/SSH/等与远程主机连接/握手完成花费的时间,单位为秒。(在7.19.0 版加入)
time_pretransfer 从开始到文件将要传输前花费的时间,单位为秒。包括指定的协议所有预传输命令和negotiations。
time_redirect 所有重定向步骤的时间,包域名解析、连接、预传输和最后事务开始前的传输,单位为秒。time_redirect显示多重重定向的完整执行时间。(在7.12.3版加入 )
time_starttransfer 从开始到第一个字节将被传输前耗费的时间,单位为秒。
这包括time_pretransfer和服务器需要的运算结果的时间。
size_download下载的总字节数。
size_upload上传的总字节数。
size_header 下载的header的总字节数。
size_request 发送的HTTP请求的总字节数。
speed_download curl成功下载的平均下载速度。
speed_upload curl成功上传的平均上传速度。
3.获取请求的耗时信息
针对特定的请求,通过curl可以获取到各个环节的耗时情况,
比如域名解析的耗时,建立连接的耗时,服务端处理的耗时,总的耗时。
国内某合作方素材
curl -o /dev/null -s -w "http_code: %{http_code}\nhttp_connect:%{http_connect}\ncontent_type:%{content_type}\ntime_dns:%{time_namelookup}\ntime_redirect:%{time_redirect}\ntime_pretransfer:%{time_pretransfer}\ntime_connect:%{time_connect}\ntime_starttransfer:%{time_starttransfer}\ntime_total:%{time_total}:\nspeed_download:%{speed_download}\n " "http://di.adsame.com/flv_test/20161107143341_231.jpg";
http_code: 200
http_connect:000
content_type:p_w_picpath/jpeg
time_dns:0.005
time_redirect:0.000
time_pretransfer:0.013
time_connect:0.013
time_starttransfer:0.021
time_total:0.029:
speed_download:441815.000
苹果官网图片素材
curl -o /dev/null -s -w "http_code: %{http_code}\nhttp_connect:%{http_connect}\ncontent_type:%{content_type}\ntime_dns:%{time_namelookup}\ntime_redirect:%{time_redirect}\ntime_pretransfer:%{time_pretransfer}\ntime_connect:%{time_connect}\ntime_starttransfer:%{time_starttransfer}\ntime_total:%{time_total}:\nspeed_download:%{speed_download}\n " "http://p_w_picpaths.apple.com/v/iphone-7/d/p_w_picpaths/overview/design_hero_large.jpg";
http_code: 200
http_connect:000
content_type:p_w_picpath/jpeg
time_dns:0.449
time_redirect:0.000
time_pretransfer:0.456
time_connect:0.456
time_starttransfer:0.465
time_total:0.493:
speed_download:419293.000
微博短域名链接
curl -o /dev/null -s -w "http_code: %{http_code}\nhttp_connect:%{http_connect}\ncontent_type:%{content_type}\ntime_dns:%{time_namelookup}\ntime_redirect:%{time_redirect}\ntime_pretransfer:%{time_pretransfer}\ntime_connect:%{time_connect}\ntime_starttransfer:%{time_starttransfer}\ntime_total:%{time_total}:\nspeed_download:%{speed_download}\n " -L "http://t.cn/Rip1YJA"
http_code: 200
http_connect:000
content_type:text/html;charset=GBK
time_dns:0.210
time_redirect:0.079
time_pretransfer:0.240
time_connect:0.240
time_starttransfer:0.290
time_total:0.369:
speed_download:4349.000
4.其他
目前只能用curl获取到指定请求的静态页面,还是无法像浏览器那样将页面中的链接都请求到,
这样就无法真实反应浏览器中访问页面的耗时情况。
不过当用户反映访问某个页面慢的时候,
通过curl访问对应的地址基本上可以确定,
单个请求主要耗时在哪里。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。