C#|C#利用WebBrower抓取网页中Ajax加载的内容爬虫|c#

现在的网页有相当一部分是采用了AJAX技术,不管是采用C#中的WebClient还是HttpRequest都得不到正确的结果,因为这些脚本是在服务器发送完毕后才执行的! 但我们用IE浏览页面时是正常的,所以解决方法只有1个就是采用WebBrowser控件但是使用Webbrowser你会发现,在DownloadComplete事件中,你根本无法知道页面何时才算是真正的加载完毕! 当然个别有Frame的网页可能会触发多次Complete,即使你采用计数器的办法,即在Navigated事件中++,而在DownloadComplete中做--,也仍然不能得到JS完成执行后的结果,我开始也感觉到非常奇怪,直到后来GG了相关AJAX的文章,明白了其中原委. 最终解决方案就是利用WebBrowser+Timer来解决抓取页面的问题而其中的关键仍然是页面状态,我们可以利用webBrowser1.StatusText,如果返回"完成",表示页面加载完毕! 示例代码如下: private void timer1_Tick(object sender, EventArgs e) {textBox1.Text += webBrowser1.StatusText; if (webBrowser1.StatusText == "完成") {timer1.Enabled = false; //页面加载完成,做一些其它的事 textBox1.Text += webBrowser1.Document.Body.OuterHtml; //webBrowser1.DocumentText 注意不要用这个，这个和查看源文件一样的 } } private void Form1_Load(object sender, EventArgs e) { string Url = "http://cd.mei8.cn/face/work/windex.aspx?btn=6"; webBrowser1.Navigate(Url); }放三个控件，webBrowser，timer，textBox timer设置为可用

【C#|C#利用WebBrower抓取网页中Ajax加载的内容】

C#|C#利用WebBrower抓取网页中Ajax加载的内容

推荐阅读

银耳煮不烂是什么原因银耳怎么煮容易烂

萝卜羊肉馅水饺怎么做羊肉萝卜馅饺子怎样做

计算机进银行后悔死了银行考试都考什么

佳能5dmark3新手入门图解佳能5dmark3评测

空洞骑士梦之门怎么用

手机淘宝删除的订单还能找到吗

腰围80厘米是几尺几呀

安卓模拟器手机型号,安卓模拟器怎么用?

眼皮抽脂几天能碰水

英冠联赛积分榜比分_英冠联赛积分榜比分表最新

微信朋友圈跟qq空间同步设置

兔子养在外面会冻死吗

想做一个农家乐有什么建议？做垂钓怎么样？

如何购买钻石呢

spring|spring security 之自定义表单登录源码跟踪

如何为战术战队设置服务器？战术战队怎么设置服务器

奥克斯空调显示e5是什么意思

“人生最大的幸福,是发现自己爱的人正好也爱着自己”,你怎么看？

光谱图像分析,多光谱图像融合

c高级编程第11版，unix环境高级编程程序清单117简化加解锁的问题有个问题APUE