锐客网

  1. 首页 > 睿知 > it技术 > >

vb.net爬虫编写 vb制作网络爬虫

IT技术内容

VB.NET 如何获取网页中的数据Public Function webCaptureContent(ByVal mWebsiteUrl As String, ByVal mWebsiteType As Boolean) As String
'启动一次具体的数据采集工作,返回采集到的HTML内容:要求必须输入带://的全地址数据
On Error Resume Next
Dim Str_WebContent As String = "请输入查找网站地址."
Dim wb As WebClient = New WebClient()'//创建一个WebClient实例
If mWebsiteUrl.IndexOf("://")0 Then
'//获取或设置用于对向 Internet 资源的请求进行身份验证的网络凭据 。（可有可无）
wb.Credentials = CredentialCache.DefaultCredentials
'//从资源下载数据并返回字节数组 。（加@是因为网址中间有"/"符号）
Dim pagedata As Object = wb.DownloadData(mWebsiteUrl)
'//转换字符
If mWebsiteType Then
Str_WebContent = Encoding.Default.GetString(pagedata)
Else
Str_WebContent = Encoding.UTF8.GetString(pagedata)
End If
End If
ReturnStr_WebContent'提取出来新闻内容,删除Body前后的多余内容,同时补充上该 Body标记,形成完整的内容Str_WebContent'
End Function
我用vb.net写了一个爬虫程序，但运行起来，点击所有按钮都没有反应，非得强制关闭，listview控件也得等到你想一边运行，一边填充数据，我给你出的主意是多线程，用另一个线程来Invoke数据，
Thread和线程Timer（不是Form中的Timer），要是同时访问一块数据注意用
SyncLock锁
求VB.NET读取网页内容写法Imports System.Net
Imports System.IO
Imports System.Text.RegularExpressions
Public Class Form1
Private Sub button1_Click(sender As Object, e As EventArgs) Handles Button1.Click
Dim stream As IO.Stream = WebRequest.Create(UrlAdress).GetResponse().GetResponseStream()
'注意urladress为你上面的网页地址 。
Dim sr As StreamReader = New StreamReader(stream, System.Text.Encoding.UTF8)
Label1.Text = Regex.Match(sr.ReadToEnd, "回答采纳率").ToString
'sr 。readtoend读取网页流到末尾，即使用正则表达式从网页流中提取“回答采纳率”，赋值给Label1.Text ‘没有则为空
sr.Dispose() '关闭流
End Sub'要提取什么东西用正则表达式最好
End Class
如何编写VB.NET 接口程序可以的 ， 把项目的类型设成类库，将所有的函数用Public修饰附封装在类里面，生成dll文件 。这样别人就可以在别人项目属性的引用页里面添加对你的dll文件的引用 ， 然后导入命名空间，直接使用了 。
比如说，在一个项目里：
NameSpace Controller
Public Class ControlMachine
Public Sub Boot()
End Sub
Public Sub Shutdown()
End Sub
End Class
End NameSpace
进入另一个项目的项目属性，进入引用页，添加到那个dll文件的引用 。在代码中：
Imports Controller '加在代码文档的最顶端
使用：
Dim controller As New ControlMachine
controller.Boot()
controller.Shutdown()
希望你能了解 ， 不懂再追问
【vb.net爬虫编写 vb制作网络爬虫】vb.net爬虫编写的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于vb制作网络爬虫、vb.net爬虫编写的信息别忘了在本站进行查找喔 。

    推荐阅读


    上一篇：关于全本txt全集下载的信息

    下一篇：nosql的查询，nosql newsql