锐客网

  1. 首页 > 生活百科 > it技术 > >

go语言find go语言开发为什么难找工作

IT技术语言

Golang net/http 爬虫[1] 上周从零学习了golang，语法简单关键字少，写个爬虫熟悉一下语法结构 。
首先选用了原生的net/http包 ， 基本上涵盖了所有的get/post请求，各种参数都可以设置，网上google到html页面解析goquery神器，很轻松就可以解决页面解析问题 。
首先就写了个爬取汇率的爬虫 。然后重写之前php的一个请求类，请求类的逻辑有点混乱不清晰，往往把两个不同的功能合并到一起写，粒度大，后来发现了一个好用的框架——colly，之后再试试好不好用
Windows 10 Golang
依赖包：goquery
较常用的方法有Find和Each
爬取中国银行的汇率牌价表，golang依赖net/http包和goquery包
唯一的难点是对于goquery方法的使用 ， 需要阅读官方文档：
使用原生的net/http包基本上可以解决大多数的网页请求，使用goquery可以解决页面解析问题
可以利用golang的协程特性进行异步多协程爬取
增加安全性可以通过几个方面进行改进：
1.首先可以限制爬虫的爬取速度
2.每次对网页的请求都随机选用一个客户端
3.选用IP代理池，防止IP误封（及限制ip访问次数）
构造请求代理ip网站的链接→获取网页内容→ 提取网页中IP地址和端口号→验证IP的有效性并存储
轻量级反爬虫方案
浅谈JSP
golang带json的Http请求
Get/Post
HTTP请求中的Form Data和Request Payload的区别
HTTP Json请求
net/http：
golang HTTP操作
python建立爬虫代理ip池
爬虫黑科技之让你的爬虫程序更像人类用户的行为
特点：事件监听，通过callback执行事件处理
基于colly开发的web管理界面
Go语言map是怎么比较key是否存在的首先,不推荐使用[]来判断key是否存在,因为使用操作符[]会向map容器里插入一个元素.map的operator[]重载大致是这样一个内容：
data_type operator[]( const key_type k ){value_type v(k,data_type());
iterator it = insert(v).first;
} 大致是这样,如果没有找到的话就插入一个,然后返回它的second.正确的判断方法是使用map的find函数,由于map是一个红黑树,find的时间复杂度是logn,可以接受.bool i***ist(constString keyName) { return( mRegistryMap.find(keyName)!= mRegistryMap.end()); }
go语言可以做什么1、服务器编程：以前你如果使用C或者C做的那些事情，用Go来做很合适，例如处理日志、数据打包、虚拟机处理、文件系统等 。
2、分布式系统、数据库代理器、中间件：例如Etcd 。
3、网络编程：这一块目前应用最广，包括Web应用、API应用、下载应用 ， 而且Go内置的net/http包基本上把我们平常用到的网络功能都实现了 。
4、开发云平台：目前国外很多云平台在采用Go开发，我们所熟知的七牛云、华为云等等都有使用Go进行开发并且开源的成型的产品 。
5、区块链：目前有一种说法，技术从业人员把Go语言称作为区块链行业的开发语言 。如果大家学习区块链技术的话，就会发现现在有很多很多的区块链的系统和应用都是采用Go进行开发的，比如ehtereum是目前知名度最大的公链，再比如fabric是目前最知名的联盟链 ， 两者都有go语言的版本，且go-ehtereum还是以太坊官方推荐的版本 。
自1.0版发布以来，go语言引起了众多开发者的关注 ， 并得到了广泛的应用 。go语言简单、高效、并发的特点吸引了许多传统的语言开发人员，其数量也在不断增加 。
使用 Go 语言开发的开源项目非常多 。早期的 Go 语言开源项目只是通过 Go 语言与传统项目进行C语言库绑定实现，例如 Qt、Sqlite 等 。
后期的很多项目都使用 Go 语言进行重新原生实现，这个过程相对于其他语言要简单一些，这也促成了大量使用 Go 语言原生开发项目的出现 。
go语言有支持正则表达式后向引用的方法吗go语言有支持正则表达式后向引用的方法，方法如下
package main
import (
"fmt"
"os"
"path/filepath"
"regexp"
)
func main() {
// 命令行参数
args := os.Args
// 检查参数
if len(args) == 1 {
fmt.Println("ff is a file find tool. use like bottom")
fmt.Println("ff [dir] [regexp]")
return
}
if len(args)3 {
fmt.Println("args3")
return
}
fileName := args[1]
pattern := args[2]
file, err := os.Open(fileName)
if err != nil {
fmt.Println(err)
return
}
fi, err := file.Stat()
if err != nil {
fmt.Println(err)
return
}
if !fi.IsDir() {
fmt.Println(fileName, " is not a dir")
}
reg, err := regexp.Compile(pattern)
if err != nil {
【go语言find go语言开发为什么难找工作】fmt.Println(err)
return
}
// 遍历目录
filepath.Walk(fileName,
func(path string, f os.FileInfo, err error) error {
if err != nil {
fmt.Println(err)
return err
}
if f.IsDir() {
return nil
}
// 匹配目录
matched := reg.MatchString(f.Name())
if matched {
fmt.Println(path)
}
return nil
})
}
golang正则表达式 分组命名正则中有分组这个功能go语言find，在golang中也可以使用命名分组 。
一次匹配go语言find的情况
场景还原如下：
有一行文本，格式为：姓名 年龄 邮箱地址
请将其转换为一个map
代码实现如下：
str := `Alice 20 alice@gmail.com`
// 使用命名分组 ， 显得更清晰
re := regexp.MustCompile(`(?Pname[a-zA-Z] )\s (?Page\d )\s (?Pemail\w @\w (?:\.\w ) )`)
match := re.FindStringSubmatch(str)
groupNames := re.SubexpNames()
fmt.Printf("%v, %v, %d, %d\n", match, groupNames, len(match), len(groupNames))
result := make(map[string]string)
// 转换为map
for i, name := range groupNames {
if i != 0name != "" { // 第一个分组为空（也就是整个匹配）
result[name] = match[i]
}
}
prettyResult, _ := json.MarshalIndent(result, "", "")
fmt.Printf("%s\n", prettyResult)
输出为：
[Alice 20 alice@gmail.com Alice 20 alice@gmail.com], [ name age email], 4, 4
{
"age": "20",
"email": "alice@gmail.com",
"name": "Alice"
}
注意 [ name age email]有4个元素，第一个为"" 。
多次匹配go语言find的情况
接上面的例子，实现一个更贴近现实的需求：
有一个文件，内容大致如下：
Alice 20 alice@gmail.com
Bob 25 bob@outlook.com
gerrylon 26 gerrylon@github.com
...
更多内容
和上面一样， 不过这次转出来是一个slice of map, 也就是多个map 。
代码如下：
// 文件内容直接用字符串表示
usersStr := `
Alice 20 alice@gmail.com
Bob 25 bob@outlook.com
gerrylon 26 gerrylon@github.com
`
userRe := regexp.MustCompile(`(?Pname[a-zA-Z] )\s (?Page\d )\s (?Pemail\w @\w (?:\.\w ) )`)
// 这里要用FindAllStringSubmatch，找到所有的匹配
users := userRe.FindAllStringSubmatch(usersStr, -1)
groupNames := userRe.SubexpNames()
var result []map[string]string // slice of map
// 循环所有行
for _, user := range users {
m := make(map[string]string)
// 对每一行生成一个map
for j, name := range groupNames {
if j != 0name != "" {
m[name] = strings.TrimSpace(user[j])
}
}
result = append(result, m)
}
prettyResult, _ := json.MarshalIndent(result, "", "")
fmt.Println(string(prettyResult))
输出为：
[
{
"age": "20",
"email": "alice@gmail.com",
"name": "Alice"
},
{
"age": "25",
"email": "bob@outlook.com",
"name": "Bob"
},
{
"age": "26",
"email": "gerrylon@github.com",
"name": "gerrylon"
}
]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
总结
使用命名分组可以使正则表示的意义更清晰 。
转换为map更加符合人类的阅读习惯，不过比一般的根据索引取分组值麻烦一些 。
————————————————
版权声明：本文为CSDN博主「butterfly5211314」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明 。
原文链接：
go语言find的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于go语言开发为什么难找工作、go语言find的信息别忘了在本站进行查找喔 。

    推荐阅读


    上一篇：如何解决网站服务器密码错误问题？ 怎么开网站服务器密码错误

    下一篇：如何下载pdf编辑器，pdf编辑器怎么下载安装