锐客网

  1. 首页 > 生活百科 > it技术 > >

python请求处理函数 python获取请求数据

匹配IT技术

python 中 requests 库中的提交请求函数，有的是 params 有的是data，还有 json，有啥区别？请求参数提交时，可以以QueryString的方式后缀在 URL 后(比如 GET 或 DELETE 请求时)，或者可以在请求体中以键值对或 JSON 的方式提交(比如 PUT 或 POST 请求时),对应的，如果是在前者，那么提交数据使用参数 params,如果是后者，提交数据是 JSON 的情况下就使用 json，否则就使用 data 。
想要相关实现的操作和源码，参考黑马程序员的相关教程，官网都有配套资料，资料当中就含有课件 笔记 源码了 。总之非常适合小白学习，想要学习的可以去看看 。
python:Request的函数是什么作用你说python请求处理函数的是
1
“class Request( url[, data][, headers] [, origin_req_host][, unverifiable]) ”吧 。
这是一个类阿 。是提取url中python请求处理函数的信息的阿
“This class is an abstraction of a URL request.”
就像你在百度里面搜索“python”一样 。
用户点完enter键触发 。
这时候
URL = ""
Request(URL)
这样就生成python请求处理函数了一个类 。你就可以用他来解析用户需求 。
2
request( method, url[, body[, headers]])
This will send a request to the server using the HTTP request method method and the selector url. If the body argument is present, it should be a string of data to send after the headers are finished. The header Content-Length is automatically set to the correct value. The headers argument should be a mapping of extra HTTP headers to send with the request.
Python网络请求和解析json数据Python 的 json 模块提供了两个函数json.dumps() 和json.loads()来编码和解码JSON数据 。
如果要处理的是文件而不是字符串，可以使用json.dump()和json.load()来编码和解码JSON数据 。例如：
python怎么响应后端发送get，post请求的接口测试用CGI,名字为test.py，放在apache的cgi-bin目录下:
#!/usr/bin/Python
import cgi
def main():
print "Content-type: text/html\n"
form = cgi.FieldStorage()
if form.has_key("ServiceCode") and form["ServiceCode"].value != "":
print "h1 Hello",form["ServiceCode"].value,"/h1"
else:
print "h1 Error! Please enter first name./h1"
main()
python发送post和get请求
get请求：
使用get方式时 ， 请求数据直接放在url中 。
方法一、
import urllib
import urllib2
url = ""
req = urllib2.Request(url)
print req
res_data = https://www.04ip.com/post/urllib2.urlopen(req)
res = res_data.read()
print res
方法二、
import httplib
url = ""
conn = httplib.HTTPConnection("192.168.81.16")
conn.request(method="GET",url=url)
response = conn.getresponse()
res= response.read()
print res
post请求：
使用post方式时，数据放在data或者body中，不能放在url中，放在url中将被忽略 。
方法一、
import urllib
import urllib2
test_data = https://www.04ip.com/post/{'ServiceCode':'aaaa','b':'bbbbb'}
test_data_urlencode = urllib.urlencode(test_data)
requrl = ""
req = urllib2.Request(url = requrl,data =https://www.04ip.com/post/test_data_urlencode)
print req
res_data = https://www.04ip.com/post/urllib2.urlopen(req)
res = res_data.read()
print res
方法二、
import urllib
import httplib
test_data = https://www.04ip.com/post/{'ServiceCode':'aaaa','b':'bbbbb'}
test_data_urlencode = urllib.urlencode(test_data)
requrl = ""
headerdata = https://www.04ip.com/post/{"Host":"192.168.81.16"}
conn = httplib.HTTPConnection("192.168.81.16")
conn.request(method="POST",url=requrl,body=test_data_urlencode,headers = headerdata)
response = conn.getresponse()
res= response.read()
print res
对python中json的使用不清楚，所以临时使用了urllib.urlencode(test_data)方法;
模块urllib,urllib2,httplib的区别
httplib实现了http和https的客户端协议，但是在python中，模块urllib和urllib2对httplib进行了更上层的封装 。
介绍下例子中用到的函数：
1、HTTPConnection函数
httplib.HTTPConnection(host[,port[,stict[,timeout]]])
这个是构造函数，表示一次与服务器之间的交互 ， 即请求/响应
host标识服务器主机(服务器IP或域名)
port默认值是80
strict模式是False，表示无法解析服务器返回的状态行时，是否抛出BadStatusLine异常
例如:
conn = httplib.HTTPConnection("192.168.81.16"，80)与服务器建立链接 。
2、HTTPConnection.request(method,url[,body[,header]])函数
这个是向服务器发送请求
method请求的方式，一般是post或者get，
例如：
method="POST"或method="Get"
url请求的资源 ， 请求的资源(页面或者CGI,我们这里是CGI)
例如：
url=""请求CGI
或者
url=""请求页面
body需要提交到服务器的数据，可以用json，也可以用上面的格式，json需要调用json模块
headers请求的http头headerdata = https://www.04ip.com/post/{"Host":"192.168.81.16"}
例如:
test_data = https://www.04ip.com/post/{'ServiceCode':'aaaa','b':'bbbbb'}
test_data_urlencode = urllib.urlencode(test_data)
requrl = ""
headerdata = https://www.04ip.com/post/{"Host":"192.168.81.16"}
conn = httplib.HTTPConnection("192.168.81.16"，80)
conn.request(method="POST",url=requrl,body=test_data_urlencode,headers = headerdata)
conn在使用完毕后，应该关闭，conn.close()
3、HTTPConnection.getresponse()函数
这个是获取http响应，返回的对象是HTTPResponse的实例 。
4、HTTPResponse介绍：
HTTPResponse的属性如下：
read([amt])获取响应消息体，amt表示从响应流中读取指定字节的数据，没有指定时 ， 将全部数据读出；
getheader(name[,default])获得响应的header，name是表示头域名，在没有头域名的时候，default用来指定返回值
getheaders()以列表的形式获得header
例如：
date=response.getheader('date');
print date
resheader=''
resheader=response.getheaders();
print resheader
列形式的响应头部信息:
[('content-length', '295'), ('accept-ranges', 'bytes'), ('server', 'Apache'), ('last-modified', 'Sat, 31 Mar 2012 10:07:02 GMT'), ('connection', 'close'), ('etag', '"e8744-127-4bc871e4fdd80"'), ('date', 'Mon, 03 Sep 2012 10:01:47 GMT'), ('content-type', 'text/html')]
date=response.getheader('date');
print date
取出响应头部的date的值 。
******************************************************************************************************************************************************************************************************************************************************
所谓网页抓?。褪前裊RL地址中指定的网络资源从网络流中读取出来，保存到本地 。
类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端，然后读取服务器端的响应资源 。
在Python中，我们使用urllib2这个组件来抓取网页 。
urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件 。
它以urlopen函数的形式提供了一个非常简单的接口 。
最简单的urllib2的应用代码只需要四行 。
我们新建一个文件urllib2_test01.py来感受一下urllib2的作用：
import urllib2
response = urllib2.urlopen('')
html = response.read()
print html
按下F5可以看到运行的结果：
我们可以打开百度主页，右击，选择查看源代码（火狐OR谷歌浏览器均可），会发现也是完全一样的内容 。
也就是说，上面这四行代码将我们访问百度时浏览器收到的代码们全部打印了出来 。
这就是一个最简单的urllib2的例子 。
除了"http:" ， URL同样可以使用"ftp:"，"file:"等等来替代 。
HTTP是基于请求和应答机制的：
客户端提出请求，服务端提供应答 。
urllib2用一个Request对象来映射你提出的HTTP请求 。
在它最简单的使用形式中你将用你要请求的地址创建一个Request对象，
通过调用urlopen并传入Request对象，将返回一个相关请求response对象，
这个应答对象如同一个文件对象 ， 所以你可以在Response中调用.read() 。
我们新建一个文件urllib2_test02.py来感受一下：
import urllib2
req = urllib2.Request('')
response = urllib2.urlopen(req)
the_page = response.read()
print the_page
可以看到输出的内容和test01是一样的 。
urllib2使用相同的接口处理所有的URL头 。例如你可以像下面那样创建一个ftp请求 。
req = urllib2.Request('')
在HTTP请求时，允许你做额外的两件事 。
1.发送data表单数据
这个内容相信做过Web端的都不会陌生，
有时候你希望发送一些数据到URL(通常URL与CGI[通用网关接口]脚本 ， 或其他WEB应用程序挂接) 。
【python请求处理函数 python获取请求数据】在HTTP中,这个经常使用熟知的POST请求发送 。
这个通常在你提交一个HTML表单时由你的浏览器来做 。
并不是所有的POSTs都来源于表单 ， 你能够使用POST提交任意的数据到你自己的程序 。
一般的HTML表单，data需要编码成标准形式 。然后做为data参数传到Request对象 。
编码工作使用urllib的函数而非urllib2 。
我们新建一个文件urllib2_test03.py来感受一下：
import urllib
import urllib2
url = ''
values = {'name' : 'WHY',
'location' : 'SDU',
'language' : 'Python' }
data = https://www.04ip.com/post/urllib.urlencode(values) # 编码工作
req = urllib2.Request(url, data)# 发送请求同时传data表单
response = urllib2.urlopen(req)#接受反馈的信息
the_page = response.read()#读取反馈的内容
如果没有传送data参数，urllib2使用GET方式的请求 。
GET和POST请求的不同之处是POST请求通常有"副作用" ，
它们会由于某种途径改变系统状态(例如提交成堆垃圾到你的门口) 。
Data同样可以通过在Get请求的URL本身上面编码来传送 。
import urllib2
import urllib
data = https://www.04ip.com/post/{}
data['name'] = 'WHY'
data['location'] = 'SDU'
data['language'] = 'Python'
url_values = urllib.urlencode(data)
print url_values
name=Somebody Herelanguage=Pythonlocation=Northampton
url = ''
full_url = url'?'url_values
data = https://www.04ip.com/post/urllib2.open(full_url)
这样就实现了Data数据的Get传送 。
2.设置Headers到http请求
有一些站点不喜欢被程序（非人为访问）访问，或者发送不同版本的内容到不同的浏览器 。
默认的urllib2把自己作为“Python-urllib/x.y”(x和y是Python主版本和次版本号,例如Python-urllib/2.7)，
这个身份可能会让站点迷惑 ， 或者干脆不工作 。
浏览器确认自己身份是通过User-Agent头 ， 当你创建了一个请求对象，你可以给他一个包含头数据的字典 。
下面的例子发送跟上面一样的内容，但把自身模拟成Internet Explorer 。
（多谢大家的提醒，现在这个Demo已经不可用了，不过原理还是那样的） 。
import urllib
import urllib2
url = ''
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {'name' : 'WHY',
'location' : 'SDU',
'language' : 'Python' }
headers = { 'User-Agent' : user_agent }
data = https://www.04ip.com/post/urllib.urlencode(values)
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
the_page = response.read()
以上就是python利用urllib2通过指定的URL抓取网页内容的全部内容，非常简单吧 ， 希望对大家能有所帮助
python常用函数包有哪些？一些python常用函数包：
1、Urllib3
Urllib3是一个 Python 的 HTTP 客户端python请求处理函数 ， 它拥有 Python 标准库中缺少的许多功能：
线程安全
连接池
客户端 SSL/TLS 验证
使用分段编码上传文件
用来重试请求和处理 HTTP 重定向的助手
支持 gzip 和 deflate 编码
HTTP 和 SOCKS 的代理支持
2、Six
six 是一个是 Python 2 和 3 的兼容性库 。这个项目旨在支持可同时运行在 Python 2 和 3 上的代码库 。它提供了许多可简化 Python 2 和 3 之间语法差异的函数 。
3、botocore、boto3、s3transfer、awscli
Botocore是 AWS 的底层接口 。Botocore是 Boto3 库（#22）的基础，后者让python请求处理函数你可以使用 Amazon S3 和 Amazon EC2 一类的服务 。Botocore 还是 AWS-CLI 的基础，后者为 AWS 提供统一的命令行界面 。
S3transfer（#7）是用于管理 Amazon S3 传输的 Python 库 。它正在积极开发中 ， 其介绍页面不推荐人们现在使用，或者至少等版本固定下来再用，因为其 API 可能发生变化 ， 在次要版本之间都可能更改 。Boto3、AWS-CLI和其他许多项目都依赖s3transfer 。
4、Pip
pip是“Pip Installs Packages”的首字母递归缩写 。
pip很容易使用 。要安装一个包只需pip install package name即可 ， 而删除包只需pip uninstall package name即可 。
最大优点之一是它可以获取包列表，通常以requirements.txt文件的形式获取 。该文件能选择包含所需版本的详细规范 。大多数 Python 项目都包含这样的文件 。
如果结合使用pip与virtualenv（列表中的 #57），就可以创建可预测的隔离环境，同时不会干扰底层系统，反之亦然 。
5、Python-dateutil
python-dateutil模块提供了对标准datetime模块的强大扩展 。我的经验是，常规的Python datetime缺少哪些功能，python-dateutil就能补足那一块 。
6、Requests
Requests建立在我们的 #1 库——urllib3基础上 。它让 Web 请求变得非常简单 。相比urllib3来说 ， 很多人更喜欢这个包 。而且使用它的最终用户可能也比urllib3更多 。后者更偏底层，并且考虑到它对内部的控制级别，它一般是作为其他项目的依赖项 。
7、Certifi
近年来，几乎所有网站都转向 SSL ， 你可以通过地址栏中的小锁符号来识别它 。加了小锁意味着与该站点的通信是安全和加密的，能防止窃听行为 。
8、Idna
根据其 PyPI 页面，idna提供了“对 RFC5891 中指定的应用程序中国际化域名（IDNA）协议的支持 。”
IDNA的核心是两个函数：ToASCII和ToUnicode 。ToASCII会将国际 Unicode 域转换为 ASCII 字符串 。ToUnicode则逆转该过程 。在IDNA包中，这些函数称为idna.encode()和idna.decode()
9、PyYAML
YAML是一种数据序列化格式 。它的设计宗旨是让人类和计算机都能很容易地阅读代码——人类很容易读写它的内容，计算机也可以解析它 。
PyYAML是 Python 的YAML解析器和发射器，这意味着它可以读写YAML 。它会把任何 Python 对象写成YAML：列表、字典，甚至是类实例都包括在内 。
10、Pyasn1
像上面的IDNA一样，这个项目也非常有用：
ASN.1 类型和 DER/BER/CER 编码（X.208）的纯 Python 实现
所幸这个已有数十年历史的标准有很多信息可用 。ASN.1是 Abstract Syntax Notation One 的缩写，它就像是数据序列化的教父 。它来自电信行业 。也许你知道协议缓冲区或 Apache Thriftpython请求处理函数？这就是它们的 1984 年版本 。
11、Docutils
Docutils是一个模块化系统，用来将纯文本文档处理为很多有用的格式 ， 例如 HTML、XML 和 LaTeX 等 。Docutils能读取reStructuredText格式的纯文本文档，这种格式是类似于 MarkDown 的易读标记语法 。
12、Chardet
你可以用chardet模块来检测文件或数据流的字符集 。比如说 ， 需要分析大量随机文本时，这会很有用 。但你也可以在处理远程下载的数据，但不知道用的是什么字符集时使用它 。
13、RSA
rsa包是一个纯 Python 的 RSA 实现 。它支持：
加密和解密
签名和验证签名
根据 PKCS#1 1.5 版生成密钥
它既可以用作 Python 库，也能在命令行中使用 。
14、Jmespath
JMESPath ， 发音为“James path”，使 Python 中的 JSON 更容易使用 。它允许你声明性地指定如何从 JSON 文档中提取元素 。
15、Setuptools
它是用于创建 Python 包的工具 。不过，其文档很糟糕 。它没有清晰描述它的用途，并且文档中包含无效链接 。最好的信息源是这个站点 ， 特别是这个创建 Python 包的指南 。
16、Pytz
像dateutils一样 ， 这个库可帮助你处理日期和时间 。有时候，时区处理起来可能很麻烦 。幸好有这样的包 ， 可以让事情变得简单些 。
17、Futures
从 Python 3.2 开始，python 提供current.futures模块 ， 可帮助你实现异步执行 。futures 包是该库适用于 Python 2 的 backport 。它不适用于 Python3 用户 ， 因为 Python 3 原生提供了该模块 。
18、Colorama
使用 Colorama，你可以为终端添加一些颜色：
更多Python知识请关注Python自学网
Python常用的正则表达式处理函数详解 正则表达式是一个特殊的字符序列，用于简洁表达一组字符串特征，检查一个字符串是否与某种模式匹配，使用起来十分方便 。
在Python中，我们通过调用re库来使用re模块：
import re
下面介绍Python常用的正则表达式处理函数 。
re.match函数
re.match 函数从字符串的起始位置匹配正则表达式，返回match对象，如果不是起始位置匹配成功的话，match()就返回None 。
re.match(pattern, string, flags=0)
pattern：匹配的正则表达式 。
string：待匹配的字符串 。
flags：标志位，用于控制正则表达式的匹配方式，如：是否区分大小写 ， 多行匹配等等 。具体参数为：
re.I：忽略大小写 。
re.L：表示特殊字符集 \w, \W, \b, \B, \s, \S 依赖于当前环境 。
re.M：多行模式 。
re.S：即 .，并且包括换行符在内的任意字符（. 不包括换行符） 。
re.U：表示特殊字符集 \w, \W, \b, \B, \d, \D, \s, \S 依赖于 Unicode 字符属性数据库 。
re.X：为了增加可读性，忽略空格和 # 后面的注释 。
import re#从起始位置匹配r1=re.match('abc','abcdefghi')print(r1)#不从起始位置匹配r2=re.match('def','abcdefghi')print(r2)
运行结果：
其中，span表示匹配成功的整个子串的索引 。
使用group(num) 或 groups() 匹配对象函数来获取匹配表达式 。
group(num)：匹配的整个表达式的字符串 ， group() 可以一次输入多个组号，这时它将返回一个包含那些组所对应值的元组 。
groups()：返回一个包含所有小组字符串的元组，从 1 到 所含的小组号 。
import res='This is a demo'r1=re.match(r'(.*) is (.*)',s)r2=re.match(r'(.*) is (.*?)',s)print(r1.group())print(r1.group(1))print(r1.group(2))print(r1.groups())print()print(r2.group())print(r2.group(1))print(r2.group(2))print(r2.groups())
运行结果：
上述代码中的(.*)和(.*?)表示正则表达式的贪婪匹配与非贪婪匹配 。
re.search函数
re.search函数扫描整个字符串并返回第一个成功的匹配，如果匹配成功则返回match对象，否则返回None 。
re.search(pattern, string, flags=0)
pattern：匹配的正则表达式 。
string：待匹配的字符串 。
flags：标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等 。
import re#从起始位置匹配r1=re.search('abc','abcdefghi')print(r1)#不从起始位置匹配r2=re.search('def','abcdefghi')print(r2)
运行结果：
使用group(num) 或 groups() 匹配对象函数来获取匹配表达式 。
group(num=0)：匹配的整个表达式的字符串 ， group() 可以一次输入多个组号，这时它将返回一个包含那些组所对应值的元组 。
groups()：返回一个包含所有小组字符串的元组 ， 从 1 到 所含的小组号 。
import res='This is a demo'r1=re.search(r'(.*) is (.*)',s)r2=re.search(r'(.*) is (.*?)',s)print(r1.group())print(r1.group(1))print(r1.group(2))print(r1.groups())print()print(r2.group())print(r2.group(1))print(r2.group(2))print(r2.groups())
运行结果：
从上面不难发现re.match与re.search的区别：re.match只匹配字符串的起始位置，只要起始位置不符合正则表达式就匹配失败，而re.search是匹配整个字符串，直到找到一个匹配为止 。
re.compile 函数
compile 函数用于编译正则表达式，生成一个正则表达式对象，供 match() 和 search() 这两个函数使用 。
re.compile(pattern[, flags])
pattern：一个字符串形式的正则表达式 。
flags：可?。?表示匹配模式，比如忽略大小写，多行模式等 。
import re#匹配数字r=re.compile(r'\d ')r1=r.match('This is a demo')r2=r.match('This is 111 and That is 222',0,27)r3=r.match('This is 111 and That is 222',8,27)print(r1)print(r2)print(r3)
运行结果：
findall函数
搜索字符串，以列表形式返回正则表达式匹配的所有子串，如果没有找到匹配的，则返回空列表 。
需要注意的是，match 和 search 是匹配一次，而findall 匹配所有 。
findall(string[, pos[, endpos]])
string：待匹配的字符串 。
pos：可选参数，指定字符串的起始位置，默认为0 。
endpos：可选参数，指定字符串的结束位置，默认为字符串的长度 。
import re#匹配数字r=re.compile(r'\d ')r1=r.findall('This is a demo')r2=r.findall('This is 111 and That is 222',0,11)r3=r.findall('This is 111 and That is 222',0,27)print(r1)print(r2)print(r3)
运行结果：
re.finditer函数
和 findall 类似，在字符串中找到正则表达式所匹配的所有子串，并把它们作为一个迭代器返回 。
re.finditer(pattern, string, flags=0)
pattern：匹配的正则表达式 。
string：待匹配的字符串 。
flags：标志位，用于控制正则表达式的匹配方式，如是否区分大小写，多行匹配等 。
import rer=re.finditer(r'\d ','This is 111 and That is 222')for i in r:print (i.group())
运行结果：
re.split函数
将一个字符串按照正则表达式匹配的子串进行分割后，以列表形式返回 。
re.split(pattern, string[, maxsplit=0, flags=0])
pattern：匹配的正则表达式 。
string：待匹配的字符串 。
maxsplit：分割次数，maxsplit=1分割一次，默认为0，不限次数 。
flags：标志位 ， 用于控制正则表达式的匹配方式，如：是否区分大小写 ， 多行匹配等 。
import rer1=re.split('\W ','This is 111 and That is 222')r2=re.split('\W ','This is 111 and That is 222',maxsplit=1)r3=re.split('\d ','This is 111 and That is 222')r4=re.split('\d ','This is 111 and That is 222',maxsplit=1)print(r1)print(r2)print(r3)print(r4)
运行结果：
re.sub函数
re.sub函数用于替换字符串中的匹配项 。
re.sub(pattern, repl, string, count=0, flags=0)
pattern：正则中的模式字符串 。
repl：替换的字符串，也可为一个函数 。
string：要被查找替换的原始字符串 。
count：模式匹配后替换的最大次数，默认0表示替换所有的匹配 。
import rer='This is 111 and That is 222'# 删除字符串中的数字r1=re.sub(r'\d ','',r)print(r1)# 删除非数字的字符串r2=re.sub(r'\D','',r)print(r2)
运行结果：
到此这篇关于Python常用的正则表达式处理函数详解的文章就介绍到这了，希望大家以后多多支持！
关于python请求处理函数和python获取请求数据的介绍到此就结束了 ， 不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站 。

    推荐阅读


    上一篇：redis 批量删除 redis批量清除指定的缓存

    下一篇：如何将网站部署至服务器？ 怎么把网站布署到服务器上