DDR爱好者之家

详解python内置模块urllib
站长资源 2024/11/15 佚名
36 1538
DDR爱好者之家 Design By 杰米

urllib 是 python 的内置模块， 主要用于处理url相关的一些操作，例如访问url、解析url等操作。

详解python内置模块urllib

urllib 包下面的 request 模块主要用于访问url，但是用得太多，因为它的光芒全都被 requests 这个第三方库覆盖了，最常用的还是 parse 模块。 写爬虫过程中，经常要对url进行参数的拼接、编码、解码，域名、资源路径提取等操作，这时 parse 模块就可以排上用场。

一、urlparse

urlparse 方法是把一个完整的URL拆分成不同的组成部分，你可以根据自己的需求提取其中的某部分内容。 返回结果 ParseResult 是 namedtuple 的子类，由以下10部分组成，每部分既可以通过名字获取也可以通过下表索引得到。

详解python内置模块urllib

> from urllib import parse
> url = 'https://mp.weixin.qq.com/s"htmlcode">



> parse.parse_qs(result.query)
{'__biz': ['MjM5MzgyODQxMQ=='], 'mid': ['2650366919'], 'idx': ['1'], 'sn': ['1b36a9f2c0921cdeac52942ec591a923']}
>





每个参数名对应一个列表对象，这是因为在url规范中，一个参数名可以有多个值，例如： a=1&a=2，通常在实际应用场景中一般一个参数名只会对应一个值。


你可以用一行代码将列表转化为字符串





> {name: value[0] for name, value in parse.parse_qs(result.query).items()}
{'__biz': 'MjM5MzgyODQxMQ==', 'mid': '2650366919', 'idx': '1', 'sn': '1b36a9f2c0921cdeac52942ec591a923'}





三、urlencode


反过来，如果将一个字典对象想转换为url中的查询参数，那么就可以使用urlencode方法。





> d = {'__biz': 'MjM5MzgyODQxMQ==', 'mid': '2650366919', 'idx': '1'}
> parse.urlencode(d)
'__biz=MjM5MzgyODQxMQ%3D%3D&mid=2650366919&idx=1'





四、quote




在URL的标准规范中，url 只允许数字、字母和部分特殊符号的存在，如果有中文和某些特殊符号，就需要使用UTF-8进行编码，将这些字符转换成 %XX 的形式，例如: 【中】UTF-8编码的结果是：





> "中".encode()
b'\xe4\xb8\xad'





那么浏览器实际上会把【中】转换成 %e4%b8%ad


详解python内置模块urllib


在python中，就可以用 quote 方法进行URL编码，对于特殊符号，也会进行成对应的16进制符号， 例如 【=】 就转换成了 %3D 。





> parse.quote("q=中")
'q%3D%E4%B8%AD'
>





quote_plus 可以将空格编码成“+”





> parse.quote_plus("a b")
'a+b'
> parse.quote("a b")
'a%20b'





五、unquote


unquote 是 quote 的逆向过程，称之为URL解码，解码方便开发者阅读





> parse.unquote("q%3D%E4%B8%AD")
'q=中'





以上就是详解python内置模块urllib的详细内容，更多关于python内置模块urllib的资料请关注其它相关文章！
DDR爱好者之家 Design By 杰米
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
DDR爱好者之家 Design By 杰米
ddrfans.com DDR爱好者之家
8,675无损音乐
1,324高清电影
213破解软件
70,141收录资讯

更新日志

友情链接

杰晶网络 DDR爱好者之家 南强小屋 黑松山资源网 白云城资源网
DDR爱好者之家 Design By 杰米