DDR爱好者之家 Design By 杰米
抓取网页本身的接口
相比与其他静态编程语言,如java,c#,C++,python抓取网页文档的接口更简洁;相比其他动态脚本语言,如perl,shell,python的urllib2包提供了较为完整的访问网页文档的API。(当然ruby也是很好的选择)
此外,抓取网页有时候需要模拟浏览器的行为,很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求,譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定,如Requests,mechanize
网页抓取后的处理
抓取的网页通常需要处理,比如过滤html标签,提取文本等。python的beautifulsoap提供了简洁的文档处理功能,能用极短的代码完成大部分文档的处理。
其实以上功能很多语言和工具都能做,但是用python能够干得最快,最干净。Life is short, u need python.
冲最后一句‘Lifeisshort,uneedpython',立马在当当上买了本python的书!以前就膜拜过python大牛,一直想学都扯于各种借口迟迟没有开始。。
py用在linux上很强大,语言挺简单的。
- NO.1 快速开发(唯一能和python比开发效率的语言只有rudy)语言简洁,没那么多技巧,所以读起来很清楚容易。
- NO.2跨平台(由于python的开源,他比java更能体现"一次编写到处运行"
- NO.3解释性( 无须编译,直接运行/调试代码)
- NO.4构架选择太多(GUI构架方面 主要的就有 wxPython, tkInter, PyGtk, PyQt 。
知识点扩展:
用python写爬虫相关的实例:
# coding:utf-8 import urllib domain = 'http://www.liaoxuefeng.com' #廖雪峰的域名 path = r'C:\Users\cyhhao2013\Desktop\temp\\' #html要保存的路径 # 一个html的头文件 input = open(r'C:\Users\cyhhao2013\Desktop\0.html', 'r') head = input.read() # 打开python教程主界面 f = urllib.urlopen("http://www.需要爬取的网址.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000") home = f.read() f.close() # 替换所有空格回车(这样容易好获取url) geturl = home.replace("\n", "") geturl = geturl.replace(" ", "") # 得到包含url的字符串 list = geturl.split(r'em;"><ahref="')[1:] # 强迫症犯了,一定要把第一个页面也加进去才完美 list.insert(0, '/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000">') # 开始遍历url List for li in list: url = li.split(r'">')[0] url = domain + url #拼凑url print url f = urllib.urlopen(url) html = f.read() # 获得title为了写文件名 title = html.split("<title>")[1] title = title.split(" - 廖雪峰的官方网站</title>")[0] # 要转一下码,不然加到路径里就悲剧了 title = title.decode('utf-8').replace("/", " ") # 截取正文 html = html.split(r'<!-- block main -->')[1] html = html.split(r'<h4>您的支持是作者写作最大的动力!</h4>')[0] html = html.replace(r'src="/UploadFiles/2021-04-08/', 'src=">
DDR爱好者之家 Design By 杰米
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
DDR爱好者之家 Design By 杰米
暂无评论...
更新日志
2024年11月25日
2024年11月25日
- 凤飞飞《我们的主题曲》飞跃制作[正版原抓WAV+CUE]
- 刘嘉亮《亮情歌2》[WAV+CUE][1G]
- 红馆40·谭咏麟《歌者恋歌浓情30年演唱会》3CD[低速原抓WAV+CUE][1.8G]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[320K/MP3][193.25MB]
- 【轻音乐】曼托凡尼乐团《精选辑》2CD.1998[FLAC+CUE整轨]
- 邝美云《心中有爱》1989年香港DMIJP版1MTO东芝首版[WAV+CUE]
- 群星《情叹-发烧女声DSD》天籁女声发烧碟[WAV+CUE]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[FLAC/分轨][748.03MB]
- 理想混蛋《Origin Sessions》[320K/MP3][37.47MB]
- 公馆青少年《我其实一点都不酷》[320K/MP3][78.78MB]
- 群星《情叹-发烧男声DSD》最值得珍藏的完美男声[WAV+CUE]
- 群星《国韵飘香·贵妃醉酒HQCD黑胶王》2CD[WAV]
- 卫兰《DAUGHTER》【低速原抓WAV+CUE】
- 公馆青少年《我其实一点都不酷》[FLAC/分轨][398.22MB]
- ZWEI《迟暮的花 (Explicit)》[320K/MP3][57.16MB]