摘要:本文主要向大家介绍了Python语言 爬虫,通过具体的内容向大家展示,希望对大家学习Python语言有所帮助。
本文主要向大家介绍了Python语言 爬虫,通过具体的内容向大家展示,希望对大家学习Python语言有所帮助。
#!/usr/bin/python
#coding=UTF-8
'''
爬虫 v 1.0 (L)
'''
import time
import sys
import re
#====================================
根据 Python 的版本选择需要加载的模块
#====================================
if (sys.version)[0] == '3':
import urllib.request as urlreq
import _thread as thread
else:
import urllib2 as urlreq
import thread as thread
class Spider:
def init(self):
self.pageidx = 1 # 标记页码
self.items = [] # 存放正文内容
self.read = False # 存放是否继续 True:继续; False:停止
self.restr = ''
self.user_agent = ['Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)', '', ''] # UA 列表
self.header = { 'User-Agent' : (self.user_agent)[0] }# 存放浏览器UA(防止网站限定header)
#=========================================================
# 功能: 获取网页内容(按规则)
# 参数: self; url:页面地址; recom:正则
#=========================================================
def GetItems(self, url, recom):
request = urlreq.Request(url, headers = self.header)
html = urlreq.urlopen(request).read()
# 页面编码转换 (encode: unicode->其它; decode: 其它->unicode)
uhtml = html.decode("UTF-8")
# 根据规则从页面选定内容;
return re.findall(recom, uhtml)
#=========================================================
# 功能: 加载网页内容
# 参数: self;
#=========================================================
def LoadItems(self, url, recom):
while self.read:
# 判断当items中的内容不足两条时,请求下一页数据并存入items列表中
if len(self.items) < 2:
try:
uri = url.replace("$PX$", str(self.pageidx))
item = self.GetItems(uri, recom)
self.items.append(item)
self.pageidx += 1
except:
print('[ ' + uri + ' ] 被外星人劫持[访问失败]....')
self.read = False
else:
time.sleep(1)
#=========================================================
# 功能: 现实网页内容(并接收用户输入)
# 参数: self;
#=========================================================
def ShowItems(self, items, pidx = 1):
for item in items:
print(u'[%d]' % pidx, item[1], '\n', item[0].replace('\n', '').replace('<br/>', '\n'))
print('-' * 70)
option = input().upper()
if option == 'Q':
self.read = False
return 9
elif option == 'R':
self.pageidx = 1 # 初始值
return 0
return 1
#=========================================================
# 功能: 现实网页内容(并接收用户输入)
# 参数: self;
#=========================================================
def Launcher(self, url, recom):
self.read = True
pidx = self.pageidx
print(u'正在加载中请稍候......\n', '=' * 70)
thread.start_new_thread(self.LoadItems, (url, recom))
while self.read:
if self.items:
item = self.items[0]
del self.items[0]
ret = self.ShowItems(item, pidx)
if ret == 9:
print(u'即将推出阅读....')
break
else:
pidx += ret
def usage():
print(u"""
- 程序:糗百爬虫(阅读文章)
- 版本:0.1
- 作者:L
- 日期:2015-06-30
- 语言:Python 3.3.5
- 操作:Q:退出阅读; R:刷新到第一页; 回车:阅读
- 功能:按下回车依次浏览今日的糗百热点
---------------------------------------------
""")
if name == "main":
usage()
url = '//m.qiushibaike.com/hot/page/$PX$'
# re.S是任意匹配模式(如:匹配换行符)
recom = re.compile(r'<div class="content">(.*?)<!--(.*?)-->.*?</div>', re.S)
input('浏览今日的糗百内容(任意键):')
spider = Spider()
spider.Launcher(url, recom)
print('欢迎再次使用....')
以上就介绍了Python的相关知识,希望对Python有兴趣的朋友有所帮助。了解更多内容,请关注职坐标编程语言Python频道!
您输入的评论内容中包含违禁敏感词
我知道了
请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了,明天再试试吧!
我们会在第一时间安排职业规划师联系您!
您也可以联系我们的职业规划师咨询:
版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
沪公网安备 31011502005948号