Python语言爬虫:爬取网站视频
小标 2019-01-17 来源 : 阅读 742 评论 0

摘要:本文主要向大家介绍了Python语言爬虫:爬取网站视频,通过具体的内容向大家展示,希望对大家学习Python语言有所帮助。

本文主要向大家介绍了Python语言爬虫:爬取网站视频,通过具体的内容向大家展示,希望对大家学习Python语言有所帮助。

新建一个py文件,代码如下:

#!/usr/bin/python

# -*- coding: UTF-8 -*-

 

import urllib,re,requests

import sys

reload(sys)

sys.setdefaultencoding('utf-8')

 

url_name = [] #url name

 

def get():

    #获取源码

    hd = {"User-Agent":"Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"}

    url = '//www.budejie.com/video/'

    html = requests.get(url,headers=hd).text

    url_content = re.compile(r'(<div class="j-r-list-c">.*?</div>.*?</div>)',re.S) #编译

    url_contents = re.findall(url_content,html) #匹配

 

    for i in url_contents:

        #匹配视频

        url_reg = r'data-mp4="(.*?)"'  #视频地址

        url_items = re.findall(url_reg,i)

        #print url_items

        if url_items:  #判断视频是否存在

            name_reg = re.compile(r'<a href="/detail-.{8}?.html">(.*?)</a>',re.S)

            name_items = re.findall(name_reg,i)

            #print name_items[0]

            for i,k in zip(name_items,url_items):

                url_name.append([i,k])

                print i,k

    for i in url_name:  #i[1]=url i[0]=name

        urllib.urlretrieve(i[1],'video\\%s.mp4' % (i[0].decode('utf-8')))

 

if __name__ == "__main__":

    get()



在 py 文件下新建一个 video 文件夹,执行后结果如下:


在 video 文件夹可以看到下载好的视频

注意报错:

UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-9: ordinal not in range(128)

解决:

import sys
reload(sys)

sys.setdefaultencoding('utf-8')


本文由职坐标整理并发布,希望对同学们学习Python有所帮助,更多内容请关注职坐标编程语言Python频道!

本文由 @小标 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved

208小时内训课程