Skip to main content
 Web开发网 » 编程语言 » Python语言

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」

2021年11月28日1720百度已收录

我发现抖音上很多小姐姐就拍个跳舞的视频就火了,大家是冲着舞蹈水平去的吗,都是冲着颜值身材去的,能刷到这篇文章的都是lsp了,我就跟大家不一样了,一个个刷太麻烦了,我直接爬下来看个够,先随意展示两个。

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第1张

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第2张

采集目标

爬取目标:女神世界

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第3张

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第4张

效果展示

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第5张

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第6张

工具使用

使用环境:Python3.7 工具:pycharm 第三方库:requests, re, pyquery

爬虫思路:

获取的是视频数据 (16进制字节)在这个页面没有视频地址 需要进去详情页 所有需要从 视频播放页开始抓取

使用快捷键 F12 进入开发者控制台:

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第7张

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第8张

先不急, 找到 视频地址 去搜索他 看看在哪里有包含:

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第9张

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第10张

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第11张

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第12张

定位他 发现是静态页面返回的数据:

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第13张

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第14张

上代码:

def Tools(url):# 封装一个工具函数 用来做请求的 headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36 Edg/93.0.961.52' } response = requests.get(url, headers=headers) return responseurl = ')​# 下载了一个

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第15张

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第16张

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第17张

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第18张

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第19张

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第20张

def main(): url = ')

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第21张

全部代码:

import requestsimport refrom pyquery import PyQuery as pqdef Tools(url): headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36 Edg/93.0.961.52' } response = requests.get(url, headers=headers) return responsedef Play(title, url): # url = '()

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第22张

下载比较慢网络不好,你网快的话 ,就下载快。

效果:

我用Python爬取了女神视界,爬虫之路永无止境「内附源码」  python123 第23张

评论列表暂无评论
发表评论
微信