Skip to content

Navigation Menu

Sign in
Appearance settings

Search code, repositories, users, issues, pull requests...

Provide feedback

We read every piece of feedback, and take your input very seriously.

Saved searches

Use saved searches to filter your results more quickly

Appearance settings

Python3网络爬虫实战:VIP视频破解助手;GEETEST验证码破解;小说爬取;动漫下载;图片下载;手机APP爬取;财务报表入库;火车票抢票;抖音APP视频下载等

Notifications You must be signed in to change notification settings

shawn2012/python-spider

Open more actions menu
 
 

Repository files navigation

Python Spider

  • 贵有恒,何必三更起五更睡;最无益,只怕一日暴十寒。

  • 我的博客

  • Python3爬虫实战:实战源码+博客讲解

  • 欢迎关注我的[CSDN爬虫专栏]

  • 学习交流群【328127489】Coder

  • 我的个人网站,欢迎关注:http://www.cuijiahua.com/

声明

  • 软件均仅用于学习交流,请勿用于任何商业用途!

文章首发声明

  • 文章在自己的个人网站首发,其他平台文章均属转发,如想获得最新更新进展,欢迎关注我的个人网站:http://www.cuijiahua.com/

爬虫小工具

  • downloader.py:文件下载小助手

    一个可以用于下载图片、视频、文件的小工具,有下载进度显示功能。稍加修改即可添加到自己的爬虫中。

    动态示意图:

    image

爬虫实战

  • biqukan.py:《笔趣看》盗版小说网站,爬取小说工具

    第三方依赖库安装:

     pip3 install beautifulsoup4
    

    使用方法:

     python biqukan.py
    
  • video_downloader:爱奇艺等主流视频网站的VIP视频破解助手(暂只支持PC和手机在线观看VIP视频!)

    感谢Python3二维码生成器作者:https://github.com/sylnsfar/qrcode

    编译好的软件下载连接:http://pan.baidu.com/s/1eR4Y7aM 解压密码:c406495762

    无需Python3环境,在Windows下,解压即用!软件使用方法

    源码可查看video_downloader,运行源码需要搭建Python3环境,并安装相应第三方依赖库:

    video_downloader文件夹下,安装第三方依赖库:

     pip3 install -r requirements.txt
    

    使用方法:

     python movie_downloader.py
    

    运行环境:

     Windows, Python3
     
     Linux, Python3
     
     Mac, Python3
    
  • baiduwenku.py: 百度文库word文章爬取

    原理说明:http://blog.csdn.net/c406495762/article/details/72331737

    代码不完善,没有进行打包,不具通用性,纯属娱乐,以后有时间会完善。

  • shuaia.py: 爬取《帅啊》网,帅哥图片

    《帅啊》网URL:http://www.shuaia.net/index.html

    原理说明:http://blog.csdn.net/c406495762/article/details/72597755

    第三方依赖库安装:

     pip3 install requests beautifulsoup4
    
  • daili.py: 构建代理IP池

    原理说明:http://blog.csdn.net/c406495762/article/details/72793480

  • carton: 使用Scrapy爬取《火影忍者》漫画

    代码可以爬取整个《火影忍者》漫画所有章节的内容,保存到本地。更改地址,可以爬取其他漫画。保存地址可以在settings.py中修改。

    动漫网站:http://comic.kukudm.com/

    原理说明:http://blog.csdn.net/c406495762/article/details/72858983

  • hero.py: 《王者荣耀》推荐出装查询小助手

    网页爬取已经会了,想过爬取手机APP里的内容吗?

    原理说明:http://blog.csdn.net/c406495762/article/details/76850843

  • financical.py: 财务报表下载小助手

    爬取的数据存入数据库会吗?《跟股神巴菲特学习炒股之财务报表入库(MySQL)》也许能给你一些思路。

    原理说明:http://blog.csdn.net/c406495762/article/details/77801899

    动态示意图:

    image

  • one_hour_spider:一小时入门Python3网络爬虫。

    原理说明:

    本次实战内容有:

    • 网络小说下载(静态网站)-biqukan
    • 优美壁纸下载(动态网站)-unsplash
    • 爱奇艺VIP视频下载
  • douyin.py:抖音App视频下载

    抖音App的视频下载,就是普通的App爬取,没有原理说明。

  • geetest.py:GEETEST验证码破解

    爬虫最大的敌人之一是什么?没错,验证码!Geetest作为提供验证码服务的行家,市场占有率还是蛮高的。遇到Geetest提供的滑动验证码怎么破?授人予鱼不如授人予渔,接下来就为大家呈现本教程的精彩内容。

    原理说明:

    动态示意图:

    image

  • 12306.py:用Python抢火车票简单代码

    可以自己慢慢丰富,蛮简单,有爬虫基础很好操作,没有原理说明。

About

Python3网络爬虫实战:VIP视频破解助手;GEETEST验证码破解;小说爬取;动漫下载;图片下载;手机APP爬取;财务报表入库;火车票抢票;抖音APP视频下载等

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Python 100.0%
Morty Proxy This is a proxified and sanitized view of the page, visit original site.