基于Scrapy的全球最大成人网站PornHub爬虫

网络爬虫
编辑评级:
分享:

项目基本信息

开发协议 未知
操作系统 Windows  Linux  OS X 
开发语言 Python
项目所有者 xiyouMc
收录时间 2017-04-11

项目介绍

声明:本项目旨在学习Scrapy爬虫框架和MongoDB数据库,不可使用于商业和个人其他意图。若使用不当,均由个人承担。

 

使用说明

 

启动

 

数据库说明

数据库中保存数据的表是 PhRes。以下是字段说明:

PhRes 表:

video_title:视频的标题,并作为唯一标识.
link_url:视频调转到PornHub的链接
image_url:视频的封面链接
video_duration:视频的时长,以 s 为单位
quality_480p: 视频480p的 mp4 下载地址

 

项目的github地址:https://github.com/xiyouMc/WebHubBot

码云的地址:https://git.oschina.net/xiyouMc/pornhubbot

要想做老司机,先学好编程技术


同类项目推荐

相似项目推荐

相关教程