爬虫

105 引用 • 270 回帖 • 728 浏览

参与讨论

关注

关注分享

网络爬虫（Spider、Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序。

Q&A

提问之前请先看《提问的智慧》，好的问题比好的答案更有价值。
3113 引用 • 16100 回帖 • 492 关注
Web

111 引用 • 427 回帖 • 8 关注
Java

Java 是一种可以撰写跨平台应用软件的面向对象的程序设计语言，是由 Sun Microsystems 公司于 1995 年 5 月推出的。Java 技术具有卓越的通用性、高效性、平台移植性和安全性。
2991 引用 • 8145 回帖 • 590 关注
开源

Open Source, Open Mind, Open Sight, Open Future!
353 引用 • 3283 回帖 • 395 关注
Python

Python 是一种面向对象、直译式电脑编程语言，具有近二十年的发展历史，成熟且稳定。它包含了一组完善而且容易理解的标准库，能够轻松完成很多常见的任务。它的语法简捷和清晰，尽量使用无异义的英语单词，与其它大多数程序设计语言使用大括号不一样，它使用缩进来定义语句块。
501 引用 • 666 回帖 • 237 关注
Redis

Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库，并提供多种语言的 API。从 2010 年 3 月 15 日起，Redis 的开发工作由 VMware 主持。从 2013 年 5 月开始，Redis 的开发由 Pivotal 赞助。
250 引用 • 244 回帖 • 567 关注
福利

24 引用 • 647 回帖

默认热议好评优选最近回帖关注者查看所有标签

你有多久没有看星星了呢？【爬取 NASA 的科普网站上的所有图片】
1. 前景提要在网上冲浪的时候看到原来 NASA 航天局有科普网站，每天一张科普图片，而且是非常高清的那种，很想下载下来做壁纸。所以打算写一个 Java 爬虫爬取所有的图片，也可以加入一些通知，每天晚上进行检查，当检查到有更新的时候，第二天早上起床推送到手机端。当然这个功能还没有实现。 2. 进行开发 2.1 开发 ..
- 爬虫
  
  网络爬虫（Spider、Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序。
  105 引用 • 270 回帖
68
网站为什么要反爬虫？
互联网有很多业务或者说网页，是不需要用户进行登录的，这些不需要登录的页面，往往会包含大量的聚合信息，比如新闻门户网站、视频门户网站、搜索引擎，这些信息是公开的，是可以被爬虫抓取的。一、网站为什么要反爬虫？ 1、爬虫占总 PV 比例较高，浪费服务器资源通过程序进行 URL 请求去获得数据的成本是很低的，这就造成大量低 ..
- 爬虫
  
  网络爬虫（Spider、Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序。
  105 引用 • 270 回帖
14
猿人学（三）Webpack 初体验 - js 调试过程
[图片] 地址：http://match.yuanrenxue.com/match/16 参考 B 站视频。B 站有解析视频 [图片] 通过接口，找到代码的位置接口地址：http://match.yuanrenxue.com/api/match/16?page=2&m=dAd4i5nAPW2EdCTf7d63 ..
- JavaScript
  
  JavaScript 一种动态类型、弱类型、基于原型的直译式脚本语言，内置支持类型。它的解释器被称为 JavaScript 引擎，为浏览器的一部分，广泛用于客户端的脚本语言，最早是在 HTML 网页上使用，用来给 HTML 网页增加动态功能。
  694 引用 • 1142 回帖 • 609 关注
77
某解析 b 站 MP4 视频的逆向获取
直接获取 B 站视频找到的都是分段的合成视频，于是乎在网上看到一个工具他做的视频解析可以解析出 mp4 的地址，遂转而直接研究从解析网站拿到视频地址，分析思路：首先模拟正常的请求，发现网址在这个地方，禁止 js 之后发现这个位置就空白了，很明显这段显示是 js 动态处理了 [图片] 然后，我猜测是不是，有 aja ..
- 爬虫
  
  网络爬虫（Spider、Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序。
  105 引用 • 270 回帖
134
ajax post
ajax 一键多值的 post 提交记一次 ajax 的坑正常来说，post 提交的是一个参数字典 parms = {'key1':'value1','key2':'value2'} post: resquests.post(url,data=parms,verify=False) get: resquests.g ..
- 爬虫
  
  网络爬虫（Spider、Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序。
  105 引用 • 270 回帖
49
爬虫 --httpClient 学习
[图片] 起步例子 package HttpClient; import org.apache.http.HttpEntity; import org.apache.http.client.methods.CloseableHttpResponse; import org.apache.http.client.meth ..
- 爬虫
  
  网络爬虫（Spider、Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序。
  105 引用 • 270 回帖
87
大众点评店铺信息爬虫
大众点评店铺信息爬虫花式反反爬之抓取大众点评店铺信息。项目地址 Gitee：[链接] 项目目录 │ config.py │ dianping.py │ parse.py │ proxy.py │ README.md │ requirements.txt │ ├─utils │ commo ..
- 爬虫
  
  网络爬虫（Spider、Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序。
  105 引用 • 270 回帖
254
【袁人学爬虫刷题平台】（二）入门级 js 参数
[图片] [图片] # -*- coding: utf-8 -*- # @Time : 2020/11/28 16:51 # @Author : gitsilence ''' 入门级js加密 ''' import requests import base64 import urllib.parse url = 'htt ..
- Python
  
  Python 是一种面向对象、直译式电脑编程语言，具有近二十年的发展历史，成熟且稳定。它包含了一组完善而且容易理解的标准库，能够轻松完成很多常见的任务。它的语法简捷和清晰，尽量使用无异义的英语单词，与其它大多数程序设计语言使用大括号不一样，它使用缩进来定义语句块。
  501 引用 • 666 回帖 • 237 关注
137
【袁人学爬虫刷题平台】（一）入门级 Cookie
[图片] 网址： http://match.yuanrenxue.com/match/13 抓取这 5 页的数字，计算加和并提交结果 [图片] preserve log ：保留请求日志，跳转页面的时候勾选上，可以看到跳转前的请求，也可适用于 chrome 开发者工具抓包的问题思路使用 python requests ..
- Python
  
  Python 是一种面向对象、直译式电脑编程语言，具有近二十年的发展历史，成熟且稳定。它包含了一组完善而且容易理解的标准库，能够轻松完成很多常见的任务。它的语法简捷和清晰，尽量使用无异义的英语单词，与其它大多数程序设计语言使用大括号不一样，它使用缩进来定义语句块。
  501 引用 • 666 回帖 • 237 关注
158
爬虫数据存储 --MongoDB
MongoDB 模块 pip install pymongo MongoDB 链接方式： mongodb://{mongodb_ip}:{mongodb_port} 默认端口号：27017 插入数据 import pymongo # 创建MongoDB链接 myClient = pymongo.MongoClient( ..
- Python
  
  Python 是一种面向对象、直译式电脑编程语言，具有近二十年的发展历史，成熟且稳定。它包含了一组完善而且容易理解的标准库，能够轻松完成很多常见的任务。它的语法简捷和清晰，尽量使用无异义的英语单词，与其它大多数程序设计语言使用大括号不一样，它使用缩进来定义语句块。
  501 引用 • 666 回帖 • 237 关注
146
逆向腾讯视频获取 m3u8 源地址 (Java)
[图片] 以下内容仅供学习使用，请勿用于非法用途代码是在今年三月份写的，当时候捣鼓了一天，现在也有点忘了，就直接把代码贴出来吧，今天测试了一下还是可以用的代码中有一些包还有方法是自己的，就不都粘贴出来了，如果直接复制代码的话，会有报错，需要再手动改改 org.jsoup jsoup 1.11.3 cn.hu ..
- 爬虫
  
  网络爬虫（Spider、Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序。
  105 引用 • 270 回帖
425
Java 爬取美女图片妹子图（mzitu）
[图片] 1.准备图片网站 https://www.mzitu.com/ 2.本篇是爬取妹子图网站全站图片的代码，采用 Java 语言编写，另外妹子图有防爬措施，本篇采用极光 ip 客户端自动切换 ip 实现，考虑切换 ip 时会有访问异常，代码上相关下载处做了无限重试处理。 org.jsoup jsoup 1.1 ..
- 爬虫
  
  网络爬虫（Spider、Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序。
  105 引用 • 270 回帖
6.7K
[转]Python 反反爬虫 – Frida 破解某盒子 hkey 反爬虫算法
[图片] [转]Python 反反爬虫 – Frida 破解某盒子 hkey 反爬虫算法 # 祭夜の咖啡馆教程, 记录, Android, 猿之力本博文转自 [[记录]Python反反爬虫 – Frida破解某盒子hkey反爬虫算法] 前言这盒子有个抽奖功能，但是中奖率感人~ 故，hack！用到的工具： 1.抓 ..
- 爬虫
  
  网络爬虫（Spider、Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序。
  105 引用 • 270 回帖
230
解密 91pron 真实播放地址
[图片] 在爬取 91porn 的数据时，获取资源的播放地址，拿到的是一串 js 代码，执行了一个解密的方法，参数是密文 [图片] strencode 方法在这个文件中 [图片] 代码是加密过得，我们可以直接执行这个方法，并不需要去明白其中的算法解密 js 代码下载以下是 Java 版本执行 js 方法的代码，首先 ..
- 爬虫
  
  网络爬虫（Spider、Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序。
  105 引用 • 270 回帖
16.4K
想爬数据做个服务，但被登录和用户通知卡住
背景：想爬一个游戏交易网站的数据，然后做个小程序之类的来访问，并且提供商品上新提醒，但是遇到两个问题。问题一：登录需要点击文字验证当频繁访问商品详情的时候，会触发登录，遇到下面这种验证，按网上把图片二值化再识别的方法行不通，因为这里的字颜色和背景色的深浅是随机的。估计只能借助超级鹰这种平台了，但我这也不是商业产品 ..
- 爬虫
  
  网络爬虫（Spider、Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序。
  105 引用 • 270 回帖
200
海外 / 全球动态 HTTP 代理 IP 池哪家好？（HTTP/HTTPS）
作为一名资深的程序员，经常会因为公司的业务类型，做一些爬虫相关的脚本，尤其是需要采集海外网站数据的时候，国内的 IP 往往都是无法使用的，长期使用了一些海外 IP，正好今天休息，简单的写写，分享给大家。一、Ipidea 网址：[链接] 介绍：Ipidea 是一家国内的住宅 IP 服务商，除了有 9000 万全球真实的 ..
- 代理
  
  47 引用 • 103 回帖
3.1K
Go 爬虫初体验
[图片] 前言闲来无事的时候，偶尔也会看看漫画，但是鹅厂的操作大家都懂，想看最新的你就得给钱，本着白嫖精神，我找到了扑飞漫画，但是这网页的阅读体验一言难尽，他家的 APP 也是，动不动就加载失败，一等一半天。思来想去，还是弄个爬虫把图片都爬下来，然后想法弄到 kindle 里面岂不美哉。因为不会 Python，所 ..
- golang
  
  Go 语言是 Google 推出的一种全新的编程语言，可以在不损失应用程序性能的情况下降低代码的复杂性。谷歌首席软件工程师罗布派克（Rob Pike）说：我们之所以开发 Go，是因为过去 10 多年间软件开发的难度令人沮丧。Go 是谷歌 2009 发布的第二款编程语言。
  476 引用 • 1377 回帖 • 590 关注
615
Go 爬虫如何延迟获取页面内容
闲来无事，想整个爬虫爬漫画看：http://www.pufei8.com/manhua/419/376901.html 爬到的内容一直是 Loading 页面，而不是我要的带漫画的页面 Loading： [图片] 我要的： [图片] 附源码: package main import ( 'fmt' 'io' 'log' ..
- golang
  
  Go 语言是 Google 推出的一种全新的编程语言，可以在不损失应用程序性能的情况下降低代码的复杂性。谷歌首席软件工程师罗布派克（Rob Pike）说：我们之所以开发 Go，是因为过去 10 多年间软件开发的难度令人沮丧。Go 是谷歌 2009 发布的第二款编程语言。
  476 引用 • 1377 回帖 • 590 关注
100
2020 写爬虫用什么语言工具？
语言优点缺点 Java 耗时、占内存 JavaScript 友好的 Web API 快速适应站点修改工具少 GO 性能好会的人少 Python 库多、开发快难维护大家还有其他推荐吗？
- 爬虫
  
  网络爬虫（Spider、Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序。
  105 引用 • 270 回帖
100
Scrapy | 豆瓣电影评分爬虫
本 demo 只做学习之用，请勿转载和商用，谢谢观察链接 https://movie.douban.com/explore#!type=movie&tag=冷门佳片&sort=recommend&page_limit=20&page_start=0 [图片] 创建爬虫 # 创建项目 $ ..
- Scrapy
  
  7 引用 • 12 回帖
569
Puppeteer 爬取豆瓣小组公开信息
[图片] 题外话老王，最近取了笔名。不仅仅是笔名，字、号也统统安排。上官追风，字追风，号追风居士。非要给它一个解释的话，那就是「追风少年宅家里」。老王的行文路线其实就是他的思维路线路。 Puppeteer 面对未知的事物，最好的老师显然是搜索引擎，而搜索引擎中公认最好的又是 Google 搜索。 [图片] Pu ..
- Puppeteer
  
  4 引用 • 19 回帖
129
简单百度爬虫、查询个人公司信息的实现
[图片] 本来对 python 兴趣不大，但是为了期中考，简单记录一下超级无敌简单的爬虫实现的过程接下来开始大白模式的记录，打发我无聊的时光： headers:解决 request 反爬虫，就是当我们访问部分网页的时候，会出现无法爬取数据、或者无法访问的时候，这时候采用 headers,将爬虫伪装成浏览器去访问，这样 ..
- Python
  
  Python 是一种面向对象、直译式电脑编程语言，具有近二十年的发展历史，成熟且稳定。它包含了一组完善而且容易理解的标准库，能够轻松完成很多常见的任务。它的语法简捷和清晰，尽量使用无异义的英语单词，与其它大多数程序设计语言使用大括号不一样，它使用缩进来定义语句块。
  501 引用 • 666 回帖 • 237 关注
455
求助爬虫 JS 解密!
实际上是反反爬的技术,我对 JS 代码了解不多,看得头晕,有人会么?教教我,或者有教程之类的也行. 针对的机制的 crawlerInfo 加密函数，我找来找去，越来越乱，特此求助!
- 爬虫
  
  网络爬虫（Spider、Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序。
  105 引用 • 270 回帖
100
Java 爬虫实现
[图片] 爬虫在大数据时代，我们需要获取大量的数据进行数据的挖掘、分析以及筛选。比当我们做一个项目的时候，需要大量的真实数据进行解析，这时候就需要去某些开放的网站进行数据的爬取。注：爬虫技术本身并不违反法律条文，但是对于抓取的数据，以及抓取之后的用途法律都有明确的规定和说明，请在合法的情况下使用爬虫技术。项目介绍 ..
- 爬虫
  
  网络爬虫（Spider、Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序。
  105 引用 • 270 回帖
95
Golang 爬虫快速入门 | 获取 B 站全站的视频数据
原文首发并持续更新于 https://imagician.net/archives/92/，欲了解更多信息可以前往我的博客 https://imagician.net/ 提到爬虫，总会联想到 Python。似乎 Python 是爬虫的唯一选择。爬虫只是完成一个访问页面然后收集数据的任务，用任何语言来写都能实现。相比较 ..
- 爬虫
  
  网络爬虫（Spider、Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序。
  105 引用 • 270 回帖
411
一些小爬虫小 demo
[链接]
- Java
  
  Java 是一种可以撰写跨平台应用软件的面向对象的程序设计语言，是由 Sun Microsystems 公司于 1995 年 5 月推出的。Java 技术具有卓越的通用性、高效性、平台移植性和安全性。
  2991 引用 • 8145 回帖 • 590 关注
436
手摸手一起研究鲁班电商平台如何自动下单不掉广告费
[图片] 开发背景风和日丽的一天，旧客户推荐了新客户上门找开发，说需要开发一套今日头条鲁班电商平台的自动下单软件。关于鲁班电商平台，大家可以自行百度了解情况，是字节跳动旗下的又称巨量引擎，也算一个新平台。商家入驻鲁班电商之后需要缴纳 2w 大元作为保证金，平台会对商家的商品进行定制推广打造，具体定制推广打造的效果 ..
- 爬虫
  
  网络爬虫（Spider、Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序。
  105 引用 • 270 回帖
929
高性能异步 IP 代理池
[图片] 最近在家里都快闲出 P 了（单纯看书是真的无聊...）所以想了想以前给自己挖的坑——IP 代理池（花了几天时间终于将原本写的 demo 重构了（以前的太...），并且针对现存的开源代理池使用上的痛点进行优化，保证了任意单元时间内的可用性。这是项目地址：https://github.com/Hogan-T ..
- Python
  
  Python 是一种面向对象、直译式电脑编程语言，具有近二十年的发展历史，成熟且稳定。它包含了一组完善而且容易理解的标准库，能够轻松完成很多常见的任务。它的语法简捷和清晰，尽量使用无异义的英语单词，与其它大多数程序设计语言使用大括号不一样，它使用缩进来定义语句块。
  501 引用 • 666 回帖 • 237 关注
577
mitmdump 抓包
mitmproxy、mitmdump、mitmweb 比较启动 mitmdump,用 mitmproxy、mitmdump、mitmweb 这三个命令中的任意一个即可，这三个命令功能一致，且都可以加载自定义脚本，唯一的区别是交互界面的不同 mitmproxy 会提供一个在终端下的图形界面，具有修改请求和响应，流量重放 ..
- 爬虫
  
  网络爬虫（Spider、Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序。
  105 引用 • 270 回帖
1.4K
Drony+charles 抓包 App
Drony 当 charles 抓包抓不到信息时，需要设置手机代理，使用 charles + Drony 进行抓取 android 客户端下载手机流量经过 drony 转发到抓包软使用方式下载 drony 的 apk，安装手机配置手机或模拟器 wifi 设置代理为 127.0.0.1:8020 [图片] dr ..
- 爬虫
  
  网络爬虫（Spider、Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序。
  105 引用 • 270 回帖
4.2K
【福利】python3 爬取妹子图
[图片] 妹子图官方网址：https://www.mzitu.com/ 刚接触到 BeautifulSoup，所以拿来试下效果，起伏跌宕出来效果。具体思路？官网首页链接--> 获取分页面链接--> 通过分页面获取图片链接看下步骤：一、分析下页面 1.1 先确保访问正常：头部信息： url = 'ht ..
- Python
  
  Python 是一种面向对象、直译式电脑编程语言，具有近二十年的发展历史，成熟且稳定。它包含了一组完善而且容易理解的标准库，能够轻松完成很多常见的任务。它的语法简捷和清晰，尽量使用无异义的英语单词，与其它大多数程序设计语言使用大括号不一样，它使用缩进来定义语句块。
  501 引用 • 666 回帖 • 237 关注
14.4K
python 爬虫（SGMLParser）
`# -- coding: utf-8 -- import requests import urllib2 import sys from sgmllib import SGMLParser from cgitb import text reload(sys) sys.setdefaultencoding('utf8' ..
- 爬虫
  
  网络爬虫（Spider、Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序。
  105 引用 • 270 回帖
207