- 在
sites.txt中添加指定tumblr主页，比如http://allthingseurope.tumblr.com/只需要添加allthingseurope - 多条分行添加
- 代理，默认使用本地代理127.0.0.1:1080端口代理。如需修改请将
common/proxyHttp.go中的127.0.0.1:1080改成自己代理。 - 目前已完成图片和视频的下载
- 采用channel控制并发，goroutine有点少，下载速度一般
- 代码进一步优化，修复空指针问题
- 已采用waitGroup控制并发，最大程度开启goroutine，下载速度飞快，但一般情况下会将机器直接卡死......
-
Notifications
You must be signed in to change notification settings - Fork 6
suyuanhxx/crawler
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
爬取tumblr关注博主图片
Topics
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published