闲来无事,想整个爬虫爬漫画看:http://www.pufei8.com/manhua/419/376901.html
爬到的内容一直是 Loading 页面,而不是我要的带漫画的页面
Loading:
我要的:
附源码:
package main
import (
"fmt"
"io"
"log"
"net/http"
"time"
)
func HttpGet2(url string) (result string, err error) {
log.Println(url)
resp, err := http.Get(url)
if err != nil {
return result, err
}
defer resp.Body.Close()
time.Sleep(time.Second * 1000)
// 循环读取 网页数据, 传出给调用者
buf := make([]byte, 4096)
for {
n, err := resp.Body.Read(buf)
if n == 0 {
fmt.Println("读取网页完成")
break
}
if err != nil && err != io.EOF {
return result, err
}
// 累加每一次循环读到的 buf 数据,存入result 一次性返回。
result += string(buf[:n])
}
return
}
func main() {
v := "http://www.pufei8.com/manhua/419/373107.html?page=1"
str, err := HttpGet2(v)
log.Println(err)
log.Println(str)
}
欢迎来到这里!
我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。
注册 关于