登录 注册

私活：爬虫&电商

本贴最后更新于 2809 天前，其中的信息可能已经天翻地覆

设想是从美亚、6pm 等电商上把某些品牌的跑鞋 通过爬虫抓取下来，
并转存到自己的电商网站中

问 这个想法可以实现吗？ 如果已经有电商、并且提供了 restful 接口、可以新增、修改商品 完成此需求 需要多少 RMB 和 时间？

  • 私活
    5 引用 • 64 回帖 • 2 关注
  • 电商
    6 引用 • 41 回帖
  • 跑鞋
    1 引用 • 15 回帖
  • 外包

    有空闲时间是接外包好呢还是学习好呢？

    26 引用 • 232 回帖 • 6 关注
大连 位置
15 回帖
3
3
2
2
2
9.7k 43 885 1.1k 1 1.6k 538 45 745 4.7k

相关帖子

15 回帖
私活：爬虫&电商

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • 88250 •
    订阅者

    有这样接口的可能性不大。如果有接口就简单了， ￥5K，10 天吧~

    如果是页面爬取解析的话，就有点复杂了，还要摸索各种搜索条件，最重要的是每个站点的防爬机制不一样，可能还需要写代理池，￥20K，30 天。

  • zonghua •

    人工智能？？？

  • Angonger •
    支持者

    @88250 好像干过的样子，你为了生存都做了什么

  • crick77 •
    作者

    @88250 页面抓取的话 不应该取决于抓哪个页面吗？ 如果目标页面的内容布局修改了 还负责后续的维护吗

  • crick77 •
    作者

    @88250 可能没说清楚 接口是自己的电商网站提供的

  • relyn •

    需要一次性爬还是说实时的爬

  • LyZane •
    1. “某些品牌的跑鞋”是个什么概念？目标明确么？
    2. 数据量有多少？
    3. 数据更新 delay 最长是多久？
    4. 发现新商品的 delay 最长是多久？

    @88250 一句话的需求你也敢接？

  • 88250 •
    订阅者

    @participants 我不接，我只是来看看的.

  • LyZane •

    【接上补充】

    1. 把“跑鞋”抓取下来是个什么概念？要哪些属性？
    2. 图片是直接外链还是要 download？
    3. 规格参数要不要格式化？
    4. 网站改版幅度太大的时候解析配置要更新，这个售后怎么算？
    5. 网站改变防采集策略导致程序要大改怎么算？
  • tomaer •

    原站是否有 app，如果有就简单

  • LyZane •

    @tomaer 为什么有 APP 就简单呢？有爬 APP 的方法么？

  • tomaer •

    @DevAPI app 一般都是 rest 方式。只要你知道 rest 的地址和参数 不就简单多了。我有方法

  • sky_dhx •

    我来接把， 实实在在的，我爬过淘宝的商品，

    直接几个问题 你回答就好，
    1.爬哪个网站，地址， 爬哪些东西， 例如 图片 名称价格。。。
    2.如果有手机端 app 的 则更简单，我直接取抓包获取他的 url
    3.获取的数据是每天都爬还是一次性爬，爬完了怎么导入你的数据库里面去，格式都是什么样的，或者 我获取到数据到某个数据库你定时来取，都行，大致这三个问题。
    价格 好商量， 工作量 预估 10-15 天搞定，我用 C# ，

  • sky_dhx •

    看错了，居然是 1 年前的，估计早就结束了

    1 回复
  • crick77 •
    作者

    已经结束了，感谢你的回答。。 不过现在互联网金融当道，爬虫的前途还是不错的

请输入回帖内容 ...
crick77
天行健 男儿当立志 大连
回帖
327
 帖子
123
 积分
7608

近期热议

推荐标签 标签

  • CSDN

    CSDN (Chinese Software Developer Network) 创立于 1999 年，是中国的 IT 社区和服务平台，为中国的软件开发者和 IT 从业者提供知识传播、职业发展、软件开发等全生命周期服务，满足他们在职业发展中学习及共享知识和信息、建立职业发展社交圈、通过软件开发实现技术商业化等刚性需求。

    14 引用 • 155 回帖
  • CodeMirror
    1 引用 • 2 回帖 • 115 关注
  • Flutter

    Flutter 是谷歌的移动 UI 框架，可以快速在 iOS 和 Android 上构建高质量的原生用户界面。 Flutter 可以与现有的代码一起工作，它正在被越来越多的开发者和组织使用，并且 Flutter 是完全免费、开源的。

    39 引用 • 92 回帖 • 7 关注
  • 机器学习

    机器学习（Machine Learning）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

    76 引用 • 37 回帖
  • Log4j

    Log4j 是 Apache 开源的一款使用广泛的 Java 日志组件。

    20 引用 • 18 回帖 • 43 关注
  • H2

    H2 是一个开源的嵌入式数据库引擎，采用 Java 语言编写，不受平台的限制，同时 H2 提供了一个十分方便的 web 控制台用于操作和管理数据库内容。H2 还提供兼容模式，可以兼容一些主流的数据库，因此采用 H2 作为开发期的数据库非常方便。

    11 引用 • 54 回帖 • 642 关注
  • Vditor

    Vditor 是一款浏览器端的 Markdown 编辑器，支持所见即所得、即时渲染（类似 Typora）和分屏预览模式。它使用 TypeScript 实现，支持原生 JavaScript、Vue、React 和 Angular。

    311 引用 • 1666 回帖
  • TGIF

    Thank God It's Friday! 感谢老天，总算到星期五啦！

    284 引用 • 4481 回帖 • 656 关注
  • OkHttp

    OkHttp 是一款 HTTP & HTTP/2 客户端库，专为 Android 和 Java 应用打造。

    16 引用 • 6 回帖 • 54 关注
  • 强迫症

    强迫症（OCD）属于焦虑障碍的一种类型，是一组以强迫思维和强迫行为为主要临床表现的神经精神疾病，其特点为有意识的强迫和反强迫并存，一些毫无意义、甚至违背自己意愿的想法或冲动反反复复侵入患者的日常生活。

    15 引用 • 161 回帖 • 1 关注
  • Wide

    Wide 是一款基于 Web 的 Go 语言 IDE。通过浏览器就可以进行 Go 开发，并有代码自动完成、查看表达式、编译反馈、Lint、实时结果输出等功能。

    欢迎访问我们运维的实例： https://wide.b3log.org

    30 引用 • 218 回帖 • 605 关注
  • BookxNote

    BookxNote 是一款全新的电子书学习工具，助力您的学习与思考，让您的大脑更高效的记忆。

    笔记整理交给我，一心只读圣贤书。

    1 引用 • 1 回帖 • 3 关注
  • Solo

    Solo 是一款小而美的开源博客系统，专为程序员设计。Solo 有着非常活跃的社区，可将文章作为帖子推送到社区，来自社区的回帖将作为博客评论进行联动（具体细节请浏览 B3log 构思 - 分布式社区网络）。

    这是一种全新的网络社区体验，让热爱记录和分享的你不再感到孤单！

    1425 引用 • 10043 回帖 • 473 关注
  • 招聘

    哪里都缺人，哪里都不缺人。

    189 引用 • 1056 回帖
  • HBase

    HBase 是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的 Google 论文 “Bigtable：一个结构化数据的分布式存储系统”。就像 Bigtable 利用了 Google 文件系统所提供的分布式数据存储一样，HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力。

    17 引用 • 6 回帖 • 44 关注
  • TextBundle

    TextBundle 文件格式旨在应用程序之间交换 Markdown 或 Fountain 之类的纯文本文件时，提供更无缝的用户体验。

    1 引用 • 2 回帖 • 43 关注
  • BND

    BND（Baidu Netdisk Downloader）是一款图形界面的百度网盘不限速下载器，支持 Windows、Linux 和 Mac，详细介绍请看这里。

    107 引用 • 1281 回帖 • 22 关注
  • 大疆创新

    深圳市大疆创新科技有限公司(DJI-Innovations，简称 DJI)，成立于 2006 年，是全球领先的无人飞行器控制系统及无人机解决方案的研发和生产商，客户遍布全球 100 多个国家。通过持续的创新，大疆致力于为无人机工业、行业用户以及专业航拍应用提供性能最强、体验最佳的革命性智能飞控产品和解决方案。

    2 引用 • 14 回帖
  • Hibernate

    Hibernate 是一个开放源代码的对象关系映射框架，它对 JDBC 进行了非常轻量级的对象封装，使得 Java 程序员可以随心所欲的使用对象编程思维来操纵数据库。

    39 引用 • 103 回帖 • 681 关注
  • 工具

    子曰：“工欲善其事，必先利其器。”

    273 引用 • 679 回帖 • 1 关注
  • Android

    Android 是一种以 Linux 为基础的开放源码操作系统，主要使用于便携设备。2005 年由 Google 收购注资，并拉拢多家制造商组成开放手机联盟开发改良，逐渐扩展到到平板电脑及其他领域上。

    333 引用 • 323 回帖 • 71 关注
  • Node.js

    Node.js 是一个基于 Chrome JavaScript 运行时建立的平台， 用于方便地搭建响应速度快、易于扩展的网络应用。Node.js 使用事件驱动， 非阻塞 I/O 模型而得以轻量和高效。

    138 引用 • 268 回帖 • 201 关注
  • 深度学习

    深度学习（Deep Learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。

    40 引用 • 40 回帖
  • 小薇

    小薇是一个用 Java 写的 QQ 聊天机器人 Web 服务，可以用于社群互动。

    由于 Smart QQ 从 2019 年 1 月 1 日起停止服务，所以该项目也已经停止维护了！

    34 引用 • 467 回帖 • 692 关注
  • SpaceVim

    SpaceVim 是一个社区驱动的模块化 vim/neovim 配置集合，以模块的方式组织管理插件以
    及相关配置，为不同的语言开发量身定制了相关的开发模块，该模块提供代码自动补全，
    语法检查、格式化、调试、REPL 等特性。用户仅需载入相关语言的模块即可得到一个开箱
    即用的 Vim-IDE。

    3 引用 • 31 回帖 • 68 关注
  • 创造

    你创造的作品可能会帮助到很多人，如果是开源项目的话就更赞了！

    172 引用 • 990 回帖
  • Oracle

    Oracle（甲骨文）公司，全称甲骨文股份有限公司（甲骨文软件系统有限公司），是全球最大的企业级软件公司，总部位于美国加利福尼亚州的红木滩。1989 年正式进入中国市场。2013 年，甲骨文已超越 IBM，成为继 Microsoft 后全球第二大软件公司。

    103 引用 • 126 回帖 • 452 关注

最新标签