你了解的大数据

本贴最后更新于 3210 天前,其中的信息可能已经事过景迁

最近新进的项目组是开发大数据分析平台。

但是平时听了很多大数据,却不太了解。

刚才开会针对目前已经有的需求还有原型组里讨论了一下。

讲原型我还是听得懂的,但是到了后面就很多不懂了。

hadoop hbase solr 都是听说过的,但是只了解一点的基础。其实哪个也不会用。

先说下刚才开会的几个问题吧,有知道的可以跟我叨叨两句。

1.数据导入的时候,往 hbase 保存,一种是批量的 commit,一种是一条一条的 commit。我没有操作过,但是一个同事说他试了发现一条一条的竟然比批量的更快。
不知道为什么。有没有懂滴,讲一下。

2.另外,hbase 存储是怎么个存法(我记得以前看说就是 key-value 的样式,不记得对不对了),有人说了一个通过时间扫描,是什么意思。

3.后面不理解的,我问题都提不出来。。。一般用 solr,我知道是为了建索引的,但是 hbase 里的所有数据在 solr 里面在存储一份,然后建立索引为了查询方便。
可是为什么还要 hbase 那一步骤呀,直接存 solr 不行吗?还是说 solr 不能保存大量数据? 那建立索引的时候不是要有数据吗?还是说 hbase 跟 solr 之间不是我想的那种存储方式? 那 hbase 跟 solr 倒地有什么关系,怎么运用的。有什么好处。

4.你们工作中会用到算法吗?是做什么用?而你怎么写算法的?

以上,有些问题我觉得我都不知道如何表达去问,可能问的白痴的你们看不懂。。。总之,就是有什么想法就说说看吧,指不定无心插柳的一句话,也能让我开窍。

  • 大数据

    大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    89 引用 • 113 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • never

    工作中的所谓的算法,应该不是程序里面的算法吧

  • 88250

    对于大数据,我印象最深刻的一个词就是“清洗”,好生动的词。

    说道算法,前几天刚刚对社区的 @ 用户名自动完成功能做了一个二分查找优化

  • yangyujiao
    作者

    @lihaotian_120 这个随便自己怎么理解吧,就是只要用过都可以说一下,哪里用的,什么应用用到的,都可以说一下。我之前一个项目的算法是波士顿一个公司提供的,我们只是调接口,然后最后输出结果,其他都不知道····

  • yangyujiao
    作者

    @88250 你理解的清洗是干嘛??? 我开始以为清洗是给最初的数据做分类,或者是按什么规则进行约束一下。可是我们开完会我才知道,我们这里面的清洗是说对标引的字段开始处理,比如 CN 统一替换成中国这样的操作。。。我不知道我开始怎么是那么理解的···

  • 88250

    我理解的数据清洗就是把不要的数据筛掉,把需要的数据做规范处理

  • yangyujiao
    作者

    @88250 我也是这么理解的,我一直以为清洗应该是导入以后做的步骤,可是我们系统不是那么做滴···

  • someone756

    你们公司要不要实习生?android 方向的。

  • yangyujiao
    作者

    @jingxuetao 实习生不清楚,来的都是有几年工作经验的。一般招聘网上都有的,你可以看看。不过,按照我了解的目前我们部门,应该要有工作经验的多。

  • someone756

    @yangyujiao .....

  • 88250

    @jingxuetao 来来来,帮社区做个 APP 先 😚

  • someone756

    @88250 这。。。我想问一下,你们那个背单词的 APP 是怎么做的?

  • someone756

    @88250 臣妾并做不了 APP 啊。。😭😭😭

  • 88250

    @jingxuetao Wordman

  • flhuoshan

    @88250 D,可否介绍下为何要优化,以及优化的原理?

  • 88250

    @flhuoshan 社区用户名那个比较简单,就是从遍历查找改成了二分查找。一开始写代码的时候留的坑,后面填,这个可能和个人开发习惯有关,功能先保证,优化再跟上。

  • flhuoshan

    @88250 了解,我还以为是以二分查找为基础进行优化

请输入回帖内容 ...

推荐标签 标签

  • JetBrains

    JetBrains 是一家捷克的软件开发公司,该公司位于捷克的布拉格,并在俄国的圣彼得堡及美国麻州波士顿都设有办公室,该公司最为人所熟知的产品是 Java 编程语言开发撰写时所用的集成开发环境:IntelliJ IDEA

    18 引用 • 54 回帖
  • Hadoop

    Hadoop 是由 Apache 基金会所开发的一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

    82 引用 • 122 回帖 • 620 关注
  • Sillot

    Sillot (汐洛)孵化自思源笔记,致力于服务智慧新彖乄,具有彖乄驱动、极致优雅、开发者友好的特点
    Github 地址:https://github.com/Hi-Windom/Sillot

    15 引用 • 6 回帖 • 28 关注
  • GAE

    Google App Engine(GAE)是 Google 管理的数据中心中用于 WEB 应用程序的开发和托管的平台。2008 年 4 月 发布第一个测试版本。目前支持 Python、Java 和 Go 开发部署。全球已有数十万的开发者在其上开发了众多的应用。

    14 引用 • 42 回帖 • 687 关注
  • RIP

    愿逝者安息!

    8 引用 • 92 回帖 • 290 关注
  • 30Seconds

    📙 前端知识精选集,包含 HTML、CSS、JavaScript、React、Node、安全等方面,每天仅需 30 秒。

    • 精选常见面试题,帮助您准备下一次面试
    • 精选常见交互,帮助您拥有简洁酷炫的站点
    • 精选有用的 React 片段,帮助你获取最佳实践
    • 精选常见代码集,帮助您提高打码效率
    • 整理前端界的最新资讯,邀您一同探索新世界
    488 引用 • 383 回帖 • 5 关注
  • GitBook

    GitBook 使您的团队可以轻松编写和维护高质量的文档。 分享知识,提高团队的工作效率,让用户满意。

    3 引用 • 8 回帖
  • 面试

    面试造航母,上班拧螺丝。多面试,少加班。

    324 引用 • 1395 回帖
  • 友情链接

    确认过眼神后的灵魂连接,站在链在!

    24 引用 • 373 回帖
  • 开源中国

    开源中国是目前中国最大的开源技术社区。传播开源的理念,推广开源项目,为 IT 开发者提供了一个发现、使用、并交流开源技术的平台。目前开源中国社区已收录超过两万款开源软件。

    7 引用 • 86 回帖
  • 小薇

    小薇是一个用 Java 写的 QQ 聊天机器人 Web 服务,可以用于社群互动。

    由于 Smart QQ 从 2019 年 1 月 1 日起停止服务,所以该项目也已经停止维护了!

    34 引用 • 467 回帖 • 693 关注
  • DevOps

    DevOps(Development 和 Operations 的组合词)是一组过程、方法与系统的统称,用于促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整合。

    40 引用 • 24 回帖
  • 又拍云

    又拍云是国内领先的 CDN 服务提供商,国家工信部认证通过的“可信云”,乌云众测平台认证的“安全云”,为移动时代的创业者提供新一代的 CDN 加速服务。

    21 引用 • 37 回帖 • 512 关注
  • Openfire

    Openfire 是开源的、基于可拓展通讯和表示协议 (XMPP)、采用 Java 编程语言开发的实时协作服务器。Openfire 的效率很高,单台服务器可支持上万并发用户。

    6 引用 • 7 回帖 • 89 关注
  • SSL

    SSL(Secure Sockets Layer 安全套接层),及其继任者传输层安全(Transport Layer Security,TLS)是为网络通信提供安全及数据完整性的一种安全协议。TLS 与 SSL 在传输层对网络连接进行加密。

    69 引用 • 190 回帖 • 495 关注
  • 招聘

    哪里都缺人,哪里都不缺人。

    189 引用 • 1056 回帖
  • RYMCU

    RYMCU 致力于打造一个即严谨又活泼、专业又不失有趣,为数百万人服务的开源嵌入式知识学习交流平台。

    4 引用 • 6 回帖 • 40 关注
  • 职场

    找到自己的位置,萌新烦恼少。

    126 引用 • 1699 回帖 • 1 关注
  • OkHttp

    OkHttp 是一款 HTTP & HTTP/2 客户端库,专为 Android 和 Java 应用打造。

    16 引用 • 6 回帖 • 54 关注
  • TensorFlow

    TensorFlow 是一个采用数据流图(data flow graphs),用于数值计算的开源软件库。节点(Nodes)在图中表示数学操作,图中的线(edges)则表示在节点间相互联系的多维数据数组,即张量(tensor)。

    20 引用 • 19 回帖
  • 快应用

    快应用 是基于手机硬件平台的新型应用形态;标准是由主流手机厂商组成的快应用联盟联合制定;快应用标准的诞生将在研发接口、能力接入、开发者服务等层面建设标准平台;以平台化的生态模式对个人开发者和企业开发者全品类开放。

    15 引用 • 127 回帖 • 1 关注
  • jQuery

    jQuery 是一套跨浏览器的 JavaScript 库,强化 HTML 与 JavaScript 之间的操作。由 John Resig 在 2006 年 1 月的 BarCamp NYC 上释出第一个版本。全球约有 28% 的网站使用 jQuery,是非常受欢迎的 JavaScript 库。

    63 引用 • 134 回帖 • 741 关注
  • 持续集成

    持续集成(Continuous Integration)是一种软件开发实践,即团队开发成员经常集成他们的工作,通过每个成员每天至少集成一次,也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建(包括编译,发布,自动化测试)来验证,从而尽早地发现集成错误。

    14 引用 • 7 回帖 • 1 关注
  • BAE

    百度应用引擎(Baidu App Engine)提供了 PHP、Java、Python 的执行环境,以及云存储、消息服务、云数据库等全面的云服务。它可以让开发者实现自动地部署和管理应用,并且提供动态扩容和负载均衡的运行环境,让开发者不用考虑高成本的运维工作,只需专注于业务逻辑,大大降低了开发者学习和迁移的成本。

    19 引用 • 75 回帖 • 618 关注
  • wolai

    我来 wolai:不仅仅是未来的云端笔记!

    1 引用 • 11 回帖 • 2 关注
  • LaTeX

    LaTeX(音译“拉泰赫”)是一种基于 ΤΕΧ 的排版系统,由美国计算机学家莱斯利·兰伯特(Leslie Lamport)在 20 世纪 80 年代初期开发,利用这种格式,即使使用者没有排版和程序设计的知识也可以充分发挥由 TeX 所提供的强大功能,能在几天,甚至几小时内生成很多具有书籍质量的印刷品。对于生成复杂表格和数学公式,这一点表现得尤为突出。因此它非常适用于生成高印刷质量的科技和数学类文档。

    9 引用 • 32 回帖 • 166 关注
  • OAuth

    OAuth 协议为用户资源的授权提供了一个安全的、开放而又简易的标准。与以往的授权方式不同之处是 oAuth 的授权不会使第三方触及到用户的帐号信息(如用户名与密码),即第三方无需使用用户的用户名与密码就可以申请获得该用户资源的授权,因此 oAuth 是安全的。oAuth 是 Open Authorization 的简写。

    36 引用 • 103 回帖 • 9 关注