最近新进的项目组是开发大数据分析平台。
但是平时听了很多大数据,却不太了解。
刚才开会针对目前已经有的需求还有原型组里讨论了一下。
讲原型我还是听得懂的,但是到了后面就很多不懂了。
hadoop hbase solr 都是听说过的,但是只了解一点的基础。其实哪个也不会用。
先说下刚才开会的几个问题吧,有知道的可以跟我叨叨两句。
1.数据导入的时候,往 hbase 保存,一种是批量的 commit,一种是一条一条的 commit。我没有操作过,但是一个同事说他试了发现一条一条的竟然比批量的更快。
不知道为什么。有没有懂滴,讲一下。
2.另外,hbase 存储是怎么个存法(我记得以前看说就是 key-value 的样式,不记得对不对了),有人说了一个通过时间扫描,是什么意思。
3.后面不理解的,我问题都提不出来。。。一般用 solr,我知道是为了建索引的,但是 hbase 里的所有数据在 solr 里面在存储一份,然后建立索引为了查询方便。
可是为什么还要 hbase 那一步骤呀,直接存 solr 不行吗?还是说 solr 不能保存大量数据? 那建立索引的时候不是要有数据吗?还是说 hbase 跟 solr 之间不是我想的那种存储方式? 那 hbase 跟 solr 倒地有什么关系,怎么运用的。有什么好处。
4.你们工作中会用到算法吗?是做什么用?而你怎么写算法的?
以上,有些问题我觉得我都不知道如何表达去问,可能问的白痴的你们看不懂。。。总之,就是有什么想法就说说看吧,指不定无心插柳的一句话,也能让我开窍。
欢迎来到这里!
我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。
注册 关于