登录注册

Jerry

hadoop

关注

977 号成员，2015-08-07 16:28:36 加入

1.1k

个人主页浏览

70

帖子 + 回帖 + 评论

2.2k

273h26m

在线时长

24 帖子
11.9k 帖子被浏览
227 浏览帖子
2 被收藏的帖子
0 收藏的帖子
11 关注帖子
3 打赏帖子

68 被回贴
46 回贴
1.9k 浏览回贴
1 回答提问
0 评论
72 聊天室

3 收到的感谢
7 收到的赞同

117 被用户关注
0 关注用户
1.1k 主页被浏览
32 浏览他人主页
25 浏览领域
2 浏览标签

2032 积分
90 打赏积分

0 Repos

打赏了帖子女码农

你们公司女码农多吗？有没有发现有些女码农长得特别的凶的样子。。。我们公司巨多女的，导致经常去洗手间要排队。以前没搬家的时候，我们在北三环，洗手间还比较宽敞，于是洗手间经常聚集一群人八卦。现在在上地这边，洗手间没有以前那么宽敞了，于是就看不到那么多八卦的了。因为平时就在自己开发室转悠，别的开发室也进不去，就不会碰 ..

2 年前
发布了回帖开店开店，开啥店？

有学校，必须得是小吃类，民以食为天。麻辣烫～

2 年前
发布了回帖我的孤单的生活 2020-5-30

楼主毕业了没有？学习，工作，生活。都是自己的规划的，长大了妈妈就不会管你了吧。

2 年前
发布了回帖有哪些有效的减肥策略？

[链接]

2 年前
发布了回帖在公司待了不到半年，谁有我接的活多！

没有 50k　哪来的勇气接这么多？

2 年前
发布了回帖电瓶赋 -- 窃·格瓦拉

牛逼牛逼～

3 年前
发布了回帖 Offer 选择

大数据做什么的～

3 年前
发布了回帖黑客派戒烟活动帖

天你戒烟了吗～

3 年前
发布了回帖黑客派戒烟活动帖

今天你戒烟了吗～

3 年前
发布了回帖 2019.10.16 车况

真鸡儿，羡慕有车的～

3 年前
发布了回帖黑客派戒烟活动帖

今天你戒烟了吗～

3 年前
发布了回帖黑客派戒烟活动帖

今天你戒烟了吗～

3 年前
发布了回帖黑客派戒烟活动帖

今天你戒烟了吗～

3 年前
发布了回帖新的开始——程序人生

读书真鸡儿好啊～

3 年前
发布了回帖年轻，我还有试错的资格

兄弟，什么公司　我要进去混吃等死～

3 年前
发布了回帖这次面试后，做出选择

来了就是深圳人～

3 年前
关注了标签系统公告

6 年前
关注了标签 TGIF

6 年前
关注了标签 RabbitMQ

6 年前
关注了标签 Vue.js

6 年前
关注了标签 ZeroNet

6 年前
关注了标签 Love2D

6 年前
发布了帖子 (2016 年) 华阳公司大数据架构设计

咋我再博客加密的帖子发到这里来了我去！！！！！！

6 年前
发布了回帖毕业两年的薪资水平

五年看来只有你的一半~

6 年前
打赏了帖子毕业两年的薪资水平

毕业两年，各位觉得薪资多少 K 才是正常水平 or 优秀水平？可以列出所在城市的薪资水平。打赏后可知我的薪资水平。

6 年前
发布了帖子董西成 -2.1(2) 简易电影受众系统

1、首先下载分析文件网址为:[链接][链接](MovieLens 1M Dataset 中的这个包 ml-1m.zip) 2、部分文件如下: movies.dat: 1::Toy Story (1995)::Animation|Children's|Comedy 2::Jumanji (1995)::Adventure ..

6 年前
发布了帖子 OLAP(联机分析处理 On-Line Analytical Processing)

由于公司需要自行开发一套 OLAP 联机事务处理，先了解下 OLAP，一边学习下 OLAP，一边看下 spark。嘎嘎本文转载于:http://www.mamicode.com/info-detail-1211469.html 1、OLAP 联机分析处理，和他对应的是OLTP（联机事务处理）。 OLTP：做为一个开发 ..

6 年前
发布了回帖我是来这里找个女朋友的 ~~~

脱离啥子哟。。。

6 年前
发布了回帖我是来这里找个女朋友的 ~~~

是哒这都被你猜出来啦~~

6 年前
发布了回帖我是来这里找个女朋友的 ~~~

快回来~开饭了别到处溜达了！！！

6 年前
发布了帖子我是来这里找个女朋友的 ~~~

如题~~

6 年前
发布了帖子 Spark 获取 mysql 数据操作

import org.apache.spark.sql.{DataFrame, SQLContext} import org.apache.spark.{SparkConf, SparkContext} /** * Created by zhangshuai on 2016/9/27. */ object Mysql_ ..

6 年前
发布了帖子 Spark 分组 TOPN 排序

/** * Created by zhangshuai on 2016/9/22. */ // 输入文件 // Spark 100 // Hadoop 65 // Spark 99 // Hadoop 61 // Spark 195 // Hadoop 60 // Spark 98 // Hadoop 69 // Sp ..

6 年前
发布了帖子 Apache Spark 的设计与实现（Broadcast 功能）

Broadcast 顾名思义，broadcast 就是将数据从一个节点发送到其他各个节点上去。这样的场景很多，比如 driver 上有一张表，其他节点上运行的 task 需要 lookup 这张表，那么 driver 可以先把这张表 copy 到这些节点，这样 task 就可以在本地查表了。如何实现一个可靠高效的 br ..

6 年前
发布了帖子 Apache Spark 的设计与实现（cache 和 checkpoint 功能）

Cache 和 Checkpoint 作为区别于 Hadoop 的一个重要 feature，cache 机制保证了需要访问重复数据的应用（如迭代型算法和交互式应用）可以运行的更快。与 Hadoop MapReduce job 不同的是 Spark 的逻辑/物理执行图可能很庞大，task 中 computing chai ..

6 年前
发布了帖子 Apache Spark 的设计与实现 (模块协调完成整个 job)

架构前三章从 job 的角度介绍了用户写的 program 如何一步步地被分解和执行。这一章主要从架构的角度来讨论 master，worker，driver 和 executor 之间怎么协调来完成整个 job 的运行。实在不想在文档中贴过多的代码，这章贴这么多，只是为了方面自己回头 debug 的时候可以迅速定位 ..

6 年前
发布了帖子 Apache Spark 的设计与实现（shuffle 过程）

Shuffle 过程上一章里讨论了 job 的物理执行图，也讨论了流入 RDD 中的 records 是怎么被 compute() 后流到后续 RDD 的，同时也分析了 task 是怎么产生 result，以及 result 怎么被收集后计算出最终结果的。然而，我们还没有讨论数据是怎么通过 ShuffleDepend ..

6 年前
发布了帖子 Apache Spark 的设计与实现 (job 逻辑执行图)

Job 逻辑执行图 General logical plan [图片] 典型的 Job 逻辑执行图如上所示，经过下面四个步骤可以得到最终执行结果：从数据源（可以是本地 file，内存数据结构， HDFS，HBase 等）读取数据创建最初的 RDD。上一章例子中的 parallelize() 相当于 createRDD ..

6 年前
发布了帖子 spark Maven pom.xml

4.0.0 com.ganymede sparkplatformstudy 1.0-SNAPSHOT UTF-8 1.6.0 2.10 2.6.0 org.apache.spark spark-core_${scala.version} ${spark.version} org.apache.spark spark-s ..

6 年前
发布了回帖数据库分表后的分页怎么处理

@yangyujiao 哎哟不错哟求个 spark 师傅带带我~

6 年前
发布了帖子 Zookeeper的功能以及工作原理

1.ZooKeeper 是什么？ ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 Google 的 Chubby 一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户 2.ZooKeeper ..

6 年前
发布了回帖来交换博客链接吧！

@88250 搞不到好的就想用自己的拼音，可是.com.cn.org 都有人买了~~

6 年前
发布了回帖来交换博客链接吧！

@relyn 是么我感觉还好啊~~无多少图片，都是文字和代码。典型程序员~

6 年前
发布了回帖来交换博客链接吧！

[链接]

6 年前
打赏了帖子多少女同学，情归老同学

[图片] 和我妈视频的时候，聊起了最近的几起社会新闻，两人一起感慨现在的变态真多。我妈说：“你一个人在外面我们也不放心，要是有个男朋友一起，我们还能放心点！” 我笑道：“还男朋友能放心点！江歌不就是被闺蜜男朋友杀掉的嘛！” 我妈一时语塞，难以反驳。不知道什么时候开始，我有一种不安全感，不知道那些衣冠楚楚之下的到底是人 ..

6 年前
发布了帖子关于二张表left OUTER JOIN问题，困惑很久。

如下表： create table stu ( id int, name VARCHAR(32), age int ) create table number ( id int, name VARCHAR(32), age int ) insert into stu(id,name,age) values(1,'aa' ..

6 年前
发布了帖子 Hive 使用 update & delete 操作

修改配置(hive-site.xml)也可以直接加入hive开头给予变量 hive.support.concurrency = true hive.enforce.bucketing = true hive.exec.dynamic.partition.mode = nonstrict hive.txn.manager ..

6 年前
发布了回帖 Cloudera CDH-5.6.1 离线集群搭建（纪念这些天踩进的坑）

我去都没写完都同步上来~~~

6 年前
发布了帖子 Cloudera CDH-5.6.1 离线集群搭建（纪念这些天踩进的坑）

关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 Cloudera Ma ..

6 年前
发布了帖子抽取mysql分表数据

yestoday=`date -d '1 day ago' +'%Y-%m-%d'` year=`date -d 'now' +'%Y'` echo '' > /apps/data/cash_bill/cash_bill_tmp.csv; ##找出配置表中表名后缀名字 relate_list=`mysql --s ..

6 年前
发布了帖子 Storm 1.0.0 正式发布

Apache storm 社区很高兴的宣布版本 1.0.0 稳定已经发布，可以从[链接]下载。这个版本是 Apache storm 演变的一个重要的里程碑，包括大量的新特性，可用性和性能方面的改进，其中一些如下。性能提升该版本主要亮点之一就是性能较之前的版本有一个巨大的性能提升，Apache Storm 1.0 ..

6 年前
发布了帖子 mongdb回迁数据至mysql数据库

yestoday=`date -d '1 day ago' +'%Y-%m-%d'` yestoday='2016-06' /apps/svr/mongodb/bin/mongo --host 192.168.1.135 --port 27017 ws_shop_pos --eval 'var host='192.16 ..

6 年前
发布了回帖 spark wordcount—IDEA

@88250 我这篇文章在我博客还没发表，编写到一般这家伙就同步过来了。。

6 年前
发布了帖子 spark wordcount—IDEA

package com.admin; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache. ..

6 年前
发布了帖子 hive添加分区表字段后，插入数据为null。

首先先让我们来创建一张测试表 hive> create table test(id string)partitioned BY (day string); OK Time taken: 0.115 seconds hive> 从另一张表中的数据 id 查询出来插入当前测试表中 hive> insert ..

6 年前
发布了帖子关于 mongdb 导出数据问题

1.关于 mongdb 导出数据问题，在测试中使用./mongoexport -h 192.168.1.205 -d el_shop_goods -c access_exception_log --type=csv --fields accessDate -o /home/txt.txt 导出数据极慢~ 2.可能跟内存 ..

6 年前
发布了回帖作息时间表

哈哈。。等到 16：30 开发那边依然没人走~~我这个 BUG 还没改完，等会！我这个页面还要再美化一下！服务器那边为什么会卡？就这样晚上八点过去了，全部饿死！！！！

6 年前
发布了回帖百度上输入这些!

另外，在此贴评论框回复“黑！！！”试试！

6 年前
发布了回帖找工作最好的还是擅长 Java 吗？

JAVA 猿类越来越多，转行大数据才能够生存下去。

6 年前
发布了回帖 hadoop个人博客分享增加人气~欧耶~~~

@oncereply BUG 啊~~~哈哈~~

6 年前