alluxio heartbeat 分析

本贴最后更新于 2896 天前,其中的信息可能已经斗转星移
title: alluxio heartbeat分析

date: 2017-01-17 19:46:28

tags: [技术学习,bigdata,alluxio]

categories: 技术学习

keywords: 技术学习,bigdata,alluxio

description: alluxio heartbeat分析

心跳线程

心跳线程,HeartbeatThread 类作为心跳后台线程。线程主体是个可打断的循环,循环中,每一个滴答(tick)会心跳(heartbeat)一次。如果线程被打断,心跳线程结束。
心跳线程由心跳定时器(mTimer)和心跳执行者(mExecutor)组成。心跳定时器要实现接口 HeartbeatTimer,心跳执行者要实现接口 HeartbeatExecutor

心跳线程表:

线程名 线程启动类 心跳定时器 心跳执行者 默认时间间隔(ms)
WORKER_SPACE_RESERVER DefaultBlockWorker SleepingTimer SpaceReserver 1000
WORKER_BLOCK_SYNC DefaultBlockWorker SleepingTimer BlockMasterSync 1000
WORKER_PIN_LIST_SYNC DefaultBlockWorker SleepingTimer PinListSync 1000
WORKER_FILESYSTEM_MASTER_SYNC DefaultFileSystemWorker SleepingTimer FileWorkerMasterSyncExecutor 1000
MASTER_LOST_WORKER_DETECTION BlockMaster SleepingTimer LostWorkerDetectionHeartbeatExecutor 1000
MASTER_TTL_CHECK FileSystemMaster SleepingTimer MasterInodeTtlCheckExecutor 3600000
MASTER_LOST_FILES_DETECTION FileSystemMaster SleepingTimer LostFilesDetectionHeartbeatExecutor 1000
MASTER_CHECKPOINT_SCHEDULING LineageMaster SleepingTimer CheckpointSchedulingExecutor 300000
MASTER_FILE_RECOMPUTATION LineageMaster SleepingTimer CheckpointSchedulingExecutor 300000
heartbeat-thread-test-thread-name DummyHeartbeatTestCallable ScheduledTimer DummyHeartbeatExecutor 调度
WORKER_SPACE_RESERVER SpaceReserverTest SleepingTimer SpaceReserver 0

心跳定时器

心跳定时器需要实现接口 HeartbeatTimer,目前有两个,分为别 SleepingTimerScheduledTimer

SleepingTimer

SleepingTimer 按指定的时间间隔执行滴答(tick),保证一个 tick 持续时间大于等于指定时间间隔。如果时间间隔大于给定时间间隔,在 log 中给出 warning.

ScheduledTimer

ScheduledTimer 用于测试,tick 函数的持续时间不是靠指定时间间隔,而是靠 Conditionawaitsignal 进行线程控制,从而控制 tick 的阻塞和执行。

心跳执行者

心跳执行者是实现了 HeartbeatExecutor 接口的类,实现接口中的 heartbeat() 方法,实现具体的心跳到来时的功能。比如块同步、锁定列表同步、文件系统 master 同步、丢失 worker 探测、TTL 检查、丢失文件探测、检查点调度等等功能。

  • 技术学习
    3 引用 • 1 回帖
  • 大数据

    大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    93 引用 • 113 回帖
  • alluxio
    3 引用 • 1 回帖
  • heartbeat
    1 引用 • 1 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • 感觉自己弱爆啦。只能去 google 上科普下

    Alluxio, formerly Tachyon, enables any application to interact with any data from any storage system at memory speed.