分布式系统概述

本贴最后更新于 2438 天前,其中的信息可能已经事过景迁

关键词:分布式系统、TCP/IP、NIO 模型

一、基本概念

    **分布式系统:**多个节点(一般来说一个节点即一台计算机),且节点间互相连通(网络&消息传递) -> 在这些连通的节点上部署了组件并且组件之间的操作互相连通,,,这样的一个系统可以认为是一个分布式系统

    **冯诺依曼模型:**输入设备、存储器(内存&外存)、控制器、运算器、输出设备

        分布式系统~~超级计算机,也同样符合冯诺依曼模型

    多线程交互模式:

  • 互不通信的多线程模式:不处理共享数据,也不进行动作协调情况
  • 基于共享容器协同的多线程模式 - 并发访问:多个线程对共享的数据(存储数据的容器或数据对象,如 java 中的容器类)队列进行处理,注意线程不安全问题
  • 基于事件协同的多线程模式-线程间协调:如 B 线程需要等到某个状态或事件发生后才能继续执行,而这个状态改变或事件产生食欲 A 线程相关的,注意死锁问题(一般地,能够原子性地获取需要的多个锁或者注意调整对多个锁的获取顺序,就会比较好地避免死锁)

   ** 阿姆达尔定律(Amdahl's law):**    ​(=> 当{\displaystyle p\to \infty }p\to \infty​时,上式的极限是{\displaystyle {\frac {W}{W_{s}}}}\frac{W}{W_s}​),,也就是说增加处理器总核心数 p 所能带来速度提升的上限是\frac{W}{W_s}​(-> 上限的值则是决定于程序中可串行 serial 和可并行 parallel 部分程序​的占比,因此可并行部分程序占比越大上限值越大)

**    多进程模式:进程间的内存是独立的,因此多进程之间的数据共享、通信**与多线程是不一样的(线程是属于进程的,多线程间是共享内存的)

=> 单线程和单进程多线程(机器故障、OS 问题、进程问题会导致整个功能不可用)

=> 多进程系统(机器故障、OS 问题会导致整个功能不可用,单个进程问题则可能系统部分功能仍然是正常)

=> 多机分布式系统(某些机器故障、OS 问题或某些机器的进程问题,仍然可以保证整体功能大体可用)

二、网络通信协议

    **OSI 七层网络模型:**物理层、数据链路层、网络层、传输层、会话层、表示层、应用层

    **TCP/IP 模型:**网络接口层、网络互联层、传输层、应用层

    **以太网:**一种计算机局域网技术,包括物理层的连线、电子信号和介质访问层协议的内容

    => 实践中主要是以太网及 TCP/IP 协议栈,使用 Socket 套接字进行网络通信开发,共有三种方式:BIO、NIO 和 AIO

    **BIO 方式:**Blocking IO,采用阻塞方式实现,也即一个 Socket 套接字对应一个线程处理(发生建立连接、读数据、写数据操作时都可能会阻塞,优点是简单,缺点是一个线程只能处理一个 socket 导致在支持并发连接时需要很多的线程)

    **NIO 方式:**Nonblocking IO,非阻塞方式,基于事件驱动思想采用 Reactor 模式(优势是可以在一个线程中处理多个 socket 套接字),即统一通过 Reactor 对所有客户端的 Socket 套接字的事件(hander)做处理并派发到不同的线程中

    **AIO 方式:**AsynchronousIO,异步 IO,采用 Proactor 模式(NIO 在有通知时可以进行相关的操作,而 AIO 在有通知时则表示相关操作已经完成)

三、分布式系统 - 超级计算机

**输入设备:**互相连接的多个节点(通信时互为输入)+ 传统人机交互的输入设备

**存储器:**代理方式的多机 Key-Value 服务、名称服务的多机 Key-Value 服务、规则服务的多机 Key-Value 服务、Master 控制的多机 Key-Value 服务

**控制器:**协调或控制节点之间的动作和行为,如透明代理(硬件负载均衡设备、软件负责均衡系统,不足是网络开销(流量和延迟)和单点故障)、名称服务的直连方式(与请求处理的机器是交互的,不足是升级较复杂)、规则服务器控制路由的请求直连方式(与请求处理的机器是不交互的,不足是升级较复杂)、Master+Worker 方式(任务的分配和管理)

**运算器:**DNS 服务器进行调度和控制、负责均衡、规则服务器、Master+Worker

**输出设备:**互相连接的多个节点(通信时互为输出)+ 传统人机交互的输出设备

四、分布式系统的难点

    缺乏全局时钟、如何应对和解决故障独立性、单点故障问题 SPoF(Single Point of Failure)、分布式事务问题

【读书系列】

    《大型网站系统与 Java 中间件实践》,曾宪杰,电子工业出版社

  • 分布式
    80 引用 • 149 回帖 • 4 关注
  • 学习

    “梦想从学习开始,事业从实践起步” —— 习近平

    172 引用 • 541 回帖
  • 读书
    16 引用 • 30 回帖 • 1 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • 设计模式

    设计模式(Design pattern)代表了最佳的实践,通常被有经验的面向对象的软件开发人员所采用。设计模式是软件开发人员在软件开发过程中面临的一般问题的解决方案。这些解决方案是众多软件开发人员经过相当长的一段时间的试验和错误总结出来的。

    201 引用 • 120 回帖 • 2 关注
  • Visio
    1 引用 • 2 回帖
  • SEO

    发布对别人有帮助的原创内容是最好的 SEO 方式。

    36 引用 • 200 回帖 • 37 关注
  • WebComponents

    Web Components 是 W3C 定义的标准,它给了前端开发者扩展浏览器标签的能力,可以方便地定制可复用组件,更好的进行模块化开发,解放了前端开发者的生产力。

    1 引用 • 15 关注
  • 安全

    安全永远都不是一个小问题。

    199 引用 • 818 回帖
  • Swift

    Swift 是苹果于 2014 年 WWDC(苹果开发者大会)发布的开发语言,可与 Objective-C 共同运行于 Mac OS 和 iOS 平台,用于搭建基于苹果平台的应用程序。

    34 引用 • 37 回帖 • 561 关注
  • BND

    BND(Baidu Netdisk Downloader)是一款图形界面的百度网盘不限速下载器,支持 Windows、Linux 和 Mac,详细介绍请看这里

    107 引用 • 1281 回帖 • 39 关注
  • FreeMarker

    FreeMarker 是一款好用且功能强大的 Java 模版引擎。

    23 引用 • 20 回帖 • 470 关注
  • ngrok

    ngrok 是一个反向代理,通过在公共的端点和本地运行的 Web 服务器之间建立一个安全的通道。

    7 引用 • 63 回帖 • 656 关注
  • FlowUs

    FlowUs.息流 个人及团队的新一代生产力工具。

    让复杂的信息管理更轻松、自由、充满创意。

    1 引用 • 2 关注
  • 国际化

    i18n(其来源是英文单词 internationalization 的首末字符 i 和 n,18 为中间的字符数)是“国际化”的简称。对程序来说,国际化是指在不修改代码的情况下,能根据不同语言及地区显示相应的界面。

    8 引用 • 26 回帖 • 1 关注
  • 运维

    互联网运维工作,以服务为中心,以稳定、安全、高效为三个基本点,确保公司的互联网业务能够 7×24 小时为用户提供高质量的服务。

    151 引用 • 257 回帖
  • InfluxDB

    InfluxDB 是一个开源的没有外部依赖的时间序列数据库。适用于记录度量,事件及实时分析。

    2 引用 • 106 关注
  • 代码片段

    代码片段分为 CSS 与 JS 两种代码,添加在 [设置 - 外观 - 代码片段] 中,这些代码会在思源笔记加载时自动执行,用于改善笔记的样式或功能。

    用户在该标签下分享代码片段时需在帖子标题前添加 [css] [js] 用于区分代码片段类型。

    207 引用 • 1450 回帖
  • 阿里云

    阿里云是阿里巴巴集团旗下公司,是全球领先的云计算及人工智能科技公司。提供云服务器、云数据库、云安全等云计算服务,以及大数据、人工智能服务、精准定制基于场景的行业解决方案。

    85 引用 • 324 回帖
  • Node.js

    Node.js 是一个基于 Chrome JavaScript 运行时建立的平台, 用于方便地搭建响应速度快、易于扩展的网络应用。Node.js 使用事件驱动, 非阻塞 I/O 模型而得以轻量和高效。

    139 引用 • 269 回帖
  • JWT

    JWT(JSON Web Token)是一种用于双方之间传递信息的简洁的、安全的表述性声明规范。JWT 作为一个开放的标准(RFC 7519),定义了一种简洁的,自包含的方法用于通信双方之间以 JSON 的形式安全的传递信息。

    20 引用 • 15 回帖 • 26 关注
  • RYMCU

    RYMCU 致力于打造一个即严谨又活泼、专业又不失有趣,为数百万人服务的开源嵌入式知识学习交流平台。

    4 引用 • 6 回帖 • 62 关注
  • Kubernetes

    Kubernetes 是 Google 开源的一个容器编排引擎,它支持自动化部署、大规模可伸缩、应用容器化管理。

    118 引用 • 54 回帖 • 4 关注
  • Mobi.css

    Mobi.css is a lightweight, flexible CSS framework that focus on mobile.

    1 引用 • 6 回帖 • 766 关注
  • 笔记

    好记性不如烂笔头。

    311 引用 • 794 回帖
  • Hexo

    Hexo 是一款快速、简洁且高效的博客框架,使用 Node.js 编写。

    22 引用 • 148 回帖 • 12 关注
  • 架构

    我们平时所说的“架构”主要是指软件架构,这是有关软件整体结构与组件的抽象描述,用于指导软件系统各个方面的设计。另外还有“业务架构”、“网络架构”、“硬件架构”等细分领域。

    142 引用 • 442 回帖
  • Access
    1 引用 • 3 回帖 • 3 关注
  • FFmpeg

    FFmpeg 是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。

    23 引用 • 32 回帖 • 9 关注
  • 宕机

    宕机,多指一些网站、游戏、网络应用等服务器一种区别于正常运行的状态,也叫“Down 机”、“当机”或“死机”。宕机状态不仅仅是指服务器“挂掉了”、“死机了”状态,也包括服务器假死、停用、关闭等一些原因而导致出现的不能够正常运行的状态。

    13 引用 • 82 回帖 • 76 关注
  • SVN

    SVN 是 Subversion 的简称,是一个开放源代码的版本控制系统,相较于 RCS、CVS,它采用了分支管理系统,它的设计目标就是取代 CVS。

    29 引用 • 98 回帖 • 699 关注