分布式系统概述

本贴最后更新于 2195 天前,其中的信息可能已经事过景迁

关键词:分布式系统、TCP/IP、NIO 模型

一、基本概念

    **分布式系统:**多个节点(一般来说一个节点即一台计算机),且节点间互相连通(网络&消息传递) -> 在这些连通的节点上部署了组件并且组件之间的操作互相连通,,,这样的一个系统可以认为是一个分布式系统

    **冯诺依曼模型:**输入设备、存储器(内存&外存)、控制器、运算器、输出设备

        分布式系统~~超级计算机,也同样符合冯诺依曼模型

    多线程交互模式:

  • 互不通信的多线程模式:不处理共享数据,也不进行动作协调情况
  • 基于共享容器协同的多线程模式 - 并发访问:多个线程对共享的数据(存储数据的容器或数据对象,如 java 中的容器类)队列进行处理,注意线程不安全问题
  • 基于事件协同的多线程模式-线程间协调:如 B 线程需要等到某个状态或事件发生后才能继续执行,而这个状态改变或事件产生食欲 A 线程相关的,注意死锁问题(一般地,能够原子性地获取需要的多个锁或者注意调整对多个锁的获取顺序,就会比较好地避免死锁)

   ** 阿姆达尔定律(Amdahl's law):**    ​(=> 当{\displaystyle p\to \infty }p\to \infty​时,上式的极限是{\displaystyle {\frac {W}{W_{s}}}}\frac{W}{W_s}​),,也就是说增加处理器总核心数 p 所能带来速度提升的上限是\frac{W}{W_s}​(-> 上限的值则是决定于程序中可串行 serial 和可并行 parallel 部分程序​的占比,因此可并行部分程序占比越大上限值越大)

**    多进程模式:进程间的内存是独立的,因此多进程之间的数据共享、通信**与多线程是不一样的(线程是属于进程的,多线程间是共享内存的)

=> 单线程和单进程多线程(机器故障、OS 问题、进程问题会导致整个功能不可用)

=> 多进程系统(机器故障、OS 问题会导致整个功能不可用,单个进程问题则可能系统部分功能仍然是正常)

=> 多机分布式系统(某些机器故障、OS 问题或某些机器的进程问题,仍然可以保证整体功能大体可用)

二、网络通信协议

    **OSI 七层网络模型:**物理层、数据链路层、网络层、传输层、会话层、表示层、应用层

    **TCP/IP 模型:**网络接口层、网络互联层、传输层、应用层

    **以太网:**一种计算机局域网技术,包括物理层的连线、电子信号和介质访问层协议的内容

    => 实践中主要是以太网及 TCP/IP 协议栈,使用 Socket 套接字进行网络通信开发,共有三种方式:BIO、NIO 和 AIO

    **BIO 方式:**Blocking IO,采用阻塞方式实现,也即一个 Socket 套接字对应一个线程处理(发生建立连接、读数据、写数据操作时都可能会阻塞,优点是简单,缺点是一个线程只能处理一个 socket 导致在支持并发连接时需要很多的线程)

    **NIO 方式:**Nonblocking IO,非阻塞方式,基于事件驱动思想采用 Reactor 模式(优势是可以在一个线程中处理多个 socket 套接字),即统一通过 Reactor 对所有客户端的 Socket 套接字的事件(hander)做处理并派发到不同的线程中

    **AIO 方式:**AsynchronousIO,异步 IO,采用 Proactor 模式(NIO 在有通知时可以进行相关的操作,而 AIO 在有通知时则表示相关操作已经完成)

三、分布式系统 - 超级计算机

**输入设备:**互相连接的多个节点(通信时互为输入)+ 传统人机交互的输入设备

**存储器:**代理方式的多机 Key-Value 服务、名称服务的多机 Key-Value 服务、规则服务的多机 Key-Value 服务、Master 控制的多机 Key-Value 服务

**控制器:**协调或控制节点之间的动作和行为,如透明代理(硬件负载均衡设备、软件负责均衡系统,不足是网络开销(流量和延迟)和单点故障)、名称服务的直连方式(与请求处理的机器是交互的,不足是升级较复杂)、规则服务器控制路由的请求直连方式(与请求处理的机器是不交互的,不足是升级较复杂)、Master+Worker 方式(任务的分配和管理)

**运算器:**DNS 服务器进行调度和控制、负责均衡、规则服务器、Master+Worker

**输出设备:**互相连接的多个节点(通信时互为输出)+ 传统人机交互的输出设备

四、分布式系统的难点

    缺乏全局时钟、如何应对和解决故障独立性、单点故障问题 SPoF(Single Point of Failure)、分布式事务问题

【读书系列】

    《大型网站系统与 Java 中间件实践》,曾宪杰,电子工业出版社

  • 分布式
    80 引用 • 149 回帖 • 4 关注
  • 学习

    “梦想从学习开始,事业从实践起步” —— 习近平

    169 引用 • 506 回帖
  • 读书
    16 引用 • 30 回帖 • 1 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • React

    React 是 Facebook 开源的一个用于构建 UI 的 JavaScript 库。

    192 引用 • 291 回帖 • 384 关注
  • 深度学习

    深度学习(Deep Learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。

    53 引用 • 40 回帖
  • 链滴

    链滴是一个记录生活的地方。

    记录生活,连接点滴

    153 引用 • 3783 回帖 • 1 关注
  • Python

    Python 是一种面向对象、直译式电脑编程语言,具有近二十年的发展历史,成熟且稳定。它包含了一组完善而且容易理解的标准库,能够轻松完成很多常见的任务。它的语法简捷和清晰,尽量使用无异义的英语单词,与其它大多数程序设计语言使用大括号不一样,它使用缩进来定义语句块。

    543 引用 • 672 回帖 • 1 关注
  • Rust

    Rust 是一门赋予每个人构建可靠且高效软件能力的语言。Rust 由 Mozilla 开发,最早发布于 2014 年 9 月。

    58 引用 • 22 回帖
  • DevOps

    DevOps(Development 和 Operations 的组合词)是一组过程、方法与系统的统称,用于促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整合。

    47 引用 • 25 回帖
  • Flume

    Flume 是一套分布式的、可靠的,可用于有效地收集、聚合和搬运大量日志数据的服务架构。

    9 引用 • 6 回帖 • 629 关注
  • Linux

    Linux 是一套免费使用和自由传播的类 Unix 操作系统,是一个基于 POSIX 和 Unix 的多用户、多任务、支持多线程和多 CPU 的操作系统。它能运行主要的 Unix 工具软件、应用程序和网络协议,并支持 32 位和 64 位硬件。Linux 继承了 Unix 以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。

    943 引用 • 943 回帖
  • DNSPod

    DNSPod 建立于 2006 年 3 月份,是一款免费智能 DNS 产品。 DNSPod 可以为同时有电信、网通、教育网服务器的网站提供智能的解析,让电信用户访问电信的服务器,网通的用户访问网通的服务器,教育网的用户访问教育网的服务器,达到互联互通的效果。

    6 引用 • 26 回帖 • 510 关注
  • 互联网

    互联网(Internet),又称网际网络,或音译因特网、英特网。互联网始于 1969 年美国的阿帕网,是网络与网络之间所串连成的庞大网络,这些网络以一组通用的协议相连,形成逻辑上的单一巨大国际网络。

    98 引用 • 344 回帖
  • Kafka

    Kafka 是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是现代系统中许多功能的基础。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

    36 引用 • 35 回帖
  • InfluxDB

    InfluxDB 是一个开源的没有外部依赖的时间序列数据库。适用于记录度量,事件及实时分析。

    2 引用 • 71 关注
  • GitBook

    GitBook 使您的团队可以轻松编写和维护高质量的文档。 分享知识,提高团队的工作效率,让用户满意。

    3 引用 • 8 回帖 • 4 关注
  • IDEA

    IDEA 全称 IntelliJ IDEA,是一款 Java 语言开发的集成环境,在业界被公认为最好的 Java 开发工具之一。IDEA 是 JetBrains 公司的产品,这家公司总部位于捷克共和国的首都布拉格,开发人员以严谨著称的东欧程序员为主。

    180 引用 • 400 回帖
  • Elasticsearch

    Elasticsearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful 接口。Elasticsearch 是用 Java 开发的,并作为 Apache 许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。

    117 引用 • 99 回帖 • 211 关注
  • 尊园地产

    昆明尊园房地产经纪有限公司,即:Kunming Zunyuan Property Agency Company Limited(简称“尊园地产”)于 2007 年 6 月开始筹备,2007 年 8 月 18 日正式成立,注册资本 200 万元,公司性质为股份经纪有限公司,主营业务为:代租、代售、代办产权过户、办理银行按揭、担保、抵押、评估等。

    1 引用 • 22 回帖 • 762 关注
  • 数据库

    据说 99% 的性能瓶颈都在数据库。

    340 引用 • 708 回帖
  • 博客

    记录并分享人生的经历。

    273 引用 • 2388 回帖
  • SVN

    SVN 是 Subversion 的简称,是一个开放源代码的版本控制系统,相较于 RCS、CVS,它采用了分支管理系统,它的设计目标就是取代 CVS。

    29 引用 • 98 回帖 • 680 关注
  • AngularJS

    AngularJS 诞生于 2009 年,由 Misko Hevery 等人创建,后为 Google 所收购。是一款优秀的前端 JS 框架,已经被用于 Google 的多款产品当中。AngularJS 有着诸多特性,最为核心的是:MVC、模块化、自动化双向数据绑定、语义化标签、依赖注入等。2.0 版本后已经改名为 Angular。

    12 引用 • 50 回帖 • 474 关注
  • 音乐

    你听到信仰的声音了么?

    60 引用 • 511 回帖
  • 前端

    前端技术一般分为前端设计和前端开发,前端设计可以理解为网站的视觉设计,前端开发则是网站的前台代码实现,包括 HTML、CSS 以及 JavaScript 等。

    247 引用 • 1348 回帖
  • Tomcat

    Tomcat 最早是由 Sun Microsystems 开发的一个 Servlet 容器,在 1999 年被捐献给 ASF(Apache Software Foundation),隶属于 Jakarta 项目,现在已经独立为一个顶级项目。Tomcat 主要实现了 JavaEE 中的 Servlet、JSP 规范,同时也提供 HTTP 服务,是市场上非常流行的 Java Web 容器。

    162 引用 • 529 回帖
  • ZooKeeper

    ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务,是 Google 的 Chubby 一个开源的实现,是 Hadoop 和 HBase 的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

    59 引用 • 29 回帖 • 5 关注
  • Ant-Design

    Ant Design 是服务于企业级产品的设计体系,基于确定和自然的设计价值观上的模块化解决方案,让设计者和开发者专注于更好的用户体验。

    17 引用 • 23 回帖
  • 强迫症

    强迫症(OCD)属于焦虑障碍的一种类型,是一组以强迫思维和强迫行为为主要临床表现的神经精神疾病,其特点为有意识的强迫和反强迫并存,一些毫无意义、甚至违背自己意愿的想法或冲动反反复复侵入患者的日常生活。

    15 引用 • 161 回帖
  • 链书

    链书(Chainbook)是 B3log 开源社区提供的区块链纸质书交易平台,通过 B3T 实现共享激励与价值链。可将你的闲置书籍上架到链书,我们共同构建这个全新的交易平台,让闲置书籍继续发挥它的价值。

    链书社

    链书目前已经下线,也许以后还有计划重制上线。

    14 引用 • 257 回帖