分布式系统概述

本贴最后更新于 2178 天前,其中的信息可能已经事过景迁

关键词:分布式系统、TCP/IP、NIO 模型

一、基本概念

    **分布式系统:**多个节点(一般来说一个节点即一台计算机),且节点间互相连通(网络&消息传递) -> 在这些连通的节点上部署了组件并且组件之间的操作互相连通,,,这样的一个系统可以认为是一个分布式系统

    **冯诺依曼模型:**输入设备、存储器(内存&外存)、控制器、运算器、输出设备

        分布式系统~~超级计算机,也同样符合冯诺依曼模型

    多线程交互模式:

  • 互不通信的多线程模式:不处理共享数据,也不进行动作协调情况
  • 基于共享容器协同的多线程模式 - 并发访问:多个线程对共享的数据(存储数据的容器或数据对象,如 java 中的容器类)队列进行处理,注意线程不安全问题
  • 基于事件协同的多线程模式-线程间协调:如 B 线程需要等到某个状态或事件发生后才能继续执行,而这个状态改变或事件产生食欲 A 线程相关的,注意死锁问题(一般地,能够原子性地获取需要的多个锁或者注意调整对多个锁的获取顺序,就会比较好地避免死锁)

   ** 阿姆达尔定律(Amdahl's law):**    ​(=> 当{\displaystyle p\to \infty }p\to \infty​时,上式的极限是{\displaystyle {\frac {W}{W_{s}}}}\frac{W}{W_s}​),,也就是说增加处理器总核心数 p 所能带来速度提升的上限是\frac{W}{W_s}​(-> 上限的值则是决定于程序中可串行 serial 和可并行 parallel 部分程序​的占比,因此可并行部分程序占比越大上限值越大)

**    多进程模式:进程间的内存是独立的,因此多进程之间的数据共享、通信**与多线程是不一样的(线程是属于进程的,多线程间是共享内存的)

=> 单线程和单进程多线程(机器故障、OS 问题、进程问题会导致整个功能不可用)

=> 多进程系统(机器故障、OS 问题会导致整个功能不可用,单个进程问题则可能系统部分功能仍然是正常)

=> 多机分布式系统(某些机器故障、OS 问题或某些机器的进程问题,仍然可以保证整体功能大体可用)

二、网络通信协议

    **OSI 七层网络模型:**物理层、数据链路层、网络层、传输层、会话层、表示层、应用层

    **TCP/IP 模型:**网络接口层、网络互联层、传输层、应用层

    **以太网:**一种计算机局域网技术,包括物理层的连线、电子信号和介质访问层协议的内容

    => 实践中主要是以太网及 TCP/IP 协议栈,使用 Socket 套接字进行网络通信开发,共有三种方式:BIO、NIO 和 AIO

    **BIO 方式:**Blocking IO,采用阻塞方式实现,也即一个 Socket 套接字对应一个线程处理(发生建立连接、读数据、写数据操作时都可能会阻塞,优点是简单,缺点是一个线程只能处理一个 socket 导致在支持并发连接时需要很多的线程)

    **NIO 方式:**Nonblocking IO,非阻塞方式,基于事件驱动思想采用 Reactor 模式(优势是可以在一个线程中处理多个 socket 套接字),即统一通过 Reactor 对所有客户端的 Socket 套接字的事件(hander)做处理并派发到不同的线程中

    **AIO 方式:**AsynchronousIO,异步 IO,采用 Proactor 模式(NIO 在有通知时可以进行相关的操作,而 AIO 在有通知时则表示相关操作已经完成)

三、分布式系统 - 超级计算机

**输入设备:**互相连接的多个节点(通信时互为输入)+ 传统人机交互的输入设备

**存储器:**代理方式的多机 Key-Value 服务、名称服务的多机 Key-Value 服务、规则服务的多机 Key-Value 服务、Master 控制的多机 Key-Value 服务

**控制器:**协调或控制节点之间的动作和行为,如透明代理(硬件负载均衡设备、软件负责均衡系统,不足是网络开销(流量和延迟)和单点故障)、名称服务的直连方式(与请求处理的机器是交互的,不足是升级较复杂)、规则服务器控制路由的请求直连方式(与请求处理的机器是不交互的,不足是升级较复杂)、Master+Worker 方式(任务的分配和管理)

**运算器:**DNS 服务器进行调度和控制、负责均衡、规则服务器、Master+Worker

**输出设备:**互相连接的多个节点(通信时互为输出)+ 传统人机交互的输出设备

四、分布式系统的难点

    缺乏全局时钟、如何应对和解决故障独立性、单点故障问题 SPoF(Single Point of Failure)、分布式事务问题

【读书系列】

    《大型网站系统与 Java 中间件实践》,曾宪杰,电子工业出版社

  • 分布式
    80 引用 • 149 回帖 • 4 关注
  • 学习

    “梦想从学习开始,事业从实践起步” —— 习近平

    168 引用 • 504 回帖
  • 读书
    16 引用 • 30 回帖 • 1 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • PHP

    PHP(Hypertext Preprocessor)是一种开源脚本语言。语法吸收了 C 语言、 Java 和 Perl 的特点,主要适用于 Web 开发领域,据说是世界上最好的编程语言。

    179 引用 • 407 回帖 • 489 关注
  • 阿里巴巴

    阿里巴巴网络技术有限公司(简称:阿里巴巴集团)是以曾担任英语教师的马云为首的 18 人,于 1999 年在中国杭州创立,他们相信互联网能够创造公平的竞争环境,让小企业通过创新与科技扩展业务,并在参与国内或全球市场竞争时处于更有利的位置。

    43 引用 • 221 回帖 • 129 关注
  • Netty

    Netty 是一个基于 NIO 的客户端-服务器编程框架,使用 Netty 可以让你快速、简单地开发出一个可维护、高性能的网络应用,例如实现了某种协议的客户、服务端应用。

    49 引用 • 33 回帖 • 19 关注
  • ReactiveX

    ReactiveX 是一个专注于异步编程与控制可观察数据(或者事件)流的 API。它组合了观察者模式,迭代器模式和函数式编程的优秀思想。

    1 引用 • 2 回帖 • 153 关注
  • Sym

    Sym 是一款用 Java 实现的现代化社区(论坛/BBS/社交网络/博客)系统平台。

    下一代的社区系统,为未来而构建

    524 引用 • 4600 回帖 • 701 关注
  • 书籍

    宋真宗赵恒曾经说过:“书中自有黄金屋,书中自有颜如玉。”

    77 引用 • 390 回帖
  • Node.js

    Node.js 是一个基于 Chrome JavaScript 运行时建立的平台, 用于方便地搭建响应速度快、易于扩展的网络应用。Node.js 使用事件驱动, 非阻塞 I/O 模型而得以轻量和高效。

    139 引用 • 269 回帖 • 48 关注
  • Bug

    Bug 本意是指臭虫、缺陷、损坏、犯贫、窃听器、小虫等。现在人们把在程序中一些缺陷或问题统称为 bug(漏洞)。

    75 引用 • 1737 回帖
  • DevOps

    DevOps(Development 和 Operations 的组合词)是一组过程、方法与系统的统称,用于促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整合。

    46 引用 • 25 回帖
  • 小薇

    小薇是一个用 Java 写的 QQ 聊天机器人 Web 服务,可以用于社群互动。

    由于 Smart QQ 从 2019 年 1 月 1 日起停止服务,所以该项目也已经停止维护了!

    34 引用 • 467 回帖 • 740 关注
  • 分享

    有什么新发现就分享给大家吧!

    247 引用 • 1792 回帖 • 7 关注
  • Elasticsearch

    Elasticsearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful 接口。Elasticsearch 是用 Java 开发的,并作为 Apache 许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。

    117 引用 • 99 回帖 • 224 关注
  • 安装

    你若安好,便是晴天。

    132 引用 • 1184 回帖
  • IDEA

    IDEA 全称 IntelliJ IDEA,是一款 Java 语言开发的集成环境,在业界被公认为最好的 Java 开发工具之一。IDEA 是 JetBrains 公司的产品,这家公司总部位于捷克共和国的首都布拉格,开发人员以严谨著称的东欧程序员为主。

    180 引用 • 400 回帖 • 2 关注
  • Kotlin

    Kotlin 是一种在 Java 虚拟机上运行的静态类型编程语言,由 JetBrains 设计开发并开源。Kotlin 可以编译成 Java 字节码,也可以编译成 JavaScript,方便在没有 JVM 的设备上运行。在 Google I/O 2017 中,Google 宣布 Kotlin 成为 Android 官方开发语言。

    19 引用 • 33 回帖 • 69 关注
  • Scala

    Scala 是一门多范式的编程语言,集成面向对象编程和函数式编程的各种特性。

    13 引用 • 11 回帖 • 123 关注
  • OkHttp

    OkHttp 是一款 HTTP & HTTP/2 客户端库,专为 Android 和 Java 应用打造。

    16 引用 • 6 回帖 • 60 关注
  • SEO

    发布对别人有帮助的原创内容是最好的 SEO 方式。

    35 引用 • 200 回帖 • 15 关注
  • 博客

    记录并分享人生的经历。

    273 引用 • 2388 回帖
  • InfluxDB

    InfluxDB 是一个开源的没有外部依赖的时间序列数据库。适用于记录度量,事件及实时分析。

    2 引用 • 63 关注
  • Ubuntu

    Ubuntu(友帮拓、优般图、乌班图)是一个以桌面应用为主的 Linux 操作系统,其名称来自非洲南部祖鲁语或豪萨语的“ubuntu”一词,意思是“人性”、“我的存在是因为大家的存在”,是非洲传统的一种价值观,类似华人社会的“仁爱”思想。Ubuntu 的目标在于为一般用户提供一个最新的、同时又相当稳定的主要由自由软件构建而成的操作系统。

    124 引用 • 169 回帖
  • 架构

    我们平时所说的“架构”主要是指软件架构,这是有关软件整体结构与组件的抽象描述,用于指导软件系统各个方面的设计。另外还有“业务架构”、“网络架构”、“硬件架构”等细分领域。

    142 引用 • 442 回帖
  • Solo

    Solo 是一款小而美的开源博客系统,专为程序员设计。Solo 有着非常活跃的社区,可将文章作为帖子推送到社区,来自社区的回帖将作为博客评论进行联动(具体细节请浏览 B3log 构思 - 分布式社区网络)。

    这是一种全新的网络社区体验,让热爱记录和分享的你不再感到孤单!

    1433 引用 • 10052 回帖 • 483 关注
  • Hprose

    Hprose 是一款先进的轻量级、跨语言、跨平台、无侵入式、高性能动态远程对象调用引擎库。它不仅简单易用,而且功能强大。你无需专门学习,只需看上几眼,就能用它轻松构建分布式应用系统。

    9 引用 • 17 回帖 • 615 关注
  • 黑曜石

    黑曜石是一款强大的知识库工具,支持本地 Markdown 文件编辑,支持双向链接和关系图。

    A second brain, for you, forever.

    14 引用 • 106 回帖 • 1 关注
  • FFmpeg

    FFmpeg 是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。

    23 引用 • 32 回帖 • 2 关注
  • Gzip

    gzip (GNU zip)是 GNU 自由软件的文件压缩程序。我们在 Linux 中经常会用到后缀为 .gz 的文件,它们就是 Gzip 格式的。现今已经成为互联网上使用非常普遍的一种数据压缩格式,或者说一种文件格式。

    9 引用 • 12 回帖 • 136 关注