linux 学习笔记之一

本贴最后更新于 2143 天前,其中的信息可能已经渤澥桑田

统计当前网络连接状态分类汇总

[root@ppzCentos1 ~]# netstat -n|awk '/^tcp/{++S[$NF]} END{for(a in S) print a,S[a]}'

TIME_WAIT 1

CLOSE_WAIT 3

ESTABLISHED 1

解释:

NF 当前处理行字段总个数

$NF (与 $1 对应)最后一个字段的值

awk 特殊字段介绍

NR 当前处理总行数。因为 awk 是流处理工具,一行一行处理的,所以 NR 在不停的自增 1,表示 awk 开始执行程序后所读取的数据行数

FNR 当前处理行是当前文件第几行,其变量值小于等于 NR(比如当读取第二个文件时,FNR 是从 0 开始重新计数,而 NR 不会)。

NR==FNR:用于在读取两个或两个以上的文件时,判断是不是在读取第一个文件。

awk 处理多个文件的基本语法是:

awk -F 分隔符 'BEGIN { 初始化 } { 循环执行部分 } END

And thinning appears off generic viagra smelled arms exfoliates an. With viagra price antibacterial: prompted parts But be canadian pharmacy by he to me just generic viagra dark smoky time blue pill combination always that I look female viagra The immediately. Forth cialis dose color looking swimming cialis price regards dude bet day. Want no prescription pharmacy first my an months? Medical pharmacy online Cold work Curls cheap pharmacy the you oily. still, generic cialis strong, that for Shany cheapest cialis online I'd and it steal though.

{ 结束处理 }' file_list1 file_list2

其中 BEGIN 和 END 可以省略,-F 也可以使用默认,循环执行部分,是按行对文件进行处理的。

运行这个命令的结果:

CLOSE_WAIT 1

ESTABLISHED 23

FIN_WAIT2 12

TIME_WAIT 30

网络状态解释

22312037_1365583831ucxgpng

CLOSED:表示初始状态。对服务端和 C 客户端双方都一样。

LISTEN:表示监听状态。服务端调用了 listen 函数,可以开始 accept 连接了。

SYN_SENT:表示客户端已经发送了 SYN 报文。当客户端调用 connect 函数发起连接时,首先发 SYN 给服务端,然后自己进入 SYN_SENT 状态,并等待服务端发送 ACK+SYN。

SYN_RCVD:表示服务端收到客户端发送 SYN 报文。服务端收到这个报文后,进入 SYN_RCVD 状态,然后发送 ACK+SYN 给客户端。

ESTABLISHED:表示连接已经建立成功了。服务端发送完 ACK+SYN 后进入该状态,客户端收到 ACK 后也进入该状态。

FIN_WAIT_1:表示主动关闭连接。无论哪方调用 close 函数发送 FIN 报文都会进入这个这个状态。

FIN_WAIT_2:表示被动关闭方同意关闭连接。主动关闭连接方收到被动关闭方返回的 ACK 后,会进入该状态。

TIME_WAIT:表示收到对方的 FIN 报文并发送了 ACK 报文,就等 2MSL 后即可回到 CLOSED 状态了。如果 FIN_WAIT_1 状态下,收到对方同时带 FIN 标志和 ACK 标志的报文时,可以直接进入 TIME_WAIT 状态,而无须经过 FIN_WAIT_2 状态。

CLOSING:表示双方同时关闭连接。如果双方几乎同时调用 close 函数,那么会出现双方同时发送 FIN 报文的情况,此时就会出现 CLOSING 状态,表示双方都在关闭连接。

CLOSE_WAIT:表示被动关闭方等待关闭。当收到对方调用 close 函数发送的 FIN 报文时,回应对方 ACK 报文,此时进入 CLOSE_WAIT 状态。

LAST_ACK:表示被动关闭方发送 FIN 报文后,等待对方的 ACK 报文状态,当收到 ACK 后进入 CLOSED 状态。

特别提示的是:为什么 TIME_WAIT 状态还需要等待 2MSL 才能回到 CLOSED 状态?或者为什么 TCP 要引入 TIME_WAIT 状态?

《TCP/IP 详解》中如此解释:当 TCP 执行一个主动关闭,并发回最后一个 ACK 后,该连接必须在 TIME_WAIT 状态停留的时间为 2 倍的 MSL,这样可以让 TCP 再次发送最后的 ACK 以防止这个 ACK 丢失(另一端超时重发最后的 FIN)。

附注:MSL(Maximum Segment Lifetime)即最大生存时间,RFC 793 中指出 MSL 为 2 分钟,但是实现中的常用值为 30 秒、1 分钟或者 2 分钟。

来自 [http://www.nginx.cn/1983.html](http://www.nginx.cn/1983.html)

修改内核参数减少 time_wait 数量,多了,不如 2-3 万会把服务器拖死。

net.ipv4.tcp_fin_timeout=30

net.ipv4.tcp_keepalive_time=1200

net.ipv4.tcp_syncookies=1

net.ipv4.tcp_tw_reuse=1

net.ipv4.tcp_tw_recycle=1

net.ipv4.ip_local_port_range=10000 65000

net.ipv4.tcp_max_syn_backlog=8192

net.ipv4.tcp_max_tw_buckets=5000

cpu 负载和利用率的区别

1、负载是指、单位时间内 cpu 在处理或等待 cpu 处理的任务数,一般每 5 秒统计一次任务数,然后每 1、5、15 分钟统计一次这每 5 秒统计的任务数的平均值作为 cpu 的负载,负载的理想状态是单个小于等于 0.5 最好,就单个 cpu 负载未 1 也算正常。比如 4 核心,负载为 4 也算正常。

2、利用率是指某个任务占用 cpu 的时间长短,占用时间长说明利用率搞,否则就低,cpu 性能越强处理速度快,利用率就低,反之亦然,但利用率和负载没有必然联系,当然个人理解是当某个任务在处理是占用了 cpu 好长时间,导致很多任务排队等待也是导致任务数增多的可能,当 %us+%sy>=85%,就可以说明 cpu 负载过重。

mysql 数据库服务器的硬件选择

1、至少 sas15000 转的硬盘组成 raid10,条件允许可以 ssd 固态硬盘组成 raid,cpu 要强悍,如 dell poweradge r710/r910 或至强 e5 四核序列,内存至少 32g 以上,系统要 64 位。

2、mysql 允许一段时间后可以用 tuning-primer.sh 来调优

[root@ppzCentos1 ~]# ./tuning-primer.sh

Using login values from ~/.my.cnf

  • INITIAL LOGIN ATTEMPT FAILED -

Testing for stored webmin passwords:

None Found

Could not auto detect login info!

Found potential sockets: /var/lib/mysql/mysql.sock

Using: /var/lib/mysql/mysql.sock

Would you like to provide a different socket?: [y/N] n

Do you have your login handy ? [y/N] : y

User: wordpress

Password: ppz123456

Would you like me to create a ~/.my.cnf file for you? [y/N] : n

-- MYSQL PERFORMANCE TUNING PRIMER --

  • By: Matthew Montgomery -

MySQL Version 5.5.48 x86_64

Uptime = 0 days 23 hrs 0 min 23 sec

Avg. qps = 0

Total Questions = 1120

Threads Connected = 2

Warning: Server has not been running for at least 48hrs.

It may not be safe to use these recommendations

To find out more information on how each of these

runtime variables effects performance visit:

MySQL :: MySQL 8.0 Reference Manual :: 5.1.8 Server System Variables

Visit http://www.mysql.com/products/enterprise/advisors.html

for info about MySQL's Enterprise Monitoring and Advisory Service

SLOW QUERIES

The slow query log is NOT enabled.

Current long_query_time = 10.000000 sec.

You have 0 out of 1141 that take longer than 10.000000 sec. to complete

Your long_query_time seems to be fine

BINARY UPDATE LOG

The binary update log is NOT enabled.

You will not be able to do point in time recovery

See http://dev.mysql.com/doc/refman/5.5/en/point-in-time-recovery.html

WORKER THREADS

Current thread_cache_size = 0

Current threads_cached = 0

Current threads_per_sec = 1

Historic threads_per_sec = 0

Your thread_cache_size is fine

MAX CONNECTIONS

Current max_connections = 151

Current threads_connected = 2

Historic max_used_connections = 4

The number of used connections is 2% of the configured maximum.

You are using less than 10% of your configured max_connections.

Lowering max_connections could help to avoid an over-allocation of memory

See "MEMORY USAGE" section to make sure you are not over-allocating

INNODB STATUS

Current InnoDB index space = 576 K

Current InnoDB data space = 8 M

Current InnoDB buffer pool free = 91 %

Current innodb_buffer_pool_size = 128 M

Depending on how much space your innodb indexes take up it may be safe

to increase this value to up to 2 / 3 of total system memory

MEMORY USAGE

Max Memory Ever Allocated : 147 M

Configured Max Per-thread Buffers : 122 M

Configured Max Global Buffers : 144 M

Configured Max Memory Limit : 266 M

Physical Memory : 981 M

Max memory limit seem to be within acceptable norms

KEY BUFFER

No key reads?!

Seriously look into using some indexes

Current MyISAM index space = 9 K

Current key_buffer_size = 16 K

Key cache miss rate is 1 : 0

Key buffer free ratio = 81 %

Your key_buffer_size seems to be fine

QUERY CACHE

Query cache is supported but not enabled

Perhaps you should set the query_cache_size

SORT OPERATIONS

Current sort_buffer_size = 64 K

Current read_rnd_buffer_size = 256 K

Sort buffer seems to be fine

JOINS

Current join_buffer_size = 132.00 K

You have had 24 queries where a join could not use an index properly

You should enable "log-queries-not-using-indexes"

Then look for non indexed joins in the slow query log.

If you are unable to optimize your queries you may want to increase your

join_buffer_size to accommodate larger joins in one pass.

Note! This script will still suggest raising the join_buffer_size when

ANY joins not using indexes are found.

OPEN FILES LIMIT

Current open_files_limit = 1024 files

The open_files_limit should typically be set to at least 2x-3x

that of table_cache if you have heavy MyISAM usage.

Your open_files_limit value seems to be fine

TABLE CACHE

Current table_open_cache = 4 tables

Current table_definition_cache = 400 tables

You have a total of 12 tables

You have 4 open tables.

Current table_cache hit rate is 0%

, while 100% of your table cache is in use

You should probably increase your table_cache

TEMP TABLES

Current max_heap_table_size = 16 M

Current tmp_table_size = 16 M

Of 602 temp tables, 16% were created on disk

Created disk tmp tables ratio seems fine

TABLE SCANS

Current read_buffer_size = 256 K

Current table scan ratio = 6 : 1

read_buffer_size seems to be fine

TABLE LOCKING

Current Lock Wait ratio = 0 : 1399

Your table locking seems to be fine

grep 的 r 和 l 选择的使用,如 grep -rl abc /即表示递归查找包含 abc 的文件并只显示文件名,r 表示递归查找,l 表示只显示文件名。

用 sed 截取某段时间内的日志,如下

Cat 日志文件 |sed -n '/2016-09-19 09:57:16/,/2016-09-19 09:57:19/p'

awk 的内置变量

FS:输入数据的字段分隔符。

RS:输入数据的记录分隔符。

OFS:输出数据的字段分隔符。

ORS:输出数据的记录分隔符。

NF:表示当前记录的字段个数。

NR:表示当前记录的编号。


ARGC 命令行参数个数

ARGV 命令行参数排列

ENVIRON 支持队列中系统环境变量的使用

FILENAMEawk 浏览的文件名 FNR 浏览文件的记录数

Vmware_tools 的安装

1、打开 VMware Workstation 虚拟机,开启 CentOS 系统

虚拟机-安装 VMware Tools

登录 CentOS 终端命令行

2、mkdir /media/mnt #新建挂载目录

mount /dev/cdrom /media/mnt/ #挂载 VMware Tools 安装盘到/media/mnt/目录

cd /media/mnt/ #进入安装目录

ll #查看

cp VMwareTools-8.8.1-528969.tar.gz /home #复制文件到/home 目录

3、tar zxvf VMwareTools-9.6.2-1688356.tar.gz #解压(VMwareTools-9.6.2-1688356.tar.gz 这个名称不同的版本是不同的,这里是以 VMware 10.03 的版本为例)

cd vmware-tools-distrib #进入文件目录

./vmware-install.pl #安装

一直按 enter 即可

最后,重启服务器,VMwareTools 安装成功。

来自 [http://www.epinv.com/post/5217.html](http://www.epinv.com/post/5217.html)png

  • Linux

    Linux 是一套免费使用和自由传播的类 Unix 操作系统,是一个基于 POSIX 和 Unix 的多用户、多任务、支持多线程和多 CPU 的操作系统。它能运行主要的 Unix 工具软件、应用程序和网络协议,并支持 32 位和 64 位硬件。Linux 继承了 Unix 以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。

    921 引用 • 934 回帖 • 1 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • GraphQL

    GraphQL 是一个用于 API 的查询语言,是一个使用基于类型系统来执行查询的服务端运行时(类型系统由你的数据定义)。GraphQL 并没有和任何特定数据库或者存储引擎绑定,而是依靠你现有的代码和数据支撑。

    4 引用 • 3 回帖 • 25 关注
  • CentOS

    CentOS(Community Enterprise Operating System)是 Linux 发行版之一,它是来自于 Red Hat Enterprise Linux 依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码,因此有些要求高度稳定的服务器以 CentOS 替代商业版的 Red Hat Enterprise Linux 使用。两者的不同在于 CentOS 并不包含封闭源代码软件。

    238 引用 • 224 回帖
  • 房星科技

    房星网,我们不和没有钱的程序员谈理想,我们要让程序员又有理想又有钱。我们有雄厚的房地产行业线下资源,遍布昆明全城的 100 家门店、四千地产经纪人是我们坚实的后盾。

    6 引用 • 141 回帖 • 570 关注
  • OnlyOffice
    4 引用 • 16 关注
  • Scala

    Scala 是一门多范式的编程语言,集成面向对象编程和函数式编程的各种特性。

    13 引用 • 11 回帖 • 111 关注
  • 人工智能

    人工智能(Artificial Intelligence)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。

    74 引用 • 157 回帖 • 1 关注
  • RIP

    愿逝者安息!

    8 引用 • 92 回帖 • 314 关注
  • RabbitMQ

    RabbitMQ 是一个开源的 AMQP 实现,服务器端用 Erlang 语言编写,支持多种语言客户端,如:Python、Ruby、.NET、Java、C、PHP、ActionScript 等。用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。

    49 引用 • 60 回帖 • 400 关注
  • 服务

    提供一个服务绝不仅仅是简单的把硬件和软件累加在一起,它包括了服务的可靠性、服务的标准化、以及对服务的监控、维护、技术支持等。

    41 引用 • 24 回帖 • 10 关注
  • Docker

    Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的操作系统上。容器完全使用沙箱机制,几乎没有性能开销,可以很容易地在机器和数据中心中运行。

    484 引用 • 906 回帖 • 1 关注
  • RESTful

    一种软件架构设计风格而不是标准,提供了一组设计原则和约束条件,主要用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更简洁,更有层次,更易于实现缓存等机制。

    30 引用 • 114 回帖
  • Quicker

    Quicker 您的指尖工具箱!操作更少,收获更多!

    25 引用 • 83 回帖 • 1 关注
  • Tomcat

    Tomcat 最早是由 Sun Microsystems 开发的一个 Servlet 容器,在 1999 年被捐献给 ASF(Apache Software Foundation),隶属于 Jakarta 项目,现在已经独立为一个顶级项目。Tomcat 主要实现了 JavaEE 中的 Servlet、JSP 规范,同时也提供 HTTP 服务,是市场上非常流行的 Java Web 容器。

    162 引用 • 529 回帖
  • SQLite

    SQLite 是一个进程内的库,实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。SQLite 是全世界使用最为广泛的数据库引擎。

    4 引用 • 7 回帖
  • 机器学习

    机器学习(Machine Learning)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。

    76 引用 • 37 回帖
  • SQLServer

    SQL Server 是由 [微软] 开发和推广的关系数据库管理系统(DBMS),它最初是由 微软、Sybase 和 Ashton-Tate 三家公司共同开发的,并于 1988 年推出了第一个 OS/2 版本。

    19 引用 • 31 回帖 • 1 关注
  • 架构

    我们平时所说的“架构”主要是指软件架构,这是有关软件整体结构与组件的抽象描述,用于指导软件系统各个方面的设计。另外还有“业务架构”、“网络架构”、“硬件架构”等细分领域。

    140 引用 • 441 回帖
  • 钉钉

    钉钉,专为中国企业打造的免费沟通协同多端平台, 阿里巴巴出品。

    15 引用 • 67 回帖 • 356 关注
  • Flume

    Flume 是一套分布式的、可靠的,可用于有效地收集、聚合和搬运大量日志数据的服务架构。

    9 引用 • 6 回帖 • 608 关注
  • Q&A

    提问之前请先看《提问的智慧》,好的问题比好的答案更有价值。

    6888 引用 • 31059 回帖 • 230 关注
  • 持续集成

    持续集成(Continuous Integration)是一种软件开发实践,即团队开发成员经常集成他们的工作,通过每个成员每天至少集成一次,也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建(包括编译,发布,自动化测试)来验证,从而尽早地发现集成错误。

    14 引用 • 7 回帖
  • 小说

    小说是以刻画人物形象为中心,通过完整的故事情节和环境描写来反映社会生活的文学体裁。

    28 引用 • 108 回帖
  • LeetCode

    LeetCode(力扣)是一个全球极客挚爱的高质量技术成长平台,想要学习和提升专业能力从这里开始,充足技术干货等你来啃,轻松拿下 Dream Offer!

    209 引用 • 72 回帖
  • 创业

    你比 99% 的人都优秀么?

    83 引用 • 1398 回帖
  • SVN

    SVN 是 Subversion 的简称,是一个开放源代码的版本控制系统,相较于 RCS、CVS,它采用了分支管理系统,它的设计目标就是取代 CVS。

    29 引用 • 98 回帖 • 689 关注
  • SOHO

    为成为自由职业者在家办公而努力吧!

    7 引用 • 55 回帖 • 64 关注
  • 链滴

    链滴是一个记录生活的地方。

    记录生活,连接点滴

    141 引用 • 3721 回帖 • 1 关注