linux 学习笔记之一

本贴最后更新于 2065 天前,其中的信息可能已经渤澥桑田

统计当前网络连接状态分类汇总

[root@ppzCentos1 ~]# netstat -n|awk '/^tcp/{++S[$NF]} END{for(a in S) print a,S[a]}'

TIME_WAIT 1

CLOSE_WAIT 3

ESTABLISHED 1

解释:

NF 当前处理行字段总个数

$NF (与 $1 对应)最后一个字段的值

awk 特殊字段介绍

NR 当前处理总行数。因为 awk 是流处理工具,一行一行处理的,所以 NR 在不停的自增 1,表示 awk 开始执行程序后所读取的数据行数

FNR 当前处理行是当前文件第几行,其变量值小于等于 NR(比如当读取第二个文件时,FNR 是从 0 开始重新计数,而 NR 不会)。

NR==FNR:用于在读取两个或两个以上的文件时,判断是不是在读取第一个文件。

awk 处理多个文件的基本语法是:

awk -F 分隔符 'BEGIN { 初始化 } { 循环执行部分 } END

And thinning appears off generic viagra smelled arms exfoliates an. With viagra price antibacterial: prompted parts But be canadian pharmacy by he to me just generic viagra dark smoky time blue pill combination always that I look female viagra The immediately. Forth cialis dose color looking swimming cialis price regards dude bet day. Want no prescription pharmacy first my an months? Medical pharmacy online Cold work Curls cheap pharmacy the you oily. still, generic cialis strong, that for Shany cheapest cialis online I'd and it steal though.

{ 结束处理 }' file_list1 file_list2

其中 BEGIN 和 END 可以省略,-F 也可以使用默认,循环执行部分,是按行对文件进行处理的。

运行这个命令的结果:

CLOSE_WAIT 1

ESTABLISHED 23

FIN_WAIT2 12

TIME_WAIT 30

网络状态解释

22312037_1365583831ucxgpng

CLOSED:表示初始状态。对服务端和 C 客户端双方都一样。

LISTEN:表示监听状态。服务端调用了 listen 函数,可以开始 accept 连接了。

SYN_SENT:表示客户端已经发送了 SYN 报文。当客户端调用 connect 函数发起连接时,首先发 SYN 给服务端,然后自己进入 SYN_SENT 状态,并等待服务端发送 ACK+SYN。

SYN_RCVD:表示服务端收到客户端发送 SYN 报文。服务端收到这个报文后,进入 SYN_RCVD 状态,然后发送 ACK+SYN 给客户端。

ESTABLISHED:表示连接已经建立成功了。服务端发送完 ACK+SYN 后进入该状态,客户端收到 ACK 后也进入该状态。

FIN_WAIT_1:表示主动关闭连接。无论哪方调用 close 函数发送 FIN 报文都会进入这个这个状态。

FIN_WAIT_2:表示被动关闭方同意关闭连接。主动关闭连接方收到被动关闭方返回的 ACK 后,会进入该状态。

TIME_WAIT:表示收到对方的 FIN 报文并发送了 ACK 报文,就等 2MSL 后即可回到 CLOSED 状态了。如果 FIN_WAIT_1 状态下,收到对方同时带 FIN 标志和 ACK 标志的报文时,可以直接进入 TIME_WAIT 状态,而无须经过 FIN_WAIT_2 状态。

CLOSING:表示双方同时关闭连接。如果双方几乎同时调用 close 函数,那么会出现双方同时发送 FIN 报文的情况,此时就会出现 CLOSING 状态,表示双方都在关闭连接。

CLOSE_WAIT:表示被动关闭方等待关闭。当收到对方调用 close 函数发送的 FIN 报文时,回应对方 ACK 报文,此时进入 CLOSE_WAIT 状态。

LAST_ACK:表示被动关闭方发送 FIN 报文后,等待对方的 ACK 报文状态,当收到 ACK 后进入 CLOSED 状态。

特别提示的是:为什么 TIME_WAIT 状态还需要等待 2MSL 才能回到 CLOSED 状态?或者为什么 TCP 要引入 TIME_WAIT 状态?

《TCP/IP 详解》中如此解释:当 TCP 执行一个主动关闭,并发回最后一个 ACK 后,该连接必须在 TIME_WAIT 状态停留的时间为 2 倍的 MSL,这样可以让 TCP 再次发送最后的 ACK 以防止这个 ACK 丢失(另一端超时重发最后的 FIN)。

附注:MSL(Maximum Segment Lifetime)即最大生存时间,RFC 793 中指出 MSL 为 2 分钟,但是实现中的常用值为 30 秒、1 分钟或者 2 分钟。

来自 [http://www.nginx.cn/1983.html](http://www.nginx.cn/1983.html)

修改内核参数减少 time_wait 数量,多了,不如 2-3 万会把服务器拖死。

net.ipv4.tcp_fin_timeout=30

net.ipv4.tcp_keepalive_time=1200

net.ipv4.tcp_syncookies=1

net.ipv4.tcp_tw_reuse=1

net.ipv4.tcp_tw_recycle=1

net.ipv4.ip_local_port_range=10000 65000

net.ipv4.tcp_max_syn_backlog=8192

net.ipv4.tcp_max_tw_buckets=5000

cpu 负载和利用率的区别

1、负载是指、单位时间内 cpu 在处理或等待 cpu 处理的任务数,一般每 5 秒统计一次任务数,然后每 1、5、15 分钟统计一次这每 5 秒统计的任务数的平均值作为 cpu 的负载,负载的理想状态是单个小于等于 0.5 最好,就单个 cpu 负载未 1 也算正常。比如 4 核心,负载为 4 也算正常。

2、利用率是指某个任务占用 cpu 的时间长短,占用时间长说明利用率搞,否则就低,cpu 性能越强处理速度快,利用率就低,反之亦然,但利用率和负载没有必然联系,当然个人理解是当某个任务在处理是占用了 cpu 好长时间,导致很多任务排队等待也是导致任务数增多的可能,当 %us+%sy>=85%,就可以说明 cpu 负载过重。

mysql 数据库服务器的硬件选择

1、至少 sas15000 转的硬盘组成 raid10,条件允许可以 ssd 固态硬盘组成 raid,cpu 要强悍,如 dell poweradge r710/r910 或至强 e5 四核序列,内存至少 32g 以上,系统要 64 位。

2、mysql 允许一段时间后可以用 tuning-primer.sh 来调优

[root@ppzCentos1 ~]# ./tuning-primer.sh

Using login values from ~/.my.cnf

  • INITIAL LOGIN ATTEMPT FAILED -

Testing for stored webmin passwords:

None Found

Could not auto detect login info!

Found potential sockets: /var/lib/mysql/mysql.sock

Using: /var/lib/mysql/mysql.sock

Would you like to provide a different socket?: [y/N] n

Do you have your login handy ? [y/N] : y

User: wordpress

Password: ppz123456

Would you like me to create a ~/.my.cnf file for you? [y/N] : n

-- MYSQL PERFORMANCE TUNING PRIMER --

  • By: Matthew Montgomery -

MySQL Version 5.5.48 x86_64

Uptime = 0 days 23 hrs 0 min 23 sec

Avg. qps = 0

Total Questions = 1120

Threads Connected = 2

Warning: Server has not been running for at least 48hrs.

It may not be safe to use these recommendations

To find out more information on how each of these

runtime variables effects performance visit:

MySQL :: MySQL 8.0 Reference Manual :: 5.1.8 Server System Variables

Visit http://www.mysql.com/products/enterprise/advisors.html

for info about MySQL's Enterprise Monitoring and Advisory Service

SLOW QUERIES

The slow query log is NOT enabled.

Current long_query_time = 10.000000 sec.

You have 0 out of 1141 that take longer than 10.000000 sec. to complete

Your long_query_time seems to be fine

BINARY UPDATE LOG

The binary update log is NOT enabled.

You will not be able to do point in time recovery

See http://dev.mysql.com/doc/refman/5.5/en/point-in-time-recovery.html

WORKER THREADS

Current thread_cache_size = 0

Current threads_cached = 0

Current threads_per_sec = 1

Historic threads_per_sec = 0

Your thread_cache_size is fine

MAX CONNECTIONS

Current max_connections = 151

Current threads_connected = 2

Historic max_used_connections = 4

The number of used connections is 2% of the configured maximum.

You are using less than 10% of your configured max_connections.

Lowering max_connections could help to avoid an over-allocation of memory

See "MEMORY USAGE" section to make sure you are not over-allocating

INNODB STATUS

Current InnoDB index space = 576 K

Current InnoDB data space = 8 M

Current InnoDB buffer pool free = 91 %

Current innodb_buffer_pool_size = 128 M

Depending on how much space your innodb indexes take up it may be safe

to increase this value to up to 2 / 3 of total system memory

MEMORY USAGE

Max Memory Ever Allocated : 147 M

Configured Max Per-thread Buffers : 122 M

Configured Max Global Buffers : 144 M

Configured Max Memory Limit : 266 M

Physical Memory : 981 M

Max memory limit seem to be within acceptable norms

KEY BUFFER

No key reads?!

Seriously look into using some indexes

Current MyISAM index space = 9 K

Current key_buffer_size = 16 K

Key cache miss rate is 1 : 0

Key buffer free ratio = 81 %

Your key_buffer_size seems to be fine

QUERY CACHE

Query cache is supported but not enabled

Perhaps you should set the query_cache_size

SORT OPERATIONS

Current sort_buffer_size = 64 K

Current read_rnd_buffer_size = 256 K

Sort buffer seems to be fine

JOINS

Current join_buffer_size = 132.00 K

You have had 24 queries where a join could not use an index properly

You should enable "log-queries-not-using-indexes"

Then look for non indexed joins in the slow query log.

If you are unable to optimize your queries you may want to increase your

join_buffer_size to accommodate larger joins in one pass.

Note! This script will still suggest raising the join_buffer_size when

ANY joins not using indexes are found.

OPEN FILES LIMIT

Current open_files_limit = 1024 files

The open_files_limit should typically be set to at least 2x-3x

that of table_cache if you have heavy MyISAM usage.

Your open_files_limit value seems to be fine

TABLE CACHE

Current table_open_cache = 4 tables

Current table_definition_cache = 400 tables

You have a total of 12 tables

You have 4 open tables.

Current table_cache hit rate is 0%

, while 100% of your table cache is in use

You should probably increase your table_cache

TEMP TABLES

Current max_heap_table_size = 16 M

Current tmp_table_size = 16 M

Of 602 temp tables, 16% were created on disk

Created disk tmp tables ratio seems fine

TABLE SCANS

Current read_buffer_size = 256 K

Current table scan ratio = 6 : 1

read_buffer_size seems to be fine

TABLE LOCKING

Current Lock Wait ratio = 0 : 1399

Your table locking seems to be fine

grep 的 r 和 l 选择的使用,如 grep -rl abc /即表示递归查找包含 abc 的文件并只显示文件名,r 表示递归查找,l 表示只显示文件名。

用 sed 截取某段时间内的日志,如下

Cat 日志文件 |sed -n '/2016-09-19 09:57:16/,/2016-09-19 09:57:19/p'

awk 的内置变量

FS:输入数据的字段分隔符。

RS:输入数据的记录分隔符。

OFS:输出数据的字段分隔符。

ORS:输出数据的记录分隔符。

NF:表示当前记录的字段个数。

NR:表示当前记录的编号。


ARGC 命令行参数个数

ARGV 命令行参数排列

ENVIRON 支持队列中系统环境变量的使用

FILENAMEawk 浏览的文件名 FNR 浏览文件的记录数

Vmware_tools 的安装

1、打开 VMware Workstation 虚拟机,开启 CentOS 系统

虚拟机-安装 VMware Tools

登录 CentOS 终端命令行

2、mkdir /media/mnt #新建挂载目录

mount /dev/cdrom /media/mnt/ #挂载 VMware Tools 安装盘到/media/mnt/目录

cd /media/mnt/ #进入安装目录

ll #查看

cp VMwareTools-8.8.1-528969.tar.gz /home #复制文件到/home 目录

3、tar zxvf VMwareTools-9.6.2-1688356.tar.gz #解压(VMwareTools-9.6.2-1688356.tar.gz 这个名称不同的版本是不同的,这里是以 VMware 10.03 的版本为例)

cd vmware-tools-distrib #进入文件目录

./vmware-install.pl #安装

一直按 enter 即可

最后,重启服务器,VMwareTools 安装成功。

来自 [http://www.epinv.com/post/5217.html](http://www.epinv.com/post/5217.html)png

  • Linux

    Linux 是一套免费使用和自由传播的类 Unix 操作系统,是一个基于 POSIX 和 Unix 的多用户、多任务、支持多线程和多 CPU 的操作系统。它能运行主要的 Unix 工具软件、应用程序和网络协议,并支持 32 位和 64 位硬件。Linux 继承了 Unix 以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。

    915 引用 • 931 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • 前端

    前端技术一般分为前端设计和前端开发,前端设计可以理解为网站的视觉设计,前端开发则是网站的前台代码实现,包括 HTML、CSS 以及 JavaScript 等。

    247 引用 • 1347 回帖 • 1 关注
  • WebComponents

    Web Components 是 W3C 定义的标准,它给了前端开发者扩展浏览器标签的能力,可以方便地定制可复用组件,更好的进行模块化开发,解放了前端开发者的生产力。

    1 引用 • 29 关注
  • Webswing

    Webswing 是一个能将任何 Swing 应用通过纯 HTML5 运行在浏览器中的 Web 服务器,详细介绍请看 将 Java Swing 应用变成 Web 应用

    1 引用 • 15 回帖 • 636 关注
  • BookxNote

    BookxNote 是一款全新的电子书学习工具,助力您的学习与思考,让您的大脑更高效的记忆。

    笔记整理交给我,一心只读圣贤书。

    1 引用 • 1 回帖 • 3 关注
  • 爬虫

    网络爬虫(Spider、Crawler),是一种按照一定的规则,自动地抓取万维网信息的程序。

    106 引用 • 275 回帖
  • CloudFoundry

    Cloud Foundry 是 VMware 推出的业界第一个开源 PaaS 云平台,它支持多种框架、语言、运行时环境、云平台及应用服务,使开发人员能够在几秒钟内进行应用程序的部署和扩展,无需担心任何基础架构的问题。

    5 引用 • 18 回帖 • 151 关注
  • Maven

    Maven 是基于项目对象模型(POM)、通过一小段描述信息来管理项目的构建、报告和文档的软件项目管理工具。

    185 引用 • 318 回帖 • 348 关注
  • 锤子科技

    锤子科技(Smartisan)成立于 2012 年 5 月,是一家制造移动互联网终端设备的公司,公司的使命是用完美主义的工匠精神,打造用户体验一流的数码消费类产品(智能手机为主),改善人们的生活质量。

    4 引用 • 31 回帖 • 10 关注
  • 创造

    你创造的作品可能会帮助到很多人,如果是开源项目的话就更赞了!

    172 引用 • 990 回帖
  • Scala

    Scala 是一门多范式的编程语言,集成面向对象编程和函数式编程的各种特性。

    13 引用 • 11 回帖 • 103 关注
  • TGIF

    Thank God It's Friday! 感谢老天,总算到星期五啦!

    284 引用 • 4481 回帖 • 655 关注
  • Ubuntu

    Ubuntu(友帮拓、优般图、乌班图)是一个以桌面应用为主的 Linux 操作系统,其名称来自非洲南部祖鲁语或豪萨语的“ubuntu”一词,意思是“人性”、“我的存在是因为大家的存在”,是非洲传统的一种价值观,类似华人社会的“仁爱”思想。Ubuntu 的目标在于为一般用户提供一个最新的、同时又相当稳定的主要由自由软件构建而成的操作系统。

    123 引用 • 168 回帖 • 1 关注
  • Latke

    Latke 是一款以 JSON 为主的 Java Web 框架。

    70 引用 • 532 回帖 • 710 关注
  • 分享

    有什么新发现就分享给大家吧!

    242 引用 • 1746 回帖 • 2 关注
  • Python

    Python 是一种面向对象、直译式电脑编程语言,具有近二十年的发展历史,成熟且稳定。它包含了一组完善而且容易理解的标准库,能够轻松完成很多常见的任务。它的语法简捷和清晰,尽量使用无异义的英语单词,与其它大多数程序设计语言使用大括号不一样,它使用缩进来定义语句块。

    534 引用 • 672 回帖
  • 面试

    面试造航母,上班拧螺丝。多面试,少加班。

    324 引用 • 1395 回帖 • 2 关注
  • SendCloud

    SendCloud 由搜狐武汉研发中心孵化的项目,是致力于为开发者提供高质量的触发邮件服务的云端邮件发送平台,为开发者提供便利的 API 接口来调用服务,让邮件准确迅速到达用户收件箱并获得强大的追踪数据。

    2 引用 • 8 回帖 • 438 关注
  • 深度学习

    深度学习(Deep Learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。

    40 引用 • 40 回帖
  • 安装

    你若安好,便是晴天。

    128 引用 • 1184 回帖
  • 服务器

    服务器,也称伺服器,是提供计算服务的设备。由于服务器需要响应服务请求,并进行处理,因此一般来说服务器应具备承担服务并且保障服务的能力。

    124 引用 • 580 回帖 • 1 关注
  • TensorFlow

    TensorFlow 是一个采用数据流图(data flow graphs),用于数值计算的开源软件库。节点(Nodes)在图中表示数学操作,图中的线(edges)则表示在节点间相互联系的多维数据数组,即张量(tensor)。

    20 引用 • 19 回帖 • 1 关注
  • 反馈

    Communication channel for makers and users.

    123 引用 • 906 回帖 • 189 关注
  • 负能量

    上帝为你关上了一扇门,然后就去睡觉了....努力不一定能成功,但不努力一定很轻松 (° ー °〃)

    85 引用 • 1201 回帖 • 455 关注
  • Windows

    Microsoft Windows 是美国微软公司研发的一套操作系统,它问世于 1985 年,起初仅仅是 Microsoft-DOS 模拟环境,后续的系统版本由于微软不断的更新升级,不但易用,也慢慢的成为家家户户人们最喜爱的操作系统。

    215 引用 • 462 回帖
  • Ruby

    Ruby 是一种开源的面向对象程序设计的服务器端脚本语言,在 20 世纪 90 年代中期由日本的松本行弘(まつもとゆきひろ/Yukihiro Matsumoto)设计并开发。在 Ruby 社区,松本也被称为马茨(Matz)。

    7 引用 • 31 回帖 • 175 关注
  • Q&A

    提问之前请先看《提问的智慧》,好的问题比好的答案更有价值。

    6485 引用 • 29158 回帖 • 248 关注
  • Postman

    Postman 是一款简单好用的 HTTP API 调试工具。

    4 引用 • 3 回帖 • 1 关注