登录 注册

linux shell 之 字符处理命令一

本贴最后更新于 3686 天前，其中的信息可能已经时移世易

1，cut 截取命令

cut ：主要用于对行数据的分解

常用语法： 

用法：cut [选项]... [文件]...
从每个文件中输出指定部分到标准输出。
长选项必须使用的参数对于短选项时也是必需使用的。
  -b, --bytes=列表		只选中指定的这些字节
  -c, --characters=列表		只选中指定的这些字符#如：cat /etc/p -d, --delimiter=分界符	使用指定分界符代替制表符作为区域分界
  -f, --fields=列表		只选中指定的这些域；并打印所有不包含分界符的
				行，除非-s 选项被指定
  -n				(忽略)
      --complement		补全选中的字节、字符或域
  -s, --only-delimited		不打印没有包含分界符的行
      --output-delimiter=字符串	使用指定的字符串作为输出分界符，默认采用输入
				的分界符
      --help		显示此帮助信息并退出
      --version		显示版本信息并退出

仅使用 f -b, -c 或-f 中的一个。每一个列表都是专门为一个类别作出的，或者您可以用逗号隔

开要同时显示的不同类别。您的输入顺序将作为读取顺序，每个仅能输入一次。

每种参数格式表示范围如下：

N	从第 1 个开始数的第 N 个字节、字符或域

N-	从第 N 个开始到所在行结束的所有字符、字节或域

N-M	从第 N 个开始到第 M 个之间(包括第 M 个)的所有字符、字节或域

-M	从第 1 个开始到第 M 个之间(包括第 M 个)的所有字符、字节或域


当没有文件参数，或者文件不存在时，从标准输入读取

例子：

1，截取第一列的内容如 


root@c2y2:/# cat passwd.txt
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/bin/sh
bin:x:2:2:bin:/bin:/bin/sh
sys:x:3:3:sys:/dev:/bin/sh
sync:x:4:65534:sync:/bin:/bin/sync
games:x:5:60:games:/usr/games:/bin/sh
man:x:6:12:man:/var/cache/man:/bin/sh
lp:x:7:7:lp:/var/spool/lpd:/bin/sh
mail:x:8:8:mail:/var/mail:/bin/sh
news:x:9:9:news:/var/spool/news:/bin/sh
uucp:x:10:10:uucp:/var/spool/uucp:/bin/sh
list:x:38:38:Mailing List Manager:/var/list:/bin/sh
irc:x:39:39:ircd:/var/run/ircd:/bin/sh
gnats:x:41:41:Gnats Bug-Reporting System (admin):/var/lib/gnats:/bin/sh
nobody:x:65534:65534:nobody:/nonexistent:/bin/sh
root@c2y2:/# cat passwd.txt|cut -d ":" -f 1
root
daemon
bin
sys
sync
games
man
lp
mail
news
uucp
list
irc
gnats
nobody


2,sort 排序命令

sort:常用于对文本按行进行排序

常用语法： 

用法：sort [选项]... [文件]...
　或：sort [选项]... --files0-from=F
串联排序所有指定文件并将结果写到标准输出。

长选项必须使用的参数对于短选项时也是必需使用的。

排序选项：


-b, --ignore-leading-blanks	忽略前导的空白区域

-d, --dictionary-order	只考虑空白区域和字母字符

-f, --ignore-case		忽略字母大小写

-g, --general-numeric-sort	按照常规数值排序

-i, --ignore-nonprinting	只排序可打印字符

-M, --month-sort		比较 (未知) < "一月" < ... < "十二月"

在 LC_ALL=C 时为(unknown) < JAN' &lt; ... &lt;  DEC'

-h, --human-numeric-sort    使用易读性数字(例如： 2K 1G)

-n, --numeric-sort		根据字符串数值比较

-R, --random-sort		根据随机 hash 排序

--random-source=文件	从指定文件中获得随机字节

-r, --reverse			逆序输出排序结果

--sort=WORD		按照 WORD 指定的格式排序：

一般数字-g，高可读性-h，月份-M，数字-n，

随机-R，版本-V

-V, --version-sort		在文本内进行自然版本排序


其他选项：


  --batch-size=NMERGE	一次最多合并NMERGE 个输入；如果输入更多
				则使用临时文件



-c, --check, --check=diagnose-first	检查输入是否已排序，若已有序则不进行操作

-C, --check=quiet, --check=silent	类似-c，但不报告第一个无序行

--compress-program=程序	使用指定程序压缩临时文件；使用该程序

的-d 参数解压缩文件

--debug			为用于排序的行添加注释，并将有可能有问题的

用法输出到标准错误输出

--files0-from=文件	从指定文件读取以 NUL 终止的名称，如果该文件被

指定为"-"则从标准输入读文件名

-k, --key=位置 1[,位置 2]	在位置 1 开始一个 key，在位置 2 终止(默认为行尾)

参看 POS 语法。

-m, --merge			合并已排序的文件，不再进行排序

-o, --output=文件		将结果写入到文件而非标准输出

-s, --stable			禁用 last-resort 比较以稳定比较算法

-S, --buffer-size=大小	指定主内存缓存大小

-t, --field-separator=分隔符	使用指定的分隔符代替非空格到空格的转换

-T, --temporary-directory=目录	使用指定目录而非 $TMPDIR 或/tmp 作为

临时目录，可用多个选项指定多个目录

--parallel=N		将同时运行的排序数改变为 N

-u, --unique		配合-c，严格校验排序；不配合-c，则只输出一次排序结果

-z, --zero-terminated	以 0 字节而非新行作为行尾标志

--help		显示此帮助信息并退出

--version		显示版本信息并退出

例子：

1，统计网络访问并按ip排序 


root@c2y2:/# netstat -atlnup|awk '{print $5}'|sort -n
:::*
:::*
:::*
:::*
:::*
0.0.0.0:*
0.0.0.0:*
0.0.0.0:*
0.0.0.0:*
0.0.0.0:*
0.0.0.0:*
Address
and
59.188.77.95:80
59.188.77.95:9998
63.245.216.134:443
63.245.217.207:443
74.125.235.198:443
115.239.210.151:80
173.194.72.113:443
173.194.72.113:443
178.63.49.5:443
178.63.49.5:443
220.181.111.96:80

3,wc 统计命令

wc:常用于统计行数，字节，或者字符数

常用语法： 

用法：wc [选项]... [文件]...
  -c, --bytes            打印出字节总数
  -m, --chars          打印出字符总数
  -l, --lines              打印出总行数
      --files0-from=文件	从指定文件读取以NUL 终止的名称，如果该文件被
					指定为"-"则从标准输入读文件名
  -L, --max-line-length	显示最长行的长度
  -w, --words			显示单词计数
      --help		显示此帮助信息并退出
      --version		显示版本信息并退出

例子：用于统计某个pass.txt的行数 

root@c2y2:/# cat passwd.txt 
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/bin/sh
bin:x:2:2:bin:/bin:/bin/sh
sys:x:3:3:sys:/dev:/bin/sh
sync:x:4:65534:sync:/bin:/bin/sync
games:x:5:60:games:/usr/games:/bin/sh
man:x:6:12:man:/var/cache/man:/bin/sh
lp:x:7:7:lp:/var/spool/lpd:/bin/sh
mail:x:8:8:mail:/var/mail:/bin/sh
news:x:9:9:news:/var/spool/news:/bin/sh
uucp:x:10:10:uucp:/var/spool/uucp:/bin/sh
list:x:38:38:Mailing List Manager:/var/list:/bin/sh
irc:x:39:39:ircd:/var/run/ircd:/bin/sh
gnats:x:41:41:Gnats Bug-Reporting System (admin):/var/lib/gnats:/bin/sh
nobody:x:65534:65534:nobody:/nonexistent:/bin/sh
root@c2y2:/# cat passwd.txt |wc -l
15

  4，uniq 合并匹配命令

uniq：这个指令用来将『重复的行删除掉只显示一个』（相邻的行才有效哦）

常用语法： 

用法：uniq [选项]... [文件]
从输入文件或者标准输入中筛选相邻的匹配行并写入到输出文件或标准输出。
不附加任何选项时匹配行将在首次出现处被合并。
长选项必须使用的参数对于短选项时也是必需使用的。
  -c, --count		在每行前加上表示相应行目出现次数的前缀编号
  -d, --repeated	只输出重复的行
  -D, --all-repeated[=delimit-method	显示所有重复的行
			delimit-method={none(default),prepend,separate}
			以空行为界限
  -f, --skip-fields=N	比较时跳过前N 列
  -i, --ignore-case	在比较的时候不区分大小写
  -s, --skip-chars=N	比较时跳过前N 个字符
  -u, --unique		只显示唯一的行
  -z, --zero-terminated	使用'\0'作为行结束符，而不是新换行
  -w, --check-chars=N	对每行第N 个字符以后的内容不作对照
      --help		显示此帮助信息并退出
      --version		显示版本信息并退出
例子：查看网络链接并合并同ip的 
root@c2y2:/# netstat -atlnup
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 192.168.28.126:34782    59.200.33.95:80         ESTABLISHED 3304/google-chrome-
tcp        0      0 192.168.28.126:43808    74.125.31.100:443       ESTABLISHED 3304/google-chrome-
tcp        0      0 192.168.28.126:35103    63.245.217.207:443      ESTABLISHED 11524/iceweasel 
tcp        0      0 192.168.28.126:52287    59.200.33.95:9998       ESTABLISHED 12273/fuckyou       
tcp        0      0 192.168.28.126:49368    74.125.235.198:443      ESTABLISHED 3304/google-chrome-
tcp        0      0 192.168.28.126:52504    178.63.49.5:443         ESTABLISHED 11524/iceweasel 
tcp        0      0 192.168.28.126:52499    178.63.49.5:443         TIME_WAIT   -               
tcp        0      0 192.168.28.126:51084    63.245.216.134:443      ESTABLISHED 11524/iceweasel 
udp        0      0 0.0.0.0:32824           0.0.0.0:*                           7389/dhclient   
udp        0      0 0.0.0.0:68              0.0.0.0:*                           7389/dhclient   
udp        0      0 192.168.1.105:123       0.0.0.0:*                           2499/ntpd       
udp        0      0 192.168.28.126:123      0.0.0.0:*                           2499/ntpd       
udp        0      0 127.0.0.1:123           0.0.0.0:*                           2499/ntpd       
udp        0      0 0.0.0.0:123             0.0.0.0:*                           2499/ntpd       
udp6       0      0 :::64957                :::*                                7389/dhclient   
udp6       0      0 fe80::222:5fff:febf:123 :::*                                2499/ntpd       
udp6       0      0 fe80::182b:3cff:fe4:123 :::*                                2499/ntpd       
udp6       0      0 ::1:123                 :::*                                2499/ntpd       
udp6       0      0 :::123                  :::*                                2499/ntpd       
root@c2y2:/# netstat -atlnup|awk '{print $5}'|sort|uniq -c
      5 :::*
      6 0.0.0.0:*
      2 178.63.49.5:443
      1 59.200.33.95:80
      1 59.200.33.95:9998
      1 63.245.216.134:443
      1 63.245.217.207:443
      1 74.125.235.198:443
      1 74.125.31.100:443
      1 Address
      1 and


后记：例子没几个，:-)，使用起来很简单，使用时直接看其使用手册就ok拉，man command ^_^。男人嘛，多man才行哦！

  • WC
    2 引用
  • uniq
    2 引用
  • sort
    4 引用
  • cut
    2 引用
  • 处理
    4 引用 • 3 回帖
  • 命令
    19 引用 • 17 回帖
  • 字符
    15 引用 • 89 回帖
  • 文本
    2 引用 • 1 回帖
  • Shell

    Shell 脚本与 Windows/Dos 下的批处理相似，也就是用各类命令预先放入到一个文件中，方便一次性执行的一个程序文件，主要是方便管理员进行设置或者管理用的。但是它比 Windows 下的批处理更强大，比用其他编程程序编辑的程序效率更高，因为它使用了 Linux/Unix 下的命令。

    122 引用 • 73 回帖
  • Linux

    Linux 是一套免费使用和自由传播的类 Unix 操作系统，是一个基于 POSIX 和 Unix 的多用户、多任务、支持多线程和多 CPU 的操作系统。它能运行主要的 Unix 工具软件、应用程序和网络协议，并支持 32 位和 64 位硬件。Linux 继承了 Unix 以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。

    915 引用 • 931 回帖
1 赞同
1.3k 5 182 178 128 153 56 555

相关帖子

回帖
linux shell 之 字符处理命令一

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
c2y2
用户简介最大长度 255
回帖
41
 帖子
16
 积分
2149

近期热议

推荐标签 标签

  • 百度

    百度（Nasdaq：BIDU）是全球最大的中文搜索引擎、最大的中文网站。2000 年 1 月由李彦宏创立于北京中关村，致力于向人们提供“简单，可依赖”的信息获取方式。“百度”二字源于中国宋朝词人辛弃疾的《青玉案·元夕》词句“众里寻他千百度”，象征着百度对中文信息检索技术的执著追求。

    63 引用 • 785 回帖 • 251 关注
  • 职场

    找到自己的位置，萌新烦恼少。

    126 引用 • 1699 回帖
  • Java

    Java 是一种可以撰写跨平台应用软件的面向对象的程序设计语言，是由 Sun Microsystems 公司于 1995 年 5 月推出的。Java 技术具有卓越的通用性、高效性、平台移植性和安全性。

    3168 引用 • 8207 回帖
  • 酷鸟浏览器

    安全 · 稳定 · 快速
    为跨境从业人员提供专业的跨境浏览器

    3 引用 • 59 回帖 • 25 关注
  • 前端

    前端技术一般分为前端设计和前端开发，前端设计可以理解为网站的视觉设计，前端开发则是网站的前台代码实现，包括 HTML、CSS 以及 JavaScript 等。

    247 引用 • 1347 回帖
  • GitLab

    GitLab 是利用 Ruby 一个开源的版本管理系统，实现一个自托管的 Git 项目仓库，可通过 Web 界面操作公开或私有项目。

    46 引用 • 72 回帖 • 1 关注
  • 友情链接

    确认过眼神后的灵魂连接，站在链在！

    24 引用 • 373 回帖
  • MyBatis

    MyBatis 本是 Apache 软件基金会 的一个开源项目 iBatis，2010 年这个项目由 Apache 软件基金会迁移到了 google code，并且改名为 MyBatis ，2013 年 11 月再次迁移到了 GitHub。

    170 引用 • 414 回帖 • 429 关注
  • Facebook

    Facebook 是一个联系朋友的社交工具。大家可以通过它和朋友、同事、同学以及周围的人保持互动交流，分享无限上传的图片，发布链接和视频，更可以增进对朋友的了解。

    4 引用 • 15 回帖 • 455 关注
  • Kotlin

    Kotlin 是一种在 Java 虚拟机上运行的静态类型编程语言，由 JetBrains 设计开发并开源。Kotlin 可以编译成 Java 字节码，也可以编译成 JavaScript，方便在没有 JVM 的设备上运行。在 Google I/O 2017 中，Google 宣布 Kotlin 成为 Android 官方开发语言。

    19 引用 • 33 回帖 • 27 关注
  • GAE

    Google App Engine（GAE）是 Google 管理的数据中心中用于 WEB 应用程序的开发和托管的平台。2008 年 4 月 发布第一个测试版本。目前支持 Python、Java 和 Go 开发部署。全球已有数十万的开发者在其上开发了众多的应用。

    14 引用 • 42 回帖 • 687 关注
  • Q&A

    提问之前请先看《提问的智慧》，好的问题比好的答案更有价值。

    6558 引用 • 29450 回帖 • 246 关注
  • IPFS

    IPFS（InterPlanetary File System，星际文件系统）是永久的、去中心化保存和共享文件的方法，这是一种内容可寻址、版本化、点对点超媒体的分布式协议。请浏览 IPFS 入门笔记了解更多细节。

    20 引用 • 245 回帖 • 228 关注
  • Laravel

    Laravel 是一套简洁、优雅的 PHP Web 开发框架。它采用 MVC 设计，是一款崇尚开发效率的全栈框架。

    19 引用 • 23 回帖 • 686 关注
  • SQLServer

    SQL Server 是由 [微软] 开发和推广的关系数据库管理系统（DBMS），它最初是由 微软、Sybase 和 Ashton-Tate 三家公司共同开发的，并于 1988 年推出了第一个 OS/2 版本。

    19 引用 • 31 回帖 • 6 关注
  • Ubuntu

    Ubuntu（友帮拓、优般图、乌班图）是一个以桌面应用为主的 Linux 操作系统，其名称来自非洲南部祖鲁语或豪萨语的“ubuntu”一词，意思是“人性”、“我的存在是因为大家的存在”，是非洲传统的一种价值观，类似华人社会的“仁爱”思想。Ubuntu 的目标在于为一般用户提供一个最新的、同时又相当稳定的主要由自由软件构建而成的操作系统。

    123 引用 • 168 回帖
  • WebComponents

    Web Components 是 W3C 定义的标准，它给了前端开发者扩展浏览器标签的能力，可以方便地定制可复用组件，更好的进行模块化开发，解放了前端开发者的生产力。

    1 引用 • 25 关注
  • Gitea

    Gitea 是一个开源社区驱动的轻量级代码托管解决方案，后端采用 Go 编写，采用 MIT 许可证。

    4 引用 • 16 回帖 • 1 关注
  • Quicker

    Quicker 您的指尖工具箱！操作更少，收获更多！

    20 引用 • 74 回帖 • 2 关注
  • Sublime

    Sublime Text 是一款可以用来写代码、写文章的文本编辑器。支持代码高亮、自动完成，还支持通过插件进行扩展。

    10 引用 • 5 回帖
  • HTML

    HTML5 是 HTML 下一个的主要修订版本，现在仍处于发展阶段。广义论及 HTML5 时，实际指的是包括 HTML、CSS 和 JavaScript 在内的一套技术组合。

    103 引用 • 294 回帖
  • SEO

    发布对别人有帮助的原创内容是最好的 SEO 方式。

    35 引用 • 200 回帖 • 24 关注
  • Ngui

    Ngui 是一个 GUI 的排版显示引擎和跨平台的 GUI 应用程序开发框架，基于
    Node.js / OpenGL。目标是在此基础上开发 GUI 应用程序可拥有开发 WEB 应用般简单与速度同时兼顾 Native 应用程序的性能与体验。

    7 引用 • 9 回帖 • 345 关注
  • 脑图

    脑图又叫思维导图，是表达发散性思维的有效图形思维工具 ，它简单却又很有效，是一种实用性的思维工具。

    21 引用 • 58 回帖
  • Spark

    Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架。Spark 拥有 Hadoop MapReduce 所具有的优点；但不同于 MapReduce 的是 Job 中间输出结果可以保存在内存中，从而不再需要读写 HDFS，因此 Spark 能更好地适用于数据挖掘与机器学习等需要迭代的 MapReduce 的算法。

    74 引用 • 46 回帖 • 549 关注
  • WebClipper

    Web Clipper 是一款浏览器剪藏扩展，它可以帮助你把网页内容剪藏到本地。

    3 引用 • 9 回帖 • 6 关注
  • 域名

    域名（Domain Name），简称域名、网域，是由一串用点分隔的名字组成的 Internet 上某一台计算机或计算机组的名称，用于在数据传输时标识计算机的电子方位（有时也指地理位置）。

    43 引用 • 208 回帖 • 2 关注

最新标签