登录 注册

linux shell 之 字符处理命令一

本贴最后更新于 3924 天前，其中的信息可能已经时移世易

1，cut 截取命令

cut ：主要用于对行数据的分解

常用语法： 

用法：cut [选项]... [文件]...
从每个文件中输出指定部分到标准输出。
长选项必须使用的参数对于短选项时也是必需使用的。
  -b, --bytes=列表		只选中指定的这些字节
  -c, --characters=列表		只选中指定的这些字符#如：cat /etc/p -d, --delimiter=分界符	使用指定分界符代替制表符作为区域分界
  -f, --fields=列表		只选中指定的这些域；并打印所有不包含分界符的
				行，除非-s 选项被指定
  -n				(忽略)
      --complement		补全选中的字节、字符或域
  -s, --only-delimited		不打印没有包含分界符的行
      --output-delimiter=字符串	使用指定的字符串作为输出分界符，默认采用输入
				的分界符
      --help		显示此帮助信息并退出
      --version		显示版本信息并退出

仅使用 f -b, -c 或-f 中的一个。每一个列表都是专门为一个类别作出的，或者您可以用逗号隔

开要同时显示的不同类别。您的输入顺序将作为读取顺序，每个仅能输入一次。

每种参数格式表示范围如下：

N	从第 1 个开始数的第 N 个字节、字符或域

N-	从第 N 个开始到所在行结束的所有字符、字节或域

N-M	从第 N 个开始到第 M 个之间(包括第 M 个)的所有字符、字节或域

-M	从第 1 个开始到第 M 个之间(包括第 M 个)的所有字符、字节或域


当没有文件参数，或者文件不存在时，从标准输入读取

例子：

1，截取第一列的内容如 


root@c2y2:/# cat passwd.txt
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/bin/sh
bin:x:2:2:bin:/bin:/bin/sh
sys:x:3:3:sys:/dev:/bin/sh
sync:x:4:65534:sync:/bin:/bin/sync
games:x:5:60:games:/usr/games:/bin/sh
man:x:6:12:man:/var/cache/man:/bin/sh
lp:x:7:7:lp:/var/spool/lpd:/bin/sh
mail:x:8:8:mail:/var/mail:/bin/sh
news:x:9:9:news:/var/spool/news:/bin/sh
uucp:x:10:10:uucp:/var/spool/uucp:/bin/sh
list:x:38:38:Mailing List Manager:/var/list:/bin/sh
irc:x:39:39:ircd:/var/run/ircd:/bin/sh
gnats:x:41:41:Gnats Bug-Reporting System (admin):/var/lib/gnats:/bin/sh
nobody:x:65534:65534:nobody:/nonexistent:/bin/sh
root@c2y2:/# cat passwd.txt|cut -d ":" -f 1
root
daemon
bin
sys
sync
games
man
lp
mail
news
uucp
list
irc
gnats
nobody


2,sort 排序命令

sort:常用于对文本按行进行排序

常用语法： 

用法：sort [选项]... [文件]...
　或：sort [选项]... --files0-from=F
串联排序所有指定文件并将结果写到标准输出。

长选项必须使用的参数对于短选项时也是必需使用的。

排序选项：


-b, --ignore-leading-blanks	忽略前导的空白区域

-d, --dictionary-order	只考虑空白区域和字母字符

-f, --ignore-case		忽略字母大小写

-g, --general-numeric-sort	按照常规数值排序

-i, --ignore-nonprinting	只排序可打印字符

-M, --month-sort		比较 (未知) < "一月" < ... < "十二月"

在 LC_ALL=C 时为(unknown) < JAN' &lt; ... &lt;  DEC'

-h, --human-numeric-sort    使用易读性数字(例如： 2K 1G)

-n, --numeric-sort		根据字符串数值比较

-R, --random-sort		根据随机 hash 排序

--random-source=文件	从指定文件中获得随机字节

-r, --reverse			逆序输出排序结果

--sort=WORD		按照 WORD 指定的格式排序：

一般数字-g，高可读性-h，月份-M，数字-n，

随机-R，版本-V

-V, --version-sort		在文本内进行自然版本排序


其他选项：


  --batch-size=NMERGE	一次最多合并NMERGE 个输入；如果输入更多
				则使用临时文件



-c, --check, --check=diagnose-first	检查输入是否已排序，若已有序则不进行操作

-C, --check=quiet, --check=silent	类似-c，但不报告第一个无序行

--compress-program=程序	使用指定程序压缩临时文件；使用该程序

的-d 参数解压缩文件

--debug			为用于排序的行添加注释，并将有可能有问题的

用法输出到标准错误输出

--files0-from=文件	从指定文件读取以 NUL 终止的名称，如果该文件被

指定为"-"则从标准输入读文件名

-k, --key=位置 1[,位置 2]	在位置 1 开始一个 key，在位置 2 终止(默认为行尾)

参看 POS 语法。

-m, --merge			合并已排序的文件，不再进行排序

-o, --output=文件		将结果写入到文件而非标准输出

-s, --stable			禁用 last-resort 比较以稳定比较算法

-S, --buffer-size=大小	指定主内存缓存大小

-t, --field-separator=分隔符	使用指定的分隔符代替非空格到空格的转换

-T, --temporary-directory=目录	使用指定目录而非 $TMPDIR 或/tmp 作为

临时目录，可用多个选项指定多个目录

--parallel=N		将同时运行的排序数改变为 N

-u, --unique		配合-c，严格校验排序；不配合-c，则只输出一次排序结果

-z, --zero-terminated	以 0 字节而非新行作为行尾标志

--help		显示此帮助信息并退出

--version		显示版本信息并退出

例子：

1，统计网络访问并按ip排序 


root@c2y2:/# netstat -atlnup|awk '{print $5}'|sort -n
:::*
:::*
:::*
:::*
:::*
0.0.0.0:*
0.0.0.0:*
0.0.0.0:*
0.0.0.0:*
0.0.0.0:*
0.0.0.0:*
Address
and
59.188.77.95:80
59.188.77.95:9998
63.245.216.134:443
63.245.217.207:443
74.125.235.198:443
115.239.210.151:80
173.194.72.113:443
173.194.72.113:443
178.63.49.5:443
178.63.49.5:443
220.181.111.96:80

3,wc 统计命令

wc:常用于统计行数，字节，或者字符数

常用语法： 

用法：wc [选项]... [文件]...
  -c, --bytes            打印出字节总数
  -m, --chars          打印出字符总数
  -l, --lines              打印出总行数
      --files0-from=文件	从指定文件读取以NUL 终止的名称，如果该文件被
					指定为"-"则从标准输入读文件名
  -L, --max-line-length	显示最长行的长度
  -w, --words			显示单词计数
      --help		显示此帮助信息并退出
      --version		显示版本信息并退出

例子：用于统计某个pass.txt的行数 

root@c2y2:/# cat passwd.txt 
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/bin/sh
bin:x:2:2:bin:/bin:/bin/sh
sys:x:3:3:sys:/dev:/bin/sh
sync:x:4:65534:sync:/bin:/bin/sync
games:x:5:60:games:/usr/games:/bin/sh
man:x:6:12:man:/var/cache/man:/bin/sh
lp:x:7:7:lp:/var/spool/lpd:/bin/sh
mail:x:8:8:mail:/var/mail:/bin/sh
news:x:9:9:news:/var/spool/news:/bin/sh
uucp:x:10:10:uucp:/var/spool/uucp:/bin/sh
list:x:38:38:Mailing List Manager:/var/list:/bin/sh
irc:x:39:39:ircd:/var/run/ircd:/bin/sh
gnats:x:41:41:Gnats Bug-Reporting System (admin):/var/lib/gnats:/bin/sh
nobody:x:65534:65534:nobody:/nonexistent:/bin/sh
root@c2y2:/# cat passwd.txt |wc -l
15

  4，uniq 合并匹配命令

uniq：这个指令用来将『重复的行删除掉只显示一个』（相邻的行才有效哦）

常用语法： 

用法：uniq [选项]... [文件]
从输入文件或者标准输入中筛选相邻的匹配行并写入到输出文件或标准输出。
不附加任何选项时匹配行将在首次出现处被合并。
长选项必须使用的参数对于短选项时也是必需使用的。
  -c, --count		在每行前加上表示相应行目出现次数的前缀编号
  -d, --repeated	只输出重复的行
  -D, --all-repeated[=delimit-method	显示所有重复的行
			delimit-method={none(default),prepend,separate}
			以空行为界限
  -f, --skip-fields=N	比较时跳过前N 列
  -i, --ignore-case	在比较的时候不区分大小写
  -s, --skip-chars=N	比较时跳过前N 个字符
  -u, --unique		只显示唯一的行
  -z, --zero-terminated	使用'\0'作为行结束符，而不是新换行
  -w, --check-chars=N	对每行第N 个字符以后的内容不作对照
      --help		显示此帮助信息并退出
      --version		显示版本信息并退出
例子：查看网络链接并合并同ip的 
root@c2y2:/# netstat -atlnup
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 192.168.28.126:34782    59.200.33.95:80         ESTABLISHED 3304/google-chrome-
tcp        0      0 192.168.28.126:43808    74.125.31.100:443       ESTABLISHED 3304/google-chrome-
tcp        0      0 192.168.28.126:35103    63.245.217.207:443      ESTABLISHED 11524/iceweasel 
tcp        0      0 192.168.28.126:52287    59.200.33.95:9998       ESTABLISHED 12273/fuckyou       
tcp        0      0 192.168.28.126:49368    74.125.235.198:443      ESTABLISHED 3304/google-chrome-
tcp        0      0 192.168.28.126:52504    178.63.49.5:443         ESTABLISHED 11524/iceweasel 
tcp        0      0 192.168.28.126:52499    178.63.49.5:443         TIME_WAIT   -               
tcp        0      0 192.168.28.126:51084    63.245.216.134:443      ESTABLISHED 11524/iceweasel 
udp        0      0 0.0.0.0:32824           0.0.0.0:*                           7389/dhclient   
udp        0      0 0.0.0.0:68              0.0.0.0:*                           7389/dhclient   
udp        0      0 192.168.1.105:123       0.0.0.0:*                           2499/ntpd       
udp        0      0 192.168.28.126:123      0.0.0.0:*                           2499/ntpd       
udp        0      0 127.0.0.1:123           0.0.0.0:*                           2499/ntpd       
udp        0      0 0.0.0.0:123             0.0.0.0:*                           2499/ntpd       
udp6       0      0 :::64957                :::*                                7389/dhclient   
udp6       0      0 fe80::222:5fff:febf:123 :::*                                2499/ntpd       
udp6       0      0 fe80::182b:3cff:fe4:123 :::*                                2499/ntpd       
udp6       0      0 ::1:123                 :::*                                2499/ntpd       
udp6       0      0 :::123                  :::*                                2499/ntpd       
root@c2y2:/# netstat -atlnup|awk '{print $5}'|sort|uniq -c
      5 :::*
      6 0.0.0.0:*
      2 178.63.49.5:443
      1 59.200.33.95:80
      1 59.200.33.95:9998
      1 63.245.216.134:443
      1 63.245.217.207:443
      1 74.125.235.198:443
      1 74.125.31.100:443
      1 Address
      1 and


后记：例子没几个，:-)，使用起来很简单，使用时直接看其使用手册就ok拉，man command ^_^。男人嘛，多man才行哦！

  • WC
    2 引用
  • uniq
    2 引用
  • sort
    4 引用
  • cut
    2 引用
  • 处理
    4 引用 • 3 回帖
  • 命令
    20 引用 • 17 回帖
  • 字符
    16 引用 • 89 回帖
  • 文本
    2 引用 • 1 回帖
  • Shell

    Shell 脚本与 Windows/Dos 下的批处理相似，也就是用各类命令预先放入到一个文件中，方便一次性执行的一个程序文件，主要是方便管理员进行设置或者管理用的。但是它比 Windows 下的批处理更强大，比用其他编程程序编辑的程序效率更高，因为它使用了 Linux/Unix 下的命令。

    123 引用 • 74 回帖 • 2 关注
  • Linux

    Linux 是一套免费使用和自由传播的类 Unix 操作系统，是一个基于 POSIX 和 Unix 的多用户、多任务、支持多线程和多 CPU 的操作系统。它能运行主要的 Unix 工具软件、应用程序和网络协议，并支持 32 位和 64 位硬件。Linux 继承了 Unix 以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。

    946 引用 • 943 回帖
1 赞同
1.3k 5 182 205 129 154 56 555

相关帖子

回帖
linux shell 之 字符处理命令一

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
c2y2
用户简介最大长度 255
回帖
41
 帖子
16
 积分
2149

近期热议

推荐标签 标签

  • 尊园地产

    昆明尊园房地产经纪有限公司，即：Kunming Zunyuan Property Agency Company Limited（简称“尊园地产”）于 2007 年 6 月开始筹备，2007 年 8 月 18 日正式成立，注册资本 200 万元，公司性质为股份经纪有限公司，主营业务为：代租、代售、代办产权过户、办理银行按揭、担保、抵押、评估等。

    1 引用 • 22 回帖 • 772 关注
  • Logseq

    Logseq 是一个隐私优先、开源的知识库工具。

    Logseq is a joyful, open-source outliner that works on top of local plain-text Markdown and Org-mode files. Use it to write, organize and share your thoughts, keep your to-do list, and build your own digital garden.

    6 引用 • 63 回帖 • 5 关注
  • 心情

    心是产生任何想法的源泉，心本体会陷入到对自己本体不能理解的状态中，因为心能产生任何想法，不能分出对错，不能分出自己。

    59 引用 • 369 回帖
  • CentOS

    CentOS（Community Enterprise Operating System）是 Linux 发行版之一，它是来自于 Red Hat Enterprise Linux 依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码，因此有些要求高度稳定的服务器以 CentOS 替代商业版的 Red Hat Enterprise Linux 使用。两者的不同在于 CentOS 并不包含封闭源代码软件。

    238 引用 • 224 回帖
  • 快应用

    快应用 是基于手机硬件平台的新型应用形态；标准是由主流手机厂商组成的快应用联盟联合制定；快应用标准的诞生将在研发接口、能力接入、开发者服务等层面建设标准平台；以平台化的生态模式对个人开发者和企业开发者全品类开放。

    15 引用 • 127 回帖
  • abitmean

    有点意思就行了

    • 27 关注
  • 大数据

    大数据（big data）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    93 引用 • 113 回帖
  • 服务器

    服务器，也称伺服器，是提供计算服务的设备。由于服务器需要响应服务请求，并进行处理，因此一般来说服务器应具备承担服务并且保障服务的能力。

    125 引用 • 588 回帖
  • GitBook

    GitBook 使您的团队可以轻松编写和维护高质量的文档。 分享知识，提高团队的工作效率，让用户满意。

    3 引用 • 8 回帖
  • 又拍云

    又拍云是国内领先的 CDN 服务提供商,国家工信部认证通过的“可信云”，乌云众测平台认证的“安全云”，为移动时代的创业者提供新一代的 CDN 加速服务。

    21 引用 • 37 回帖 • 548 关注
  • Google

    Google（Google Inc.，NASDAQ：GOOG）是一家美国上市公司（公有股份公司），于 1998 年 9 月 7 日以私有股份公司的形式创立，设计并管理一个互联网搜索引擎。Google 公司的总部称作“Googleplex”，它位于加利福尼亚山景城。Google 目前被公认为是全球规模最大的搜索引擎，它提供了简单易用的免费服务。不作恶（Don't be evil）是谷歌公司的一项非正式的公司口号。

    49 引用 • 192 回帖
  • 智能合约

    智能合约（Smart contract）是一种旨在以信息化方式传播、验证或执行合同的计算机协议。智能合约允许在没有第三方的情况下进行可信交易，这些交易可追踪且不可逆转。智能合约概念于 1994 年由 Nick Szabo 首次提出。

    1 引用 • 11 回帖 • 2 关注
  • 倾城之链
    23 引用 • 66 回帖 • 138 关注
  • 人工智能

    人工智能（Artificial Intelligence）是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。

    135 引用 • 190 回帖
  • Android

    Android 是一种以 Linux 为基础的开放源码操作系统，主要使用于便携设备。2005 年由 Google 收购注资，并拉拢多家制造商组成开放手机联盟开发改良，逐渐扩展到到平板电脑及其他领域上。

    334 引用 • 323 回帖 • 4 关注
  • 域名

    域名（Domain Name），简称域名、网域，是由一串用点分隔的名字组成的 Internet 上某一台计算机或计算机组的名称，用于在数据传输时标识计算机的电子方位（有时也指地理位置）。

    43 引用 • 208 回帖
  • 脑图

    脑图又叫思维导图，是表达发散性思维的有效图形思维工具 ，它简单却又很有效，是一种实用性的思维工具。

    30 引用 • 96 回帖 • 1 关注
  • 互联网

    互联网（Internet），又称网际网络，或音译因特网、英特网。互联网始于 1969 年美国的阿帕网，是网络与网络之间所串连成的庞大网络，这些网络以一组通用的协议相连，形成逻辑上的单一巨大国际网络。

    98 引用 • 344 回帖
  • wolai

    我来 wolai：不仅仅是未来的云端笔记！

    2 引用 • 14 回帖
  • HHKB

    HHKB 是富士通的 Happy Hacking 系列电容键盘。电容键盘即无接点静电电容式键盘（Capacitive Keyboard）。

    5 引用 • 74 回帖 • 478 关注
  • Sublime

    Sublime Text 是一款可以用来写代码、写文章的文本编辑器。支持代码高亮、自动完成，还支持通过插件进行扩展。

    10 引用 • 5 回帖
  • Lute

    Lute 是一款结构化的 Markdown 引擎，支持 Go 和 JavaScript。

    26 引用 • 196 回帖 • 17 关注
  • 资讯

    资讯是用户因为及时地获得它并利用它而能够在相对短的时间内给自己带来价值的信息，资讯有时效性和地域性。

    55 引用 • 85 回帖
  • NGINX

    NGINX 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 NGINX 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，第一个公开版本 0.1.0 发布于 2004 年 10 月 4 日。

    313 引用 • 547 回帖
  • 禅道

    禅道是一款国产的开源项目管理软件，她的核心管理思想基于敏捷方法 scrum，内置了产品管理和项目管理，同时又根据国内研发现状补充了测试管理、计划管理、发布管理、文档管理、事务管理等功能，在一个软件中就可以将软件研发中的需求、任务、bug、用例、计划、发布等要素有序的跟踪管理起来，完整地覆盖了项目管理的核心流程。

    5 引用 • 15 回帖 • 102 关注
  • BookxNote

    BookxNote 是一款全新的电子书学习工具，助力您的学习与思考，让您的大脑更高效的记忆。

    笔记整理交给我，一心只读圣贤书。

    1 引用 • 1 回帖
  • Wide

    Wide 是一款基于 Web 的 Go 语言 IDE。通过浏览器就可以进行 Go 开发，并有代码自动完成、查看表达式、编译反馈、Lint、实时结果输出等功能。

    欢迎访问我们运维的实例： https://wide.b3log.org

    30 引用 • 218 回帖 • 635 关注

最新标签