一起学习网 一起学习网


Shell脚本去重的几种方法实例

网络编程 Shell脚本去重的几种方法实例 06-22

测试文件

[root@bogon ~]# cat >test

jason

jason

jason

fffff

jason

按 Ctr + D保存

1、sort -u

[root@bogon ~]# sort -u test

fffff

jason

2、uniq
[root@bogon ~]# uniq test

jason

fffff

jason

由此可见,uniq需要先排序后才能去重

3、sort、管道和uniq结合运用
去除重复并保留一份重复的数据

[root@bogon ~]# sort test|uniq

fffff

jason

  去除所有重复的行(不保留重复的行),并计算行数
[root@bogon ~]# sort test|uniq -uc

      1 fffff

  找出所有重复的行,并计算行数
[root@bogon ~]# sort test|uniq -dc

      4 jason

根据某个字段去重

将原有数据改为

[root@bogon ~]# more test

jason 1

jason 2

jason 1

fffff 2

jason 3

[root@bogon ~]# sort -k 1,1 -u test

fffff 2

jason 1

  man sort查看sort的用法,-k参数是这么描述的:
    -k, --key=POS1[,POS2]

    start a key at POS1 (origin 1), end it at POS2 (default end of line)

  也就是说-k哪几个列进行排序,pos1是开始列,pos2是结束列

脚本实现SSH登录邮件报警
登录保护是一个非常重要的环节,下面通过图文并茂的方式给大家详细讲解下:前两天@cyy给我发了一个图然后我就想到USHQ的ssh登录app通知功能,然后就

Shell中eval的用法示例
功能说明:告知shell取出eval的参数,重新运算求出参数的内容。语法:eval[参数]补充说明:eval可读取一连串的参数,然后再依参数本身的特性来执行。

常用Linux Shell进阶部分小结
如何计算当前目录下的文件数和目录数#ls-l*|grep"^-"|wc-l----tocountfiles#ls-l*|grep"^d"|wc-l-----tocountdir如何只列子目录?ls-F|grep/$或者aliassub="ls-F|grep/$"(linux)ls-l


编辑:一起学习网

标签:参数,列子,求出,行数,是一个