Linux文本处理三剑客之awk学习笔记09:ARGC和ARGV等

发表于:2021-07-07 16:58 阅读: 131次

这篇文章详细介绍了Linux文本处理三剑客之awk学习笔记09:ARGC和ARGV等,并通过代码从实战的角度进行了讲解,对大家的学习和工作有很好的参考价值,现在赶紧来跟我一起学习一下吧!

简介

ARGC和ARGV都是awk的预定义变量。

ARGC存储了awk的CLI参数数量(Argument Count);ARGV(Argument Value)是一个数组变量,虽然是关联数组不过其下标是从0开始的数值(当然,内部识别为字符串),存储了这次awk的CLI执行中的每个参数。

# awk -va=1 -F: 'BEGIN{print ARGC;for(i in ARGV){print i,ARGV[i]}}' b=3 a.txt b.txt40 awk1 b=32 a.txt3 b.txt

通过该示例我们可以发现。数组的参数包含了awk命令本身(且它是数组下标为0的第一个参数),选项型参数和非选项型参数。

ARGV[0] ==> "awk"ARGV[1] ==> "b=3"ARGV[2] ==> "a.txt"ARGV[3] ==> "b.txt"

因此ARGC的值就为4,即ARGC也是ARGV的数组长度(length(ARGV))。ARGV不包含选项以及具体的awk代码。

-va=1-F:'BEGIN{print ARGC;for(i in ARGV){print i,ARGV[i]}}'

ARGV的元素数量/长度只有在awk执行的开始时等于ARGC,在代码执行的过程中我们可以对这两个预定义变量进行修改。

ARGV和ARGC的内容决定了本次awk执行过程中如何对待参数,伪代码形似如下:

for(i=1;i<ARGC;i++){
    ... process ARGV[i] ...
}

只减小ARGC的值会导致原本应该被读取到的参数丢失,即可能出现尾部文件无法被读取的情况。

awk '{print}' a.txt b.txtawk 'BEGIN{ARGC--}{print}' a.txt b.txt

只增加ARGC的值不会对结果产生任何影响。

awk 'BEGIN{ARGC++}{print}' a.txt b.txt

如果我们对ARGV中的元素进行新增或者删除,那么需要同时改变ARGC的值才会使得结果是我们所期待的。

awk 'BEGIN{ARGV[ARGC]="c.txt"}{print}' a.txt b.txtawk 'BEGIN{ARGV[ARGC++]="c.txt"}{print}' a.txt b.txt

在这里,3个文件,原本ARGC的值应该是4,我们手动设定为了3,因此只会读取a.txt和b.txt。

awk 'BEGIN{ARGC=3}{print}' a.txt b.txt c.txt

如果我们将ARGV[1](即a.txt)删除或者置空,那么awk依然只会读取2个参数(不包括awk命令本身),第一个参数是空字符串,第二个参数是b.txt。并不会因为少掉了一个参数,该位置就被后续的给顶替了。c.txt是一直无法被读取的。也就是说空字符串参数也可以被读取。

awk 'BEGIN{ARGC=3;delete ARGV[1]}{print}' a.txt b.txt c.txtawk 'BEGIN{ARGC=3;ARGV[1]=""}{print}' a.txt b.txt c.txt

# awk 'BEGIN{print ARGC}' a.txt b.txt c.txt ""5

另外再来看几个预定义变量。

FILENAME:顾名思义,文件名,存储当前正在处理的文件的文件名。

awk 'FNR==1{print FILENAME}' a.txt b.txt c.txt

ARGIND:参数的索引值(Argument Index)。存储你当前正在处理的文件在ARGV中的索引值。因此,当awk正在处理的参数刚好是文件的时候,“FILENAME==ARGV[ARGIND]”总是会返回true。

ENVIRON:这是一个数组变量,保存了shell的环境变量。

ENVIRON["SHELL_ENV"]    # 这里的SHELL_ENV要替换成shell下具体的环境变量。
# echo $SHELL/bin/bash
# awk 'BEGIN{print ENVIRON["SHELL"]}'/bin/bash
# echo $HOME/root
# awk 'BEGIN{print ENVIRON["HOME"]}'/root

 

ARGC和ARGV的妙用

当我们使用awk处理文件时,如果文件的权限不足,或者文件不存在,那么awk就会报错并且退出,不再处理报错文件的后续文件。

注意:我这里使用了普通用户alongdidi来测试,root用户权限较大,即使权限000依然可读取。

$ ls -l {a,aa,aaa}.txtls: cannot access aaa.txt: No such file or directory---------- 1 alongdidi alongdidi   0 Jan 26 16:44 aa.txt-rw-rw-r-- 1 alongdidi alongdidi 566 Jan 26 16:47 a.txt

$ awk '{print}' {a,aa,aaa}.txt
ID  name    gender  age  email          phone
... ...awk: cmd. line:1: fatal: cannot open file `aa.txt' for reading (Permission denied)# 到这里就结束了,并不会处理aaa.txt
$ awk '{print}' {a,aaa}.txt
ID  name    gender  age  email          phone
... ...awk: cmd. line:1: fatal: cannot open file `aaa.txt' for reading (No such file or directory)

我们可以使用ARGC和ARGV来将那些无法正常读取的文件从待处理的文件中剔除。

思路如下:

  • 必须在main之前就修改待处理的文件,因此代码应写在BEGIN中。

  • 结合getline的返回值特性来判断文件的可读性,getline正常的文件要记得关闭。

  • 参数可能会是选项型参数(变量赋值var=val)或者标准输入(-和/dev/stdin),这类情况需要排除。

  • 由于是删除ARGV的元素,因此不要减小ARGC的值不然可能会造成位于尾部的正常文件无法被处理。

 

$ cat ARGCandARGV.awk BEGIN{for(i=1;i<ARGC;i++){if(ARGV[i]~/[[:alpha:]_][[:alnum:]_]*=.*/ || ARGV[i]=="-" || ARGV[i]=="/dev/stdin"){
            continue
        }else if((getline var < ARGV[i])<0){
            delete ARGV[i]
        }else{
            close(ARGV[i])
        }
    }for(i=1;i<ARGC;i++){
        print i,ARGV[i]
    }
}

由普通用户alongdidi执行看结果。

$ awk -f ARGCandARGV.awk a=3 {a,aa,aaa}.txt - /dev/stdin1 a=32 a.txt3 4 5 -6 /dev/stdin

变量赋值、标准输入被跳过,保留在ARGV中。可正常读取的文件a.txt被保留,无权限读取(aa.txt)和不存在的文件(aaa.txt)被移出ARGV。

因此此可再次执行代码就不会报错了。用户也可以把main代码写在-f指定的文件中,我直接使用-e指定了。

$ awk -f ARGCandARGV.awk -e '{print}' a=3 {a,aa,aaa}.txt - /dev/stdin1 a=32 a.txt3 4 5 -6 /dev/stdinID  name    gender  age  email          phone    # 由于我们在代码中有正确使用close(),因此文件在打印时依然是从首行开始。... ...

 

以上就是Linux文本处理三剑客之awk学习笔记09:ARGC和ARGV等的全部内容,希望对大家的学习有所帮助,如果觉得有用给我点个赞吧,同时也希望大家多多支持酷码派。

酷码派 [KuMaPai.COM] - 陕ICP备18010024号-2