使用AWK过滤和统计CSV文件中的数据

该示例代码演示如何使用AWK命令过滤和统计CSV文件中的数据。该脚本能够读取CSV文件，识别每列的数据类型，并对每列进行统计计算、去重和排序等操作。

# 设定分隔符为逗号
BEGIN {FS=","}

# 处理第一行数据，将每列的名称赋值到cols数组中
NR==1 {
    for (i=1; i<=NF; i++) {
        cols[i]=$i
    }
    next
}

# 处理非第一行数据，将每列数据类型识别，存储到type数组中
NR>1 {
   for (i=1; i<=NF; i++) {
    if ($i~/^[0-9]+(\.[0-9]+)?$/) {
       # 数字类型
       type[i]="numeric"
    } else {
       # 字符串类型
       type[i]="string"
    }

    # 统计每列数据，存储到sum、count、max、min和unique数组中
    sum[i]+=($i+0)
    count[i]+=1
    if (type[i]=="numeric") {
        if ($i>max[i]) max[i]=$i
        if ($i<min[i] || min[i]=="") min[i]=$i
    } else {
        unique[i][$i]+=1
    }
   }
}

# 处理文件结束，输出统计结果
END {
   printf("%-20s%-15s%-15s%-15s%-15s%-15s\n","Column","Count","Sum","Min","Max","Unique")

   for (i=1; i<=NF; i++) {
       if (type[i]=="numeric") {
           printf("%-20s%-15d%-15.2f%-15.2f%-15.2f\n",cols[i],count[i],sum[i],min[i],max[i])
       } else {
           printf("%-20s%-15d%-15s%-15s%-15s%-15d\n",cols[i],count[i],"NA","NA","NA",length(unique[i]))
       }
   }
}

免责申明：文章和图片全部来源于公开网络，如有侵权，请通知删除 server@dude6.com