使用awk命令批量处理CSV文件的数据

该示例代码展示了如何使用awk命令处理CSV文件中的数据，包括对字段进行筛选、排序、聚合等操作，具体实现方式在代码中进行注释。

#!/bin/bash

# 对CSV文件按照第一列进行排序
awk -F ',' '{print $0}' file.csv | sort -t ',' -k1 > sorted_file.csv

# 对CSV文件进行去重
awk -F ',' '!a[$0]++' file.csv > unique_file.csv 

# 统计CSV文件中每个字段的数量
awk -F ',' '{for(i=1;i<=NF;i++){a[i]+=$i}} END{for(k in a){print k,a[k]}}' file.csv

# 对CSV文件进行基于条件的筛选
awk -F ',' '{if($3>100){print $0}}' file.csv > filtered_file.csv

# 计算CSV文件中每个字段的平均值
awk -F ',' '{for(i=1;i<=NF;i++){a[i]+=$i}} END{for(k in a){print k,a[k]/NR}}' file.csv > average.csv

免责申明：文章和图片全部来源于公开网络，如有侵权，请通知删除 server@dude6.com