jq如何解析json数组

jq轻松解析JSON数组：实用技巧与示例指南**

在当今数据驱动的世界中,JSON（JavaScript Object Notation）已成为数据交换的事实标准，无论是API响应、配置文件还是日志数据，我们经常需要处理JSON格式的信息，当涉及到JSON数组时——即包含多个有序JSON对象的列表——如何高效、灵活地提取和解析其中的数据就显得尤为重要。jq，一个轻量级、命令行的JSON处理器，正是解决这一问题的利器，本文将详细介绍如何使用jq来解析JSON数组，从基础操作到进阶技巧，助你这一实用工具。

初识jq：为何选择它？

jq是一个强大的命令行工具，专门用于处理JSON数据，它类似于sed、awk、grep等文本处理工具，但专为JSON设计，其主要优点包括：

• 简洁的语法：使用类似Python的表达式语法，易于学习和使用。
• 强大的过滤能力：可以轻松提取、过滤、转换和重构JSON数据。
• 流式处理：能够高效处理大型JSON文件，甚至逐行处理JSON流。
• 跨平台：支持Windows、macOS和Linux。

在开始之前,请确保你已经安装了jq，你可以访问官方GitHub仓库下载适合你系统的版本，或使用包管理器（如apt-get install jq，brew install jq等）进行安装。

JSON数组基础回顾

JSON数组是值（value）的有序集合，用方括号 [] 表示，值之间用逗号分隔，数组中的值可以是字符串、数字、布尔值、null，甚至是另一个对象或数组。

[
  {
    "id": 1,
    "name": "Alice",
    "age": 30,
    "city": "New York"
  },
  {
    "id": 2,
    "name": "Bob",
    "age": 25,
    "city": "Los Angeles"
  },
  {
    "id": 3,
    "name": "Charlie",
    "age": 35,
    "city": "Chicago"
  }
]

这是一个包含三个用户对象的JSON数组。

jq解析JSON数组核心操作

假设上面的JSON数组存储在一个名为users.json的文件中。

提取整个数组

最简单的操作,直接输出整个JSON数组内容：

jq '.' users.json

• 是jq中最基本的路径表达式，表示当前输入的整个JSON对象或数组。

遍历数组元素（.[]）

要访问数组中的每个元素,可以使用 后跟 []，这会将数组“展平”，依次输出每个元素。

jq '.[]' users.json

输出将是三个独立的用户对象：

{
  "id": 1,
  "name": "Alice",
  "age": 30,
  "city": "New York"
}
{
  "id": 2,
  "name": "Bob",
  "age": 25,
  "city": "Los Angeles"
}
{
  "id": 3,
  "name": "Charlie",
  "age": 35,
  "city": "Chicago"
}

提取特定字段（.field 或 .["field"]）

当使用 或 .[] 获得数组中的对象后，可以像访问普通JSON对象一样访问其字段。

提取所有用户的name：

jq '.[].name' users.json

输出：

"Alice"
"Bob"
"Charlie"

提取所有用户的id和city：

jq '.[].id, .[].city' users.json

或者更优雅的方式,使用 [] 包裹要提取的字段列表（对于多个字段的组合，后续会讲到）：

jq '.[] | {id: .id, city: .city}' users.json

这里 是管道符，表示将左侧的结果作为右侧的输入。{id: .id, city: .city} 是创建一个新对象，包含指定的字段。

输出：

{"id":1,"city":"New York"}
{"id":2,"city":"Los Angeles"}
{"id":3,"city":"Chicago"}

通过索引访问数组元素（.[index]）

如果数组中的元素顺序固定,且你知道要访问第几个元素（索引从0开始），可以使用 .[index]。

获取第一个用户（索引为0）：

jq '.[0]' users.json

获取第二个和第三个用户（索引为1和2）：

jq '.[1,2]' users.json

获取从第二个用户开始的所有用户（使用切片 .[start:end]，end不包含）：

jq '.[1:]' users.json  # 从索引1到最后
jq '.[1:3]' users.json # 从索引1到3（不包含3，即索引1和2）

条件过滤（select() 函数）

select() 函数可以根据条件过滤数组元素，只保留满足条件的元素。

筛选年龄大于30的用户：

jq '.[] | select(.age > 30)' users.json

输出：

{
  "id": 3,
  "name": "Charlie",
  "age": 35,
  "city": "Chicago"
}

筛选城市为"New York"的用户：

jq '.[] | select(.city == "New York")' users.json

组合条件（AND）：

jq '.[] | select(.age > 25 and .city == "New York")' users.json

组合条件（OR）：

jq '.[] | select(.age < 30 or .city == "Chicago")' users.json

提取嵌套数组或对象中的字段

如果JSON数组中的对象包含嵌套的数组或对象,可以通过链式路径访问。

修改users.json，添加一个hobbies数组：

[
  {
    "id": 1,
    "name": "Alice",
    "age": 30,
    "city": "New York",
    "hobbies": ["reading", "hiking"]
  },
  {
    "id": 2,
    "name": "Bob",
    "age": 25,
    "city": "Los Angeles",
    "hobbies": ["gaming", "coding"]
  }
]

获取所有用户的第一个爱好：

jq '.[].hobbies[0]' users.json

数组长度（length 函数）

获取数组的长度,或者数组中某个字段值的长度。

获取用户总数：

jq 'length' users.json

获取每个用户的爱好数量：

jq '.[].hobbies | length' users.json

映射和转换（map() 函数）

map() 函数会对数组中的每个元素应用指定的过滤器，并返回一个包含结果的新数组。

将所有用户的年龄加1：

jq '.[] | .age += 1' users.json

或者使用 map 更清晰地表达：

jq 'map(.age += 1)' users.json

注意：map会返回一个新数组，而直接 | .age += 1 会逐个输出修改后的对象，如果希望得到一个包含修改后对象的数组，map 更合适。

提取所有用户的姓名并转换为大写：

jq 'map(.name | ascii_upcase)' users.json

分组（group_by() 函数）

group_by() 函数可以根据指定字段的值对数组元素进行分组。

按城市分组用户：

jq 'group_by(.city)' users.json

输出将是一个数组,其中每个元素是一个包含相同城市用户的子数组。

排序（sort, sort_by() 函数）

按年龄升序排序：

jq 'sort_by(.age)' users.json

按年龄降序排序（添加 r 前缀）：

jq 'sort_by(.age | -)' users.json
# 或者
jq 'sort_by(.age) | reverse' users.json

综合示例

假设我们有以下更复杂的JSON数组data.json，包含不同类别的产品：

[
  {
    "id": "p1",
    "category": "electronics",
    "name": "Smartphone",
    "price": 599.99,
    "in_stock": true
  },
  {
    "id": "p2",
    "category": "books",
    "name": "