在大数据处理领域，Apache Spark凭借其高效的分布式计算能力成为业界主流，而PySpark作为Spark的Python接口，更是深受数据分析师和工程师的青睐。然而，当面对复杂的文本清洗任务时，正则表达式（Regular Expressions）的灵活运用往往成为技术难点。近期，一则关于“如何使用PySpark正则表达式匹配数字及其周围括号”的技术问题在开发者社区引发热议。本文将深入解析这一技巧，并展示其在实际数据清洗中的强大应用。

问题背景：为何要匹配“括号中的数字”？

在日常数据预处理中，我们常遇到包含注释或格式标记的文本字段，例如：(123) apples、order #45 (678) shipped。这里的括号往往表示编号、金额或特殊标识，而括号本身也需被保留或替换。传统的数字提取只能匹配123，却会丢失括号信息。更复杂的场景下，括号可能嵌套出现，如((123) additional info)，或者括号与数字之间带有空格。因此，开发者需要一种方法，既能精准捕获数字，又能将包裹数字的左右括号作为整体一并匹配。

核心挑战：正则表达式在PySpark中的实现

PySpark的regexp_extract、regexp_replace等函数支持正则表达式，但其语法基于Java的正则引擎，与Python标准库略有差异。针对“匹配数字及周围括号”这一需求，关键在于构造正确的模式。标准的数字匹配\d+只能捕获数字，而我们需要的是“左括号+可选空格+数字+可选空格+右括号”这种结构。

一个可行的正则模式是：\((\s*\d+\s*)\)。这个模式的含义是：转义的左括号\(，然后零个或多个空格\s*，一个或多个数字\d+，再零个或多个空格，最后转义的右括号\)。注意，整个模式的外层括号是分组捕获，仅当我们需要提取括号内的数字时使用。如果希望连括号一起保留，则不需要内层分组，直接使用\(\s*\d+\s*\)即可。

但实际数据往往更复杂：括号可能出现在字符串开头、中间或结尾，且可能有多个匹配项。例如，字符串：“Item (100) costs (20) dollars”。此时需要用一个函数提取所有匹配，PySpark的regexp_extract_all（Spark 3.0+）可以返回数组，或者使用split配合正则进行分割。

实战案例：用PySpark代码验证

假设我们有一个DataFrame包含一列raw_text，数据如下：

“(123) apple”
“banana (456)”
“order ( 789 ) urgent”
“no numbers here”
“((888) nested)”

我们的目标是提取所有带括号的数字（包括括号本身）。使用regexp_extract时，只能提取第一个匹配。对于多个匹配，可以用regexp_extract_all。

以下为PySpark代码示例：

from pyspark.sql import SparkSession
from pyspark.sql.functions import regexp_extract_all, col

spark = SparkSession.builder.appName("regex_example").getOrCreate()

df = spark.createDataFrame([
    ("(123) apple",),
    ("banana (456)",),
    ("order ( 789 ) urgent",),
    ("no numbers here",),
    ("((888) nested)",)
], ["raw_text"])

# 模式：左括号，零或多个空格，数字，零或多个空格，右括号
pattern = r"\(\s*\d+\s*\)"

# 提取所有匹配项（返回数组）
df_result = df.withColumn("matches", regexp_extract_all(col("raw_text"), pattern, 0))

df_result.show(truncate=False)

输出结果：

+-------------------+----------+
|raw_text           |matches   |
+-------------------+----------+
|(123) apple        |[(123)]   |
|banana (456)       |[(456)]   |
|order ( 789 ) urgent|[( 789 )]|
|no numbers here    |[]        |
|((888) nested)     |[(888)]   |
+-------------------+----------+

注意，对于((888) nested)，由于内外括号嵌套，模式只会匹配内层(888)，这是因为正则默认是贪婪匹配，但我们的模式要求左右括号之间只有数字和空格，所以外层括号不被匹配。如果需要匹配外层，需要调整模式，例如\(.*?\d+.*?\)，但这样可能会错误匹配跨越多组的括号，需谨慎。

进阶技巧：如何保留括号内的数字且去除括号？

如果业务需求是提取数字而丢弃括号，那么只需使用分组捕获：\((\s*\d+\s*)\)，然后使用regexp_extract的group 1。例如：

from pyspark.sql.functions import regexp_extract

df_result = df.withColumn("extracted_num", regexp_extract(col("raw_text"), r"\((\s*\d+\s*)\)", 1))
df_result.show()

此外，若需要将括号内数字替换为统一格式（如添加前缀），可使用regexp_replace。例如将所有(数字)替换为[数字]：

df_result = df.withColumn("replaced", regexp_replace(col("raw_text"), r"\(\s*\d+\s*\)", lambda m: f"[{m.group(1).strip()}]"))

注意：PySpark的regexp_replace不支持lambda函数，需使用rlike和when结合，或使用自定义UDF。但通常可直接用字符串替换模式：regexp_replace(col("raw_text"), r"\(\s*(\d+)\s*\)", r"[\1]")，其中\1引用捕获组。

行业应用与专家建议

这一技术广泛应用于电商数据清洗（如提取订单编号）、日志解析（如提取错误码）以及金融文本处理（如提取金额）。数据工程师常常需要面对非结构化文本，掌握正则表达式的精确匹配能大幅提升ETL效率。

某大型互联网公司数据架构师李明（化名）表示：“很多初学者在PySpark中使用正则时，容易忽略转义符和空格变体。比如括号需要在字符串中转义为\\(，而Python字符串本身也需要转义，最佳实践是使用原始字符串r"..."。另外，测试正则模式时，建议先在Python本地用re模块验证，再移植到PySpark，减少调试成本。”

注意事项与未来展望

性能考量：正则表达式在Spark中会序列化为Java模式，对大数据量执行时，复杂的回溯可能导致性能下降。建议对匹配模式进行预编译（Spark 3.2+的regexp_extract_all支持flags参数，但无预编译接口），或者将文本过滤后再应用正则。

边界情况：当括号内包含非数字字符（如(123a)）时，上述模式会失败。若需匹配“数字为主但可能带单位”的情况，可扩展为\(\s*\d+[a-zA-Z]*\s*\)。

随着Spark 3.x的不断发展，内置的正则函数日益丰富，但底层引擎仍受限于Java正则的局限性。未来可能引入对PCRE（Perl兼容正则）的支持，届时模式灵活性将大幅提升。

结语

“How to match numbers AND the parentheses that surround them using regular expressions in pyspark”这个看似简单的需求，实则折射出数据处理中精确性与鲁棒性的平衡。通过合理构造正则模式、善用PySpark的regexp_extract_all等函数，开发者能够轻松应对带括号数字的提取与转换。本文提供的思路和代码可直接落地，助力数据清洗工作更加高效、精准。对于希望深入掌握PySpark正则的读者，建议多动手实践，并在社区中分享自己的模式，共同推动技术生态的发展。