低效正则表达式¶

ID: py/redos
Kind: problem
Security severity: 7.5
Severity: error
Precision: high
Tags:
   - security
   - external/cwe/cwe-1333
   - external/cwe/cwe-730
   - external/cwe/cwe-400
Query suites:
   - python-code-scanning.qls
   - python-security-extended.qls
   - python-security-and-quality.qls

点击查看 CodeQL 代码库中的查询

某些正则表达式需要很长时间才能将某些输入字符串与之匹配，以至于匹配长度为 n 的字符串所需的时间与 n^k 甚至 2ⁿ 成正比。此类正则表达式会对性能产生负面影响，甚至允许恶意用户通过为正则表达式构造昂贵的输入字符串来执行拒绝服务（“DoS”）攻击。

Python 提供的正则表达式引擎使用回溯非确定性有限自动机来实现正则表达式匹配。虽然这种方法在空间上效率很高，并且支持捕获组等高级功能，但它在时间上通常效率不高。这种自动机的最坏情况时间复杂度可能是多项式甚至指数级，这意味着对于某些形状的字符串，将输入长度增加十个字符可能会使自动机慢约 1000 倍。

通常，如果正则表达式包含 r* 或 r+ 形式的重复，则正则表达式会受到此问题的困扰，其中子表达式 r 是模棱两可的，因为它可以以多种方式匹配某些字符串。有关确切情况的更多信息，请参阅参考资料。

建议¶

修改正则表达式以消除歧义，或确保与正则表达式匹配的字符串足够短，以至于时间复杂度无关紧要。

示例¶

考虑以下正则表达式

^_(__|.)+_$

它的子表达式 "(__|.)+?" 可以通过 "|" 运算符左侧的第一个备选方案 "__" 匹配字符串 "__"，也可以通过右侧第二个备选方案 "." 的两次重复匹配。因此，由奇数个下划线后跟其他字符组成的字符串将导致正则表达式引擎在拒绝输入之前运行指数级的时间。

可以通过重写正则表达式以消除重复内部备选方案的两个分支之间的歧义来避免此问题

^_(__|[^_])+_$

参考资料¶

OWASP: 正则表达式拒绝服务 - ReDoS.
维基百科: ReDoS.
维基百科: 时间复杂度.
James Kirrage, Asiri Rathnayake, Hayo Thielecke: 针对正则表达式拒绝服务攻击的静态分析.
常见漏洞枚举: CWE-1333.
常见漏洞枚举: CWE-730.
常见漏洞枚举: CWE-400.

©GitHub, Inc.
条款
隐私