Git 是如何检测本地 commit 中包含敏感信息的？背后的技术原理解析

Git 是如何检测本地 commit 中包含敏感信息的？背后的技术原理解析

社区有朋友提到：

最新在提交代码的时候，git直接监测出来了存在秘钥信息不让提交，是如何做到的？

本文咱们就来聊聊这个话题。

Git 是一个分布式版本控制系统，被广泛用于管理软件项目的源代码。它在团队协作和历史记录管理中扮演了重要角。然而，由于代码仓库的公开性，敏感信息（如 API 密钥、私有凭证等）的泄露风险也随之增加。为了帮助开发者避免这种问题，Git 引入了多种防护机制。

一种常见的场景是，当用户试图提交代码时，Git 会自动扫描提交内容并阻止包含敏感信息的提交。这种能力的背后依赖于钩子（Hooks）机制和检测算法。

Git 的敏感信息检测主要依赖于以下几个技术要素：

1. Git Hooks 的应用

Git 提供了一个灵活的钩子机制，允许用户在特定操作发生时运行脚本。检测敏感信息的功能通常由 pre-commit 钩子实现。pre-commit 钩子是在用户运行 git commit 时被触发的，它可以在提交被真正记录到仓库之前对暂存区的内容进行检查。

1. 敏感信息的识别逻辑

检测算法是整个过程的核心。典型的检测逻辑包括：

• 正则表达式匹配：通过预定义的规则，例如匹配特定格式的字符串（如 API 密钥、JWT Token、AWS 凭证等）。
• 关键字检测：检测代码中是否包含某些常见敏感字段，如 password、secret。
• 机器学习模型（部分高级工具使用）：通过训练模型识别敏感数据的潜在模式。
• 扫描工具的集成 在 pre-commit 钩子中，可以集成第三方工具来完成检测任务。例如，git-secrets 和 truffleHog 是常用的开源工具，它们可以扫描提交中的敏感信息并提供详细报告。
• 配置文件和规则集 大多数检测工具允许用户定义规则集和配置文件，以便根据实际需求调整敏感信息的检测范围。通常，规则集包含： - 文件排除规则（如忽略 .env 文件）。 - 特定路径或文件类型的检测策略。 - 自定义正则表达式。

我们来看一个基于 git-secrets 的实现示例。

以下步骤展示了如何设置和运行检测敏感信息的功能。

1. 安装 git-secrets

在系统中安装 git-secrets 工具：

# 通过包管理器安装
git clone .git
cd git-secrets
sudo make install

2. 在 Git 仓库中启用检测

运行以下命令，为当前仓库添加钩子：

cd your-repo
git secrets --install
git secrets --register-aws

git secrets --install 会在仓库的 .git/hooks 目录下安装相应的钩子脚本。git secrets --register-aws 会自动添加针对 AWS 凭证的检测规则。

. 添加自定义检测规则

可以使用正则表达式自定义规则。例如，检测含有 API_KEY 字样的内容：

git secrets --add 'API_KEY=[A-Za-z0-9]+'

4. 验证检测功能

创建一个包含敏感信息的文件，并尝试提交：

echo "API_KEY=12456789abcdef" > 
git add 
git commit -m "Add secret file"

提交时，钩子会阻止操作并输出警告信息。

上述示例展示了检测敏感信息的具体实现流程。其背后的技术原理可以分解如下：

1. 钩子的触发机制
   • 当用户运行 git commit 命令时，Git 会自动检查 .git/hooks/pre-commit 脚本是否存在。
   • 如果存在，该脚本会在提交操作继续之前被执行。
2. 暂存区内容的扫描
   • 钩子脚本通过 git diff --cached 命令获取暂存区中所有变更内容。
   • 这些内容会被逐行读取并与检测规则进行匹配。
3. 匹配逻辑的执行
   • 每行代码会依次与规则集中定义的正则表达式匹配。
   • 如果检测到违规内容，脚本会返回非零退出码，从而阻止提交。

本地检测的优势在于实时性和用户自主性。它可以帮助开发者在提交前发现问题，从而避免敏感信息进入远程仓库。

本文这个简单的例子，还存在很多可以进一步优化的空间：

1. 减少误报：通过更精确的正则表达式和排除规则，避免误报干扰开发。
2. 提高性能：对大型项目，使用增量扫描技术，仅检测变更部分。
3. 集成多层检测：结合静态代码分析工具，覆盖更广泛的安全场景。