ClaudeMap

Agentic Misalignment Research

Anthropic 关于 agent 在 prompt injection 与利益冲突下行为表现的实验性研究。

教程与指南anthropicsafetyresearchagents
访问项目anthropic-experimental/agentic-misalignment

Anthropic 的 agentic misalignment 研究仓库：论文、数据集与探针，研究 LLM agent 在面对 prompt injection、目标冲突或模拟用户施压时的行为。适合发布生产级 agent 的团队作为安全参考。

它做什么

  • 用虚构场景探测前沿模型行为的研究框架——场景包括勒索与信息泄露，研究出现 agentic misalignment 行为的潜在可能
  • 三步流水线：scripts/generate_prompts.py → run_experiments.py → classify_results.py，为每条回复标注 classification.harmful_behavior 真假
  • 组合式实验设计：场景（谋杀、勒索、泄露）× 目标类型（显式、无、潜在、歧义、交换）× 紧迫类型（替换、限制、无）
  • 跨 5 家提供商（Anthropic、OpenAI、Google、Together、OpenRouter）跑 40+ 个模型，支持提供商级并行（提速 3–4 倍）、限流处理与中断自动恢复

什么时候用

适合发布生产级 agent 的团队作安全参考：用自备配置复现 Anthropic 的失齐探针（configs/example_experiment_config.yaml），或把场景矩阵扩展到你自己的虚构场景。

如何上手

git clone https://github.com/anthropic-experimental/agentic-misalignment.git
cd agentic-misalignment
python -m venv venv && source venv/bin/activate
pip install -r requirements.txt
cp .env.example .env  # 填入各提供商 API key

生成提示词与跑实验带 --config configs/example_experiment_config.yaml（scripts/generate_prompts.py、scripts/run_experiments.py），分类用 scripts/classify_results.py --results-dir results/[experiment_id]。

注意事项

托管在 anthropic-experimental 组织下。需要多家提供商的 API key（Anthropic／OpenAI／Google／Together／OpenRouter）；遇到限流报错时在配置里调低提供商并发。

代码仓库

anthropic-experimental/agentic-misalignment

收录日期

地图上的相关资源