本项目的开发初衷是为了方便检索先知社区的文章,在ctf比赛中能够基于 llm快速筛选到有用的文章并生成一个结果
本项目基于先知社区的知识内容构建了一个向量知识库,通过llm能够实现基于先知内容的回答,具体内容参见如下流程图:

知识库的文章构建范围为:7023~12923,共计2898篇
xianzhi_assistant有两种使用方式,用户可以按照知识库构建范围 在本地接入先知社区的文章,也可以使用url模式。
在env中填写gemini api:
GOOGLE_API_KEY = AIzaSyA9cKkm4U65BPksk-pVgHmclxxxxxxxxxxx
在DocumentStore中补充相应范围的先知社区文章,详细的先知文章参考范围参见xianzhi_index.json。
在DocumentStore文件夹下,新建xianzhi文件夹并将各位爬取的文章放入即可
然后按照如下方式调用即可:
python main.py --type "local" --question "k8s存在哪些漏洞" --num 3
直接运行:
python main.py --type "url" --question "k8s存在哪些漏洞" --num 3
用户可以通过--update参数指定自己本地的wp地址用于更新知识库中的文章
python main.py --update "xxxxxxx"
- 问题:k8s存在哪些漏洞
['https://xz.aliyun.com/t/12437', 'https://xz.aliyun.com/t/12055', 'https://xz.aliyun.com/t/11138', 'https://xz.aliyun.com/t/8000', 'https://xz.aliyun.com/t/11890']
## 分析安全问题
Kubernetes(k8s)是一个开源容器编排系统,它存在以下漏洞:
* **容器逃逸:**攻击者可以从容器中逃逸到主机操作系统,从而获得对底层系统的访问权限。
* **特权提升:**攻击者可以提升容器内的权限,从而获得对集群的控制权。
* **网络攻击:**攻击者可以利用网络配置错误或漏洞来访问或破坏集群中的容器。
* **数据泄露:**攻击者可以访问或窃取存储在容器中的敏感数据。
* **拒绝服务(DoS):**攻击者可以发起DoS攻击,使集群中的容器或服务不可用。
## 对参考答案的分析
参考答案1、2、3、4、5都列出了k8s存在的漏洞,但内容有所不同。
* **参考答案1**提供了最全面的漏洞列表,涵盖了容器逃逸、特权提升、网络安全、数据泄露、拒绝服务、供应链攻击、配置错误、API安全、镜像漏洞和编排漏洞。
* **参考答案2**提供了具体CVE编号的漏洞,但数量较少。
* **参考答案3**提供了与参考答案1类似的漏洞列表,但缺少了供应链攻击和编排漏洞。
* **参考答案4**没有提供任何漏洞信息。
* **参考答案5**提供了与参考答案1类似的漏洞列表,但缺少了供应链攻击和编排漏洞,并增加了Kubernetes API服务器漏洞和网络策略绕过。
## 根据有用的参考答案回答问题
根据参考答案1、3和5,k8s存在的漏洞包括:
* 容器逃逸
* 特权提升
* 网络攻击
* 数据泄露
* 拒绝服务
* 配置错误
* Kubernetes API服务器漏洞(参考答案5)
* 网络策略绕过(参考答案5)
本项目仅做研究使用,切勿用于任何违法行为
XianzhiAsistant是一个用于网络安全领域问题处理的助手工具,能够根据问题搜索相关文档并生成回答。
- 支持多种模型提供商:Gemini、OpenAI、Ollama
- 通过.env文件灵活配置模型提供商、模型名称和API密钥
- 支持本地存储和URL查询
- 自动提取和分析文档内容
- 根据问题搜索最相关的文档
-
生成综合分析结果
-
Python 3.8+
- 安装requirements.txt中的依赖
- 克隆仓库:
git clone https://github.com/yourusername/XianzhiAsistant.git
cd XianzhiAsistant
- 安装依赖:
pip install -r requirements.txt
1. 配置环境变量: 拷贝示例环境变量文件: cp .env.example .env 根据需要编辑.env文件: ```
API密钥配置
GOOGLE_API_KEY=your_google_api_key_here
OPENAI_API_KEY=your_openai_api_key_here
默认模型配置
DEFAULT_MODEL_PROVIDER=gemini # 可选: gemini, openai, ollama
DEFAULT_MODEL_NAME= # 为空时使用各提供商的默认模型
Gemini模型配置
DEFAULT_GEMINI_MODEL=gemini-pro # 可选: gemini-pro, gemini-1.5-pro-latest等
DEFAULT_GEMINI_EMBEDDING_MODEL=models/embedding-001 # Gemini嵌入模型
OpenAI模型配置
DEFAULT_OPENAI_MODEL=gpt-3.5-turbo # 可选: gpt-3.5-turbo, gpt-4, gpt-4-turbo等
DEFAULT_OPENAI_EMBEDDING_MODEL=text-embedding-ada-002 # OpenAI嵌入模型
Ollama模型配置
OLLAMA_BASE_URL=http://localhost:11434 # Ollama服务URL
DEFAULT_OLLAMA_MODEL=llama2 # 可选: llama2, llama3, mistral等
向量库配置
DEFAULT_VECTOR_DB_DIR=vectorStore # 向量库目录
DEFAULT_NUM_RESULTS=5 # 默认查询结果数
通过.env文件,您可以灵活配置所有模型参数:
| 环境变量 | 说明 | 默认值 |
|---|---|---|
| GOOGLE\_API\_KEY | Google API密钥 | 无 |
| OPENAI\_API\_KEY | OpenAI API密钥 | 无 |
| DEFAULT\_MODEL\_PROVIDER | 默认模型提供商 | gemini |
| DEFAULT\_MODEL\_NAME | 通用默认模型名称 | 无 |
| DEFAULT\_GEMINI\_MODEL | Gemini模型名称 | gemini-pro |
| DEFAULT\_GEMINI\_EMBEDDING\_MODEL | Gemini嵌入模型 | models/embedding-001 |
| DEFAULT\_OPENAI\_MODEL | OpenAI模型名称 | gpt-3.5-turbo |
| DEFAULT\_OPENAI\_EMBEDDING\_MODEL | OpenAI嵌入模型 | text-embedding-ada-002 |
| OLLAMA\_BASE\_URL | Ollama服务地址 | [http://localhost:11434](http://localhost:11434) |
| DEFAULT\_OLLAMA\_MODEL | Ollama模型名称 | llama2 |
| DEFAULT\_VECTOR\_DB\_DIR | 向量库存储目录 | vectorStore |
| DEFAULT\_NUM\_RESULTS | 默认查询结果数量 | 5 |
模型选择的优先级从高到低:
1. 命令行参数 (--model, --model\_name)
2. 环境变量 DEFAULT\_MODEL\_NAME
3. 提供商特定的环境变量 (DEFAULT\_GEMINI\_MODEL, DEFAULT\_OPENAI\_MODEL, DEFAULT\_OLLAMA\_MODEL)
4. 代码内置默认值
DEFAULT_MODEL_PROVIDER=gemini
DEFAULT_GEMINI_MODEL=gemini-1.5-pro-latest # 使用1.5版本
DEFAULT_MODEL_PROVIDER=openai
DEFAULT_OPENAI_MODEL=gpt-4-turbo # 使用GPT-4 Turbo
DEFAULT_MODEL_PROVIDER=ollama
DEFAULT_OLLAMA_MODEL=llama3 # 使用Llama 3
OLLAMA_BASE_URL=http://192.168.1.100:11434 # 自定义Ollama服务地址
将PDF文档添加到向量库中:
`python main.py --update /path/to/pdf/folder`
这将使用.env文件中配置的默认模型提供商和模型名称。也可以在命令行指定:
`python main.py --update /path/to/pdf/folder --model openai --model_name gpt-4`
使用本地存储查询,使用.env中配置的默认模型:
`python main.py --type local --question "你的问题"`
使用URL查询,覆盖.env中的默认配置:
`python main.py --type url --question "你的问题" --num 10 --model openai --model_name gpt-4`
- `--type`: 查询类型,可选`local`或`url`
- `--question`: 要查询的问题
- `--num`: 返回的相似文档数量,未指定时使用.env中的配置
- `--update`: 要添加的PDF文件夹路径
- `--model`: 模型提供商,可选`gemini`, `openai`或`ollama`,未指定时使用.env中的配置
- `--model_name`: 指定模型名称,未指定时使用.env中的配置
要使用Ollama模型:
1. 从[Ollama官网](https://ollama.ai/)下载并安装Ollama
2. 拉取您想要使用的模型:
`ollama pull llama2`
1. 运行Ollama服务
2. 在.env文件中设置:
DEFAULT_MODEL_PROVIDER=ollama
DEFAULT_OLLAMA_MODEL=llama2 # 或您拉取的其他模型
OLLAMA_BASE_URL=http://localhost:11434 # 如果服务不在默认地址
要使用OpenAI模型:
1. 在.env文件中设置您的API密钥:
OPENAI_API_KEY=your_openai_api_key
DEFAULT_MODEL_PROVIDER=openai
DEFAULT_OPENAI_MODEL=gpt-4 # 或其他模型,如gpt-3.5-turbo
```
- 对于Ollama模型,确保Ollama服务已在本地运行
- 对于OpenAI和Google Gemini模型,确保已设置正确的API密钥
- 向量库存储在不同的目录中,每个模型提供商有自己的向量库