Daniel Flower - DevOps 使用 AI _ 进行实验

Introduction

本文探讨了使用和编码大型语言模型（LLM）的实验性方法，强调当前对LLM潜力的探索仍处于早期阶段，需要大量实验来发掘其有效应用。

模型大型语言他们如何工作

• LLM通过接收单词序列作为输入，生成下一个单词，并重复构建句子和段落。
• 模型本身不记忆或学习，需要所有相关知识作为输入。
• LLM通过统计、概括和推理等方式猜测下一个单词，而非简单统计。

Environment监测

• 磁盘使用情况监测：每10分钟提供磁盘使用统计信息，由模型分析并识别潜在风险。
  • 提示示例：作为Linux管理员，分析磁盘挂载点使用情况，评估风险。
• GC日志监测：通过分析GC日志检测内存问题。
  • 提示示例：根据给定GC日志（Xmx256m配置），分析Java应用内存使用情况及问题。

有潜力吗?

• LLM在监控任务中表现不一，如磁盘使用情况监测过于繁琐，但可能识别复杂关联。
• 需要更多实验验证LLM的潜力。

安全审查

• 查看Git diffs：在代码审查中识别安全问题。
  • 方法：利用git diff作为LLM输入，检测潜在安全风险。
  • 示例：在JavaScript文件中移除encodeURIComponent()可能引发XSS风险。
  • 可能性：集成安全审查到构建管道，但可能存在假阳性和假阴性。

数据库应用

• SQL和JavaScript代码生成：通过LLM生成数据库查询和图表展示。
  • 示例：为Film DB数据库生成SQL查询，并用JavaScript图表展示结果。
  • 要求：明确库版本，提供示例输出，确保生成的代码安全可靠。

工程提示

• 为模型提供正确信息：LLM输入大小限制（5,000-20,000词），需简化数据库查询。
• 性能测试：验证LLM能否理解并生成有效信息。

Learnings

• 提示词至关重要，需通过实验优化模型行为。
• 明确要求（如库版本）并展示期望输出（如JSON）。
• 将生成代码视为不安全，需沙盒执行和错误检测。

Conclusion

LLM已成为新的技术超级大国，但目前仍难以完全按需使用。 处理安全和不正确响应是挑战，编码LLM需要实践。 是时候进行更多实验探索LLM的潜力。