URL 过滤技术白皮书

URL过滤技术白皮书总结

1 概述

• 产生背景：随着网络安全需求增长和互联网流量爆炸，传统安全防护方法失效，网络攻击日益复杂。DPI技术应运而生，深度分析网络流量内容，催生了深度安全URL过滤功能。
• 技术优点：
  • 实时分析与处理
  • 动态更新
  • 高度定制化
  • 易于集成和扩展
  • 提高用户体验
  • 支持法规遵从
  • 降低安全管理成本
  • 支持白名单模式
  • 加密流量检测

2 概念介绍

• URL：统一资源定位符，格式为protocol://host[:port]/path/[;parameters][?query]#fragment，包含协议、主机名、端口、路径等字段。
• URL过滤：通过分析网页内容、结构、行为和信誉等维度，识别和阻断有害网站，支持静态黑白名单、URL分类和云端联动。
• URL过滤规则：分为预定义规则（百万级主机名/URI）和自定义规则（正则表达式或文本配置）。
• URL过滤规则匹配方式：文本匹配（支持通配符）和正则表达式匹配。
• URL过滤分类：分为预定义分类（不可修改，以Pre-开头）和自定义分类（可修改严重级别，1000～65535）。
• URL过滤黑/白名单规则：快速筛选报文，白名单放行，黑名单丢弃。
• URL过滤策略：配置URL过滤分类、处理动作（丢弃、允许、阻断等）、黑/白名单规则和缺省动作。
• URL过滤特征库升级与回滚：支持定期/立即自动在线升级和手动离线升级（本地/FTP/TFTP），并支持回滚到出厂版本。
• URL过滤分类云端查询：提高识别准确率，云端规则缓存在设备中。
• URL过滤日志信息筛选：仅记录网站根目录访问或指定类型网页访问。
• URL加速审计：硬件转发+CPU镜像处理，保障转发速度，仅记录日志。
• HTTPS流量过滤：通过SNI字段检测域名，无需解密，性能影响较小。

3 技术实现

• URL过滤技术原理：识别URL→匹配规则→返回结果→执行动作。
• 生成并下发URL过滤规则：包括预定义规则、自定义规则、白名单规则和黑名单规则。
• 识别报文中的URL：解析、解码和切分报文，提取Host和URI字段。
• 匹配URL过滤规则并返回匹配结果：引擎识别URL后匹配规则，返回结果给URL过滤模块。
• 处理报文：
  • 白名单模式：仅允许白名单网站访问。
  • URL分类模式：根据分类严重级别执行动作，黑/白名单优先级最高。
  • 未匹配规则时，若开启云端查询则查询云端，否则执行缺省动作。

4 典型组网应用

• 通过URL过滤控制企业网站访问：禁止视频、游戏、直播网站，限制部门访问特定类型网站。
• 通过URL过滤控制校园网站访问：禁止学生访问游戏、购物、娱乐视频等网站，限制教师访问游戏网站。