URL过滤技术白皮书总结
1 概述
- 产生背景:随着网络安全需求增长和互联网流量爆炸,传统安全防护方法失效,网络攻击日益复杂。DPI技术应运而生,深度分析网络流量内容,催生了深度安全URL过滤功能。
- 技术优点:
- 实时分析与处理
- 动态更新
- 高度定制化
- 易于集成和扩展
- 提高用户体验
- 支持法规遵从
- 降低安全管理成本
- 支持白名单模式
- 加密流量检测
2 概念介绍
- URL:统一资源定位符,格式为
protocol://host[:port]/path/[;parameters][?query]#fragment,包含协议、主机名、端口、路径等字段。
- URL过滤:通过分析网页内容、结构、行为和信誉等维度,识别和阻断有害网站,支持静态黑白名单、URL分类和云端联动。
- URL过滤规则:分为预定义规则(百万级主机名/URI)和自定义规则(正则表达式或文本配置)。
- URL过滤规则匹配方式:文本匹配(支持通配符)和正则表达式匹配。
- URL过滤分类:分为预定义分类(不可修改,以Pre-开头)和自定义分类(可修改严重级别,1000~65535)。
- URL过滤黑/白名单规则:快速筛选报文,白名单放行,黑名单丢弃。
- URL过滤策略:配置URL过滤分类、处理动作(丢弃、允许、阻断等)、黑/白名单规则和缺省动作。
- URL过滤特征库升级与回滚:支持定期/立即自动在线升级和手动离线升级(本地/FTP/TFTP),并支持回滚到出厂版本。
- URL过滤分类云端查询:提高识别准确率,云端规则缓存在设备中。
- URL过滤日志信息筛选:仅记录网站根目录访问或指定类型网页访问。
- URL加速审计:硬件转发+CPU镜像处理,保障转发速度,仅记录日志。
- HTTPS流量过滤:通过SNI字段检测域名,无需解密,性能影响较小。
3 技术实现
- URL过滤技术原理:识别URL→匹配规则→返回结果→执行动作。
- 生成并下发URL过滤规则:包括预定义规则、自定义规则、白名单规则和黑名单规则。
- 识别报文中的URL:解析、解码和切分报文,提取Host和URI字段。
- 匹配URL过滤规则并返回匹配结果:引擎识别URL后匹配规则,返回结果给URL过滤模块。
- 处理报文:
- 白名单模式:仅允许白名单网站访问。
- URL分类模式:根据分类严重级别执行动作,黑/白名单优先级最高。
- 未匹配规则时,若开启云端查询则查询云端,否则执行缺省动作。
4 典型组网应用
- 通过URL过滤控制企业网站访问:禁止视频、游戏、直播网站,限制部门访问特定类型网站。
- 通过URL过滤控制校园网站访问:禁止学生访问游戏、购物、娱乐视频等网站,限制教师访问游戏网站。