时间:2022-09-02 23:31:14 | 浏览:3573
Web 代理软件转发 HTTP 请求时并不会改变数据流量。它们可以配置成透明代理,而无需客户端配置。它们还可以作为反向代理放在网站的前端;这样缓存服务器可以为一台或多台 web 服务器提供无限量的用户服务。
网站代理功能多样,有着宽泛的用途:从缓存页面、DNS 和其他查询,到加速 web 服务器响应、降低带宽消耗。代理软件广泛用于大型高访问量的网站,比如纽约时报、卫报, 以及社交媒体网站如 Twitter、Facebook 和 Wikipedia。
页面缓存已经成为优化单位时间内所能吞吐的数据量的至关重要的机制。好的 Web 缓存还能降低延迟,尽可能快地响应页面,让终端用户不至于因等待内容的时间过久而失去耐心。它们还能将频繁访问的内容缓存起来以节省带宽。如果你需要降低服务器负载并改善网站内容响应速度,那缓存软件能带来的好处就绝对值得探索一番。
为深入探查 Linux 下可用的相关软件的质量,我列出了下边5个优秀的开源 web 代理工具。它们中有些功能完备强大,也有几个只需很低的资源就能运行。
Squid
Squid 是一个高性能、开源的代理缓存服务器和 Web 缓存进程,支持 FTP、Internet Gopher、HTTPS 和 SSL 等多种协议。它通过一个非阻塞的、I/O 事件驱动的单一进程处理所有的 IPV4 或 IPV6 协议请求。
Squid 由一个主服务程序 squid,和 DNS 查询程序 dnsserver,另外还有一些可选的请求重写、执行认证程序组件,及一些管理和客户端工具构成。
Squid 提供了丰富的访问控制、认证和日志环境, 用于开发 web 代理和内容服务网站应用。
其特性包括:
Web 代理:
通过缓存来降低访问时间和带宽使用
将元数据和访问特别频繁的对象缓存到内存中
缓存 DNS 查询
支持非阻塞的 DNS 查询
实现了失败请求的未果缓存
Squid 缓存可架设为层次结构,或网状结构以节省额外的带宽
通过广泛的访问控制来执行网站访问策略
隐匿请求,如禁用或修改客户端 HTTP 请求头特定属性
反向代理
限制
支持 SSL
支持 IPv6
错误页面的本地化 - Squid 可以根据访问者的语言选项对每个请求展示本地化的错误页面
(用于 NTLM Auth Passthrough) - 一种允许 Web 服务器通过 Web 代理使用Microsoft NTLM 安全认证替代 HTTP 标准认证的方案
支持
流
选择一个 TOS/Diffserv 值来标记本地命中
选择一个 TOS/Diffserv 值来标记对端命中
选择性地仅标记同级或上级请求
允许任意发往客户端的 HTTP 响应保持由远程服务器处响应的 TOS 值
对收到的远程服务器的 TOS 值,在复制之前对指定位进行掩码操作,再发送到客户端
SSL Bump (用于 HTTPS 过滤和适配) - Squid-in-the-middle,在 CONNECT 方式的 SSL 隧道中,用配置化的客户端和服务器端证书,对流量进行解密和加密
支持适配模块
ICAP 旁路和重试增强 - 通过完全的旁路和动态链式路由扩展 ICAP,来处理多多个适应性服务。
支持 ICY 流式协议 - 俗称 SHOUTcast 多媒体流
动态 SSL 证书生成
支持 ICAP 协议 (Internet Content Adaptation Protocol)
完整的请求日志记录
匿名连接
网站:www.squid-cache.org[1]
开发: 美国国家应用网络研究实验室(NLANR)和网络志愿者
授权: GNU GPL v2
版本号: 4.0.1
Privoxy
Privoxy (Privacy Enhancing Proxy) 是一个非缓存类 Web 代理软件,它自带的高级过滤功能可以用来增强隐私保护、修改页面内容和 HTTP 头部信息、访问控制,以及去除广告和其它招人反感的互联网垃圾。Privoxy 的配置非常灵活,能充分定制已满足各种各样的需求和偏好。它支持单机和多用户网络两种模式。
Privoxy 使用 action 规则来处理浏览器和远程站点间的数据流。
其特性包括:
高度配置化——可以完全定制你的配置
广告拦截
Cookie 管理
支持“Connection: keep-alive”。可以无视客户端配置而保持外发的持久连接
支持 IPv6
,允许按照客户端和服务器的请求头进行处理
作为
代理器运行
巧妙的
和过滤机制用来处理服务器和客户端的 HTTP 头部
可以与其他代理软件链式使用
整合了基于浏览器的配置和控制工具,能在线跟踪规则和过滤效果,可远程开关
页面过滤(文本替换、根据尺寸大小删除广告栏, 隐藏的“web-bugs”元素和 HTML 容错等)
模块化的配置使得标准配置和用户配置可以存放于不同文件中,这样安装更新就不会覆盖用户的个性化设置
配置文件支持 Perl 兼容的正则表达式,以及更为精妙和灵活的配置语法
GIF 去动画
旁路处理大量
脚本(避免脚本重定向)
大多数代理生成的页面(例如 "访问受限" 页面)可由用户自定义HTML模板
自动监测配置文件的修改并重新读取
大多数功能可以基于每个站点或每个 URL 位置来进行控制
网站:www.privoxy.org[2]
开发: Fabian Keil(开发领导者), David Schmidt, 和众多其他贡献者
授权: GNU GPL v2
版本号: 3.4.2
Varnish Cache
Varnish Cache 是一个为性能和灵活性而生的 web 加速器。它新颖的架构设计能带来显著的性能提升。根据你的架构,通常情况下它能加速响应速度300-1000倍。Varnish 将页面存储到内存,这样 web 服务器就无需重复地创建相同的页面,只需要在页面发生变化后重新生成。页面内容直接从内存中访问,当然比其他方式更快。
此外 Varnish 能大大提升响应 web 页面的速度,用在任何应用服务器上都能使网站访问速度大幅度地提升。
按经验,Varnish Cache 比较经济的配置是1-16GB内存+ SSD 固态硬盘。
其特性包括:
新颖的设计
VCL - 非常灵活的配置语言。VCL 配置会转换成 C,然后编译、加载、运行,灵活且高效
能使用 round-robin 轮询和随机分发两种方式来负载均衡,两种方式下后端服务器都可以设置权重
基于 DNS、随机、散列和客户端 IP 的
多台后端主机间的负载均衡
支持 Edge Side Includes,包括拼装压缩后的 ESI 片段
重度多线程并发
URL 重写
单 Varnish 能够缓存多个虚拟主机
日志数据存储在共享内存中
基本的后端服务器健康检查
优雅地处理后端服务器“挂掉”
命令行界面的管理控制台
使用内联 C 语言来扩展 Varnish
可以与 Apache 用在相同的系统上
单个系统可运行多个 Varnish
支持 HAProxy 代理协议。该协议在每个收到的 TCP 请求——例如 SSL 终止过程中——附加一小段 http 头信息,以记录客户端的真实地址
冷热 VCL 状态
可以用名为 VMOD 的 Varnish 模块来提供插件扩展
通过 VMOD 定义后端主机
Gzip 压缩及解压
HTTP 流的通过和获取
神圣模式和优雅模式。用 Varnish 作为负载均衡器,神圣模式下可以将不稳定的后端服务器在一段时间内打入黑名单,阻止它们继续提供流量服务。优雅模式允许 Varnish 在获取不到后端服务器状态良好的响应时,提供已过期版本的页面或其它内容。
实验性支持持久化存储,无需 LRU 缓存淘汰
网站:www.varnish-cache.org[3]
开发: Varnish Software
授权: FreeBSD
版本号: 4.1.0
Polipo
Polipo 是一个开源的 HTTP 缓存代理,只需要非常低的资源开销。
它监听来自浏览器的 web 页面请求,转发到 web 服务器,然后将服务器的响应转发到浏览器。在此过程中,它能优化和整形网络流量。从本质来讲 Polipo 与 WWWOFFLE 很相似,但其实现技术更接近于 Squid。
Polipo 最开始的目标是作为一个兼容 HTTP/1.1 的代理,理论它能在任何兼容 HTTP/1.1 或更早的 HTTP/1.0 的站点上运行。
其特性包括:
HTTP 1.1、IPv4 & IPv6、流量过滤和隐私保护增强
如确认远程服务器支持的话,则无论收到的请求是管道处理过的还是在多个连接上同时收到的,都使用 HTTP/1.1
下载被中断时缓存起始部分,当需要续传时用
请求来完成下载
将 HTTP/1.0 的客户端请求升级为 HTTP/1.1,然后按照客户端支持的级别进行升级或降级后回复
全面支持 IPv6 (作用域(链路本地)地址除外)
作为 IPv4 和 IPv6 网络的网桥
内容过滤
能使用
降低延迟
支持 SOCKS 4 和 SOCKS 5 协议
HTTPS 代理
扮演透明代理的角色
可以与 Privoxy 或 tor 一起运行
网站
:www.pps.univ-paris-diderot.fr/~jch/software/polipo/[4]
开发: Juliusz Chroboczek, Christopher Davis
授权: MIT License
版本号: 1.1.1
Tinyproxy
Tinyproxy 是一个轻量级的开源 web 代理守护进程,其设计目标是快而小。它适用于需要完整 HTTP 代理特性,但系统资源又不足以运行大型代理的场景,比如嵌入式部署。
Tinyproxy 对小规模网络非常有用,这样的场合下大型代理会使系统资源紧张,或有安全风险。Tinyproxy 的一个关键特性是其缓冲连接的理念。从效果上看, Tinyproxy 对服务器的响应进行了高速缓冲,然后按照客户端能够处理的最高速度进行响应。该特性极大的降低了网络延滞带来的问题。
特性:
易于修改
隐匿模式 - 定义哪些 HTTP 头允许通过,哪些又会被拦截
支持 HTTPS - Tinyproxy 允许通过 CONNECT 方法转发 HTTPS 连接,任何情况下都不会修改数据流量
远程监控 - 远程访问代理统计数据,让你能清楚了解代理服务当前的忙碌状态
平均负载监控 - 通过配置,当服务器的负载接近一定值后拒绝新连接
访问控制 - 通过配置,仅允许指定子网或 IP 地址的访问
安全 - 运行无需额外权限,减小了系统受到威胁的概率
基于 URL 的过滤 - 允许基于域和URL的黑白名单
透明代理 - 配置为透明代理,这样客户端就无需任何配置
代理链 - 在流量出口处采用上游代理服务器,而不是直接转发到目标服务器,创建我们所说的代理链
隐私特性 - 限制允许从浏览器收到的来自 HTTP 服务器的数据(例如 cookies),同时限制允许通过的从浏览器到 HTTP 服务器的数据(例如版本信息)
低开销 - 使用 glibc 内存开销只有2MB,CPU 负载按并发连接数线性增长(取决于网络连接速度)。 Tinyproxy 可以运行在老旧的机器上而无需担心性能问题。
网站:banu.com/tinyproxy[5]
开发: Robert James Kaes和其他贡献者
授权: GNU GPL v2
版本号: 1.8.3
译者:fw8899[6]校对:wxy[7]
本文由LCTT[8]原创编译,Linux中国荣誉推出
[1]: http://www.squid-cache.org/
[2]: http://www.privoxy.org/
[3]: https://www.varnish-cache.org/
[4]: http://www.pps.univ-paris-diderot.fr/%7Ejch/software/polipo/
[5]: https://banu.com/tinyproxy/
[6]: https://github.com/fw8899
[7]: https://github.com/wxy
[8]: https://github.com/LCTT/TranslateProject
推荐文章
ID | 点击标题或输入文章 ID 直达该文章 |
---|---|
30 | 2002年,程序员和 Unix 大神们的桌面长啥样? |
868 | 编程走火入魔的十个迹象,你中枪了吗? |
1606 | 每天工作4小时的程序员 |
3564 | 哪个文件系统最适合你的 Linux 系统? |
将文章分享给朋友是对我们最好的赞赏!
Web 代理软件转发 HTTP 请求时并不会改变数据流量。它们可以配置成透明代理,而无需客户端配置。它们还可以作为反向代理放在网站的前端;这样缓存服务器可以为一台或多台 web 服务器提供无限量的用户服务。网站代理功能多样,有着宽泛的用途:
Web服务器是指在网络环境下提供网络信息浏览服务的某类计算机程序。Web服务器一般可以为向其发出请求的浏览器等Web客户端提供文档、网站文件或者数据文件。Web服务器是目前使用范围最广的服务器之一,是推进世界信息迅速流动的主要原因之一。We
过去一年,NFT在元宇宙概念的推动下强势出圈,吸引国内外众多玩家纷纷入场;用户对NFT的接受速度也持续增强,数字藏品发售秒光成为常态。NonFungible数据显示,去年NFT交易量近180亿美元,同比增长超过200倍。
本报记者 李昆昆 李正豪 北京报道8月16日,腾讯方面宣布,旗下的NFT交易软件幻核正式停售数字藏品发行,同时宣称所有通过其平台购买过数字藏品的用户可自行选择继续持有或发起退款申请。腾讯方面向《中国经营报》记者强调,所有在幻核购买过数字藏品。
21世纪经济报道记者骆轶琪 广州报道虽然目前对于Web3.0的全貌还没能有完整图鉴,但其中一大核心应用NFT(非同质化代币)无疑已经率先火热了起来。东方证券指出,2021年1月至8月,交。由于交易额大涨,2021年被一部分人视为是NFT元年。
北京市政府宣布了一项为期两年的元宇宙创新发展计划,重点是促进元宇宙相关产业的发展,帮助北京建设数字经济的标杆城市。该行动计划要求所有地区在城市一级建设技术基础设施,并促进其在包括教育和旅游在内的各个领域的使用。北京市政府所在地通州区将主导发
在上一篇,三林写过关于欧美主流NFT数字藏品IP——无聊猿是如何风靡全球(感兴趣的朋友可以戳右侧标题阅读:谁在花百万美金购买这只虚拟“猿猴”?),有朋友留言表示看得不是特别明白,本文就借介绍国内NFT市场的机会,再帮大家厘清区块链领域几个热
令人失望的财报数据,似乎正在进一步佐证,互联网巨头们的“老故事”已接近尾声。而这些正在“跌落神坛”的巨头们,急需下一个“神话”来“续命”。Facebook母公司Meta(FB.US)公布的2022年一季度财报显示,在总营收较去年同比增长7%
似乎人人都在期待着Web3革命的发生。在Web3的概念里,未来每位用户都将是参与经营互联网环境的缔造者,而不是现在作为平台产生流量赚取广告费的工具人。Web3有着利于互联网“消除权威”的重要特征,甚至有种说法是Web3将是一场公众对抗巨头的
数字藏品在国内刚火不到半年,就迎来了第一次洗牌。据《界面》报道,腾讯正计划在本周裁撤「幻核」业务。腾讯幻核是腾讯旗下的数字藏品平台,上线于 2021 年 8 月,至今尚不满一年。幻核隶属于腾讯 PCG,是该部门的创新业务。根据《华夏时报》,
一夜之间,元宇宙这个词火了,Facebook宣布进军元宇宙并改名Meta,国内互联网大厂也纷纷布局,和元宇宙相关的概念股也都轮番涨了一圈,阿里虚拟人员工AYAYI和虚拟美妆博主柳叶熙也登上了各个媒体的热搜 ...你知道吗,其实元宇宙是一个很
近日,北京漫联星球数字科技有限公司正式落户北京市通州区张家湾设计小镇智汇园,将全面启动DV101元宇宙星球的数字化运营,探索并发展WEB3.0相关业务。2022年1月,北京市通州区发布的《关于加快北京城市副中心元宇宙创新引领发展的八条措施》。
由周四发布的“网络垃圾”(Webspam)报告可知,谷歌搜索在 2021 年过滤的垃圾网站数量、竟是 2020 年的六倍。据悉,作为 Alphabet 旗下子公司,Google 有一套名为 SpamBrian 的人工智能垃圾过滤系统,并且可
在互联网信息时代,对于企业和个体经营者网站就显得必不可少了,在早些时候,网站开发建设也是一个高大上有很强技术性的行业,随着时代的发展,科技的进步,软件开发人才的普及,以及普通人知识水平的提高,一般的网站建设就显得不是那么难,如非专业技术人员
保险代理人队伍继续“瘦身”!数据显示,截至今年6月末,A股五大上市险企的寿险代理人比去年末减少近50万人。代理人规模进一步缩小,但改革成效已初步显现,人均产能有所提升,队伍结构进一步优化。上半年五大险企减少近50万代理人半年报数据显示,截至