跳到主内容

访客中心

今年的时间

继续阅读

上次停在这里

还没有待续读的文章。

收藏

0

    收藏的文章会留在这里。

    最近阅读

    0

      看过的文章会留在这里。

      我把 CDN 规则返工了三次,最后一次才发现问题在 nginx

      CDN 规则返工三次:导入格式上限、默认跟随重定向吞 301、nginx 少配 gzip_types 致 chunked 不缓存。附 Halo 可抄规则与验证命令。

      36阅读2评论33.6热度阅读约 3 分钟0点赞雾中法#图床与CDN#Nginx#Halo
      系列图床与CDN第 8 / 8 篇
      1. 1如何用 MWeb 发布 Typecho 文章
      2. 2七牛云测试域名失效后如何下载空间中的文件
      3. 3在Typora中使用PicList上传图片
      4. 4新一代图片编码格式测试
      5. 5Typecho 又拍云文件管理插件修改版使用指南:新增自定义目录结构功能
      6. 6Typecho 多吉云插件优化:更灵活的存储目录配置
      7. 7又拍云插件 UpyunFile v1.2 更新:修复 Typecho 1.3.0 兼容性问题
      8. 8我把 CDN 规则返工了三次,最后一次才发现问题在 nginx
      查看完整系列

      昨天下午我打开 EdgeOne 的规则页,本来只想改一条缓存规则。

      改造前的规则长这样,问题藏在三个地方。

      改造前规则里的三处问题

      站点是前阵子接进来的,Halo 加 nginx,挂了几个插件。接完测了几次,速度没什么变化,我以为是配置没生效,就去翻规则。翻完发现要改的地方不少,索性重写一遍。

      结果返工三次。第一次卡在导入格式,第二次卡在一个默认开关,第三次卡在 nginx 的一行配置。每次我都以为问题在 CDN,每次都不是。

      这篇把三次返工的过程和最后的成品都写下来。中间那些报错和请求头,是我自己踩出来的,官方文档里查不到。

      一、先把哪些该缓存想清楚

      改规则之前得先回答一个问题,什么东西值得在边缘停着。

      我一般看两点。内容会不会变,URL 变了以后旧内容还能不能命中。

      页面两条都不满足。每次渲染出来的东西都不一样,还带着 Set-Cookie。缓存住只会让读者看到旧文章。

      接口和后台更不能缓存。/apis 底下是登录、评论和后台操作,返回内容跟登录态有关,缓存住会串号。/console 是管理界面,缓存了等于把自己的后台发给别人。

      剩下的静态资源可以缓存,但要分两类。

      主题资源带的是内容 hash,?v=4a34829790db13bd 这种,文件改一个字节 hash 就变。缓存 30 天没有风险,因为旧 URL 永远不会再被请求。

      插件资源带的是版本号,?version=1.1.1。版本号由插件作者维护,升级时未必会改它。给 30 天太长,给 7 天是个折中。

      图片和字体是第三类,上传之后一般不改名,30 天没问题。

      整理成表是这样。

      资源

      节点缓存

      浏览器缓存

      依据

      /themes/*

      30 天

      30 天

      内容 hash,URL 变则旧内容失效

      /plugins/*

      7 天

      7 天

      版本号由作者维护,可能不变

      图片音视频字体后缀

      30 天

      7 天

      上传后不改名

      页面 HTML

      不缓存

      0

      每次渲染,且带 Set-Cookie

      /apis/*、/console/*

      不缓存

      0

      跟登录态有关

      节点缓存和浏览器缓存是两回事,别混着设。节点缓存决定 EdgeOne 多久回一次源,浏览器缓存决定访客多久再来问一次。前者省你的带宽,后者省访客的等待。

      静态资源两个都该长,HTML 两个都该短。我这套配置里图片给节点 30 天、浏览器 7 天,就是按这个思路分的。

      这张表是后面所有配置的依据。

      二、返工一 规则导不进去

      按上表,我写了 7 条子规则,一条一个条件,逻辑很清楚。导入。

      Missing property "DefaultCache"
      Missing property "DefaultCacheStrategy"
      Missing property "DefaultCacheTime"
      Only one of the three configuration options, NoCache, FollowOrigin,
      and CustomTime, can be enabled, and at least one of them must be turned on.
      Array has too many items. Expected 3 or fewer.

      报错原件在这里,照着看更快。

      第一次导入的五条报错

      前三个 Missing 和那句 Only one 是同一件事。我以为「遵循源站」只要写一个开关,实际它要四个字段。

      {
        "FollowOrigin": {
          "Switch": "on",
          "DefaultCache": "on",
          "DefaultCacheStrategy": "on",
          "DefaultCacheTime": 0
        }
      }

      后三个字段管的是源站没发 Cache-Control 时怎么办,以及默认缓存多久。少写任何一个,这个对象就不合法,校验器判定三个选项一个都没开,于是连带报出「至少开一个」。

      最后一句说的是子规则数量,上限 3。我塞了 7 个。

      那就改成 8 条并列规则,一条规则一个条件,互不嵌套。再导入。

      Array has too many items. Expected 1 or fewer.

      规则数量上限是 1。

      到这里我才明白,这个导入格式对应的是控制台里「一条规则加最多三层嵌套 IF」的编辑界面。界面里塞不下第七个 IF,JSON 里就塞不下。界面里只能有一条规则,JSON 里就只能有一条。我按写代码的直觉去写配置,撞的全是界面的形状。我以为我在写配置,控制台以为我在猜它界面上有几个格子。

      三条上限记下来。

      位置

      上限

      报错原文

      Rules

      1 条

      Expected 1 or fewer

      SubRules

      3 条

      Expected 3 or fewer

      Actions

      没测到上限

      原配置有 6 个动作,仍能通过

      FollowOrigin

      必须四字段

      Missing property ...

      所以能导入的最小骨架是这个样子。

      {
        "FormatVersion": "1.0",
        "Rules": [
          {
            "RuleName": "你的规则名",
            "Branches": [
              {
                "Condition": "${http.request.host} in ['你的域名']",
                "Actions": [],
                "SubRules": []
              }
            ]
          }
        ]
      }

      一条规则,一个外层条件,底下最多三个嵌套 IF。所有细分都得挤进这三层。

      三、返工二 导进去了,301 全没了

      导入成功,我随手测了几个地址。

      /archive 返回 200,内容是归档页。/cross 返回 200,念叨页。/feed 返回 200。/tag/foo 返回 404。

      看着挺正常。可我记得 nginx 里给这几条路径都写了 301。

      我又把 /feed 和 /rss.xml 各拉了一遍,两个都是 35010 字节,一字不差。

      两组响应头并排看,问题一目了然。

      feed 与 rss.xml 的响应头对照

      有人在中间替我把 301 走完了,走得挺彻底,连搜索引擎该看的那句话也一起吞了。

      翻动作列表,找到一条 UpstreamFollowRedirect,开关是 on。

      {
        "Name": "UpstreamFollowRedirect",
        "UpstreamFollowRedirectParameters": { "Switch": "off", "MaxTimes": 3 }
      }

      关掉之后再测,/feed 变成 301,Location 指向 /rss.xml。

      这个开关的意思是源站返回 3xx 时,EdgeOne 自己跟过去,把最终结果返回给客户端。它默认开着,因为多数人接 CDN 图的是少一跳,跟随能省一次往返。

      代价在搜索引擎那边。爬 /archive 看到 200 和一个归档页,爬 /archives 也是 200 和同一份归档页。两个地址两份一样的内容,权重各算各的。你原本想告诉它「这个地址永久搬走了」,它一个字都没收到。

      /tag/foo 更能说明问题。这条路径原本该 301 到 /tags/foo,然后因为标签不存在返回 404。现在 301 被吞掉,搜索引擎直接收到 404,它会认为这个地址从来没存在过。

      顺带说一句,/cross 那个 200 是对的。它是 Halo 里的独立页面,slug 就叫 cross。我原来那条 rewrite ^/cross/?$ /moments permanent 一直在把一个有效页面重定向走。这条规则在配置文件里躺了很久,没人动过,因为没人记得它为什么存在。它每天认认真真地把一个有效页面重定向到另一个页面,两边都对,只有它多余。

      四、返工三 缓存还是 MISS

      301 修好之后,我想看看插件资源现在能不能缓存。curl 打了几次,全是 EO-Cache-Status: MISS。

      我以为规则没生效,回去又核了一遍子规则。条件写的 /plugins/*,缓存 7 天,动作也没写错。再打,还是 MISS。

      换了台机器测,一样。正准备放弃,顺手把浏览器请求头带上了。

      curl -sI -H "Accept-Encoding: gzip, deflate, br" \
        "https://wuqishi.com/plugins/PluginCommentNext/assets/static/comment-next.iife.js?version=1.1.1"

      结果变成 HIT,响应头里有 Content-Length: 157921。

      差别在这里。curl 默认不发 Accept-Encoding,源站返回的是 Transfer-Encoding: chunked,没有长度。EdgeOne 不缓存 chunked 响应,因为拿不到对象大小。

      curl 是个很乖的工具。你不说,它就不发压缩协商,也不说自己要 HTML,然后它有理有据地给你看了一个假世界。

      那为什么源站会用 chunked 返回一个 js 文件。

      正常的顺序是这样。nginx 判断 content-type 在不在 gzip_types 列表里,在就压,压完写上 Content-Encoding: gzip 和压缩后的 Content-Length。EdgeOne 收到一个已经压过的响应,直接透传,长度也就跟着保留下来。

      我这台机器上,gzip_types 里没有 text/javascript。Halo 的插件资源响应头正好是 content-type: text/javascript,不是常见的 application/javascript。nginx 不认,就不压。

      请求转到 EdgeOne,它见响应没压缩,自己现场压。现场压要边压边发,压之前不知道结果多大,只能丢掉长度改用 chunked。而 chunked 又进不了缓存。

      一环扣一环。nginx 少写一个 MIME 类型,最后的结果是整类资源在边缘永远不落地。

      修法是加一行。

      gzip_types text/plain text/css text/xml
                 text/javascript
                 application/javascript application/json application/xml
                 application/rss+xml image/svg+xml;

      重载 nginx,插件 JS 立刻有了 Content-Length,缓存也稳定命中。

      压缩和缓存分别落在哪一层,画出来更清楚。

      请求在访客 EdgeOne nginx Halo 四层之间的路径

      五、拼起来长什么样

      三次修完,规则长这样。

      规则 雾起时
      └ IF  ${http.request.host} in ['wuqishi.com']
         ├ 兜底动作
         │   Cache                  不缓存
         │   MaxAge                 0
         │   CacheKey               全路径保留
         │   UpstreamFollowRedirect off
         │   HTTPUpstreamTimeout    120s
         │
         ├ IF 文件后缀 in [图片/音视频/脚本/样式/字体]
         │   → 节点 30 天 · 浏览器 7 天
         │
         ├ IF 路径 in ['/themes/*']
         │   → 节点 30 天 · 浏览器 30 天
         │
         └ IF 路径 in ['/plugins/*']
             → 节点 7 天 · 浏览器 7 天
      

      站点全局配置是这一层的底子。节点缓存 TTL 写着「遵循源站」,无 Cache-Control 头时「不缓存」,查询字符串「全部保留」。这些值本身没问题,规则引擎在它们之上按路径和后缀逐条覆盖。

      EdgeOne 站点全局配置里的缓存基线

      落到控制台里,三条子规则长这样。红圈那处是插件规则的「遵循源站」开关,它关着,TTL 才会按我们写的 7 天走。

      规则引擎里的三条子规则

      有四个地方值得说。

      兜底为什么设成不缓存。 子规则只有 3 个槽,没有位置再单列一条「页面和后台不缓存」。把兜底设成不缓存,HTML、/apis、/console 就天然安全,剩下的槽全留给静态资源。

      那「遵循源站」什么时候合适。源站自己会发 Cache-Control,而且你信任它的判断时。接一套已经调好的 CMS,它给图片发 30 天、给页面发 no-cache,跟着源站走最省事。我这台 Halo 的静态资源发的是 max-age=0,跟着它走等于全都不缓存,所以只能自己指定。

      顺序为什么是泛到具体。 这套引擎里同级条件从上往下执行,下一条覆盖上一条。/themes/x.css 先命中「静态资源」,拿到 30 天节点加 7 天浏览器,然后被 /themes 那条重新设成 30 天。/plugins/x.js 同理,先拿 30 天,再被 /plugins 压回 7 天。

      反过来排就不行。把具体规则放前面,后面那条泛规则会把它盖掉,最后所有静态资源都变成同一个 TTL。

      官方文档里有一句,「通用或粗粒度的规则放在上方,针对特定请求的细粒度规则放在下方」。我一开始当排版建议看,实际是执行顺序。

      三条规则怎么一层层覆盖,看这张图更快。

      三条子规则的覆盖关系

      CacheKey 为什么不能动。 主题靠 ?v=hash、插件靠 ?version= 区分版本。忽略查询参数会把旧 JS 发给所有人,这是整套配置里唯一绝对不能改的一项。

      六、三组请求对照

      配完别急着收工,拿三条命令验一遍。每条都是同一个地址的两种结果,对照着看。

      先看总览。

      三组请求对照

      静态资源

      curl -sI -H "Accept-Encoding: gzip, deflate, br" \
        "https://wuqishi.com/themes/theme-Flux/assets/css/post.css?v=4a34829790db13bd" \
        | grep -iE "eo-cache-status|content-length|transfer-encoding"

      正常

      EO-Cache-Status: HIT
      Content-Length: 15545

      异常

      EO-Cache-Status: MISS
      Transfer-Encoding: chunked

      看到 chunked 就说明源站没压、边缘现场压,回到上一节查 gzip_types。

      页面 HTML

      curl -sI https://wuqishi.com/ | grep -iE "eo-cache-status|cache-control"

      正常

      EO-Cache-Status: MISS
      Cache-Control: max-age=0

      HTML 必须是 MISS。如果看到 HIT,说明兜底那条没设成不缓存,或者源站的 Set-Cookie 没了,得马上查。

      跳转

      curl -sI https://wuqishi.com/feed | head -3

      正常

      HTTP/1.1 301
      Location: https://wuqishi.com/rss.xml

      异常

      HTTP/1.1 200

      返回 200 就说明 EdgeOne 替你跟随了跳转,搜索引擎拿到的是 200。

      七、抄作业须知

      这套规则是给 Halo 写的,路径是 /themes/ 和 /plugins/。换一个程序就得改。

      必须改

      说明

      域名条件

      ${http.request.host} in ['wuqishi.com'] 换成你自己的

      静态资源路径

      WordPress 是 /wp-content/,Typecho 是 /usr/themes/,Hugo 没有这两个目录

      后缀列表

      用不到的类型删掉,比如不做视频就把 mp4 webm 去掉

      后台路径

      Halo 是 /console/ 和 /apis/,其它程序不一样

      可以照抄

      说明

      三条上限的规避方式

      Rules 一条、SubRules 三条,任何站都一样

      FollowOrigin 四字段

      只要用到「遵循源站」就必须写全

      CacheKey 全路径保留

      只要你的资源带版本参数就不能动

      UpstreamFollowRedirect 关掉

      只要你有意做 301

      举个具体的。如果你用的是 WordPress,静态资源那条的路径换成 /wp-content/*,后缀列表保留图片和字体,js css 继续留着。后台那条换成 /wp-admin/* 和 /wp-json/*。域名换成自己的,其余不动。

      如果你的程序压根没有独立的静态目录,比如 Hugo 生成的纯静态站,/themes 和 /plugins 两条都用不上。留一条后缀规则就够,所有 css js 图片字体都走它,节点 30 天、浏览器 7 天。少了两条细分,但不会错。

      改完怎么确认没改坏,把上一节那三组命令跑一遍。三组都对上,就说明改对了。

      八、这套配置解决不了的事

      访客真实 IP 还原不了。要还原得在 nginx 里信任 CDN 的回源段,而那个段列表只在「源站防护」里提供,免费版没有入口。我试过从访问日志反推,能凑出大部分,凑不全。漏掉的节点会让一部分访客的 IP 又变回节点 IP。

      所以这一项我留着没做。代价是限流按节点算,评论记录的 IP 是节点 IP,点赞去重也会失准。控制台上那个开关是绿的。它确实在工作,只是做的事情跟你想的不一样。

      免费版的控制台会直接告诉你,某些回源能力这个套餐用不了。

      免费版套餐里不可用的回源能力

      源站的渲染时间也解决不了。配完之后我又量了一次首字节。命中缓存的静态资源 0.57 秒,首页 HTML 1.74 秒,中间 1.17 秒是源站在干活。再拆下去,一个纯 JSON 接口要 1.33 秒,比静态资源多 0.76 秒。这 0.76 秒在 JVM、数据库和插件身上,跟 CDN 一点关系都没有。

      想再往下走,就得看堆内存、GC 和插件数量。那是另一个话题。

      附录 完整规则

      可以直接导入,导入前把域名换掉。

      {
        "FormatVersion": "1.0",
        "Rules": [
          {
            "RuleName": "雾起时",
            "Description": [],
            "Branches": [
              {
                "Condition": "${http.request.host} in ['wuqishi.com']",
                "Actions": [
                  {
                    "Name": "Cache",
                    "CacheParameters": {
                      "NoCache": { "Switch": "on" }
                    }
                  },
                  {
                    "Name": "MaxAge",
                    "MaxAgeParameters": { "FollowOrigin": "off", "CacheTime": 0 }
                  },
                  {
                    "Name": "CacheKey",
                    "CacheKeyParameters": {
                      "FullURLCache": "on",
                      "QueryString": { "Switch": "off", "Values": [] },
                      "IgnoreCase": "off"
                    }
                  },
                  {
                    "Name": "UpstreamFollowRedirect",
                    "UpstreamFollowRedirectParameters": { "Switch": "off", "MaxTimes": 3 }
                  },
                  {
                    "Name": "HTTPUpstreamTimeout",
                    "HTTPUpstreamTimeoutParameters": { "ResponseTimeout": 120 }
                  }
                ],
                "SubRules": [
                  {
                    "Description": ["静态资源:图片/音视频/脚本/样式/字体"],
                    "Branches": [
                      {
                        "Condition": "${http.request.file_extension} in ['jpg', 'jpeg', 'png', 'gif', 'webp', 'avif', 'svg', 'ico', 'bmp', 'mp4', 'webm', 'mp3', 'm4a', 'lottie', 'css', 'js', 'mjs', 'woff', 'woff2', 'ttf', 'otf']",
                        "Actions": [
                          {
                            "Name": "Cache",
                            "CacheParameters": {
                              "CustomTime": {
                                "Switch": "on",
                                "IgnoreCacheControl": "off",
                                "CacheTime": 2592000
                              }
                            }
                          },
                          {
                            "Name": "MaxAge",
                            "MaxAgeParameters": { "FollowOrigin": "off", "CacheTime": 604800 }
                          }
                        ]
                      }
                    ]
                  },
                  {
                    "Description": ["主题静态资源:30 天"],
                    "Branches": [
                      {
                        "Condition": "${http.request.uri.path} in ['/themes/*']",
                        "Actions": [
                          {
                            "Name": "Cache",
                            "CacheParameters": {
                              "CustomTime": {
                                "Switch": "on",
                                "IgnoreCacheControl": "off",
                                "CacheTime": 2592000
                              }
                            }
                          },
                          {
                            "Name": "MaxAge",
                            "MaxAgeParameters": { "FollowOrigin": "off", "CacheTime": 2592000 }
                          }
                        ]
                      }
                    ]
                  },
                  {
                    "Description": ["插件静态资源:7 天"],
                    "Branches": [
                      {
                        "Condition": "${http.request.uri.path} in ['/plugins/*']",
                        "Actions": [
                          {
                            "Name": "Cache",
                            "CacheParameters": {
                              "CustomTime": {
                                "Switch": "on",
                                "IgnoreCacheControl": "off",
                                "CacheTime": 604800
                              }
                            }
                          },
                          {
                            "Name": "MaxAge",
                            "MaxAgeParameters": { "FollowOrigin": "off", "CacheTime": 604800 }
                          }
                        ]
                      }
                    ]
                  }
                ]
              }
            ]
          }
        ]
      }

      配套的 nginx 只需要两处。gzip_types 加上 text/javascript,ssl_ciphers 去掉 RSA+AES。其余都是原来就有的。

      这套配置里真正起作用的东西,大部分躺在默认值里。/plugins 被排除,全站缓存 30 天,跟随重定向,都是别人替你做的假设。安装的时候你点的是「下一步」,那些决定就在那一步里,你没看过,也没人问你

      READ · FEEL · RESPOND

      读到这里,愿这篇文章对你有一点帮助

      分享:
      评论区

      评论区