Сами цифры оценки не дают никаких определенных ответов. Всё зависит от множества факторов: кеширование статики веб-сервером, кеширование блоков и шаблонов сайтом, оптимизация изображений, предзагрузка шрифтов (и font-display для них), lazy load изображений, hdpi-изображения, скрипты метрик/соц_кнопок/чатов/ретаргетинга и т.д., количество пользователей на сайте, количество контента на страницах, мощность и конфиги серверов… Тут даже просто перечислить все факторы не выйдет.
При таком количестве факторов сравнивать конечную оценку на разных сайтах это как сравнивать потраченное машиной топливо на дорогу - проехал то же расстояние и расход топлива увеличился. Потом оказалось что одна поездка была на новой машине по пустой и ровной дороге, а вторая с дырявым баком, в пробке под горку.
Нужно смотреть на конкретные рекомендации google для конкретной страницы конкретного сайта. Если много времени съедают подключения и передача файлов - явно стоит обратить внимание на сервер. Если формирование страницы - включайте дебаг на сайте и ищите проблемный блок. Если Загрузка шрифтов - вам поможет прелоад. Если скрипты - обратите внимание что за скрипты, возможно стоит отказаться от некоторых скриптов, которые были доставлены не по необходимости а до кучи.
Мы показали изменение оценки на одном из наших сайтов, с максимально равными условиями до и после обновления тем. На разных сайтах они будут отличаться.