Разница действительно есть хотя бы из-за разного географического расположения серверов.
Но я бы не сказал, что она сильно заметна на глаз, ИМХО.
Вообще-то я имел в виду ситуации, когда сайт совсем повисал на пару десятков секунд, а такое бывало не так редко, как хотелось бы