WP Super Cacheについて

各所で話題な(WP Super CacheとKtai Styleを併用する方法 | IDEA*IDEAとか)wordpressのプラグインWP Super Cacheを入れてみたんだけど…。
なんでか、却って重くなるんだけど…。特にキャッシュを作ってるっぽい一度目に開いた時。もう待てないくらい遅い。
2回目以降は確かにサクッと表示されるときもあるんだけど、違うPCからとか違うブラウザからとかだとダメ。ちゃんとキャッシュできてるページの数は増えてるのに。ログインしてるからかな？と思ってログアウトしてみたけど、やっぱりダメ。サイトの構成上、あるユーザーが1度目に見るときに早くなきゃ意味がないと思うのですが…。
なんとも分からないです。とりあえずOFFにしたけど、ページ数が多いせいか最近重いwordpress(特にタグ検索)。なんとかしたいです。