I’d rather not.

意味：

遠慮します。

丁寧になにかを断るときに
ネイティブがいう一言！

はっきり断るというより、

「どちらかというと、
～したくない。」

というニュアンスです。

飲みにでも行かない？
→I’d rather not.

なんか一曲歌ってよ！
→I’d rather not.

Sorry.
を前か後につけると、より
「悪いけど、～したくない。」
と丁寧な感じに伝わります。