Pardon? Sorry? Can you speak more slowly? を何度も繰り返して気まずくならないために。その①

英語の勉強はそれなりにしてきたし、全くわからないわけじゃないのに、相手の言ったことが聞き取れなくて、Pardon? Can you speak more slowly? を何度も繰り返すうち気まずーい雰囲気になってきて、しまいには「Sorry, my English is not good.(だからもういいです)」と諦めてしまうこと・・・ないでしょうか? もしくは…