子供が遊びに行ったお宅に手土産を持たせたら「次からはやめてね？うちも持たせなきゃいけなくなるし」そんな言い方しなくても

昨日、息子が幼稚園の友達の家に初めて遊びに行く事になったんだけど 
手ぶらじゃ失礼なんで、お菓子を持たせて行ったら 
夜に友達の親から電話があって、｢手土産は嬉しいんだけど次からはやめてね？うちもお宅に遊びに行かせる時、持たせなきゃいけなくなるし｣って言われた。 
変に気を使わせてしまったのは悪いと思うけど、そんな風に言わなくてもって落ち込んだよorz