Фигня какая-то.
Это не трусость а здравый смысл. Затевать драку стоит только в случае опасности, иначе кроме выставления напоказ твоей несдержанности эмоций она никакого смысла иметь не будет.
Если дорожишь его дружбой, сделай вид что занят и спешишь по делам, если нет, выскажись прямо что он тебе противен.