Sim, torna-o menos saboroso. Isso não significa necessariamente que seja uma má ideia.
Muitas vezes ainda será muito saboroso mesmo com uma quantidade decente de gelo dentro. Assim, ao usar gelo, poupa-se ao trabalho de ter de congelar alguns ingredientes primeiro, e não passar pela fruta tão depressa. Pode evitar ter de manter o sumo de fruta à mão.
Também lhe permite controlar com bastante facilidade o frio/congelante que quer o smoothie. Se viver numa zona quente, os smoothies com uma quantidade decente de gelo são na verdade bastante agradáveis - permanecem frios por muito mais tempo, e a granulosidade gelada pode torná-los mais refrescantes.
Tenho a certeza que muitas pessoas nunca sonhariam em usar gelo e algumas pessoas fazem-no a toda a hora; sinta-se à vontade para continuar a fazer o que mais lhe convier! (Sou originário do Texas, e honestamente, além de misturar algum gelo, costumava colocar cubos de gelo inteiros depois de misturados só para ter a certeza extra de que ficava frio)
Para uma comparação útil: muitas receitas de sorvete realmente boas utilizam uma quantidade decente de água. Por exemplo, o sorbet de manga de David Lebovitz (de The Perfect Scoop) utiliza duas mangas grandes e 2/3 chávena de água. Claro que, em vez disso, poderia usar algum tipo de sumo de fruta, mas prometo, sabe realmente a manga, e não tem sabor a nada regado.