Por que GIFs costumam gerar vetores limpos
Um GIF guarda no máximo 256 cores. Esse limite não combina com fotos, mas combina bem com logos, botões, banners e ilustrações simples, que é para o que a maioria dos GIFs foi feita. Menos cores significa menos regiões de cor para o vetorizador separar, então um GIF de cores chapadas muitas vezes vira um SVG organizado, com poucos caminhos.
Dithering
Quando um GIF foi criado a partir de uma imagem com mais cores do que a paleta permitia, o programa costuma simular os tons que faltavam com um padrão de pontos alternados. Para o vetorizador, cada ponto é uma mancha de cor separada, então as áreas com dithering viram aglomerados densos de formas minúsculas. Se você puder exportar o GIF de novo sem dithering, ou partir da arte original, o SVG ficará bem mais leve.
GIFs animados
Só o primeiro quadro é vetorizado, e o SVG é uma imagem estática. Se o quadro que você quer aparece mais adiante na animação, exporte esse quadro como imagem estática e envie essa imagem.
GIFs muito pequenos
Os GIFs antigos da web costumam ser minúsculos, como botões de 88 por 31 pixels ou ícones de 32 pixels. Nesse tamanho, cada pixel pesa muito em cada forma, então as curvas acompanham os degraus dos pixels. Se existir uma versão maior do mesmo gráfico, use-a.