Hola, como casi todo en programación son alternativas y ambas son hoy día posibilidades que tienes para elegir. Windows Forms (WinForms) es la alternativa más tradicional y que más tiempo lleva usándose, por tanto si trabajas con Windows Forms tienes la ventaja de encontrar más documentación y ejemplos en la web que si trabajas con Windows Presentation Foundation (WPF).
De cara al futuro, WPF se supone que es la tecnología emergente y que acabará por imponerse (es decir, se supone que WinForms desaparecerá en el futuro) del mismo modo que HTML 5 se supone se convertirá en estándar a seguir. WPF enfoca la programación de otra manera y podemos decir que es más potente que WinForms. ¿Cuál es el problema? Por un lado que al ser una tecnología emergente puede que no sea tan estable como te gustaría, puede tener incompatibilidades hacia atrás, etc.
Recomendación: si es para aprendizaje de la programación usar WinForms, y cuando tengas un buen nivel con WinForms si quieres pásate a WPF.
Saludos