Hola Magore.
La utilidad es proporcionar al programador opciones y posibilidades, y el ya luego las usará como le convenga.
Tú ahora estás viendo ejemplos básicos y sencillos como crear un Empleado, un Alumno, un Profesor, una Asignatura.... son entidades sencillas de modelar que podrán tener más o menos atributos, pero en cualquier son ideas simples.
Pero luego irás viendo que es posible crear clases tan complejas como el programador quiera y pueda..., y poder disponer de múltiples constructores agiliza mucho la creación de objetos y reduce el código necesario.
Veamos un ejemplo concreto.
Vamos a la documentación de la API de Java y fijémonos en una clase, por ejemplo la
clase JLabelUn
JLabel, es una "etiqueta" que se usa en la construcción de aplicaciones con interfaz gráfica.
Permite poner en pantalla un texto, o también una imagen a modo de icono.
A priori, parece un elemento sencillo, pero si miramos su documentación veremos que tiene hasta 6 constructores distintos:

Los constructores:
- Sin argumentos. Crea una etiqueta vacía que luego habrá que añadirle elementos con los setters si queremos que tenga alguna utilidad.
- Objeto de tipo Icon. Recibe la imagen que ha de mostrar en pantalla
- Objeto de tipo Icon y un int. Además de la imagen, recibe un entero que indica como ha de alinearse en su eje horizontal(izquierda, centro o derecha)
- Objeto de tipo String. Recibe una cadena con el texto que ha de mostrar en pantalla.
- Objeto de tipo String, un tipo Icon y un int. Recibe un texto y una imagen para mostrar en pantalla, además de un entero indicando su alineación horizontal
- Objeto de tipo String y un int. Recibe el texto a mostrar y el entero que indica como debe alinearse horizontalmente.
Sí, todo esto podría hacerse con un único constructor sin argumentos y luego usar getters para establecer todo lo demás.
Pero es que gracias a esos constructores, en lugar de usar dos o tres líneas de código para construir un JLabel, podemos hacerlo solo con una línea de código.
Y dirás, bueno, tampoco es tanto ahorro...
Pero es que una interfaz gráfica no tiene solamente un JLabel..., puede tener diez, veinte, cincuenta...o muchas más etiquetas.
Mira esta captura, prácticamente cada texto en pantalla es una etiqueta, unas con imagen, otras solo texto, algunas centradas, otras alineadas a la izquierda...

Todas son etiquetas, pero aún siendo de la misma clase, cada una es distinta de la otra y requieren construirse de formas distintas.
Y no es lo mismo escribir "solo" 50 líneas de código para crear 50 etiquetas, que tener que escribir 150 porque tras cada constructor hay que llamar además a dos o tres getters según lo que necesite cada etiqueta.
Por eso disponer de distintos constructores, donde cada uno se adapta a las necesidades de cada objeto concreto, resulta muy útil.