Hola, dejando claro que no me considero un experto en el tema te doy mi opinión. Matlab puede ser adecuado desde el punto de vista de una aplicación académica y limitada. Es un entorno potente pero con limitaciones en cuanto integración con sistemas que se usan en la explotación comercial de sistemas de video. La integración con servidores, bases de datos, etc. podrá ser tan complicada como para elegir otra opción. Sin embargo, puede ser lo más sencillo y si el proyecto es académico podrías considerar viable usar matlab.
php puede ser interesante si eliges una librería para trabajar con ella y tienes bien definidos los objetivos del proyecto, pero hasta donde conozco no sería lo más adecuado en términos de capacidades y eficiencia.
c++ es un lenguaje que puede resultar complejo de manejar a este nivel pero que te permite hacer de todo porque dispones de potencia, eficiencia y librerías. Con plenas capacidades de operación sobre lo que haces, etc. Sería la opción que posiblemente me resultara más adecuada para un proyecto con vistas a su explotación comercial o profesional.
Pero dado que dices que es un proyecto fin de carrera mi recomendación es la siguiente: debes contar con un tutor... Habla con el tutor, define bien los objetivos con él, elige el lenguaje o entorno contando con él... pídele que te informe sobre compañeros que hayan hecho trabajos fin de carrera sobre procesamiento de video como el que pretendes (o incluso búscalos en la biblioteca). Es un trabajo académico, así que busca apoyo en el tutor y trata de ir avanzando poniendo en su conocimiento los avances. Si no, puedes tratar de luchar tú contra el mundo estando solo, y quizás te digan después que la lucha no ha sido válida, así que trata de ir consensuando lo que haces desde el principio.
Por cierto que no sé cuál es la carrera, supongo que será informática o telecomunicaciones y supongo que tendrás o deberás tener un tutor
Salud!