И это всё МОЁ
Создал программу которая позволяет реконструировать Midi файл основываясь на видео потоке таких программ как Synthesia. Опробовал на многих из любимых мелодий =)
Решил может кому понадобится, так что выложил всё на гитхабе,
Пока что позволяет реконструировать с видео в 1 трек ( без разбиения по «цветным» дорожкам, хотя думаю это особо то и не нужно )
В общем жду ваших предложений =)