Вот видите, даже у 2 человек разный подход к предобработке - вы за Питон, я за Сканкромсатор.... А сколько еще других вариантов может быть.... Выход только один - простая и ясная структура исходных данных, примерно как в сканкромсаторе.... Ну а чем и как их потом обрабатывать, каждый сам пусть решает.