помогите с нестандартным mdl

А каким образом ты собираешься вообще это загружать? ;) Если формат файла не известен? Если известен - грузи сам, пиши редактор маленький. Если хочешь научится писать свои движки (на личном опыте говорю) прежде всего изучи форматы файлов, таких как 3ds, ase и т.д. Потом скорее всего (если делается в образовательных целях) подумай над своим собственным форматом. Могу скинуть инфу по формату, который разрабатывал А.Курлянов (приятель мой), он экспортируется из макса с помощью maxscript'a и грузится в прогу.
А по твоему mdl, по моему - обычный бинарник. Его разбор может занять месяцы если не знать формата. Если есть каконить загрузчик - в студию, тогда может помогу.

можно создать просмотровщик-если файл не упакован и там содержаться вертексы который будет содержать начальную позицию в файле и смещение т.е. расстояние между вертексами, и размер буфера с помощью трек-бара гоняйте просмартивая вертексы похоже ли на что либо если да "ищем позицию" в файле где обычно в начале или перед самим буфером фейсы можно найти другим способом если в значении флоат сплошь и рядом в инспекторе целочисленные числа вероятней всего это и есть фейсы или фейсы текстур это можно проверить если какойнибуть фейс больше количества вертексов то это не фейс а что-то другое и т.д. а проверить вертекс это и ли чтото другое можно еще если в нем есть числа равные инфинити или нан то это не вертекс значит вы начили нестого места или ваш буфер ьольше количества вертексов текущей модели ...и так далее