Компиллятор

А что понимается под компилятором?
Создать компилятр АСМ.
Или высокого языка программирования из Паскаль в ASM.
Это две различные задачи. Хотя в них есть общее.
Если для первого тебе понадобиться изучить формат OBJ или EXE(NE или MZ) и мануэл от Intel.
То для второго тебе понадобиться больше усилий по написанию. Ты должен будешь заняться кодо генерацией и лексический анализатор усложнится.
Возможно стоит обратить внимание на генераторы компиляторов.

Лично я поставил перед собой цель научиться писать компиляторы. Не быстро написать. А писать хорошо и самому.

Советую прочитать Книгу дракона. "Альфред Ахо,Рави Сети,Джеффри Ульман Компиляторы.djvu"
Также в сети можно найти сайт посвещенный студенчиским компилятором.

Это не связанно. Ты можешь написать компилятор который бы компилировал и для виндоуса в exe(PE)
COM - это самый простой формат. Чисто машинный код и все.

Самый простой вариант - написать компилятор в байткод и интерпретатор байткода к нему. (Пример такого подхода: Visual Basic, Fox Pro, Java).
Для примера поищи в инете реализацию s-Pascal (компилер паскаля на паскале же и написаный, сам себя компилит). К нему добрый человек написали подробнейшее описание кода в виде учебника.

Могу послать книгу Ахо на мыло)

Почитай http://www.codenet.ru/cat/Applications/Algorithms/Compilators/
Вообще делается примерно так. Строится лексический анализатор - простенькая процедурка, выделяющая из исходного текста отдельные лексемы, т. е. слова, скобки, запятые, строковые константы и т.д. (в общем всё, что является самостоятельной языковой единицей и разделяется между собой как правило пробелами (исключение здесь составляют те самые скобки и запятые, которые не обязательно разделяются пробелами)).
Затем строится синтаксический анализатор. Он обращается к лексическому: "дай очередную лексему". Проанализировав, что это за лексема, синтаксический анализатор предпринимает те или иные действия, к примеру, увидев ключевое слово "procedure", он может перейти в состояние "далее идет процедура и ее надо распознать", затем берет очередную лексему и это должно быть имя процедуры, его надо где-то запомнить, берет очередную лексему, и если это открывающая скобка, то у процедуры будут параметры, надо распознать параметры, а если нет скобки, то слово begin и т. д.

Для языков с достаточно простой грамматикой можно построить ручками транслятор (интерпретатор), непосредственно описав грамматику языка с помощью, скажем, нормальных форм Бэкуса-наура.

Серьезные вещи используют много этапов - от лексического и синтаксического анализа до оптимизации и генерации кода, при этом входной текст "перекочевывает" несколько раз в разные формы - сначала в синтаксическое дерево и таблицу имен, потом во внутреннее представление, и т. д.

Самый простой выход - найти програмульку "LEX" - генератор лексических анализаторов, описать свой язык с помощью нормальных форм Бэкуса-Наура, например:
<ОпределениеПеременной>::=Var <ИмяПеременной>:<ИмяТипа>;
<ОпределениеФункции>::=Function <ИмяФункции> [(<СписокПараметров>)]: <ВозвращаемыйТип>; begin <НаборОператоров> end;
<ОпределениеПроцедуры>::=Procedure <ИмяПроцедуры> [(<СписокПараметров>)]; begin <НаборОператоров> end;
<НаборОператоров>::=<Оператор>{;<Оператор>}
<СписокПараметров>::=Var <ИмяПеременной>:<ИмяТипа>{,<ИмяПеременной>:<ИмяТипа>}
<ИмяТипа>::=char|integer|word|string ["["<ДлинаСтроки>"]"]
и так далее. (Получается нечто вроде Паскаля).
И это самое описание языка дать на съедение LEX'у - на выходе программа даст готовый исходник транслятора на C.