Хочется создать ну очень маленький инсталлятор

Мне понравился следующий вариант: главное приложение само выполняет функции инсталлятора. Первоначально файл называется Setup.exe. При запуске под этим именем приложение устанавливает себя, после установки программа переименовывает себя и перестает быть инсталлятором.

Пример:
Application.Initialize;
if UpperCase(ExtractFileName(Application.ExeName))='SETUP.EXE' then Application.CreateForm(TSetupForm, SetupForm) // форма инсталлятора
else Application.CreateForm(TMainForm, MainForm); // форма основной программы Application.Run;

Другое по теме:

• Регистрация программ в меню "Пуск" Windows
• Запуск внешней программы и ожидание ее завершения
• Как узнать местоположение специальных папок у Windows