Формат MP4 тесно связан с Apple QuickTime, поскольку основан на спецификации QuickTime 2001-го года. Поэтому описания формата QuickTime могут помочь разобраться в MP4:
версия 2001-го года
текущая версия

Переход к произвольной позиции в mp4-видеоролике описан здесь.