ISO/IEC 14496-12 доступен бесплатно на сайте ISO (должно помочь разобраться с MP4, который ISO/IEC 14496-14):
http://standards.iso.org/ittf/PubliclyAvailableStandards/index.html

Описание F4V от Adobe:
http://www.adobe.com/devnet/flv/pdf/video_file_format_spec_v10.pdf

Новая версия спеки (10.1) - существенно обновлённая:
http://www.adobe.com/devnet/f4v.html

Мультикаст во flash:
http://habrahabr.ru/blogs/flex/103427/#comments
http://www.flashrealtime.com/tag/multicast/

P2P во флеше выглядит многообещающе: уже можно собирать сервисы видеоконференций "на коленке", не обременяя себя затратами на видеотрафик.

Отличная серия статей по аудио/видеоформатам от человека из команды Youtube:
http://diveintomark.org/tag/give