Аудио и видео развој и учење

 Прво претпоставуваме дека некој има нула основа во аудио и видео и никогаш не научил какво било знаење за обработка на дигитален сигнал. Математичката основа е во основа средно училиште, но тој е запознаен со развојот на C / C ++, барем запознаен со компилацијата и дебагирањето на IDE под одредена платформа.

Фокусирајте се на двата проекта со отворен извор ffmpeg и webRTC, главно гледајќи во видео делот на ffmpeg и аудио делот на webRTC.

Прво на сите, започнете со видео декодирање. Ова е наједноставниот. Основниот код за повикување на декодирање на видео ffmpeg е само околу 100 линии. Декодирањето со видео треба само да разбере h.264, 80% + сцени се во овој формат за кодирање, да ги разберат основните H.264 sps pps NAL и други концепти на формат на датотека, да го разберат принципот на формат на слика YUV и да ја разберат конверзијата на YUV во RGB , Така можете да направите рендерирање на слики, можете да постигнете едноставен видео плеер. (Во основа во првата фаза)

Потоа, за да дознаете за видео кодирање, се препорачува да започнете со x264, едноставниот повик до кодот за кодирање x264 е помалку од 100 линии. Кодирањето е покомплицирано од декодирањето со тоа што декодирањето не бара да бидат конфигурирани никакви параметри, а кодирањето има голем број параметри што треба да се конфигурираат. На почетокот, само разберете неколку основни концепти, како што се брзината на рамката, вообичаените методи за контрола на проток ABR CRF, GOP, I / B Што значи / P Рамката значи, соодветно. (Познат повторно со кодирање X264)

Кодекот на аудио делот е сличен на оној на видеото. Во почетната фаза, треба само да ги разберете двата енкодери EAAC + и Silk, да ги разберете концептите на звучен канал, брзината на земање примероци итн., И да го разберете форматот на датотеката Wave. Може да биде едноставен аудио плеер. (Направете аудио плеер)

Сложениот дел од аудиото не е кодек, туку звучен ефект. Погледнете го модулот за аудио обработка во webRTC и разберете ги следниве концепти: обезмастување на NS, AEC за поништување на ехо, VAD за откривање на нечујност, AGC автоматска контрола на засилување и вграден webRTC. Иако алгоритмот не е најдобар, тој може да реши 90% + од проблемите, и вреди да се научи. (Дознајте веб-аудио-обработка)

Откако го научив ова, треба да размислам за прашање, дали сакам да одам по инженерски пат или алгоритамски пат. Ако е алгоритамски пат, тогаш мора да научам математика. Зад дигиталната обработка на сигналот стои голем број основни математички теории. Ако тоа е инженерска рута, тогаш мора да научите развој на повеќе платформи, да научите собирање, репродукција и обработка на аудио и видео под повеќе платформи и да научите оптимизација на јазикот на склопот под повеќе платформи. (Поврзана со платформата)

Аудиото и видеото се многу длабоко поле, и никогаш нема да го завршите учењето цел живот, но оваа област има предност што брзината на ажурирање на знаењето е релативно бавна, научените работи не се лесни за елиминирање и акумулацијата на искуство е многу важно.v

Нашите други производи:

Професионален систем за заштита од гром за Tower	Пакет опрема за професионална FM радио станица	FMUSER FU-1000C 1000W FM предавател со USB аудио влезен интерфејс
Пакет за радио емитување FMUSER 200W FM	Хотелски IPTV решение	FMUSER FSN-1000T V5.0 1KW FM радио-предавател