Analiza wideo czy można wykonać to w React native albo Xamarin ?

Potrzebuje stworzyć program do analizy wideo na urządzenie mobilne( android i ios). Aplikacja musi umożliwiać rysowanie w danej sekundzie nagrania np. linie, oznaczanie czegoś, pisanie itp. Najlepiej żeby wyglądało to tak. W robię pauzę w 10 sekundzie i rysuję linie, puszczam dalej nagranie i 15 sekundzie usuwam tą linie. Teraz po ponowym odtworzeniu tego filmu w 10 sekundzie pokażę mi się linia i w 15 zniknie. Przepraszam jak opisałem to do końca dobrze. W linku przykład https://vimeo.com/user125337155/review/469509075/7855ea8955

Proszę mi napisać w czym najlepiej to wykonać w react czy Xamarin?

Ale od strony analizy czy prezentacji. Co do prezentacji to chyba nie ma większego znaczenia. Ale jeśli chodzi o sam algorytm analizujący to tylko natywnie.

@UglyMan: Np. ktoś przesyła mi film a ja go analizuje i mu odsyłam i wtedy on może obejrzeć moją analizę. Chciałbym użyć Reacta albo Xamarina i teraz pytanie co lepiej. Czy da się to rozwiązać na tym poziomie wspólnego kodu, czy ten moduł trzeba by było napisać natywnie ?

Czyli chcesz tylko film mu otworzyć - to nie ma to znaczeni który.

@UglyMan: Nie do końca bo nim odeślę mu film który będzie sobie mógł odtworzyć na tej samej aplikacji to będę na swojej mógł przeprowadzić analizę.Czyli teoretycznie on też będzie mógł tą analizę przeprowadzić bo wszystko będzie działać w obrębie tej aplikacji

No to według mnie tu raczej xamarin, bo ma lepsza wydajność niż React native.

@UglyMan: A w którym przypadku będzie to łatwiej wykonać ? Cyz jest jakaś gotowa biblioteka której mogę użyc ?

Słowo klucz: ffmpeg

Podobne zadanie:
a) dodanie tekstu do video na telefonie: https://stackoverflow.com/questions/17623676/text-on-video-ffmpeg
b) dodanie prostokąta do video: https://superuser.com/questions/877523/how-to-draw-a-box-at-the-bottom-of-the-video-using-ffmpeg

Samo zadanie według mnie to poziom hard. Jeśli to Twój projekt na studia / do nauki to spoko ale jak do pracy to życzę Ci powodzenia oraz wytrwałości!

Zasadnicze pytanie jest, czy musisz faktycznie zmodyfikować film, czy tylko odtworzyć w twojej aplikacji z nałożoną warstwą, bo to duża różnica. To drugie łatwiejsze, a przede wszystkim nie wymaga mocy obliczeniowej do przekodowania filmu.

@Meini: Wystarczy że przy analizie nałożę warstwę ( jakieś linie itp). Ważne aby np. linia nałożona na 5 sekundzie była po odtworzeniu zawsze na 5 sekundzie. Nie wiem czy nie powinno to być nakładane na klatkach filmu ?

Może Xamarin i biblioteka EmguCV ? (odpowiednik Intelowego OpenCV do analizy obrazów w tym wideo)

Lucekzz napisał(a):

@Meini: Wystarczy że przy analizie nałożę warstwę ( jakieś linie itp). Ważne aby np. linia nałożona na 5 sekundzie była po odtworzeniu zawsze na 5 sekundzie. Nie wiem czy nie powinno to być nakładane na klatkach filmu ?

Ale czy film z nałożoną warstwą będzie odtwarzany tylko w twojej aplikacji. Jeżeli tak, to możesz zrobić jakiś overlay nad odtwarzanym filmem i zsynchronizować to z czasem i wyświetlać za każdym razem nad filmem. Coś jak wyświetlanie napisów z zewnętrznego pliku, tyle że byś wyświetlał dowolną grafikę. A oryginalny plik z filmem byłby nie ruszony.

Zadanie w każdym przypadku trudne i raczej musisz to robić natywnie, żaden Xamarin cię tu nie poratuje. W Xamarin/RN możesz sobie zrobić okienka, ale i tak całe odtwarzanie filmu i nakładanie warstwy na niego pewnie będziesz musiał naskrobać natywnie. Choć wariant z overlay łatwiejszy na pierwszy rzut oka