Witam,
mam właśnie trochę luzu popołudniami i zamierzam zrealizować jakiś 'fajniejszy' projekt. Dotychczas pisałem jakieś niewielkie aplikacje bazodanowe, trochę WWW, które ostatecznie były mało przydatne dla mnie ( i to wszystko w kontekście C#/ASP.NET, i też po części pod ten język programowania jest to pytanie).
Chciałbym wykonać aplikację WWW, która wyświetlałaby mi dane zebrane z innych serwisów. Chodziłoby mi o zbieranie danych z innych serwisów (web scraping, bo te serwisy nie mają zazwyczaj API) i następnie wyświetlanie tych danych na jakiejś podstronie serwisu.
Zdaję sobie oczywiście sprawę, że tego typu czynność jak 'web scraping' nie powinien być wykonywany w trakcie wykonywania każdego requestu do serwera, dlatego musiałoby to być wykonywane wcześniej w tle. Normalnie w jakiejś aplikacji desktopowej możnaby tego typu czynności wykonać w osobnym wątku, ale przy www też się tak to robi?
Ogólnie zwracam się zapytaniem - jak najlepiej wykonać tego typu projekt? Chodzi mi zarówno o ogólną architekturę jak i wskazówki do zagadnień jakich miałbym szukać w kontekście właśnie języka C# (czy jakaś biblioteka, czy skorzystać z jakiejś funkcjonalności C#). Nadmienię tylko, że osobiście myślałem o microservice'ach (i np. o RabbitMQ) teraz popularnych, ale ogólnie jestem otwarty na propozycję bo chciałbym to zrobić możliwie dobrze 'ze sztuką'.
pzdr,
Waldi