Ale "pozyskiwanie danych" to jest dość mało konkretna rzecz. JAKICH danych? Bo to nie problem napisać crawler który na pałe ściagnie ci calego twittera, tylko ze takie pozyskiwanie danych jest bez sensu i bezużyteczne. Ma to sens dopiero jeśli myślisz o tym:
- Jakie dane?
- Do czego to ma być potem użyte?
Możesz pobierać np. informacje o tym kto kogo likuje, retwittuje, komentuje, budując mape sieci społcznościowej, możesz obliczać sentyment wypowiedzi i określać które są pozytywne a ktore negatywne, w kontekście jakichś tagów, możesz pobierać informacje o geolokalizacji i korelować to z innymi danymi, mozesz robić jakąś zaawansowaną ekstrakcje informacji z tekstu pisanego. Jest milion różnych rzeczy które tu można opisać. Moim zdaniem masz zbyt ogólny temat.
Chyba ze zupłenie z innej beczki -> chcesz opisać architekturę jakiegoś uniwersalnego rozproszonego crawlera który można skonfigirować do pobierania dowonego serwisu? Piszesz plugin pod twittera np. i pobiera ci dane z twittera, piszesz plugin pod reddita i pobiera z reddita itd. To też pasuje pod ten twój temat...