Data Crawling - rozmowa kwalifikacyjna

0

Witam,
ubiegam się o staż bądź posadę juniora jako python developer, pojutrze mam rozmowę kwalifykacyjną w jednej z firm w mailu poinformowali mnie, że będą przygotowane jakieś grupowe taski związane z tzw "data crawling"
Jak myślicie z czego powininem się najbardziej przygotować i co może mnie tam czekać?
Ps. na rozmowę prosili o przyniesienie własnego sprzętu.

Pozdrawiam i z góry dziękuje za odpowiedź.

0

Właśnie jestem, w trakcie przerabiana krótkiego tutoriala z BS4
Wiem też że powinienem nieco zaznajomić się z wyrażeniami regularnymi
Coś jeszcze?
Btw. Miasto to Kraków
Ps.
BS4 służy do "webscrapping" a w mailu pisali o "data crawling" wiem, że pojęcia "crawling" i "scrapping" są dość bliźniacze
jednak wole się upewnić żeby nie wyjść tam na totalnie zielonego.

0

Takim najpopularniejszym Pythonowym scraperem jest scrapy:

https://scrapy.org/

Requests są na niższym poziomie abstrakcji niż scrapy. W scrapy masz automatyczne mechanizmy do samego crawlingu (a więc emitowanie danych i nowych stron do przejechania w trakcie ekstrakcji danych, automatyczne ograniczenia zakresu crawlu, różne interfejsu do data storage itp)

0

O, właśnie po to, by umieć napisać takie rzeczy uczę się Pythona :D

1 użytkowników online, w tym zalogowanych: 0, gości: 1