Witam. Chciałbym spytać w jaki sposób mogę pobrać bazę danych modeli telefonów ze strony https://www.mgsm.pl/pl/katalog/samsung/ . Udostępniają oni mały banner ze zdjęciem telefonu i podstawowymi danymi który można umieścić na swojej stronie. Zapisany jest on w postaci kodu. Chciałbym pobrać taki kod do każdego modelu i umieścić na swojej stronie. W jaki sposób mogę zrobić to hurtowo?
0
1
W skrócie: Napisać kod, który pobierze tę stronę, następnie sparsować HTML, wyłuskać linki do obrazków i osobnymi zapytaniami HTTP pobrać obrazki.
Pewnie dałoby się bez jakiegoś głębszego programowania curlem, sedem, odpowiednimi regexpami i pętlą w bashu.
Jak chcesz dane, to w kodzie strony są zapisane linki do poszczególnych podstron z danymi telefonu - musisz uderzyć w każdy ten link i sparsować tabelkę która będzie zawarta w kodzie zwróconym z serwera.
BTW: Robisz to na własną odpowiedzialność, baza parametrów telefonów wprawdzie nie jest utworem w rozumieniu prawa autorskiego ze względu na brak indywidualnego, twórczego charakteru takiej bazy, więc scraping w tym przypadku zapewne jest dozwolony, ale już same zdjęcia telefonów zapewne są objęte prawem autorskim, chyba że są to kopie zdjęć rozpowszechnione przez producenta do dowolnego użytku (serio sprawdziłbym dokładnie źródło tych zdjęć i licencje).
1
Musisz albo skorzystać z gotowego rozwiązania, albo napisać własnego crawlera - https://pl.wikipedia.org/wiki/Robot_internetowy czyli porgram/skrypt, który pobierze stronę, przeanalizuje jej treść, a następnie wyciągnie z niej potrzebne Ci informacje.
0
Z racji takiej, że się na tym nie znam to ile to może kosztować?
0
Ciężko powiedzieć. Najlepiej załóż wątek w https://4programmers.net/Forum/Og%C5%82oszenia_drobne i zobacz, co ludzie będą oferować.