Hej, robię aplikację wykorzystującą sqlite (w sumie bez znaczenia jaka to baza).
Struktura jest mega prosta i wygląda tak, że mam:
TAB(id autoincrement, unique url)
MAP(id1, id2)
Program generalnie ma służyć do zmapowania całej struktury strony www.
Pierwsze pytanie, czy takie przechowywanie danych ma sens, czy ktoś ma pomysł jak to zrobić inaczej(prościej?)?
Jeśli jest ok, to mam spory problem z wydajnością, bo dodając najpierw nowy adres do pierwszej tabeli, a później wyciągając kolejne id z drugiej tabeli wykonuję teraz bardzo dużo drobnych zapytań do bazy - w jaki sposób to ograniczyć?
proces teraz wygląda tak, że:
Wchodzę na www.Adres1.pl
pobieram 100 adresów typu:
Adres1.pl/a
Adres1.pl/b
umieszczam Adres1.pl w TAB
Pobieram id przed chwilą umieszczonego adresu.
Pobieram id2 adresu z którym chcę utworzyć powiązanie np (Adres1.pl - Adres1.pl/a), jeśli Adres1.pl/a nie istnieje w TAB to dodaję go i dopiero pobieram jego id
W końcu tworzę połączenie (id1, id2) w drugiej tabeli MAP, przy okazji przydałoby się jeszcze sprawdzać, czy już takie powiązanie nie istnieje
W najgorszym przypadku 1 dodanie rekordu zabiera 6 zapytań, co jest jakąś masakrą i działa bardzo wolno, bo są wykonywane bardzo drobne zapytania.
//dodaj(String MOJ_TEXT, String[] POWIAZANIA)
insert next_int, MOJ_TEXT into TAB;
int id1 = select id from TAB where text=MOJ_TEXT//
while(i < POWIAZANIA.LENGTH) {
int id2 = select id from TAB where text=POWIAZANIA[i]
jeśli nie istnieje to
insert next_int, POWIAZANIA[i] into TAB;
i znowu
int id2 = select id from TAB where text=POWIAZANIA[i]
}
insert into MAP id1, id2
Zastanawiałem się nad buforem i commitem dopiero po zebraniu np 100 nowych rekordów, ale to raczej odpada, bo jeśli nie umieszczę rekordu w bazie to automatycznie nie mam jego id i nie mam jak utworzyć powiązań. Najgorsze jest jednak wyciąganie id'ków już przy tworzeniu powiązań, bo powiedzmy, że na jakiejś stronie jest 100 adresów url - teraz chcę zrobić powiązania aktualny_adres-każdy_inny_adres no i wyciągam pojedynczo id wszystkich adresów po kolei (dodając je najpierw w razie potrzeby do pierwszej tabeli).
Jeśli ktoś zrozumie o czym w ogóle piszę to z góry dzięki za pomoc :)