Baza danych potrafi działać na dużych zbiorach danych dzięki temu, że:
- dane są podzielone na pliki,
- wyszukiwać można po indeksach,
- można ograniczyć wyniki szukania wybierając kolumny do porównania.,
- zapytania mogą być optymalizowane bez ingerencji pytającego.
Okazuje się, że sporo z tego można zrobić samemu:
- podzielić dane na pliki,
- użyć tablic mieszających,
- wybrać pola struktur do porównania.
Kiedy danych jest mało i są w miarę proste, to nie ma sensu bawić się w bazę danych typu Oracle. Ile to jest mało? Ciężko powiedzieć. grep
przemieli plik 2 GB w parę sekund na średnim procesorze z rodziny Sandy Bridge (rok 2010). Ja jako użytkownik aplikacji okienkowej mógłbym wytrzymać trzy sekund raz na jakiś czas.
Pisząc zupełnie precyzyjnie, wspomniany SQLite świetnie radzi sobie małymi bazami.