Korzystamy z platformy, która ma ustalony limit danych przechowywanych dla jednej encji w postaci 240 KB. Baza jsonowa, zlicza wielkość jsona po JSON.stringify(object, null, 0). W naszym przypadku wielkość robi nam tablica stringów w formacie CSV. Po kompresji tej tablicy jakimś modułem wbudowanym w nodejs (runtime platformy), nadal limity są niewystarczające dla naszego use case. Na dodatek backend jest serverless.
Czy macie inne pomysły, oprócz:
- trzymanie danych na własnych serwerach,
- dzielenie danych gdy przekroczono limit?