Ładowanie dużych plików w Spring (1-10GB)

Cześć ! Mam task, ładować pliki 1-10GB na cloud storage.

Ja wyłączyłem multipart i zrobiłem prez commons-fileupload i common-io (kod poniżej):

    public URL save(HttpServletRequest request) {
        if (!ServletFileUpload.isMultipartContent(request))
            throw new RequestIsNotMultipartException("Request is not a multipart content");

        try {
            FileItemIterator it = new ServletFileUpload().getItemIterator(request);
            while (it.hasNext()) {
                FileItemStream fis = it.next();
                long[] size = new long[]{0};
                String path = FileUtil.createPath();
                IOUtils.copy(fis.openStream(), new FileOutputStream(path + fis.getName()) {
                    @Override
                    public void write(int arg0) {
                        ++size[0];
                    }
                });
            }
        } catch (FileUploadException | IOException e) {
            throw new RuntimeException("Exception during uploading file into storage");
        }
        return null;
    }

Teraz rozważam opcję żeby się nauczyć Spring Batch i użyć w swoim projekcie. O ile wiem, ten framework służy do pobrania/ładowania plików 1TB+.

Pytanie: Czy warto korzystać ze Spring Batch dla plików 1-10GB albo jednak zostać na jak na moim screenie?

Plik na GCS możesz wysłać bezpośrednio używając np. gcloud, po co chcesz to przepuszczać przez swój serwlet?

No generalnie mamy chmurę OpenStack (ochydna rzecz) i object storage (Swift).

Osoba z banku będzie ładować pliki o rozmiarze 1-10GB na chmurę przez aplikację. Na moim pierwszym projekcie robiliśmy to przez multipart, ale tam były pliki do 50mb. było tak że ładujemy zpoczątku na serwer, a potem do Chmury.

Jednak z tego co rozumiem, mówisz że można wprost to chmury przetwarzać plik(ale jest duży, więc będzie kawałkami przesyłany)

Jakie podejście uważasz za najlepsze?

Dzięki :)

Kiedy masz młotek, wszystko wyglada jak gwóźdź. Przedstawione rozwiązanie nie broni się chociażby z powodu dużego zużycia pamięci. Moim zdaniem pliki powinny być wrzucane „gdzieś”, skąd jakimś cronem byłyby przesyłane na GSC, tj. bez żadnego pośredniego interfejsu webowego.

Może nawet da się zestawić automatyczny import z Google Drive https://philipplies.medium.com/transferring-data-from-google-drive-to-google-cloud-storage-using-google-colab-96e088a8c041

Na pewno szukałbym prostego rozwiązania wokół gsutil.

Ja osobiście sprawdziłbym jakie API ma ta chmura gdzie to chcesz wrzucać, bo znajac życie to jest tam jakis klient któremu można podać data stream, albo który obsługujesz POSTem i możesz spokojnie wziać sobie httprequest, i pisać bezpośrednio do outputstreamu. W pierwszym przypadku miałbyś coś w stylu someCloudClient.uploadData(cośtam, request.getInputStream()) a w drugim przypadku np. użyłbyś jakiegoś springowego StreamingResponseBody i skopiował jeden stream do drugiego.

Mnie zastanawia tylko czy jest sens w ogóle pchać te dane przez wasz serwer. Może wystarczyłby jakiś webowy klient w JS który bezpośrednio pchałby te dane od razu do clouda?

Spring Batch nie służy do ładowania plików 10Gb tylko do szeroko rozumianego przetwarzania danych. Wrzuca się mu jakieś dane, bierze je po części, przetwarza, i na koniec gdzieś przenosi. Tyle. Jestem prawie pewien że gdybyś na raz próbował załadować cały plik 10gb w pamięci to apka dostała by zawału.