Kiedy mówimy o szacowaniu złożonośc ze względu na operację, mamy na myśli typ operacji, a więc wszystkie występiania tej operacji (a nie tylko poszczególne "instancje"). W linijce 7 jest odejmowanie, ale bez przypisania do jakiejkolwiek zmiennej (być może to błąd i chodziło o -=). Więc złożoność tego algorytmu względem operacji arytmetycznych dodawania/odejmowania to nadal O(n^2). Linia 7 wykona się n razy, ale już linia 5 wykona się n^2 razy. Do tego skoro to dodawanie/odejmowanie uznaliśmy za dominujące to należy doliczyć inkrementację indeksów i, j.
Czy szacowanie złożoności tego algorytmu tylko ze względu na instrukcję z lini 7 ma jakiś sens? Wątpię, trzeba uwzględnić wszystkie operacje tego typu. Chyba, że ktoś mi wytłumaczy czemu dodawanie z linijki 7 dominuje nad dodawaniem z linijki 5, na tyle, by n lini 5 wykonywało się szybciej niż jedna instrukcja z linii 7.
PS.
W linii 4 jest błąd, inkrementuje się i zamiast j, w skutek czego wewnętrzna pętla nigdy się nie kończy.