Czy dobrze to rozumiem co robi Invoke((MethodInvoker)?

Invoke((MethodInvoker)delegate
{
    listBox1.Items.Add(Encoding.Default.GetString(buffer));
});

nie wiem czy dobrze to rozumiem co robi Invoke((MethodInvoker) tzn to po prostu wywołuje anonimową metodę zdefiniowaną przez delegata ?

Tak. Mógłbyś do tego użyć też Action z wyrażeniem lambda:

Invoke(new Action(
    () => 
   {
     listBox1.Items.Add("");
   }));