"Det finns ingen brådska för att inleda förhandlingar men uppehåll kan inte vara för evigt.
"Vi har annat att göra än att tänka på Brexit.
"Vi måste se till att vi skapar jobb. Vi måste möta klimatutmaningen, vi har säkerhetsfrågor, kampen mot terrorism. Det är vad vi bör fokusera på."
För både Sverige och EU, är asyl ett av de största utmaningarna för de kommande åren.
Mer än en miljon invandrare korsade in i Europa förra året och 163 tusen söker asyl i Sverige.
Med nyanlända som sov i tält, gjorde Sverige en U-sväng på årtionden av sin generösa asylpolitik i slutet
av förra året, och beslöt att införa gränskontroller, tillfälliga uppehållstillstånd och andra tuffa åtgärder.
Herr Löven sade att Sveriges tuffa hållning skulle förbli på plats tills andra EU-länder delade bördan.
Han sade: "När vi inte har gemensamma regler, måste vi ta samma tillvägagångssätt som alla andra."
"Unionen fungerar inte som det och det kommer att finnas skillnader om de inte är medlemmar."
Brexit sekreterare David Davis sade i denna vecka att det var "mycket osannolikt" att Storbritannien skulle förbli en fullvärdig medlem av EU: s handelsområdet samtidigt som de drar sig tillbaka från reglerna om fri rörlighet.
Theresa May tvingades distansera sig från hans kommentarer, samtidigt gav Mr Davis en personlig åsikt snarare än han beskriver regeringens politik.