Édesapja 1828-tól a váli uradalmi birtok főerdésze lett, így ideköltöztette családját. Vajda költészetében később rendszeresen visszatérő motívumként jelentkezett a váli erdészlak, mint a gondtalan, boldog élet szimbóluma.
A gimnáziumot a székesfehérvári cisztercitáknál végezte 1839 és 1843 között. Ezután Pestre került, ahol nagybátyjánál, Vajda Péter írónál, a korszak neves panteista művészénél lakott, de magasabb iskolai végzettséget nem szerzett.
Ezekben az időkben már próbálkozott versekkel, Petőfit tekintette példaképének, ezért is vonzotta a vándorszínészi pálya. Hét hónapig járta az országot, de 1846 nyarán felhagyott a szinészi pályával. Ekkor Alcsútra került (ma Fejér megyében található település), ahol gazdatiszti gyakornokként dolgozott József főherceg mintauradalmában.
1848-ban a Pilvax törzsvendégeként részt vett a pesti forradalomban, augusztusban önként jelentkezett honvédnek. A hadi szolgálatot közlegényi ranggal kezdte és a hadnagyi rangig jutott el. A délvidéki fronton harcolt, de két hosszú betegség távol tartotta a nagyobb csatáktól.
A szabadságharc bukása után néhány hónapig szüleinél, a váli birtokon húzta meg magát, majd ezután – mint volt honvédtisztet – besorozták az osztrák császári hadseregbe és közel 1 évig közlegényként szolgált az olaszországi Padovában. 1850 végén bocsátották el.
Ezután ismét Pestre került és különböző lapoknál dolgozott újságíróként. Politikailag teljesen elszigetelődött. Világos után úgy gondolta, hogy az újabb forradalom kivitelezése már lehetetlen, ezért a 48-as eszmék árulójának kiáltották ki és szinte teljesen kiközösítették.
Megélhetése is veszélybe került, így 1863-ban elhagyta az országot. Pártfogói Bécsben találtak számára jelentéktelen irodai munkát.
Miután 1866-ban visszatért Pestre, ismét újságíróként dolgozott. Megélhetését nehezítette, hogy ismét szembekerült a domináns politikai irányvonallal, ezúttal a Deák-féle párttal. Nem támogatta a kiegyezést.
Idős korában, 1880-ban megnősült. Az akkor 19 éves Bartos Rozáliát vette feleségül. Fény derült felesége múltjára, ezért kétévi házasság után kiutasította házából.
Ezután élete végéig szegényen és szinte teljes magányban élt. Gyomor- és bélhurut kínozta, amit a rendszeres gyógykezelés ellenére is nehezen tűrt.