Depende de lo que se te ocurra. A mi a veces me pasa que estoy haciendo alguna labor cotidiana, o simplemente dando un paseo, o pensando, y me viene a la cabeza un ritmo, entonces empiezo la canción por el ritmo. Algunas veces me viene una línea de bajo, o una melodía... Depende.
Cuando empecé a componer música, no tenía ni idea de armonía, asi que solía empezar por la melodía, el ritmo, o el bajo. Luego aprendí algo sobre armonía y fuí tratando de componer canciones empezando desde los acordes. Esto me cuesta más, pero las posibilidades de que te salga algo más original dentro de tu repertorio son más altas, pienso. Por qué?
Muy sencillo. En mi caso, cuando pensaba melodías sin saber nada de acordes, y las ponía en el secuenciador midi, a la hora de ponerle los acordes siempre acababa con los mismos; por lo visto la música que más he oído, había grabado en mi subconsciente algunas progresiones de las que no salía ni para atrás. Entonces me di cuenta de que aunque se me ocurrían buenas melodías, estas siempre estaban "asentadas" sobre los mismos tres acordes, que en la tonalidad A menor, serían Am, F y G

.
Así que casi todas las primeras canciones que hice sin tener ni idea de acordes, aunque melódicamente me gustaban, luego, al tratar de ponerles acordes basándome en los bajos que les había puesto y demás, descubrí tristemente que no salían de esos tres acordes. Mis progresiones solían ser cosas como... | Am | G | F | G |, | Am | Am | F | G |, | F | G | Am |, | Am | F | G | Am |, y suma y sigue...

Vamos que me gustaban melódicamente, pero eran muy pobres armónicamente. Entonces me adentré un poco más en eso de la armonía, los acordes, sus funciones (por cierto que mucho de lo que aprendí sobre eso se lo debo a este foro, y en especial a Oscarcot, que hizo un tutorial sobre las funciones de los acordes diatónicos que me aclaró un montón de dudas).
Bueno, entonces empecé a tratar de componer usando distintos acordes a los que siempre usaba, lo cual me costó (y a veces me sigue costando), y aunque a veces me salen unas melodías que no terminan de convencerme, y tengo que cambiarlas 200 veces para dar con otras 200 que no me convencen

, acabo dando con algo que me suena más o menos bien. Con esto vas consiguiendo comprender mejor las funciones de los acordes, y acostumbrar el oído al uso de otros acordes distintos a los que uno suele estar más familiarizado, lo cual enriquece armónicamente las canciones.
Por tanto,
mi consejo es que si se te ocurre una buena melodía, empieces por la melodía. Pero
si quieres mejorar tu forma de componer, y ampliar y/o enriquecer tus composiciones armónicamente, de vez en cuando viene bien poner una progresión de acordes, y tratar de ver que es lo que se puede "sacar" de ella. Para ello no hace falta complicarse la vida, basta con las típicas combinaciones de acordes diatónicos más básicas. Gracias a este ejercicio, mis canciones ahora tienen (en tonalidad de A menor) Dms, Ems, Es, E7s, Cs, acordes de séptima y ultimamente hasta acordes "sus" (todos ellos acordes que por alguna razón, nunca usaba al principio

).
Eso si, aun no he llegado al nivel de que se me ocurran melodía y acordes a la vez. El camino es largo, pero ir descubriendo las posibilidades de la música es muy interesante.
Suerte.