Γεννήθηκε και μεγάλωσε στην Καισαριανή ενώ ξεκίνησε να εργάζεται τσαγκάρης.
Η συνάντησή του το 1966 με τον Θεοδωρακη άλλαξε τη ζωή του,με αποτέλεσμα να βρεθεί στους μεγαλύτερους συναυλιακούς χώρους της τότε Σοβιετικής Ένωσης, της Ευρώπης και της Αμερικής και να ερμηνεύει στίχους του Σικελιανού, του Ρίτσου και του Σεφέρη υπό την καθοδήγηση του Μίκη Θεοδωράκη.
Κατά την Δικτατορία των Συνταγματαρχών του 1967, έφυγε στο εξωτερικό μαζί με την Φαραντούρη και δημιούργησε λαϊκή ορχήστρα, με την οποία έδωσαν συναυλίες που είχαν καθαρά πολιτικό χαρακτήρα, συμβάλλοντας έτσι στον αγώνα κατά της Χούντας.
Το 1970 αποφυλακίστηκε ο Μίκης Θεοδωράκης και μαζί έδωσαν περισσότερες από 500 συναυλίες σε Ευρώπη, Αμερική και Αυστραλία, κάνοντας γνωστή την πολιτική κατάσταση που επικρατούσε τότε στην Ελλάδα. Το 1972 ο Καλογιάννης επέστρεψε στην Ελλάδα και τραγούδησε σε αρκετές μπουάτ στην Πλάκα. Ξεχωριστές στιγμές στην σταδιοδρομία του, υπήρξαν η ηχογράφηση του «Πνευματικού Εμβατηρίου» του Άγγελου Σικελιανού και το «Κατάσταση Πολιορκίας» το 1970 μαζί με την Μαρία Φαραντούρη, καθώς και του «Ήλιος και Χρόνος / Επιφάνεια Αβέρωφ» το 1975. Η δεκαετία του 1980, ξεκίνησε με έναν Δίσκο (Μίμη Πλέσσα – Δημήτρη Χριστοδούλου «Τραγούδια της γειτονιάς»/1980), που μάλλον έκλεισε την προηγούμενη δεκαετία. Με τον επόμενο Δίσκο του («Τα σημερινά»/1981), ο Αντώνης Καλογιάννης πραγματοποίησε την στροφή του στο ερωτικό τραγούδι, όπου και καθιερώθηκε ως ένας ερωτικός τραγουδιστής. Με τα χρυσά σε πωλήσεις, «Σημερινά», του Σπύρου Παπαβασιλείου και του Λάκη Τεάζη, ο Καλογιάννης άνοιξε την πιο εμπορική δεκαετία της σταδιοδρομίας του με το τραγούδι (μεγάλη του επιτυχία) «Όμορφή μου Κατερίνα». Τα επόμενα χρόνια ακολούθησαν και άλλες μεγάλες επιτυχίες, όπου ο τίτλος τους παρέπεμπε σε γυναικεία ονόματα.
Απεβίωσε στις 11 Φεβρουαρίου 2021 από ανακοπή καρδιάς
