پدر‌بزرگ مادری وی اهل همدان بود و فردی سرشناس و متمول به‌شمار میرفت اما پدرش از مهاجرانی بوده که در زمان قتل عام ارامنه از ترکیه به ایران گریخته و دست سرنوشت او را به باغ پدر بزرگش کشانده بود. آنها هم به او اجازه داده بودند در باغ زندگی کند که همین امر منجر به ازدواج پدر و مادرش شد. کارو و دیگر برادرو خواهرانش در همدان به دنیا آمدند، سپس همراه خانواده‌اش به اراک، بروجرد و تهران مهاجرت کرد.
کارو که متولد ۱۳۰۴ بود درباره دوران کودکی‌اش گفته است: «جزئیات دوران کودکی را چه کسی به یاد دارد که من داشته باشم؟! اما می‌دانم تا هنگامی که پدرم بود سفره ما افتخار آشنایی با گرسنگی را پیدا نکرد. هنوز پدرم زنده بود که ما از دامنه الوند دور شدیم. رفتیم اراک … . پدرم به تجارت فرش اشتغال داشت. گمان می‌‌کنم کارش ایجاب کرده بود که ما را به اراک ببرد. نمی‌دانم چه شد که روی هم رفته یک سال بیشتر در اراک نماندیم. ما به بروجرد رفتیم. همان‌جا که پدرم در ۳۹سالگی به‌رغم هیکل ورزیده و سلامت بی‌چون و چرایش با یک سینه پهلوی ساده، پیوندش را برای همیشه با زندگی گسست، در بروجرد بود که پدرم- به فرمان سرنوشت- نا‌بهنگام‌تر از آنچه انتظار میرفت به خواهران و برادران خود پیوست. به هر حال، از آن روزی که پدر مرد، از همان روز که یک صلیب گمنام- پدر نازنین ما را- در جوار کلیسایی گمنام در راه بروجرد- ملایر، زیر خروارها خاک مصلوب کرد، آفتاب زندگی ما هم، در سپیده‌دم بیدار از آرزوهایمان، غروب کرد. و بعد از آن، هرچه بود درد بود، درد بی‌پدری … درد بی‌پدری …بعد از آن هرچه بود حسرت بود، آه بود. احتیاج بود و دربه دری … و دریغ. من و ویگن، وقتی پدر ما مرد، آن قدر بی‌خبر از دو جهان بودیم، آن قدر بی‌خبر و کوچک که حتی با یک قطره اشک ترانه‌‌ای به نام لالایی برای خواب ابدی پدر نازنینمان نسرودیم… به ما هیچ نگفتند که او مرده است … به ما گفتند که او به «سفری دور و دراز» رفته. ما هم بچه‌تر از آن بودیم که بفهمیم «سفر دور و دراز» یعنی چه؟…»
کارو شاعری را از چهارده سالگی با سرودن اشعار ارمنی شروع کرد اما به‌زودی به شعر فارسی روی آورد و برای این‌کار خود را ملزم کرد که اشعار کلاسیک فارسی را بخواند. خود، در این باره می‌گوید: «اشعار کلاسیک را نخواندم بلکه بلعیدم چون نمی‌خواستم مردم بگویند این یک شاعر ارمنی است که فارسی هم می‌نویسد. می‌خواستم به‌عنوان شاعری فارسی پا سفت کنم.»
کارو مشوق برادرش ویگن در موسیقی بود و متن اولین ترانه او را با نام «سلام بر غم» نوشت. ژولیت دردریان خواهر کارو درباره رابطه این دو برادر نقل می‌کند: «ویگن زیاد از اشعار کارو استفاده می‌کرد. با اینکه آن زمان با هم اختلاف‌نظر داشتند اما رابطه‌شان خیلی خوب بود.» او درباره این اختلاف توضیح می‌دهد: «کارو با حکومت مشکل داشت و ضد خانواده سلطنتی بود اما ویگن با درباریان رفت و آمد داشت. ویگن درآمد خوبی داشت و با خانواده سلطنتی نشست و برخاست می‌کرد. همان وقت‌ها که اوج شهرت ویگن بود حداقل شبی بیست، سی هزار تومان درآمد داشت. خانه‌اش هم در خیابان تخت طاووس بود اما میهمانی‌های مهم را در خانه من برگزار می‌کرد.
برای اینکه ما آن‌زمان خیلی ثروتمند بودیم و ترجیح می‌داد درباریان را در خانه من پذیرایی کند. شبی چند تا از درباریان از جمله شاپور غلامرضا و اشرف پهلوی و هما پهلوی و عده‌ای دیگر را برای شام دعوت کرده بود. میهمانی هم طبق معمول در خانه ما بود. ویگن به ما سفارش کرد که مبادا کارو بویی ببرد. میهمان‌ها آمدند و ساعتی بود نشسته بودند که کارو برحسب اتفاق به خانه ما آمد. ویگن به محض مطلع شدن از آمدن کارو دست و پاهایش شروع به لرزیدن کرد چون احتمال می‌داد کارو میهمانی را به هم بریزد. کارو ویگن را صدا زد و به او گفت: تو خانواده پهلوی را دعوت می‌کنی!؟ آن‌هم طوری که من خبر نشوم!؟ اصلا اینها کی هستند؟
کارو خیلی عصبانی شده بود اما با وجود این بعد از ساعتی رفت پیش میهمان‌ها نشست. شاپور غلامرضا از او خواست از اشعارش بخواند و کارو در لحظه این شعر را سرود و خواند: ای چکمه‌پوشان پست و فرومایه/ شرافت در جیب ستاره بر دوش.
همه ما نگران بودیم که مبادا درباریان این شعر را توهین قلمداد کنند اما شاپور غلامرضا خیلی خوشش آمد و گفت: آدم به عجیبی کارو ندیده‌ام. آن شب به خیر گذشت.» خواهر این شاعر همچنین درباره خصوصیات اخلاقی کارو می‌گوید: «کارو واقعا آدم عجیبی بود. خیلی حساس بود، یادم می‌آید زمانی که می‌خواست اولین کتاب شعرش را چاپ کند خیلی فقیر بودیم و او قادر نبود شعرهایش را چاپ کند. برای همین تصمیم به خودکشی گرفته بود. طنابی را از سقف آویزان کرده بود و خودش را حلق‌آویز کرده بود. ما با شنیدن صدایی از جا پریدیم و به محلی که صدا از آن آمده بود رفتیم. دیدیم کارو خودش را دار زده اما بلافاصله طناب پاره شده و او به زمین افتاده بود. مادرم با دیدن اوضاع خیلی تلاش کرد و از این و آن پول قرض کرد و اولین کتاب کارو را چاپ کرد که البته مورد توجه قرار نگرفت و فروش نکرد.» کارو به گفته خواهرش سال‌های بعد از انقلاب در ایران ماند و در صداوسیما مشغول کار بود. وی بیست سال آخر عمر خود را در غربت گذراند و سرانجام در سال ۱۳۸۶ در آسایشگاهی به نام «دهکده مریم» در کالیفرنیای آمریکا درگذشت.
