アイコンをダブルクリックすればインストールであれば楽ですが、そういうわけにはいかないのがLinuxの世界なので、インストール方法をいくらか知っておく必要があります。
ディストリビューション(UbuntuとかRedHatとか)が提供しているパッケージ管理ソフトを使う方法です。たいていroot権限が必要です。画面上でインストールしたいソフトを選べばインストールされます。簡単で安全な方法ですが、マニアックなソフトやテスト版のソフトは手に入らないかもしれません。
また、特定ディストリビューション向けのパッケージ(RedHatのRPMなど)が製作者から提供されている場合はそれを使って簡単にインストールできます。
Javaのプログラムなど、特に何もしなくていいパターンがあります。この場合は自分で好きなディレクトリに配置できますが、パスの通っているディレクトリに置かないと、コンソールからの起動が面倒です。~/bin などに置くといいでしょう。
Windowsのようにそのファイルを開けばインストールが開始されるパターンです。ファイルを実行可能にして(chmod 755など)、実行します。インストールするディレクトリによってはroot権限が必要です。
ソースコードをダウンロードして自分でコンパイルする方法です。面倒な方法ですが、もっとも多いパターンです。インストールするディレクトリによってはroot権限が必要です。
コンパイル方法は、ドキュメントを読めば書いてあるはずですが、大体次の流れになります。
エラーがでなければ成功。make check、make cleanはやらなくてもいいです。
ただ、プログラムによってはいきなりmakeだったり、make installがなかったり、autogenという便利なものがあったり、cmakeだったり、pythonだったり、様々ですので、インストールする時には必ず説明を読むようにしましょう。