Зачем нужно писать "#!/bin/bash" в начале каждого скрипта

Писать нужно, чтобы указать системе желаемый интерпретатор для вашего скрипта.

Вот пример с php:
alex@ubuntu:~/Скрипты$ cat test.php
#!/usr/bin/php
<?php
echo 'Hello world!'."\n";
?>
alex@ubuntu:~/Скрипты$ ./test.php
Hello world!
alex@ubuntu:~/Скрипты$