it-swarm.com.ru

Заставить bash раскрыть переменные в строке, загруженной из файла

Я пытаюсь понять, как заставить bash (force?) Раскрыть переменные в строке (которая была загружена из файла).

У меня есть файл с именем "thing.txt "с содержимым: 

hello $FOO world

Тогда я бегу

export FOO=42
echo $(cat something.txt)

это возвращает: 

   hello $FOO world

Он не расширяет $ FOO, хотя переменная была установлена. Я не могу проверить или получить исходный файл - так как он попытается выполнить его (он не исполняемый как есть - я просто хочу строку с интерполированными переменными). 

Есть идеи? 

59
Michael Neale

Я наткнулся на то, что я думаю, что ответ на этот вопрос: команда envsubst.

envsubst < something.txt

Если он еще не доступен в вашем дистрибутиве, он находится в

Пакет GNU gettext.

@Rockallite - Я написал небольшой скрипт-обертку, чтобы позаботиться о проблеме '\ $'.

(Кстати, есть «особенность» envsubst, объясненная по адресу https://unix.stackexchange.com/a/294400/7088 Для расширения только некоторых переменных во входных данных, но я согласен, что избегать исключений гораздо удобнее.)

Вот мой сценарий:

#! /bin/bash
      ## -*-Shell-Script-*-
CmdName=${0##*/}
Usage="usage: $CmdName runs envsubst, but allows '\$' to  keep variables from
    being expanded.
  With option   -sl   '\$' keeps the back-slash.
  Default is to replace  '\$' with '$'
"

if [[ $1 = -h ]]  ;then echo -e >&2  "$Usage" ; exit 1 ;fi
if [[ $1 = -sl ]] ;then  sl='\'  ; shift ;fi

sed 's/\\\$/\${EnVsUbDolR}/g' |  EnVsUbDolR=$sl\$  envsubst  "[email protected]"
73
LenW

Многие ответы используют eval и echo, но разбиваются на разные вещи, такие как несколько строк, попытки экранирования метасимволов Shell, экранирование внутри шаблона, не предназначенного для расширения посредством bash и т.д.

У меня была такая же проблема, и я написал эту функцию Shell, которая, насколько я могу судить, обрабатывает все правильно. Из-за правил подстановки команд bash это по-прежнему удаляет только завершающие символы новой строки из шаблона, но я никогда не обнаруживал, что это проблема, если все остальное остается нетронутым.

apply_Shell_expansion() {
    declare file="$1"
    declare data=$(< "$file")
    declare delimiter="__apply_Shell_expansion_delimiter__"
    declare command="cat <<$delimiter"$'\n'"$data"$'\n'"$delimiter"
    eval "$command"
}

Например, вы можете использовать его следующим образом с parameters.cfg, который на самом деле является сценарием Shell, который просто устанавливает переменные, и template.txt, который является шаблоном, который использует эти переменные:

. parameters.cfg
printf "%s\n" "$(apply_Shell_expansion template.txt)" > result.txt

На практике я использую это как своего рода облегченную систему шаблонов.

25
wjl

ты можешь попробовать 

echo $(eval echo $(cat something.txt))
16
pizza

Вы не хотите печатать каждую строку, вы хотите оценить это так, чтобы Bash мог выполнять подстановки переменных.

FOO=42
while read; do
    eval echo "$REPLY"
done < something.txt

Смотрите help eval или руководство по Bash для получения дополнительной информации.

10
Todd A. Jacobs

Другой подход (который кажется неприличным, но я все равно выкладываю его здесь): 

Запишите содержимое файлаthing.txt во временный файл, заключив в него оператор echo: 

something=$(cat something.txt)

echo "echo \"" > temp.out
echo "$something" >> temp.out
echo "\"" >> temp.out

затем отправьте его обратно в переменную: 

RESULT=$(source temp.out)

и в $ RESULT все это будет расширено. Но это так неправильно!

4
Michael Neale

Если вы хотите, чтобы ссылки на переменные были расширены (цель, которую я поставил для себя), вы можете сделать следующее.

contents="$(cat something.txt)"
echo $(eval echo \"$contents\")

(Ключевыми здесь являются экранированные кавычки вокруг $ content)

2
SS781
  1. bash метод, (однострочный вариант ответ Майкла Нила ), используя процесс & подстановка команд:

    FOO=42 . <(echo -e echo $(<something.txt))
    

    Результат:

    hello 42 world
    

    Обратите внимание, что export не нужен.

  2. GNUsede _ ​​valuate метод, если thing.txt имеет много строк:

    FOO=42 sed 's/"/\\\"/g;s/.*/echo "&"/e' something.txt
    
2
agc
$ eval echo $(cat something.txt)
hello 42 world
$ bash --version
GNU bash, version 3.2.57(1)-release (x86_64-Apple-darwin17)
Copyright (C) 2007 Free Software Foundation, Inc.
1
ClearCrescendo
foo=45
file=something.txt       # in a file is written: Hello $foo world!
eval echo $(cat $file)
1
Božský Boch

envsubst - отличное решение (см. ответ LenW), если заменяемый контент имеет «разумную» длину. 

В моем случае мне нужно было заменить содержимое файла, чтобы заменить имя переменной. envsubst требует, чтобы содержимое экспортировалось как переменные среды, и bash имеет проблему при экспорте переменных среды, размер которых превышает мегабайт или около того.

awk решение

Используя cuonglm's solution из другого вопроса:

needle="doc1_base64" # The "variable name" in the file. (A $ is not needed.)
needle_file="doc1_base64.txt" # Will be substituted for the needle 
haystack=$requestfile1 # File containing the needle
out=$requestfile2
awk "BEGIN{getline l < \"${needle_file}\"}/${needle}/{gsub(\"${needle}\",l)}1" $haystack > $out

Это решение работает даже для больших файлов.

0
Larry K

Следующее решение: 

  • позволяет заменять переменные, которые определены 

  • оставляет неизменными переменные заполнители, которые не определены. Это особенно полезно при автоматическом развертывании. 

  • поддерживает замену переменных в следующих форматах:

    ${var_NAME}

    $var_NAME

  • сообщает, какие переменные не определены в среде, и возвращает код ошибки для таких случаев



    TARGET_FILE=someFile.txt;
    ERR_CNT=0;

    for VARNAME in $(grep -P -o -e '\$[\{]?(\w+)*[\}]?' ${TARGET_FILE} | sort -u); do     
      VAR_VALUE=${!VARNAME};
      VARNAME2=$(echo $VARNAME| sed -e 's|^\${||g' -e 's|}$||g' -e 's|^\$||g' );
      VAR_VALUE2=${!VARNAME2};

      if [ "xxx" = "xxx$VAR_VALUE2" ]; then
         echo "$VARNAME is undefined ";
         ERR_CNT=$((ERR_CNT+1));
      else
         echo "replacing $VARNAME with $VAR_VALUE2" ;
         sed -i "s|$VARNAME|$VAR_VALUE2|g" ${TARGET_FILE}; 
      fi      
    done

    if [ ${ERR_CNT} -gt 0 ]; then
        echo "Found $ERR_CNT undefined environment variables";
        exit 1 
    fi
0
aprodan