Команды grep, egrepи fgrepявляются мощными утилитами для текстового поиска в Linux. Они позволяют пользователям выполнять поиск в файлах или выводе по шаблонам текста с использованием регулярных выражений (regex). В статье мы углубимся в эти команды, их расширенное использование и то, чем они отличаются.

grepрасшифровывается как Global Regular Expression Print . Утилита ищет шаблоны в файлах или входных данных и печатает строки, соответствующие шаблону.

Начнем с простого: базовый синтаксис и флаги grep:

grep [OPTIONS] PATTERN [FILE...]

Популярные опции:

• -i: Поиск без учета регистра.
• -v: Обратное соответствие (показать строки, не соответствующие шаблону).
• -r: Рекурсивный поиск файлов в каталогах.
• -l: Показывать только те имена файлов, которые содержат совпадения.
• -c: Показать количество совпадающих строк.
• -n: Показывать номера строк с соответствующими строками.
• --color: Выделение соответствующих шаблонов в выходных данных.
• -fопция считывает шаблоны из указанного файла
• -Fпропускает механизм регулярных выражений, это быстрее, чем использование обычногоgrep

Примеры:

# Поиск без учета регистра: поиск "error" в файле, игнорируя регистр
grep -i "error" /var/log/syslog

# Рекурсивный поиск в каталоге: поиск шаблона "disk" во всех файлах в /etc/, включая подкаталоги:
grep -r "disk" /etc/

# Отображение номеров строк: отображение строк, содержащих "bash" в ~/.bashrc, включая номера строк
grep -n "bash" ~/.bashrc 

# Обратное совпадение: отображение всех строк, не содержащих "root", в /etc/passwd
grep -v "root" /etc/passwd

# Поиск по нескольким шаблонам с -E: поиск строк, содержащих либо "warn", либо "error"
grep -E "warn|error" /var/log/syslog

egrep: расширенный grepс увеличенной мощностью

egrepявляется сокращением от Extended GREP . По сути, это то же самое, что и grep -E, то есть утилита использует расширенные регулярные выражения, которые поддерживают более продвинутые функции регулярных выражений, такие как +, ?, |, и скобки без необходимости их экранирования.

# Найти строки, содержащие "error" или "fail" без экранирования |
egrep "error|fail" /var/log/syslog 

# Эквивалентно: 
grep -E "error|fail" /var/ log /syslog 

# Найти строки с "color" или "colour" 
egrep "colou?r" file.txt 

# Расширенные регулярные выражения — шаблоны соответствия: найти строки, где появляется "log", за которым следует 1 или более цифр 
egrep "log[0-9]+" logfiles.txt

Расширенные шаблоны grep: находим то, что другие не могут найти:

1. Мониторинг системных журналов в режиме реального времени

Вы можете использовать grep совместно сtailдля динамического мониторинга журналов и фильтрации определенных шаблонов:

tail -f /var/log/syslog | grep --color=auto -E "error|warn|critical"

• Пояснение: в примере выше выполняется отслеживание /var/log/syslogв реальном времени и фильтрует строки, содержащие «error», «warn» или «critical». Опция --colorвыделяет совпадения.

2. Поиск и замена шаблонов в нескольких файлах

Используйте grepсовместно с sedдля замены шаблонов в файлах. Это полезно для массовых обновлений в нескольких файлах конфигурации.

grep -rl "old-string" /path/to/directory | xargs sed -i 's/old-string/new-string/g'

• Пояснение: в примере выше выполняется рекурсивный поиск ( -r) всех файлов, содержащих «old-string», и передача их для sedзамены на «new-string» ( -iдля редактирования файлов на месте).

3. Извлечение определенных данных из больших логов

Для извлечения определенных типов информации, например IP-адресов или временных меток из файла лога, можно использовать расширенные регулярные выражения.

Пример: извлечение всех IP-адресов из файла лога:

grep -oE "([0-9]{1,3}\.){3}[0-9]{1,3}" /var/log/apache2/access.log

• Пояснение: в примере выше используется -oEдля сопоставления IP-адресов (формат адреса IPv4, соответствующий регулярному выражению) и их вывода.

Пример: извлечение всех временных меток из файлов журнала:

grep -oE "\[([0-9]{2}/[A-Za-z]+/[0-9]{4}):([0-9]{2}:[0-9]{2}:[0-9]{2})" /var/log/apache2/access.log

• Пояснение : в примере выше извлекаются временные метки лога Apache в формате [dd/Mon/yyyy:hh:mm:ss].

4. Аудит прав доступа к файлам

Если вам нужно выполнить аудит безопасности, вы можете использовать grepдля поиска файлов с определенными разрешениями.

Пример: найти все файлы с разрешением 777 в каталоге и его подкаталогах:

find / -type f -perm 777 2>/dev/null | grep --color=auto "^"

• Пояснение в примере выше утилитаfindищет файлы с разрешениями 777и направляет вывод в grepдля их дополнительного выделения цветом.

5. Поиск файлов на основе метаданных (размер, время, владелец)

grepможет использоваться в сочетании с findдля поиска файлов на основе более конкретных метаданных, таких как время изменения файла, размер и владельцы.

Пример: найти и отобразить файлы размером более 100 МБ со словом «ERROR»:

find /var/log/ - type f -size +100M - exec grep -H "ERROR" {} \;

• Пояснение: этот метод использует findдля поиска файлов размером более 100 МБ в /var/log/,а -execзапускает grepдля поиска строк, содержащих «ERROR».

Пример: найти файлы, измененные за последние 7 дней, и выполнить поиск по слову «failure»:

find /etc/ -type f -mtime -7 -exec grep -H "failure" {} \;

• Пояснение: findищет файлы, измененные за последние 7 дней, и передает их grepдля поиска «failure».

6. Параллельный grep для повышения производительности

При поиске в больших каталогах с большим количеством файлов параллельный запуск grep может значительно повысить производительность.

Пример: параллельный поиск строки «timeout» в большом каталоге:

find /path/to/dir -type f | xargs -P 4 grep "timeout"

• Пояснение: xargs -P 4запускает параллельно 4 процесса grep, ускоряя поиск.

7. Поиск множественных сложных шаблонов

Вы можете использовать grepдля поиска несколько сложных шаблонов, используя расширенные регулярные выражения.

Пример: поиск строк, содержащих «error» с последующим числом или любую строку с «timeout»:

grep -E "error[[:digit:]]+|timeout" /var/log/syslog

• Пояснение: этот подход позволяет найти строки, в которых после слова «error» следует одна или несколько цифр, или строки, содержащие слово «timeout».

Пример: найти в логах строки, содержащие либо «failed login», либо «successful login»:

grep -E "(failed|successful) login" /var/log/auth.log

• Пояснение: здесь используется расширенное регулярное выражение для сопоставления «failed login» или «successful login».

8. Поиск в двоичных файлах и игнорирование непечатаемых символов

grepможет использоваться для поиска строк в двоичных файлах, игнорируя непечатаемые символы.

Пример: поиск строки «password» во всех двоичных файлах:

grep -a "password" /usr/bin/*

• Пояснение: опция -a обрабатывает двоичные файлы как текстовые файлы, позволяя искать понятные человеку строки внутри двоичных файлов.

9. Фильтрация и подсчет уникальных вхождений

Вы можете использовать grep совместно с утилитамиsortи uniqдля фильтрации и подсчета уникальных шаблонов, таких как IP-адреса, имена пользователей или ошибки.

Пример: подсчет уникальных IP-адресов, обращающихся к веб-серверу:

grep -oE "([0-9]{1,3}\.){3}[0-9]{1,3}" /var/log/apache2/access.log | sort | uniq -c | sort -nr

• Пояснение: эта команда извлекает IP-адреса из access-лога, сортирует их, подсчитывает уникальные вхождения, а затем сортирует их по частоте.

Пример: найти наиболее частые типы ошибок в файле лога:

grep "ERROR" /var/log/syslog | awk '{print $5}' | sort | uniq -c | sort -nr

• Пояснение: команда выше извлекает типы ошибок (предполагая, что 5-е поле — это тип ошибки), подсчитывает уникальные ошибки и сортирует их по частоте.

Повышение производительности: ускорьте поиск с помощью оптимизации grep

10. Объедините grep с другими инструментами автоматизации

Пример: отправка оповещения, если в журналах появляется определенная ошибка

Вы можете создать автоматизированную систему оповещений на основе определенных шаблонов в логах, используя grep.

grep -i "critical error" /var/log/syslog | mail -s "Critical Error Found" admin@example.com

• Пояснение: здесь выполняется поиск «critical error» в системном логе и, если она найдена, администратору отправляется электронное письмо с соответствующими строками.

11. Извлечение определенных данных из диапазона строк

Используя grepв сочетании с sedили awk, вы можете извлечь определенные данные из диапазона строк.

Пример: извлечение линий между двумя шаблонами:

sed -n '/START_PATTERN/,/END_PATTERN/p' file.txt | grep "important_string"

• Пояснение : в примере выше извлекаются строки между START_PATTERNи END_PATTERNи передаются вgrepдля поиска important_string.

12. grep с удаленных серверов с использованием SSH

Вы можете удаленно выполнять поиск в журналах или файлах на другом сервере, используя SSH и grep.

Пример: Поиск «error» в удаленных журналах:

ssh user@remote_server 'grep "error" /var/log/syslog'

• Пояснение: в примере выше выполняется команда grep на удаленном сервере через SSH.

13. Найти выполненные команды в истории Bash

Чтобы отследить конкретную команду, использовавшуюся пользователями в прошлом, вы можете выполнить поиск в файлах истории bash.

Пример: поиск всех выполненных команд mount в истории всех пользователей:

grep "mount" /home/*/.bash_history

• Пояснение: команда выше проверяет файлы истории bash всех пользователей на предмет выполнения ими команды mount.

14. Расширенное сопоставление с образцом с отрицательным просмотром

grepне поддерживает просмотр вперед напрямую, но вы можете добиться похожего поведения с помощью креативного регулярного выражения.

Пример: сопоставьте строки, содержащие «error», но не содержащие «network error»:

grep -E "error" file.txt | grep -v "network error"

• Пояснение : сначала команда находит все строки, содержащие «error», а затем исключают строки, содержащие «network error».

Эти расширенные варианты использования демонстрируют универсальность grep, egrep, и fgrepпри применении в сложных случаях. Независимо от того, анализируете ли вы логи, ищете в больших наборах данных или автоматизируете административные задачи, эти мощные инструменты помогут вам эффективно найти именно то, что вам нужно.

На этом все! Спасибо за внимание! Если статья была интересна, подпишитесь на телеграм-канал usr_bin, где будет еще больше полезной информации.