Delistowanie dla hostingów.
Informacja dla domen będących hostingami lub serwerami MTA, które znalazły się na czarnych listach RBL polspam.pl.
Za co domena będąca hostingiem, jej adres IP, jej klasy adresowe lub cały ASN mogą znaleźć się na listach RBL polspam.pl?
- Samodzielne rozsyłanie spamu. Domena operatora lub adresy IP należące do domeny operatora mogą rozsyłać spam samodzielnie w celu autoreklamy bądź na zlecenie firm trzecich, marek towarowych, usług firm trzecich itp.
- Udostępnianie infrastruktury do spamowania. Inne czynności, niewymienione, polegające na pomocnictwie w procederze spamowania lub zawirusowane komputery, zawirusowane strony www, przejęte przez hakerów do rozsyłania spamu, z którymi nikt i nic nie robi. Inaczej brak nadzoru nad siecią.
- Przyjmowanie odpowiedzi e-mail na spam rozsyłany z obcych serwerów. Często spam rozsyłany jest spoza granic kraju docelowego ale odpowiedzi ofiar mają trafiać na konta mailowe umieszczone w infrastrukturze operatora hostingu. W ten sposób spamerzy ukrywają fakt rozsyłania milionów maili.
- Hosting domen związanych ze spamem, w tym zlecających spam, ale nie korzystających z lokalnych usług e-mail. Sama firma hostingowa ani klient hostingu nie wysyłają ani nie odbierają poczty e-mail w ogóle ale w infrastrukturze hostingu znajdują się strony www spamerów lub strony lądowania wyłudzające dane ofiar oraz przekierowujące na kolejne strony internetowe lub oferujące dalszy kontakt e-mailowy. W ten sposób spamerzy ukrywają fakt rozsyłania milionów maili zachęcających do odwiedzania konkretnych witryn internetowych.
- Outsourcing spamu. Domeny świadczące usługi spamowania na zlecenie, usługi masowej wysyłki poczty e-mail, tak zwane usługi SMTP w chmurze.
- Wykorzystywanie wynajętych klas adresowych wraz z przekierowaniem routingu na poziomie BGP. Czasem spamerzy pożyczają klasy adresów IP od firm trzecich i na poziomie routingu BGP umieszczają je w centrach danych innych firm hostingowych. W takim przypadku klasy te, domeny w nich zwarte oraz ASN nowej domeny hostingowej mogą znaleźć się na czarnych listach. Jest to bardziej zaawansowany sposób udostępniania infrastruktury do rozsyłania spamu.
Krótkie przypomnienie.
RBL polspam.pl nikogo nie banuje, nie blokuje nikomu możliwości wysyłania i odbierania poczty e-mail. RBL polspam.pl informuje jedynie innych administratorów MTA, że dany adres, klasa czy ASN biorą udział w procederze spamowania. To administratorzy MTA decydują co zrobić z tymi informacjami.
Wraz z domeną spamera, dopisaną ręcznie przez wolontariusza polspam.pl do czarnej listy RHSBL, niejako na powitanie, zostają odczytane rekordy DNS domeny spamera. Każdy znaleziony tam rekord typu A, AAAA lub MX jest dopisywany automatycznie (poprzez oprogramowanie listy RBL) do czarnej listy przeznaczonej dla adresów IP. Jeżeli dany adres IP jest współdzielony przez wiele domen to poprzez czarną listę adresów IP (bl) pozostałe domeny będą listowane jako czarne chociaż ich nazw domenowych nie będzie na czarnej liście zawierającej nazwy domenowe (rhsbl). Czarne listy z nazwami domenowymi i czarne listy z adresami IP są różnymi listami.
Należy mieć zawsze na uwadze fakt, że nominacja nazwy domeny w RBL polspam skutkuje również nominacją przypisanych do domeny adresów IP, które są odpowiedzialne za obsługę poczty e-mail dla domeny.
Tak więc podążając śladem domeny, RBL polspam listuje jednocześnie wszelkie możliwe adresacje IP e-mail powiązane z domeną.
RBL polspam reaguje na adresację IPv4 oraz IPv6.
Jeżeli spamowanie odbywa się z setek czy tysięcy adresów IP w połączeniu z domenami zakupionymi w celu jednorazowego ich użycia to może się zdarzyć, że cały ASN operatora hostingu zostanie ręcznie wpisany przez wolontariuszy na czarną listę. Taka sama sytuacja wystąpi gdy operator uczestniczy w spamowaniu ale nie wysyła spamu samodzielnie, a jedynie pomaga lub po prostu go to nie obchodzi, nie dba o reputację obsługiwanych klientów ani własnego serwisu.
Często, wielu operatorów hostingu, sieci komputerowych zwyczajnie nie obchodzi to co robią ich klienci. Interesuje ich tylko zysk firmy lub po prostu nie są zainteresowani zwalczaniem spamu i przestępstw komputerowych. Często można zauważyć ataki, próby logowania się na cudze konta, zawirusowane komputery, z którymi nikt i nic nie robi. Całymi miesiącami zatruwają życie innym użytkownikom internetu, próbując wysyłać wirusy, oferty cudownych leków lub fałszywych terapii.
Wniosek o delistowanie
RBL polspam.pl nie delistuje domen ani adresów IP czy numerów ASN operatorów bez wprowadzenia mechanizmów walki ze spamem i bez uzasadnienia co było powodem wysyłania lub pomagania w spamowaniu. To, że domena opisze w jednym zdaniu, że usunęła problemy nie sprawi, że zniknie z RBL. Ponadto domena operatora musi być prawidłowo skonfigurowana i strona jego www nie może stosować podstępnych technik śledzenia jak na przykład canvas fingerprinting. Ogólnie chodzi o to aby domena zachowywała się przyzwoicie.
Domeny uczestniczące w korespondencji e-mailowej czyli domena nadawcy, domena serwera SMTP oraz domena samego hostingu powinny być poprawnie skonfigurowane.
- DMARC z ustawioną polityką ”p=reject”
- Działający mechanizm podpisu DKIM z weryfikowalnym selektorem
- Rekord SPF powinien posiadać politykę ”-all” (minus zamiast falki)
- Poczta e-mail powinna być szyfrowana przy pomocy TLS 1.2 lub wyższym
- Poszczególne e-maile nie mogą zawierać ŻADNYCHelementów śledzących ani zdalnie ładowanych obiektów identyfikujących adresata
- Strony www powinny posiadać wiarygodny certyfikat SSL
Potrzebne narzędzia do weryfikacji działania własnej domeny:
Środki jakie należy przedsięwziąć aby poprawnie walczyć ze spamem.
Część domen znajdujących się w dowolnej adresacji można ustalić poprzez stronę securitytrails.com Wystarczy wpisać swoją domenę czy zakres adresów IP w formacie CIDR aby uzyskać listę domen i subdomen. Niestety lista ta jest niekompletna i nie zawsze aktualna. Jedynie operator hostingu zna pełną listę własnych domen i subdomen.
- Po pierwsze należy zacząć od ustalenia, które domeny znajdują się na czarnych listach. Jest to czynność podstawowa i bez niej nie da się oddzielić uczciwych domen od domen spamujących i w związku z tym nie ma możliwości usunięcia wpisów z czarnych list RBL polspam.pl. Hosting chcący usunięcia go z czarnej listy musi aktywnie współpracować w walce ze spamem.
- Należy przygotować plik tekstowy ze wszystkimi domenami i ich subdomenami np. nazwać go „domains.txt” oraz uruchomić poniższy skrypt.
- Jest to prosty skrypt sprawdzający w pętli każdą domenę zawartą w pliku „domains.txt” czy jest ona na czarnej liście serwera RBL lub czy serwer nie ma informacji na jej temat.
- W ten sposób powstaną dwa pliki „domains.white” i „domains.black”. W poniższym przykładzie użyto listy rhsbl.rbl.polspam.pl oraz rhsbl-h.rbl.polspam.pl. Są także inne listy z domenami takie jak rhsbl-v i rhsbl-danger. Pozostałe listy są bazami adresów IP i nie są przydatne w tej czynności. Można oczywiście przepytać inne popularne, zagraniczne listy RBL ale tylko takie, które przechowują nazwy domenowe.
- Czynność tę należy wykonywać często, sprawdzając aktualną pulę obsługiwanych domen i niezwłocznie reagować na pojawienie się domeny na czarnej liście. Wszystkie przenoszone domeny należy sprawdzać w chwili ich przenoszenia, czy nie figurują na jakiejś liście RBL, gdyż natychmiast przyniosą ze sobą wpis w RBL i spowodują, że adres IP nowego hostingu dostanie się na czarną listę. Proces ten jest automatyczny i jeżeli spamer przeniesie domenę do nowego hostingu to natychmiast „zarazi” go złą reputacją. Nowy hosting i jego serwer SMTP zostaną automatycznie dopisane do listy RBL zawierającej adresy IP np. bl.rbl.polspam.pl.
- Można oczywiście przepytywać listy RBL w poszukiwaniu adresów IP. Wykonuje się to w następujący sposób dla przykładowego adresu IP 1.2.3.4 poprzez
podanie członów adresu w odwrotnej kolejności:
dig 4.3.2.1.bl.rbl.polspam.pl
Należy oczywiście zmodyfikować samodzielnie poniższy skrypt aby jego wynikiem były listy adresów IP zamiast list nazw domenowych.
Skrypt nie odpytuje listy: rhsbl-danger, ponieważ nominacja domeny do tej listy całkowicie dyskwalifikuje możliwość wypisania domeny z czarnych list RBL polspam, i w związku z tym zgłoszenia delistacji domen z tej listy będą ignorowane.
#!/bin/bash
#Below OS dependent file's locations. You may change it's.
#This bash shell command will answer where the file is on your system: whereis host etc.
export CMD_HOST="/usr/bin/host"
export CMD_ECHO="/usr/bin/echo"
export CMD_GREP="/usr/bin/grep"
#Do not change nothing below ...
###########################################
export CUR_DIR=$(dirname $(realpath $0))
export RHSBL_POLSPAM="rhsbl.rbl.polspam.pl"
export RHSBH_POLSPAM="rhsbl-h.rbl.polspam.pl"
export COL_RED="\033[0;31m"
export COL_GRN="\033[0;32m"
export COL_YEL="\033[0;33m"
export COL_DEF="\033[0m"
export FILE_DMNS="{CUR_DIR}/domains.txt"
export DMN_F_B="{CUR_DIR}/domains.black"
export DMN_F_W="{CUR_DIR}/domains.white"
export STAMP=`date +'%Y.%m.%d %T'`
##########################################
if [ ! -f ${FILE_DMNS} ]
then
${CMD_ECHO} -e "${COL_RED}${FILE_DMNS} not exists.\n${COL_YEL}Create a file named ${FILE_DMNS} and save the domains to be checked in it.${COL_DEF}"
exit
fi
${CMD_ECHO} "#Start ${STAMP}" > ${DMN_F_B}
${CMD_ECHO} "#Start ${STAMP}" > ${DMN_F_W}
while IFS= read -r DMN
do
RET_RHSBL=`${CMD_HOST} $DMN.${RHSBL_POLSPAM} | ${CMD_GREP} -o '[^ ]*$'`
RET_RHSBH=`${CMD_HOST} $DMN.${RHSBH_POLSPAM} | ${CMD_GREP} -o '[^ ]*$'`
if [ $RET_RHSBL == '127.1.1.1' ]
then
${CMD_ECHO} -e "${COL_RED}$DMN listed on ${RHSBL_POLSPAM}.${COL_DEF}"
${CMD_ECHO} "$DMN" >> "${DMN_F_B}"
else
if [ $RET_RHSBH != '127.0.0.2' ]
then
${CMD_ECHO} -e "${COL_GRN}$DMN NOT listed on ${RHSBL_POLSPAM}.${COL_DEF}"
${CMD_ECHO} "$DMN" >> "${DMN_F_W}"
else
${CMD_ECHO} -e "${COL_YEL}$DMN is a candidate for the real blacklist.${COL_DEF}"
fi
fi
done < ${FILE_DMNS}
#end
Domeny z pliku „domains.black” należy niezwłocznie przenieść na osobny adres IP, z dala od reszty domen, oraz przydzielić serwer SMTP z osobną adresacją oraz nazwą FQDN. Warto zakupić kilka IP na tak zwane śmieciowe domeny o różnym stopniu szkodliwości. Jeżeli domeny widnieją na wielu listach, w tym zagranicznych to tym bardziej psują one reputację i przez to uczciwe domeny cierpią jeżeli współdzielą adres IP z domenami z czarnej listy. Szczególnie narażone są serwery SMTP, które są automatycznie listowane wraz z tymi domenami.
Oto przykład:
- (1.2.3.4)(spam1.pl, spam2.pl, spam3.pl) → (1.2.3.40)smtp.spamerzy.pl
- (2.3.4.5)(user1.xyz, user2.fun, user3.abc) → (2.3.4.50)smtp.niepewni.pl
- (3.4.5.6)(dobry1.pl, dobry2.pl, dobry3.pl) → (3.4.5.60)smtp.uczciwi.pl
To oczywiście nie koniec. Listę domen z pliku „domains.black” należy nam przesłać aby wolontariusze polspam.pl mogli wyrazić swoją opinię na temat ich reputacji oraz zalecanych działań.
Należy wydzielić także osobne adresy IP dla domen TLD, tak zwanych niepewnych, typu xyz, space, world, moon, fun i podobnych. Są to domeny sprzedawane w promocjach, prawie rozdawane za darmo i niektóre z nich są trwale wpisane do RBL-i, bez możliwości delistowania. Zasada zdroworozsądkowa mówi, że domeny chcące wysyłać pocztę powinny być domenami narodowymi co nie znaczy, że niektóre z tych „nowocześnie brzmiących” nie mają dobrych intencji. Niestety prawda jest taka, że raczej trudno spotkać choć jedną taką domenę gdyż większość służy wyłącznie do jednorazowego spamowania, przyjmowania spamu lub służą one za stronę lądowania. Zresztą serwer poczty w takiej domenie nie wygląda poważnie i raczej nie zadziała zgodnie z oczekiwaniami, nie będzie się cieszył wysoką reputacją i dostarczalnością.
Szanowne domeny, RBL polspam.pl prosi o nieskładanie wniosków o delistowanie, zanim domeny i ich sieci nie dokonają porządków opisanych w niniejszym artykule.
Adres IP na liście BL (tej z adresami IP) oznacza, że jakaś domena klienta wyrządziła mu tę krzywdę. Niech domena hostingu sama jej szuka. Domena powodująca wpis na listę BL nie musi być na własnym serwerze hostingu, a wystarczy, że ma uprawnienia do wysyłania poczty e-mail i rekord MX wskazujący na serwer innego hostingu. Jeżeli sama domena hostingu lub ASN są na liście RBL to znaczy, że inaczej nie dało się walczyć z kolejno pojawiającymi się, nowo zarejestrowanymi domenami i należało ostrzec użytkowników RBL o tym fakcie.
Faktem jest, że pojedynczy spamer może rozłożyć na łopatki cały współdzielony adres IP z tysiącami domen i zmniejszyć jego reputację przez co ucierpi reputacja tysięcy umieszczonych tam domen. Niestety taki spamer może również zatruć życie milionom ofiar swojego procederu i to domena hostingu ma dbać o reputację obsługiwanych klientów, a nie wolontariusze list RBL.