der-linux-admin.de - der Linux Admin Blog

Google Keyword Ranking Check mit Python

Beitragsautor Von der-linux-admin
Beitragsdatum 8. November 2017
1 Kommentar zu Google Keyword Ranking Check mit Python

Um die aktuelle Plazierung der eigenen Webseite bei verschiedenen Keywords zu ermittel gib es verschiedene kostenpflichtige Google Keyword Ranking Check Tools oder online Dienstleister im Internet. Da oft die Investition bei einer kleinen Webseite nicht lohnt ist eine eigene Lösung hier klar im Vorteil.

In diesem Tutorial wird ein kleines Script vorgestellt mit welchen die Position von Keyword ganz einfach nach den Prinzip „Bei Google eingeben und Position ablesen“ realisiert wird. Für unser Google Keyword Ranking Check Script verwenden wir Python damit sollte dies auf eigentlich allen Plattformen auf den Python installiert ist ohne Probleme lauffähig sein.

Voraussetzung für diese Tutorial ist ein lauffähiges Python 3. Wie man ein solches Virtual Environment aufsetzt wird in diesem Artikel „Python 3.5 und virtualenv installieren“ beschrieben.

Installation von Python robobrowser

Nachdem die Vorraussetzungen geschaffen worden sind installieren wir uns Python Paket robobrowser. Das Paket robobrowser ist eine Python-Bibliothek für das Browsen im Web. Robobrowser verhält sich wie ein Browser damit kann man „Web Scraping“ durchführen um z.B. seine Web-Applikationen automatisiert zu prüfen.

Installiert wird das Paket mit pip. Dazu „betreten“ wir unser Virtual Environment und führen folgendes aus.

pip install robobrowser

1	pip install robobrowser

Collecting robobrowser
  Using cached robobrowser-0.5.3.tar.gz
Collecting beautifulsoup4>=4.3.2 (from robobrowser)
  Using cached beautifulsoup4-4.6.0-py3-none-any.whl
...
Building wheels for collected packages: robobrowser
  Running setup.py bdist_wheel for robobrowser ... done
  Stored in directory: /Users/Uwe/Library/Caches/pip/wheels/82/e4/a0/394c2b3a4ea3b0ede4ee65cc739d582b6a43f5d37d6dddc100
Successfully built robobrowser
Installing collected packages: beautifulsoup4, chardet, idna, urllib3, certifi, requests, six, Werkzeug, robobrowser
Successfully installed Werkzeug-0.12.2 beautifulsoup4-4.6.0 certifi-2017.7.27.1 chardet-3.0.4 idna-2.6 requests-2.18.4 robobrowser-0.5.3 six-1.11.0 urllib3-1.22

Collecting robobrowser

Using cached robobrowser-0.5.3.tar.gz

Collecting beautifulsoup4>=4.3.2 (from robobrowser)

Using cached beautifulsoup4-4.6.0-py3-none-any.whl

...

Building wheels for collected packages: robobrowser

Running setup.py bdist_wheel for robobrowser ... done

Stored in directory: /Users/Uwe/Library/Caches/pip/wheels/82/e4/a0/394c2b3a4ea3b0ede4ee65cc739d582b6a43f5d37d6dddc100

Successfully built robobrowser

Installing collected packages: beautifulsoup4, chardet, idna, urllib3, certifi, requests, six, Werkzeug, robobrowser

Successfully installed Werkzeug-0.12.2 beautifulsoup4-4.6.0 certifi-2017.7.27.1 chardet-3.0.4 idna-2.6 requests-2.18.4 robobrowser-0.5.3 six-1.11.0 urllib3-1.22

Nachdem alle Abhängigkeiten erfolgreich installiert sind, können wir nun mit diesem Script unser Keyword-Rankging bestimmen.

Python Google Keyword Ranking Check

Dazu legen wir Datei ranking.py an fügen folgenden Inhalt ein.

#!/usr/bin/env python

import sys
import re
import random
from robobrowser import RoboBrowser

sitename = sys.argv[1]
keyword = "+".join(sys.argv[2:])

print("site: %s keyword: %s" % (sitename, keyword))

agent = ['Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:54.0) Gecko/20100101 Firefox/54.0',
         'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36',
         'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0',
         'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36',
         'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:54.0) Gecko/20100101 Firefox/54.0']

parser = 'html.parser'

browser = RoboBrowser(history=False,
                      user_agent=random.choice(agent),
                      parser=parser)

browser.open('https://www.google.de/search?num=100&q=' + keyword)

links = browser.find_all("div", {"class": "g"})

counter = 0

for i in links:
    counter = counter + 1
    if sitename in str(i):
        url = i.find_all('a', href=True)
        print("position: %d url: %s" % (counter, url[0]['href']))

#!/usr/bin/env python

import sys

import re

import random

from robobrowser import RoboBrowser

sitename = sys.argv[1]

keyword = "+".join(sys.argv[2:])

print("site: %s keyword: %s" % (sitename, keyword))

agent = ['Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:54.0) Gecko/20100101 Firefox/54.0',

'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36',

'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0',

'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36',

'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:54.0) Gecko/20100101 Firefox/54.0']

parser = 'html.parser'

browser = RoboBrowser(history=False,

user_agent=random.choice(agent),

parser=parser)

browser.open('https://www.google.de/search?num=100&q=' + keyword)

links = browser.find_all("div", {"class": "g"})

counter = 0

for i in links:

counter = counter + 1

if sitename in str(i):

url = i.find_all('a', href=True)

print("position: %d url: %s" % (counter, url[0]['href']))

Im Anschluss geben wir dem Script ausführenden Rechte

chmod +x ranking.py

1	chmod +x ranking.py

Schlagwörter bash, centos, konsole, linux, python, seo, tools

Administration

CentOS 7 – git 2 installieren

Beitragsautor Von der-linux-admin
Beitragsdatum 1. November 2017
Keine Kommentare zu CentOS 7 – git 2 installieren

Im Repo von CentOS 7 wird git in der Versein 1.8 bereitgestellt.
Benötigt man eine höhere Version von git hilft nur git aus den Quellcode selber zu kompilieren oder git aus einen anderen Repository zu installieren.

Vorraussetzung für dieses Tutorial ist ein bereits installiertes CentOS 7 und privilegierter Zugang als root.

git 2 unter CentOS 7 installien

Zuerst prüfen wir ob bereits eine Version von Git installiert ist.

git --version
git version 1.8.3.1

1 2	git --version git version 1.8.3.1

Ist dies der Fall dann deinstallieren wir zuerst die bereits installierte Version von git.

yum remove git

1	yum remove git

Anschliessend wird das ius-Repository installiert. Wie man weitere Repos unter CentOS installiert kann man hier nachlesen.

yum install https://rhel7.iuscommunity.org/ius-release.rpm

1	yum install https://rhel7.iuscommunity.org/ius-release.rpm

Nun sollte git in der Version 2 aus dem ius-Repo zur Verfügung stehen. Das entsprechende Paket trägt im ius-Repository den Namen git2u.

yum info git2u

Verfügbare Pakete
Name       : git2u
Architektur : x86_64
Version    : 2.14.2
Ausgabe    : 1.ius.el7
Größe : 1.0 M
Quelle      : ius/x86_64
Zusammenfassung: Fast Version Control System
URL        : https://git-scm.com
Lizenz      : GPLv2
Beschreibung: Git is a fast, scalable, distributed revision control system with an
            : unusually rich command set that provides both high-level operations
            : and full access to internals.
            :
            : The git rpm installs common set of tools which are usually using with
            : small amount of dependencies. To install all git packages, including
            : tools for integrating with other SCMs, install the git-all meta-package.

yum info git2u

Verfügbare Pakete

Name : git2u

Architektur : x86_64

Version : 2.14.2

Ausgabe : 1.ius.el7

Größe : 1.0 M

Quelle : ius/x86_64

Zusammenfassung: Fast Version Control System

URL : https://git-scm.com

Lizenz : GPLv2

Beschreibung: Git is a fast, scalable, distributed revision control system with an

: unusually rich command set that provides both high-level operations

: and full access to internals.

: The git rpm installs common set of tools which are usually using with

: small amount of dependencies. To install all git packages, including

: tools for integrating with other SCMs, install the git-all meta-package.

Jetzt kann git ganz einfach mit yum installiert werden.

Schlagwörter centos, git, konsole, linux, tools

Administration

CentOS 7 – Installation von pngout

Beitragsautor Von der-linux-admin
Beitragsdatum 25. Oktober 2017
Keine Kommentare zu CentOS 7 – Installation von pngout

Das Optimierungs-Tool pngout für die Kommandozeile von Ken Silverman erlaubt verlustfreie Transformation. Das erzeugte Bild ist visuell mit dem Quellbild identisch. Laut Autor erfolgt die Komprimierung 5-10% höher als bei vergleichbaren Tools.

Der Artikel beschreibt die Installation von pngout unter CentOS 7.

pngout unter Centos installieren

Vorraussetzung ist ein bereits installieres Centos 7. Um das Binary für alle Benutzer verfügbar zu machen ist ausserdem Zugang per root notwendig.

Da das Tool pngout nicht in den Pakten der Distribution enthalten ist laden wir dieses per wget.

wget http://static.jonof.id.au/dl/kenutils/pngout-20150319-linux.tar.gz

1	wget http://static.jonof.id.au/dl/kenutils/pngout-20150319-linux.tar.gz

Anschliessend wird das Archiv enpackt.

tar zxvf pngout-20150319-linux.tar.gz

1	tar zxvf pngout-20150319-linux.tar.gz

Das enthaltene Binary von pngout legen wir nun nach /usr/local/bin um es allen Benutzern zur Verfügung zu stellen.

cp ./pngout-20150319-linux/x86_64/pngout /usr/local/bin/

1	cp ./pngout-20150319-linux/x86_64/pngout /usr/local/bin/

Nun können wir pngout ganz einfach per Konsole aufrufen.

pngout

pngout

Schlagwörter centos, konsole, linux, pngout, tools

Administration

CentOS – MariaDB Update

In den Standard-Repositories von CentOS 7 finden wir die Version 5.5. von MariaDB. Oft kommt es vor, dass Anwendungen eine höhere Version von MariaDB erfordern. Dieses Tutorial beschreibt wie wir MariaDB 5.5 auf eine höhere Version updaten.

Vorrausgesetzt wird ein installiertes CentOS 7 mit MariaDB.

Wird MariaDB bereits aktiv genutzt, sollten wir im Vorfeld ein Backup aller Datenbanken anfertigen. Wie das geschieht steht in dem Artikel „Mysql Datenbanken sichern“. Beim Upgrade selbst ist mit keinen Datenverlust zu rechen, eine Garantie dafür gibt es natürlich nicht.

MariaDB Update mit CentOS 7

Die Version der akuell installierten MariaDB Version sehen wir z.B. im Login Prozess den Datenbank-Servers.

#mysql
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 2
Server version: 5.5.52-MariaDB MariaDB Server

Copyright (c) 2000, 2016, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]>

#mysql

Welcome to the MariaDB monitor. Commands end with ; or \g.

Your MariaDB connection id is 2

Server version: 5.5.52-MariaDB MariaDB Server

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]>

MariaDB Repo einbinden

Auf der Webseite von MariaDB können wir uns die Angaben für das passende Repository generieren. Dazu erstellen wir eine neue Konfigurationsdatei für das Repo. Zum Beispiel für die Version 10.2.

vi /etc/yum.repos.d/mariadb-10.2.repo

1	vi /etc/yum.repos.d/mariadb-10.2.repo

# MariaDB 10.2 CentOS repository list - created 2017-07-26 11:13 UTC
# http://downloads.mariadb.org/mariadb/repositories/
[mariadb]
name = MariaDB
baseurl = http://yum.mariadb.org/10.2/centos7-amd64
gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB
gpgcheck=1

# MariaDB 10.2 CentOS repository list - created 2017-07-26 11:13 UTC

# http://downloads.mariadb.org/mariadb/repositories/

[mariadb]

name = MariaDB

baseurl = http://yum.mariadb.org/10.2/centos7-amd64

gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB

gpgcheck=1

Neue MariaDB Version installieren

Anschliessend stoppen wir den aktuellen Datenbankserver.

systemctl stop mariadb.service

1	systemctl stop mariadb.service

Dann folgt ein Update per yum. Dabei werden die Pakete des bereits installierten MariaDB-Servers mit den neuen Paketen aus dem Repo von MariaDB ersetzt.

Schlagwörter bash, centos, datenbank, linux, mariadb, mysql, sql, yum

Administration

Plesk – SSH Zugriff für Benutzer aktivieren

Beitragsautor Von der-linux-admin
Beitragsdatum 17. Juli 2017
Keine Kommentare zu Plesk – SSH Zugriff für Benutzer aktivieren

In diesem Tutorial wird gezeigt wie wir für ein Plesk-Abonnement den Zugriff per SSH aktivieren.

Der Zugriff per SSH ist bei Plesk nur mit dem Haupbenutzer des Abonnements bzw. der Domain möglich. Dieser Benutzer hat dann per SSH Zugriff auf alle weiteren unter diesem Abonnement angelegten Domains. Um den Zugriff weiter einzuschänken müssen die betreffende Domains in ein extra Abonnement überführt werden und bekommen einen eigenen Hauptnutzer der getrennt konfiguriert werden kann.

SSH – Zugang für Plesk Benutzer erstellen

Zuerst navigieren wir in das entprechende Abonnement und wählen den Punkt Webhosting-Zugang.

Unter diesem Menupunkt können wir das Passwort ändern und auch den Zugang per SSH erlauben. Der Zugang wird unter dem Punkt Zugriff auf den Server via SSH konfiguriert.

Schlagwörter bash, linux, plesk, ssh

Administration

CentOS – Redis installieren

Beitragsautor Von der-linux-admin
Beitragsdatum 15. Juli 2017
Keine Kommentare zu CentOS – Redis installieren

Redis ist eine NoSQL In-Memory-Datenbank mit ein sogenannter Key Value Store. In dieser DB können Werte z.B Ergebisse von SQL-Datenbank-Abfragen zwischen gespeichert werden. Der Performancezuwachs bei richtiger Anwendung ist somit erheblich.

In diesem Tutorial wird gezeigt wir man einen Redis-Server unter CentOS 7 installiert. Vorraussetzung dafür ist ein installierter CentOS 7 mit aktivierten Epel-Repository.

Installation des Redis-Servers

Zuerst prüfen wie ob unser Epel-Repo richtig eingebunden ist und Redis in der gewünschten Version zur Verfügung steht.

yum info redis

1	yum info redis

Dies sollte dann einen Treffer finden.

Available Packages
Name        : redis
Arch        : x86_64
Version     : 3.2.3
Release     : 1.el7
Size        : 527 k
Repo        : epel/x86_64
Summary     : A persistent key-value database
URL         : http://redis.io
License     : BSD
Description : Redis is an advanced key-value store. It is often referred to as a data
            : structure server since keys can contain strings, hashes, lists, sets and
            : sorted sets.

...

Available Packages

Name : redis

Arch : x86_64

Version : 3.2.3

Release : 1.el7

Size : 527 k

Repo : epel/x86_64

Summary : A persistent key-value database

URL : http://redis.io

License : BSD

Description : Redis is an advanced key-value store. It is often referred to as a data

: structure server since keys can contain strings, hashes, lists, sets and

: sorted sets.

...

Anschliessend installieren wir den Redis-Server mit dem Paketmananger yum.

yum install redis

1	yum install redis

Nun konfigurieren wir Redis für den automatischen Start beim Start des Systems.

 systemctl enable redis

1	systemctl enable redis

Konfiguration von Redis

In der Datei /etc/redis.conf können wir den maximal verwendeten Speicher sowie noch anderen Konfigurationen editieren. z.B:

maxmemory 25mb
maxmemory-policy volatile-lru

1 2	maxmemory 25mb maxmemory-policy volatile-lru

Anschliessend starten wir Redis.

Schlagwörter bash, centos, datenbank, linux, nosql, redis, yum

Administration

Plesk – neues Admin Passwort per Konsole (cli) setzen

Beitragsautor Von der-linux-admin
Beitragsdatum 14. Juli 2017
Keine Kommentare zu Plesk – neues Admin Passwort per Konsole (cli) setzen

Nach dem Login über den von Plesk generierten Login-Link ist es nicht möglich das Passwort zu ändern ohne das alte Passwort zu kennen.
Seit der Version Plesk 10 kann das Passwort für den Administrator ganz einfach über die Konsole setzen. Vorraussetzung dafür ist ein Root-Zugang auf der Konsole des Servers.

Setzen des neuen Plesk Admin Passwort per Konsole

Um ein neues Passwort für den Admin zu erstellen geben wir folgendes Kommando auf der Shell ein:

/usr/local/psa/bin//init_conf -u -passwd <neues_passwort>

1	/usr/local/psa/bin//init_conf -u -passwd <neues_passwort>

Anschliessend wird eine erfolgreiche Änderung mit folgender Meldung bestätigt.

Schlagwörter bash, linux, plesk, ssh

Administration

Plesk – PHP MongoDB Modul installieren

Beitragsautor Von der-linux-admin
Beitragsdatum 13. Februar 2017
Keine Kommentare zu Plesk – PHP MongoDB Modul installieren

Das MongoDB Modul ist bei den PHP-Version von Plesk nicht in den Repositorys von Plesk enthalten. Um unter den verschiedenen PHP-Versionen von Plesk das PHP Modul für MongoDB zu bereitzustellen ist es notwendig dies mit Pecl zu installieren.

Für das Tutorial setzen wir ein CentOS 6 oder 7 und eine aktuelle Version von Plesk vorraus. In diesem Falls ist es ein CentOS 7 und Plesk in der Version 17.

Je nachdem, für welche der PHP-Version das MondoDB Modul installiert werden soll benötigen wir die nötigen devel-Paket für PHP aus dem Plesk-Repository und einen den gcc Compiler und die devel-Paket openssl.

Diese installieren wir wie üblich mit dem Paketmanager yum.

# php71

yum install gcc openssl-devel plesk-php71-devel


# php70

yum install gcc openssl-devel plesk-php70-devel

# ...

# php71

yum install gcc openssl-devel plesk-php71-devel

# php70

yum install gcc openssl-devel plesk-php70-devel

# ...

Anschließend rufen wir das pecl-Binary in der passenden PHP Version von Plesk und installieren das MongoDB Modul.

Schlagwörter centos, datenbank, linux, mongodb, php, plesk, yum

Tipps und Tricks

Linux – Hex Editor für die Kommandozeile

Beitragsautor Von der-linux-admin
Beitragsdatum 6. Januar 2017
Keine Kommentare zu Linux – Hex Editor für die Kommandozeile

Mit dem Programm xxd können wir ganz einfach aus Dateien oder Eingaben der Standarteingabe in einen HEX Dump erzeugen.

Um einen HEX Dump z.B. von einem String zu erzeugen kann geht man wie folgt vor:

echo der-linux-admin|xxd

0000000: 6465 722d 6c69 6e75 782d 6164 6d69 6e0a  der-linux-admin.

echo der-linux-admin|xxd

0000000: 6465 722d 6c69 6e75 782d 6164 6d69 6e0a der-linux-admin.

für eine Ausgabe als Plain Dump wir der Parameter -p ergänzt.

echo der-linux-admin|xxd -p

6465722d6c696e75782d61646d696e0a

echo der-linux-admin|xxd -p

6465722d6c696e75782d61646d696e0a

Will man nun einen HEX Dump in ASCII zurück konvertieren geht dies natürlich auch mit dem Parameter -r.

echo 6465722d6c696e75782d61646d696e0a|xxd -p -r

der-linux-admin

echo 6465722d6c696e75782d61646d696e0a|xxd -p -r

der-linux-admin

Vim als Hex Editor für die Kommandozeile

Um vim als Hex Editor zu verwenden müssen wir diesen in den Hex Modus umstellen. Dies erfolgt mit:

:%!xxd

:%!xxd

Schlagwörter bash, konsole, tools, vim

Tipps und Tricks

Firefox – Screenshot einer kompletten Webseite

Beitragsautor Von der-linux-admin
Beitragsdatum 28. Dezember 2016
Keine Kommentare zu Firefox – Screenshot einer kompletten Webseite

Um einen Screenshot einer kompletten Webseite anzufertigen kann man wie schon im Artikel „wkhtmltopdf – Website als PDF oder Bild speichern“ beschrieben vorgehen.

Will man dies aber einfach mal ganz fix ohne weitere Software erreichen, kann man auch mit der Entwickler-Toolbar vom Firefox Browser einen kompletten Screenshot einer Webseite erstellen.

Firefox – Screenshot erstellen

Um einen Screenshot zu erstellen, geben wir die URL der betreffenden Webseite in die Adressleiste ein. Ist die Seite vollständig geladen öffnen wir die Entwickler-Toolbar (Extras -> Web-Entwickler -> Werkzeuge ein-/ausblenden). Nun sehen wir im unteren Bereich die Konsole der Entwicklertools.

Alternativ können wir diese auch mit Shift-F2 aufrufen.

Dort geben geben wir nun den Befehl screenshot — fullpage ein.

screenshot --fullpage

1	screenshot --fullpage

Schlagwörter browser, firefox, screenshot, tools