Ücretli Ücretsiz Phyton Script Yardım istiyorum

Başlatan deliceri, 19 Ekim 2017 - 14:23:31

« önceki - sonraki »

0 Üyeler ve 3 Ziyaretçi konuyu incelemekte.

deliceri

Merhaba Arkadaşlar,


Ücretli veya ücretsiz yardım edebilecek varmı ?

Çok basit bir script olacak .

kısaca istediğim script özelliği  verdiğim site linklerini gezecek . ( yaklaşık 1 milyon adet farklı siteyi gezecek .)
1 kelime arayacak ana sayfada varsa başka bir txt ye yazacak .

http header referer kısmını da google.com gibi site ismi yazacağım .





Mesaj tekrarı yüzünden mesajınız birleştirildi. Bu mesajın gönderim tarihi : 19 Ekim 2017 - 14:36:10

Aradığıma yakın bir kod


mheaders =  {'user-agent': 'Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_2_1 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5'}
dheaders={'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36'}
import requests
import ssl
import csv,codecs, cStringIO
import re
import time,random
import webbrowser
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
from bs4 import BeautifulSoup as bs
from urllib import urlencode
srcfile="craftvillabacklinks.csv"
def strip(a):                                           
   return  re.sub(r'\s+', ' ', a).lstrip().rstrip()
with open('abcout.csv','a') as csvfile:
        fieldnames = ['Domain','Src','Number of Links','Title','Anchor Text','Target URL','Follow Type','Sorround Text']
        writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
def write(a,b,c,d,e,f,g,h):
    with open('abcout.csv','a') as csvfile:
        writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
        writer.writerow({'Domain':a,'Src':b,'Number of Links':h,'Title':c,'Anchor Text':d,'Target URL':e,'Follow Type':f,'Sorround Text':g})
def getinfo(i):
    j=requests.get(i,headers=dheaders)
    j=bs(j.content)
    domain=re.match("http?[://][\w.-_]+",i).group()
    #print domain
    try:
        title=j.find('title').getText()
        #print "\t" +title
        l=j.findAll("a",href=re.compile("craftsvilla.com"))
        #print len(l)
        num=len(l)
        if len(l)>0:
            try:
                num=len(l)
                for m in l:
                    link=m.attrs['href']
                    anchor=strip(m.getText())
                    sorround_text=strip(m.parent.text)
                    #print i,"  >> ",m.attrs['href'],strip(m.getText()),strip(m.parent.text)
                    try:
                        try:
                            #print m.attrs['rel']
                            follow=m.attrs['rel']
                        except:
                            #print "Dofollow possibly"
                            follow="Dofollow"
                    except:
                        print "could not fetch information"
                    print (domain,i,title,anchor,link,follow,sorround_text,num)
                    write (domain,i,title,anchor,link,follow,sorround_text,num)
            except:
                print "more"
           
        else:
            print "No links"
       
    except:
        print "do more"
with open("craftvillabacklinks.csv") as csvs:
    reader=csv.DictReader(csvs)
    index=[]
    for s in reader:
        index.append(s["source_url"])
        #getinfo(s["Links"])
for i in range(int(sys.argv[1]),int(sys.argv[2])):
        try:
      getinfo(index)
   except:
      open("craftreportfailed.txt","a").write(str(i)+"\t")
   open("craftreport.txt","a").write(str(i)+"\t")




Mesaj tekrarı yüzünden mesajınız birleştirildi. Bu mesajın gönderim tarihi : 19 Ekim 2017 - 18:14:58


Ustalarım , Yokmu yardım edecek  Usta,

ahmet12

yapilir yapilmasinada sende brmilyon kayitli dosyada varmi
2.si google bot gibi sitelere ugramak istiyorsun.
oda tamam.
da amac nedir bu kadar mesgalenin sebebi ne