Skip to content
New issue

Have a question about this project? # for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “#”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? # to your account

Block Google from indexing the site in other languages #24

Closed
zomer-g opened this issue Aug 28, 2017 · 4 comments
Closed

Block Google from indexing the site in other languages #24

zomer-g opened this issue Aug 28, 2017 · 4 comments
Labels

Comments

@zomer-g
Copy link
Collaborator

zomer-g commented Aug 28, 2017

image

@zomer-g zomer-g added the bug label Aug 28, 2017
@zomer-g
Copy link
Collaborator Author

zomer-g commented Aug 30, 2017

משיטוט בדש בורד, אם הבנתי נכון, אז צריך להחליף את הקובץ טקסט של ROBOTS בקובץ הבא, ואז לחזור לדשבורד הזה וזה אמור להתחיל לחסום את גוגל מלאנדקס את השפות הזרות. עשיתי את זה ידנית אז יכול להיות שבטעות פיספסתי שפה אחת, אבל בסך הכל אני די בטוח שזה סוגר אתכל השפות.

זה הקובץ טקסט
https://www.odata.org.il/robots.txt

User-agent: *
Disallow: /dataset/rate/
Disallow: /revision/
Disallow: /dataset/*/history
Disallow: /api/
Disallow: /en
Disallow: /pt_BR
Disallow: /ja
Disallow: /it
Disallow: /cs_CZ
Disallow: /ca
Disallow: /es
Disallow: /fr
Disallow: /el
Disallow: /sv
Disallow: /sr
Disallow: /no
Disallow: /sk
Disallow: /fi
Disallow: /ru
Disallow: /de
Disallow: /pl
Disallow: /nl
Disallow: /bg
Disallow: /ko_KR
Disallow: /hu
Disallow: /sl
Disallow: /lv
Disallow: /en_AU
Disallow: /tl
Disallow: /uk_UA
Disallow: /lt
Disallow: /sq
Disallow: /pt_PT
Disallow: /fa_IR
Disallow: /hr
Disallow: /zh_TW
Disallow: /es_AR
Disallow: /ro
Disallow: /tr
Disallow: /sr_Latn
Disallow: /is
Disallow: /id
Disallow: /zh_CN
Disallow: /mn_MN
Disallow: /da_DK
Disallow: /vi
Disallow: /ar
Disallow: /km
Disallow: /ne
Disallow: /th

User-Agent: *
Crawl-Delay: 10

@OriHoch
Copy link
Owner

OriHoch commented Aug 30, 2017

thanks, merged and deployed
https://www.odata.org.il/robots.txt

@OriHoch OriHoch closed this as completed Aug 30, 2017
@zomer-g
Copy link
Collaborator Author

zomer-g commented Aug 30, 2017

סבבה, עדכנתי את זה בקונסולה הזאת ועשיתי לו טסטים ונראה שלגבי הקדימה זה סגר את הסיפור והבעיה תוקנה.

לגבי אחורה, אני עכשיו מנסה לעשות לו הסרה של הURLים האלה, אעדכן בהמשך.

image

@zstadler
Copy link
Contributor

The google search results still show results in Macedonian - /mk/

image

zstadler added a commit to zstadler/data4dappl that referenced this issue Oct 13, 2018
OriHoch pushed a commit that referenced this issue Oct 13, 2018
* Fix robots.txt #92

* Disallow web craawling for Macedonian

#24 (comment)
# for free to join this conversation on GitHub. Already have an account? # to comment
Labels
Projects
None yet
Development

No branches or pull requests

3 participants