கூகிள் நிர்வாக பக்கங்களை குறியீடு செய்வதைத் தடுக்க robots.txt ஐ எவ்வாறு கட்டமைப்பது?

விரைவான பதில்: உங்கள் robots.txt கோப்பில் ஒரு குறிப்பிட்ட'அனுமதி இல்லை'விதியைச் சேர்ப்பதன் மூலம் கூகிள் உங்கள் நிர்வாகப் பக்கங்களை குறியிடுவதைத் தடுக்கலாம். இந்த எளிய உரைக் கோப்பு தேடுபொறி போட்களுக்கான வழிமுறைகளின் தொகுப்பாக செயல்படுகிறது, உங்கள் தளத்தின் எந்தப் பகுதிகளை அவர்கள் புறக்கணிக்க வேண்டும் என்பதைச் சொல்கிறது.

பல வணிக உரிமையாளர்கள் இந்த கோப்பை புறக்கணிக்கிறார்கள், ஆனால் உங்கள் தளத்தை சுத்தமாக வைத்திருப்பதில் இது ஒரு முக்கிய பகுதியாகும். தனிப்பட்ட கோப்புறைகளைத் தடுப்பதன் மூலம், பொது தேடல் முடிவுகளில் முக்கியமான உள்நுழைவு பக்கங்கள் தோன்றுவதைத் தடுக்கிறீர்கள். இது உங்கள் தளத்தின் கிரால் பட்ஜெட்டை மேலும் புத்திசாலித்தனமாக பயன்படுத்த உதவுகிறது.

எளிய விவரங்கள்

• robots.txt கோப்பு உங்கள் வலைத்தளத்தின் ரூட் அடைவில் வைக்கப்பட வேண்டும்.
• ஒவ்வொரு விதியும் அனைத்து தேடுபொறிகளுக்கும் பொருந்த'பயனர்-முகவர்: *'உடன் தொடங்குகிறது.
• அணுகலைத் தடுக்க கோப்புறைப் பாதையைத் தொடர்ந்து'அனுமதிக்க வேண்டாம்'கட்டளையைப் பயன்படுத்துகிறீர்கள்.
• இது ஒரு பொது கோப்பு, எனவே நீங்கள் மனிதர்களிடமிருந்து ரகசியமாக வைத்திருக்க விரும்பும் தகவல்களை மறைக்க இதைப் பயன்படுத்த வேண்டாம்.
• சரியான உள்ளமைவு தேடுபொறிகள் பின்பக்க கோப்புகளுக்குப் பதிலாக உங்கள் பொது உள்ளடக்கத்தில் கவனம் செலுத்த உதவுகிறது.

வலம் வரும் வரவு செலவுத் திட்டத்தைப் புரிந்துகொள்வது

தேடுபொறிகள் உங்கள் தளத்தில் செலவிடும் நேரத்தையும் வளங்களையும் குறைவாகக் கொண்டுள்ளன. இது உங்கள் வலம் வரும் பட்ஜெட் என்று அழைக்கப்படுகிறது. ஒரு போட் உங்கள் தனிப்பட்ட நிர்வாகி கோப்புறைகளைப் பார்த்து அதிக நேரம் செலவிட்டால், அது உங்கள் புதிய தயாரிப்பு பக்கங்கள் அல்லது வலைப்பதிவு இடுகைகளை விரைவாகக் கண்டுபிடிக்காமல் போகலாம்.

அதை ஒரு டெலிவரி நபர் உங்கள் கடைக்கு வருவது போல நினைத்துப் பாருங்கள். அவர்கள் பின்புற அலுவலகத்தில் உங்கள் தனிப்பட்ட பங்கு பதிவுகளைப் படிக்க பத்து நிமிடங்கள் செலவிட்டால், உங்கள் புதிய காட்சி சாளரத்தைப் பார்க்க அவர்களுக்கு நேரம் இருக்காது. பின்புற அலுவலகத்தைத் தடுப்பதன் மூலம், அவர்கள் உங்கள் வாடிக்கையாளர்களுக்கு உண்மையில் என்ன முக்கியம் என்பதில் கவனம் செலுத்துவதை உறுதிசெய்கிறீர்கள்.

நூற்றுக்கணக்கான பக்கங்களைக் கொண்ட பெரிய தளங்களுக்கு இந்த நேர ஒதுக்கீடு முக்கியமானது. நீங்கள் சத்தத்தை நீக்கும்போது, தேடுபொறிகள் உங்கள் தளத்தை விரைவாக வரைபடமாக்க முடியும். இது பெரும்பாலும் உங்கள் புதிய உள்ளடக்கம் தேடல் முடிவுகளில் குறைந்த தாமதத்துடன் தோன்றும்.

உங்கள் விதிகளை அமைத்துக் கொள்ளுங்கள்

ஒரு கோப்புறையைத் தடுக்க, நீங்கள் உங்கள் robots.txt கோப்பைத் திருத்த வேண்டும். சர்வர் கோப்புகளை நீங்களே திருத்துவது உங்களுக்கு வசதியாக இல்லை என்றால், அதை கையாள உங்கள் வலை மேம்பாட்டு கூட்டாளரிடம் கேட்கலாம். செயல்முறை நேரடியானது ஆனால் துல்லியமாக இருக்க வேண்டும்.

1. உங்கள் ஹோஸ்டிங் கட்டுப்பாட்டு பேனல் அல்லது எஃப்டிபி கிளையன்ட் பயன்படுத்தி உங்கள் வலைத்தளத்தின் ரூட் அடைவை அணுகவும். 2. robots.txt என்ற கோப்பைத் தேடுங்கள். நீங்கள் ஒன்றைக் காணவில்லை என்றால், அந்த சரியான பெயரில் ஒரு புதிய உரை கோப்பை உருவாக்கவும். 3. கோப்பைத் திறந்து, நிர்வாக கோப்புறையைத் தடுக்க பின்வரும் வரிகளைச் சேர்க்கவும்: பயனர்-முகவர்: *

அனுமதிக்க வேண்டாம்ஃ/நிர்வாகி /

1. கோப்பை சேமித்து மீண்டும் சேவையகத்தில் பதிவேற்றம் செய்யுங்கள்.
2. உங்கள் உலாவியில் உங்கள் டொமைன் பெயரைத் தொடர்ந்து/robots. txt என தட்டச்சு செய்வதன் மூலம் கோப்பை சோதிக்கவும்.

இந்த விதிகளை எழுதும்போது துல்லியம் அவசியம். நீங்கள் கோப்புறையின் பெயரை கூடுதல் வெட்டு அல்லது தவறாக எழுத்துப்பிழை செய்தால், விதி எதிர்பார்த்தபடி வேலை செய்யாது. கோப்பைச் சேமிப்பதற்கு முன் உங்கள் நிர்வாக கோப்புறையின் சரியான பாதையை எப்போதும் சரிபார்க்கவும்.

எடுத்துக்காட்டாக, உங்கள் நிர்வாகி உள்நுழைவு'example.com/backend/login'இல் அமைந்திருந்தால், உங்கள் விதி'அனுமதிக்க வேண்டாம்ஃ/பின்னோக்கி /'ஆக இருக்க வேண்டும். இது முழு பின்னோக்கி அடைவும் தானியங்கி போட்களுக்கு வரம்பற்றதாக இருப்பதை உறுதிசெய்கிறது. நீங்கள் நிர்வகிக்க பல தனிப்பட்ட பகுதிகள் இருந்தால் பல வரிகளைச் சேர்க்கலாம்.

பாதுகாப்புக்கு இது ஏன் முக்கியம்

robots.txt என்பது ஒரு பாதுகாப்பு சுவர் அல்ல என்றாலும், இது ஒரு புத்திசாலித்தனமான முதல் படியாகும். இது நேர்மையான தேடுபொறி போட்களை உங்கள் பின்புறத்திலிருந்து விலகி இருக்கச் சொல்கிறது. உதாரணமாக, நீங்கள் மதுரையில் ஒரு சிறிய பேக்கரியை நடத்தினால், உங்கள் பேக்கரியின் பெயரை யாராவது தேடும் போது உங்கள் தனிப்பட்ட ஆர்டர் மேலாண்மை டாஷ்போர்டு தோன்றுவதை நீங்கள் விரும்பவில்லை.

உங்களிடம் ஒரு சிக்கலான தளம் இருந்தால், ஒருவேளை அது Laravel வளர்ச்சி உடன் கட்டப்பட்டிருக்கலாம், உங்களுக்கு பாதுகாப்பு தேவைப்படும் பல கோப்புறைகள் இருக்கலாம். உங்கள் பொது தளத்தை தவறுதலாக மறைக்காமல் சரியான பாதைகளைத் தடுக்கிறீர்கள் என்பதை உறுதிப்படுத்த உங்கள் டெவலப்பருடன் எப்போதும் சரிபார்க்கவும்.

இந்த கோப்பைப் பயன்படுத்துவது பொது தரவுத்தளங்களில் உங்கள் தளத்தின் தடத்தை குறைக்க உதவுகிறது. இது சாதாரண உலாவிகளால் உங்கள் நிர்வாக இடைமுகத்தை தற்செயலாக கண்டுபிடிப்பதைத் தடுக்கிறது. இது உறுதியான நபரை நிறுத்தாது என்றாலும், இது உங்கள் தளத்தை தொழில்முறை மற்றும் பொது-எதிர்கொள்ளும் தகவல்களில் கவனம் செலுத்துகிறது.

உண்மைச் சரிபார்ப்பு

robots.txt என்பது ஒரு வேண்டுகோள் மட்டுமே என்பதை நினைவில் கொள்வது முக்கியம், பூட்டு அல்ல. ஒரு நபர் உங்கள் நிர்வாக URL ஐ அறிந்திருந்தால், அவர்கள் அதைப் பார்வையிட முயற்சி செய்யலாம். உங்கள் உள்நுழைவு பக்கங்களுக்கு நீங்கள் எப்போதும் வலுவான கடவுச்சொற்களையும் இரண்டு காரணி அங்கீகாரத்தையும் பயன்படுத்த வேண்டும்.

மேலும், நீங்கள் ஏற்கனவே உங்கள் நிர்வாகப் பக்கங்களை குறியீடு செய்திருந்தால், ஒரு robots.txt மாற்றம் அவற்றை உடனடியாக அகற்றாது. நீங்கள்'noindex'குறிச்சொல் போன்ற பிற முறைகளைப் பயன்படுத்த வேண்டும், கூகிள் அவர்களின் தரவுத்தளத்திலிருந்து அந்த பக்கங்களை கைவிடச் சொல்ல. இதை எவ்வாறு கையாள்வது என்று உங்களுக்குத் தெரியாவிட்டால், தொழில்முறை எஸ்சிஓ சேவைகள் உங்கள் தேடல் இருப்பை சுத்தம் செய்ய உதவும்.

தனிப்பட்ட ஆவணங்கள் அல்லது வாடிக்கையாளர் தரவை மறைக்க இந்த கோப்பை நம்ப வேண்டாம். உங்களிடம் உணர்திறன் கோப்புகள் இருந்தால், அவை சர்வர் மட்டத்தில் கடவுச்சொல்லால் பாதுகாக்கப்பட வேண்டும். Robots.txt என்பது போட்களை கட்டுப்படுத்துவதற்காக, தனிப்பட்ட தரவை மக்களுக்கு எதிராக பாதுகாப்பதற்காக அல்ல.

இது யாருக்காக, யாரை தவிர்க்க வேண்டும்

• இது சிறு வணிக உரிமையாளர்களுக்கானது, அவர்கள் தங்கள் சொந்த வலைத்தளங்களை நிர்வகிக்கிறார்கள் மற்றும் பின்னணி பக்கங்களை தனிப்பட்ட முறையில் வைத்திருக்க விரும்புகிறார்கள்.
• இது தொடர்பற்ற கோப்புகளில் தங்கள் ஊடுருவல் பட்ஜெட் வீணடிக்கப்படுவதை கவனிக்கும் தள நிர்வாகிகளுக்கானது.
• இது தேடல் முடிவுகளில் வாடிக்கையாளர் எதிர்கொள்ளும் பக்கங்கள் மட்டுமே தோன்றுவதை உறுதிப்படுத்த விரும்பும் கடைக்காரர்களுக்கானது.
• உங்களுக்காக தானாகவே robots.txt ஐ கையாளும் முழுமையாக நிர்வகிக்கப்பட்ட தளத்தை நீங்கள் பயன்படுத்துகிறீர்கள் என்றால் இதைத் தவிர்க்கவும்.
• உங்கள் தளத்தில் மறைக்க வேண்டிய தனிப்பட்ட கோப்புறைகள் அல்லது உள்நுழைவு பகுதிகள் இல்லையென்றால் இதைத் தவிர்க்கவும்.

உங்கள் தளத்திற்கு இது தேவையா என்று உங்களுக்குத் தெரியாவிட்டால், உங்கள் தேடல் முடிவுகளைப் பாருங்கள். உள் கணினி பாதைகள் போன்ற URL களைப் பார்த்தால், உங்கள் robots.txt கோப்பைப் புதுப்பிக்க வேண்டியிருக்கும். இது உங்கள் தொழில்முறை படத்தை அப்படியே வைத்திருக்கும் எளிய பராமரிப்பு பணியாகும்.

புதுப்பிப்பதற்கு முன் விரைவான சரிபார்ப்பு பட்டியல்

• எந்த மாற்றத்தையும் செய்வதற்கு முன் உங்கள் தற்போதைய robots.txt கோப்பின் காப்புப்பிரதி உங்களிடம் இருப்பதை உறுதிப்படுத்திக் கொள்ளுங்கள்.
• உங்கள் முழு வலைத்தளத்தையும் தடுப்பதைத் தவிர்க்க உங்கள் நிர்வாக கோப்புறையின் பாதையை இருமுறை சரிபார்க்கவும்.
• கோப்பைச் சேமிப்பதற்கு முன் உங்கள் தொடரியலை சரிபார்க்க robots.txt சோதனை கருவியைப் பயன்படுத்தவும்.
• சில நாட்களுக்குப் பிறகு உங்கள் தளத்தை சரிபார்த்து, மாற்றங்கள் எதிர்பார்த்தபடி செயல்படுகிறதா என்று பாருங்கள்.

இந்த படிகளை எடுத்துக்கொள்வது உங்கள் முகப்பு பக்கம் அல்லது தொடர்பு பக்கத்தைத் தவறுதலாகத் தடுக்காமல் இருப்பதை உறுதிசெய்கிறது. robots.txt கோப்பில் ஒரு சிறிய பிழை உங்கள் முழு தளத்தையும் கூகிளில் இருந்து நீக்கலாம். எப்போதும் கவனமாக தொடருங்கள் மற்றும் நீங்கள் முடிப்பதற்கு முன் தொடரியல் சரிபார்க்கவும்.

தீர்ப்பு

உங்கள் robots.txt கோப்பை கட்டமைப்பது உங்கள் தளத்தை சுத்தமாகவும் பாதுகாப்பாகவும் வைத்திருக்க ஒரு எளிய, பயனுள்ள வழியாகும். இது ஒரு சிறிய பணியாகும், இது தேடுபொறிகள் உங்கள் பொது பக்கங்களில் கவனம் செலுத்த உதவுவதன் மூலம் பயனளிக்கிறது. சர்வர் கோப்புகளில் உங்களுக்கு நம்பிக்கை இல்லையென்றால், எந்த பிழைகளையும் தவிர்க்க உங்கள் அமைப்பை சரிபார்க்க உங்கள் டெவலப்பரிடம் கேளுங்கள்.

அடிக்கடி கேட்கப்படும் கேள்விகள்

இது ஹேக்கர்களை எனது நிர்வாகப் பக்கத்திலிருந்து விலக்குமா?

இல்லை. இந்த கோப்பு தேடுபொறிகளுக்கு எங்கு செல்லக்கூடாது என்பதை மட்டுமே சொல்கிறது. உங்கள் நிர்வாகப் பகுதியை அங்கீகரிக்கப்படாத பயனர்களிடமிருந்து உண்மையில் பாதுகாக்க நீங்கள் வலுவான கடவுச்சொற்கள் மற்றும் பாதுகாப்பான உள்நுழைவு நடைமுறைகளைப் பயன்படுத்த வேண்டும்.

ஒரே நேரத்தில் பல கோப்புறைகளை நான் தடுக்க முடியுமா?

ஆம். நீங்கள் மறைக்க விரும்பும் ஒவ்வொரு கோப்புறையின்'பயனர்-முகவர்: *'பிரிவின் கீழ் பல'அனுமதிக்காத'வரிகளைச் சேர்க்கலாம்.

இது எனது தளத்தின் தரவரிசையை பாதிக்குமா?

இது உங்கள் தரவரிசையை நேரடியாக உயர்த்தாது, ஆனால் உங்கள் தனிப்பட்ட பின்னணி கோப்புகளுக்குப் பதிலாக உங்கள் முக்கியமான உள்ளடக்கத்தில் கூகிள் தனது நேரத்தை செலவிடுவதை உறுதி செய்வதன் மூலம் உதவுகிறது.

கூகுள் எனது வழிமுறைகளைப் பின்பற்றுகிறதா என்பதை நான் எப்படி அறிவது?

கூகுள் தேடல் கன்சோலைப் பயன்படுத்தி உங்கள் தளத்தின் நிலையை நீங்கள் சரிபார்க்கலாம். இது உங்கள் robots.txt கோப்பால் எந்தப் பக்கங்கள் வலம் வருகின்றன, ஏதேனும் தடுக்கப்பட்டுள்ளனவா என்பதைக் காண்பிக்கும்.

கோப்பில் நான் தவறு செய்தால் என்ன ஆகும்?

உங்கள் முழு தளத்தையும் நீங்கள் தவறுதலாகத் தடுத்தால், கூகிள் உங்கள் பக்கங்களை அட்டவணைப்படுத்துவதை நிறுத்தும். நீங்கள் பிழையை சரிசெய்து, மீட்பு செயல்முறையை விரைவுபடுத்த உங்கள் தளத்தை கூகிள் தேடல் கன்சோலுக்கு மீண்டும் சமர்ப்பிக்க வேண்டும்.

சுருக்கம்

• தேடுபொறி போட்களை தனியார் நிர்வாகி கோப்புறைகளிலிருந்து விலக்கி வழிநடத்த robots.txt ஐப் பயன்படுத்தவும்.
• இது உங்கள் ஊடுருவல் பட்ஜெட்டை மேம்படுத்துகிறது, கூகிள் உங்கள் பொதுப் பக்கங்களில் கவனம் செலுத்த அனுமதிக்கிறது.
• இது சரியான கடவுச்சொல் பாதுகாப்புக்கு மாற்றாக இருக்காது என்பதை நினைவில் கொள்ளுங்கள்.
• தவறுதலாக முக்கியமான உள்ளடக்கத்தை தடுப்பதைத் தவிர்க்க உங்கள் கோப்பு மாற்றங்களை எப்போதும் சோதிக்கவும்.