robots.txt文件生成器
① robots.txt(统一小写)是一种存放于网站根目录下的文本文件,它通常告诉网络搜索引擎蜘蛛,此网站中的哪些内容是可以被收录哪些不可以被收录。
② robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下
③ 如想单独定义搜索引擎蜘蛛访问子目录的行为,那么可以将自定的设置合并到根目录下的robots.txt
④ robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私
⑤ 注意robots.txt是用字符串比较来确定是否获取URL,所以目录末尾有与没有斜杠“/”表示的是不同的URL
robots.txt文件内容① 搜索引擎蜘蛛的是否可访问性或者说可爬行性
② 搜索引擎蜘蛛针对目录或者文件的可访问性
③ 网站站点地图sitemap路径定义
④ 搜索引擎蜘蛛爬行的时间间隔限制
关于robots.txt文件生成器① 通过web界面设置好要配置的数据, 点击生成即可生成robots.txt文件内容
② 创建一个空白的文本文件,命名为:“robots.txt”,然后把上面的内容,复制并粘贴到“robots.txt”中去
③ 把“robots.txt”放在你网站的根目录,访问robots.txt,确保他能让搜索蜘蛛访问到
推荐工具
ASCII转字符
ASCII转字符在线处理工具
面积单位换算
积面单位在线换算工具
颜色匹配度计算器
精准计算颜色间的匹配程度,帮助用户轻松获取美感搭配方案。
CRC32在线加密工具
CRC32在线加密工具
铁通DNS大全
中国各地铁通运营商DNS大全
移动DNS大全
中国各地移动运营商DNS大全
Emoji表情
常用的各种各样的Emoji表情
FTP登录工具
在线免安装FTP登录工具
HMAC哈希加密
HMAC哈希在线加密工具支持多种加密方式
IP查询工具
IP在线查询工具,查询本机IP
Linux命令大全
Linux系统常用命令查询
IP地址,子网掩码计算器
网络和IP地址计算器,子码掩码计算器
汉字拼音在线转换
汉字转拼音处理工具
Photoshop快捷键大全
在线查询Photoshop快捷键
字符转ASCII
字符转ASCII在线处理工具
Escape在线解码
Escape在线解码工具
在线字数统计
对字符串中的数字/字母/汉字/标点/等进行统计
文本与二进制转换工具
在线文本与二进制相互转换工具
网站桌面快捷方式
给网站添加一个桌面快捷方式,方便网站访问
URL解码工具
URL在线解码工具
UTF8与中文互转
UTF8转中文/中文转UTF8处理工具