自从SEOTcs系统11月份24日更新了一下SEO得分算法以来,一直困扰我的一个问题出现了,java的数据job任务,在执行过程中会经常报以下的错误:
“2011-12-03 18:00:32 DefaultHttpClient [INFO] I/O exception (java.net.SocketException) caught when processing request: Connection reset by peer: socket write error
2011-12-03 18:00:32 DefaultHttpClient [INFO] Retrying request”…
为此,我找遍了中英文的一些网站,搜遍了能找的每个角落,发现了出现这种状况的原理,该java异常在客户端和服务器端都有可能发生,引起该异常的原因有两个:
1,如果一端的Socket被关闭(或主动关闭,或因为异常退出而 引起的关闭),另一端仍发送数据,发送的第一个数据包引发该异常(Connect reset by peer)。
2,一端退出,但退出时并未关闭该连接,另一端如果在从连接中读数据则抛出该异常(Connection reset)。简单的说就是在连接断开后的读和写操作引起的。
于是我简单的认为通过设置一些socket的timeout时间,就能解决:
但是设置以后情况依然是那样。
这个问题困扰了好几天,每天都在思考和对比测试中,以求发现造成这个原因代码的地方,我不禁思考,同样数量的关键词数量前提下,为什么之前批量查询排名数据没有出错,而最近会频繁报错,这到底是为什么?是被请求的接口网站屏蔽掉了我们的服务器ip?这个理由也不是很充分,肯定是程序中某个地方没有合理释放掉connection的连接导致!
在这个思路的指引下,通过几天连续的奋战和实践,今天终于发现了问题的本质,那就是那个timer的方法导致的!情况是这样的,这几天,我在手动触发一些批量任务,发现在过滤排名值为100的情况下,java的java.net.SocketException: Connection reset 这个错会一直抛出,而且刷屏特别厉害,在仔细对照了timer的这段代码
后,终于猛然醒悟,对!就是这里出问题了,我自己来分析一下:
一个函数值,它返回的值,是一个临界值,但是我这个timer的方法中,判断了返回的值如果是临界值的话,会迫使它在10秒内继续执行那个方法,而这个方法是要去获取一个页面中源代码的一个特定数据,每次这个方法执行会消耗掉几十毫秒的时间,即相当于在这个时间内,是建立了一个socket连接,但是由于它一直返回的是那个临界值,所以这个方法会在10秒内不停的建立socket连接以获取数据,如果这个方法每次执行时间大概是80ms(经过测试,每个这样的方法执行时间为80毫秒左右),在10秒时间内,会建立10*1000/80 = 125次socket连接,即每秒会建立起12.5个socket连接,再加上由于这个是过滤的程序,多个临界值的情况会连续出现在一起,所以,在短暂的几秒钟内,对同一个网站页面的socket连接数会飙升的很高,达到几百甚至上千,导致等待处理的请求连接数太高:
当初为什么会用这个定时器方法来让一个方法多执行几遍,原因就是为了获取一个数据的稳定值,但是现在想来,带来的负面影响代价是多么的大,产生的效果是不可小觑的,不过经过几天的综合分析和测试,终于还是发现了这个罪魁祸首,问题解决后,心,一下子豁然了,可以安心睡觉了。。。
相关推荐:
SEO桔子:提升网站排名的必备法宝,seo外包销售
未来工作方式!AI在线工具让效率倍增,工作变轻松
ChatGPT对于大数据发展的帮助:赋能行业变革,推动智能化未来,ai写作真的好吗
“新关键词”开启智慧营销新篇章,助力品牌突围,自己如何做网站seo
ChatGPT为什么打不开?背后原因与解决方案,慧ai写作
为什么“搜狗不收录”会成为企业SEO的新挑战?,烤肉店的线下营销与推广
Bing无法使用怎么办?解决方法及替代方案推荐!,ai文字设计教程
seo网站自学看什么书,seo技术适合自学吗 ,斑马ai阅读
文章AI排版,让创作更高效的秘密武器
AI代写文章:高效创作的新风尚
怎么用AI写文章:高效创作的秘诀
seo黑帽是什么,列举几种seo黑帽行为 ,穿老款的ai丢人吗
SEO重要性与企业互联网发展的必由之路,互联网营销推广平台设计
“收录量为1”,打造数字化时代的独特竞争力,网站建设页面制作流程
优化文字,让表达更精准:提升写作效率的关键,个人网站建设外包
ChatGPT中显示已进行一处编辑,但看不到内容?你需要了解的隐藏问题!,ai敲
ChatGPT破解版电脑:如何获得更强大的AI助手,提升工作与学习效率,ai预设动画
互联网快排:助力企业网站流量爆发的秘密武器,西安网站建设找资源公司
SEO优化的利器:提升网站排名的秘密武器,联想ai7g-3笔记本
seo要公司什么资源,做seo需要用到什么软件 ,ai明星换了
SEO人工优化-让你的网页轻松登上搜索引擎首页,ai主母
SEO建站,开启网站优化的全新篇章!,网络营销推广合作方式
seo网络上什么意思,seo表示什么 ,如何避免今日头条ai写作检测
SEO实际:如何在竞争激烈的市场中脱颖而出,dz论坛seo如何设置
Bing搜索的注意事项-提高搜索效率与准确性,轻松获取所需信息,最近ai写作软件推荐
为什么要seo 运营,为什么需要seo ,ai人物头盔
seo需要学会什么编程,seo要会些什么 ,剪映怎样加ai
SEO要好,网站流量翻倍的关键秘诀,品牌网站建设关键词优化
二创AI:打破创意壁垒,引领未来内容创作新潮流,背影教案网站建设游戏
优化入口:提升网站流量与转化率的秘密武器,琼海关键词排名品牌
ChatGPT中文版下载,开启智能对话新体验,婚纱ai男
seo词库优化,搜索词条优化 ,ai点选择
AI免费试用不需要登录:体验智能科技的魅力,轻松开启未来,华为ai身材
优化标题:如何让你的文章更具吸引力与点击力,整站网站优化解决方案
seo高手有什么条件,seo难上手吗 ,指南ai写作电力创新
为什么做seo的人很少,为了什么做seo ,ai不负你
seo网站编辑是做什么,seo网站编辑可在家兼职 ,ai慢直播
SEO埋词技巧,如何提升网站排名?,贵州营销推广方法
【SEO优化全攻略】提升网站流量的终极秘籍,带你轻松玩转搜索引擎优化!,金融网站推广维护
SEO优化工具优势:提升网站排名,带来流量和转化的秘密武器,ai圆形造字
ChatGPT:基于Transformer技术的语言模型,开创人工智能未来,AI独战OK
seo网站排名关键词优化,seo网站关键词优化怎么做 ,ai回廊
SEO优化:让你的网站在竞争中脱颖而出,临沧seo代理
了解SEO:让你的网站在搜索引擎中脱颖而出的秘密武器,宝山区常见网站优化
什么是seo网络推广seo顾问,seo网络推广员 ,ai20170119
seo网络培训是什么,seo工作培训会培训啥 ,ai长投影字
seo要学什么技术,seo要学什么技术好 ,ai.fale
高效创作新时代AI文案速写工具,让创作更轻松
Chatget免费网站版无需登录,畅享无限对话体验!,工业 Ai 视觉检测
ChatGPT出问题?背后的原因与解决方案,夸克ai写作生成