更新程序的步骤:
1,在控制面板里点击备份当前数据库文件到磁盘,把当天获取的信息从内存写到磁盘/存储卡。2,下载最新版的源码
wget -O "infopi.zip" "https://github.com/animalize/infopi/archive/master.zip"3,解压源码,出提示后输入A覆盖所有文件
unzip infopi.zip4,sudo reboot重启系统
备注:
如果是2016.07.20以前安装的,且使用了regex模块,需要升级regex模块,升级方法见下文。
如果是2015.05.09以前安装的,请注意解压出来的目录名有变,从infopi/改名为infopi-master/,可照重新部署一番。注意备份cfg目录和database目录。
如果是2014.10.28以前安装的,需要安装tornado模块,安装方法见下文。
2017.1.26a
新增list_callback回调代码,整个列表作为infos变量传入list_callback。
callback代码:新增便利函数funcs.datetime(),返回当前日期时间的一个NamedTuple。
2017.1.18a
callback代码:使用一个funcs对象汇总所有便利函数,如:funcs.hasher、funcs.unixtime。注:旧的方式将仍然可用。
callback代码:新增两个便利函数,callback部分的表格:
- funcs.resub,用正则表达式的替换功能处理字符串。
- funcs.research,用正则表达式在字符串中查找,找到返回True,没找到返回False。
给信息源增加max_len、max_db字段,分别用于控制:获取条数、数据库保留条数,。
这些worker(html_re、html_json、rss_atom)会删除文本中的U+200B(零宽空格),确保正常处理新浪微博。
2016.12.17
Python 3.6.0的sqlite3模块有bug,改动程序使之能在Python 3.6.0运行。
html_re可以捕获内容到temp属性,这和html_json保持一致。
子信息源可以不指定worker,此时使用父信息源的worker。
增强test_source.py的功能。
电脑版页面的左侧目录,每隔5分钟用ajax显示异常数。
版块信息页面,使用ajax提交刷新信息。
增加一个紧凑数据库主键的小工具。基本没用,只是防备出现极端情况。
2016.07.20
重新加载配置时,不再获取所有信息源,仅获取新增、修改过、刷新间隔改变的信息源。
重新加载配置时,不再读取sqlite3数据库。
在版块信息页面,可以刷新一个版块的信息源。
改进PAD版、手机版的配色。
改进编码字典。
如果使用了(新的正则表达式引擎),现在要求regex版本不小于2016.07.14,Linux下用此命令升级regex模块:
sudo pip3.4 install -U regex
Windows下用此命令升级regex模块:
pip install -U regex
2016.04.07
增加一个worker:html_re_rev,用法和html_re完全相同,最终获得一个逆顺序的html_re列表。
修复:极小概率下rss_atom解析XML文件失败。
改善:信息源出错时的流程处理及提示信息。
2015.12.27
优先使用regex(Version 1模式)作为正则表达式引擎。的regex模块介绍。
listall显示最后一条信息的获取时间,用于筛查长久没更新的信息源。
2015.10.31d
新增一个用户选项:不在列表里显示异常信息,防止用户被频繁的异常信息打扰。用法见演示配置文件的admin.txt。
手机版、大屏手机版:如果有异常信息,在版块目录显示一个链接,可跳转查看。
改进“web端异常记录文件”的显示,并可清空已有记录。
记录不正常的登录信息到“web端异常记录文件”,提醒有黑客暴力试探密码。
2015.09.20
关闭wz_tooltip.js的调试模式。
优先使用cchardet模块做编码检测。先尝试import cchardet,再尝试import chardet。
(cchardet比以前的chardet性能更快、占用内存更小。需要另外安装,)
2015.08.15a
用户配置里的刷新时间,可以进行四则运算,比如24 * 7表示刷新间隔为7天,10 / 60则表示10分钟。
pad版、大屏手机版不再使用交替的背景颜色。
2015.07.29
改进html_json,更全面的用法见演示配置里的park:yuanby。
在管理员的控制面板可单独刷新异常信息源。
简易PAD版改为大屏手机版,并可设置每页显示数目,设置方法见演示配置。
调整网页tooltip的配色。
防止内容过长把html表格撑开。
2015.07.16
增加一个worker:html_json,用于从json提取信息。用法类似于html_re,见演示配置里的book:sinashuxun。
callback回调代码增加unixtime(string)函数,用于把unix时间戳转化为日期时间字符串。
可以单独刷新指定信息源。
2015.07.10a
信息源可以从父信息源继承callback代码。
普通账号的控制面板,不再显示程序启动时间和配置加载时间。
修正worker的两个decorator,自定义worker时可以复用已有worker的函数。
加上简易pad版的链接。
callback回调代码增加hasher(string)函数,用于计算字符串的散列值,返回一个散列值的字符串。
2015.06.26d
增加PAD版页面。
(可以设置PAD版每页显示的信息数目,详见/document/demo_cfg.zip里的config.ini和admin.txt)
(想调整字体大小,在pad.html里修改body{-webkit-text-size-adjust的两个值,但不是对所有浏览器都有效)
还增加了一个简易PAD版(大屏手机也可用),但没加链接,登录后访问http://127.0.0.1:5000/p即可。
callback函数增加posi变量,。
listall.html显示共有多少用户。
半年(180天)前的获取时间显示为“年-月-日”。
异常信息前面显示一个e以示区分。
修复6月引入的一个bug:无法保存web端异常记录文件。
2015.06.12a
增加:“挂起”。挂起之后,后端进程的定时器不再执行任何任务,用户只能进行web浏览。
增加:“数据库维护间隔时间”。适用于在电力不稳定的环境下使用tmpfs。
(以上两点的用法详见document/demo_cfg.zip里的config.ini)
增强:大大改进编码检测
增加:用户配置里,刷新时隔允许用小数(单位小时)
增加:weberr.txt里记录超时的任务
2015.06.06
增加:以https协议运行web服务器
增加:查看信息源的“最近有效刷新时间”
优化:异常信息的显示
增强:内部处理数据时使用令牌
polish
2015.06.01
增加“手动执行数据库每日维护”
polish
2015.05.25a
每日数据库维护时,增加删除每个信息源的多于一定数目的旧信息。(详见演示配置的config.ini)
更新演示配置demo_cfg.zip
优化html
2015.05.23
信息源的<url>标签支持errors属性,用法和Python解码的errors参数相同:
<url errors='strict'> 这是默认值,表示对解码错误零容忍,将引发一个异常
<url errors='ignore'> 忽略解码错误
<url errors='replace'> 解码出错时用?替换
2015.05.10a
新增:查看全部启用的信息源
修正:当database目录中无数据库文件、并且当前数据库没有改变时,不会备份到磁盘。
细微优化
2015.02.24
改进:解文本编码时的异常处理
2015.01.25
增强获取数据时的健壮性
2015.01.22a
修正:小概率情况下web端出现异常
其它:优化性能
2015.01.14
公共账号、普通账号也显示异常信息
2014.12.12
一些细微修改
2014.11.19
修正:显示的刷新间隔可能有误
修正:处理异常信息时可能出错
2014.11.08
修正:错误地处理异常信息。这个错误已经影响到正常使用了,真抱歉。
2014.11.06
一堆小改进
2014.10.31
修正:每月最后一天载入配置会出错
2014.10.28
使用tornado代替flask内置的wsgi服务器,据文档描述后者可用于开发调试、但不适合用在最终产品里。
以前InfoPi偶尔出现无法响应http请求的现象、只能重启系统,换成tornado后这个问题被解决了。
这次升级需要安装tornado,在linux下安装tornado的命令:
sudo pip3.4 install tornado
在windows下安装tornado的命令:
pip install tornado
2014.10.21
增强载入信息源定义时的编码检测能力
修改了html界面
2014.10.18
html_re增加自动拼接url的选项urljoin
(给maprules的url元素加上urljoin='true'属性即可自动拼接url)
2014.10.15
1、再修正:去除重复suid时的bug
2、修正:执行任务列表可能不完全
2014.10.14a
1、修正:去除重复suid时的bug
2、限制一段时间内的登录尝试次数,防止暴力试探密码。
3、整理控制面板页面
2014.10.8
rss_atom默认使用source.name作为信息的author,这个行为与html_re一致。
rss_atom增加use_feed_author选项,可以使用item自身提供的出处作为author,适用于聚合类的feed。
2014.10.6
fetcher可以下载deflate压缩的网页
2014.10.5
1、如果安装了第三方模块lxml,可以解析一些有缺陷的xml文件。
安装第三方模块的方法见此文:
2、fetcher可以下载重定向时要求cookies的网络文件。
2014.10.3
如果安装了第三方模块chardet,可以自动检测网页编码
2014.10.1
修正:无法获取atom的链接