每一個教育科技工具，都會受到這句簡短但又復雜的質疑：“它有用嗎?”。公司常常說一些“個性化學習”和“大數據”之類的漂亮概念，來回避產品有效性這一本質問題。
但是，我們怎么才能知道他們的產品真的能幫助孩子們學習呢?公司、教育者和研究者是在用同樣的方法衡量產品的有效性嗎?我們有可能是在讓學生參加一些對他們有害的教學實驗嗎?
隨著教育科技產業的成熟，這類問題變得越來越多，我們需要證明產品的確是有效的。Barbara Means 和 Jeremy Roschelle 是SRI國際學習技術中心的主任，他們一直在研究，如何使用科技來提升學習效果。
Means 和 Roschelle 解釋了，SRI是如何從概念出發，來研究教育科技的有效性的。“教育科學機構(美國教育部的下屬機構，簡稱IES)認為，一個有效的工具，能在良好支持的條件下，展現出自己的作用 ”，Means說。
Roschelle繼續說，要想知道一個工具是否展現出了自己的作用，就必須先知道我們究竟在期待什么樣的學習成果，而且要知道，測量結果的確顯示學習成果有提升。“當你在思考一些產品是有效還是無效時，你需要問自己，這是基于什么樣的測量標準，而這種測量標準是不是我們真正關心的標準。”
“這給新科技帶來了一種張力。”Means補充說，現有的國家標準化考試還不足以告訴我們一個教育科技工具是否有效。
Means和Roschlle提到了一些關于教育有效性的最為重要的特征，特別是關于教育科技工具的有效性。絕大多數特征都應該成為行業中的常識，但可惜的是，它們并不是。
1.有效性源于明確的目標
衡量一個工具是否有效的第一步，是明確這個工具究竟想要實現什么樣的目標。Means說，教師使用教育科技產品有很多原因：幫助學生們練習基礎技能，比如算術或閱讀;讓學生們體驗一下真正的歷史學家或者科學家在使用什么樣的工具;或者是讓學生們感受一下特定學科領域中的趣味性。
“教師應該明確使用技術工具的主要目標，從而判斷使用這些技術工具帶來的效果在多大程度上符合這一目標。”Means說。
2.有效性還要有正確的“活性成分”
在確保工具和目標對齊之后，第二步就是搞清楚，產品的“活性成分”是否基于堅實的教育學原理，而這就是一個工具為什么能對學生的學習有積極影響的本質原因。“例如，給孩子們提供反饋就是一個很好的技術，而從課堂中被動地學習則并沒有太強有力的學習效果。”Roschelle說。
3.有效性取決于我們在測量什么
在有了明確的目標和基于堅實教育學原理里的“活性成分”之后，我們依然不能擔保一個工具能有效提升孩子的學習效果。Roschelle注意到，教育者常常想從研究者那里得到一個確定無疑的答案。“他們想要一個強有力的承諾，保證他們只要使用這個產品，就能提高多少百分比的學生的成績。”
與其探究工具是否在所有情況下適用于所有的學生，不如去搞明白在什么具體的情況下，技術工具能取得成功。“這個工具有沒有一次在任何標準下被證明有效過?”
就像一輛車，Means說，“人們可以說某輛車是世界上最好的車嗎?”她問。“應該不行。不同的人有著不同的目標、不同的需求。學習科技就像汽車一樣。”
4.有效性還重度依賴于時間
有效性的另一個關鍵因素是時間。一個特定的工具可能很有前途，但是因為沒有被使用足夠長的時間，導致結果不太理想。“時間很重要。我們需要足夠長的時間來看出技術帶來的差異。如果只是一個學期用個一兩次，每次用個一小時，那么技術可能就不那么有效。”Roschelle強調道。
另一個麻煩在于課堂管理，Means補充說。“如果你要把你的班級轉到機房來讓學生們使用工具，這會花費額外的安置時間，學生們還要花時間注冊和登錄以及上手新系統。”
5.需要系統的測量來判斷有效性
最后，如果不能積累足夠的正面和負面的數據，那么就不可能判斷有效性。“做出好的測量是要花時間的，”Roschelle對使用技術來收集數據很樂觀，“這并不意味著技術就能為我們解決所有問題，只是表明它能比以前做得更好。”
談及有效性時，唯一確定的答案就是，“不確定。”它取決于教育目標、教育學理論取向、測量體系的選擇、時間、系統地收集數據。曾經，我們想要“不滿意就退款”的擔保，但教育科技行業本身的不確定性很難擔保這點。不過，Means和Roschelle還有其他研究員還會繼續去尋找關于有效性的確定答案。
